KR102493258B1 - Pc game expansion vr system with improved dizziness - Google Patents

Abstract

Translated fromKorean

본 발명은 어지럼증이 개선된 PC 게임 확장 VR 시스템에 관한 것으로, PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부; 상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및 상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함한다.The present invention relates to a PC game extension VR system with improved dizziness, comprising: a game transmission unit for capturing game data according to execution of a PC game on a PC terminal or a cloud terminal and transmitting the captured game data to an HMD terminal through a wireless network; a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and a control input transmitter for converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network.

Description

Translated fromKorean

어지럼증이 개선된 PC 게임 확장 VR 시스템{PC GAME EXPANSION VR SYSTEM WITH IMPROVED DIZZINESS}PC game expansion VR system with improved dizziness {PC GAME EXPANSION VR SYSTEM WITH IMPROVED DIZZINESS}

본 발명은 게임 확장 기술에 관한 것으로, 보다 상세하게는 고사양의 PC 게임을 무선으로 연동된 HMD 단말을 통해 이용하는 과정에서 사용자의 어지럼증을 줄일 수 있는 어지럼증이 개선된 PC 게임 확장 VR 시스템에 관한 것이다.The present invention relates to a game extension technology, and more particularly, to a PC game extension VR system with improved dizziness that can reduce a user's dizziness in the process of using a high-end PC game through a wirelessly interlocked HMD terminal.

헤드 마운티드 디스플레이는 머리 부분에 장착해, 이용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치이다. 1968년, 유타 대학의 이반 서덜랜드가 만든 것이 최초의 HMD이며, 최초의 HMD의 경우 두 눈에 장착된 모니터에 3차원 그래픽스가 표시되었다.A head-mounted display is a display device that can present an image directly in front of the user's eyes by attaching it to the head. In 1968, Ivan Sutherland of the University of Utah made the first HMD, and in the case of the first HMD, 3D graphics were displayed on monitors mounted on both eyes.

HMD의 사용은 고화질 영상, 가상현실 기법을 적용한 가상연습 및 게임 등을 입체영상으로 즐기거나 실행하고자 하는 것이므로, 대용량 콘텐츠의 실시간 전송 및 재생을 위한 기술은 반드시 필요하다.Since the use of HMD is to enjoy or execute high-definition video, virtual practice and games using virtual reality techniques in stereoscopic images, technology for real-time transmission and playback of large-capacity contents is absolutely necessary.

또한, 동시에 사용자의 활동을 제한하지 않도록 무선통신이 원활해야 하고, 콘텐츠 재생시간 동안 지속적으로 머리에 부착하는 HMD는 가볍고 작게 구현될 필요가 있다.In addition, wireless communication should be smooth so as not to restrict a user's activity at the same time, and an HMD that is continuously attached to the head during content playback time needs to be implemented lightly and small.

또한, WiFi 등 근거리 무선통신 기술을 이용하는 경우에는 프로토콜(protocol)에 따라 데이터 신호를 처리해야 하며, 이를 위하여 데이터를 압축하고 패킷화(packetizing)하여 전송해야 한다. HMD에서는 전송받은 신호를 메모리에 데이터 패킷을 저장하고 압축을 푸는 코덱(codec) 과정이 필요하다. 코덱을 빠르게 진행하기 위해서는 고속의 인코더(encoder)와 디코더(decoder)가 필요할 수 있다.In addition, in the case of using a short-distance wireless communication technology such as WiFi, a data signal must be processed according to a protocol, and for this purpose, the data must be compressed, packetized, and transmitted. In the HMD, a codec process of storing the transmitted signal as a data packet in memory and decompressing the received signal is required. In order to speed up the codec, high-speed encoders and decoders may be required.

한편, HMD의 장시간 사용은 실제 눈으로 들어오는 시각 정보와 전정기관에 들어오는 감각 정보의 불일치로 인해 사용자로 하여금 어지럼증을 느끼도록 할 수 있다. 따라서, HMD의 사용에도 불구하고 사용자의 어지럼증을 개선하기 위한 기술이 요구되고 있다.On the other hand, prolonged use of the HMD may cause the user to feel dizzy due to a discrepancy between visual information entering the eyes and sensory information entering the vestibular organ. Therefore, there is a need for a technique for improving a user's dizziness despite the use of an HMD.

한국공개특허 제10-2017-0058758호 (2017.05.29)Korean Patent Publication No. 10-2017-0058758 (2017.05.29)

본 발명의 일 실시예는 고사양의 PC 게임을 무선으로 연동된 HMD 단말을 통해 이용하는 과정에서 사용자의 어지럼증을 줄일 수 있는 어지럼증이 개선된 PC 게임 확장 VR 시스템을 제공하고자 한다.One embodiment of the present invention is to provide a PC game extension VR system with improved dizziness that can reduce a user's dizziness in the process of using a high-end PC game through a wirelessly interlocked HMD terminal.

본 발명의 일 실시예는 VR 기기 상에서 영상이 재생되는 스크린 영역을 강조하거나 또는 사용자의 시야를 움직임에 따라 동적으로 제한하는 방법을 통해 사용자의 어지럼증을 줄임으로써 사용자의 VR 경험을 향상시킬 수 있는 어지럼증이 개선된 PC 게임 확장 VR 시스템을 제공하고자 한다.An embodiment of the present invention reduces the user's dizziness through a method of emphasizing a screen area where an image is reproduced on a VR device or dynamically limiting the user's field of view according to movement, thereby improving the user's VR experience. We want to provide this improved PC gaming expansion VR system.

실시예들 중에서, 어지럼증이 개선된 PC 게임 확장 VR 시스템은 PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부; 상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및 상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함한다.Among the embodiments, a PC game extended VR system with improved dizziness includes a game transmission unit that captures game data according to execution of a PC game on a PC terminal or cloud terminal and transmits it to an HMD terminal through a wireless network; a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and a control input transmitter for converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network.

이때, 상기 게임 영상은 상기 HMD 단말 상에 형성되는 가상의 스크린 영역을 통해 재생되는 과정에서 복수의 어지럼증 개선 기법들 중 적어도 하나가 적용될 수 있다.At this time, at least one of a plurality of dizziness improvement techniques may be applied in the process of playing the game image through a virtual screen area formed on the HMD terminal.

상기 게임 처리부는 상기 스크린 영역의 크기를 상기 HMD 단말의 FOV 영역보다 더 작게 설정하고 상기 스크린 영역의 상하 경계선을 좌우 경계선보다 강조하여 표시할 수 있다.The game processing unit may set the size of the screen area to be smaller than the FOV area of the HMD device, and may display an upper and lower boundary line of the screen area emphasized than a left and right boundary line.

상기 게임 처리부는 상기 상하 경계선의 굵기 및 색상 중 적어도 하나를 상기 좌우 경계선보다 강조하여 표시할 수 있다.The game processor may emphasize at least one of a thickness and a color of the upper and lower boundary lines than the left and right boundary lines for display.

상기 게임 처리부는 상기 스크린 영역의 경계를 기준으로 바깥 방향으로 향하는 눈금선을 표시하고 상기 눈금선의 크기는 각 경계선의 중앙에서 양쪽 끝부분으로 갈수록 대칭적으로 작아지도록 설정될 수 있다.The game processing unit may display a grid line directed outward based on the boundary of the screen area, and the size of the grid line may be set to symmetrically decrease from the center to both ends of each boundary line.

상기 게임 처리부는 상기 HMD 단말의 FOV 영역에 대해 영역 경계를 기준으로 소정의 길이만큼 영역 내부에 형성되는 반투명 필터를 적용하고, 상기 반투명 필터의 길이는 상기 사용자의 움직임에 따라 동적으로 결정될 수 있다.The game processing unit applies a translucent filter formed inside the FOV area of the HMD device by a predetermined length based on an area boundary, and the length of the translucent filter may be dynamically determined according to the user's movement.

상기 게임 처리부는 상기 스크린 영역에 대해 영역 경계를 기준으로 소정의 길이만큼 영역 내부에 형성되는 반투명 필터를 적용하고, 상기 반투명 필터의 길이는 상기 사용자의 움직임에 따라 동적으로 결정될 수 있다.The game processing unit may apply a translucent filter formed inside the screen area to a predetermined length based on an area boundary to the screen area, and the length of the translucent filter may be dynamically determined according to the motion of the user.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.

본 발명의 일 실시예에 따른 어지럼증이 개선된 PC 게임 확장 VR 시스템은 고사양의 PC 게임을 무선으로 연동된 HMD 단말을 통해 이용하는 과정에서 사용자의 어지럼증을 줄일 수 있다.The PC game extension VR system with improved dizziness according to an embodiment of the present invention can reduce the user's dizziness in the process of using a high-end PC game through a wirelessly linked HMD terminal.

본 발명의 일 실시예에 따른 어지럼증이 개선된 PC 게임 확장 VR 시스템은 VR 기기 상에서 영상이 재생되는 스크린 영역을 강조하거나 또는 사용자의 시야를 움직임에 따라 동적으로 제한하는 방법을 통해 사용자의 어지럼증을 줄임으로써 사용자의 VR 경험을 향상시킬 수 있다.The PC game extension VR system with improved dizziness according to an embodiment of the present invention reduces the user's dizziness by emphasizing the screen area where the video is played on the VR device or by dynamically limiting the user's field of view according to the movement. This can improve the user's VR experience.

도 1은 본 발명에 따른 PC 게임 확장 VR 시스템을 설명하는 도면이다.
도 2는 본 발명에 따른 PC 게임 확장 VR 시스템의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 어지럼증이 개선된 PC 게임 확장 VR 시스템의 동작 과정을 설명하는 순서도이다.
도 4는 본 발명에 따른 PC 게임 확장 VR 시스템의 일 실시예를 설명하는 도면이다.
도 5 내지 8은 본 발명에 따른 어지럼증 개선 기법의 다양한 실시예들을 설명하는 도면이다.1 is a diagram illustrating a PC game extended VR system according to the present invention.
2 is a diagram illustrating the functional configuration of a PC game extended VR system according to the present invention.
3 is a flowchart illustrating the operation process of the PC game extended VR system with improved dizziness according to the present invention.
4 is a diagram illustrating an embodiment of a PC game extended VR system according to the present invention.
5 to 8 are diagrams for explaining various embodiments of the dizziness improvement technique according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions in the singular number should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to an embodied feature, number, step, operation, component, part, or these. It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of the related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.

도 1은 본 발명에 따른 PC 게임 확장 VR 시스템을 설명하는 도면이다.1 is a diagram illustrating a PC game extended VR system according to the present invention.

도 1을 참조하면, PC 게임 확장 VR 시스템(100)은 HMD 단말(110) 및 PC 단말(130)을 포함하여 구현될 수 있다.Referring to FIG. 1 , the PC gameextension VR system 100 may be implemented by including anHMD terminal 110 and aPC terminal 130 .

HMD 단말(110)은 헤드 마운티드 디스플레이(Head Mounted Display) 장치에 해당할 수 있다. HMD 단말(110)은 PC 단말(130)로부터 게임 데이터를 수신하여 사용자의 제어 신호에 따라 보정된 게임 영상 및 사운드를 재생할 수 있다. HMD 단말(110)은 사용자의 움직임에 따른 컨트롤 입력을 생성하여 PC 단말(130)에게 전송할 수 있다. 또한, HMD 단말(110)은 컨트롤 입력을 적절한 PC 게임 입력 방식으로 변환하여 전송할 수 있다.TheHMD terminal 110 may correspond to a head mounted display device. The HMDterminal 110 may receive game data from thePC terminal 130 and reproduce a corrected game image and sound according to a user's control signal. TheHMD terminal 110 may generate a control input according to the user's movement and transmit it to thePC terminal 130 . In addition, theHMD terminal 110 may convert the control input into an appropriate PC game input method and transmit it.

이를 위해, HMD 단말(110)은 PC 단말(130)과 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 복수의 HMD 단말(110)들은 동시에 PC 단말(130)과 연결될 수도 있다.To this end, theHMD terminal 110 may be connected to thePC terminal 130 through a wired or wireless network, and a plurality ofHMD terminals 110 may be simultaneously connected to thePC terminal 130 .

PC 단말(130)은 PC 게임을 실행하고 게임 중에 생성되는 게임 데이터를 HMD 단말(110)에 전송할 수 있는 컴퓨팅 장치 또는 이를 수행하는 독립된 서버 장치로 구현될 수 있다. 즉, PC 단말(130)은 클라우드 서버로 구현되는 경우 클라우드 단말에 해당할 수 있다. PC 단말(130)은 무선 네트워크를 통해 HMD 단말(110)과 연동할 수 있으며, 무선 네트워크는 블루투스, WiFi, LTE 등을 포함할 수 있다. 또한, PC 단말(130)은 추가 기능을 제공하기 위하여 별도의 외부 시스템과 연동하여 동작할 수 있다. 예를 들어, PC 단말(130)은 사용자 인증을 위한 인증 서버, 서비스 결제를 위한 결제 서버 등의 외부 시스템과 연동하여 서비스 제공 과정에서 독립적인 기능을 제공하도록 구현될 수 있다.ThePC terminal 130 may be implemented as a computing device capable of executing a PC game and transmitting game data generated during the game to theHMD terminal 110 or an independent server device performing the same. That is, thePC terminal 130 may correspond to a cloud terminal when implemented as a cloud server. ThePC terminal 130 may interwork with theHMD terminal 110 through a wireless network, and the wireless network may include Bluetooth, WiFi, LTE, and the like. In addition, thePC terminal 130 may operate in conjunction with a separate external system to provide additional functions. For example, the PCterminal 130 may be implemented to provide independent functions in the service provision process by interworking with external systems such as an authentication server for user authentication and a payment server for service payment.

도 2는 본 발명에 따른 PC 게임 확장 VR 시스템의 기능적 구성을 설명하는 도면이다.2 is a diagram illustrating a functional configuration of a PC game extended VR system according to the present invention.

도 2를 참조하면, PC 게임 확장 VR 시스템(100)은 게임 전송부(210), 게임 처리부(230), 컨트롤 입력 전송부(250) 및 제어부(270)를 포함할 수 있다.Referring to FIG. 2 , the PC gameextension VR system 100 may include agame transmission unit 210 , agame processing unit 230 , a controlinput transmission unit 250 and acontrol unit 270 .

게임 전송부(210)는 PC 단말(130) 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐(capture)하여 무선 네트워크를 통해 HMD 단말(110)에 전송할 수 있다. 예를 들어, 게임 전송부(210)는 PC의 모니터에 렌더링 되는 스크린 영상(510)을 캡쳐하여 이미지 형태로 무선 전송할 수 있으며, HMD 단말(110)은 해당 스크린 영상(510)을 수신하여 3D 환경으로 구현된 VR 공간에서 재생할 수 있다(도 5 참조).Thegame transmission unit 210 may capture game data according to execution of a PC game on thePC terminal 130 or the cloud terminal and transmit the captured game data to theHMD terminal 110 through a wireless network. For example, thegame transmitter 210 may capture ascreen image 510 rendered on a monitor of a PC and wirelessly transmit it in the form of an image, and theHMD terminal 110 may receive thescreen image 510 to provide a 3D environment. It can be played in a VR space implemented as (see FIG. 5).

일 실시예에서, 게임 전송부(210)는 관련 동작을 수행하기 위해 복수의 모듈들을 포함하여 구현될 수 있다. 보다 구체적으로, 게임 전송부(210)는 DLL 삽입 모듈, 후처리 모듈 및 캡쳐 모듈을 포함할 수 있다.In one embodiment, thegame transfer unit 210 may be implemented by including a plurality of modules to perform related operations. More specifically, thegame transmission unit 210 may include a DLL insertion module, a post-processing module, and a capture module.

DLL 삽입 모듈은 게임 영상 및 사운드를 추출하기 위해 PC 게임의 프로세스 내에 DLL(Dynamic Link Library)을 삽입할 수 있다. DLL 인젝션(DLL Injection)은 게임 프로세스에 영상 및 사운드 추출을 위한 DLL 파일을 강제로 삽입하는 동작에 해당할 수 있다. DLL 삽입 모듈은 PC 게임의 프로세스에 할당된 메모리 공간에 DLL 파일을 삽입할 수 있으며, 이를 통해 캡쳐부는 PC 게임의 실행 과정에서 게임 영상이나 사운드를 추출할 수 있다.The DLL insertion module may insert a Dynamic Link Library (DLL) into a process of a PC game to extract game images and sounds. DLL injection may correspond to an operation of forcibly inserting a DLL file for extracting images and sounds into a game process. The DLL insertion module can insert a DLL file into the memory space allocated to the process of the PC game, through which the capture unit can extract game images or sounds during the execution of the PC game.

후처리 모듈은 프로파일 정보에 따라 렌더링 영상의 유형 및 해상도를 변경하거나 또는 적어도 하나의 필터(filter)를 적용하는 후처리 동작을 수행할 수 있다. 예를 들어, 후처리 모듈은 HMD 단말(110)의 설정 정보를 프로파일 정보로 수신하여 렌더링 영상으로서 3차원 영상을 생성할 수 있다. 또한, 후처리 모듈은 게임 해상도에 따라 렌더링 영상을 생성할 수 있고, 필요에 따라 다양한 필터들을 적용할 수도 있다.The post-processing module may perform a post-processing operation of changing the type and resolution of a rendered image or applying at least one filter according to profile information. For example, the post-processing module may generate a 3D image as a rendered image by receiving setting information of theHMD terminal 110 as profile information. In addition, the post-processing module may generate a rendered image according to the game resolution, and may apply various filters as needed.

캡쳐 모듈은 후처리 동작이 적용된 렌더링 영상으로부터 게임 영상 및 사운드를 캡쳐할 수 있다. 캡쳐 모듈은 렌더링 영상에서 특정 방향, 특정 시야각에 해당하는 영역을 지정한 후 게임 영상으로서 캡쳐할 수 있으며, 해당 캡쳐 시점의 사운드 데이터를 함께 저장할 수 있다.The capture module may capture a game image and sound from a rendered image to which a post-processing operation is applied. The capture module may designate an area corresponding to a specific direction and a specific viewing angle in the rendered image, capture it as a game image, and store sound data at the time of the capture together.

게임 처리부(230)는 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신할 수 있다. 이때, 컨트롤 입력은 HMD 단말(110)을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 사용자의 움직임 간의 상호작용에 의해 생성될 수 있다. 일 실시예에서, 게임 처리부(230)는 HMD 단말(110) 상에서 동작하는 기능적 모듈로서 구현될 수 있으며, HMD 단말(110)과 연동하여 동작하는 적어도 하나의 무선 컨트롤러를 통해 사용자의 움직임에 대한 정보를 수신할 수 있다.Thegame processing unit 230 may reproduce game images and sounds based on game data and receive control inputs corresponding to user's movements during the game. In this case, the control input may be generated by an interaction between one of a plurality of control input interfaces provided through theHMD terminal 110 and the user's movement. In one embodiment, thegame processing unit 230 may be implemented as a functional module operating on theHMD terminal 110, and information about the user's movement through at least one wireless controller operating in conjunction with theHMD terminal 110. can receive

즉, 게임 처리부(230)는 무선 컨트롤러로부터 사용자의 선택 정보와 움직임 정보를 수신할 수 있으며, HMD 단말(110)을 통해 제공되는 VR 공간에서의 다양한 인터페이스와의 상호작용을 고려하여 사용자의 움직임에 대응되는 컨트롤 입력을 생성할 수 있다.That is, thegame processing unit 230 may receive the user's selection information and movement information from the wireless controller, and consider the interaction with various interfaces in the VR space provided through theHMD terminal 110 to determine the user's movement. You can create corresponding control inputs.

컨트롤 입력 전송부(250)는 컨트롤 입력을 PC 게임의 제어 신호로 변환하여 무선 네트워크를 통해 PC 단말(130) 또는 클라우드 단말로 전송할 수 있다. 예를 들어, 컨트롤 입력 전송부(250)는 사용자의 움직임에 대응하여 생성된 컨트롤 입력을 PC 게임의 키보드(keyboard) 입력이나 게임 컨트롤러(controller)의 키(key) 입력으로 변환할 수 있다. 컨트롤 입력 전송부(250)에 의해 전송되는 입력 데이터는 PC 단말(130) 또는 클라우드 단말에서 게임 내용에 반영되어 게임을 진행시킬 수 있다.Thecontrol input transmitter 250 may convert the control input into a PC game control signal and transmit the converted signal to thePC terminal 130 or the cloud terminal through a wireless network. For example, the controlinput transmission unit 250 may convert a control input generated in response to a user's movement into a keyboard input of a PC game or a key input of a game controller. The input data transmitted by the controlinput transmission unit 250 may be reflected in game contents in thePC terminal 130 or the cloud terminal to progress the game.

제어부(270)는 PC 게임 확장 VR 시스템(100)의 전체적인 동작을 제어하고, 게임 전송부(210), 게임 처리부(230) 및 컨트롤 입력 전송부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.Thecontroller 270 may control the overall operation of the PC game extendedVR system 100 and manage the control flow or data flow between thegame transmission unit 210, thegame processing unit 230, and the controlinput transmission unit 250. there is.

도 3은 본 발명에 따른 어지럼증이 개선된 PC 게임 확장 VR 시스템의 동작 과정을 설명하는 순서도이다.3 is a flowchart illustrating the operation process of the PC game extension VR system with improved dizziness according to the present invention.

도 3을 참조하면, PC 게임 확장 VR 시스템(100)은 게임 전송부(210)를 통해 PC 단말(130) 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말(110)에 전송할 수 있다(단계 S310).Referring to FIG. 3 , the PC gameextension VR system 100 captures game data according to the execution of a PC game on thePC terminal 130 or the cloud terminal through thegame transmission unit 210 and transmits the game data through the wireless network to the HMD terminal ( 110) (step S310).

또한, PC 게임 확장 VR 시스템(100)은 게임 처리부(230)를 통해 HMD 단말(110) 상에서 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신할 수 있다(단계 S330). 이때, 게임 영상은 HMD 단말(110) 상에 형성되는 가상의 스크린 영역을 통해 재생되는 과정에서 복수의 어지럼증 개선 기법들 중 적어도 하나가 적용될 수 있다. 결과적으로, 사용자는 HMD 단말(110)을 통해 적어도 하나의 어지럼증 기법이 적용된 게임 영상을 확인할 수 있다.In addition, the PC gameextension VR system 100 reproduces game images and sounds based on game data on theHMD terminal 110 through thegame processing unit 230 and receives control inputs corresponding to user movements during the game process. It can be done (step S330). At this time, at least one of a plurality of dizziness improvement techniques may be applied in the process of reproducing the game image through a virtual screen area formed on theHMD terminal 110 . As a result, the user can check the game image to which at least one dizziness technique is applied through theHMD terminal 110 .

또한, PC 게임 확장 VR 시스템(100)은 컨트롤 입력 전송부(250)를 통해 HMD 단말(110) 상에서 수신된 컨트롤 입력을 PC 게임의 제어 신호로 변환하여 무선 네트워크를 통해 PC 단말(130) 또는 클라우드 단말로 전송할 수 있다(단계 S350).In addition, the PC game extendedVR system 100 converts the control input received on theHMD terminal 110 through thecontrol input transmitter 250 into a control signal of the PC game, and transmits the control input to thePC terminal 130 or the cloud via a wireless network. It can be transmitted to the terminal (step S350).

도 4는 본 발명에 따른 PC 게임 확장 VR 시스템의 일 실시예를 설명하는 도면이다.4 is a diagram illustrating an embodiment of a PC game extended VR system according to the present invention.

도 4를 참조하면, PC 게임 확장 VR 시스템(100)은 HMD 단말(110)과 PC 단말(130) 간의 연동을 통해 동작할 수 있다. 이와 달리, PC 게임 확장 VR 시스템(100)은 HMD 단말(110)과 클라우드 단말(Cloud Server) 간의 연동을 통해 동작할 수도 있다.Referring to FIG. 4 , the PC gameextension VR system 100 may operate through interworking between theHMD terminal 110 and thePC terminal 130 . Unlike this, the PC gameextension VR system 100 may operate through interworking between theHMD terminal 110 and a cloud terminal (Cloud Server).

먼저, 클라우드 단말(Cloud Server)은 PC 게임의 실행을 위한 가상화를 제공할 수 있으며, 가상화된 자원을 이용하여 PC 게임을 실행할 수 있다. 클라우드 단말은 PC 게임이 실행되는 동안 게임 영상과 사운드를 캡쳐하여 무선 네트워크를 통해 HMD 단말(110)에게 전송할 수 있다.First, a cloud terminal (Cloud Server) may provide virtualization for execution of PC games, and may execute PC games using virtualized resources. The cloud terminal may capture game images and sounds while the PC game is running and transmit them to theHMD terminal 110 through a wireless network.

보다 구체적으로, 클라우드 단말은 DLL 인젝션을 통해 게임 프로세스 내에 DLL 파일을 삽입할 수 있다. 이때, DLL 파일은 게임 실행 과정에서 게임 영상 및 사운드를 캡쳐하는데 사용될 수 있다. 클라우드 단말은 후처리 동작을 통해 렌더링 영상을 원하는 형태로 가공할 수 있으며, HMD 단말(110)로의 전송을 위한 영상 및 음성을 캡쳐할 수 있다. 또한, 클라우드 단말은 캡쳐된 영상 및 음성 데이터를 스트리밍에 적절한 방법으로 인코딩할 수 있다. 마지막으로, 클라우드 단말은 인코딩된 영상을 프로토콜의 패킷 데이터로 분할하여 전송할 수 있다.More specifically, the cloud terminal may insert a DLL file into the game process through DLL injection. At this time, the DLL file may be used to capture game images and sounds during the game execution process. The cloud terminal may process the rendered image into a desired form through a post-processing operation, and may capture video and audio for transmission to theHMD terminal 110 . In addition, the cloud terminal may encode the captured video and audio data in a method suitable for streaming. Finally, the cloud terminal may divide the encoded video into packet data of a protocol and transmit it.

HMD 단말(110)은 클라우드 단말로부터 게임 데이터를 수신하고 제어 신호에 따라 보정된 게임 영상 및 사운드를 재생할 수 있다.TheHMD terminal 110 may receive game data from the cloud terminal and reproduce corrected game images and sounds according to control signals.

보다 구체적으로, HMD 단말(110)은 무선 네트워크를 통해 클라우드 단말에 의해 캡쳐된 데이터를 수신할 수 있다. HMD 단말(110)은 수신한 데이터를 프레임 정보에 맞춰 조립할 수 있다. 만약 다중 채널 전송을 이용한 경우, HMD 단말(110)은 각 채널 별로 수신된 데이터들을 프레임 정보에 맞춰 조립할 수 있다. 또한, HMD 단말(110)은 스트리밍 데이터와 제어신호 데이터를 각각 독립적으로 처리할 수 있다.More specifically, theHMD device 110 may receive data captured by the cloud device through a wireless network. TheHMD device 110 may assemble the received data according to frame information. If multi-channel transmission is used, theHMD terminal 110 may assemble data received for each channel according to frame information. In addition, theHMD terminal 110 may independently process streaming data and control signal data.

HMD 단말(110)은 조립된 스트리밍 데이터를 디코딩하여 복원할 수 있다. 이후 디코딩된 영상 데이터는 텍스쳐링 되어 텍스쳐 버퍼에 저장될 수 있고, 새로운 프레임에 대한 준비 신호가 렌더링부에 전달될 수 있다. HMD 단말(110)은 렌더링부를 통해 다음 프레임에 대한 영상이 준비된 경우 화면 주사율에 맞춰 디스플레이 화면을 갱신하여 게임 영상을 재생할 수 있다. 이때, HMD 단말(110)은 사용자 움직임에 관한 트랙킹 정보에 기초하여 현재 프레임을 보정할 수 있다.TheHMD device 110 may decode and restore assembled streaming data. Thereafter, the decoded image data may be textured and stored in a texture buffer, and a preparation signal for a new frame may be transmitted to the rendering unit. When an image for the next frame is prepared through the rendering unit, theHMD terminal 110 can replay the game image by updating the display screen according to the screen refresh rate. At this time, theHMD device 110 may correct the current frame based on the tracking information on the user's movement.

본 발명에 따른 PC 게임 확장 VR 시스템(100)은 도 4에 도시된 바와 같이 구성될 수 있으며, 클라우드 서버 상에서 고화질의 PC 게임을 가상화 하거나 또는 PC 단말(130) 상에서 PC 게임을 실행하여 무선(예를 들어, WiFi 또는 5G Mobile Network)으로 HMD 디바이스에 전송할 수 있다. 이를 통해 사용자는 고사양 장비에서만 실행되는 게임들을 무선으로 연동하여 본인만의 위치에서 고품질의 게임을 자유롭게 이용할 수 있으며, VR 공간 상에서 다양한 형태로 제공되는 인터페이스와 상호작용하여 생생한 VR 경험을 체험할 수 있다.The PC gameextension VR system 100 according to the present invention may be configured as shown in FIG. 4, and virtualizes a high-definition PC game on a cloud server or runs a PC game on aPC terminal 130 to wirelessly (eg For example, WiFi or 5G Mobile Network) can be transmitted to the HMD device. Through this, users can wirelessly link games that run only on high-end equipment to freely use high-quality games in their own location, and experience vivid VR experiences by interacting with interfaces provided in various forms in the VR space. .

도 5 내지 8은 본 발명에 따른 어지럼증 개선 기법의 다양한 실시예들을 설명하는 도면이다.5 to 8 are views illustrating various embodiments of a technique for improving dizziness according to the present invention.

도 5를 참조하면, PC 게임 확장 VR 시스템(100)은 게임 전송부(210)는 PC의 모니터에 렌더링 되는 스크린 영상(510)을 캡쳐하여 이미지 형태로 무선 전송할 수 있으며, HMD 단말(110)은 해당 스크린 영상(510)을 수신하여 3D 환경으로 구현된 VR 공간에서 재생할 수 있다. 이때, HMD 단말(110)은 VR 공간 상에서 가상의 스크린 영역(530)을 설정할 수 있고, 스크린 영역(530)을 통해 스크린 영상(510)을 재생할 수 있다. 또한, HMD 단말(110)은 사용자에게 보다 실제감 있는 VR 영상을 제공하기 위하여 스크린 영역(530) 이외의 VR 공간에 대해서는 집안, 극장, 게임 스튜디오 등의 가상 공간으로 묘사할 수 있다.Referring to FIG. 5, in the PC gameextension VR system 100, thegame transmission unit 210 can capture ascreen image 510 rendered on a PC monitor and wirelessly transmit it in the form of an image, and theHMD terminal 110 Thecorresponding screen image 510 may be received and reproduced in a VR space implemented as a 3D environment. At this time, theHMD terminal 110 may set avirtual screen area 530 in the VR space and reproduce thescreen image 510 through thescreen area 530 . In addition, theHMD terminal 110 may describe a VR space other than thescreen area 530 as a virtual space, such as a house, a theater, or a game studio, in order to provide a more realistic VR image to the user.

한편, 이러한 VR을 통해 PC 게임을 재생하는 경우 PC 게임 자체가 모니터에서 재생되는 구조를 기반으로 개발되기 때문에 사용자에게 어지럼증을 야기할 수 있다. 따라서, PC 게임 확장 VR 시스템(100)은 VR 환경에서 재생되는 PC 게임의 영상에 대해 소정의 어지럼증 기법을 적용함으로써 어지럼증 발생을 줄일 수 있다.On the other hand, when a PC game is played through such VR, since the PC game itself is developed based on a structure played on a monitor, it may cause dizziness to the user. Accordingly, the PC gameextension VR system 100 can reduce the occurrence of dizziness by applying a predetermined dizziness technique to an image of a PC game played in a VR environment.

먼저 도 6을 참조하면, PC 게임 확장 VR 시스템(100)은 HMD 단말(110) 상에서 스크린 영상(510)이 재생되는 스크린 영역(530)을 보다 강조하는 방법을 통해 사용자의 어지럼증을 개선시킬 수 있다.First, referring to FIG. 6 , the PC gameextension VR system 100 can improve the user's dizziness by emphasizing thescreen area 530 where thescreen image 510 is reproduced on theHMD terminal 110. .

도 6a를 참조하면, PC 게임 확장 VR 시스템(100)은 게임 처리부(230)를 통해 스크린 영역(530)의 크기를 HMD 단말(110)의 FOV 영역보다 더 작게 설정하고 스크린 영역(530)의 상하 경계선(610)을 좌우 경계선(630)보다 강조하여 표시할 수 있다. 예를 들어, HMD 단말(110)이 VR 글래스(Glass)로 구현된 경우, 스크린 영역(530)의 버티컬 사이즈(vertical size)는 HMD 단말(110)의 FOV 영역의 버티컬 사이즈보다 더 작은 크기로 설정될 수 있다. 이 경우, 스크린 영역(530)은 HMD 단말(110)의 FOV 영역 내에 포함되어 표시될 수 있다.Referring to FIG. 6A , the PC game extendedVR system 100 sets the size of thescreen area 530 smaller than the FOV area of theHMD device 110 through thegame processing unit 230 and sets the top and bottom of thescreen area 530 Theboundary line 610 may be displayed with more emphasis than the left and right boundary lines 630 . For example, when theHMD device 110 is implemented with VR glasses, the vertical size of thescreen area 530 is set to a smaller size than the vertical size of the FOV area of theHMD device 110. It can be. In this case, thescreen area 530 may be included in the FOV area of theHMD terminal 110 and displayed.

또한, HMD 단말(110) 상에서 표시되는 스크린 영역(530) 자체가 FOV 영역 내에서 보다 강조되어 표시됨으로써 사용자의 시선이 집중되는 효과를 제공할 수 있다. 즉, 사용자는 강조되어 표시되는 스크린 영역(530)을 통해 재생되는 영상에 보다 집중할 수 있고, 이에 따른 간접적 효과로서 어지럼증이 개선될 수 있다.In addition, thescreen area 530 itself displayed on theHMD terminal 110 is displayed with more emphasis within the FOV area, thereby providing an effect of concentrating the user's gaze. That is, the user can concentrate more on the image reproduced through thescreen area 530 that is displayed with emphasis, and as a result, dizziness can be improved as an indirect effect.

일 실시예에서, 게임 처리부(230)는 스크린 영역(530)의 상하 경계선(610)의 굵기 및 색상 중 적어도 하나를 좌우 경계선(630)보다 강조하여 표시할 수 있다. 예를 들어, 게임 처리부(230)는 상하 경계선(610)의 색상을 좌우 경계선(630)보다 진하게 표시하여 강조할 수 있다. 경계선의 색상은 빨간색으로 표현될 수 있으나, 반드시 이에 한정되지 않고, 다양한 색상으로 표현될 수 있음은 물론이다.In one embodiment, thegame processing unit 230 may display by emphasizing at least one of the thickness and color of the upper andlower boundary lines 610 of thescreen area 530 than the left and right boundary lines 630 . For example, thegame processing unit 230 may emphasize the color of the upper andlower boundary lines 610 by displaying them in a darker color than the left and right boundary lines 630 . The color of the boundary line may be expressed in red, but is not necessarily limited thereto and may be expressed in various colors.

또한, 게임 처리부(230)는 상하 경계선(610)의 굵기를 좌우 경계선(630)보다 굵게 표시하여 강조할 수도 있다. 또 다른 예로서, 게임 처리부(230)는 상하 경계선(610)과 좌우 경계선(630)을 상기의 예들과 반대로 적용하여 표시할 수 있다. 게임 처리부(230)는 상하 경계선(610)과 좌우 경계선(630) 모두에 동일한 강조 옵션을 적용하여 표시할 수 있다.In addition, thegame processing unit 230 may emphasize the thickness of the upper andlower boundary lines 610 by displaying them thicker than the left and right boundary lines 630 . As another example, thegame processing unit 230 may apply and display the upper andlower boundary lines 610 and the left andright boundary lines 630 opposite to the above examples. Thegame processing unit 230 may display the same emphasizing option applied to both the upper andlower boundary lines 610 and the left and right boundary lines 630 .

도 6b를 참조하면, 게임 처리부(230)는 스크린 영역(530)의 경계를 기준으로 바깥 방향으로 향하는 눈금선(650)을 표시하고 눈금선(650)의 크기는 각 경계선의 중앙에서 양쪽 끝부분으로 갈수록 대칭적으로 작아지도록 설정될 수 있다. 즉, 게임 처리부(230)는 스크린 영역(530)의 바깥쪽에 선을 표시하여 스크린 영역(530)의 중심축이 간접적으로 인지되도록 할 수 있다. 이때, 게임 처리부(230)는 중심에서 멀어질수록 눈금선(650)의 크기를 줄여 표시함으로써 각 경계선의 중심을 효과적으로 인지하도록 하고 각 경계선의 중심을 기초로 스크린 영역(530)의 중심이 간접적으로 인지되도록 할 수 있다.Referring to FIG. 6B, thegame processing unit 230 displays agrid line 650 directed outward based on the boundary of thescreen area 530, and the size of thegrid line 650 is measured from the center to both ends of each boundary line. It can be set to become symmetrically smaller as . That is, thegame processing unit 230 may display a line outside thescreen area 530 so that the central axis of thescreen area 530 is indirectly recognized. At this time, thegame processing unit 230 reduces the size of thegrid line 650 as it gets farther from the center and displays it so that the center of each boundary line is effectively recognized, and the center of thescreen area 530 is indirectly determined based on the center of each boundary line. can be made aware.

또한, 게임 처리부(230)는 중심에서 멀어질수록 눈금선(650)의 간격을 넓게 표시할 수도 있다. 예를 들어, 게임 처리부(230)는 눈금선(650) a와 b 사이의 간격 i_a,b를 중심으로부터 눈금선(650) a까지의 거리 r_a에 소정의 비율 δ적용하여 산출할 수 있다. 즉, i_a,b = r_a * δ이다.In addition, thegame processing unit 230 may display a wider interval between thegrid lines 650 as the distance from the center increases. For example, thegame processing unit 230 may calculate the distance i_a, b between the grid lines 650 a and b by applying a predetermined ratio δ to the distance r_a from the center to the grid line 650 a. . That is, i_a,b = r_a * δ.

또한, 게임 처리부(230)는 눈금선(650)의 색상을 스크린 영역(530)의 경계선의 색상과 상이하게 표시할 수 있다. 예를 들어, 게임 처리부(230)는 눈금선(650)의 색상을 경계선의 색상과 상이한 빨간색으로 표시할 수 있으며, 필요에 따라 중심으로부터의 거리가 멀어질수록 빨간색을 점점 연하게 표시할 수도 있다.Also, thegame processing unit 230 may display the color of thegrid line 650 differently from the color of the boundary line of thescreen area 530 . For example, thegame processing unit 230 may display the color of thegrid line 650 as red, which is different from the color of the boundary line, and, if necessary, may display a lighter red color as the distance from the center increases. .

도 7을 참조하면, PC 게임 확장 VR 시스템(100)은 HMD 단말(110)을 사용자는 사용자의 어지럼증을 개선시키기 위하여 사용자에게 제공되는 게임 영상에 대해 소정의 필터들을 적용할 수 있다. 이를 위해, HMD 단말(110) 및 PC 단말(130)은 필터 적용을 위한 전용 애플리케이션(APP)을 설치하여 실행할 수 있다. 즉, PC 게임 확장 VR 시스템(100)은 PC 단말(130) 또는 클라우드 단말 상에 설치된 서버 APP을 통해 게임 영상 자체에 소정의 필터를 적용하거나 또는 HMD 단말(110) 상에 설치된 클라이언트 APP을 통해 FOV 영역 자체에 소정의 필터를 적용할 수 있다. 즉, 필터 적용에 따라 사용자는 게임 영상의 일부에 보다 집중할 수 있게 되고 간접적으로 어지럼증이 개선되는 효과를 얻을 수 있다.Referring to FIG. 7 , in the PC gameextension VR system 100, the user of theHMD terminal 110 may apply predetermined filters to game images provided to the user in order to improve the user's dizziness. To this end, theHMD terminal 110 and thePC terminal 130 may install and execute a dedicated application (APP) for filter application. That is, the PC game extendedVR system 100 applies a predetermined filter to the game video itself through the server APP installed on thePC terminal 130 or the cloud terminal, or FOV through the client APP installed on theHMD terminal 110. A certain filter can be applied to the region itself. That is, according to the application of the filter, the user can focus more on a part of the game video and can obtain an effect of indirectly improving dizziness.

한편, HMD 단말(110) 상에 설치되는 클라이언트 APP은 게임 컨트롤러와 연동하여 동작함으로써 사용자의 움직임에 관한 정보와 컨트롤러 입력을 감지할 수 있다. 즉, HMD 단말(110)에 의해 수집된 사용자의 움직임에 관한 컨트롤 입력은 소정의 데이터로 변환되어 PC 단말(130) 또는 클라우드 단말에 전송될 수 있다.Meanwhile, the client APP installed on theHMD terminal 110 operates in conjunction with the game controller to detect information about the user's movement and controller input. That is, the control input related to the user's movement collected by theHMD terminal 110 may be converted into predetermined data and transmitted to thePC terminal 130 or the cloud terminal.

도 8a를 참조하면, PC 게임 확장 VR 시스템(100)은 게임 처리부(230)를 통해 HMD 단말(110)의 FOV 영역에 대해 영역 경계를 기준으로 소정의 길이만큼 영역 내부에 형성되는 반투명 필터(810)를 적용할 수 있다. 또한, 반투명 필터(810)는 HMD 단말(110) 상에서 실행되는 클라이언트 APP을 통해 적용될 수 있다. 이때, 반투명 필터(810)의 길이는 사용자의 움직임에 따라 동적으로 결정될 수 있다. 예를 들어, 도 8a에서 반투명 필터(810)의 길이 r1은 사용자의 움직임이 빠를수록 증가할 수 있다. 즉, 사용자가 빠르게 움직일수록 반투명 필터(810)에 의해 흐려지는 영역이 증가하여 사용자가 실제 바라볼 수 있는 FOV 영역의 크기가 작아짐으로써 사용자의 인지 가능한 영역이 줄어들어 사용자가 스크린 영상(510)에 보다 집중할 수 있는 효과를 얻을 수 있다.Referring to FIG. 8A , the PC game extendedVR system 100 includes atranslucent filter 810 formed inside the FOV area of theHMD terminal 110 by a predetermined length based on the area boundary with respect to the FOV area of theHMD terminal 110 through the game processing unit 230. ) can be applied. Also, thetranslucent filter 810 may be applied through a client APP running on theHMD terminal 110 . In this case, the length of thetranslucent filter 810 may be dynamically determined according to the user's movement. For example, in FIG. 8A , the length r1 of thetranslucent filter 810 may increase as the user moves faster. That is, as the user moves faster, the area blurred by thetranslucent filter 810 increases and the size of the FOV area that the user can actually see decreases, so the user's perceptible area decreases, allowing the user to focus more on thescreen image 510. possible effect can be obtained.

일 실시예에서, 게임 처리부(230)는 사용자의 움직임 변화량의 절대값 α를 기초로 반투명 필터(810)의 길이 r1을 조절할 수 있다. 예를 들어, 반투명 필터(810)의 길이 r1은 움직임 변화량의 절대값 α 및 FOV 영역의 지름 l_fov를 반영하여 결정될 수 있다. 다른 예로서, 반투명 필터(810)의 길이 r1은 움직임 변화량의 절대값 α와 FOV 영역의 지름 l_fov 및 스크린 영역(530)의 수직 사이즈(vertical size) d_ver 간의 비율을 반영하여 결정될 수도 있다.In one embodiment, thegame processing unit 230 may adjust the length r1 of thetranslucent filter 810 based on the absolute value α of the amount of change in the user's motion. For example, the length r1 of thetranslucent filter 810 may be determined by reflecting the absolute value α of the motion variation amount and the diameter l_fov of the FOV area. As another example, the length r1 of thetranslucent filter 810 may be determined by reflecting the ratio between the absolute value α of the amount of motion change, the diameter l_fov of the FOV area, and the vertical size d_ver of thescreen area 530.

도 8b를 참조하면, PC 게임 확장 VR 시스템(100)은 게임 처리부(230)를 통해 스크린 영역(530)에 대해 영역 경계를 기준으로 소정의 길이만큼 영역 내부에 형성되는 반투명 필터(830)를 적용할 수 있다. 또한, 반투명 필터(830)는 HMD 단말(110) 상에서 실행되는 클라이언트 APP이나, PC 단말(130) 또는 클라우드 단말 상에서 실행되는 서버 APP을 통해 적용될 수 있다. 이때, 반투명 필터(830)의 길이는 사용자의 움직임에 따라 동적으로 결정될 수 있다.Referring to FIG. 8B , the PC gameextension VR system 100 applies atranslucent filter 830 formed inside thescreen area 530 by a predetermined length based on the area boundary to thescreen area 530 through thegame processing unit 230. can do. Also, thetranslucent filter 830 may be applied through a client APP running on theHMD terminal 110 or a server APP running on thePC terminal 130 or a cloud terminal. In this case, the length of thetranslucent filter 830 may be dynamically determined according to the user's movement.

예를 들어, 도 8b에서 반투명 필터(830)의 길이 r2는 사용자의 움직임이 빠를수록 증가할 수 있다. 즉, 사용자가 빠르게 움직일수록 반투명 필터(830)에 의해 흐려지는 영역이 증가하여 사용자가 실제 바라볼 수 있는 스크린 영상(510) 자체의 크기가 작아짐으로써 사용자의 인지 가능한 영역이 줄어들어 사용자가 스크린 영상(510)의 줄어든 부분에 보다 집중할 수 있는 효과를 얻을 수 있다.For example, in FIG. 8B , the length r2 of thetranslucent filter 830 may increase as the user moves faster. That is, as the user moves faster, the area blurred by thetranslucent filter 830 increases and the size of thescreen image 510 itself that the user can actually see decreases, so the user's perceptible area decreases, so that the user can see the screen image 510 ) can achieve the effect of being able to concentrate more on the reduced part of the

일 실시예에서, 게임 처리부(230)는 사용자의 움직임 변화량의 절대값 α를 기초로 반투명 필터(830)의 길이 r2를 조절할 수 있다. 예를 들어, 반투명 필터(830)의 길이 r2는 움직임 변화량의 절대값 α 및 스크린 영역(530)의 수직 사이즈(vertical size) d_ver를 반영하여 결정될 수 있다. 다른 예로서, 반투명 필터(830)의 길이 r2는 움직임 변화량의 절대값 α와 FOV 영역의 지름 l_fov 및 스크린 영역(530)의 버티컬 사이즈(vertical size) d_ver 간의 비율을 반영하여 결정될 수도 있다.In one embodiment, thegame processing unit 230 may adjust the length r2 of thetranslucent filter 830 based on the absolute value α of the amount of change in the user's motion. For example, the length r2 of thetranslucent filter 830 may be determined by reflecting the absolute value α of the amount of motion variation and the vertical size d_ver of thescreen area 530 . As another example, the length r2 of thetranslucent filter 830 may be determined by reflecting the ratio between the absolute value α of the motion variation, the diameter l_fov of the FOV area, and the vertical size d_ver of thescreen area 530.

또 다른 예로서, 반투명 필터(830)의 길이 r2는 움직임 변화량의 절대값 α와 스크린 영역(530)의 수평 사이즈(horizontal size) d_hor 및 수직 사이즈(vertical size) d_ver 간의 비율을 반영하여 결정될 수도 있다.As another example, the length r2 of thetranslucent filter 830 may be determined by reflecting the ratio between the absolute value α of the amount of motion variation and the horizontal size d_hor and vertical size d_ver of thescreen area 530. may be

본 발명에 따른 PC 게임 확장 VR 시스템(100)은 사용자가 바라보는 스크린 영역을 강조하여 사용자가 영상의 중심을 직관적으로 인지하도록 하거나 또는 사용자의 움직임에 따라 사용자가 인지할 수 있는 스크린 영역의 범위를 동적으로 조절함으로써 사용자가 VR 컨텐츠를 이용하는 과정에서 어지럼증을 개선할 수 있다.The PC gameextension VR system 100 according to the present invention emphasizes the screen area the user is looking at so that the user can intuitively recognize the center of the image or the range of the screen area the user can perceive according to the user's movement. By dynamically adjusting, dizziness can be improved while the user uses VR content.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: PC 게임 확장 VR 시스템
110: HMD 단말130: PC 단말
210: 게임 전송부230: 게임 처리부
250: 컨트롤 입력 전송부270: 제어부
510: 스크린 영상530: 스크린 영역
610: 상하 경계선630: 좌우 경계선
650: 눈금선
810, 830: 반투명 필터100: PC gaming extended VR system
110: HMD terminal 130: PC terminal
210: game transmission unit 230: game processing unit
250: control input transmission unit 270: control unit
510: screen image 530: screen area
610: upper and lower borders 630: left and right borders
650: grid line
810, 830: translucent filter

Claims (6)

Translated fromKorean

PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부;
상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및
상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함하고,
상기 게임 영상은 상기 HMD 단말 상에 형성되는 가상의 스크린 영역을 통해 재생되는 과정에서 복수의 어지럼증 개선 기법들 중 적어도 하나가 적용되며,
상기 게임 처리부는 상기 HMD 단말의 FOV 영역에 대해 영역 경계를 기준으로 소정의 길이만큼 영역 내부에 형성되는 제1 반투명 필터를 적용하고,
상기 제1 반투명 필터의 길이는 상기 사용자의 움직임에 따라 동적으로 결정되는 것을 특징으로 하는 어지럼증이 개선된 PC 게임 확장 VR 시스템.
a game transmission unit that captures game data according to execution of a PC game on a PC terminal or a cloud terminal and transmits the captured game data to the HMD terminal through a wireless network;
a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and
A control input transmitter converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network;
At least one of a plurality of dizziness improvement techniques is applied to the game image in the process of being reproduced through a virtual screen area formed on the HMD terminal,
The game processing unit applies a first translucent filter formed inside the FOV area of the HMD terminal by a predetermined length based on the area boundary,
The length of the first translucent filter is dynamically determined according to the motion of the user.
제1항에 있어서, 상기 게임 처리부는
상기 스크린 영역의 크기를 상기 HMD 단말의 FOV 영역보다 더 작게 설정하고 상기 스크린 영역의 상하 경계선을 좌우 경계선보다 강조하여 표시하는 것을 특징으로 하는 어지럼증이 개선된 PC 게임 확장 VR 시스템.
The method of claim 1, wherein the game processing unit
The dizziness-improved PC game extended VR system, characterized in that the size of the screen area is set smaller than the FOV area of the HMD terminal and the upper and lower borders of the screen area are displayed more emphasized than the left and right borders.
제2항에 있어서, 상기 게임 처리부는
상기 상하 경계선의 굵기 및 색상 중 적어도 하나를 상기 좌우 경계선보다 강조하여 표시하는 것을 특징으로 하는 어지럼증이 개선된 PC 게임 확장 VR 시스템.
The method of claim 2, wherein the game processing unit
A PC game extended VR system with improved dizziness, characterized in that at least one of the thickness and color of the upper and lower borders is displayed more emphasized than the left and right borders.
제1항에 있어서, 상기 게임 처리부는
상기 스크린 영역의 경계를 기준으로 바깥 방향으로 향하는 눈금선을 표시하고 상기 눈금선의 크기는 각 경계선의 중앙에서 양쪽 끝부분으로 갈수록 대칭적으로 작아지도록 설정되는 것을 특징으로 하는 어지럼증이 개선된 PC 게임 확장 VR 시스템.
The method of claim 1, wherein the game processing unit
Dizziness improved PC game expansion, characterized in that the grid line is displayed in an outward direction based on the boundary of the screen area, and the size of the grid line is set to decrease symmetrically from the center of each boundary line to both ends. VR system.
삭제delete제1항에 있어서, 상기 게임 처리부는
상기 스크린 영역에 대해 영역 경계를 기준으로 소정의 길이만큼 영역 내부에 형성되는 제2 반투명 필터를 적용하고,
상기 제2 반투명 필터의 길이는 상기 사용자의 움직임에 따라 동적으로 결정되는 것을 특징으로 하는 어지럼증이 개선된 PC 게임 확장 VR 시스템.
The method of claim 1, wherein the game processing unit
Applying a second translucent filter formed inside the screen area by a predetermined length based on the area boundary to the screen area;
The length of the second translucent filter is dynamically determined according to the motion of the user.

Images