KR20170084443A - Method for controlling head mount display device - Google Patents

Abstract

Translated fromKorean

헤드 마운트 디스플레이 장치의 제어방법에 있어서, 장치가 활성화 되는 시점의 위치를 기준위치로 설정하는 단계; 디스플레이부에 기준화면을 제공하는 단계; 상기 헤드 마운트 디스플레이 장치의 위치가 변화하는 것을 감지하는 단계; 상기 위치변화에 상응하여 상기 디스플레이부에 출력하는 영상의 방향을 조정하는 단계; 기준위치를 재설정하는 단계; 및 상기 재설정된 기준위치에 상기 기준화면이 위치하도록 상기 디스플레이부를 제어하는 단계를 포함하는 헤드 마운트 디스플레이 장치 제어방법은 기준방향을 손쉽게 변경하여 사용의 편의성을 제고할 수 있다.A method of controlling a head mounted display device, the method comprising: setting a position at a time when a device is activated to a reference position; Providing a reference screen on a display unit; Sensing a change in the position of the head-mounted display device; Adjusting a direction of an image to be output to the display unit in accordance with the positional change; Resetting the reference position; And controlling the display unit such that the reference screen is positioned at the reset reference position. The method of controlling a head-mounted display device may easily change the reference direction to improve convenience of use.

Description

Translated fromKorean

헤드 마운트 디스플레이 장치 제어방법{Method for controlling head mount display device}[0001] The present invention relates to a method of controlling a head mount display device,

본 발명은 기준방향을 변경하는 방법에 관한 헤드 마운트 디스플레이 장치 제어방법에 관한 것이다.The present invention relates to a head-mounted display device control method relating to a method of changing a reference direction.

다양한 디스플레이 형태가 등장하면서 머리에 장착하여 영상을 감상하는 헤드마운트 타입의 디스플레이 장치가 등장하고 있다. 이러한 장치를 헤드 마운트 디스플레이(HMD: Head Mount Display)라고 칭하며, 헤드 마운트 디스플레이는 눈에 인접하게 위치하기 때문에 초점 조정이 필요하다.A head-mounted type display device has appeared, in which a variety of display forms come into view while attaching to the head to view an image. Such a device is called a head mount display (HMD), and the head mount display is positioned adjacent to the eye, so focus adjustment is necessary.

특히, 최근에는 가상현실 헤드 마운트 디스플레이가 등장하면서 2D이미지가 아닌 3D입체영상을 제공하고, 사용자의 움직임에 따라 좌우 360° 파노라마 이미지 뿐만 아니라 상하 방향으로 고개를 돌리면 다양한 이미지를 제공할 수 있다.In particular, in recent years, a virtual reality head mount display has been introduced to provide a 3D stereoscopic image, not a 2D image, and a variety of images can be provided by turning a head 360 ° panoramic image as well as a vertical panoramic image according to a user's movement.

헤드 마운트 디스플레이 장치는 움직임을 감지하에 그에 따라 화면을 전환하여 현장감 있는 영상을 제공하며, 기준방향에 상대적인 방향 및 위치 변화를 감지하여 다른 영상을 제공한다.The head-mounted display device switches the screen according to the detected movement to provide a realistic image, and detects a change in direction and position relative to the reference direction to provide another image.

본 발명은 손쉽게 기준방향을 변경하여 사용자가 원하는 화면으로 전환하는 헤드 마운트 디스플레이 장치의 제어방법을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a control method of a head-mounted display device which easily changes a reference direction to switch to a screen desired by a user.

헤드 마운트 디스플레이 장치의 제어방법에 있어서, 장치가 활성화 되는 시점의 위치를 기준위치로 설정하는 단계; 디스플레이부에 기준화면을 제공하는 단계; 상기 헤드 마운트 디스플레이 장치의 위치가 변화하는 것을 감지하는 단계; 상기 위치변화에 상응하여 상기 디스플레이부에 출력하는 영상의 방향을 조정하는 단계; 기준위치를 재설정하는 단계; 및 상기 재설정된 기준위치에 상기 기준화면이 위치하도록 상기 디스플레이부를 제어하는 단계를 포함하는 헤드 마운트 디스플레이 장치 제어방법을 제공한다.A method of controlling a head mounted display device, the method comprising: setting a position at a time when a device is activated to a reference position; Providing a reference screen on a display unit; Sensing a change in the position of the head-mounted display device; Adjusting a direction of an image to be output to the display unit in accordance with the positional change; Resetting the reference position; And controlling the display unit such that the reference screen is located at the reset reference position.

상기 기준위치를 재설정하는 단계는, 상기 헤드 마운트 디스플레이 장치의 카메라를 이용하여 사용자 손의 제1 제스처를 감지하는 단계; 상기 제1 제스처가 감지된 시점의 위치를 기준위치로 설정하는 단계를 포함할 수 있다.Wherein the resetting of the reference position comprises: sensing a first gesture of the user's hand using the camera of the head-mounted display device; And setting a position of a point of time when the first gesture is sensed as a reference position.

상기 제1 제스처는 손을 편 상태이고, 상기 카메라가 손바닥을 감지하면 상기 기준위치를 재설정할 수 있다.The first gesture is in a state in which the hand is in an unfolded state, and the reference position can be reset when the camera senses the palm of a hand.

상기 제1 제스처를 감지하는 단계 이전에, 상기 카메라를 활성화하는 단계를 더 포함할 수 있다.The method may further include activating the camera prior to sensing the first gesture.

상기 기준위치를 재설정하는 단계는, 상기 헤드 마운트 디스플레이 장치의 카메라를 이용하여 사용자 손의 제2 제스처를 감지하는 단계; 상기 제2 제스처가 감지된 시점의 화면 위치를 고정하는 단계; 상기 헤드 마운트 디스플레이 장치의 위치가 변경되는 단계; 및 상기 제2 제스처가 감지되지 않는 시점의 위치를 기준위치로 설정하는 단계를 포함할 수 있다.Wherein the resetting of the reference position comprises: sensing a second gesture of the user's hand using the camera of the head-mounted display device; Fixing a screen position at a point of time when the second gesture is sensed; Changing a position of the head-mounted display device; And setting a position of a point of time when the second gesture is not detected as a reference position.

상기 제2 제스처는 손가락 한 개를 편 상태일 수 있다.The second gesture may be a single finger.

상기 기준위치를 재설정하는 단계는, 기존의 기준위치를 중심으로 소정 범위에서 벗어난 상태에서 소정시간 이상 위치가 고정된 경우 사용자에게 현재 방향으로 기준위치를 변경할 것인지 여부를 확인하는 단계; 및 상기 확인결과에 따라 기준위치를 변경할 수 있다.The step of resetting the reference position may include: confirming whether the user should change the reference position in the current direction when the position is fixed for a predetermined time or longer in a state where the reference position is out of a predetermined range; And change the reference position according to the result of the check.

상기 헤드 마운트 디스플레이 장치의 카메라를 이용하여 사용자 손의 제3 제스처를 감지하는 단계; 및 상기 제3 제스처를 감지한 시점의 디스플레이부의 영상을 캡쳐하는 단계를 더 포함할 수 있다.Sensing a third gesture of the user's hand using the camera of the head-mounted display device; And capturing an image of the display unit at the time of sensing the third gesture.

본 발명의 적어도 일 실시예에 따르면 헤드 마운트 디스플레이 장치의 기준방향을 손쉽게 변경하여 사용의 편의성을 제고할 수 있다.According to at least one embodiment of the present invention, it is possible to easily change the reference direction of the head-mounted display device, thereby improving convenience of use.

도 1은 본 발명의 헤드 마운트 디스플레이 장치의 블럭도이다.
도 2는 본 발명의 헤드 마운트 디스플레이 장치를 도시한 사시도이다.
도 3은 본 발명의 헤드 마운트 디스플레이 장치를 통해 보여지는 화면을 설명하기 위한 도면이다.
도 4 내지 도 7은 본 발명의 헤드 마운트 디스플레이 장치의 화면을 조정하는 단계의 일 실시예를 도시한 도면이다.
도 8은 본 발명의 헤드 마운트 디스플레이 장치의 화면을 조정하는 단계의 다른 실시예를 도시한 도면이다.1 is a block diagram of a head-mounted display device of the present invention.
2 is a perspective view showing the head-mounted display device of the present invention.
3 is a view for explaining a screen viewed through the head-mounted display device of the present invention.
Figs. 4 to 7 are views showing an embodiment of a step of adjusting the screen of the head-mounted display device of the present invention.
8 is a view showing another embodiment of the step of adjusting the screen of the head-mounted display device of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1은 본 발명의 헤드 마운트 디스플레이 장치(100)의 블럭도를 도시한 도면이고, 도 2 는 본 발명의 헤드 마운트 디스플레이 장치(100)를 다른 측면에서 바라본 사시도이다. 본 발명의 헤드 마운트 디스플레이 장치(100)는 디스플레이부(210), 음향출력부(165), 구동부(260), 사용자 입력부(123), 인터페이스부(160), 센싱부(140), 제어부(180) 및 무선통신부(190)를 포함한다.FIG. 1 is a block diagram of a head-mounteddisplay device 100 of the present invention, and FIG. 2 is a perspective view of the head-mounteddisplay device 100 of the present invention as viewed from the other side. The headmount display device 100 of the present invention includes adisplay unit 210, anacoustic output unit 165, adriver 260, auser input unit 123, aninterface unit 160, asensing unit 140, And awireless communication unit 190.

하우징(110)은 사용자의 눈의 전면에 위치하며, 전면은 평면 또는 곡면 모두 가능하나 배면은 사용자의 얼굴형상에 휘어진 곡면을 포함할 수 있다. 하우징(110)은 각종부품이 실장되고 하우징(110)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다. 각 케이스는 동일 재질을 이용할 수도 이종 재질을 이용할 수 있다.Thehousing 110 is located on the front of the user's eyes, and the front surface may be either flat or curved but the back surface may include a curved surface bent to the shape of the user's face. Thehousing 110 may be mounted with various components and thehousing 110 may be formed by injection molding of synthetic resin or may be formed of metal such as stainless steel (STS), aluminum (Al), titanium (Ti), or the like. Each case can use the same material or different materials.

상기 하우징(110)을 사용자의 머리에 고정하기 위한 머리 고정부(130)를 포함한다. 머리 고정부(130)는 밴드타입나 안경타입 및 헬멧타입 등 다양한 형태로 구성될 수 있다.And ahair fixing part 130 for fixing thehousing 110 to the user's head. Thehead fixing unit 130 may be formed in various forms such as a band type, a spectacle type, and a helmet type.

디스플레이부(210)는 일면의 영상출력부에서 영상 정보를 출력하는 장치로서, 헤드 마운트 디스플레이 장치(100)의 좌안과 우안에 각각 하나씩 구비된다. 디스플레이부(210)는 좌안 또는 우안에 제공하는 영상을 제공하며, 동일한 영상을 제공할 수도 있고, 촬영 각도가 상이한 2개의 영상을 좌안과 우안에 각각 제공하는 경우 3D 입체 영상을 제공할 수 있다.Thedisplay unit 210 is a device for outputting image information from a video output unit on one side, and is provided on the left and right eyes of the head-mounteddisplay device 100, respectively. Thedisplay unit 210 provides an image to be provided to the left or right eye and may provide the same image or may provide a 3D stereoscopic image when providing two images having different imaging angles to the left eye and the right eye, respectively.

디스플레이부(210)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.Thedisplay unit 210 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED) display, a 3D display, and an e-ink display.

디스플레이부(210)는 내장되는 형태도 가능하나 도 2에 도시된 바와 같이 하우징(110)에 스마트폰(200)을 결합시켜 스마트폰(200)을 통해 영상을 출력할 수 있다. 이때, 사용자입력부는 상기 스마트폰(200)을 제어하도록 무선통신을 통해 명령이 전송되거나 스마트폰(200)의 인터페이스부를 통해 연결되어 명령을 전달 받을 수 있다.As shown in FIG. 2, thedisplay unit 210 may be built in. However, thesmart phone 200 may be coupled to thehousing 110 to output an image through thesmart phone 200. At this time, the user input unit may receive a command through wireless communication to control thesmart phone 200 or may be connected through the interface unit of thesmart phone 200 to receive the command.

디스플레이부(210)는 영상 출력부와 사용자의 눈 사이에 위치하여 디스플레이부(210)에서 출력되는 영상의 초점거리를 조정하는 렌즈를 더 포함할 수 있다.Thedisplay unit 210 may further include a lens positioned between the image output unit and a user's eye to adjust a focal length of an image output from thedisplay unit 210. [

구동부(260)은 디스플레이부(210)의 위치를 사용자의 좌안과 우안의 동공간격에 맞추어 조정하고, 사용자의 시력에 맞추어 디스플레이부(210)의 전면에 위치하는 렌즈(250)의 위치를 조정하는 역할을 한다. 구동부(260)는 좌안과 우안의 동공 간격을 맞추기 위한 수평조정부(223, 265, 267)와 좌안과 우안 각각의 시력에 따라 렌즈(250)와 디스플레이부(210) 사이의 간격을 조정하는 초점조정부(227, 247)를 포함한다.Thedriving unit 260 adjusts the position of thedisplay unit 210 according to the pupil distance of the left and right eyes of the user and adjusts the position of the lens 250 positioned on the front surface of thedisplay unit 210 according to the visual acuity of the user It plays a role. Thedriving unit 260 includes horizontal adjustment units 223, 265, and 267 for adjusting the distance between the left eye and the right eye and a focus adjustment unit 223 for adjusting the distance between the lens 250 and thedisplay unit 210 according to the visual acuities of the left and right eyes, (227, 247).

음향출력부(165)는 골전도 스피커를 구비하여 사용자의 두개골로 직접 소리를 전달하거나 이어잭을 구비하여 이어폰을 통해 음향을 사용자에게 전달할 수 있다.Thesound output unit 165 may include a bone conduction speaker to transmit sound directly to the user's skull or an ear jack to transmit sound to the user through the earphone.

사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 이동 단말기(100)의 동작을 제어할 수 있다.Theuser input unit 123 is for receiving information from a user. When information is inputted through theuser input unit 123, thecontrol unit 180 can control the operation of themobile terminal 100 to correspond to the input information .

이러한, 사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 헤드 마운트 디스플레이 장치(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 본 실시예의 사용자 입력부(123)는 돔 스위치를 포함하는 버튼형태를 이용하여 하우징(110)의 측면에 노출된 형태로 구비할 수 있다.Theuser input unit 123 may include a mechanical input means (or a mechanical key, for example, a button located on the front, rear or side of the head mounteddisplay device 100, a dome switch, Wheel, jog switch, etc.) and touch-type input means. Theuser input unit 123 of the present embodiment may be provided in a form exposed on the side surface of thehousing 110 using a button shape including a dome switch.

인터페이스부(160)는 헤드 마운트 디스플레이 장치(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 외부기기로 부터 영상신호를 제공받거나 전원을 공급받을 수 있다. 얼굴에 거치하는 장치이므로 헤드 마운트 디스플레이 장치(100) 자체에 배터리를 구비하면 무게가 증가하는 문제가 있는 바, 인터페이스부(160)를 통해 외부 전원을 공급받을 수 있다.Theinterface unit 160 is a path through which the head-mounteddisplay device 100 can be connected to an external device. For example, theinterface unit 160 may receive a video signal or receive power from an external device. Since the apparatus is mounted on the face, if the battery is provided in the headmount display apparatus 100 itself, there is a problem that the weight increases, and external power can be supplied through theinterface unit 160.

센싱부(140)는 사용자가 헤드 마운트 디스플레이 장치(100)를 착용했는지 여부를 감지하는 근접센서(143, 도 3 참조)를 포함할 수 있다. 근접센서(143)에서 착용을 감지하면 디스플레이부(210)를 활성화 상태로 전환할 수 있다.Thesensing unit 140 may include a proximity sensor 143 (see FIG. 3) that senses whether or not the user wears the head-mounteddisplay device 100. When the proximity sensor 143 senses wearing, thedisplay unit 210 can be activated.

센싱부(140)는 그 외에 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor) 등을 구비할 수 있다.Thesensing unit 140 may further include a touch sensor, an acceleration sensor, a magnetic sensor, a gravity sensor (G-sensor), a gyroscope sensor, a motion sensor An RGB sensor, an infrared sensor, a finger scan sensor, an ultrasonic sensor, and the like.

무선통신부(190)는 외부 단말기와 무선통신을 수행하여 외부 단말기로 부터 영상정보를 수신할 수 있다. 외부 단말기와의 거리가 멀지 않은 상태에서 주로 이용하는 바, 근거리 통신 방식을 이용할 수 있다. 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.Thewireless communication unit 190 may wirelessly communicate with an external terminal and receive image information from the external terminal. And is mainly used in a state where the distance from the external terminal is not too far. (Bluetooth), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wireless-Fidelity Direct, and Wireless USB (Wireless Universal Serial Bus) technology.

제어부(180)는 상기 디스플레이부(210), 무선통신부, 센싱부(140), 인터페이스부(160) 및 사용자 입력부(123)과 연결되어 헤드 마운트 디스플레이 장치(100)를 제어한다. 제어부(180)는 무선 통신부 또는 인터페이스부(160)를 통해 전송받은 영상데이터를 기초로 디스플레이부(210)에서 영상을 출력하도록 제어한다. 또한 제어부(180)는 센싱부(140)에서 감지한 감지결과를 이용하여 헤드 마운트 디스플레이 장치(100)의 디스플레이부(210)를 활성화 할 수 있다.Thecontrol unit 180 is connected to thedisplay unit 210, the wireless communication unit, thesensing unit 140, theinterface unit 160, and theuser input unit 123 to control the headmount display device 100. Thecontrol unit 180 controls thedisplay unit 210 to output an image on the basis of the image data received through the wireless communication unit or theinterface unit 160. Also, thecontroller 180 can activate thedisplay unit 210 of the head-mounteddisplay device 100 using the sensing result sensed by thesensing unit 140.

사용자 입력부(123)에서 입력된 사용자 명령 신호에 따라 디스플레이부(210)의 화면을 제어할 수 있다. 사용자 입력부(123)는 필요에 따라서는 상기 인터페이스부(160) 및 상기 무선통신부를 통해 외부 단말기를 제어할 수 있다.Thedisplay unit 210 can be controlled according to the user command signal input from theuser input unit 123. [ Theuser input unit 123 may control the external terminal through theinterface unit 160 and the wireless communication unit, if necessary.

사용자 입력부(123)는 버튼 뿐만 아니라 센서를 통해 입력을 수행할 수 있다. 예를 들면 터치센서를 통해 사용자 명령을 입력받거나 이미지 센서를 통해 제스처를 감지하여 사용자 명령을 입력받을 수 있다.Theuser input unit 123 can perform input through sensors as well as buttons. For example, a user command may be inputted through a touch sensor or a gesture may be sensed through an image sensor to receive a user command.

도 3은 헤드 마운트 디스플레이 장치(100)를 통해 보는 화면을 설명하기 위한 도면이로서, 헤드 마운트 디스플레이 장치(100)를 이용하여 보는 화면은 가상현실 영상으로 그래픽으로 만들거나 360도 촬영을 통해 전후좌우 상하의 영상을 볼 수 있다. 영상의 전환은 실제 풍경 또는 사물을 보고 있는 것처럼 사용자의 움직임에 따라 전환한다.3 is a view for explaining a screen viewed through the headmount display device 100. The screen viewed using the headmount display device 100 may be graphically created as a virtual reality image, You can see the video. The conversion of the image changes according to the movement of the user as if the actual scene or object is being viewed.

처음 헤드 마운트 디스플레이 장치(100)를 구동할 때 사용자가 바라보는 방향을 기준방향으로 설정한다. 기준방향은 이후 움직임의 기준점이 되는 방향으로, 기준방향에 상대적인 위치 및 방향의 변화에 따라 화면을 변경한다. 디스플레이부를 통해 제공되는 화면에는 기준화면이 존재하며, 기준방향과 상기 헤드 마운트 디스플레이 장치(100)의 방향이 일치할 때 기준화면이 제공된다. 예를 들면, 도 3의 A부분의 영상이 기준화면이 될 수 있다. 다만, 이에 한정되지는 않는다.When the head-mounteddisplay device 100 is driven for the first time, the direction that the user looks at is set as the reference direction. The reference direction changes the screen in accordance with the change of the position and direction relative to the reference direction in a direction that becomes the reference point of the movement thereafter. A screen provided through the display unit has a reference screen and a reference screen is provided when the reference direction matches the direction of the head-mounteddisplay device 100. [ For example, the image of the portion A in Fig. 3 can be the reference screen. However, the present invention is not limited thereto.

처음 시작할 때 헤드 마운트 디스플레이 장치(100)의 위치를 자이로 센서나 가속도 센서 등을 통해 감지하여, 기준방향으로 설정한다. 이후, 헤드 마운트 디스플레이 장치(100)는 사용자의 움직임을 감지하여 좌측방향으로 헤드 마운트 디스플렝 장치(100)가 회전하면 기준화면(A)의 좌측의 영상(B)을 제공한다. 우측을 바라보면 기준화면(A)의 우측의 영상(C)을 제공한다.The position of the headmount display device 100 is detected through a gyro sensor, an acceleration sensor, or the like, and is set as a reference direction. Then, the head-mounteddisplay device 100 senses the movement of the user, and when the head-mounteddisplay device 100 rotates in the leftward direction, the left-side image B of the reference screen A is provided. And the image C on the right side of the reference screen A is provided.

다만, 사용자가 도 4에 도시된 바와 같이 정면을 바라보지 않는 상태에서 헤드 마운트 디스플레이 장치(100)를 구동을 시작하면, 기준방향이 사용자의 정면이 아닌 측방향으로 틀어져, 고개를 돌리면 기준방향의 영상이 아닌 좌측의 영상이 제공되는 바, 틀어진 상태를 유지해야하는 불편이 있어 기준방향을 재설정할 필요가 있다.However, when the user starts driving the head-mounteddisplay device 100 in a state in which the user does not look at the front as shown in FIG. 4, the reference direction is turned to the side direction other than the front side of the user, Since the image on the left side is provided instead of the image, it is necessary to reset the reference direction because there is inconvenience that the state must be maintained.

또는 시작한 이후에 누워서 헤드 마운트 디스플레이 장치를 이용하고자 하는 경우와 같이, 사용자의 자세가 추후에 바뀐 경우에도 기준방향을 재설정할 필요가 있다.It is necessary to reset the reference direction even when the posture of the user is changed later, such as when the user wants to use the head-mounted display device by lying down after starting.

도 5 및 도 6은 본 발명의 헤드 마운트 디스플레이 장치(100)의 화면을 조정하는 단계의 일 실시예를 도시한 도면이다. 사용자가 도 4의 상태에서 헤드 마운트 디스플레이 장치(100)의 구동을 시작하면 도 4의 자세에서 도 5의 (a)의 화면(이제공ㄷ준화면(A))된다. 정면을 바라보는 자세(도 6 참조)로 시선을 왼쪽으로 돌리면 도 5의 (b)에 도시된 바와 같이 기준화면의 좌측영상(B)이 제공된다.5 and 6 are views showing an embodiment of a step of adjusting the screen of the head-mounteddisplay apparatus 100 of the present invention. When the user starts driving the head-mounteddisplay device 100 in the state shown in Fig. 4, the screen shown in Fig. 5 (a) (now a quasi-screen A) at the posture of Fig. When the line of sight is turned to the left with the front view (see Fig. 6), the left image B of the reference screen is provided as shown in Fig. 5 (b).

이때, 기준방향에서 소정범위 이상 벗어난 상태에서 소정시간 이상 지속되면 도 5의 (b)와 같이 기준방향 재설정을 위한 아이콘(21)이 제공될 수 있다.At this time, if the predetermined direction is longer than a predetermined range in the reference direction, theicon 21 for resetting the reference direction may be provided as shown in FIG. 5 (b).

기준방향 재설정을 위해 본 실시예에서는 손의 제스처를 이용하여 설정할 수 있다. 즉 도 6에 도시된 바와 같이 사용자가 손바닥을 펴고 전면 방향에 위치시키면 상기 헤드 마운트 디스플레이 장치(100)의 카메라(스마트폰을 장착하는 경우 스마트폰의 카메라를 이용할 수 있다)를 통해 손 모양을 감지할 수 있다.In the present embodiment, it is possible to set using the hand gesture to reset the reference direction. 6, when the user stretches the palm of the hand and places the palm of the hand in the front direction, the camera of the head-mounteddisplay device 100 detects the hand shape through the camera (if a smart phone is mounted, the camera of the smart phone can be used) can do.

손 모양이 제1 제스처(11)인 경우(본 실시예에서는 손바닥을 편 형상) 기준방향을 상기 제1 제스처가 감지된 시점의 방향으로 전환하고, 그에 따라 화면도 도 5의 (b)와 같이 기준화면으로 전환된다. 즉, 불편한 자세로 영상을 시작한 경우 또는 누워서 감상하는 경우, 해당 자세를 기준방향으로 재설정하여 영상을 감상할 수 있다.When the hand shape is the first gesture 11 (in this embodiment, the palm is shaped), the reference direction is switched to the direction at the time when the first gesture is sensed, The screen is switched to the reference screen. That is, when the image is started in an uncomfortable posture or when the image is laid down, the posture can be reset to the reference direction and the image can be appreciated.

도 7은 본 발명의 헤드 마운트 디스플레이 장치(100)의 화면을 조정하는 단계의 다른 실시예를 도시한 도면이다. 기준 방향에서 벗어난 상태로 소정시간 이상 지속되는 경우 도 5의 실시예에서 화면에 아이콘(21)을 표시한 대신에 도 7과 같이 직접적으로 기준방향을 변경할지 여부를 묻는 윈도우(22)가 제공될 수 있다.7 is a view showing another embodiment of the step of adjusting the screen of the head-mounteddisplay apparatus 100 of the present invention. In a case where it is continued for a predetermined time or longer in a state deviating from the reference direction, instead of displaying theicon 21 on the screen in the embodiment of FIG. 5, awindow 22 for asking whether to change the reference direction directly is provided .

yes를 선택하면 기준방향이 현재 헤드 마운트 디스플레이 장치(100)가 향하는 방향으로 변경되어 도 7의 (b)와 같이 화면이 변경되고, no를 선택하면 기준방향이 그대로 유지된다.If yes is selected, the reference direction is changed to the direction that the current head-mounteddisplay device 100 faces, and the screen is changed as shown in FIG. 7 (b). If no is selected, the reference direction is maintained.

다음으로, 도 8은 본 발명의 헤드 마운트 디스플레이 장치(100)의 화면을 조정하는 단계의 다른 실시예를 도시한 도면이다. 사용자가 감상중에 자세를 바꿔서 계속 진행하려는 경우 현재 화면을 그대로 정지하고 자세를 바꾼 후에 재시작 하도록 정지(pause)기능을 이용할 수 있다.Next, Fig. 8 is a view showing another embodiment of the step of adjusting the screen of the head-mounteddisplay device 100 of the present invention. If the user wishes to continue changing the pose while listening, he / she can use the pause function to stop the current screen and restart the pose after changing the pose.

정지 기능을 위해 도 8에 도시된 바와 같이 카메라를 통해 제2 제스처(12, 본 실시예에서는 손가락 1개를 편 상태)를 감지하면 상기 제2 제스처(12)가 감지되는 동안 화면을 정지하고 상기 제2 제스처(12)를 더 이상 감지하지 못하는 경우 다시 화면이 재시작될 수 있다.8, when the second gesture 12 (in this embodiment, one finger is tilted) is sensed through the camera as shown in FIG. 8, the screen is stopped while thesecond gesture 12 is detected, If thesecond gesture 12 is no longer detected, the screen may be restarted again.

화면을 정지할 때 기준방향을 향하고 있지 않더라도 정지하고 방향을 변경한 후에 재시작 하면 기준방향 역시 변화하는 바, 새로운 기준방향에 따라 영상을 제공할 수 있다.When stopping the screen, even when the screen is not facing the reference direction, the reference direction also changes when stopping and restarting after changing the direction, so that the image can be provided according to the new reference direction.

또는 제3 제스처(예를 들면 주먹을 쥐는 제스처)가 감지되면, 사용자가 현재 보고 있는 화면을 캡쳐하여 메모리에 저장할 수 있다. 전술한 제1 제스처 내지 제3 제스처는 위 언급한 실시예에 한정되지 않고 변경 가능하다.Or a third gesture (e.g., a gesture of gripping a fist) is detected, the user can capture the screen currently being viewed and store it in the memory. The above-described first to third gestures are not limited to the above-mentioned embodiments and can be changed.

본 발명의 적어도 일 실시예에 따르면 헤드 마운트 디스플레이 장치의 기준방향을 손쉽게 변경하여 사용의 편의성을 제고할 수 있다.According to at least one embodiment of the present invention, it is possible to easily change the reference direction of the head-mounted display device, thereby improving convenience of use.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The foregoing detailed description should not be construed in all aspects as limiting and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

100: 헤드 마운트 디스플레이 장치110: 하우징
123: 사용자 입력부 130: 머리 고정부
143: 근접센서160: 인터페이스부
185: 메인기판190: 무선통신부
200: 스마트폰210: 디스플레이부100: head mount display device 110: housing
123: user input unit 130:
143: proximity sensor 160: interface unit
185: main board 190: wireless communication section
200: smartphone 210: display unit

Claims (8)

Translated fromKorean

헤드 마운트 디스플레이 장치의 제어방법에 있어서,
장치가 활성화 되는 시점의 위치를 기준위치로 설정하는 단계;
디스플레이부에 기준화면을 제공하는 단계;
상기 헤드 마운트 디스플레이 장치의 위치가 변화하는 것을 감지하는 단계;
상기 위치변화에 상응하여 상기 디스플레이부에 출력하는 영상의 방향을 조정하는 단계;
기준위치를 재설정하는 단계; 및
상기 재설정된 기준위치에 상기 기준화면이 위치하도록 상기 디스플레이부를 제어하는 단계를 포함하는 헤드 마운트 디스플레이 장치 제어방법.A method of controlling a head-mounted display device,
Setting a position at a time when the device is activated to a reference position;
Providing a reference screen on a display unit;
Sensing a change in the position of the head-mounted display device;
Adjusting a direction of an image to be output to the display unit in accordance with the positional change;
Resetting the reference position; And
And controlling the display unit to position the reference screen at the reset reference position.제1항에 있어서,
상기 기준위치를 재설정하는 단계는,
상기 헤드 마운트 디스플레이 장치의 카메라를 이용하여 사용자 손의 제1 제스처를 감지하는 단계; 및
상기 제1 제스처가 감지된 시점의 위치를 기준위치로 설정하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치 제어방법.The method according to claim 1,
Wherein the step of resetting the reference position comprises:
Sensing a first gesture of the user's hand using the camera of the head-mounted display device; And
And setting a position of a point of time when the first gesture is detected as a reference position.제2항에 있어서,
상기 제1 제스처는 손을 편 상태이고, 상기 카메라가 손바닥을 감지하면 상기 기준위치를 재설정하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치 제어방법.3. The method of claim 2,
Wherein the first gesture resets the reference position when the hand is in the unfolded state and the camera senses the palm of the hand.제2항에 있어서,
상기 제1 제스처를 감지하는 단계 이전에,
상기 카메라를 활성화하는 단계를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치 제어방법.3. The method of claim 2,
Before the step of sensing the first gesture,
Further comprising the step of activating the camera.제1항에 있어서,
상기 기준위치를 재설정하는 단계는,
상기 헤드 마운트 디스플레이 장치의 카메라를 이용하여 사용자 손의 제2 제스처를 감지하는 단계;
상기 제2 제스처가 감지된 시점의 화면 위치를 고정하는 단계;
상기 헤드 마운트 디스플레이 장치의 위치가 변경되는 단계; 및
상기 제2 제스처가 감지되지 않는 시점의 위치를 기준위치로 설정하는 단계를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치 제어방법.The method according to claim 1,
Wherein the step of resetting the reference position comprises:
Sensing a second gesture of the user's hand using the camera of the head-mounted display device;
Fixing a screen position at a point of time when the second gesture is sensed;
Changing a position of the head-mounted display device; And
And setting a position of a point of time when the second gesture is not detected as a reference position.제5항에 있어서,
상기 제2 제스처는 손가락 한 개를 편 상태인 것을 특징으로 하는 헤드 마운트 디스플레이 장치.6. The method of claim 5,
Wherein the second gesture is a state in which one finger is in a flat state.제1항에 있어서,
상기 기준위치를 재설정하는 단계는,
기존의 기준위치를 중심으로 소정 범위에서 벗어난 상태에서 소정시간 이상 위치가 고정된 경우 사용자에게 현재 방향으로 기준위치를 변경할 것인지 여부를 확인하는 단계; 및
상기 확인결과에 따라 기준위치를 변경하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치 제어방법.The method according to claim 1,
Wherein the step of resetting the reference position comprises:
Confirming whether the user should change the reference position in the current direction when the position is fixed for a predetermined time or more in a state where the existing reference position is out of a predetermined range; And
And the reference position is changed according to the result of the checking.제1항에 있어서,
상기 헤드 마운트 디스플레이 장치의 카메라를 이용하여 사용자 손의 제3 제스처를 감지하는 단계; 및
상기 제3 제스처를 감지한 시점의 디스플레이부의 영상을 캡쳐하는 단계를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치 제어방법.The method according to claim 1,
Sensing a third gesture of the user's hand using the camera of the head-mounted display device; And
Further comprising the step of capturing an image of a display unit at a point of time when the third gesture is sensed.

Images