KR102463080B1 - Head mounted display apparatus and method for displaying a content - Google Patents

Abstract

Translated fromKorean

머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공된다. 보다 상세하게는 복수의 터치에 대응하여 디스플레이부에 표시되는 콘텐트에서 가상 캐릭터의 동작을 변경하는 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공된다. 개시된 실시예 중 일부는 머리 착용형 디스플레이 장치의 터치 패드에서 검출되는 제1 터치 및 주변의 휴대 장치에서 검출되는 제2 터치의 조합에 대응하여 디스플레이부에 표시되는 콘텐트에서 가상 캐릭터의 동작을 변경하는 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공된다.A head worn display device and a content display method of the head worn display device are provided. In more detail, there are provided a head-wearable display device for changing the motion of a virtual character in content displayed on a display unit in response to a plurality of touches, and a content display method for the head-wearable display device. Some of the disclosed embodiments change the operation of a virtual character in content displayed on the display unit in response to a combination of a first touch detected by a touchpad of a head-mounted display device and a second touch detected by a nearby portable device. A head worn display device and a content display method of the head worn display device are provided.

Description

Translated fromKorean

머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법{HEAD MOUNTED DISPLAY APPARATUS AND METHOD FOR DISPLAYING A CONTENT}HEAD MOUNTED DISPLAY APPARATUS AND METHOD FOR DISPLAYING A CONTENT

본 발명은 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법에 관한 것이다.The present invention relates to a head worn display device and a content display method of the head worn display device.

머리 착용형 디스플레이 장치(head mounted display)는 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 다양한 장치들 중 하나이다. 디스플레이의 크기가 크고 고 해상도를 지원하는 머리 착용형 디스플레이 장치를 착용한 사용자는 센서를 통한 헤드 트랙킹 및 양안에 제공되는 디스플레이를 통해 가상 현실을 체험할 수 있다. 머리 착용형 디스플레이 장치가 제공하는 다양한 서비스 및 기능들은 점차 확대되고 있다.A head mounted display is one of various devices that can experience virtual reality similar to reality through simulation implemented with software technology. A user wearing a head-mounted display device that has a large display and supports high resolution can experience virtual reality through head tracking through sensors and displays provided to both eyes. Various services and functions provided by the head mounted display device are gradually expanding.

다양한 서비스 및 기능의 선택 및 실행을 위한 버튼, 터치 패드뿐만 아니라 추가 입력 방법이 필요하다.Additional input methods as well as buttons and touchpads for selection and execution of various services and functions are required.

본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 콘텐트 표시방법에 있어서, 머리 착용형 디스플레이 장치(head mounted display)에서 콘텐트를 실행하는 단계, 주위의 휴대 장치와 무선으로 연결하는 단계, 상기 머리 착용형 디스플레이 장치의 터치 패드에서 제1 터치를 검출하는 단계, 상기 휴대 장치의 터치 스크린에서 검출된 제2 터치를 수신하는 단계, 및 상기 복수의 터치의 조합에 대응하여 상기 콘텐트에 표시되는 가상 캐릭터의 동작을 변경하는 단계를 포함한다.In the content display method of a head mounted display device according to an embodiment of the present invention, the step of executing content on a head mounted display device (head mounted display), the step of wirelessly connecting with a neighboring portable device, the head mounted display device Detecting a first touch on a touch pad of a type display device, receiving a second touch detected on a touch screen of the portable device, and a virtual character displayed on the content in response to a combination of the plurality of touches changing the behavior.

본 발명의 일측에 따르면, 착용형 디스플레이 장치의 콘텐트 표시방법은 상기 제2 터치에 대응되는 컨트롤 패킷을 상기 휴대 장치에서부터 수신하는 단계를 더 포함할 수 있다.According to an aspect of the present invention, the method for displaying content on a wearable display device may further include receiving a control packet corresponding to the second touch from the portable device.

본 발명의 일측에 따르면, 상기 제1 터치 및 상기 제2 터치의 조합에 대응되는 가상 캐릭터의 동작은 상기 제1 터치에 대응되는 가상 캐릭터의 동작과 구별될 수 있다.According to an aspect of the present invention, the operation of the virtual character corresponding to the combination of the first touch and the second touch may be distinguished from the operation of the virtual character corresponding to the first touch.

본 발명의 실시예에 따른 머리 착용형 디스플레이 장치는 콘텐트를 표시하는 디스플레이부, 제1 터치를 수신하는 터치 패드, 휴대 장치와 연결되는 통신부, 및, 상기 디스플레이부, 상기 터치 패드 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 제1 터치 및 상기 통신부를 통해 상기 휴대 장치에서 수신되는 제2 터치의 조합에 대응하여 상기 디스플레이부에 표시되는 상기 콘텐트의 가상 캐릭터 동작을 변경한다.A head mounted display device according to an embodiment of the present invention includes a display unit for displaying content, a touch pad for receiving a first touch, a communication unit connected to a portable device, and a control unit for controlling the display unit, the touch pad, and the communication unit and a control unit, wherein the control unit changes a virtual character operation of the content displayed on the display unit in response to a combination of the first touch and the second touch received from the portable device through the communication unit.

본 발명의 일측에 따르면, 상기 제어부는 산출된 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나에 대응하여 상기 가상 캐릭터의 동작을 변경할 수 있다.According to an aspect of the present invention, the controller may change the motion of the virtual character in response to at least one of the calculated moving direction, moving distance, and moving speed of the continuous movement of the first touch.

본 발명의 실시예에 따른 휴대 장치는 실행된 터치 패드 어플리케이션을 표시하는 터치 스크린, 주위의 머리 착용형 디스플레이 장치와 통신부, 및 상기 터치 스크린 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 터치 패드 어플리케이션에서 수신되는 터치에 대응되는 컨트롤 패킷을 상기 통신부를 통해 상기 머리 착용형 디스플레이 장치로 전송한다.A portable device according to an embodiment of the present invention includes a touch screen displaying an executed touch pad application, a peripheral head mounted display device and a communication unit, and a control unit controlling the touch screen and the communication unit, the control unit comprising: A control packet corresponding to a touch received from the touch pad application is transmitted to the head mounted display device through the communication unit.

머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.A head wearable display device capable of changing the operation of a virtual character of content displayed on the display unit in response to a first touch received on a touch pad located on a side surface of the head wearable display device, and a content display method of the head wearable display device This can be provided.

머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치 및 머리 착용형 디스플레이 장치와 무선 연결된 휴대 장치에서 검출되어 수신되는 제2 터치의 조합에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.Virtual content displayed on the display unit in response to a combination of a first touch received on a touch pad located on the side of the head mounted display device and a second touch detected and received from a portable device wirelessly connected to the head wearable display device A head-wearable display device capable of changing the motion of a character and a content display method of the head-wearable display device may be provided.

머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치 제스처에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.Content display of the head mounted display device and the head mounted display device capable of changing the operation of a virtual character of the content displayed on the display unit in response to a first touch gesture received on the touch pad located on the side of the head mounted display device A method may be provided.

머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치 제스처 및 머리 착용형 디스플레이 장치와 무선 연결된 휴대 장치에서 검출되어 수신되는 제2 터치 제스처의 조합에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.Content displayed on the display unit in response to a combination of a first touch gesture received on a touchpad positioned on the side of the head mounted display device and a second touch gesture detected and received from a portable device wirelessly connected to the head mounted display device A head-wearable display device capable of changing the motion of a virtual character of , and a content display method of the head-wearable display device may be provided.

이에 한정되지 않고 본 발명의 다양한 실시예에 따르면, 머리 착용형 디스플레이 장치의 제1 터치(또는 터치 제스처) 및 휴대 장치에서 수신된 제2 터치(또는 터치 제스처)의 조합에 대응하여 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.According to various embodiments of the present disclosure without being limited thereto, the virtual character is operated in response to a combination of the first touch (or touch gesture) of the head mounted display device and the second touch (or touch gesture) received from the portable device A head-wearable display device and a content display method of the head-wearable display device can be provided.

도 1은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 도면이다.
도 2는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 블럭도이다.
도 3은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 콘텐트 표시방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 4e는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치의 화면 예를 나타내는 도면이다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 터치 제스처 및 휴대 장치의 터치 제스처의 예를 나타내는 도면이다.1 is a schematic view showing a head-mounted display device and a portable device according to an embodiment of the present invention.
2 is a schematic block diagram illustrating a head-mounted display device and a portable device according to an embodiment of the present invention.
3 is a schematic flowchart illustrating a content display method of a head mounted display device according to an embodiment of the present invention.
4A to 4E are diagrams illustrating examples of screens of a head mounted display device and a portable device according to an embodiment of the present invention.
5A and 5B are diagrams illustrating examples of a touch gesture of a head mounted display device and a touch gesture of a portable device according to an embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. In addition, a method of making and using the present invention will be described in detail with reference to the contents described in the accompanying drawings. The same reference numbers or reference numerals in each figure indicate parts or components that perform substantially the same functions.

“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms including an ordinal number such as “first” and “second” may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term “and/or” includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어플리케이션(application)은 컴퓨터용 OS(Operating System) 또는 모바일 OS 위에서 실행되어 사용자가 사용하는 소프트웨어를 의미한다. 예를 들어, 어플리케이션은 워드 프로세서, 스프레드 시트, 연락처(contacts), 캘린더(calendar), 메모(memo), 알람(alarm), SNS(Social Network System), 채팅(chatting), 지도(map), 게임(game), 가상현실(virtual reality) 소프트웨어, 증강현실(augmented reality) 소프트웨어, 3차원 소프트웨어, 뮤직 플레이어 또는 비디오 플레이어를 포함할 수 있다. 본 발명의 실시예에 따른 어플리케이션은 휴대 장치 또는 휴대 장치와 무선 또는 유선으로 연결되는 외부 장치(예를 들어, 서버 등)에서 실행되는 소프트웨어를 의미할 수 있다. 또한, 본 발명의 실시예에 따른 어플리케이션은 수신되는 사용자 입력에 대응하여 휴대 장치에서 실행되는 소프트웨어를 의미할 수 있다.An application refers to software used by a user by running on an operating system (OS) for a computer or a mobile OS. For example, applications include word processors, spreadsheets, contacts, calendars, memos, alarms, social network systems (SNSs), chatting, maps, and games. (game), virtual reality (virtual reality) software, augmented reality (augmented reality) software, 3D software, may include a music player or video player. An application according to an embodiment of the present invention may refer to software executed in a portable device or an external device (eg, a server, etc.) connected to the portable device wirelessly or by wire. Also, an application according to an embodiment of the present invention may refer to software that is executed in a portable device in response to a received user input.

콘텐트(content)는 실행되는 어플리케이션에서 표시될 수 있다. 예를 들어, 어플리케이션 중 하나인 비디오 플레이어에서 재생되는 비디오 파일, 또는 오디오 파일, 뮤직 플레이어에서 재생되는 오디오 파일, 포토 갤러리에서 표시되는 포토 파일, 컴퓨터 게임(computer game, 예를 들어, 슈팅(shooting), 스포츠, 자동차 경주, 미로 찾기 등), 웹 브라우저에서 표시되는 웹 페이지 등을 포함할 수 있다. 컴퓨터 게임은 아케이드 게임(arcade game), 홈 비디오 게임(home video game), 휴대 장치 게임(portable device game) 또는 홈 컴퓨터 게임(home computer game)을 포함할 수 있다. 콘텐트는 가상 현실 소프트웨어, 컴퓨터 게임 또는 증강 현실 소프트웨어에서 동작하는 가상 캐릭터(virtual character)를 의미할 수 있다. 가상 캐릭터는 현실 소프트웨어, 컴퓨터 게임 또는 증강 현실 소프트웨어를 실행하는 사용자에 대응되는 가상 아바타(avatar), 자동차, 비행기, 배, 아바타의 주위 객체(예를 들어, 미로의 담, 자동차 트랙 또는 배경) 또는 아바타가 없는 경우의 주위 객체(예를 들어, 미로의 담, 자동차 트랙 또는 배경)뿐만 아니라 이에 한정되지 않는다.Content may be displayed in an application being executed. For example, a video file or audio file played on a video player that is one of the applications, an audio file played on a music player, a photo file displayed on a photo gallery, a computer game (for example, shooting) , sports, race car, maze, etc.), a web page displayed in a web browser, and the like. Computer games may include arcade games, home video games, portable device games, or home computer games. The content may refer to a virtual character operating in virtual reality software, a computer game, or augmented reality software. A virtual character may be a virtual avatar corresponding to a user running reality software, a computer game or augmented reality software, a car, airplane, ship, object surrounding the avatar (eg, a maze wall, car track or background) or surrounding objects in the absence of an avatar (eg, a maze wall, car track, or background), as well as but not limited to this.

또한, 콘텐트는 어플리케이션에서 표시 또는 실행되는 오디오, 비디오, 텍스트, 이미지 또는 웹 페이지를 포함할 수 있다. 콘텐트는 수신되는 사용자 입력(예를 들어, 터치 등)에 대응하여 실행되는 오디오, 비디오, 텍스트, 이미지 또는 웹 페이지를 포함할 수 있다. 콘텐트는 실행되는 어플리케이션 화면 및 어플리케이션 화면을 구성하는 유저 인터페이스(user interface)를 포함한다. 또한, 콘텐트는 하나의 콘텐트 또는 복수의 콘텐츠를 포함할 수도 있다.In addition, the content may include audio, video, text, image or web page displayed or executed in the application. The content may include audio, video, text, image, or web page executed in response to a received user input (eg, touch, etc.). The content includes an executed application screen and a user interface constituting the application screen. Also, the content may include one content or a plurality of content.

위젯(widget)은 사용자와 어플리케이션 또는 OS와의 상호 작용을 보다 원활하게 지원해주는 그래픽 유저 인터페이스(GUI, Graphic User Interface) 중 하나인 미니 어플리케이션을 의미한다. 예를 들어, 날씨 위젯, 계산기 위젯, 시계 위젯 등이 있다.A widget refers to a mini-application that is one of graphic user interfaces (GUIs) that more smoothly support interaction between a user and an application or an OS. For example, a weather widget, a calculator widget, a clock widget, and so on.

본 출원서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
The terms used in this application are used to describe the embodiments, and are not intended to limit and/or limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof. The same reference numerals provided in the respective drawings indicate members that perform substantially the same functions.

도 1은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 도면이다.1 is a schematic view showing a head-mounted display device and a portable device according to an embodiment of the present invention.

도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 하우징(100a)의 전면 내부(예를 들어, 사용자의 안구와 마주 보는 영역)에 디스플레이부(190)가 위치한다. 디스플레이부(190)는 머리 착용형 디스플레이 장치(100)의 외부에서 보이지 않는다(예를 들어, 노출되지 않는다).Referring to FIG. 1 , thedisplay unit 190 is positioned inside the front surface of the housing 100a of the head mounted display device 100 (eg, an area facing the user's eyeball). Thedisplay unit 190 is not visible (eg, not exposed) from the outside of the head mounteddisplay device 100 .

디스플레이부(190)는 머리 착용형 디스플레이 장치(100)의 일체형 및 분리형 중 하나로 구현될 수 있다. 분리형인 디스플레이부(190)의 경우, 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)가 디스플레이부(190)의 위치에 착탈될 수 있다. 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)가 디스플레이부(190)의 위치에 장착되는 경우, 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)는 머리 착용형 디스플레이 장치(100)의 커넥터(도 2 참조, 164)를 통한 유선 연결 또는 제1 통신부를 통한 무선 연결될 수 있다.Thedisplay unit 190 may be implemented as one of an integral type and a separate type of the head mounteddisplay device 100 . In the case of thedetachable display unit 190 , a separate external device (eg, a portable device) having thedisplay unit 190 may be attached to or detached from thedisplay unit 190 . When a separate external device (eg, a portable device) having thedisplay unit 190 is mounted at the position of thedisplay unit 190 , a separate external device (eg, a portable device) having thedisplay unit 190 is mounted. ) may be a wired connection through a connector (see FIG. 2 , 164 ) of the head mounteddisplay device 100 or a wireless connection through a first communication unit.

도 1를 참조하면, 머리 착용형 디스플레이 장치(100)의 디스플레이부(190)에 표시되는 화면의 예를 확대(191)하여 표시하였다. 디스플레이부(190)에 표시되는 화면은 가상 현실(virtual reality) 컴퓨터 게임(예를 들어, 미로 찾기)의 한 화면일 수 있다. 또한, 가상 현실 영화(cinema) 또는 전 방위 가상 현실 경험(360° virtual reality experience)의 한 화면일 수도 있다.Referring to FIG. 1 , an example of a screen displayed on thedisplay unit 190 of the head mounteddisplay device 100 is enlarged 191 and displayed. The screen displayed on thedisplay unit 190 may be one screen of a virtual reality computer game (eg, finding a maze). In addition, it may be one screen of a virtual reality movie (cinema) or an omnidirectional virtual reality experience (360° virtual reality experience).

머리 착용형 디스플레이 장치(100)의 적어도 하나의 센서는 사용자 머리의 움직임을 검출할 수 있다. 머리 착용형 디스플레이 장치(100)는 검출된 머리 움직임에 대응되는 영상을 디스플레이부(190)를 통해 사용자에게 제공할 수 있다.At least one sensor of the head-wearable display device 100 may detect a movement of the user's head. The head-wearable display apparatus 100 may provide an image corresponding to the detected head movement to the user through thedisplay unit 190 .

머리 착용형 디스플레이 장치(100)는 주변의 외부 장치(예를 들어, 휴대 장치, 200)와 무선 또는 유선으로 연결할 수 있다. 외부 장치(200)는 터치 스크린(290)을 통해 사용자 입력(예를 들어, 터치 또는 터치 제스처)을 수신할 수 있다. 외부 장치(200)는 수신된 사용자 입력에 대응되는 제어 명령을 생성하여 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 머리 착용형 디스플레이 장치(100)는 수신된 제어 명령에 대응하여 디스플레이부(190)에 표시되는 화면(191) 또는 화면(191)에 표시되는 가상 캐릭터(예를 들어, 아바타, 193)을 제어할 수 있다.
The head-worn display device 100 may be connected to a nearby external device (eg, a portable device 200 ) wirelessly or by wire. Theexternal device 200 may receive a user input (eg, a touch or a touch gesture) through thetouch screen 290 . Theexternal device 200 may generate a control command corresponding to the received user input and transmit it to the head mounteddisplay device 100 . The head mounteddisplay device 100 may control thescreen 191 displayed on thedisplay unit 190 or a virtual character (eg, avatar, 193) displayed on thescreen 191 in response to the received control command. can

도 2는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 블럭도이다.2 is a schematic block diagram illustrating a head-mounted display device and a portable device according to an embodiment of the present invention.

도 2를 참조하면, 머리 착용형 디스플레이 장치(100)는 이동 통신 부(120), 서브 통신부(130) 및 커넥터(165)를 이용하여 외부 장치(도시되지 아니함)와 유선 또는 무선으로 연결될 수 있다. 외부 장치는 휴대폰, 스마트폰, 태블릿PC, MP3 플레이어, 동영상 플레이어, 태블릿 장치, 전자 칠판 또는 디스플레이 장치 등을 포함할 수 있다. 디스플레이 장치는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터, 고정 곡률(curvature)인 화면을 가지는 커브드(curved) TV, 고정 곡률인 화면을 가지는 플렉시블(flexible) TV, 고정 곡률인 화면을 가지는 벤디드(bended) TV, 및/또는 수신되는 사용자 입력에 의해 현재 화면의 곡률을 변경가능한 곡률 가변형 TV 등으로 구현될 수 있다. 외부 장치는 사용자의 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)를 수신할 수 있는 전자 장치를 포함할 수 있다. 또한, 외부 장치는 다른 머리 착용형 디스플레이 장치(도시되지 아니함) 또는 사용자 입력을 검출가능한 휴대 장치를 포함할 수 있다. 외부 장치가 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.Referring to FIG. 2 , the head mounteddisplay device 100 may be connected to an external device (not shown) by wire or wirelessly using themobile communication unit 120 , thesub communication unit 130 , and theconnector 165 . . The external device may include a mobile phone, a smart phone, a tablet PC, an MP3 player, a video player, a tablet device, an electronic blackboard, or a display device. Display devices include analog TV, digital TV, 3D-TV, smart TV, LED TV, OLED TV, plasma TV, monitor, curved TV having a fixed-curvature screen, and flexible having a fixed-curvature screen. It may be implemented as a (flexible) TV, a bent TV having a screen having a fixed curvature, and/or a curvature-variable TV in which the curvature of the current screen can be changed in response to a received user input. The external device may include an electronic device capable of receiving a user's input (or user interaction, for example, voice, motion, touch, or touch gesture). In addition, the external device may include another head-worn display device (not shown) or a portable device capable of detecting a user input. It will be readily understood by those skilled in the art that the external device is not limited thereto.

머리 착용형 디스플레이 장치(100)는 연결가능한 다른 외부 장치 및 머리 착용형 디스플레이 장치(100)를 통해 각각 입력되는 사용자 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)을 이용하여 데이터(예를 들어, 이미지, 텍스트, 음성, 비디오 등)의 송/수신을 할 수 있는 장치를 포함할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)는 연결가능한 다른 외부 장치 및 머리 착용형 디스플레이 장치를 통해 각각 입력되는 사용자 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)을 이용하여 디스플레이부(190)에 표시되는 콘텐트 내 가상 캐릭터의 동작을 변경할 수 있다.The head mounteddisplay device 100 uses a user input (or user interaction, for example, voice, motion, touch, or touch gesture) input through another connectable external device and the head mounteddisplay device 100 , respectively. Thus, a device capable of transmitting/receiving data (eg, image, text, voice, video, etc.) may be included. In addition, the head-wearable display device 100 uses a user input (or user interaction, for example, voice, motion, touch, or touch gesture) input through another connectable external device and the head-wearable display device, respectively. The operation of the virtual character in the content displayed on thedisplay unit 190 may be changed.

머리 착용형 디스플레이 장치(100)는 디스플레이부(190)를 포함한다. 또한, 머리 착용형 디스플레이 장치(100)는 디스플레이부(도시되지 아니함)를 가지는 외부 장치(도시되지 아니함)를 착탈할 수 있다. 디스플레이부(도시되지 아니함)를 가지는 외부 장치(도시되지 아니함)를 착탈가능한 머리 착용형 디스플레이 장치(100)에 디스플레이부(190)가 없을 수 있다.The head mounteddisplay device 100 includes adisplay unit 190 . In addition, the head-wearable display device 100 may be detachably attached to an external device (not shown) having a display unit (not shown). Thedisplay unit 190 may not be present in the head-wearable display device 100 in which an external device (not shown) having a display unit (not shown) is detachable.

머리 착용형 디스플레이 장치(100)는 제어부(110), 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라부(150), GPS부(155), 입/출력부(160), 센서부(170), 저장부(175) 및 전원 공급부(180)를 포함한다.The headwearable display device 100 includes acontrol unit 110 , amobile communication unit 120 , asub communication unit 130 , a multimedia unit 140 , acamera unit 150 , aGPS unit 155 , and an input/output unit 160 . ), asensor unit 170 , astorage unit 175 , and a power supply unit 180 .

서브 통신부(130)은 무선랜부(131) 및 근거리 통신부(132) 중 적어도 하나를 포함하고, 멀티미디어부(140)은 오디오 재생부(141) 및 동영상 재생부(142) 중 적어도 하나를 포함한다. 카메라부(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력부(160)은 버튼(161), 마이크(162), 스피커(163), 커넥터(164), 및 터치 패드(165) 중 적어도 하나를 포함하고, 센서부(170)은 조도 센서(171), 근접 센서(172) 및 자이로 센서(173)를 포함한다.
Thesub communication unit 130 includes at least one of awireless LAN unit 131 and a short-range communication unit 132 , and the multimedia unit 140 includes at least one of anaudio reproduction unit 141 and avideo reproduction unit 142 . Thecamera unit 150 includes at least one of afirst camera 151 and asecond camera 152 , and the input/output unit 160 includes abutton 161 , amicrophone 162 , aspeaker 163 , and a connector. 164 , and at least one of atouch pad 165 , and thesensor unit 170 includes anilluminance sensor 171 , aproximity sensor 172 , and agyro sensor 173 .

제어부(110)는 프로세서(Processor, 111), 머리 착용형 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 머리 착용형 디스플레이 장치(100)의 외부에서 입력되는 신호 또는 데이터를 저장하거나, 머리 착용형 디스플레이 장치(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다.Thecontroller 110 may include aprocessor 111 , aROM 112 in which a control program for controlling the head mounteddisplay device 100 is stored, and a signal input from the outside of the head mounteddisplay device 100 or It may include a RAM (RAM) 113 that stores data or is used as a storage area for various tasks performed in the head mounteddisplay device 100 .

제어부(110)는 머리 착용형 디스플레이 장치(100)의 전반적인 동작 및 머리 착용형 디스플레이 장치(100)의 내부 구성요소들(120 내지 195) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원 공급부(180)로부터 내부 구성요소들(120 내지 195)에게 전원 공급을 제어한다. 사용자의 입력 또는 설정된 조건을 만족하는 경우, 제어부(190)는 저장부(175)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.Thecontrol unit 110 controls the overall operation of the head worndisplay apparatus 100 and the signal flow between theinternal components 120 to 195 of the head worndisplay apparatus 100, and performs a function of processing data. . Thecontrol unit 110 controls the supply of power from the power supply unit 180 to theinternal components 120 to 195 . When a user input or a set condition is satisfied, thecontroller 190 may execute an operating system (OS) and various applications stored in thestorage 175 .

프로세서(111)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서 (111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)가 SoC(System On Chip)로 구현될 수 있다. 프로세서 (111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.Theprocessor 111 may include a graphic processing unit (GPU, not shown) for graphic processing. Theprocessor 111 may have a core (not shown) and a GPU (not shown) implemented as a system on chip (SoC). Theprocessor 111 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof. In addition, theprocessor 111 , theROM 112 , and theRAM 113 may be interconnected through an internal bus.

제어부(110)는 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 저장부(175), 전원 공급부(180) 및 디스플레이부(190)를 제어할 수 있다.Thecontrol unit 110 includes amobile communication unit 120 , asub communication unit 130 , a multimedia unit 140 , acamera 150 , aGPS 155 , an input/output unit 160 , asensor unit 170 , a storage unit ( 175 ), the power supply unit 180 , and thedisplay unit 190 may be controlled.

본 발명의 실시예에서 “제어부”라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함한다.In an embodiment of the present invention, the term “control unit” includes aprocessor 111 , aROM 112 , and aRAM 113 .

본 발명의 실시예에 따른 제어부는 머리 착용형 디스플레이 장치(head mounted display)에서 콘텐트를 실행하고, 주위의 휴대 장치와 무선으로 연결하고, 상기 머리 착용형 디스플레이 장치의 터치 패드에서 검출된 제1 터치 및 상기 휴대 장치의 터치 스크린에서 검출된 제2 터치의 조합에 대응하여 상기 콘텐트에 표시되는 가상 캐릭터의 동작을 변경하도록 제어할 수 있다.A control unit according to an embodiment of the present invention executes content on a head mounted display device, wirelessly connects to a surrounding portable device, and a first touch detected by a touchpad of the head mounted display device and a control to change the motion of the virtual character displayed on the content in response to a combination of the second touch detected on the touch screen of the portable device.

제어부는 상기 제2 터치 정보에 대응되는 컨트롤 패킷을 상기 휴대 장치에서부터 수신하도록 제어할 수 있다.The controller may control to receive a control packet corresponding to the second touch information from the portable device.

제어부는 상기 제1 터치에 터치 제스처를 포함하고, 상기 제2 터치에 터치 제스처를 포함할 수 있다.The controller may include a touch gesture in the first touch and include a touch gesture in the second touch.

제어부는 상기 가상 캐릭터의 주변 객체를 상기 가상 캐릭터의 동작에 대응하여 변경되도록 제어할 수 있다.The controller may control objects surrounding the virtual character to be changed in response to a motion of the virtual character.

제어부는 상기 복수의 터치의 조합에 대응되는 상기 가상 캐릭터의 동작을 상기 가상 캐릭터 동작의 강화 및 상기 가상 캐릭터 동작의 약화 중 하나를 포함하도록 제어할 수 있다.The controller may control the motion of the virtual character corresponding to the combination of the plurality of touches to include one of strengthening the motion of the virtual character and weakening the motion of the virtual character.

제어부는 상기 제1 터치 및 상기 제2 터치의 조합에 대응되는 가상 캐릭터의 동작을 상기 제1 터치에 대응되는 가상 캐릭터의 동작과 구별되게 제어할 수 있다.The controller may control the operation of the virtual character corresponding to the combination of the first touch and the second touch to be distinguished from the operation of the virtual character corresponding to the first touch.

제어부는 상기 제1 터치의 연속적인 움직임의 이동 속도에 대응하여 상기 가상 캐릭터의 이동 속도를 변경하도록 제어할 수 있다.The controller may control to change the moving speed of the virtual character in response to the moving speed of the continuous movement of the first touch.

제어부는 상기 가상 캐릭터를 상기 제1 터치의 연속적인 움직임의 이동 거리에 대응되게 이동되도록 제어할 수 있다.The controller may control the virtual character to be moved to correspond to a movement distance of the continuous movement of the first touch.

제어부는 상기 가상 캐릭터 동작의 변경에 응답하여 시각 피드백 및 청각 피드백 중 적어도 하나를 제공되도록 제어할 수 있다.The controller may control to provide at least one of visual feedback and auditory feedback in response to a change in the motion of the virtual character.

제어부는 상기 터치 패드를 통해 수신되는 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나를 산출하도록 제어할 수 있다.The controller may control to calculate at least one of a movement direction, a movement distance, and a movement speed of the continuous movement of the first touch received through the touch pad.

제어부는 산출된 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나에 대응하여 상기 가상 캐릭터의 동작을 변경하도록 제어할 수 있다.The controller may control to change the motion of the virtual character in response to at least one of the calculated moving direction, moving distance, and moving speed of the continuous movement of the first touch.

제어부는 상기 터치 패드에서 상기 제1 터치의 위치에 대응하여 상기 가상 캐릭터를 상측, 하측, 좌측 및 우측 중 하나의 방향으로 이동하도록 제어할 수 있다.
The controller may control the virtual character to move in one of up, down, left, and right directions in response to the position of the first touch on the touch pad.

이동 통신부(120)는 제어부의 제어에 따라, 하나 또는 둘 이상의 안테나를 이용하여 무선으로 외부 장치와 연결할 수 있다. 이동 통신부(120)는 머리 착용형 디스플레이 장치(100)와 연결가능한 전화 번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 머리 착용형 디스플레이 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신한다.Themobile communication unit 120 may wirelessly connect to an external device using one or more antennas under the control of the controller. Themobile communication unit 120 is a mobile phone (not shown), a smart phone (not shown), a tablet PC, or other head mounted display device (not shown) having a phone number connectable to the head mounteddisplay device 100 . It transmits/receives wireless signals for voice calls, video calls, text messages (SMS), multimedia messages (MMS) and data communication.

서브 통신부(130)은 무선랜부(131)과 근거리 통신부(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜부(131) 및 근거리 통신부(132) 중 하나만 포함, 또는 무선랜부(131)과 근거리 통신부(132) 모두 포함할 수 있다.Thesub communication unit 130 may include at least one of awireless LAN unit 131 and a short-range communication unit 132 . For example, only one of thewireless LAN unit 131 and the short-range communication unit 132 may be included, or both thewireless LAN unit 131 and the short-range communication unit 132 may be included.

무선랜부(131)은 제어부의 제어에 따라, AP(access point)(도시되지 아니함)가 설치된 장소에서 무선을 이용하여 AP(access point)와 연결될 수 있다. 무선랜부(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다.Thewireless LAN unit 131 may be connected to an access point (AP) using radio at a place where an access point (AP) (not shown) is installed under the control of the controller. Thewireless LAN unit 131 supports the wireless LAN standard (IEEE802.11x) of the American Institute of Electrical and Electronics Engineers (IEEE).

근거리 통신부(132)은 제어부의 제어에 따라, AP(access point)없이 무선으로 머리 착용형 디스플레이 장치(100)와 외부장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.The short-range communication unit 132 may perform short-range communication between the head mounteddisplay device 100 and an external device wirelessly without an access point (AP) under the control of the controller. Short-distance communication may include Bluetooth, Bluetooth low energy, infrared data association (IrDA), Wi-Fi, Ultra Wideband (UWB), and Near Field Communication (NFC). can

머리 착용형 디스플레이 장치(100)는 성능에 따라 이동 통신부(120), 무선랜부(131), 및 근거리통신부(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 머리 착용형 디스플레이 장치(100)는 성능에 따라 이동 통신부(120), 무선랜부(131), 및 근거리 통신부(132) 중 하나 또는 이동 통신부(120), 무선랜부(131), 및 근거리 통신부(132)의 조합을 포함할 수 있다.The head-wearable display device 100 may include at least one of amobile communication unit 120 , awireless LAN unit 131 , and a short-range communication unit 132 according to performance. For example, the head mounteddisplay device 100 may include one of themobile communication unit 120, thewireless LAN unit 131, and the short-range communication unit 132 or themobile communication unit 120, thewireless LAN unit 131, and the A combination of the short-range communication unit 132 may be included.

본 발명의 실시예에서 “제1 통신부”라는 용어는 이동 통신부(120), 서브 통신부(130)를 포함한다.In an embodiment of the present invention, the term “first communication unit” includes amobile communication unit 120 and asub communication unit 130 .

본 발명의 실시예에 따른 제1 통신부는 제어부의 제어에 따라 머리 착용형 디스플레이 장치(100)와 외부 장치(예를 들어, 휴대 장치)를 연결할 수 있다. 제1 통신부는 제어부의 제어에 따라 외부 장치로 데이터 또는 콘텐트를 전송할 수 있다. 또한, 제1 통신부는 제어부의 제어에 따라 외부 장치에서부터 데이터를 송/수신할 수 있다. 또한, 제1 통신부는 제어부의 제어에 따라 외부 장치에서부터 조도 정보를 수신할 수 있다.
The first communication unit according to an embodiment of the present invention may connect the head mounteddisplay device 100 and an external device (eg, a portable device) under the control of the controller. The first communication unit may transmit data or content to an external device under the control of the controller. Also, the first communication unit may transmit/receive data from an external device under the control of the controller. Also, the first communication unit may receive illuminance information from an external device under the control of the controller.

멀티미디어부(140)은 오디오 재생부(141) 또는 동영상 재생부(142)를 포함할 수 있다.The multimedia unit 140 may include anaudio player 141 or avideo player 142 .

오디오 재생부(142)는 제어부의 제어에 따라, 머리 착용형 디스플레이 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 컴퓨터 게임에 포함되거나, 파일 확장자가 mp3, wma, ogg 또는 wav인 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다.Theaudio reproducing unit 142 is pre-stored in thestorage unit 175 of the head mounteddisplay device 100 or an audio source (eg, included in a computer game, or a file) received from the outside under the control of the controller. Audio files with extension mp3, wma, ogg, or wav) can be played using an audio codec.

본 발명의 실시예에 따른 오디오 재생부(142)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 이용하여 재생할 수 있다. 본 발명의 실시예에 따른 오디오 재생부(142)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 강화에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 이용하여 재생할 수 있다.Theaudio reproducing unit 142 according to an embodiment of the present invention provides an auditory feedback (eg, an audio source stored in the storage unit) corresponding to a change (or a change in position) of the operation of thevirtual character 193 under the control of the controller. output, etc.) can be played using an audio codec. Theaudio reproducing unit 142 according to an embodiment of the present invention transmits auditory feedback (eg, output of an audio source stored in the storage, etc.) corresponding to the reinforcement of the operation of thevirtual character 193 to the audio codec under the control of the controller. can be played using

동영상 재생부(143)은 제어부의 제어에 따라 머리 착용형 디스플레이 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 컴퓨터 게임에 포함되거나, 파일 확장자가 mpeg, mpg, mp4, avi, mov, swf, fla 또는 mkv인 파일)을 비디오 코덱을 이용하여 재생할 수 있다. 머리 착용형 디스플레이 장치(100)에서 실행가능한 대부분의 컴퓨터 게임을 포함하는 어플리케이션은 오디오 코덱부 또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 파일을 재생할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)에 실행가능한 대부분의 어플리케이션은 오디오 소스 또는 정지 이미지(still image)파일을 재생할 수 있다.The video playback unit 143 is pre-stored in thestorage unit 175 of the head mounteddisplay device 100 under the control of the controller or a digital video source (eg, included in a computer game, or a file) received from the outside. Files with extension mpeg, mpg, mp4, avi, mov, swf, fla, or mkv) can be played using the video codec. Applications including most of the computer games executable on the head mounteddisplay device 100 may reproduce an audio source or a video file using an audio codec unit or a video codec. In addition, most applications executable on the head mounteddisplay device 100 may reproduce an audio source or a still image file.

본 발명의 실시예에 따른 동영상 재생부(143)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 이용하여 재생할 수 있다. 본 발명의 실시예에 따른 동영상 재생부(143)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 강화에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 이용하여 재생할 수 있다.The video playback unit 143 according to an embodiment of the present invention provides visual feedback (eg, a video source stored in the storage unit) corresponding to a change (or a change in position) of the motion of thevirtual character 193 under the control of the controller. output, etc.) can be played using a video codec. The video reproducing unit 143 according to an embodiment of the present invention provides visual feedback (eg, output of a video source stored in the storage, etc.) corresponding to the reinforcement of the operation of thevirtual character 193 under the control of the controller to the video codec. can be played using

다양한 종류의 비디오 및 오디오 코덱이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.It will be readily understood by those skilled in the art that various types of video and audio codecs are being produced and sold.

멀티미디어부(140)의 오디오 재생부(142) 및 동영상 재생부(143) 중 적어도 하나는 제어부에 포함될 수 있다. 본 발명의 실시예에서 “비디오 코덱”이라는 용어는 하나 또는 둘 이상의 비디오 코덱을 포함할 수 있다. 또한, 본 발명의 실시예에서 “오디오 코덱”이라는 용어는 하나 또는 둘 이상의 오디오 코덱을 포함할 수 있다.
At least one of theaudio reproducing unit 142 and the moving image reproducing unit 143 of the multimedia unit 140 may be included in the control unit. In an embodiment of the present invention, the term “video codec” may include one or more than one video codec. Also, in an embodiment of the present invention, the term “audio codec” may include one or more than one audio codec.

카메라(150)는 제어부의 제어에 따라 사용자의 시선 방향(eye-sight direction)의 정지 이미지 또는 동영상을 촬영한다. 카메라(150)는 머리 착용형 디스플레이 장치(100)의 하우징(100a) 전면(예를 들어, 시선 방향)에 위치할 수 있다. 머리 착용형 디스플레이 장치(100)가 하나의 카메라를 포함하는 경우, 카메라(150)는 제1 카메라(151)를 포함할 수 있다. 머리 착용형 디스플레이 장치(100)가 두 개의 카메라를 포함하는 경우, 카메라(150)는 제1 카메라(151) 및 제2 카메라(152)를 포함할 수 있다.Thecamera 150 captures a still image or a moving picture in the user's eye-sight direction under the control of the controller. Thecamera 150 may be located in the front (eg, in the gaze direction) of the housing 100a of the head mounteddisplay device 100 . When the head mounteddisplay device 100 includes one camera, thecamera 150 may include thefirst camera 151 . When the head mounteddisplay device 100 includes two cameras, thecamera 150 may include afirst camera 151 and asecond camera 152 .

사용자의 시선 방향에 위치하는 피사체 또는 풍경을 촬영 가능한 제1 카메라(151)와 제2 카메라(152)가 상호 인접(예를 들어, 제1 카메라(151)과 제2 카메라(152) 사이의 간격이 2 cm 보다 크고, 8 cm 보다 작은)하게 위치하는 경우, 제1 카메라(151) 및 제2 카메라(152)는 제어부의 제어에 따라 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152) 중 하나는 별도의 어댑터(도시되지 아니함)를 이용하여 광각, 망원 및 접사 촬영을 할 수 있다.Afirst camera 151 and asecond camera 152 capable of photographing a subject or a landscape positioned in the user's gaze direction are adjacent to each other (eg, a gap between thefirst camera 151 and the second camera 152 ) Larger than 2 cm and smaller than 8 cm), thefirst camera 151 and thesecond camera 152 may capture a 3D still image or a 3D video under the control of the controller. In addition, one of thefirst camera 151 or thesecond camera 152 may use a separate adapter (not shown) to perform wide-angle, telephoto, and macro photography.

본 발명의 실시예에 따른 카메라부(150)는 머리 착용형 디스플레이 장치(100)의 주변의 정지 이미지 또는 동영상을 촬영하여 제어부로 전송할 수 있다. 제어부는 수신된 정지 이미지 또는 동영상을 제1 통신부를 이용하여 외부로 전송할 수 있다.Thecamera unit 150 according to an embodiment of the present invention may capture a still image or a video around the head mounteddisplay device 100 and transmit it to the control unit. The controller may transmit the received still image or video to the outside using the first communication unit.

제어부는 수신된 정지 이미지 또는 동영상을 이용하여 머리 착용형 디스플레이 장치(100)를 제어가능한 제어 명령어를 생성할 수 있다. 제어부는 생성된 제어 명령어에 대응되게 머리 착용형 디스플레이 장치(100)를 제어할 수 있다. 또한, 제어부는 카메라(150)에서부터 수신된 정지 이미지 또는 동영상을 이용하여 머리 착용형 디스플레이 장치(100)의 주변 조도를 산출할 수 있다.
The controller may generate a control command capable of controlling the head mounteddisplay device 100 by using the received still image or video. The controller may control the head mounteddisplay apparatus 100 to correspond to the generated control command. Also, the controller may calculate the peripheral illuminance of the head mounteddisplay device 100 by using a still image or a moving image received from thecamera 150 .

GPS(155)는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 머리 착용형 디스플레이 장치(100)에서 수신가능한 GPS위성의 정확한 위치 정보와 시간 정보)를 수신한다. 머리 착용형 디스플레이 장치(100)는 복수의 GPS위성에서부터 수신되는 정보를 이용하여 머리 착용형 디스플레이 장치(100)의 현재 위치, 이동 속도 또는 시간을 알 수 있다.
TheGPS 155 periodically receives information (eg, accurate location information and time information of the GPS satellites receivable from the head mounted display device 100) from a plurality of GPS satellites (not shown) on Earth's orbit. receive The head mounteddisplay device 100 may know the current location, moving speed or time of the head mounteddisplay device 100 by using information received from a plurality of GPS satellites.

입/출력부(160)는 하나 또는 둘 이상의 버튼(161), 하나 또는 둘 이상의 마이크(162), 하나 또는 둘 이상의 스피커(163), 하나 또는 둘 이상의 커넥터(164), 또는 하나 또는 둘 이상의 터치 패드(165)를 포함할 수 있다.The input/output unit 160 includes one ormore buttons 161 , one ormore microphones 162 , one ormore speakers 163 , one ormore connectors 164 , or one or more touch buttons. It may include apad 165 .

도 1 및 도 2에 도시된 머리 착용형 디스플레이 장치(100)를 참조하면, 버튼(161)는 하우징(20)에 돌아가기 버튼(back button, 161a) 및 볼륨 버튼(volume button, 161b)을 포함한다. 버튼(161)은 하우징(100a)에 위치하는 전원 버튼(161c)을 포함할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)의 하우징(100a)에서 버튼(161)은 물리적 버튼뿐만 아니라 터치 버튼으로도 구현될 수 있다.
Referring to the head mounteddisplay device 100 shown in FIGS. 1 and 2 , thebutton 161 includes aback button 161a and avolume button 161b on the housing 20 . do. Thebutton 161 may include a power button 161c located in the housing 100a. In addition, thebutton 161 in the housing 100a of the head mounteddisplay device 100 may be implemented as a touch button as well as a physical button.

마이크(162)는 제어부의 제어에 따라 외부에서부터 음성(voice) 또는 사운드(sound)를 수신하여 전기적인 신호를 생성한다. 마이크(162)에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부(175)로 저장, 제어부로 전송되거나 또는 스피커(163)를 통해 출력될 수 있다. 제어부는 수신된 전기적인 신호를 인식할 수 있다. 제어부는 인식된 음성을 이용하여 머리 착용형 디스플레이 장치(100)를 제어가능한 제어 명령어를 생성할 수 있다. 제어부는 생성된 제어 명령어에 대응되게 머리 착용형 디스플레이 장치(100)를 제어할 수 있다.Themicrophone 162 generates an electrical signal by receiving a voice or sound from the outside under the control of the controller. The electrical signal generated by themicrophone 162 may be converted by the audio codec and stored in thestorage 175 , transmitted to the controller, or output through thespeaker 163 . The control unit may recognize the received electrical signal. The controller may generate a control command capable of controlling the head-wearable display device 100 by using the recognized voice. The controller may control the head mounteddisplay apparatus 100 to correspond to the generated control command.

마이크(162)는 머리 착용형 디스플레이 장치(100)의 하우징(100a)에 하나 또는 둘 이상 위치할 수 있다.
One ormore microphones 162 may be located in the housing 100a of the head mounteddisplay device 100 .

스피커(163)는 제어부의 제어에 따라 오디오 코덱을 통해 처리된 제1 통신부, 멀티미디어부(140), 카메라부(150) 또는 어플리케이션의 다양한 콘텐트(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 촬영, 사진 촬영 또는 게임 등)에 대응되는 사운드를 머리 착용형 디스플레이 장치(100)의 외부로 출력할 수 있다. 스피커(163)는 머리 착용형 디스플레이 장치(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 백 버튼 조작음, 볼륨 버튼 조작음, 또는 사진 촬영 조작음)를 출력할 수 있다.Thespeaker 163 includes the first communication unit, the multimedia unit 140, thecamera unit 150, or various contents (eg, wireless signals, broadcast signals, audio sources, A sound corresponding to a video file shooting, a photo shooting, a game, etc.) may be output to the outside of the head mounteddisplay device 100 . Thespeaker 163 provides a sound corresponding to a function performed by the head mounted display device 100 (eg, a touch operation sound corresponding to a phone number input, a back button operation sound, a volume button operation sound, or a photo-taking operation) ) can be printed.

머리 착용형 디스플레이 장치(100)의 하우징(100a)에 적어도 하나의 스피커(163)가 위치할 수 있다. 도 1 및 도 2에 도시된 머리 착용형 디스플레이 장치(100)를 참조하면, 스피커(163)는 머리 착용형 디스플레이 장치(100)의 하우징(100a)에서 사용자의 귀 인접에 위치할 수 있다. 또한, 스피커(163)는 공기 전도 스피커 또는 골 전도 스피커를 포함할 수 있다.At least onespeaker 163 may be positioned in the housing 100a of the head mounteddisplay device 100 . Referring to the head mounteddisplay apparatus 100 illustrated in FIGS. 1 and 2 , thespeaker 163 may be located in the housing 100a of the head mounteddisplay apparatus 100 near the user's ear. In addition, thespeaker 163 may include an air conduction speaker or a bone conduction speaker.

본 발명의 실시예에 따른 스피커(163)는 제어부의 제어에 따라 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 청각 피드백을 출력할 수 있다. 본 발명의 실시예에 따른 스피커(163)는 제어부의 제어에 따라 가상 캐릭터(193) 동작의 강화에 대응되는 청각 피드백을 출력할 수 있다.
Thespeaker 163 according to an embodiment of the present invention may output auditory feedback corresponding to a change (or change of position) of the operation of thevirtual character 193 under the control of the controller. Thespeaker 163 according to an embodiment of the present invention may output auditory feedback corresponding to the reinforcement of the operation of thevirtual character 193 under the control of the controller.

커넥터(164)는 머리 착용형 디스플레이 장치(100)와 외부 장치(도시되지 아니함)를 연결하기 위한 인터페이스(예를 들어, HDMI 입력 포트(High-Definition Multimedia Interface port, 도시되지 아니함), 또는, USB 입력 잭(jack, 도시되지 아니함))일 수 있다. 또한, 커넥터(164)는 머리 착용형 디스플레이 장치(100)와 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스일 수 있다. 머리 착용형 디스플레이 장치(100)는 제어부의 제어에 따라 커넥터(164)에 연결된 유선 케이블을 통해 저장부(175)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치에서부터 데이터를 수신할 수 있다. 머리 착용형 디스플레이 장치(100)는 커넥터(164)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원을 수신하거나 또는 배터리(도시되지 아니함)를 충전할 수 있다.
Theconnector 164 is an interface (for example, an HDMI input port (High-Definition Multimedia Interface port, not shown)) for connecting the head mounteddisplay device 100 and an external device (not shown), or a USB input jack (not shown)). Also, theconnector 164 may be an interface for connecting the head mounteddisplay device 100 and a power source (not shown). The head mounteddisplay device 100 may transmit data stored in thestorage unit 175 to an external device or receive data from the external device through a wired cable connected to theconnector 164 under the control of the controller. The head mounteddisplay device 100 may receive power from a power source (not shown) or charge a battery (not shown) through a wired cable connected to theconnector 164 .

터치 패드(165)는 머리 착용형 디스플레이 장치(100)의 제어를 위해 사용자 입력(예를 들어, 터치, 터치 제스처 등)을 수신한다. 터치 패드(165)는 평판(예를 들어, 다각형, 원형, 타원형 또는 모서리가 둥근 사각형(rounded rectangle))에 사용자 입력을 검출가능한 센서(도시되지 아니함)를 내장하고 있다. 터치 패드(165)는 머리 착용형 디스플레이 장치(100)의 하우징(100a) 측면에 위치한다.Thetouch pad 165 receives a user input (eg, a touch, a touch gesture, etc.) for controlling the head mounteddisplay device 100 . Thetouch pad 165 has a built-in sensor (not shown) capable of detecting a user input in a flat plate (eg, a polygon, a circle, an oval, or a rounded rectangle). Thetouch pad 165 is located on the side of the housing 100a of the head mounteddisplay device 100 .

사용자 입력은 사용자의 신체 또는 터치가능한 입력펜(예를 들어, 스타일러스 펜 등)의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 패드(165)와 사용자의 신체 또는 터치 패드(165)와 입력펜과의 검출가능한 간격이 20 mm 이하의 호버링(hovering))을 포함할 수 있다. 터치 패드(165)에서 검출가능한 비접촉 간격은 머리 착용형 디스플레이 장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.The user input is not limited to the contact of the user's body or a touchable input pen (eg, a stylus pen, etc.), and non-contact (eg, thetouch pad 165 and the user's body or the touch pad 165). A detectable distance with the pen may include hovering 20 mm or less. It will be readily understood by those skilled in the art that the non-contact interval detectable by thetouch pad 165 may be changed according to the performance or structure of the head mounteddisplay device 100 .

머리 착용형 디스플레이 장치(100)는 터치 패드(165)와 호환 가능한 트랙볼(도시되지 아니함) 및 포인팅 스틱(도시되지 아니함) 중 하나를 포함할 수도 있다.
The head mounteddisplay device 100 may include one of a track ball (not shown) and a pointing stick (not shown) compatible with thetouch pad 165 .

센서부(170)는 머리 착용형 디스플레이 장치(100)의 상태 또는 주변 상태를 검출가능한 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(170)는 사용자의 머리 착용형 디스플레이 장치(100)의 하우징 내부(예를 들어, 안구와 마주보는), 전면(예를 들어, 시선 방향) 또는 측면에 위치한다. 머리 착용형 디스플레이 장치(100) 주변의 빛의 양을 검출가능한 조도 센서(171), 다른 오브젝트(예를 들어, 머리를 포함하는 사용자의 신체)의 머리 착용형 디스플레이 장치(100)에 대한 근접 여부를 검출가능한 근접 센서(172), 머리 착용형 디스플레이 장치(100)의 회전관성을 이용하여 머리 착용형 디스플레이 장치(100)의 기울기를 검출가능한 자이로 센서(173), 머리 착용형 디스플레이 장치(100)에 가해지는 3축(예를 들어, x축, y축, z축)의 이동 상태를 검출가능한 가속도 센서(도시되지 아니함), 중력의 작용 방향을 검출가능한 중력 센서(Gravity Sensor, 도시되지 아니함), 또는 대기의 압력을 측정하여 고도를 검출가능한 고도계(Altimeter, 도시되지 아니함)를 포함할 수 있다.Thesensor unit 170 includes at least one sensor capable of detecting the state of the head mounteddisplay device 100 or the surrounding state. For example, thesensor unit 170 is located inside the housing (eg, facing the eye), the front (eg, the gaze direction), or the side of the user's head mounteddisplay device 100 . Whether theilluminance sensor 171 capable of detecting the amount of light around the headwearable display device 100, and another object (eg, the user's body including the head) approaches the head wearable display device 100 Aproximity sensor 172 capable of detecting An acceleration sensor (not shown) capable of detecting the movement state of three axes (eg, x-axis, y-axis, and z-axis) applied to , or may include an altimeter (not shown) capable of detecting the altitude by measuring the atmospheric pressure.

본 발명의 실시예에 따른 조도 센서(171)는 머리 착용형 디스플레이 장치(100)의 주변 조도를 검출한다. 조도 센서(171)는 제어부의 제어에 따라 검출된 조도에 대응되는 조도 신호를 제어부로 전송할 수 있다.Theilluminance sensor 171 according to an embodiment of the present invention detects ambient illuminance of the head mounteddisplay device 100 . Theilluminance sensor 171 may transmit an illuminance signal corresponding to the detected illuminance to the controller under the control of the controller.

센서부(170)에 포함되는 복수의 센서는 별개의 칩(chip)으로 구현되거나 또는 하나의 칩(예를 들어, 지자기 센서 및 가속도 센서를 포함하는 6축 센서 또는 지자기 센서, 가속도 센서 및 자이로 센서를 포함하는 9축 센서)으로 구현될 수 있다.The plurality of sensors included in thesensor unit 170 may be implemented as separate chips or a single chip (eg, a 6-axis sensor or a geomagnetic sensor including a geomagnetic sensor and an acceleration sensor, an acceleration sensor, and a gyro sensor) 9-axis sensor including

센서부(170)의 센서는 머리 착용형 디스플레이 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
It will be easily understood by those of ordinary skill in the art that the sensor of thesensor unit 170 may be added or deleted according to the performance of the head mounteddisplay device 100 .

저장부(175)는 제어부의 제어에 따라 제1 통신부, 멀티미디어부(140), 카메라부(150), GPS부(155), 입/출력부(160), 센서부(170), 또는 디스플레이부(190)의 동작에 대응되어 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 머리 착용형 디스플레이 장치(100) 또는 제어부의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션 및 콘텐트를 저장할 수 있다. 또한, 저장부(175)는 제어 프로그램, 어플리케이션 또는 콘텐트에 대응되는 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.Thestorage unit 175 includes the first communication unit, the multimedia unit 140 , thecamera unit 150 , theGPS unit 155 , the input/output unit 160 , thesensor unit 170 , or the display unit according to the control of the controller. A signal or data input/output corresponding to the operation of 190 may be stored. Thestorage unit 175 may store a control program for controlling the head mounteddisplay device 100 or the controller, and applications and content provided by a manufacturer or downloaded from the outside. Also, thestorage unit 175 may store a graphical user interface (GUI) corresponding to a control program, application, or content, images for providing the GUI, user information, documents, databases, or related data.

본 발명의 실시예에서 “저장부”라는 용어는 저장부(175), 제어부내 롬(112), 램(113) 또는 머리 착용형 디스플레이 장치(100)에 장착가능한 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.In an embodiment of the present invention, the term “storage unit” refers to thestorage unit 175, theROM 112 in the control unit, theRAM 113, or a memory card (not shown) mountable in the head mounted display device 100 ( e.g. micro SD card, memory stick). The storage unit may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

본 발명의 실시예에 따른 저장부는 디스플레이부(190)에 표시되는 명령어, 명령어 목록, 알림, 텍스트(예를 들어, Yes, No), 아이콘, 오브젝트, 어플리케이션 화면, 어플리케이션 화면에 표시되는 콘텐트(예를 들어, 미로 찾기 등) 정보, 화면 데이터, 또는 다양한 서브 화면 등을 저장할 수 있다.The storage unit according to an embodiment of the present invention includes a command displayed on thedisplay unit 190, a list of commands, a notification, text (eg, Yes, No), an icon, an object, an application screen, and content displayed on the application screen (eg, For example, maze search, etc.) information, screen data, or various sub-screens may be stored.

저장부는 머리 착용형 디스플레이 장치(100)의 장치 정보, 제1 터치 정보 또는 제1 터치 제스처 정보를 저장할 수 있다.The storage unit may store device information, first touch information, or first touch gesture information of the head mounteddisplay device 100 .

저장부는 휴대 장치(200)에서 수신된 휴대 장치 정보, 터치 패드 어플리케이션 정보, 제11 터치 정보(또는 제11 터치 제스처 정보)에 대응되는 컨트롤 패킷을 저장할 수 있다.The storage unit may store a control packet corresponding to the portable device information, the touch pad application information, and the eleventh touch information (or the eleventh touch gesture information) received from theportable device 200 .

저장부는 가상 캐릭터의 동작 예를 저장할 수 있다. 예를 들어, 도 5a와 같은 터치 패드에 입력가능한 터치(또는 터치 제스처)에 대응되는 가상 캐릭터의 동작 예를 저장할 수 있다. 또한, 도 5b와 같은 휴대 장치의 터치(또는 터치 제스처) 및 머리 착용형 디스플레이 장치의 터치 패드에 입력가능한 터치(또는 터치 제스처)에 대응되는 가상 캐릭터의 동작 예를 저장할 수 있다.The storage unit may store an operation example of the virtual character. For example, an operation example of a virtual character corresponding to a touch (or touch gesture) that can be input to a touch pad as shown in FIG. 5A may be stored. In addition, an operation example of a virtual character corresponding to a touch (or a touch gesture) of the portable device as shown in FIG. 5B and a touch (or a touch gesture) that can be input to the touch pad of the head mounted display device may be stored.

저장부는 가상 캐릭터의 동작(또는 위치) 변경에 응답하여 시각 피드백(예를 들어, 비디오 소스 등), 스피커(163)에서 출력되는 사용자 인지가능한 청각 피드백(예를 들어, 사운드 소스 등)을 저장할 수 있다.
The storage unit may store visual feedback (eg, a video source, etc.) and user perceptible auditory feedback (eg, a sound source, etc.) output from thespeaker 163 in response to a change in the motion (or position) of the virtual character. have.

전원 공급부(180)는 머리 착용형 디스플레이 장치(100) 내부에 위치하는 구성 요소들(120 내지 175)에 전원을 공급할 수 있다. 전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. 전원 공급부(180)는 제어부의 제어에 따라 커넥터(165)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 머리 착용형 디스플레이 장치(100)로 공급할 수 있다. 전원 공급부(180)는 배터리(도시되지 아니함)를 포함할 수 있다.The power supply unit 180 may supply power to thecomponents 120 to 175 positioned inside the head mounteddisplay device 100 . The power supply unit 280 may supply power to one or more batteries (not shown) under the control of the control unit to participate. The power supply unit 180 supplies power input from an external power source (not shown) to the headwearable display device 100 through a wired cable (not shown) connected to theconnector 165 under the control of the controller. can The power supply unit 180 may include a battery (not shown).

전원 공급부(180)는 제어부의 제어에 따라 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)을 통해 전원을 머리 착용형 디스플레이 장치(100)로 공급할 수 있다.
The power supply unit 180 may supply power to the headwearable display device 100 through wireless charging (eg, magnetic resonance method, electromagnetic wave method, or magnetic induction method) under the control of the controller.

디스플레이부(190)는 제어부의 제어에 따라 사용자에게 다양한 서비스(예를 들어, 화상 통화, 데이터 전송, 정지 이미지 촬영, 동영상 촬영, 또는 실행되는 콘텐트의 화면) 및 서비스에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 디스플레이부(190)는 버튼(161), 마이크(162), 터치 패드(165), 센서부(170)을 통해 입력되는 사용자 입력에 대응되는 GUI를 사용자에게 제공할 수 있다.Thedisplay unit 190 provides the user with various services (eg, video call, data transmission, still image shooting, video shooting, or a screen of executed content) and a graphical user interface (GUI) corresponding to the service according to the control of the controller. ) can be provided. Thedisplay unit 190 may provide the user with a GUI corresponding to a user input input through thebutton 161 , themicrophone 162 , thetouch pad 165 , and thesensor unit 170 .

디스플레이부(190)는 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이부(190)는 액정 표시 장치(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등을 포함할 수 있다.Thedisplay unit 190 includes a plurality of pixels, and displays an image through the pixels. For example, thedisplay unit 190 may include a liquid crystal display (LCD) method, an organic light emitting diode (OLED) method, an LED method, and the like.

도 1 및 도 2의 머리 착용형 디스플레이 장치(100)에 도시된 구성 요소들은 머리 착용형 디스플레이 장치(100)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 위치는 머리 착용형 디스플레이 장치(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
At least one component may be added or deleted in response to the performance of the head mounteddisplay device 100 to the components shown in the head mounteddisplay device 100 of FIGS. 1 and 2 . In addition, it will be readily understood by those skilled in the art that the positions of the components may be changed in response to the performance or structure of the head mounteddisplay device 100 .

도 1 및 도 2를 참조하면, 머리 착용형 디스플레이 장치(100)는 외부 장치 중 하나인 휴대 장치(200)와 무선 또는 유선으로 연결될 수 있다. 휴대 장치(200)는 이동 통신부(220), 서브 통신부(230) 및 커넥터(265)를 이용하여 머리 착용형 디스플레이 장치(100)와 유선 또는 무선으로 연결될 수 있다. 휴대 장치는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), MP3 플레이어, 동영상 플레이어, 태블릿 PC, 웨어러블 장치, 전자 칠판, 또는 디스플레이 장치(도시되지 아니함) 등을 포함할 수 있다.1 and 2 , the head mounteddisplay device 100 may be connected to theportable device 200, which is one of external devices, wirelessly or by wire. Theportable device 200 may be connected to the head mounteddisplay device 100 by wire or wirelessly using themobile communication unit 220 , thesub communication unit 230 , and theconnector 265 . The portable device may include a mobile phone (not shown), a smart phone (not shown), an MP3 player, a video player, a tablet PC, a wearable device, an electronic blackboard, or a display device (not shown).

휴대 장치(200)는 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치를 의미한다. 휴대 장치(200)는 입력 펜 및 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치를 의미한다. 휴대 장치(200)는 디스플레이부(예를 들어, 터치 패널은 없고 디스플레이 패널만 있는, 도시되지 아니함)를 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치를 의미한다. 또한, 휴대 장치(200)는 터치 스크린(190)에서 입력되는 사용자 입력(예를 들어, 터치 또는 터치 제스처)을 이용하여 외부 장치와 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있는 전자 장치를 포함할 수 있다. 휴대 장치(200)는 하나 또는 둘 이상의 터치 스크린을 가질 수 있다. 또한, 휴대 장치(200)는 하나의 터치 스크린에 각각 구분되는 복수의 화면을 가질 수도 있다.Theportable device 200 means an electronic device that has a touch screen and can transmit or receive data (or content) to the outside through thecommunication unit 120 or 130 . Theportable device 200 refers to an electronic device capable of externally transmitting or receiving data (or content) through thecommunication unit 120 or 130 having an input pen and a touch screen. Theportable device 200 has a display unit (eg, there is no touch panel and only a display panel, not shown) and is capable of transmitting or receiving data (or content) to the outside through thecommunication unit 120 or 130 . means an electronic device. In addition, theportable device 200 may transmit or receive data (or content) to or from an external device using a user input (eg, touch or touch gesture) input from thetouch screen 190 . It may include an electronic device. Theportable device 200 may have one or more touch screens. Also, theportable device 200 may have a plurality of screens that are each separated on one touch screen.

휴대 장치(200)는 제어부(210), 이동 통신부(220), 서브 통신부(230), 멀티미디어부(240), 카메라(250), GPS(255), 입/출력부(260), 센서부(270), 저장부(275) 및 전원 공급부(280)를 포함한다. 휴대 장치(200)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 포함한다.
Theportable device 200 includes acontrol unit 210 , amobile communication unit 220 , asub communication unit 230 , amultimedia unit 240 , acamera 250 , aGPS 255 , an input/output unit 260 , and a sensor unit ( 270 ), astorage unit 275 , and a power supply unit 280 . Theportable device 200 includes atouch screen 290 and atouch screen controller 295 .

제어부(210)는 프로세서(Processor, 211), 휴대 장치(200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 212) 및 휴대 장치(200)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 휴대 장치(200)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 213)을 포함할 수 있다.Thecontroller 210 stores or carries aprocessor 211 , aROM 212 in which a control program for controlling theportable device 200 is stored, and signals or data input from the outside of theportable device 200 . Thedevice 200 may include aRAM 213 used as a storage area for various tasks performed by thedevice 200 .

제어부(210)는 휴대 장치(200)의 전반적인 동작 및 휴대 장치(200)의 내부 구성 요소들(220 내지 295)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(210)는 전원 공급부(280)를 이용하여 내부 구성 요소들(220 내지 295)에게 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정되어 저장된 조건을 만족하는 경우, 제어부(210)는 저장부(275)에 저장된 OS(Operation System) 및 어플리케이션을 실행할 수 있다.Thecontroller 210 controls the overall operation of theportable device 200 and the signal flow between theinternal components 220 to 295 of theportable device 200 and performs a function of processing data. Thecontrol unit 210 controls the supply of power to theinternal components 220 to 295 using the power supply unit 280 . In addition, when a user input or a set and stored condition is satisfied, thecontroller 210 may execute an operating system (OS) and an application stored in thestorage 275 .

프로세서(211)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(211)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(211)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(211), 롬(212) 및 램(213)은 버스(bus)를 통해 상호 연결될 수 있다.Theprocessor 211 may include a graphic processing unit (GPU, not shown) for graphic processing. Theprocessor 211 may be implemented in the form of a system on chip (SoC) including a core (not shown) and a GPU (not shown). Theprocessor 211 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof. Also, theprocessor 211 , theROM 212 , and theRAM 213 may be interconnected through a bus.

제어부(210)는 이동 통신부(220), 서브 통신부(230), 멀티미디어부(240), 카메라(250), GPS(255), 입/출력부(260), 센서부(270), 저장부(275), 전원 공급부(280), 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 제어할 수 있다.Thecontrol unit 210 includes amobile communication unit 220 , asub communication unit 230 , amultimedia unit 240 , acamera 250 , aGPS 255 , an input/output unit 260 , asensor unit 270 , and a storage unit ( 275 ), the power supply unit 280 , thetouch screen 290 , and thetouch screen controller 295 may be controlled.

본 발명의 실시예에 따른 제어부(210)는 주위의 머리 착용형 디스플레이 장치와 연결하는 단계, 터치 패드 어플리케이션을 실행하는 단계, 및 상기 터치 패드 어플리케이션에 수신되는 터치에 대응되는 컨트롤 패킷을 통신부를 통해 상기 머리 착용형 디스플레이 장치로 전송한다.Thecontrol unit 210 according to an embodiment of the present invention transmits a control packet corresponding to a touch received in the step of connecting to the surrounding head-wearable display device, executing a touch pad application, and the touch pad application through the communication unit. transmitted to the head-worn display device.

제어부(210)는 상기 머리 착용형 디스플레이 장치와 상기 휴대 장치가 연결되는 경우, 상기 머리 착용형 디스플레이 장치 정보 및 콘텐트 정보를 수신하도록 제어할 수 있다.When the head mounted display device and the portable device are connected, thecontroller 210 may control to receive the head mounted display device information and content information.

제어부(210)는 상기 머리 착용형 디스플레이 장치와 상기 휴대 장치가 연결되는 경우, 상기 터치 패드 어플리케이션을 실행하도록 제어할 수 있다.When the head mounted display device and the portable device are connected, thecontroller 210 may control to execute the touchpad application.

제어부(210)는 상기 머리 착용형 디스플레이 장치에서 수신된 콘텐트 정보에 대응하여 상기 터치 패드 어플리케이션을 실행하도록 제어할 수 있다.Thecontroller 210 may control the touch pad application to be executed in response to the content information received from the head mounted display device.

본 발명의 실시예에서 “제어부”이라는 용어는 프로세서(211), 롬(212) 및 램(213)을 포함한다.
In an embodiment of the present invention, the term “control unit” includes aprocessor 211 , aROM 212 , and aRAM 213 .

이동 통신부(220)는 제어부의 제어에 따라 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망을 통해 머리 착용형 디스플레이 장치(100)와 연결할 수 있다. 이동 통신부(220)는 연결가능한 전화 번호를 가지는 외부 장치, 예를 들어, 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 휴대 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다.
Themobile communication unit 220 may connect to the head mounteddisplay device 100 through a mobile communication network using one or more antennas under the control of the controller. Themobile communication unit 220 communicates with an external device having a connectable phone number, for example, a mobile phone (not shown), a smart phone (not shown), a tablet PC, or another portable device (not shown) for voice calls and video It can transmit/receive wireless signals for calls, text messages (SMS), multimedia messages (MMS) and data communication.

서브 통신부(230)는 무선랜부(231)과 근거리 통신부(232) 중 적어도 하나를 포함할 수 있다. 예를 들어, 서브 통신부(230)는 무선랜부(231) 및 근거리 통신부(232) 중 하나만 포함하거나 또는 무선랜부(231)과 근거리 통신부(232) 모두 포함할 수 있다.Thesub communication unit 230 may include at least one of awireless LAN unit 231 and a short-range communication unit 232 . For example, thesub communication unit 230 may include only one of thewireless LAN unit 231 and the short-range communication unit 232 , or may include both thewireless LAN unit 231 and the short-range communication unit 232 .

무선랜부(231)은 제어부의 제어에 따라 AP(access point)가 설치된 장소에서 무선을 이용하여 AP와 연결될 수 있다. 무선랜부(231)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(232)은 제어부의 제어에 따라 AP없이 무선으로 휴대 장치(200)와 머리 착용형 디스플레이 장치(100) 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.Thewireless LAN unit 231 may be connected to the AP using radio at a place where an access point (AP) is installed under the control of the controller. Thewireless LAN unit 231 supports the wireless LAN standard (IEEE802.11x) of the American Institute of Electrical and Electronics Engineers (IEEE). The short-range communication unit 232 may perform short-distance communication between theportable device 200 and the head mounteddisplay device 100 wirelessly without an AP under the control of the controller. Short-distance communication may include Bluetooth, Bluetooth low energy, infrared data association (IrDA), Wi-Fi, Ultra Wideband (UWB), and Near Field Communication (NFC). can

본 발명의 실시예에서 “제2 통신부”라는 용어는 이동 통신부(220), 서브 통신부(230)를 포함한다.
In an embodiment of the present invention, the term “second communication unit” includes amobile communication unit 220 and asub communication unit 230 .

멀티미디어부(240)는 방송 수신부(241), 오디오 재생부(242) 또는 동영상 재생부(243)를 포함할 수 있다. 방송 수신부(241)는 제어부의 제어에 따라 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또한, 제어부는 수신된 방송 신호 및 방송 부가 정보를 터치 스크린, 비디오 코덱 및 오디오 코덱을 이용하여 재생할 수 있다.Themultimedia unit 240 may include abroadcast receiver 241 , anaudio player 242 , or avideo player 243 . Thebroadcast receiver 241 includes a broadcast signal (for example, a TV broadcast signal, a radio broadcast signal, or a data broadcast signal) transmitted from an external broadcast station through an antenna (not shown) under the control of the controller, and additional broadcast information (for example, a TV broadcast signal, a radio broadcast signal, or a data broadcast signal) For example, an Electric Program Guide (EPS) or an Electric Service Guide (ESG) may be received. Also, the controller may reproduce the received broadcast signal and broadcast additional information using a touch screen, a video codec, and an audio codec.

오디오 재생부(242)는 제어부의 제어에 따라 휴대 장치(200)의 저장부(275)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav인 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다.Theaudio reproducing unit 242 is an audio source that is pre-stored in thestorage 275 of theportable device 200 or received from the outside (eg, a file extension of mp3, wma, ogg, or wav) according to the control of the controller. audio file) can be played using an audio codec.

본 발명의 실시예에 따라 오디오 재생부(242)은 제어부의 제어에 따라 터치 스크린(290)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다.
According to an embodiment of the present invention, theaudio reproducing unit 242 provides an auditory feedback (eg, an audio source stored in the storage unit) corresponding to a touch detected on thetouch screen 290 or a continuous movement of the touch under the control of the controller. output, etc.) can be played back through the audio codec.

동영상 재생부(243)는 제어부의 제어에 따라 휴대 장치(200)의 저장부(275)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 비디오 코덱을 이용하여 재생할 수 있다. 휴대 장치(200)에 설치가능한 멀티미디어 어플리케이션은 오디오 코덱 및/또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 파일을 재생할 수 있다.Thevideo playback unit 243 is a digital video source (eg, a file extension of mpeg, mpg, mp4, avi, which is pre-stored in thestorage unit 275 of theportable device 200 or received from the outside according to the control of the controller). , mov, or mkv) can be played using the video codec. The multimedia application installable in theportable device 200 may reproduce an audio source or a moving picture file using an audio codec and/or a video codec.

본 발명의 실시예에 따라 동영상 재생부(243)은 제어부의 제어에 따라 제어부의 제어에 따라 터치 스크린(190)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 통해 재생할 수 있다.
According to an embodiment of the present invention, thevideo playback unit 243 is a visual feedback (eg, storage) corresponding to a touch detected on thetouch screen 190 or a continuous motion of the touch according to the control of the controller. output of the video source stored in the unit) can be played back through the video codec.

카메라(250)는 제어부의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 전면의 제1 카메라(도 1의 251) 및 후면의 제2 카메라(도 2의 252) 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라(250)는 제1 카메라(251) 및 제2 카메라(252) 중 하나 또는 양자를 모두 포함할 수 있다. 또한, 제1 카메라(251) 또는 제2 카메라(252)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(153))을 포함할 수 있다.
Thecamera 250 may include at least one of a front first camera ( 251 in FIG. 1 ) and a rear second camera ( 252 in FIG. 2 ) for capturing still images or moving images under the control of the controller. For example,camera 250 may include one or both offirst camera 251 andsecond camera 252 . In addition, thefirst camera 251 or thesecond camera 252 may include an auxiliary light source (eg, a flash 153 ) that provides an amount of light required for photographing.

GPS(255)는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 휴대 장치(200)에서 수신가능한 GPS위성의 정확한 위치 정보와 시간 정보)를 수신한다. 휴대 장치(200)는 복수의 GPS위성에서부터 수신되는 정보를 이용하여 휴대 장치(200)의 위치, 이동 속도 또는 시간을 알 수 있다.
TheGPS 255 periodically receives information (eg, accurate location information and time information of GPS satellites receivable by the portable device 200) from a plurality of GPS satellites (not shown) in Earth orbit. Theportable device 200 may know the location, movement speed, or time of theportable device 200 by using information received from a plurality of GPS satellites.

입/출력부(260)는 하나 또는 둘 이상의 버튼(261), 마이크(262), 스피커(263), 진동 모터(264), 커넥터(265), 키패드(266) 및 입력펜(267) 중 적어도 하나를 포함할 수 있다.The input/output unit 260 includes at least one of one ormore buttons 261 , a microphone 262 , aspeaker 263 , a vibration motor 264 , aconnector 265 , a keypad 266 , and an input pen 267 . may contain one.

도 1 및 도 2를 참조하면, 버튼(261)은 전면의 하부에 있는 홈 버튼(261a), 메뉴 버튼(261b), 및 돌아가기 버튼(261c)을 포함한다. 버튼(261)은 측면(200b)의 전원/잠금 버튼(261d) 및 적어도 하나의 볼륨 버튼(261e)을 포함할 수 있다. 또한, 휴대 장치(200)의 버튼(261)은 홈 버튼(261a)만을 포함할 수 있다. 휴대 장치(200)의 버튼(261)은 물리적 버튼뿐만 아니라 터치 스크린(290) 외부의 베젤에 터치 버튼으로도 구현될 수 있다. 또한, 휴대 장치(200)의 버튼(261)은 터치 스크린(290)상에 텍스트, 이미지 또는 아이콘 형태로 표시될 수 있다.
1 and 2 , thebutton 261 includes ahome button 261a, amenu button 261b, and areturn button 261c located at the lower part of the front side. Thebutton 261 may include a power/lock button 261d and at least onevolume button 261e on the side surface 200b. Also, thebutton 261 of theportable device 200 may include only thehome button 261a. Thebutton 261 of theportable device 200 may be implemented not only as a physical button but also as a touch button on a bezel outside thetouch screen 290 . Also, thebutton 261 of theportable device 200 may be displayed in the form of text, an image, or an icon on thetouch screen 290 .

마이크(262)는 제어부의 제어에 따라 외부에서부터 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 마이크(262)에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부(275)에 저장되거나 또는 스피커(263)를 통해 출력될 수 있다. 마이크(262)는 휴대 장치(200)의 전면, 측면 및 후면에 하나 또는 둘 이상 위치할 수 있다. 또한, 휴대 장치(200)의 측면에만 하나 또는 둘 이상의 마이크(262)가 위치할 수도 있다.
The microphone 262 generates an electrical signal by receiving a voice or sound from the outside under the control of the controller. The electrical signal generated by the microphone 262 may be converted by the audio codec and stored in thestorage 275 or may be output through thespeaker 263 . One or more microphones 262 may be located on the front, side, and rear of theportable device 200 . Also, one or two or more microphones 262 may be located only on the side of theportable device 200 .

스피커(263)는 제어부의 제어에 따라 오디오 코덱을 이용하여 제2 통신부, 멀티미디어부(240) 또는 카메라(250)의 다양한 신호(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 휴대 장치(200)의 외부로 출력할 수 있다.Thespeaker 263 uses an audio codec under the control of the controller to use various signals (eg, wireless signals, broadcast signals, audio sources, video files or photos) of the second communication unit, themultimedia unit 240 or thecamera 250 . A sound corresponding to photographing, etc.) may be output to the outside of theportable device 200 .

본 발명의 실시예에 따라 스피커(263)는 제어부의 제어에 따라 터치 패드(264)에서 수신되는 사용자 입력에 대응하여 청각 피드백을 출력할 수 있다.
According to an embodiment of the present invention, thespeaker 263 may output auditory feedback in response to a user input received from the touchpad 264 under the control of the controller.

진동 모터(264)는 제어부의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 진동 모터(264)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 진동 모터(264)는 휴대 장치(200)에 하나 또는 둘 이상으로 위치할 수 있다. 또한, 진동 모터(264)는 휴대 장치(200) 전체를 진동되게 하거나 또는 휴대 장치(200)의 일 부분만을 진동되게 할 수도 있다.The vibration motor 264 may convert an electrical signal into mechanical vibration under the control of the controller. The vibration motor 264 may include a linear vibration motor, a bar type vibration motor, a coin type vibration motor, or a piezoelectric element vibration motor. One or two or more vibration motors 264 may be located in theportable device 200 . Also, the vibration motor 264 may cause the entireportable device 200 to vibrate or only a part of theportable device 200 to vibrate.

본 발명의 실시예에 따라 진동 모터(264)는 제어부의 제어에 따라 터치 스크린(290)에서 수신되는 사용자 입력(예를 들어, 터치 또는 터치 제스처)에 대응하여 촉각 피드백을 출력할 수 있다. 또한, 진동 모터(264)는 제어부의 제어 명령에 기초하여 기 저장되거나 외부 장치에서부터 수신된 다양한 촉각 피드백(예를 들어, 진동의 세기 및 진동 지속 시간)을 제공할 수 있다.
According to an embodiment of the present invention, the vibration motor 264 may output a tactile feedback in response to a user input (eg, a touch or a touch gesture) received from thetouch screen 290 under the control of the controller. Also, the vibration motor 264 may provide various tactile feedbacks (eg, intensity of vibration and duration of vibration) that are pre-stored or received from an external device based on a control command of the controller.

커넥터(265)는 휴대 장치(200)와 외부 장치(도시되지 아니함) 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부의 제어에 따라 휴대 장치(200)는 커넥터(265)에 연결된 유선 케이블을 통해 저장부(275)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 휴대 장치(200)는 커넥터(265)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원을 입력받거나 또는 배터리(도시되지 아니함)를 충전할 수 있다.
Theconnector 265 may be used as an interface for connecting theportable device 200 and an external device (not shown) or a power source (not shown). According to the control of the controller, theportable device 200 transmits data stored in thestorage unit 275 to an external device (not shown) or data from the external device (not shown) through a wired cable connected to theconnector 265 . can receive Theportable device 200 may receive power from a power source (not shown) or charge a battery (not shown) through a wired cable connected to theconnector 265 .

키패드(266)는 휴대 장치(200)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 장치(200)에 전면(200a)에 형성되는 물리적인 키패드(도시되지 아니함), 터치 스크린(290)내 표시되는 가상 키패드(도시되지 아니함) 및 무선 또는 유선으로 연결가능한 물리적인 키패드(도시되지 아니함)를 포함한다. 휴대 장치(200)의 전면(200a)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 장치(200)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
The keypad 266 may receive a key input from a user to control theportable device 200 . Thekeypad 166 includes a physical keypad (not shown) formed on the front surface 200a of theportable device 200, a virtual keypad (not shown) displayed on thetouch screen 290, and a physical keypad that can be connected wirelessly or by wire. Including a keypad (not shown). It is easy for a person skilled in the art that a physical keypad (not shown) formed on the front surface 200a of theportable device 200 may be excluded depending on the performance or structure of theportable device 200 . will be understood

입력펜(267)은 휴대 장치(200)의 터치 스크린(290)의 홈 화면(291) 또는 필기/그리기 어플리케이션에 표시되는 화면(예를 들어, 메모 화면, 노트 패드 화면, 캘린더 화면, 등)에 표시되는(구성하는) 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘)를 터치하거나 선택할 수 있다. 또한, 입력 펜(267)은 휴대 장치(200)의 터치 스크린(290)에 표시되는 필기 어플리케이션(예를 들어, 메모 화면 등) 또는 그리기 어플리케이션의 화면(예를 들어, 캔버스 화면 등)에서 필기(handwriting) 또는 그리기(drawing, painting or sketching)를 할 수 있다.The input pen 267 is applied to thehome screen 291 of thetouch screen 290 of theportable device 200 or a screen displayed on a handwriting/drawing application (eg, a memo screen, a note pad screen, a calendar screen, etc.). It is possible to touch or select the displayed (composed) object (eg, menu, text, image, video, figure, icon, and shortcut icon). In addition, the input pen 267 is used for writing (eg, a canvas screen) in a writing application (eg, a memo screen, etc.) or a drawing application screen (eg, a canvas screen) displayed on thetouch screen 290 of theportable device 200 . handwriting) or drawing (drawing, painting or sketching).

입력펜(267)은 정전 용량 방식, 저항막 방식, 또는 전자기 공명(electromagnetic resonance, EMR)의 터치 스크린을 터치하거나 또는 표시되는 가상 키패드를 이용하여 문자 등을 입력할 수 있다. 입력펜(267)은 스타일러스 펜 또는 내장된 진동 소자(예를 들어, 액추에이터(actuator) 또는 진동 모터)가 진동하는 햅틱 펜(haptic pen, 도시되지 아니함)을 포함할 수 있다.The input pen 267 may input a character or the like by touching a capacitive, resistive, or electromagnetic resonance (EMR) touch screen or using a displayed virtual keypad. The input pen 267 may include a stylus pen or a haptic pen (not shown) in which a built-in vibration element (eg, an actuator or a vibration motor) vibrates.

입력 펜(267)은 사용자의 손가락(예를 들어, 엄지를 포함)을 포함할 수 있다. 예를 들어, 정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서, 사용자의 손가락에 의해 필기 또는 그리기가 입력될 수 있다.The input pen 267 may include a user's finger (eg, including a thumb). For example, in an application displayed on a capacitive touch screen or a resistive touch screen, handwriting or drawing may be input by a user's finger.

정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서 사용자의 손가락에 의해 필기 또는 그리기가 입력되는 경우, 제어부는 엄지를 포함하는 손가락 중 하나의 터치를 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 이용하여 검출할 수 있다.
When handwriting or drawing is input by a user's finger in an application displayed on the capacitive touch screen or the resistive touch screen, the controller applies a touch of one of the fingers including the thumb to thetouch screen 290 and the touch screen controller. (295) can be used to detect it.

센서부(270)는 휴대 장치(200)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(270)는 휴대 장치(200) 주변의 빛의 양을 검출하는 조도 센서(271), 사용자의 휴대 장치(200)에 대한 접근 여부를 검출하는 근접 센서(272), 휴대 장치(200)의 회전관성을 이용하여 방향을 검출하는 자이로 센서(273)를 포함할 수 있다. 또한, 센서부(270)는 휴대 장치(200)에 가해지는 3축(예를 들어, x축, y축, z축)의 가속도를 검출하는 가속도 센서(도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다.Thesensor unit 270 includes at least one sensor that detects the state of theportable device 200 . For example, thesensor unit 270 includes anilluminance sensor 271 that detects an amount of light around theportable device 200 , aproximity sensor 272 that detects whether the user approaches theportable device 200 , and a portable device. Agyro sensor 273 for detecting a direction by using the rotational inertia of thedevice 200 may be included. In addition, thesensor unit 270 includes an acceleration sensor (not shown) that detects acceleration in three axes (eg, x-axis, y-axis, and z-axis) applied to theportable device 200, and the direction of the gravitational force. It may include a gravity sensor that detects, or an altimeter that detects altitude by measuring atmospheric pressure.

또한, 센서부(270)는 사용자의 지문을 검출하는 지문 센서(도시되지 아니함), 또는 사용자의 심장 박동을 검출하는 심박 센서(도시되지 아니함)를 더 포함할 수 있다.In addition, thesensor unit 270 may further include a fingerprint sensor (not shown) for detecting the user's fingerprint, or a heart rate sensor (not shown) for detecting the user's heartbeat.

센서부(270)에 포함되는 적어도 하나의 센서는 휴대 장치(200)의 상태를 검출하고, 검출에 대응되는 전기적인 신호를 생성하여 제어부로 전송한다. 센서부(270)에 포함되는 센서는 휴대 장치(200)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
At least one sensor included in thesensor unit 270 detects the state of theportable device 200 , generates an electrical signal corresponding to the detection, and transmits it to the control unit. It will be readily understood by those of ordinary skill in the art that sensors included in thesensor unit 270 may be added or deleted according to the performance of theportable device 200 .

저장부(275)는 제어부의 제어에 따라 제2 통신부, 멀티미디어부(240), 카메라(250), GPS(255), 입/출력부(260), 센서부(270), 및 터치 스크린(290)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(275)는 휴대 장치(200) 또는 제어부의 제어를 위한 제어 프로그램, 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션을 저장할 수 있다. 또한, 저장부(275)는 제어 프로그램 또는 어플리케이션에 대응되는 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.Thestorage unit 275 includes the second communication unit, themultimedia unit 240 , thecamera 250 , theGPS 255 , the input/output unit 260 , thesensor unit 270 , and thetouch screen 290 according to the control of the controller. ) input/output signals or data corresponding to the operation can be stored. Thestorage unit 275 may store a control program for controlling theportable device 200 or the controller, and an application provided by a manufacturer or downloaded from the outside. Also, thestorage unit 275 may store a graphical user interface (GUI) corresponding to the control program or application, images for providing the GUI, user information, documents, databases, or related data.

본 발명의 실시예에 따른 저장부(275)는 휴대 장치 정보 및 터치 패드 어플리케이션 정보를 저장할 수 있다.Thestorage unit 275 according to an embodiment of the present invention may store portable device information and touchpad application information.

저장부(275)는 터치 패드 어플리케이션을 통해 수신된 제11 터치 정보 또는 제11 터치 제스처 정보를 저장할 수 있다.Thestorage unit 275 may store the eleventh touch information or the eleventh touch gesture information received through the touch pad application.

저장부(275)는 머리 착용형 디스플레이 장치에서부터 수신된 머리 착용형 디스플레이 장치 정보 및 콘텐트 정보를 저장할 수 있다.Thestorage unit 275 may store head mounted display device information and content information received from the head mounted display device.

본 발명의 실시예에서 “저장부”라는 용어는 저장부(275), 제어부 내 롬(212), 램(213) 또는 휴대 장치(200)에 장착되는 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
In an embodiment of the present invention, the term “storage unit” refers to thestorage unit 275, theROM 212 in the control unit, theRAM 213, or a memory card (not shown) mounted in the portable device 200 (for example, , micro SD card, memory stick). The storage unit may include a non-volatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

전원 공급부(280)는 제어부의 제어에 따라 휴대 장치(200) 내부에 위치하는 구성 요소들(220 내지 275)을 공급할 수 있다. 전원 공급부(280)는 제어부의 제어에 따라 커넥터(265)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 장치(200)로 공급할 수 있다. 또한, 전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. 하나 또는 둘 이상의 배터리(도시되지 아니함)는 전면(200a)에 위치하는 터치 스크린(290)과 후면(200c) 사이에 위치할 수 있다. 전원 공급부(280)는 배터리(도시되지 아니함)를 포함할 수 있다.The power supply unit 280 may supply thecomponents 220 to 275 located inside theportable device 200 under the control of the controller. The power supply unit 280 may supply power input from an external power source (not shown) to theportable device 200 through a wired cable (not shown) connected to theconnector 265 under the control of the controller. In addition, the power supply unit 280 may supply power to one or more batteries (not shown) under the control of the control unit to enter the field. One or more batteries (not shown) may be positioned between thetouch screen 290 positioned on the front surface 200a and the rear surface 200c. The power supply 280 may include a battery (not shown).

전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)를 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)할 수 있다.
The power supply unit 280 may wirelessly charge (eg, magnetic resonance method, electromagnetic wave method, or magnetic induction method) one or more batteries (not shown) according to the control of the controller.

터치 스크린(290)은 터치 입력을 수신하는 터치 패널(도시되지 아니함)과 화면 표시를 위한 디스플레이 패널(도시되지 아니함)을 포함한다. 터치 스크린(290)은 사용자에게 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는 어플리케이션 실행)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치 스크린(290)은 홈 화면(291) 또는 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(295)로 전송한다. 터치 스크린(290)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력펜(267)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다.Thetouch screen 290 includes a touch panel (not shown) for receiving a touch input and a display panel (not shown) for displaying a screen. Thetouch screen 290 may provide a graphical user interface (GUI) corresponding to various services (eg, voice call, video call, data transmission, broadcast reception, photo taking, video viewing, or application execution) to the user. have. Thetouch screen 290 transmits an analog signal corresponding to a single touch or a multi-touch input through thehome screen 291 or the GUI to thetouch screen controller 295 . Thetouch screen 290 may receive a single touch or multi-touch input through the user's body (eg, a finger including a thumb) or the input pen 267 .

디스플레이 패널(도시되지 아니함)은 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이 패널(도시되지 아니함)로는 액정 표시 장치(LCD), 유기 발광 다이오드(Organic LED), LED 등이 있다. 디스플레이 패널(도시되지 아니함)은 휴대 장치(200)의 각종 동작 상태, 애플리케이션 또는 서비스 실행 등에 따른 다양한 영상과 복수의 객체들을 표시할 수 있다.A display panel (not shown) includes a plurality of pixels, and displays an image through the pixels. For example, the display panel (not shown) includes a liquid crystal display (LCD), an organic light emitting diode (OLED), an LED, and the like. A display panel (not shown) may display various images and a plurality of objects according to various operating states of theportable device 200, execution of applications or services, and the like.

본 발명의 실시예에서 터치는 터치 스크린(290)과 사용자의 신체 또는 입력펜(267)의 접촉에 한정되지 않고, 비접촉을 포함한다. 예를 들어, 비접촉은 터치 스크린(290)과 사용자의 신체 또는 입력펜(267)과의 간격이 50 mm 이하의 호버링(hovering)을 포함할 수 있다. 터치 스크린(290)에서 검출가능한 비접촉 간격은 휴대 장치(200)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.In the embodiment of the present invention, the touch is not limited to the contact between thetouch screen 290 and the user's body or the input pen 267, but includes non-contact. For example, the non-contact may include hovering in which the distance between thetouch screen 290 and the user's body or the input pen 267 is 50 mm or less. It will be readily understood by those skilled in the art that the non-contact interval detectable on thetouch screen 290 may be changed according to the performance or structure of theportable device 200 .

터치 스크린(290)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.Thetouch screen 290 may be implemented by, for example, a resistive method, a capacitive method, an infrared method, or an acoustic wave method.

터치 스크린(290)은 전자기 공명 방식(electromagnetic resonance, EMR) 을 포함할 수 있다. 전자기 공명 방식의 터치 스크린은 전자기 공명 방식의 루프 코일에 공진하는 공진 회로를 가지는 입력 펜(도시되지 아니함)의 입력을 수신하기 위한 별도의 전자기 공명 방식의 터치 패널(도시되지 아니함)을 더 포함한다.
Thetouch screen 290 may include an electromagnetic resonance (EMR) method. The electromagnetic resonance type touch screen further includes a separate electromagnetic resonance type touch panel (not shown) for receiving an input of an input pen (not shown) having a resonance circuit resonating with the electromagnetic resonance type loop coil. .

터치 스크린 컨트롤러(295)는 터치 스크린(290)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전송한다. 제어부는 터치 스크린 컨트롤러(295)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(290) 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수 있다.Thetouch screen controller 295 converts an analog signal corresponding to a single touch or a multi-touch received from thetouch screen 290 into a digital signal and transmits it to the controller. The controller may calculate X and Y coordinates corresponding to the touch position on thetouch screen 290 by using the digital signal received from thetouch screen controller 295 .

제어부는 터치 스크린 컨트롤러(295)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(290)을 제어할 수 있다. 예를 들어, 제어부는 입력된 터치에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(예를 들어, 도 1의 293)을 다른 단축 아이콘과 구분되게 표시하거나 또는 선택된 단축 아이콘(도 1의 293)에 대응되는 어플리케이션(예를 들어, S 노트)를 실행하여 터치 스크린(290)에 어플리케이션 화면을 표시할 수 있다.The controller may control thetouch screen 290 using a digital signal received from thetouch screen controller 295 . For example, in response to an input touch, the control unit displays a shortcut icon (eg, 293 in FIG. 1 ) displayed on thetouch screen 190 to be distinguished from other shortcut icons or a selected shortcut icon ( 293 in FIG. 1 ) By executing an application (eg, S note) corresponding to , an application screen may be displayed on thetouch screen 290 .

터치 스크린 컨트롤러(295)는 하나 또는 복수의 터치 스크린 컨트롤러(도시되지 아니함)로 구현될 수 있다. 휴대 장치(200)의 성능 또는 구조에 대응하여 터치 스크린 컨트롤러(295)는 제어부에 포함될 수도 있다.Thetouch screen controller 295 may be implemented as one or a plurality of touch screen controllers (not shown). Thetouch screen controller 295 may be included in the controller according to the performance or structure of theportable device 200 .

터치 스크린 컨트롤러(295)는 터치 스크린(290)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호와 별개로 전자기 공명 방식의 터치 스크린에서 수신되는 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전송한다. 제어부는 터치 스크린 컨트롤러(295)에서부터 수신된 디지털 신호를 이용하여 전자기 공명 방식의 터치 스크린에서 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수도 있다. 또한, 전자기 공명 방식의 터치 스크린의 경우, 전자기 공명 방식의 터치 스크린 컨트롤러(도시되지 아니함)를 이용할 수 있다.Thetouch screen controller 295 converts the analog signal corresponding to the touch received from the electromagnetic resonance type touch screen separately from the analog signal corresponding to the single touch or the multi-touch received from thetouch screen 290 into a digital signal, and the controller send to The controller may calculate X and Y coordinates corresponding to the touch position of the image on the electromagnetic resonance type touch screen by using the digital signal received from thetouch screen controller 295 . In addition, in the case of an electromagnetic resonance type touch screen, an electromagnetic resonance type touch screen controller (not shown) may be used.

도 1 및 도 2에서 도시된 휴대 장치(200)는 하나의 터치 스크린에 대해서만 도시하였으나, 복수의 터치 스크린을 구비할 수 있다. 각각의 터치 스크린은 각각의 하우징(도시되지 아니함)에 위치하며 별개의 하우징(도시되지 아니함)은 힌지(도시되지 아니함)에 의해 상호 연결되거나 또는 플렉시블한 하나의 하우징에 복수의 터치 스크린이 위치할 수 있다. 복수의 터치 스크린 각각은 복수의 디스플레이 패널(도시되지 아니함)과 복수의 터치 패널(도시되지 아니함)을 포함하여 구성될 수 있다.Although theportable device 200 illustrated in FIGS. 1 and 2 has only one touch screen, it may include a plurality of touch screens. Each touch screen is located in each housing (not shown), and separate housings (not shown) are interconnected by a hinge (not shown) or a plurality of touch screens can be located in one flexible housing. can Each of the plurality of touch screens may include a plurality of display panels (not shown) and a plurality of touch panels (not shown).

도 2에 도시된 휴대 장치(200)의 구성 요소들은 휴대 장치(200)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
It is easy for a person skilled in the art that at least one component can be added or deleted according to the performance of theportable device 200 shown in FIG. 2 . will be understood

도 3은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 콘텐트 표시방법을 나타내는 개략적인 순서도이다.3 is a schematic flowchart illustrating a content display method of a head mounted display device according to an embodiment of the present invention.

도 4a 내지 도 4e는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치의 화면 예를 나타내는 도면이다.
4A to 4E are diagrams illustrating examples of screens of a head mounted display device and a portable device according to an embodiment of the present invention.

도 3의 단계(S310)에서, 머리 착용형 디스플레이 장치에서 콘텐트가 실행된다.In step S310 of FIG. 3 , the content is executed on the head mounted display device.

도 4a를 참조하면, 머리 착용형 디스플레이 장치(100)에서, 콘텐트가 실행된다. 제어부는 사용자 입력에 의해 저장부(175)에 저장된 콘텐트(예를 들어, 미로 찾기)를 실행하여 디스플레이부(190)에 표시할 수 있다. 실행되는 콘텐트는 머리 착용형 디스플레이 장치(100)에서 실행가능한 콘텐트 중 하나인 가상 현실(virtual reality) 컴퓨터 게임(예를 들어, 미로 찾기), 가상 현실 영화(cinema) 또는 전 방위 가상 현실 경험(360° virtual reality experience)일 수 있다.Referring to FIG. 4A , in the head mounteddisplay device 100 , content is executed. The controller may execute content (eg, maze search) stored in thestorage unit 175 according to a user input and display it on thedisplay unit 190 . The content to be executed is a virtual reality computer game (eg, maze finding), a virtual reality movie (cinema) or an omnidirectional virtual reality experience 360 that is one of the content executable on the head mounteddisplay device 100 . ° virtual reality experience).

또한, 제어부는 사용자 입력에 의해 외부에서부터 커넥터(164)를 통해 수신되는 콘텐트(예를 들어, 미로 찾기)를 디스플레이부(190)에 표시할 수 있다. 또한, 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)가 디스플레이부(190)의 위치에 장착되는 경우, 외부 장치에 기저장된 또는 다운로드되는 콘텐트(예를 들어, 미로 찾기)는 사용자 입력에 의해 선택되어 실행될 수 있다.Also, the controller may display content (eg, maze search) received from the outside through theconnector 164 in response to a user input on thedisplay unit 190 . In addition, when a separate external device (eg, a portable device) having thedisplay unit 190 is mounted at the location of thedisplay unit 190 , content stored in the external device or downloaded (eg, finding a maze) ) can be selected and executed by user input.

머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되지 않은 상태이다.
The head mounteddisplay device 100 is not connected to theportable device 200 .

도 3의 단계(S302)에서, 콘텐트의 가상 캐릭터가 표시된다.In step S302 of FIG. 3 , a virtual character of the content is displayed.

도 4a를 참조하면, 콘텐트(예를 들어, 미로 찾기)가 실행되는 경우, 제어부는 디스플레이부(190)에 표시되는 미로(191b)에 가상 캐릭터(193)를 표시할 수 있다. 미로(192)는 담(192a)과 담(192a)으로 구분되는 길(192b)로 구성될 수 있다. 제어부는 검출되는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 가상 캐릭터(193)의 방향을 전환하거나 가상 캐릭터(193)를 이동할 수 있다. 제어부는 검출되는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 빠르거나 느리게 가상 캐릭터(193)의 방향을 전환하거나 이동할 수 있다. 또한, 제어부는 머리 착용형 디스플레이 장치(100)의 측면에 있는 터치 패드(165)에서 검출되는 사용자 입력에 대응하여 가상 캐릭터(193)의 방향을 전환하거나 가상 캐릭터(193)를 이동할 수 있다. 제어부는 머리 착용형 디스플레이 장치(100)의 측면에 있는 터치 패드(165)에서 검출되는 사용자 입력(예를 들어, 더블 탭(double tap)의 속도 또는 터치 제스처인 플릭(flick)의 이동 속도)에 대응하여 빠르거나 느리게 가상 캐릭터(193)의 방향을 전환하거나 이동할 수 있다. 가상 캐릭터(193)는 머리 착용형 디스플레이 장치(100)의 움직임 및 터치 패드(165)에서의 사용자 입력 중 적어도 하나에 응답하여 담(192a)과 담(192a)사이의 길(192b)을 따라 이동할 수 있다.Referring to FIG. 4A , when content (eg, finding a maze) is executed, the controller may display thevirtual character 193 on the maze 191b displayed on thedisplay unit 190 . Themaze 192 may be composed of awall 192a and aroad 192b divided into awall 192a. The controller may change the direction of thevirtual character 193 or move thevirtual character 193 in response to the detected movement of the head mounteddisplay device 100 . The controller may quickly or slowly change or move the direction of thevirtual character 193 in response to the detected movement of the head mounteddisplay device 100 . Also, the controller may change the direction of thevirtual character 193 or move thevirtual character 193 in response to a user input detected from thetouch pad 165 on the side of the head mounteddisplay device 100 . The control unit responds to a user input (eg, a speed of a double tap or a movement speed of a flick that is a touch gesture) detected by thetouch pad 165 on the side of the head mounteddisplay device 100 . Correspondingly, the direction of thevirtual character 193 may be changed or moved quickly or slowly. Thevirtual character 193 moves along thepath 192b between thewall 192a and thewall 192a in response to at least one of a movement of the head mounteddisplay device 100 and a user input on thetouch pad 165 . can

머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되지 않은 상태이다.
The head mounteddisplay device 100 is not connected to theportable device 200 .

도 3의 단계(S330)에서, 휴대 장치가 무선으로 연결된다.In step S330 of FIG. 3 , the portable device is wirelessly connected.

도 4b를 참조하면, 머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 무선으로 연결된다.Referring to FIG. 4B , the head mounteddisplay device 100 and theportable device 200 are wirelessly connected.

머리 착용형 디스플레이 장치(100)에서 콘텐트가 실행되는 경우, 머리 착용형 디스플레이 장치(100)의 제어부는 제1 통신부를 이용하여 주변의 휴대 장치를 검색할 수 있다. 머리 착용형 디스플레이 장치(100)의 디스플레이부(190)의 화면에 표시되는 검색 결과에 대응되는 검색 목록(도시되지 아니함)에서 연결 대상인 휴대 장치(200)가 사용자에 의해 선택될 수 있다. 머리 착용형 디스플레이 장치(100)의 제어부는 사용자의 선택에 대응하여 제1 통신부를 이용하여 휴대 장치(200)의 제2 통신부와 무선으로 연결할 수 있다.When content is executed in the head mounteddisplay device 100 , the controller of the head worndisplay device 100 may search for a nearby portable device using the first communication unit. Theportable device 200 to be connected may be selected by the user from a search list (not shown) corresponding to a search result displayed on the screen of thedisplay unit 190 of the head mounteddisplay device 100 . The control unit of the head mounteddisplay apparatus 100 may wirelessly connect with the second communication unit of theportable device 200 by using the first communication unit in response to a user's selection.

머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 제어부는 머리 착용형 디스플레이 장치(100)의 장치 정보 및 머리 착용형 디스플레이 장치(100)에서 실행되는 콘텐트(예를 들어, 미로 찾기) 정보를 제1 통신부를 통해 휴대 장치(200)로 전송할 수 있다.When the head-wearable display device 100 and theportable device 200 are connected, the controller controls device information of the head-wearable display device 100 and content (eg, maze) information may be transmitted to theportable device 200 through the first communication unit.

휴대 장치(200)의 연결에 대응하여 머리 착용형 디스플레이 장치(100)의 제어부는 수신되는 휴대 장치(200)의 장치 정보를 저장부(180)에 저장할 수 있다. 저장되는 휴대 장치(200)의 장치 정보는 무선 연결 정보(예를 들어, SSID, IP 주소, MAC 주소, 채널 번호 또는 보안 키 등을 포함), 휴대 장치(200)의 이름(product name), 휴대 장치(200)의 식별자(ID), 휴대 장치(200)의 MAC 주소, 휴대 장치(200)의 종류, 휴대 장치(200)의 프로파일 또는 휴대 장치(200)의 통신 방식 등을 포함할 수 있다. 저장되는 콘텐트 정보는 콘텐트 식별자, 콘텐트 이름, 콘텐트 종류(예를 들어, 컴퓨터 게임 등), 터치 패드 어플리케이션 실행 명령 등을 포함할 수 있다.In response to the connection of theportable device 200 , the controller of the head mounteddisplay device 100 may store the received device information of theportable device 200 in the storage unit 180 . The stored device information of theportable device 200 includes wireless connection information (eg, SSID, IP address, MAC address, channel number or security key, etc.), a product name of theportable device 200, and a mobile phone number. The identifier (ID) of thedevice 200 , the MAC address of theportable device 200 , the type of theportable device 200 , a profile of theportable device 200 or a communication method of theportable device 200 may be included. The stored content information may include a content identifier, a content name, a content type (eg, a computer game, etc.), a touchpad application execution command, and the like.

이와 유사하게, 휴대 장치(200)의 제어부(210)는 제2 통신부를 이용하여 주변의 머리 착용형 디스플레이 장치(100)를 검색할 수 있다. 휴대 장치(200)의 터치 스크린(290)의 화면에 표시되는 검색 결과에 대응되는 검색 목록(도시되지 아니함)에서 머리 착용형 디스플레이 장치(100)가 사용자에 의해 선택될 수 있다. 휴대 장치(200)의 제어부(210)는 사용자의 선택에 대응하여 제2 통신부를 이용하여 머리 착용형 디스플레이 장치(100)의 제1 통신부와 무선으로 연결할 수 있다.Similarly, thecontrol unit 210 of theportable device 200 may search for the head-wearable display device 100 in the vicinity by using the second communication unit. The head mounteddisplay device 100 may be selected by the user from a search list (not shown) corresponding to a search result displayed on the screen of thetouch screen 290 of theportable device 200 . Thecontrol unit 210 of theportable device 200 may wirelessly connect with the first communication unit of the head mounteddisplay device 100 by using the second communication unit in response to a user's selection.

머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 휴대 장치(200)의 제어부(210)는 수신된 머리 착용형 디스플레이 장치(100)의 장치 정보 및 실행되는 콘텐트(예를 들어, 미로 찾기) 정보를 저장부(280)에 저장할 수 있다. 저장되는 머리 착용형 디스플레이 장치(100)의 장치 정보는 무선 연결 정보(예를 들어, SSID, IP 주소, MAC 주소, 채널 번호 또는 보안 키 등을 포함), 머리 착용형 디스플레이 장치(100)의 이름(product name), 머리 착용형 디스플레이 장치(100)의 식별자(ID), 머리 착용형 디스플레이 장치(100)의 MAC 주소, 머리 착용형 디스플레이 장치(100)의 종류, 머리 착용형 디스플레이 장치(100)의 프로파일 또는 머리 착용형 디스플레이 장치(100)의 통신 방식 등을 포함할 수 있다.When the head mounteddisplay device 100 and theportable device 200 are connected, thecontroller 210 of theportable device 200 receives the device information of the head mounteddisplay device 100 and executed content (eg, For example, maze search) information may be stored in the storage unit 280 . Device information of the head mounteddisplay device 100 to be stored is wireless connection information (eg, including SSID, IP address, MAC address, channel number or security key, etc.), the name of the head mounted display device 100 (product name), an identifier (ID) of the head mounteddisplay device 100 , a MAC address of the head worndisplay device 100 , a type of the head worndisplay device 100 , and a head mounteddisplay device 100 . of the profile or the communication method of the head mounteddisplay device 100 .

머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 휴대 장치(200)의 제어부(210)는 제2 통신부를 이용하여 실행 대상인 어플리케이션(예를 들어, 터치 패드 어플리케이션(296))의 정보를 머리 착용형 디스플레이 장치(100)로 전송할 수 있다.When the head mounteddisplay device 100 and theportable device 200 are connected, thecontrol unit 210 of theportable device 200 uses the second communication unit to execute an application to be executed (eg, atouchpad application 296). ) may be transmitted to the head mounteddisplay device 100 .

머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 휴대 장치(200)의 제어부(210)는 사용자의 선택(예를 들어, 터치 패드 어플리케이션 정보의 머리 착용형 디스플레이 장치로 전송에 대응되는)에 응답하여 제2 통신부를 이용하여 실행 대상인 터치 패드 어플리케이션(296)에 대응되는 어플리케이션 정보를 머리 착용형 디스플레이 장치(100)로 전송할 수도 있다.When the head mounteddisplay device 100 and theportable device 200 are connected, thecontrol unit 210 of theportable device 200 transmits the user's selection (eg, touch pad application information to the head mounted display device). In response to ), application information corresponding to thetouch pad application 296 to be executed may be transmitted to the headwearable display device 100 using the second communication unit.

전송되는 어플리케이션 정보는 예를 들어, 어플리케이션(예를 들어, 터치 패드 어플리케이션, 296)을 구별하기 위한 식별 정보(예를 들어, 이름, 식별자(ID), 분류 코드 등), 어플리케이션 정보의 전송 시점에서 대응되는 어플리케이션의 상태 정보(예를 들어, 어플리케이션의 실행, 대기 또는 중지 등) 등을 포함할 수 있다.The transmitted application information is, for example, identification information (eg, name, identifier (ID), classification code, etc.) for distinguishing the application (eg, the touch pad application, 296), at the time of transmission of the application information It may include status information of the corresponding application (eg, execution, standby, or stop of the application), and the like.

머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되는 경우, 휴대 장치(200)의 제어부(210)는 터치 패드 어플리케이션(296, 도 4d 참조)을 실행하여 터치 스크린(290)에 표시할 수 있다. 사용자는 터치 패드 어플리케이션(296)에 터치 또는 터치 제스처를 할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되는 경우, 휴대 장치(200)의 제어부(210)는 수신된 콘텐트 정보 내 터치 패드 어플리케이션 실행 명령에 대응하여 터치 패드 어플리케이션(296, 도 4d 참조)을 실행하여 터치 스크린(290)에 표시할 수도 있다.When the head mounteddisplay device 100 is connected to theportable device 200 , thecontroller 210 of theportable device 200 executes the touch pad application 296 (refer to FIG. 4D ) and displays it on thetouch screen 290 . can do. The user may make a touch or touch gesture to thetouch pad application 296 . In addition, when the head mounteddisplay device 100 is connected to theportable device 200 , thecontroller 210 of theportable device 200 responds to a touchpad application execution command in the received content information to thetouchpad application 296 . , see FIG. 4D ) to be displayed on thetouch screen 290 .

휴대 장치(200)의 제어부(210)는 검출된 터치(또는 터치 제스처)에 대응되는 터치 정보(또는 터치 제스처 정보)를 제2 통신부를 통해 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 또한, 휴대 장치(200)의 제어부(210)는 검출된 터치(또는 터치 제스처)에 대응되는 터치 정보(또는 터치 제스처 정보)를 저장부(275)에 저장할 수 있다.Thecontroller 210 of theportable device 200 may transmit touch information (or touch gesture information) corresponding to the detected touch (or touch gesture) to the head mounteddisplay device 100 through the second communication unit. Also, thecontroller 210 of theportable device 200 may store touch information (or touch gesture information) corresponding to the detected touch (or touch gesture) in thestorage unit 275 .

머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결된 상태이다.
The head mounteddisplay device 100 is connected to theportable device 200 .

도 3의 단계(S340)에서, 머리 착용형 디스플레이 장치의 터치 패드에서 터치 제스처가 수신된다.In step S340 of FIG. 3 , a touch gesture is received from the touch pad of the head mounted display device.

도 4c를 참조하면, 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 터치 또는 터치 제스처가 수신된다. 사용자는 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에 제1 터치(166)를 한다. 제어부는 터치 패드(165)를 이용하여 제1 터치(166)를 검출할 수 있다. 제어부는 터치 패드(165)에서부터 수신되는 전기 신호를 이용하여 제1 터치(166)에 대응되는 제1 터치 위치(166a, 예를 들어, X1와 Y1좌표)를 산출할 수 있다.Referring to FIG. 4C , a touch or a touch gesture is received from thetouch pad 165 of the head mounteddisplay device 100 . The user makes afirst touch 166 on thetouch pad 165 of the head mounteddisplay device 100 . The controller may detect thefirst touch 166 by using thetouch pad 165 . The controller may calculate afirst touch position 166a (eg, X1 and Y1 coordinates) corresponding to thefirst touch 166 by using an electrical signal received from thetouch pad 165 .

제어부는 제1 터치 위치(166a)에 대응되는 제1 터치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제1 터치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. 제1 터치(166)는 엄지를 포함하는 손가락 중 하나 또는 터치 패드(165)에 터치 가능한 입력펜(예를 들어, 스타일러스 등)에 의해 발생할 수 있다.The controller may store the first touch information corresponding to thefirst touch position 166a in thestorage unit 175 . The stored first touch information may include a touch identifier (ID) for history management, a touch position, a touch detection time, or touch information (eg, touch pressure, touch direction, touch duration, etc.). Thefirst touch 166 may be generated by one of fingers including a thumb or an input pen (eg, a stylus) capable of being touched on thetouch pad 165 .

본 발명의 실시예에서, 터치는 손가락 및 입력 펜 중 하나가 터치 패드(165)와 최초 접촉한 후, 터치 위치에서 그대로 있거나 또는 터치 위치에서 터치 패드(165) 사이의 접촉을 해제하는 것을 의미한다. 터치 제스처(touch gesture)는 손가락 및 입력 펜 중 하나가 터치 패드(165)와 최초 접촉한 후, 접촉을 유지한 채 터치 패드(165)의 다른 위치로 이동하거나 또는 최초 터치 위치에서 다른 위치로 이동 중 터치 패드(165)와의 접촉을 해제하는 것을 의미한다. 터치 제스처는 예를 들어, 드래그(drag), 스와이프(swipe), 플릭(flick), 핀치(pinch), 스프레드(spread), 회전(rotate), 프레스(press), 프레스 앤 탭(press and tap), 프레스 앤 드래그(press and drag)뿐만 아니라 다양한 터치 제스처를 포함할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다. 본 발명의 실시예에서, “터치”라는 용어는 터치 제스처를 포함한다.In an embodiment of the present invention, touch means that after one of the finger and input pen makes initial contact with thetouch pad 165 , it remains at the touch position or releases contact between thetouch pad 165 at the touch position. . A touch gesture includes first contacting one of a finger and an input pen with thetouchpad 165 and then moving to another location on thetouchpad 165 while maintaining contact or moving from the initial touch location to another location. This means releasing the contact with themiddle touch pad 165 . Touch gestures are, for example, drag, swipe, flick, pinch, spread, rotate, press, press and tap. ), it will be readily understood by those of ordinary skill in the art that it may include various touch gestures as well as press and drag. In an embodiment of the present invention, the term “touch” includes a touch gesture.

사용자는 제1 터치(166)와 터치 패드(165) 사이의 접촉을 유지하여 제1 터치 제스처(예를 들어, 제1 터치(166)의 연속적인 움직임)를 한다. 제어부는 터치 패드(165)를 이용하여 제1 터치(166)의 연속적인 움직임(예를 들어, 연속적인 터치의 움직임에 대응되는 복수의 X와 Y좌표)을 검출할 수 있다. 제어부는 제1 터치의 연속적인 움직임에 대응되는 복수의 터치 위치에 대응되는 복수 터치의 위치 정보를 저장부(175)에 저장할 수 있다. 제1 터치(166)의 연속적인 움직임은 제1 터치(166)와 터치 패드(165)의 접촉이 연속적으로 유지되는 것을 의미한다.The user maintains contact between thefirst touch 166 and thetouch pad 165 to make a first touch gesture (eg, continuous movement of the first touch 166 ). The controller may detect the continuous movement of the first touch 166 (eg, a plurality of X and Y coordinates corresponding to the continuous movement of the touch) by using thetouch pad 165 . The controller may store the location information of the plurality of touches corresponding to the plurality of touch locations corresponding to the continuous movement of the first touch in thestorage unit 175 . The continuous movement of thefirst touch 166 means that the contact between thefirst touch 166 and thetouch pad 165 is continuously maintained.

제1 터치(166)의 연속적인 움직임은 최초 제1 터치(166)에서부터 최종 제1 터치(167)까지의 하나의 터치의 연속적인 터치 제스처(예를 들어, 드래그 또는 플릭, 166a에서부터 167a까지의 이동)를 의미한다.The continuous movement of thefirst touch 166 is a continuous touch gesture (eg, drag or flick, 166a through 167a) of one touch from the firstfirst touch 166 to the last first touch 167 . movement).

제1 터치(166)와 터치 패드(165)사이의 접촉이 유지되는 경우(touch-on), 제어부는 검출된 제1 터치(166)의 위치에 대응되는 방향으로 가상 캐릭터(193)을 이동할 수 있다. 예를 들어, 제1 터치(166)의 위치가 터치 패드(165)의 중심 위치(center)를 기준으로 상측, 하측, 좌측, 우측에 위치하는 경우, 제어부는 검출된 제1 터치(166)의 위치에 대응되는 방향(예를 들어, 상측, 하측, 좌측 또는 우측)으로 가상 캐릭터(193)을 이동할 수 있다.When the contact between thefirst touch 166 and thetouch pad 165 is maintained (touch-on), the controller may move thevirtual character 193 in a direction corresponding to the detected position of thefirst touch 166 . have. For example, when the position of thefirst touch 166 is located above, below, left, and right of the center of thetouch pad 165 , the controller controls the detectedfirst touch 166 . Thevirtual character 193 may be moved in a direction (eg, up, down, left, or right) corresponding to the location.

제1 터치(166)와 터치 패드(165)사이의 접촉이 해제되는 경우(touch-release), 제어부는 검출된 터치 해제 위치에 대응되게 가상 캐릭터(193)의 이동을 멈출 수 있다. 제1 터치(166)와 터치 패드(165)사이의 접촉이 해제되는 경우, 가상 캐릭터(193)의 이동이 완료됨을 의미할 수 있다.When the contact between thefirst touch 166 and thetouch pad 165 is released (touch-release), the controller may stop the movement of thevirtual character 193 corresponding to the detected touch release position. When the contact between thefirst touch 166 and thetouch pad 165 is released, it may mean that the movement of thevirtual character 193 is completed.

머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결된 상태이다.
The head mounteddisplay device 100 is connected to theportable device 200 .

도 3의 단계(S350)에서, 터치 제스처에 대응되게 가상 캐릭터의 위치가 변경된다.In step S350 of FIG. 3 , the position of the virtual character is changed to correspond to the touch gesture.

도 4c를 참조하면, 터치 제스처(제1 터치(166)의 연속적인 움직임)에 대응하여 가상 캐릭터(193)의 위치가 변경된다. 제어부는 검출된 터치 패드(165)에서 터치 제스처의 이동 거리(예를 들어, 166a에서부터 167a까지의 거리)를 산출할 수 있다. 제어부는 산출된 터치 제스처의 이동 거리에 대응하여 가상 캐릭터(193)의 이동 거리를 산출할 수 있다. 제어부는 산출된 가상 캐릭터(193)의 이동 거리에 대응하여 미로 찾기(192)에서 가상 캐릭터(193)의 위치를 연속적으로 이동할 수 있다. 예를 들어, 터치 패드(165)에서 터치 제스처의 이동 거리가 14 ㎜인 경우, 제어부는 미로 찾기(192)에서 산출된 터치 제스처의 이동 거리에 대응되게 가상 캐릭터(193)의 이동 거리(예를 들어, 1,400 ㎜)만큼 이동할 수 있다. 가상 캐릭터(193)의 이동은 가상 캐릭터(193)의 위치 변경(193a에서부터 193b까지)을 의미할 수 있다.Referring to FIG. 4C , the position of thevirtual character 193 is changed in response to a touch gesture (continuous movement of the first touch 166 ). The controller may calculate a movement distance (eg, a distance from 166a to 167a) of the touch gesture on the detectedtouch pad 165 . The controller may calculate the moving distance of thevirtual character 193 in response to the calculated moving distance of the touch gesture. The controller may continuously move the position of thevirtual character 193 in themaze search 192 in response to the calculated moving distance of thevirtual character 193 . For example, when the movement distance of the touch gesture on thetouch pad 165 is 14 mm, the controller controls the movement distance of the virtual character 193 (eg, the movement distance of thevirtual character 193 corresponding to the movement distance of the touch gesture calculated in the maze search 192 ). For example, 1,400 mm). The movement of thevirtual character 193 may mean a change (from 193a to 193b) of thevirtual character 193 .

제어부는 검출된 터치 패드(165)에서 터치 제스처의 이동 속도(예를 들어, 166a에서부터 167a까지의 이동 속도)를 산출할 수 있다. 제어부는 산출된 터치 제스처의 이동 속도에 대응하여 가상 캐릭터(193)의 이동 속도를 산출할 수 있다. 제어부는 산출된 가상 캐릭터(193)의 이동 속도에 대응하여 미로 찾기(192)에서 가상 캐릭터(193)의 위치를 연속적으로 이동할 수 있다. 예를 들어, 터치 패드(165)에서 터치 제스처의 이동 거리가 14 ㎜/s인 경우, 제어부는 미로 찾기(192)에서 산출된 터치 제스처의 이동 속도에 대응되게 가상 캐릭터(193)의 이동 거리(예를 들어, 14 m/s)만큼 빠르게 이동할 수 있다. 가상 캐릭터(193)의 이동 속도는 가상 캐릭터(193)의 위치(193a에서부터 193b까지)를 이동하데 소요되는 시간을 의미할 수 있다.The controller may calculate a movement speed (eg, a movement speed from 166a to 167a) of the touch gesture on the detectedtouch pad 165 . The controller may calculate the moving speed of thevirtual character 193 in response to the calculated moving speed of the touch gesture. The controller may continuously move the position of thevirtual character 193 in themaze search 192 in response to the calculated moving speed of thevirtual character 193 . For example, when the movement distance of the touch gesture on thetouch pad 165 is 14 mm/s, the controller controls the movement distance ( For example, it can travel as fast as 14 m/s). The moving speed of thevirtual character 193 may refer to a time taken to move thepositions 193a to 193b of thevirtual character 193 .

제어부는 산출된 터치의 이동 거리 및 이동 속도를 이용하여 미로 찾기(192)에서 이동할 거리 및 이동 속도에 대응되게 가상 캐릭터(193)를 이동할 수 있다. 제어부는 가상 캐릭터(193)의 이동방향 및 이동 속도에 대응되는 별도의 이미지(예를 들어, 화살표, 이동 속도에 따라 크기가 변경되는 화살표 같은, 194)를 표시할 수 있다.The controller may move thevirtual character 193 to correspond to the moving distance and moving speed in themaze search 192 by using the calculated moving distance and moving speed of the touch. The controller may display a separate image (eg, anarrow 194 , such as an arrow whose size is changed according to the moving speed) corresponding to the moving direction and the moving speed of thevirtual character 193 .

도 5a 및 도 5b는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 터치 제스처 및 휴대 장치의 터치 제스처의 예를 나타내는 도면이다.5A and 5B are diagrams illustrating examples of a touch gesture of a head mounted display device and a touch gesture of a portable device according to an embodiment of the present invention.

도 5a를 참조하면, 표(500)에 다양한 터치 제스처(501 내지 505)의 예를 도시하였다. 사용자는 터치 패드(165)에 다양한 터치 제스처를 입력할 수 있다. 예를 들어, 오른쪽 방향의 드래그(501)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 오른쪽으로 이동할 수 있다. 또한, 터치 패드(165)에서 수신되는 터치 제스처의 이동 방향이 시선 방향인 경우, 제어부는 가상 캐릭터(165)를 전진토록 할 수 있다. 왼쪽 방향의 드래그(502)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 왼쪽으로 이동할 수 있다. 또한, 터치 패드(165)에서 터치 제스처의 이동 방향이 시선 방향의 반대인 경우, 제어부는 가상 캐릭터(165)를 후진토록 할 수 있다.Referring to FIG. 5A , examples ofvarious touch gestures 501 to 505 are shown in a table 500 . The user may input various touch gestures to thetouch pad 165 . For example, when thedrag 501 in the right direction is received by thetouch pad 165 , the controller may move thevirtual character 165 to the right. In addition, when the movement direction of the touch gesture received from thetouch pad 165 is the gaze direction, the controller may advance thevirtual character 165 . When thedrag 502 in the left direction is received by thetouch pad 165 , the controller may move thevirtual character 165 to the left. Also, when the movement direction of the touch gesture on thetouch pad 165 is opposite to the gaze direction, the controller may cause thevirtual character 165 to move backward.

멀티 탭(multi tap, 두 손가락 탭, 503)이 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 점프(jump)할 수 있다. 스프레드(504)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 그대로 두고, 화면(191)을 점진적으로 확대할 수 있다. 핀치(505)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 그대로 두고, 화면(191)을 점진적으로 축소할 수 있다. 도 5a에 도시된 표(500)의 터치 제스처뿐만 아니라 도시되지 아니한 다양한 터치 제스처를 포함할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.When a multi-tap (two-finger tap) 503 is received by thetouch pad 165 , the controller may jump thevirtual character 165 . When thespread 504 is received on thetouch pad 165 , the controller may leave thevirtual character 165 as it is and gradually enlarge thescreen 191 . When thepinch 505 is received by thetouch pad 165 , the controller may leave thevirtual character 165 as it is and gradually reduce thescreen 191 . It will be readily understood by those of ordinary skill in the art that various touch gestures not shown may be included in addition to the touch gestures of the table 500 shown in FIG. 5A .

머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결된 상태이다.
The head mounteddisplay device 100 is connected to theportable device 200 .

도 3의 단계(S360)에서, 휴대 장치에서 검출된 터치 제스처가 수신된다.In step S360 of FIG. 3 , a touch gesture detected by the portable device is received.

도 4d를 참조하면, 사용자는 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 제2 터치(168)를 한다. 또한, 사용자 또는 다른 사용자는 머리 착용형 디스플레이 장치(100)와 무선 연결된 휴대 장치(200)의 터치 스크린(290)에서 실행되는 터치 패드 어플리케이션(296)에서 제11 터치(297)를 한다. 휴대 장치(200)의 제어부(210)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 이용하여 제11 터치(297)를 검출할 수 있다. 휴대 장치(200)의 제어부(210)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)에서부터 수신되는 전기 신호를 이용하여 제11 터치(297)에 대응되는 제11 터치 위치(297a, 예를 들어, X11와 Y11좌표)를 산출할 수 있다.Referring to FIG. 4D , the user makes asecond touch 168 on thetouch pad 165 of the head mounteddisplay device 100 . In addition, the user or another user makes aneleventh touch 297 in thetouch pad application 296 executed on thetouch screen 290 of theportable device 200 wirelessly connected to the head mounteddisplay device 100 . Thecontroller 210 of theportable device 200 may detect theeleventh touch 297 using thetouch screen 290 and thetouch screen controller 295 . Thecontroller 210 of theportable device 200 uses an electrical signal received from thetouch screen 290 and thetouch screen controller 295 to control aneleventh touch position 297a corresponding to theeleventh touch 297 , for example, , X11 and Y11 coordinates) can be calculated.

휴대 장치(200)의 제어부(210)는 제11 터치 위치(297a)에 대응되는 제11 터치 정보를 저장부(275)에 저장할 수 있다. 저장되는 제11 터치 정보는 이력 관리를 위한 터치 식별자(ID), 휴대 장치(100)에서 터치 위치, 휴대 장치(100)에서 터치 검출 시간, 또는 휴대 장치(100)에서 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. 제11 터치(297a)는 엄지를 포함하는 손가락 중 하나 또는 터치 스크린(290)에 터치 가능한 입력펜(예를 들어, 스타일러스 등)에 의해 발생할 수 있다.Thecontroller 210 of theportable device 200 may store the eleventh touch information corresponding to theeleventh touch position 297a in thestorage 275 . The stored eleventh touch information includes a touch identifier (ID) for history management, a touch location in theportable device 100 , a touch detection time in theportable device 100 , or touch information (eg, touch pressure, touch direction, touch duration, etc.). Theeleventh touch 297a may be generated by one of fingers including a thumb or an input pen (eg, a stylus, etc.) capable of being touched on thetouch screen 290 .

휴대 장치(200)의 제어부(210)는 저장된 제11 터치 정보를 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 휴대 장치(200)의 제어부(210)는 저장된 제11 터치 정보를 컨트롤 패킷(control packet) 형태로 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 또한, 휴대 장치(200)의 제어부(210)는 검출된 제11 터치에 대응되는 컨트롤 패킷(control packet)을 머리 착용형 디스플레이 장치(100)로 전송할 수 있다.Thecontroller 210 of theportable device 200 may transmit the stored eleventh touch information to the headwearable display device 100 . Thecontroller 210 of theportable device 200 may transmit the stored eleventh touch information to the headwearable display device 100 in the form of a control packet. Also, thecontroller 210 of theportable device 200 may transmit a control packet corresponding to the detected eleventh touch to the headwearable display device 100 .

또한, 사용자는 제11 터치(297)와 터치 패드 어플리케이션(296) 사이의 접촉을 유지하여 제11 터치 제스처(예를 들어, 제11 터치(297)의 연속적인 움직임)를 한다. 제어부(210)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 이용하여 제11 터치(297)의 연속적인 움직임(예를 들어, 연속적인 터치의 움직임에 대응되는 복수의 X와 Y좌표)을 검출할 수 있다. 제어부(210)는 제11 터치의 연속적인 움직임에 대응되는 복수의 터치 위치에 대응되는 복수의 터치 정보를 저장부(275)에 저장할 수 있다. 제11 터치(297)의 연속적인 움직임은 제11 터치(297)와 터치 패드 어플리케이션(296) 의 접촉이 연속적으로 유지되는 것을 의미한다.In addition, the user maintains a contact between theeleventh touch 297 and thetouch pad application 296 to make an eleventh touch gesture (eg, continuous movement of the eleventh touch 297 ). Thecontroller 210 uses thetouch screen 290 and thetouch screen controller 295 to continuously move the eleventh touch 297 (eg, a plurality of X and Y coordinates corresponding to the continuous touch movement). can be detected. Thecontroller 210 may store a plurality of pieces of touch information corresponding to a plurality of touch positions corresponding to the continuous movement of the eleventh touch in thestorage unit 275 . The continuous movement of theeleventh touch 297 means that the contact between theeleventh touch 297 and thetouch pad application 296 is continuously maintained.

도 5a 및 도 5b는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 터치 제스처 및 휴대 장치의 터치 제스처의 예를 나타내는 도면이다.5A and 5B are diagrams illustrating examples of a touch gesture of a head mounted display device and a touch gesture of a portable device according to an embodiment of the present invention.

도 5b를 참조하면, 표(510)에 다양한 터치 또는 터치 제스처(511 내지 516)의 예를 도시하였다. 사용자는 터치 패드 어플리케이션(296)에 다양한 터치 제스처를 입력할 수 있다. 예를 들어, 가상 캐릭터(193)의 동작을 강화(strengthen)하는 터치 제스처인 프레스(511)가 터치 패드 어플리케이션(296)에서 수신되는 경우, 제어부(210)는 수신된 프레스(511)에 대응되는 제11 터치 제스처 정보(예를 들어, 프레스 정보)를 저장부(275)에 저장할 수 있다. 제어부(210)는 저장된 제11 터치 제스처 정보를 컨트롤 패킷(control packet) 형태로 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 또한, 우 → 좌 상향 드래그(512), 더블 탭(513), 시계 방향 회전(clockwise rotate, 514), 우 → 좌 하향 드래그(515), 반시계 방향 회전(count clockwise rotate, 516)가 터치 패드 어플리케이션(296)에서 수신되는 경우, 제어부(210)는 수신된 터치 제스처(512 내지 516)에 대응되는 제12 내지 제 16 터치 제스처 정보를 저장부(275)에 저장할 수 있다. 제어부(210)는 저장된 제12 내지 제 16 중 하나의 터치 제스처 정보를 컨트롤 패킷(control packet) 형태로 머리 착용형 디스플레이 장치(100)로 전송할 수 있다.Referring to FIG. 5B , examples of various touches or touchgestures 511 to 516 are shown in a table 510 . The user may input various touch gestures to thetouch pad application 296 . For example, when apress 511 that is a touch gesture for strengthening the operation of thevirtual character 193 is received from thetouch pad application 296 , thecontrol unit 210 corresponds to the receivedpress 511 . The eleventh touch gesture information (eg, press information) may be stored in thestorage unit 275 . Thecontroller 210 may transmit the stored eleventh touch gesture information to the headwearable display device 100 in the form of a control packet. In addition, right → left upward drag (512), double tap (513), clockwise rotation (clockwise rotate, 514), right → left downward drag (515), counterclockwise rotation (count clockwise rotate, 516) is a touch pad When received by theapplication 296 , thecontroller 210 may store twelfth to sixteenth touch gesture information corresponding to the receivedtouch gestures 512 to 516 in thestorage 275 . Thecontroller 210 may transmit the stored touch gesture information among the twelfth to sixteenth in the form of a control packet to the headwearable display device 100 .

휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처)는 머리 착용형 디스플레이 장치(100)의 가상 캐릭터(193)의 동작을 변경할 수 있다. 예를 들어, 가상 캐릭터(193)가 전진하는 동안 휴대 장치(200)에서부터 터치(또는 터치 제스처)에 대응되는 컨트롤 패킷이 머리 착용형 디스플레이 장치(100)에 수신되는 경우, 제어부는 가상 캐릭터(193)의 동작을 강화(예를 들어, 전진 속도를 20 % 증가) 또는 약화(예를 들어, 전진 속도를 20 % 감소)할 수 있다. 휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처)에 대응되는 가상 캐릭터(193)의 동작 강화 또는 약화는 하나의 실시예일뿐 이에 한정되는 것은 아니다.A touch (or touch gesture) received from thetouchpad application 296 of theportable device 200 may change the operation of thevirtual character 193 of the head mounteddisplay device 100 . For example, when a control packet corresponding to a touch (or a touch gesture) is received from theportable device 200 while thevirtual character 193 moves forward, the head-wearable display device 100 may control the virtual character 193 ) can enhance (eg, increase forward speed by 20%) or weaken (eg, decrease forward speed by 20%). The strengthening or weakening of the motion of thevirtual character 193 corresponding to the touch (or touch gesture) received from thetouch pad application 296 of theportable device 200 is only one embodiment, but is not limited thereto.

휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처) 와 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 수신되는 터치(또는 터치 제스처)의 조합에 대응하여 콘텐트인 미로 찾기(192)의 가상 캐릭터(193) 동작에 대한 다양한 변경 또는 객체(192a 및 192b) 동작에 대한 다양한 변경이 가능하다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.In response to a combination of a touch (or touch gesture) received from thetouchpad application 296 of theportable device 200 and a touch (or touch gesture) received from thetouchpad 165 of the head mounteddisplay device 100 , It will be readily understood by those of ordinary skill in the art that various changes to thevirtual character 193 operation of thecontent maze search 192 or various changes to theobject 192a and 192b operation are possible. .

제어부는 가상 캐릭터(193)의 이동방향 및 이동 속도에 대응되는 별도의 이미지(예를 들어, 화살표, 이동 속도에 따라 크기가 변경되는 화살표 같은, 194a)를 표시할 수 있다.The controller may display a separate image (eg, anarrow 194a , such as an arrow whose size is changed according to the moving speed) corresponding to the moving direction and the moving speed of thevirtual character 193 .

또한, 휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처) 와 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 수신되는 터치(또는 터치 제스처)의 조합에 대응하여 다른 콘텐트인 컴퓨터 게임(도시되지 아니함)의 가상 캐릭터(도시되지 아니함) 동작(또는 옵션)에 대한 다양한 변경이 가능하다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
In addition, the combination of a touch (or touch gesture) received from thetouchpad application 296 of theportable device 200 and a touch (or touch gesture) received from thetouchpad 165 of the head mounteddisplay device 100 Correspondingly, it will be readily understood by those of ordinary skill in the art that various changes are possible to the operation (or options) of the virtual character (not shown) of the computer game (not shown), which is other content.

도 3의 단계(S370)에서, 두 개의 터치 제스처에 대응되게 콘텐트의 가상 캐릭터 위치가 변경된다.In step S370 of FIG. 3 , the virtual character position of the content is changed to correspond to the two touch gestures.

도 4e를 참조하면, 머리 착용형 디스플레이 장치(100)의 제어부는 두 개의 터치(또는 터치 제스처)에 대응하여 가상 캐릭터(193)를 빠르게 이동되게 할 수 있다. 예를 들어, 제어부는 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 터치(또는 터치 제스처)가 수신되는 경우와 비교하여 20 % 빠르게 이동되게 할 수 있다. 가상 캐릭터(193)의 주변 객체인 담(192a) 및 길(192b)이 가상 캐릭터(193)의 빠른 이동에 대응하여 빠르게 이동될 수 있다.Referring to FIG. 4E , the controller of the head mounteddisplay apparatus 100 may cause thevirtual character 193 to move rapidly in response to two touches (or touch gestures). For example, the control unit may move 20% faster than when a touch (or a touch gesture) is received from thetouch pad 165 of the head mounteddisplay device 100 . Awall 192a and aroad 192b that are surrounding objects of thevirtual character 193 may move rapidly in response to the fast movement of thevirtual character 193 .

두 번째 터치(또는 터치 제스처)인 휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처)에 응답하여 머리 착용형 디스플레이 장치(100)의 가상 캐릭터(193)의 동작(또는 위치)이 변경될 수 있다.The operation ( or location) may be changed.

제어부는 두 개의 터치 제스처에 대응되게 미로 찾기(192)에서 이동할 거리(193d에서부터 193d까지) 및 이동 속도에 대응되게 가상 캐릭터(193)를 이동할 수 있다. 제어부는 가상 캐릭터(193)의 이동방향 및 이동 속도에 대응되는 별도의 이미지(예를 들어, 화살표, 이동 속도에 따라 크기가 변경되는 화살표 같은, 194b)를 표시할 수 있다.The controller may move thevirtual character 193 to correspond to a moving distance (from 193d to 193d) and a moving speed in themaze search 192 to correspond to the two touch gestures. The controller may display a separate image (eg, anarrow 194b whose size is changed according to the moving speed) corresponding to the moving direction and the moving speed of thevirtual character 193 .

두 개의 터치(또는 터치 제스처)의 순서에 상관없이 두 개의 터치(또는 터치 제스처)가 수신되는 경우, 가상 캐릭터(193)의 동작(또는 위치)가 변경될 수 있다. 두 개의 터치(또는 터치 제스처)의 순서에 상관없이 두 개의 터치(또는 터치 제스처)가 수신되는 경우, 가상 캐릭터(193)의 동작의 강화 또는 약화될 수 있다.When two touches (or touch gestures) are received regardless of the order of the two touches (or touch gestures), the operation (or position) of thevirtual character 193 may be changed. When two touches (or touch gestures) are received regardless of the order of the two touches (or touch gestures), the operation of thevirtual character 193 may be strengthened or weakened.

하나의 터치 제스처(예를 들어, 머리 착용형 디스플레이 장치(100)의 터치(또는 터치 제스처))에 대응되는 이동 속도와 두 개의 터치 제스처(예를 들어, 머리 착용형 디스플레이 장치(100)의 터치(또는 터치 제스처) 및 휴대 장치(200)의 터치(또는 터치 제스처)에 대응되는 이동 속도의 차이인 20 %는 하나의 예일 뿐, 머리 착용형 디스플레이 장치(100)의 성능 및 설정(예를 들어, 사용자의 입력에 의해 변경 가능)에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.A movement speed corresponding to one touch gesture (eg, a touch (or a touch gesture) of the head mounted display device 100 ) and two touch gestures (eg, a touch of the head mounted display device 100 ) (or touch gesture) and the 20% difference in movement speed corresponding to the touch (or touch gesture) of theportable device 200 is just one example, and the performance and settings (for example, , changeable by user input) will be readily understood by those of ordinary skill in the art.

제어부는 가상 캐릭터(193) 동작의 강화에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다. 피드백은 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나로 사용자에게 제공될 수 있다. 제어부는 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나 또는 시각 피드백, 청각 피드백 및 촉각 피드백들의 조합을 사용자에게 제공할 수 있다.The controller may provide a feedback corresponding to the reinforcement of thevirtual character 193 operation to the user. The feedback may be provided to the user as one of visual feedback, auditory feedback, and tactile feedback. The controller may provide one of visual feedback, auditory feedback, and tactile feedback or a combination of visual feedback, auditory feedback, and tactile feedback to the user.

시각 피드백은 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 시각 효과(예를 들어, 별도의 이미지 또는 별도의 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과)를 미로 찾기(292)의 화면(500)과 구별되게 표시될 수 있다. 청각 피드백은 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 사운드로써 스피커(163)에서 출력될 수 있다.Visual feedback is a maze of visual effects (eg, separate images or animation effects such as fades applied to separate images) corresponding to changes in motion (or changes in position) of thevirtual character 193 292) may be displayed to be distinguished from thescreen 500. The auditory feedback may be output from thespeaker 163 as a sound corresponding to a change in a motion (or a change in position) of thevirtual character 193 .

머리 착용형 디스플레이 장치(100)가 진동 모터(도시되지 아니함)를 포함하는 경우, 촉각 피드백은 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되게 진동모터(도시되지 아니함)에서 출력될 수 있다.When the head-wearable display device 100 includes a vibration motor (not shown), the tactile feedback is output from the vibration motor (not shown) to correspond to a change in motion (or change in position) of thevirtual character 193 . can be

시각 피드백은 가상 캐릭터(193) 동작의 강화에 대응되는 시각 효과(예를 들어, 별도의 이미지 또는 별도의 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과)를 미로 찾기(292)의 화면(500)과 구별되게 표시될 수 있다. 청각 피드백은 가상 캐릭터(193) 동작의 강화에 대응되는 사운드로써 스피커(163)에서 출력될 수 있다.Visual feedback is a visual effect (eg, an animation effect such as a separate image or a fade applied to a separate image) corresponding to the reinforcement of thevirtual character 193motion screen 500 of the maze search 292 ) can be distinguished from The auditory feedback may be output from thespeaker 163 as a sound corresponding to the reinforcement of the operation of thevirtual character 193 .

머리 착용형 디스플레이 장치(100)가 진동 모터(도시되지 아니함)를 포함하는 경우, 촉각 피드백은 가상 캐릭터(193) 동작의 강화에 대응되게 진동모터(도시되지 아니함)에서 출력될 수 있다.When the head mounteddisplay apparatus 100 includes a vibration motor (not shown), the tactile feedback may be output from the vibration motor (not shown) to correspond to the reinforcement of thevirtual character 193 motion.

머리 착용형 디스플레이 장치(100)의 환경 설정(도시되지 아니함)에서, 가상 캐릭터(193) 동작의 강화에 대응되는 피드백(예를 들어, 시각 피드백, 청각 피드백, 및 촉각 피드백 중 적어도 하나)을 선택 및/또는 변경할 수도 있다.In the environment setting (not shown) of the head mounteddisplay device 100 , a feedback corresponding to reinforcement of thevirtual character 193 operation (eg, at least one of visual feedback, auditory feedback, and tactile feedback) is selected. and/or may be changed.

적어도 하나의 피드백이 사용자에게 제공되는 피드백 제공 시간(예를 들어, 500 msec, 변경 가능)을 사용자가 입력 및/또는 변경할 수 있다.The user may input and/or change a feedback providing time (eg, 500 msec, changeable) at which at least one feedback is provided to the user.

도 3의 단계(S350)에서, 두 개의 터치 제스처에 대응되게 콘텐트의 가상 캐릭터 위치가 변경되는 경우, 머리 착용형 디스플레이 장치의 콘텐트 표시방법은 종료된다.
In step S350 of FIG. 3 , when the virtual character position of the content is changed to correspond to the two touch gestures, the content display method of the head mounted display device ends.

본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the exemplary embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. For example, the computer-readable medium, whether erasable or rewritable, may be a volatile or non-volatile storage device, such as a storage device such as a ROM, or a volatile or non-volatile storage device, such as a RAM, memory chip, device or integrated circuit, for example. It may be stored in a memory, or a storage medium that is both optically or magnetically writable and machine (eg, computer) readable, such as, for example, a CD, DVD, magnetic disk or magnetic tape. It will be appreciated that the memory that may be included in the mobile terminal is an example of a machine-readable storage medium suitable for storing a program or programs including instructions for implementing embodiments of the present invention. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited exemplary embodiments and drawings, the present invention is not limited to the above exemplary embodiments, and those of ordinary skill in the art to which the present invention pertains can learn from these descriptions. Various modifications and variations are possible.

그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described exemplary embodiments, but should be defined by the claims described below as well as the claims and equivalents.

100: 휴대 장치110: 제어부
165: 터치 패드166: 제1 터치
175: 저장부190: 디스플레이부
193: 가상 캐릭터195: 터치 스크린 컨트롤러
200: 휴대 장치210: 제어부
290: 터치 스크린295: 터치 스크린 컨트롤러
296: 터치 패드 어플리케이션297: 제11 터치100: mobile device 110: control unit
165: touch pad 166: first touch
175: storage unit 190: display unit
193: virtual character 195: touch screen controller
200: mobile device 210: control unit
290: touch screen 295: touch screen controller
296: touch pad application 297: eleventh touch

Claims (21)

Translated fromKorean

머리 착용형 디스플레이 장치(head mounted display)의 가상 케릭터 표시 방법에 있어서,
외부 장치와 연결하는 단계;
상기 머리 착용형 디스플레이 장치를 통해 입력된 제1 입력을 검출하는 단계;
상기 제1 입력에 기초하여 상기 가상 케릭터의 제1 동작을 표시하는 단계;
상기 제1 입력이 검출되는 동안, 상기 외부 장치를 통해 입력된 제2 입력을 상기 외부 장치로부터 수신하는 단계; 및
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 제2 동작을 표시하는 단계;를 포함하고,
상기 제1 동작은 제1 속도로 상기 가상 케릭터를 이동시키는 동작이고,
상기 제2 동작은 상기 제1 속도와 다른 제2 속도로 상기 가상 케릭터를 이동시키는 동작인, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.A method for displaying a virtual character of a head mounted display, comprising:
connecting with an external device;
detecting a first input input through the head mounted display device;
displaying a first operation of the virtual character based on the first input;
receiving a second input input through the external device from the external device while the first input is detected; and
displaying a second operation of the virtual character based on a combination of the first input and the second input;
The first operation is an operation of moving the virtual character at a first speed,
The second operation is an operation of moving the virtual character at a second speed different from the first speed.제1항에 있어서,
상기 수신하는 단계는,
상기 제2 입력에 대응되는 컨트롤 패킷을 상기 외부 장치로부터 수신하는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The receiving step is
A method for displaying a virtual character of a head-wearable display device, wherein a control packet corresponding to the second input is received from the external device.제1항에 있어서,
상기 제1 입력은 터치 제스처를 포함하고,
상기 제2 입력은 터치 제스처를 포함하는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The first input includes a touch gesture,
wherein the second input includes a touch gesture.제1항에 있어서,
상기 표시하는 단계는,
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 상기 제1 동작을 상기 제2 동작으로 변경하여 상기 가상 케릭터를 표시하고,
상기 가상 케릭터의 주변 오브젝트는 상기 변경된 가상 케릭터의 제2 동작에 기초하여 변경되는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The displaying step is
displaying the virtual character by changing the first operation of the virtual character to the second operation based on a combination of the first input and the second input;
A method for displaying a virtual character of a head-wearable display device, wherein objects surrounding the virtual character are changed based on a second operation of the changed virtual character.제1항에 있어서,
상기 표시하는 단계는,
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 상기 제1 동작을 상기 제2 동작으로 변경하여 상기 가상 케릭터를 표시하고,
상기 제1 입력 및 상기 제2 입력의 조합에 대응되는 상기 가상 케릭터의 상기 제2 동작은 상기 가상 케릭터의 동작의 강화 및 상기 가상 케릭터의 동작의 약화 중 적어도 하나를 포함하는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The displaying step is
displaying the virtual character by changing the first operation of the virtual character to the second operation based on a combination of the first input and the second input;
The second operation of the virtual character corresponding to the combination of the first input and the second input includes at least one of strengthening the operation of the virtual character and weakening the operation of the virtual character. How to display virtual characters of .삭제delete제1항에 있어서,
상기 표시하는 단계는,
상기 제1 입력의 연속적인 움직임의 이동 속도에 대응하여 상기 가상 케릭터의 이동 속도가 변경되도록 상기 가상 케릭터를 표시하는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The displaying step is
and displaying the virtual character so that the moving speed of the virtual character is changed in response to the moving speed of the continuous movement of the first input.제1항에 있어서,
상기 표시하는 단계는,
상기 제1 입력의 연속적인 움직임의 이동 거리에 대응하여 상기 가상 케릭터가 이동하도록 상기 가상 케릭터를 표시하는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The displaying step is
and displaying the virtual character so that the virtual character moves in response to a movement distance of the continuous movement of the first input.제1항에 있어서,
상기 표시하는 단계는,
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 상기 제1 동작을 상기 제2 동작으로 변경하여 상기 가상 케릭터를 표시하고,
상기 제1 입력 및 상기 제2 입력의 조합에 대응되는 상기 가상 케릭터의 상기 제2 동작은 시각 피드백, 청각 피드백 및 촉각 피드백 중 적어도 하나를 제공하는, 머리 착용형 디스플레이 장치의 가상 케릭터 표시방법.According to claim 1,
The displaying step is
displaying the virtual character by changing the first operation of the virtual character to the second operation based on a combination of the first input and the second input;
The second operation of the virtual character corresponding to the combination of the first input and the second input provides at least one of visual feedback, auditory feedback, and tactile feedback.머리 장착형 디스플레이 장치(head mounted display)에 있어서,
디스플레이;
터치 패드;
통신부; 및,
상기 터치 패드를 통해 입력된 제1 입력을 수신하고,
상기 통신부를 통해 외부 장치와 연결하고,
상기 제1 입력에 기초하여 가상 케릭터의 제1 동작을 표시하고,
상기 제1 입력이 검출되는 동안, 상기 통신부를 통해 상기 외부 장치를 통해 입력된 제2 입력을 상기 외부 장치로부터 수신하고,
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 제2 동작을 표시하도록 상기 디스플레이를 제어하는 제어부;를 포함하고,
상기 제1 동작은 제1 속도로 상기 가상 케릭터를 이동시키는 동작이고,
상기 제2 동작은 상기 제1 속도와 다른 제2 속도로 상기 가상 케릭터를 이동시키는 동작인, 머리 장착형 디스플레이 장치.In a head mounted display device (head mounted display),
display;
touch pad;
communication department; and,
receiving a first input input through the touch pad;
Connect with an external device through the communication unit,
displaying a first operation of the virtual character based on the first input;
while the first input is detected, receiving a second input input through the external device through the communication unit from the external device,
a controller configured to control the display to display a second operation of the virtual character based on a combination of the first input and the second input; and
The first operation is an operation of moving the virtual character at a first speed,
The second operation is an operation of moving the virtual character at a second speed different from the first speed.제10항에 있어서,
상기 제어부는,
상기 통신부를 통해 상기 제2 입력에 대응되는 컨트롤 패킷을 상기 외부 장치로부터 수신하고,
상기 수신된 컨트롤 패킷에 대응되는 상기 가상 케릭터를 표시하도록 상기 디스플레이를 제어하는, 머리 장착형 디스플레이 장치.11. The method of claim 10,
The control unit is
receiving a control packet corresponding to the second input from the external device through the communication unit;
and controlling the display to display the virtual character corresponding to the received control packet.제10항에 있어서,
상기 제어부는,
상기 터치 패드를 통해 수신된 상기 제1 입력의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나를 산출하는, 머리 장착형 디스플레이 장치.11. The method of claim 10,
The control unit is
A head mounted display device for calculating at least one of a movement direction, a movement distance, and a movement speed of the continuous movement of the first input received through the touch pad.제12항에 있어서,
상기 제어부는,
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 상기 제1 동작을 상기 제2 동작으로 변경하여 상기 가상 케릭터를 표시하고,
산출된 상기 제1 입력의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나에 기초하여 상기 가상 케릭터의 상기 제1 동작을 상기 제2 동작으로 변경하는 머리 장착형 디스플레이 장치.13. The method of claim 12,
The control unit is
displaying the virtual character by changing the first operation of the virtual character to the second operation based on a combination of the first input and the second input;
A head mounted display device configured to change the first motion of the virtual character to the second motion based on at least one of a moving direction, a moving distance, and a moving speed of the calculated continuous motion of the first input.제10항에 있어서,
상기 제어부는,
상기 터치 패드에서 상기 제1 입력의 위치에 대응하여 상기 가상 케릭터를 상측, 하측, 좌측 및 우측 중 하나의 방향으로 이동시켜 상기 가상 케릭터를 표시하도록 상기 디스플레이를 제어하는, 머리 장착형 디스플레이 장치.11. The method of claim 10,
The control unit is
and controlling the display to display the virtual character by moving the virtual character in one of up, down, left and right directions in response to the position of the first input on the touch pad.제10항에 있어서,
상기 디스플레이는 일체형 및 탈착이 가능한 분리형 중 하나인, 머리 장착형 디스플레이 장치.11. The method of claim 10,
The display is one of an integral and detachable detachable, head mounted display device.제어 방법에 있어서,
머리 장착형 디스플레이 장치(head mounted display)의 머리 장착형 터치 인터페이스를 통해 제1 입력 신호를 획득하는 단계;
상기 제1 입력 신호에 기초하여 가상 케릭터의 제1 동작을 표시하는 단계;
상기 제1 입력 신호가 획득되는 동안, 무선 신호를 통해 휴대용 장치의 휴대용 인터페이스를 통해 제2 입력 신호를 획득하는 단계; 및
상기 머리 장착형 디스플레이 장치를 통해 획득된 상기 제1 입력 신호 및 상기 휴대용 장치를 통해 획득된 상기 제2 입력 신호를 조합하고,
상기 조합의 결과에 기초하여 상기 가상 케릭터의 제2 동작을 표시하는 단계;를 포함하고,
상기 제1 동작은 제1 속도로 상기 가상 케릭터를 이동시키는 동작이고,
상기 제2 동작은 상기 제1 속도와 다른 제2 속도로 상기 가상 케릭터를 이동시키는 동작인, 제어 방법.In the control method,
acquiring a first input signal through a head mounted touch interface of a head mounted display;
displaying a first operation of the virtual character based on the first input signal;
acquiring a second input signal via a portable interface of a portable device via a wireless signal while the first input signal is acquired; and
combining the first input signal obtained through the head mounted display device and the second input signal obtained through the portable device;
displaying a second operation of the virtual character based on the result of the combination;
The first operation is an operation of moving the virtual character at a first speed,
The second operation is an operation of moving the virtual character at a second speed different from the first speed.제 16항에 있어서,
상기 제1 입력 신호는 상기 가상 케릭터의 상기 제1 동작을 표시하기 위한 입력 신호이고, 상기 제2 입력 신호는 상기 가상 케릭터의 상기 제1 동작을 상기 제2 동작으로 변경하기 위한 입력 신호인, 제어 방법.17. The method of claim 16,
wherein the first input signal is an input signal for indicating the first operation of the virtual character, and the second input signal is an input signal for changing the first operation of the virtual character into the second operation. Way.제 16항에 있어서,
상기 제1 입력 신호는 상기 머리 장착형 디스플레이 장치의 터치 패드를 통해 입력된 터치에 기초하여 생성되고, 상기 제2 입력 신호는 상기 휴대용 장치의 터치 패드 어플리케이션을 통해 입력된 터치에 기초하여 생성되는, 제어 방법.17. The method of claim 16,
The first input signal is generated based on a touch input through a touch pad of the head mounted display device, and the second input signal is generated based on a touch input through a touch pad application of the portable device. Way.제 16항에 있어서,
상기 제어 방법은,
적어도 하나의 휴대용 장치를 포함하는 검색 목록을 디스플레이하는 단계; 및
선택 인터페이스를 통한 사용자 선택에 의하여 상기 검색 목록에서 하나의 휴대용 장치가 선택되면, 상기 머리 장착형 디스플레이 장치와 상기 선택된 휴대용 장치를 연결하는 단계;를 더 포한하는, 제어 방법.17. The method of claim 16,
The control method is
displaying a search listing comprising at least one portable device; and
and when one portable device is selected from the search list by a user selection through a selection interface, connecting the head mounted display device and the selected portable device.제어 방법에 있어서,
머리 장착형 디스플레이 장치(head mounted display) 인터페이스의 입력을 센싱하여 제1 입력 신호를 생성하는 단계;
상기 제1 입력 신호에 기초하여 가상 케릭터의 제1 동작을 표시하는 단계;
상기 제1 입력 신호가 획득되는 동안, 무선 신호를 통해 휴대용 장치를 통해 입력된 제2 입력 신호를 휴대용 장치로부터 수신하는 단계;
상기 생성된 제1 입력 신호 및 상기 수신된 제2 입력 신호를 조합하는 단계; 및
상기 조합의 결과에 기초하여 상기 가상 케릭터의 제2 동작을 표시하는 단계;를 포함하고,
상기 제1 동작은 제1 속도로 상기 가상 케릭터를 이동시키는 동작이고,
상기 제2 동작은 상기 제1 속도와 다른 제2 속도로 상기 가상 케릭터를 이동시키는 동작인, 제어 방법.In the control method,
generating a first input signal by sensing an input of a head mounted display interface;
displaying a first operation of the virtual character based on the first input signal;
receiving, from the portable device, a second input signal input through the portable device via a wireless signal while the first input signal is acquired;
combining the generated first input signal and the received second input signal; and
displaying a second operation of the virtual character based on the result of the combination;
The first operation is an operation of moving the virtual character at a first speed,
The second operation is an operation of moving the virtual character at a second speed different from the first speed.휴대용 장치 및 머리 장착형 디스플레이 장치(head mounted display)를 포함하는 시스템에 있어서,
상기 머리 장착형 디스플레이 장치는,
디스플레이;
터치 패드;
통신부;
상기 터치 패드를 통해 제1 입력을 수신하고,
상기 제1 입력에 기초하여 가상 케릭터의 제1 동작을 표시하고,
휴대용 장치와 연결하도록 상기 통신부를 제어하고,
상기 제1 입력이 검출되는 동안, 상기 통신부를 통해 상기 휴대용 장치를 통해 입력된 제2 입력을 상기 휴대용 장치로부터 수신하고,
상기 제1 입력 및 상기 제2 입력의 조합에 기초하여 상기 가상 케릭터의 제2 동작을 표시하도록 상기 디스플레이를 제어하는 제어부;를 포함하고,
상기 휴대용 장치는,
실행된 터치 패드 어플리케이션을 표시하는 터치 스크린;
상기 휴대용 장치의 주변의 상기 머리 장착형 디스플레이 장치와 통신하는 통신부;
상기 터치 스크린으로부터 상기 제2 입력을 수신하고,
상기 터치 스크린으로부터 수신된 상기 제2 입력을 상기 머리 장착형 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하고,
상기 제1 동작은 제1 속도로 상기 가상 케릭터를 이동시키는 동작이고,
상기 제2 동작은 상기 제1 속도와 다른 제2 속도로 상기 가상 케릭터를 이동시키는 동작인, 시스템.A system comprising a portable device and a head mounted display, comprising:
The head mounted display device,
display;
touch pad;
communication department;
receiving a first input through the touch pad;
displaying a first operation of the virtual character based on the first input;
Control the communication unit to connect with the portable device,
receiving a second input inputted through the portable device through the communication unit from the portable device while the first input is detected;
a control unit configured to control the display to display a second operation of the virtual character based on a combination of the first input and the second input; and
The portable device is
a touch screen displaying the executed touch pad application;
a communication unit communicating with the head mounted display device in the vicinity of the portable device;
receiving the second input from the touch screen;
a control unit for controlling the communication unit to transmit the second input received from the touch screen to the head mounted display device;
The first operation is an operation of moving the virtual character at a first speed,
and the second operation is an operation of moving the virtual character at a second speed different from the first speed.

Images