KR101653591B1 - 헤드 마운트 디스플레이 장치 및 그 동작 방법 - Google Patents

Abstract

헤드 마운트 디스플레이 장치 및 그 동작 방법을 개시한다.
본 실시예는 퍼스널 뷰어인 헤드 마운트 디스플레이 장치에서 복수의 영상 정보(애플리케이션 구동 영상, 촬영 영상 정보)를 포함하는 분할 영상 정보가 디스플레이되도록 하고, 마우스 등의 별도의 입력 장치없이 사용자의 움직임(시선)을 감지하여 사용자의 움직임에 대응되는 영상 정보로 전환되도록 제어하는 헤드 마운트 디스플레이 장치 및 그 동작 방법을 제공한다.

Description

헤드 마운트 디스플레이 장치 및 그 동작 방법{Head Mount Display Apparatus And Method For Operating the Same}

본 실시예는 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것이다.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

현대사회에서는 컴퓨터를 이용해 다양한 작업을 수행할 수 있다. 컴퓨터로 수행할 수 있는 작업의 종류는 점점 다양해지고 있다. 많은 현대인이 컴퓨터를 이용하여 작업을 수행하는 만큼, 하루 일과 중 컴퓨터를 사용하는 시간이 차지하는 비율은 매우 크다. 현대인들은 컴퓨터를 이용한 다양한 작업을 수행함에 따라 필요한 프로그램의 개수 역시 증가하고 있는 추세이다.

따라서, 컴퓨터 사용량의 증가에 따라 사용자 자신이 사용하고자 하는 프로그램을 보다 손쉽게 분류할 수 있는 유연한 인터페이스를 제공할 수 있는 기술을 필요로 한다.

본 실시예는 퍼스널 뷰어(Personal Viewer)인 헤드 마운트 디스플레이(HMD: Head Mounted Display) 장치에서 복수의 영상 정보(애플리케이션 구동 영상, 촬영 영상 정보)를 포함하는 분할 영상 정보가 디스플레이되도록 하고, 마우스 등의 별도의 입력 장치없이 사용자의 움직임(시선)을 감지하여 사용자의 움직임에 대응되는 영상 정보로 전환되도록 제어하는 헤드 마운트 디스플레이 장치 및 그 동작 방법을 제공하는 데 목적이 있다.

본 실시예의 일 측면에 의하면, 헤드 마운트 디스플레이 장치의 동작 방법에 있어서, 단말기로부터 분할 화면 정보를 수신하여 디스플레이하는 영상 출력 과정; 센서부로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지하는 움직임 감지 과정; 상기 사용자 움직임이 감지되는 경우, 상기 분할 화면 정보 상에 상기 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이하는 초점 위치 표시 과정; 구비된 버튼으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 상기 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성하는 영상 체크 과정; 및 상기 버튼으로부터 락(Lock) 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 상기 사용자 움직임을 미감지하는 락 모드로 동작하며, 현재 출력되는 영상 정보를 상기 체크 영상 정보로 전환하여 출력하는 영상 전환 과정을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법을 제공한다.

이상에서 설명한 바와 같이 본 실시예에 의하면, 퍼스널 뷰어인 헤드 마운트 디스플레이 장치에서 복수의 영상 정보(애플리케이션 구동 영상, 촬영 영상 정보)를 포함하는 분할 영상 정보가 디스플레이되도록 하고, 마우스 등의 별도의 입력 장치없이 사용자의 움직임(시선)을 감지하여 사용자의 움직임에 대응되는 영상 정보로 전환되도록 제어하는 효과가 있다.

본 실시예에 의하면, 경량 웨어러블 기기(Wearable Device)를 이용하여 사용자의 움직임에 대응되는 영상 정보를 보다 쉽게 사용자에게 제공할 수 있는 효과가 있다.

도 1은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 이용한 화면 전환 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2a, 2b는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 착용 예시를 나타낸 도면이다.
도 3은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 개략적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다.
도 5a, 5b, 5c는 본 실시예에 따른 분할 화면을 나타낸 도면이다.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 이용한 화면 전환 시스템을 개략적으로 나타낸 블럭 구성도이다.

본 실시예에 따른 헤드 마운트 디스플레이 장치(110)를 이용한 화면 전환 시스템은 헤드 마운트 디스플레이 장치(110), 단말기(120) 및 영상 획득 장치(130)를 포함한다. 헤드 마운트 디스플레이 장치를 이용한 화면 전환 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.

헤드 마운트 디스플레이(HMD: Head Mounted Display) 장치는 머리 부분 탑재형 디스플레이로서, 사용자의 머리 부분에 장착하여 사용자의 눈 앞에 직접 영상이 출력되도록 하는 디스플레이 장치를 의미한다. 헤드 마운트 디스플레이 장치(110)는 근거리 통신을 이용하여 단말기(120)로부터 화면 분할 정보를 수신하여 출력한다. 화면 분할 정보는 복수의 영상 정보를 하나의 파일들을 묶어서 출력하는 정보를 의미한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)를 구비하여 헤드 마운트 디스플레이 장치(110)를 착용한 사용자가 머리를 움직일 때마다 변화하는 x, y, z 축 값을 인식하며, 인식 결과를 근거리 통신을 이용하여 단말기(120)로 전송한다.

헤드 마운트 디스플레이 장치(110)는 사용자 움직임이 감지된 경우, 사용자 움직임에 대응하는 화면 정보로 화면을 전환하는 한다. 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 고정 명령이 수신되는 경우, 사용자 움직임을 미감지하며, 사용자가 움직이더라도 현재 출력되고 있는 화면 정보를 다른 화면 정보로 전환하지 않는다.

헤드 마운트 디스플레이 장치(110)는 근거리 통신을 이용하여 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 구비된 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 사용자 움직임이 감지되는 경우, 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성한다. 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 락(Lock) 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드(Lock Mode)로 동작하며, 현재 출력되는 영상 정보를 체크 영상 정보로 전환하여 출력한다.

이하 도 1에 포함된 구성 요소를 기반으로 헤드 마운트 디스플레이 장치(110)의 동작에 대해 설명한다.

<분할 화면 구성>

단말기(120)는 분할 화면 정보를 생성하여 헤드 마운트 디스플레이 장치(110)로 전송한다. 단말기(120)는 단말기(120)에 탑재된 복수의 애플리케이션 각각이 구동하는 영상 정보를 기반으로 분할 화면 정보를 생성하거나, 외부 영상 획득 장치(130)로부터 수신한 복수의 영상 정보를 기반으로 분할 화면 정보를 생성한다. 예컨대, 단말기(120)는 영상 획득 장치(130)인 복수의 CCTV(Closed-Circuit Television)가 촬영한 영상 정보를 수신하여 분할 화면 정보를 생성한다.

이하, 단말기(120)가 영상 획득 장치(130)로부터 복수의 영상 정보를 수신하여 분할 화면 정보를 생성하는 과정에 대해 설명한다. 단말기(120)는 영상 획득 장치(130)로부터 수신된 복수의 영상 정보를 행 방향으로 M 개를 배열하고, 열 방향으로 N 개를 배열하여 M×N개의 영상 정보를 포함하는 분할 화 정보를 생성한다. 단말기(120)는 M×N 개의 영상 정보를 포함하는 분할 화면 정보를 헤드 마운트 디스플레이 장치(110)로 전송한다. 헤드 마운트 디스플레이 장치(110)는 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 움직임을 감지하고, 감지된 사용자의 움직임에 따라 분할 화면 정보에 포함된 복수의 영상 정보 중 어느 하나가 전체 화면으로 디스플레이되도록 한다.

<화면 전환 조건>

헤드 마운트 디스플레이 장치(110)는 자이로 센서(Gyro Sensor) 및 가속도 센서(Acceleration Sensor) 중 적어도 하나 이상의 센서를 포함하는 센서부(310)를 구비한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자의 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 움직임을 기반으로 현재 출력되고 있는 영상 정보에서 다른 영상 정보로 전환한다. 다시 말해, 헤드 마운트 디스플레이 장치(110)는 사용자의 머리 움직임에 따라 변화되는 x축, y축, z축을 기반으로 사용자의 머리 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 머리 움직임에 따라 시작 위치 좌표로부터 목적 위치 좌표로의 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 시작 위치 좌표와 목적 위치 좌표 간의 차이(x축, y축, z축)를 산출하여 사용자의 머리 움직임을 산출하고, 사용자의 머리 움직임을 기반으로 현재 출력되고 있는 영상 정보에서 다른 영상 정보로 전환한다.

<실시예>

단말기(120)는 30 × 10 개의 영상 정보를 포함하는 분할 화면 정보를 생성하여 헤드 마운트 디스플레이 장치(110)로 전송한다. 헤드 마운트 디스플레이 장치(110)는 사용자의 머리를 움직이지 않은 경우, 사용자가 분할 화면의 중앙을 응시하는 것으로 인식한다. 다시 말해, 사용자의 머리를 움직이지 않은 경우, 헤드 마운트 디스플레이 장치(110)는 30 × 10 개의 영상 정보를 포함하는 분할 화면 정보에서 현재 위치 좌표가 (15,5) (15,6), (15,7), (15,8)의 중앙 영역인 것으로 인식한다. 이후, 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보에 근거하여 사용자의 움직임(좌 ↔ 우 움직임, 상 ↔ 하 움직임)이 감지되는 경우, 현재 출력되는 영상 정보가 사용자의 움직임(좌 ↔ 우 움직임, 상 ↔ 하 움직임)에 대응하는 영상 정보를 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 현재 화면으로 분할 화면 정보(30 × 10)를 출력하다가 헤드 마운트 디스플레이 장치(110)를 착용한 사용자가 원하는 방향으로 머리를 움직이다가 자신이 원하는 영상 정보가 존재하는 위치에서 버튼(220)을 조작(클릭)하는 경우, 분할 화면 정보(30 × 10) 중 해당 위치에 존재하는 영상 정보를 전체 화면으로 전환한다.

<위치 고정에서 다른 화면 이동 조건>

헤드 마운트 디스플레이 장치(110)는 사용자의 조작에 의해 버튼(220)이 클릭되는 경우 락(Lock) 또는 언락(Unlock)으로 전환하여 동작한다. 다시 말해, 헤드 마운트 디스플레이 장치(110)는 사용자가 버튼(220)을 클릭(총 1회)하는 경우, 락 상태로 동작하며, 다시 사용자가 버튼(220)을 클릭(총 2회)하는 경우 언락 상태로 동작한다. 헤드 마운트 디스플레이 장치(110)는 락 상태로 동작하는 경우 사용자의 움직임을 감지하지 않는다. 헤드 마운트 디스플레이 장치(110)는 언락 상태로 동작하는 경우 사용자의 움직임을 감지하고, 현재 출력되는 영상 정보가 사용자의 움직임에 대응되는 영상 정보로 전환되도록 한다. 헤드 마운트 디스플레이 장치(110)는 언락 상태로 동작하는 경우 현재 위치 좌표와 목적지 위치 좌표 간의 차이값을 이용하여 사용자의 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 락 상태 또는 언락 상태로의 전환한 사용자의 버튼(220)의 조작에 의해 언제든지 전환이 가능하다.

단말기(120)는 사용자의 키 조작에 따라 네트워크를 경유하여 음성 또는 데이터 통신을 수행하며, 구비된 근거리 통신 모듈을 이용하여 헤드 마운트 디스플레이 장치(110)와 통신을 수행하는 전자 기기를 의미한다.

단말기(120)는 네트워크를 경유하여 서버 및 외부 장치와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다. 단말기(120)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), TV, 미디어 플레이어 등과 같은 전자 기기일 수 있다.

단말기(120)는 (ⅰ) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.

단말기(120)는 임베디드(Embedded) 형태로 탑재된 OS(operating system)를 이용하거나 별도의 화면 분할 프로그램을 탑재하여 화면 분할을 수행할 수 있다. 화면 분할 프로그램은 단말기(120)가 스마트 폰인 경우 애플리케이션 스토어를 이용하여 브라우저 화면 분할 프로그램을 다운로드한 후 인스톨할 수 있으며, 단말기(120)가 피쳐 폰(Feature Phone)인 경우 통신사 서버로부터 다운로드된 VM(Virtual Machine) 상에서 구동될 수 있다. 화면 분할 프로그램은 단말기(120)에 탑재되어, 단말기(120)에 구비된 각종 하드웨어를 이용하여 동작하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 별도의 장치로 구현되어 동작될 수 있다. 화면 분할 프로그램은 단말기(120) 내이 기 설치된 애플리케이션들과 연동하여 동작할 수 있다. 단말기(120)는 사용자의 조작 또는 명령에 의해 화면 분할 프로그램을 구동한다.

본 실시예에 따른 단말기(120)는 영상 획득 장치(130)로부터 복수의 영상을 수신하여 조합하여 분할 화면 정보를 생성하거나, 복수의 프로그램을 구동한 각각의 영상을 조합하여 분할 화면 정보를 생성한다. 단말기(120)는 근거리 통신을 이용하여 분할 화면 정보를 헤드 마운트 디스플레이 장치(110)로 전송한다.

영상 획득 장치(130)는 구비된 카메라 모듈을 이용하여 영상을 촬영하는 영상 촬영 장치로서, 촬영된 복수의 영상 데이터를 단말기(120)로 전송한다. 영상 획득 장치(130)는 CCTV일 수 있다.

도 2a, 2b는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 착용 예시를 나타낸 도면이다.

도 2a, 2b에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(110)는 디스플레이(210), 버튼(220), 지지부(230)를 포함한다. 헤드 마운트 디스플레이 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.

디스플레이(210)는 헤드 마운트 디스플레이 장치(110)를 착용한 사용자의 눈 위치에 설치되며, 헤드 마운트 디스플레이 장치(110)는 디스플레이(210)를 이용하여 단말기(120)로부터 수신한 영상 정보, 분할 화면 정보 등을 출력한다.

버튼(220)은 헤드 마운트 디스플레이 장치(110)의 일측면에 위치하며, 사용자가 압력을 가해 누를 수 있는 푸쉬 형태의 버튼을 의미한다. 사용자는 버튼(220)을 조작하여 헤드 마운트 디스플레이 장치(110)에서 사용자 움직임을 감지 여부를 결정할 수 있다. 사용자가 버튼(220)을 조작하는 동작은 다음과 같다.

체크 명령: 최초 구동시 한 번 클릭

락 명령: 최초 구동(또는 언락 모드(Unlock Mode))시 더블 클릭 또는 기 설정된 시간 만큼 길게 클릭

언락 명령: 락 모드에서 더블 클릭 또는 기 설정된 시간 만큼 길게 클릭

지지부(230)는 헤드 마운트 디스플레이 장치(110)를 사용자의 머리 부분에 장착하여 고정하는 역할을 담당하는 지지 부재를 의미한다. 지지부(230)는 디스플레이(210)와 연결되어, 디스플레이(210)를 고정하며, 도 2b에 도시된 바와 같이, 사용자의 귀부분에 거치된다.

도 3은 본 실시예에 따른 헤드 마운트 디스플레이 장치를 개략적으로 나타낸 블럭 구성도이다.

본 실시예에 따른 헤드 마운트 디스플레이 장치(110)는 센서부(310), 영상 출력 제어부(320), 움직임 감지부(330), 초점 위치 표시부(340), 영상 체크부(350) 및 영상 전환부(360)를 포함한다. 헤드 마운트 디스플레이 장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.

센서부(310)는 자이로 센서 및 가속도 센서 중 적어도 하나 이상의 센서를 포함한다. 센서부(310)는 사용자 움직임을 감지한 센싱 정보를 생성하여 움직임 감지부(330)로 전송한다. 영상 출력 제어부(320)는 근거리 통신(블루투스, Wi-Fi, NFC 등)을 이용하여 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이(210)로 출력한다. 움직임 감지부(330)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지한다. 초점 위치 표시부(340)는 사용자 움직임이 감지되는 경우, 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 영상 체크부(350)는 구비된 버튼(220)으로부터 체크 명령이 수신되는 경우, 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성한다.

이하, 영상 전환부(360)가 체크 영상을 출력하는 방식에 대해 설명한다. 영상 전환부(360)는 버튼(220)으로부터 락 명령이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작한다. 영상 전환부(360)는 락 모드 상태에서 현재 출력되는 영상 정보를 체크 영상 정보로 전환하여 출력한다. 영상 전환부(360)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 복수 개인 경우, 체크 영상 정보로 조합된 분할 화면 정보를 출력한다. 영상 전환부(360)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 한 개인 경우, 체크 영상 정보를 전체 화면으로 출력한다.

이하, 영상 전환부(360)가 사용자 움직임에 따라 영상을 전환하는 방식에 대해 설명한다. 영상 전환부(360)는 일측 방향에서 타측 방향(←)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 이전 영상으로 전환하여 출력되도록 한다. 영상 전환부(360)는 타측 방향에서 일측 방향(→)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 다음 영상으로 전환하여 출력되도록 한다. 영상 전환부(360)는 일단에서 타단(↓)으로 사용자 움직임이 감지되는 경우 체크 영상 정보에서 분할 화면 영상으로 전환하여 출력되도록 한다. 영상 전환부(360)는 타단에서 일단(↑)으로의 사용자 움직임이 감지되는 경우 분할 화면 영상에서 이전 화면인 체크 영상 정보로 전환하여 출력되도록 한다.

이하, 영상 전환부(360)의 모드 전환 방식에 대해 설명한다. 영상 전환부(360)는 락 모드 상태에서 버튼(220)으로부터 언락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 락 모드를 언락 모드로 전환하여 사용자 움직임을 감지한다. 영상 전환부(360)는 언락 모드 상태에서 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 언락 모드를 락 모드로 전환하여 사용자 움직임을 미감지한다.

도 4는 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다.

헤드 마운트 디스플레이 장치(110)는 근거리 통신(블루투스, Wi-Fi, NFC 등)을 이용하여 단말기(120)로부터 분할 화면 정보를 수신하여 디스플레이(210)로 출력한다(S410). 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지한다(S420).

헤드 마운트 디스플레이 장치(110)는 사용자 움직임이 감지되는 경우, 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다(S430). 헤드 마운트 디스플레이 장치(110)는 구비된 버튼(220)으로부터 체크 명령이 수신되는 경우, 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성한다(S440).

헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 락 명령이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작한다. 영상 전환부(360)는 락 모드 상태에서 현재 출력되는 영상 정보를 체크 영상 정보로 전환하여 출력한다(S450). 단계 S450에서 헤드 마운트 디스플레이 장치(110)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 복수 개인 경우, 체크 영상 정보로 조합된 분할 화면 정보를 출력한다. 헤드 마운트 디스플레이 장치(110)는 영상 체크부(350)로부터 수신된 체크 영상 정보가 한 개인 경우, 체크 영상 정보를 전체 화면으로 출력한다.

단계 S450 이후에, 헤드 마운트 디스플레이 장치(110)는 일측 방향에서 타측 방향(←)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 이전 영상으로 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 타측 방향에서 일측 방향(→)으로의 사용자 움직임이 감지되는 경우 분할 영상 화면 정보 중 현재 출력되고 있는 영상 정보의 다음 영상으로 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 일단에서 타단(↓)으로 사용자 움직임이 감지되는 경우 체크 영상 정보에서 분할 화면 영상으로 전환하여 출력되도록 한다. 헤드 마운트 디스플레이 장치(110)는 타단에서 일단(↑)으로의 사용자 움직임이 감지되는 경우 분할 화면 영상에서 이전 화면인 체크 영상 정보로 전환하여 출력되도록 한다.

헤드 마운트 디스플레이 장치(110)는 락 모드 상태에서 버튼(220)으로부터 언락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 락 모드를 언락 모드로 전환하여 사용자 움직임을 감지한다. 헤드 마운트 디스플레이 장치(110)는 언락 모드 상태에서 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 언락 모드를 락 모드로 전환하여 사용자 움직임을 미감지한다.

도 4에서는 단계 S410 내지 단계 S450을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다. 전술한 바와 같이 도 4에 기재된 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

도 5a, 5b, 5c는 본 실시예에 따른 분할 화면을 나타낸 도면이다.

도 5a에 도시된 바와 같이, 단말기(120)는 영상 획득 장치(130)로부터 복수의 영상(CCTV 영상)을 수신하여 30 × 10의 영상 정보를 포함하는 분할 화면 정보를 생성한다. 단말기(120)는 30 × 10의 영상 정보를 포함하는 분할 화면 정보를 헤드 마운트 디스플레이 장치(110)로 전송한다.

헤드 마운트 디스플레이 장치(110)는 단말기(120)로부터 30 × 10의 영상 정보를 포함하는 분할 화면 정보를 수신하여 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임이 감지되는 경우, 30 × 10의 영상 정보를 포함하는 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 초점에 대응되는 영상 정보(도 5a에 도시된 바와 같이, 8, 17, 25, 39, 43, 57, 63, 84, 92, 103, 112, 129, 137, 145, 172, 220)를 체크하여 체크 영상 정보를 생성한다.

도 5b에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작하며, 체크 영상 정보가 복수 개(도 5a에 도시된 바와 같이, 8, 17, 25, 39, 43, 57, 63, 84, 92, 103, 112, 129, 137, 145, 172, 220)인 경우, 체크 영상 정보로 조합된 4×4의 영상 정보를 포함하는 분할 화면 정보를 출력한다. 헤드 마운트 디스플레이 장치(110)는 4 × 4의 영상 정보를 포함하는 분할 화면 정보를 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 센서부(310)로부터 수신된 센싱 정보를 기반으로 사용자 움직임이 감지되는 경우, 4 × 4의 영상 정보를 포함하는 분할 화면 정보 상에 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이한다. 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 체크 명령(한 번 클릭)이 수신되는 경우, 초점에 대응되는 영상 정보(도 5b에 도시된 바와 같이, 39, 84, 112, 220)를 체크하여 체크 영상 정보를 생성한다.

도 5c에 도시된 바와 같이, 헤드 마운트 디스플레이 장치(110)는 버튼(220)으로부터 락 명령(더블 클릭 또는 길게 클릭)이 수신되는 경우, 사용자 움직임을 미감지하는 락 모드로 동작하며, 체크 영상 정보가 복수 개(도 5b에 도시된 바와 같이, 39, 84, 112, 220)인 경우, 체크 영상 정보로 조합된 2×2의 영상 정보를 포함하는 분할 화면 정보를 출력한다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110: 헤드 마운트 디스플레이 장치120: 단말기
130: 영상 획득 장치210: 디스플레이부
220: 버튼230: 지지부
310: 센서부
320: 영상 출력 제어부330: 움직임 감지부
340: 초점 위치 표시부350: 영상 체크부
360: 영상 전환부

Claims (5)

1. 헤드 마운트 디스플레이 장치의 동작 방법에 있어서,
   단말기로부터 복수의 CCTV(Closed-Circuit Television)가 촬영한 복수의 영상 정보 각각을 포함하는 분할 화면 정보를 수신하여 디스플레이하는 영상 출력 과정;
   센서부로부터 수신된 센싱 정보를 기반으로 사용자 움직임을 감지하는 움직임 감지 과정;
   상기 사용자 움직임이 감지되는 경우, 상기 분할 화면 정보 상에 상기 사용자 움직임에 대응되는 위치에 초점이 나타나도록 디스플레이하는 초점 위치 표시 과정;
   구비된 버튼으로부터 체크 명령이 수신되는 경우, 상기 초점에 대응되는 영상 정보를 체크하여 체크 영상 정보를 생성하는 영상 체크 과정; 및
   상기 버튼으로부터 락 명령이 수신되는 경우, 현재 출력되는 영상 정보를 상기 체크 영상 정보로 전환하여 출력하는데, 상기 체크 영상 정보가 한 개인 경우 상기 체크 영상 정보를 전체 화면으로 출력하며, 상기 체크 영상 정보가 복수 개인 경우 상기 분할 화면 정보에서 상기 체크 영상 정보들을 조합한 조합 화면 정보를 출력하는 영상 전환 과정
   을 포함하되, 상기 영상 전환 과정은 상기 체크 영상 정보가 존재하는 경우, 일단에서 타단으로의 상기 사용자 움직임이 감지되면, 상기 분할 화면 정보에서 상기 체크 영상 정보들을 조합한 상기 조합 화면 정보로 전환하여 출력되도록 하며, 상기 타단에서 상기 일단으로의 상기 사용자 움직임이 감지되면, 상기 조합 화면 정보에서 이전 화면인 상기 분할 화면 정보로 전환하여 출력되도록 하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법.
2. 제 1 항에 있어서,
   상기 영상 전환 과정은,
   상기 락 명령이 수신되는 경우, 상기 사용자 움직임을 미감지하는 락 모드로 동작하는 헤드 마운트 디스플레이 장치의 동작 방법.
3. 제 2 항에 있어서,
   상기 영상 전환 과정은,
   일측 방향에서 타측 방향으로의 상기 사용자 움직임이 감지되는 경우 상기 분할 화면 정보 중 현재 출력되고 있는 영상 정보의 이전 영상으로 전환하여 출력되도록 하고,
   상기 타측 방향에서 상기 일측 방향으로의 상기 사용자 움직임이 감지되는 경우 상기 분할 화면 정보 중 현재 출력되고 있는 영상 정보의 다음 영상으로 전환하여 출력되도록 하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법.
4. 삭제
5. 제 2 항에 있어서,
   상기 영상 전환 과정은,
   상기 락 모드 상태에서 상기 버튼으로부터 언락 명령이 수신되는 경우, 상기 락 모드를 언락 모드로 전환하여 상기 사용자 움직임을 감지하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작 방법.
   

Images