WO2018070604A1 - Method for processing virtual user interface object for communication between users, and system performing same - Google Patents

Abstract

The present invention relates to a method and a system for providing communication between users in an augmented reality, virtual reality or mixed reality environment. A method of processing a virtual user interface object for communication between users according to the present invention comprises the steps of: receiving physical space information including a physical object included in at least one physical space information; generating a virtual user interface object for receiving a command for communication between users in a virtual space, on the basis of the physical object, by using the physical space information; and receiving a connection request command of a connection requestor or a connection approval command of a connection receiver through the virtual user interface object. According to the configuration of the present invention, a real-time communication function can be provided in mixed reality. Therefore, the user does not need to disconnect from a virtual reality environment to a real environment so as to communicate with other users in the real environment, and can communicate through a web browser in platforms of various virtual reality environments, and thus the range of communication is not restricted.

Description

Translated fromKorean

사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템Method of processing virtual user interface object for communication between users and system for performing same

본 발명은 증강 현실, 가상 현실 또는 이를 결합한 혼합 현실 환경에서 사용자간 통신을 제공하기 위하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for providing communication between users in augmented reality, virtual reality, or a mixed reality environment combining the same.

일반적으로 현실에서 사용자 간의 커뮤니케이션은 스마트폰과 같은 사용자 단말을 통해 수행되며 화상 통화의 경우 단말기에 탑재된 카메라 모듈을 통해 입력된 영상을 상대방에게 전송하고 상대방의 단말의 디스플레이 장치를 통해 표시 함으로써 상호간의 커뮤니케이션이 이루어지고 있다. 이때, 사용자는 단말의 터치스크린 상에 표시된 버튼이나 단말기에 물리적으로 배치된 버튼을 통해 연결을 시도하거나, 커뮤니케이션에 필요한 기능 들을 제어하고 있다.In general, communication between users is performed through a user terminal such as a smart phone, and in the case of a video call, the video inputted through the camera module mounted on the terminal is transmitted to the other party and displayed on the display device of the other party's terminal. Communication is taking place. At this time, the user attempts to connect through a button displayed on the touch screen of the terminal or a button physically disposed on the terminal, or controls functions necessary for communication.

현재에 이르러 그래픽 처리 및 센서 기술의 발달로 사용자의 체감도를 높여 현실 세계를 가상으로 구현하는 가상 현실(Virtual reality)과, 현실과 컴퓨터 그래픽으로 처리된 이미지를 겹쳐서 표시해주는 증강현실(Augmented reality) 뿐 아니라, 이를 혼합한 혼합 현실(Mixed reality)과 관련한 기술이 꾸준히 개발되고 있다.To date, the development of graphic processing and sensor technology enhances the user's sensation, virtually realizing the real world, and augmented reality that superimposes images processed with reality and computer graphics. In addition, technologies related to mixed reality are being steadily developed.

사용자는 이러한 가상과 현실이 혼합된 환경에서 주변 객체 및 프로그램에 의해 생성된 가상 객체와의 인터페이스가 가능해 졌다.Users can interface with virtual objects created by programs and surrounding objects in this mixed environment.

따라서, 가상 객체와의 교류를 위한 인터페이스뿐 아니라 현실 또는 다른 가상 객체와의 교류를 위하여 현재의 현실세계에서 이용되는 사용자간의 커뮤니케이션을 위한 명령이나 인터페이스도 증강 현실 또는 증강 현실과 가상 현실을 합성한 혼합 현실의 환경 속에서도 앞으로는 필요해 질 것으로 예상된다.Therefore, not only the interface for interaction with virtual objects, but also a command or interface for communication between users used in the current real world for the exchange with reality or other virtual objects is a composite of augmented reality or augmented reality and virtual reality. It is expected to be necessary in the future even in the real environment.

나아가, 최근에는 WebRTC(Real-Time Communication)라는 기술을 통해, 커뮤니케이션을 위한 별도의 어플리케이션의 적용 없이 웹 브라우저만을 이용하여 사용자간 미디어 통신이 가능한 솔루션이 개발되었다.Furthermore, recently, a solution that enables media communication between users using only a web browser has been developed through a technology called WebRTC (Real-Time Communication) without applying a separate application for communication.

따라서, 가상의 환경에서도 WebRTC 기술을 통해 현실 환경의 다른 사용자 또는 가상 환경 속의 다른 사용자들과 커뮤니케이션을 수행할 수 있는 시스템이 필요해 질 것으로 보인다.Therefore, in the virtual environment, it is expected that a system capable of communicating with other users in the real environment or other users in the virtual environment through the WebRTC technology will be needed.

본 발명은 전술한 종래기술의 문제점을 해결하기 위하여, 실시간 커뮤니케이션을 가상 현실 환경에서 구현하는데 그 목적이 있다.In order to solve the above-mentioned problems of the prior art, an object of the present invention is to implement real-time communication in a virtual reality environment.

또한, 가상 현실 환경에서 실시간 커뮤니케이션의 부가 기능을 제공하며, 실시간 커뮤니케이션을 효율적으로 제어할 수 있도록 하는데 그 목적이 있다.In addition, it provides an additional function of real-time communication in the virtual reality environment, and its purpose is to enable efficient control of real-time communication.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법은 사용자의 물리적 공간 정보를 수신하는 단계; 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및 상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of processing a virtual user interface object for communication between users, the method comprising: receiving physical space information of a user; Creating a virtual user interface object using the physical space information to receive a command for communication between users in a virtual space; And receiving an access request command of an access requestor or an access approval command of an access receiver through the virtual user interface object.

상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것이 바람직하다.Preferably, the virtual user interface object has a display format including a size or a location based on the physical object included in the physical space information.

상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것이 바람직하다.The virtual user interface object preferably includes an interface element for selection of at least one communication connection means of the connection requester.

상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 상기 접속 요청자가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함하는 것이 바람직하다.Preferably, the virtual user interface object includes an element for inputting context information defining an access request purpose of the access requester or an element for displaying the context information input by the access requester to the access receiver.

상기 생성하는 단계는 상기 접속 요청자와 상기 접속 수신자 간의 성립된 연결을 상기 물리적 공간 정보를 이용하여 연결 객체로 생성하는 단계를 더 포함하는 것이 바람직하다.The generating may further include generating a connection established between the connection requester and the connection receiver as a connection object using the physical space information.

상기 생성하는 단계는 상기 연결 객체를 상기 물리적 공간 정보의 상기 물리적 객체 정보 및 연결 상대방의 설정 정보를 이용하여 홀로그래픽 객체로 생성하는 것이 바람직하다.In the generating, the connection object may be generated as a holographic object using the physical object information of the physical space information and setting information of a connection counterpart.

상기 생성하는 단계는 복수의 성립된 연결에 대하여 각 연결 별로 생성된 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것이 바람직하다.In the generating step, it is preferable to generate the connection object generated for each connection for a plurality of established connections with different depths using the physical space information.

상기 입력 받는 단계는, 상기 사용자의 행동 인식을 통해 상기 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것이 바람직하다.In the receiving of the input, it is preferable to receive the connection request command or the connection approval command through the user's behavior recognition.

상기 생성하는 단계는 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경되는 깊이 정보를 반영하여 이동시키는 단계를 포함한다.The generating may include moving the virtual user interface object by reflecting changed depth information of the physical object in the physical space information.

상기 통신을 위한 명령은 접속 요청 명령, 접속 승인/거부 명령, 및 음성 /영상 정보 입력 명령 중 적어도 하나인 것이 바람직하다.Preferably, the command for communication is at least one of a connection request command, a connection grant / reject command, and an audio / video information input command.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템은 프로세서와 메모리를 참조하는 표시부; 사용자의 물리적 공간 정보를 획득하기 위한 센서부; 및 상기 메모리의 일부를 사용하여 상기 프로세서에서 처리되는 사용자 인터페이스 처리 프로그램을 포함하고, 상기 프로그램은 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 것이 바람직하다.According to an aspect of the present invention, there is provided a system for processing a virtual user interface object for inter-user communication, comprising: a display unit that references a processor and a memory; A sensor unit for obtaining physical space information of a user; And a user interface processing program processed by the processor using a part of the memory, wherein the program uses the physical space information as a virtual user interface object that receives a command for communication between users in a virtual space. It is preferable to generate by.

상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것이 바람직하다.Preferably, the virtual user interface object has a display format including a size or a location based on the physical object included in the physical space information.

상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것이 바람직하다.The virtual user interface object preferably includes an interface element for selection of at least one communication connection means of the connection requester.

상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 상기 접속 요청자가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함한다.The virtual user interface object includes an element for inputting context information defining a connection request purpose of the connection requester or an element for displaying the context information input by the connection requester to the connection receiver.

상기 사용자 인터페이스 처리 프로그램은 상기 접속 요청자와 상기 접속 수신자 간의 성립된 복수의 연결을 상기 물리적 공간 정보를 이용하여 각 연결 별 연결 객체로 생성하는 단계를 더 포함한다.The user interface processing program may further include generating a plurality of connections established between the connection requester and the connection receiver as connection objects for each connection using the physical space information.

상기 사용자 인터페이스 처리 프로그램은 복수의 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것이 바람직하다.The user interface processing program may generate a plurality of connection objects with different depths using the physical space information.

상기 사용자 인터페이스 처리 프로그램은 상기 사용자의 행동 인식을 통해 상기 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것이 바람직하다.Preferably, the user interface processing program receives the connection request command or the connection approval command through the user's behavior recognition.

상기 사용자 인터페이스 처리 프로그램은 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경을 반영하여 이동시키는 단계를 포함한다.The user interface processing program includes moving the virtual user interface object to reflect the change of the physical object in the physical space information.

본 발명의 구성에 따르면, 혼합 현실 상에서 실시간 커뮤니케이션 기능을 제공해 줄 수 있다. 따라서 사용자는 가상 현실 환경 속에서 현실 환경의 다른 사람과의 커뮤니케이션을 위하여 현실 환경으로 빠져 나올 필요가 없으며, 다양한 가상 현실 환경의 플랫폼 속에서도 어플리케이션, 또는 웹 브라우저를 통해서 통신할 수 있으므로 사용자간 커뮤니케이션의 범위가 제한되지 않는다.According to the configuration of the present invention, it is possible to provide a real time communication function in a mixed reality. Therefore, the user does not need to exit to the real environment in order to communicate with others in the real environment in the virtual reality environment, and can communicate through applications or web browsers in various virtual reality platforms, so the scope of communication between users Is not limited.

또한, 현실 환경에서 제공되는 부가서비스도 그대로 제공 받을 수 있다. 나아가, 사용자는 현실 환경보다 시/공간적 제약이 적은 혼합 현실상에서 실시간 커뮤니케이션을 효율적으로 제어할 수 있다.In addition, the additional service provided in the real environment may be provided as it is. Furthermore, the user can efficiently control real-time communication in a mixed reality with less time / spatial constraints than the real environment.

또한, 현실의 전환 없이 현재 사용자가 존재하는 현실 환경에서 커뮤니케이션을 지원하므로 사용자에게 더욱 현실감 있는 커뮤니케이션을 제공할 수 있는 장점이 있다.In addition, there is an advantage that can provide a more realistic communication to the user because it supports communication in the real environment in which the current user exists without changing the reality.

도 1은 본 발명의 일 실시예에 따른 방법으로 구현되는 사용자 간의 통신 예를 나타내는 도이다.1 is a diagram illustrating an example of communication between users implemented by a method according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체를 예시하는 도이다.2 is a diagram illustrating a virtual user interface object for inter-user communication according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체를 통한 통신 연결 수단의 선택을 나타내는 도이다.3 is a diagram illustrating selection of communication connection means through a virtual user interface object according to an embodiment of the present invention.

도 4 내지 6는 본 발명의 일 실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체를 예시하는 도이다.4 and 6 illustrate a virtual user interface object for inter-user communication according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체의 처리 방법을 나타내는 흐름도이다.7 is a flowchart illustrating a method of processing a virtual user interface object according to an embodiment of the present invention.

도 8은 본 발명의 일실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템을 나타내는 개념도다.8 is a conceptual diagram illustrating a method of processing a virtual user interface object for inter-user communication and a system for performing the same according to an embodiment of the present invention.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following merely illustrates the principles of the invention. Therefore, those skilled in the art can implement the principles of the invention and invent various devices included in the concept and scope of the invention, although not explicitly described or illustrated herein. In addition, all conditional terms and embodiments listed herein are in principle clearly intended to be understood only for the purpose of understanding the concept of the invention and are not to be limited to the specifically listed embodiments and states as such. .

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.The above objects, features, and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, and thus, it will be possible to easily implement the technical idea of self-invention having ordinary skill in the art. .

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.In addition, in describing the invention, when it is determined that the detailed description of the known technology related to the invention may unnecessarily obscure the gist of the invention, the detailed description thereof will be omitted. Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명의 일 실시예에 따른 방법으로 구현되는 사용자(10) 간의 통신 예를 나타내는 도이다.1 is a diagram showing an example of communication betweenusers 10 implemented by the method according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 사용자(10)는 가상 현실 상황에서 다른 사용자(20)들과 통신을 수행하고 있다.Referring to FIG. 1, theuser 10 according to the present embodiment communicates withother users 20 in a virtual reality situation.

가상 현실(Virtual Reality)은 컴퓨터 그래픽을 통하여 특정한 상황을 만들어서 실제로 사용자(10)가 특정한 상황 내에 속해서 생성된 객체들과 상호작용을 할 수 있도록 하는 환경을 의미한다.Virtual reality refers to an environment that allows auser 10 to interact with objects created by belonging to a specific situation by creating a specific situation through computer graphics.

본 실시예에서 가상 현실은 상술한 가상의 상황 뿐 아니라 가상의 객체를 사용자(10)가 눈으로 보는 현실세계에 겹쳐서 표시하는 증강 현실(Augmented Reality)을 기반으로, 웨어러블 컴퓨터의 하나로 HMD(Head Mounted Display) 장치를 통해 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 혼합 현실(Mixed Reality, MR)을 모두 포함할 수 있다.In this embodiment, the virtual reality is based on Augmented Reality, which displays not only the above-described virtual situation but also the virtual object in the real world seen by theuser 10, and is one of the wearable computers. The display device may include a mixed reality (MR) which combines a virtual world having additional information in the real world in real time as a single image.

즉, 본 실시예에서 사용자(10) 간의 통신은 가상의 공간으로만 이루어진 상황에서 사용자(10)간 통신을 수행하는 경우와, HMD장치(15)를 통해 사용자(10)에게 현실의 공간과 가상의 공간이 겹쳐진 상황에서 사용자(10)간 통신을 수행하는 경우를 모두 포함한다.That is, in the present embodiment, the communication between theusers 10 is performed only in the virtual space, and the communication between theusers 10 is performed, and the real space and the virtual are transmitted to theuser 10 through theHMD device 15. This includes all cases in which communication between theusers 10 is performed in a situation where the spaces overlap.

따라서 사용자(10)는 본 실시예에 따른 가상 현실 상황에서 다른 사용자(20)와의 통신을 위하여, 예를 들어 HMD장치(15)를 벗고 스마트폰을 통해 전화를 거는 행위가 필요없이 현실의 다른 사용자(20)에게 전화를 걸거나 다른 가상 현실 상황의 사용자(10)에게 전화를 걸 수 있다.Accordingly, theuser 10 may, for example, take off theHMD device 15 and make a phone call through the smart phone in order to communicate with theother user 20 in the virtual reality situation according to the present embodiment. Call 20 or call theuser 10 in another virtual reality situation.

본 실시예에서 HMD장치(15)는 디스플레이 장치를 포함하는 한 쌍의 웨어러블 글라스로 구성될 수 있으며 투명, 반투명 또는 불투명한 디스플레이 장치들의 선택 및 조합으로 구성되어 현실의 환경과 가상의 환경을 적절히 조합하여 혼합 현실 환경을 만들고 사용자(10)에게 제공해 줄 수 있다.In the present embodiment, theHMD device 15 may be composed of a pair of wearable glasses including a display device, and may be composed of a selection and a combination of transparent, translucent, or opaque display devices to properly combine the real environment and the virtual environment. By creating a mixed reality environment can be provided to the user (10).

구체적으로 투명한 디스플레이 장치는 현실 객체를 적어도 일부의 투명한 픽셀을 통해 표시하고, 가상의 객체를 다른 픽셀을 통해 함께 표시해 준다. 예를 들어 투명한 디스플레이는 see-through OLED(Organic Light-Emitting Diode)와 같이 투과성의 이미지 생성 요소를 포함하는 렌즈로 구성될 수 있다.In more detail, the transparent display device displays the real object through at least some transparent pixels, and displays the virtual object together through other pixels. For example, the transparent display may be composed of a lens including a transparent image generating element, such as a see-through organic light-emitting diode (OLED).

나아가, 투명한 디스플레이 장치는 필터를 포함하여, 현실 환경의 객체들의 이미지가 사용자(10)의 눈에 도달하기 전에 적절히 밝기, 해상도 등을 조절하여 사용자(10)가 가상의 객체와 함께 현실 환경의 객체를 인식할 수 있도록 한다.Furthermore, the transparent display device may include a filter to adjust the brightness, resolution, and the like appropriately before the image of the objects in the real environment reaches the eyes of theuser 10 so that theuser 10 may use the virtual objects together with the virtual objects. To be recognized.

또한, 추가적으로 HMD장치(15)는 시선 추적 센서를 포함하여 사용자(10)의 시선을 인식하고, 응시하는 객체에 대한 정보를 제공하거나, 시야를 고려하여 가상의 객체의 크기나 위치를 설정할 수 있다.In addition, theHMD device 15 may include a gaze tracking sensor to recognize the gaze of theuser 10, provide information about an object to be stared at, or set the size or position of the virtual object in consideration of a field of view. .

HMD장치(15)는 광학 센서를 통하여 시야 밖에서의 행동이나 객체의 움직임 등을 인식할 수 있다. 또한 추가적인 외부 센서로서 깊이 카메라, 가시광 카메라, 적외선 카메라, 행동 인식 카메라 등을 통하여 현실 세계의 객체들의 상태, 위치, 깊이, 조도 정보 등을 인식할 수 있다.TheHMD device 15 may recognize an action or movement of an object outside the field of view through an optical sensor. In addition, as an additional external sensor, the state, position, depth, and illumination information of objects in the real world may be recognized through a depth camera, a visible light camera, an infrared camera, and a behavior recognition camera.

추가적으로 위치 센서로서 GPS(Global Positioning System), 가속도 센서, 자이로 센서 등을 포함하여 사용자의 위치와 관련된 정보, 공간 내 움직임에 대한 정보등을 인식할 수 있다.In addition, as a position sensor, information related to a user's position and information about a motion in a space may be recognized, including a global positioning system (GPS), an acceleration sensor, a gyro sensor, and the like.

또한, 마이크와 같은 외부 소리를 수집하는 장치를 포함하여, 사용자간 음성을 송수신 할 수 있게 할 뿐 아니라, 음성을 통한 제어 명령을 인식할 수 있다.In addition, an apparatus for collecting external sounds such as a microphone may be used to transmit and receive voices between users, and to recognize control commands through voices.

이상의 센싱 된 정보를 통해 HMD장치(15)는 사용자가 속해 있는 물리적 공간에 대한 물리적 공간 정보를 인식하고, 디스플레이 장치를 통해 물리적 공간 상에 표시되는 가상의 객체를 보다 생동감 있게 표현하거나, 현실의 객체와 어우러져서 가상의 객체가 표시될 수 있도록 한다.Based on the sensed information, theHMD device 15 recognizes the physical space information of the physical space to which the user belongs, and more realistically expresses the virtual object displayed on the physical space through the display device, or the object of reality. In combination with the virtual object to be displayed.

이하에서는 혼합 현실을 주로 설명하나 그 기술적 적용 범위는 혼합 현실로만 제한되지 않으며, 다양한 형태의 가상 현실을 포함할 수 있다. 또한, 설명의 편의를 위해 HMD장치를 예로 설명하나, 사용자에게 가상 현실을 제공하는 웨어러블 컴퓨터, 자동차용 HUD(Head Up Display)장치, 기타 다양한 사용자 단말 장치들과 연동하여 그 명칭을 불문하고 적용 됟 수 있다.Hereinafter, the mixed reality will be mainly described, but the technical application range is not limited to the mixed reality, and may include various forms of virtual reality. In addition, for convenience of description, an HMD device will be described as an example. However, the present invention may be applied regardless of its name by interworking with a wearable computer that provides a virtual reality to a user, a head up display (HUD) device for automobiles, and various other user terminal devices. Can be.

도 2는 본 발명의 일 실시예에 따른 사용자(10)간 통신을 위한 가상의 사용자 인터페이스 객체(100)를 예시하는 도이다.2 is a diagram illustrating a virtualuser interface object 100 for communication betweenusers 10 according to an embodiment of the present invention.

본 실시예에서 가상의 사용자 인터페이스 객체(100)는 현실 세계의 물리적 객체들로 구성되는 물리적 공간(200) 상에 표시될 수 있다. 본 실시예에서 물리적 객체란 현실 세계에 실제로 존재하는 객체들로, 이때 객체는 사람, 동물, 사물 뿐 아니라 현실 공간 상의 일 지점도 포함한다.In the present embodiment, the virtualuser interface object 100 may be displayed on thephysical space 200 composed of physical objects of the real world. In the present embodiment, the physical object is an object that actually exists in the real world, and the object includes not only a person, an animal, and an object but also a point in the real space.

물리적 공간 정보란 이러한 물리적 객체를 포함하는 정보로 센서를 통해 수집되는 사용자의 현재 위치 정보, 현재 위치에 대한 이미지 정보, 현재 위치에서 사용자의 이동 정보, 현재 위치의 온도, 습도, 조도 등의 환경 정보 등을 포함한다.Physical space information is information that includes these physical objects. Environmental information such as the user's current location information collected by the sensor, image information about the current location, the user's movement information at the current location, temperature, humidity, and illumination of the current location And the like.

또한, 물리적 객체는 물리적 공간 정보로 센싱의 대상이 되는 모든 대상을 포함한다.In addition, the physical object includes all objects that are the objects of sensing with physical spatial information.

본 실시예에서 사용자 인터페이스 객체(100)는 물리적 공간 정보를 이용하여 생성되되, 일 실시예에서 물리적 공간(200)에 포함된 물리적 객체를 이용하여 생성되어 표시되는 형식이 결정될 수 있다.In the present embodiment, theuser interface object 100 may be generated using physical space information, and in one embodiment, a format that is generated and displayed using a physical object included in thephysical space 200 may be determined.

구체적으로 물리적 객체의 깊이 정보를 기반으로 디스플레이 장치 상에 표시되는 크기 또는 위치가 결정될 수 있다.In detail, the size or position displayed on the display device may be determined based on the depth information of the physical object.

이때, 물리적 공간(200)의 깊이 정보는 사용자(10)의 눈으로 인식되는 물리적 공간(200)의 이미지 정보의 초점에 대한 정보로서 가상의 사용자 인터페이스 객체(100)는 초점의 깊이를 고려하여 물리적 공간 정보 내 가상의 사용자 인터페이스 객체(100)의 표시되는 깊이를 결정할 수 있다.At this time, the depth information of thephysical space 200 is information on the focus of the image information of thephysical space 200 recognized by the eyes of theuser 10, the virtualuser interface object 100 is physically considering the depth of focus The displayed depth of the virtualuser interface object 100 in the spatial information may be determined.

예를 들어, 사용자(10)가 먼 거리에 있는 현실 세계의 물리적 객체를 응시하는 경우에는 사용자 인터페이스 객체(100)의 표시되는 깊이도 상대적으로 깊게 표시하여 사용자(10)가 응시하는 물리적 객체와 함께 인터페이스를 조작할 수 있도록 한다.For example, when theuser 10 gazes at a physical object in the real world at a distant distance, the displayed depth of theuser interface object 100 is also displayed relatively deep together with the physical object that theuser 10 gazes at. Allows you to manipulate the interface.

즉, 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 상기 물리적 객체의 깊이 정보를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정될 수 있다.That is, in the present embodiment, the virtualuser interface object 100 may determine a display format including a size or a location based on depth information of the physical object.

또한, 깊이 정보를 기반으로 해당 깊이에 대응되는 주위의 물리적 객체의 특징을 이용하여 표시 형식을 결정할 수 있다.In addition, the display format may be determined by using characteristics of surrounding physical objects corresponding to the corresponding depth based on the depth information.

예를 들어 도 2의 경우 가상의 사용자 인터페이스 객체(100)는 물체가 없는 벽의 주위에 표시되므로, 물리적 객체로서 벽의 색을 인식하여 사용자(10)에게 표시되는 색상을 결정할 수 있다. 벽의 색과 유사한 색으로 사용자 인터페이스 객체(100)를 표시하게 되면 시인성이 떨어져 사용자(10)의 조작이 어려워 질 수 있다.For example, in FIG. 2, since the virtualuser interface object 100 is displayed around a wall without an object, the color of the wall may be determined as a physical object to determine the color displayed to theuser 10. If theuser interface object 100 is displayed in a color similar to the color of the wall, visibility may be difficult to manipulate theuser 10.

또는 반대로, 가상의 사용자 인터페이스 객체(100)를 활성과 비활성 상태로 구분하여, 사용자(10)가 가상의 사용자 인터페이스 객체(100)를 비활성 시키는 경우에는 물리적 객체의 색과 비슷한 색으로 표시하여 시야를 방해하거나 거슬리는 것을 방지하고, 사용자(10)가 활성 시키는 경우에는 색을 다르게 표시하여 조작이 쉽도록 하는 것도 가능하다.Alternatively, the virtualuser interface object 100 is divided into active and inactive states. When theuser 10 deactivates the virtualuser interface object 100, the visual field is displayed by displaying a color similar to that of the physical object. It is also possible to prevent interference or distractions, and to facilitate operation by displaying different colors when theuser 10 is activated.

또한 사용자(10)의 초점이 TV에 형성된 경우 사용자(10)가 TV를 조작하려는 것을 예상하고 TV를 끄고 켜는 등의 사용자(10)의 행동에 방해를 최소화하는 위치에 가상의 사용자 인터페이스 객체(100)가 표시되도록 할 수 있다.In addition, when the focus of theuser 10 is formed on the TV, the virtualuser interface object 100 may be located at a location that minimizes the disturbance of theuser 10's behavior such as turning off and turning on the TV in anticipation of theuser 10 operating the TV. ) Can be displayed.

나아가, 본 실시예에서 가상의 사용자 인터페이스 객체(100)를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경되는 깊이 정보를 반영하여 그 위치가 이동될 수 있다.Furthermore, in the present embodiment, the position of the virtualuser interface object 100 may be changed by reflecting the changed depth information of the physical object in the physical space information.

따라서, 사용자(10)의 시선 방향, 초점 등을 즉각적으로 인식하고 이에 따라 가상의 사용자 인터페이스 객체(100)의 위치를 변경하여, 인터페이스 사용의 편의성을 높인다.Accordingly, the user's 10 direction of sight, focus, and the like are immediately recognized, and the position of the virtualuser interface object 100 is changed accordingly, thereby improving convenience of using the interface.

이상의 실시예에 따른 사용자 인터페이스 객체는 가상 환경 속에서 실행가능한 어플리케이션으로 구현될 수 있다.The user interface object according to the above embodiment may be implemented as an application executable in a virtual environment.

이때의 어플리케이션은 통신회선을 통한 일반 음성 또는 화상통화, 인터넷 IP 망을 기반으로 하는 VoIP(Voice over Internet Protocol) 등을 지원하기 위한 기본적인 영상과 음성의 송수신을 기능을 제공하며 추가적으로 본 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 통화의 전이나 중간에 제공해 준다. 또한, 도 2를 참조하면 인터페이스 사용의 편의성을 더욱 높이기 위하여 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 웹RTC(Real-Time communication) 기반으로 구현될 수 있다.At this time, the application provides basic video and audio transmission and reception functions to support general voice or video call through a communication line, Voice over Internet Protocol (VoIP) based on Internet IP network, and additionally according to the present embodiment. The virtualuser interface object 100 is provided before or during the call. In addition, referring to FIG. 2, in order to further increase the convenience of using the interface, the virtualuser interface object 100 may be implemented based on real-time communication (RTC) in this embodiment.

즉, 웹RTC를 이용하여 가상의 사용자 인터페이스 객체(100)를 구현하여 사용자(10)간의 통신에 별도의 어플리케이션의 적용 없이 웹 브라우저만을 이용하여 사용자(10)간 미디어 통신이 가능하도록 할 수 있다.That is, the virtualuser interface object 100 may be implemented using web RTC to enable media communication betweenusers 10 using only a web browser without applying a separate application to communication betweenusers 10.

이를 통해 사용자(10)는 가상의 현실 속에서 웹 브라우저를 실행시키는 것 만으로 본 실시예에 따라 생성되는 사용자 인터페이스 객체(100)를 사용할 수 있다. 예를 들어, 마이크로소프트의 엣지 브라우저, 구글의 크롬 등을 이용하여 웹페이지의 접속 만으로 사용자 인터페이스 객체(100)를 생성 및 실행시킬 수 있다.Through this, theuser 10 may use theuser interface object 100 generated according to the present embodiment only by executing a web browser in a virtual reality. For example, theuser interface object 100 may be created and executed only by accessing a web page using Microsoft's edge browser, Google's Chrome, and the like.

구체적인 인터페이스로, 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 사용자(10)간의 통신을 위하여 접속을 요청하는 접속 요청자가 상대방으로 접속 수신자 목록 중 하나를 선택하는 것을 통해 통신을 요청하도록 할 수 있다.As a specific interface, in the present embodiment, the virtualuser interface object 100 may allow a connection requestor requesting communication for communication between theusers 10 to request communication through selecting one of the connection recipient lists as the counterpart. have.

도 2를 참조하면 접속 요청자는 자신의 손가락을 이용하여 가상의 공간 내에 생성되어 현실의 물리적 공간(200)과 함께 표시되는 가상의 사용자 인터페이스 객체(100)의 일부를 가리키거나 누르는 행동을 통해 통신을 위한 접속의 요청 명령을 입력할 수 있다.Referring to FIG. 2, the connection requester communicates by using a finger to point or press a part of the virtualuser interface object 100 that is generated in the virtual space and displayed together with thephysical space 200. You can enter the request command of the connection for.

이상의 본 실시예에서 통신을 위한 명령은 접속 요청 명령, 접속 승인/거부 명령, 및 음성 /영상 정보 입력 명령 중 적어도 하나일 수 있으며, 이러한 명령의 구체적인 입력을 위한 인터페이스에 대하여 이하 설명한다.In the present embodiment, the command for communication may be at least one of a connection request command, a connection grant / reject command, and an audio / video information input command. An interface for specific input of such a command will be described below.

도 2에서 사용자(10)는 물리적 객체로서 빈 벽에 생성된 가상의 사용자 인터페이스 객체(100) 중akn@akn.io라는 계정의 사용자(10)에게 손가락을 이용하여 접속을 요청할 수 있다.In FIG. 2, theuser 10 may request access by using a finger to auser 10 of an account namedakn@akn.io of a virtualuser interface object 100 created on an empty wall as a physical object.

또한, 본 실시예에 따른 사용자 인터페이스 객체(100)는 연결 수단의 목록을 표시해 주고, 이를 통해 다른 사용자(20)와의 연결을 위한 연결 수단을 선택할 수 있도록 할 수 있다.In addition, theuser interface object 100 according to the present exemplary embodiment may display a list of connection means, and thus may select a connection means for connection with anotheruser 20.

본 실시예에서 연결 수단은 접속 요청자(10)의 가상의 사용자 인터페이스 객체(100)에 표시되는 형식, 명령을 입력 받는 방식, 접속 요청자(10)와 접속 수신자(20) 간의 통신 방식 등을 기준으로 구분될 수 있다.In the present embodiment, the connection means is based on the format displayed on the virtualuser interface object 100 of the connection requestor 10, a method of receiving a command, a communication method between the connection requester 10 and theconnection receiver 20, and the like. Can be distinguished.

보다 상세히 설명하면, 도 3은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 통한 통신 연결 수단을 나타내는 도이다.In more detail, FIG. 3 is a diagram illustrating communication connection means through a virtualuser interface object 100 according to an embodiment of the present invention.

도 3을 참조하면, 가상의 사용자 인터페이스 객체(100)는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함할 수 있다.Referring to FIG. 3, the virtualuser interface object 100 may include an interface element for selecting at least one communication connection means of the access requester.

인터페이스 요소는 예를 들어, 접속 수신자(20)가 설정한 링크로서 접속 요청에 이용되는 어플리케이션을 실행하는 커스텀 링크, 웹 브라우저를 실행시키는 웹 링크와 같이 접속을 위한 주소가 텍스트 형태로 그대로 노출되는 것일 수 있다.The interface element is, for example, a link set by theconnection receiver 20 such that a custom link for executing an application used for a connection request and a web link for executing a web browser are exposed in text form. Can be.

이를 접속 요청자(10)가 응시하거나, 손으로 클릭하거나 터치하는 등의 동작으로 선택하면 해당하는 링크에 따른 명령이 수행되게 된다. If the request by the connection requester 10 selects an operation such as staring, clicking or touching by hand, a command according to a corresponding link is performed.

또한, QR(Quick Response) 코드와 같은 2차원의 코드를 이용하는 것도 가능하다. 구체적인 링크 주소를 노출 시키지 않고 코드화 된 정보를 접속 요청자 측의 단말에 표시하고, 가상 현실 환경에서 코드의 인식을 위한 코드 인식 객체를 실행 시키고(이때의 프로그램도 WebRTC 기반으로 생성될 수 있다.) 이때의 객체가 코드를 인식하게 되면 인식된 정보를 통해 접속 수신자(20)에게 접속을 요청하도록 할 수 있다.It is also possible to use two-dimensional codes such as QR (Quick Response) codes. The coded information is displayed on the terminal of the access requester without exposing the specific link address, and a code recognition object for recognizing the code is executed in the virtual reality environment (the program can also be generated based on WebRTC). When the object of recognizes the code, it is possible to request theconnection receiver 20 to connect through the recognized information.

구체적인 인터페이스로, 직접적인 코드 인식 객체의 실행 없이 사용자의 시선이 가상 환경 속의 QR코드를 응시하는 경우, 자동으로 코드 인식 객체를 백그라운드에서 실행시키고 이를 통해 QR코드의 인식 결과로서 다른 사용자에게 접속을 요청하게 할 수 있다.In a specific interface, if the user's gaze stares at the QR code in the virtual environment without the execution of the direct code recognition object, the code recognition object is automatically executed in the background to request another user to connect as a result of the QR code recognition. can do.

또한, 이때의 접속 요청 의사를 명확하게 하기 위하여 QR코드의 인식 외 추가적인 사용자의 명령을 입력 받는 것도 가능하다. 예를 들어, QR코드를 인식하고 사용자가 음성으로 접속을 요청하는 명령을 입력하거나, 행동을 통해 명령을 입력하게 되면 통화를 시도하도록 하는 것도 가능하다.In addition, in order to clarify the connection request intention at this time, it is also possible to receive an additional user command in addition to the recognition of the QR code. For example, it is possible to recognize a QR code and enter a command to request a connection by voice or to input a command through an action so that a call can be attempted.

또한, 본 실시예에서 연결 수단은 도 2와 같이 이미지화된 버튼 들의 목록으로 구현되는 것도 가능하다.In addition, in the present embodiment, the connection means may be implemented as a list of buttons imaged as shown in FIG. 2.

즉, 링크의 주소와 같은 정보를 노출시키지 않고, 이미지화 된 버튼으로 구현하고, 접속 요청자(10)의 버튼의 클릭이나 터치를 입력 받으면, 해당 버튼에 연결된 링크 주소를 실행 시키도록 하는 것도 가능하다.That is, without exposing information such as the address of the link, it is possible to implement an imaged button, and upon receiving a click or touch of the button of the access requester 10, it is possible to execute the link address connected to the button.

간접적인 사용자(10)의 연결 수단에 대한 선택은 HMD장치(15)의 다양한 센서를 통해 구현될 수 있다.Selection of theindirect user 10 connection means may be implemented through various sensors of theHMD device 15.

예를 들어, 행동 인식을 이용하여 연결 수단에 대한 선택을 입력 받을 수 있다.For example, behavior recognition may be used to receive a selection of a connection means.

또한 외부 환경의 영상 인식으로 연결 수단의 선택을 구현하는 것도 가능하다.It is also possible to implement the selection of the connection means by image recognition of the external environment.

예를 들어, HMD장치(15) 내의 카메라를 통해 화재나 침입 등에 대한 물리적 공간(200)에 대한 외부 이미지 정보를 수집하고, 화재의 경우에는 소방서와 연결된 연결 수단을 선택하는 것으로 자동으로 인식할 수 있으며, 침입의 경우에는 경비업체 또는 경찰서와 연결된 연결 수단을 선택하는 것으로 인식할 수 있다.For example, through the camera in theHMD device 15 to collect external image information about thephysical space 200 for fire or intrusion, and in case of fire can be automatically recognized by selecting the connection means connected to the fire station. In case of intrusion, it can be recognized as selecting the connection means connected with the security company or the police station.

또한, 도 3을 참조하면 본 실시예에서 가상의 사용자 인터페이스 객체(100')는 접속 수신자(20)의 측면에서 접속 요청자(10)의 접속 정보를 제공해 줄 수 있다.In addition, referring to FIG. 3, in the present embodiment, the virtualuser interface object 100 ′ may provide connection information of the connection requester 10 from the side of theconnection receiver 20.

이때 접속 정보는 접속 요청자(10)의 신상 정보, 접속 요청 목적 정보 등의 접속 요청자(10)에 대한 모든 정보를 포함한다.At this time, the access information includes all information about the access requester 10, such as personal information of the access requester 10, connection request purpose information, and the like.

본 실시예에서 접속 요청자(10) 측의 가상의 사용자 인터페이스 객체(100)는 상기 접속 요청자(10)의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소를 포함하고, 접속 수신자(20) 측의 가상의 사용자 인터페이스 객체(100')는 상기 접속 요청자(10)가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함할 수 있다.In the present embodiment, the virtualuser interface object 100 on the connection requestor 10 side includes an element for inputting context information defining the purpose of the connection request of the connection requester 10, and theconnection receiver 20 side. The virtualuser interface object 100 ′ may include an element for displaying the context information input by the connection requester 10 to the connection receiver.

또한, 접속 수신자(20)측의 가상의 사용자 인터페이스 객체(100)는 접속 수신자(20)에게 특정 벨소리가 단말에 울리도록 하는 것도 가능하다. 이때 벨소리는 접속 요청자(10), 접속 요청 목적 등을 기준으로 구분될 수 있다.In addition, the virtualuser interface object 100 on theconnection receiver 20 side may allow theconnection receiver 20 to ring a specific ring tone to the terminal. In this case, the ringtone may be classified based on the access requester 10, the purpose of the access request, and the like.

나아가, 스케쥴 정보를 스스로 참조하고 이에 따른 인터페이스를 수행하는 것을 포함할 수 있다.Furthermore, it may include referring to schedule information by itself and performing an interface accordingly.

예를 들어, 접속 요청자(10)의 접속 요청 시간을 확인하고, 스케줄 정보를 참조하여 접속 수신자(20)에게 접속 요청을 알리거나 또는 부재중임을 응답으로 제공하도록 하는 가상의 사용자(10) 인터페이스를 실행하게 하는 것도 가능하다.For example, thevirtual user 10 interface is executed to check the access request time of the access requester 10 and to notify theaccess receiver 20 of the access request or provide a response when the user is out of office with reference to the schedule information. It is also possible to make it.

또한, 자동 응답을 인터페이스 요소로 표시하는 것도 가능하다. 예를 들어, 접속 요청자(10)로부터 선택된 연결 수단이 부동산의 임대 문의를 위한 수단으로 미리 설정된 경우에, 부동산이 이미 임대가 완료된 경우에는 연결 프로세스가 자동 응답으로 임대 완료라는 메시지를 제공하고, 연결을 종료 시키도록 하는 것도 가능하다.It is also possible to display an automatic response as an interface element. For example, if the connection means selected from the access requester 10 is set in advance as a means for lease inquiry of the real estate, if the real estate has already completed the lease, the connection process provides a message that the lease is completed in an automatic response, and the connection It is also possible to terminate the.

그 외에도, 문맥 인식(Contextual Awareness)을 통한 부가 정보를 제공하는 것을 인터페이스 요소로 표시할 수 있다. 즉, 접속 요청자(10)나 접속 수신자(20)가 설정한 상황에 대한 텍스트 정보를 참조하여, 이를 접속 수신자 측의 단말(300)에 표시하게 할 수 있다.In addition, providing additional information through contextual awareness may be indicated as an interface element. That is, the text information on the situation set by the connection requestor 10 or theconnection receiver 20 may be referred to and displayed on the terminal 300 on the connection receiver side.

이때, 텍스트 정보를 단순히 표시해 주는 것이 아니라, 기존의 입력된 텍스트 정보와 현재의 텍스트 정보 또는 접속 요청자(10)나 접속 수신자(20)의 단말에 저장된 사용자(10) 정보 등을 참고하고 학습하여, 부가적인 정보를 제공하도록 할 수 있다.In this case, the text information is not simply displayed, but the existing input text information and current text information or theuser 10 information stored in the terminal of the access requestor 10 or theaccess receiver 20 are referred to and learned. You can provide additional information.

이하, 도 4를 참조하여 본 실시예에 따른 행동 인식을 통한 가상의 사용자(10) 인터페이스에 대하여 설명한다.Hereinafter, thevirtual user 10 interface through behavior recognition according to the present embodiment will be described with reference to FIG. 4.

상술한 바와 같이, 본 실시예에서 HMD장치(15)에 탑재된 센서를 통해 사용자(10)의 행동을 인식하는 것도 가능하다.As described above, in the present embodiment, it is also possible to recognize the behavior of theuser 10 through a sensor mounted in theHMD device 15.

예를 들어, 가상의 사용자 인터페이스 객체(100)를 통해 연결하고자 하는 접속 수신자를 선택한 상황에서 사용자(10)가 자신의 손모양을 수화기 모양으로 하고, 이를 움직이는 것을 통해 인터페이스 명령을 입력할 수 있다.For example, in a situation in which a connection receiver to be connected through the virtualuser interface object 100 is selected, theuser 10 may make his or her hand shaped like a receiver and input an interface command through moving the hand.

구체적으로 수화기 모양의 손을 드는 행위를 통해 접속 수신자는 접속 요청자의 접속 요청을 승인하는 명령을 입력할 수 있으며, 수화기 모양의 손을 내리는 행위를 통해 접속을 거부하거나 통화를 종료하는 명령을 입력할 수 있다.Specifically, the receiver can input a command to approve the request of the access requester by raising the handset, and the user can enter a command to reject the connection or terminate the call by handing down the receiver. Can be.

그 외에도 도시하지는 않았으나 미리 약속된 다양한 사용자(10)의 행동을 통해 명령을 입력 받을 수 있다.In addition, although not shown, a command may be input through actions ofvarious user 10 that are promised in advance.

예를 들어, 가상의 사용자(10) 인터페이스를 활성화한 상태에서 손으로 숫자 1, 또는 2를 표시하는 경우 단축 다이얼의 1번 또는 2번으로 입력된 상대방에 대한 접속 요청 명령으로 인식할 수 있다.For example, when the number 1 or 2 is displayed by hand while thevirtual user 10 interface is activated, it may be recognized as an access request command for the other party inputted as the number 1 or 2 of the speed dial.

또한, 행동을 인식함에 있어 사용자(10)의 단순 행동 뿐 아니라, 물리적 공간 상에 포함된 물리적 객체와의 사용자(10)간의 상호작용을 인식하여 접속 요청 명령을 인식하는 것도 가능하다.In addition, in recognizing the behavior, it is also possible to recognize the connection request command by recognizing not only the simple behavior of theuser 10 but also the interaction between theuser 10 and the physical object included in the physical space.

예를 들어, 사용자가 물리적 객체로서 문을 여는 경우 문과 관련된 공간의 상대방 또는 회사에 통화를 요청하도록 할 수 있다.For example, when a user opens a door as a physical object, the user may request a call from the other party or company in the space associated with the door.

또한, 손 뿐만 아니라 HMD장치(15)의 자이로 센서 또는 카메라 센서를 통해 사용자(10)의 머리 움직임을 인식하여 접속 요청을 승인하거나 거부하는 것을 인식할 수 있다.In addition, it is possible to recognize that the user's head movement is recognized through the gyro sensor or the camera sensor of theHMD device 15 as well as the hand to approve or reject the connection request.

본 실시예에서 가상의 사용자 인터페이스 객체(100)는 접속 요청자와 상기 접속 수신자 간의 성립된 연결을 상기 물리적 공간 정보를 이용하여 연결 객체로 생성하는 것도 가능하다.In the present embodiment, the virtualuser interface object 100 may create a connection established between the connection requester and the connection receiver as the connection object using the physical space information.

구체적으로 연결 객체를 상기 물리적 공간 정보의 상기 물리적 객체 정보 및 연결 상대방의 설정 정보를 이용하여 입체적으로 표시되는 홀로그래픽 객체로 생성할 수 있다.In more detail, the connection object may be generated as a holographic object displayed in three dimensions by using the physical object information of the physical space information and setting information of the connection counterpart.

도 5를 참조하면, 물리적 공간 정보로서 현재 사용자(10)가 존재하는 공간의 바닥이라는 물리적 객체 정보를 인식하고, 연결 상대방을 홀로그래픽 객체(110, 110')로 바닥에 서있는 것처럼 표시하도록 할 수 있다.Referring to FIG. 5, the physical object information may be recognized as physical floor information as the floor of the space where thecurrent user 10 exists, and the connection counterpart may be displayed as theholographic objects 110 and 110 ′ as if they are standing on the floor. have.

또한, 홀로그래픽 객체 역시 사용자(10)의 얼굴 정보 또는 사용자(10)의 계정 설정 정보를 참조하여 생성되어 홀로그래픽 만으로 연결 상대방을 식별할 수 있도록 할 수 있다.In addition, the holographic object may also be created by referring to the face information of theuser 10 or the account setting information of theuser 10 to identify the connection counterpart only by the holographic object.

추가적으로 도 5에서 복수의 홀로그래픽 객체가 존재하고 그 위치가 구분되어 있는 경우 사용자(10)의 시선 위치를 인식하여 사용자(10)가 어느 상대방에게 말하는 것인지를 인식하여 정보를 전달할 수 있도록 하는 것도 가능하다.In addition, in FIG. 5, when there are a plurality of holographic objects and their positions are separated, the gaze position of theuser 10 may be recognized to recognize which party theuser 10 speaks to and may transmit information. Do.

예를 들어, 사용자(10)가 오른쪽에 위치한 akn이라는 홀로그래픽 객체(110)를 보면서 대화를 하는 경우 입력된 대화는 akn이라는 계정의 상대방에게만 전달되도록 할 수 있다. 또한, 상술한 행동 인식을 통해 사용자(10)가 손으로 직접 자신이 대화하고자 하는 상대방에 대한 홀로그래픽 객체를 선택하도록 하는 것도 가능하다.For example, when theuser 10 has a conversation while viewing theholographic object 110 called akn located on the right side, the input conversation may be transmitted only to the other party of the account called akn. In addition, it is also possible to allow theuser 10 to directly select a holographic object for a counterpart to whom he / she wishes to communicate by hand through the above-described behavior recognition.

추가적으로, 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 사용자(10)의 언어를 인식하여 이를 텍스트로 표시해 주는 것도 가능하다. 또한 텍스트를 번역하여 사용자(10)에게 제공해 주는 것도 가능하다. 이때, 번역을 위한 언어는 사용자(10)의 설정 정보를 참조하여 결정될 수 있다.In addition, in the present embodiment, the virtualuser interface object 100 may recognize the language of theuser 10 and display it as text. It is also possible to translate the text and provide it to theuser 10. In this case, the language for translation may be determined by referring to the setting information of theuser 10.

또한, 도 6을 참조하면 복수의 연결 객체를 각각의 이미지 레이어(110, 110', 110'')로 구현하여 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것도 가능하다.In addition, referring to FIG. 6, a plurality of connection objects may be implemented as respective image layers 110, 110 ′ and 110 ″, and may be generated with different depths using physical space information.

즉, 연결 객체가 다수인 경우에는 공간적 제약에 따라 홀로그래픽 객체로 표시하는 데 어려움이 있을 수 있는 바, 각각의 연결 객체를 레이어 구조를 통해 책장에 꽂힌 책들과 같이 겹쳐서 표시해 주고 사용자(10)가 책장 속에서 책을 고르듯이 연결 객체 중 하나를 선택하여 대화를 하게할 수 있다.In other words, when there are a large number of connection objects, it may be difficult to display them as holographic objects according to spatial constraints. Each connection object is overlaid and displayed like a book inserted into a bookshelf through a layer structure. You can choose one of the connected objects to have a conversation, just like choosing a book from the bookshelf.

또한, 이러한 연결 객체의 순서와 크기를 사용자(10)가 임의로 변경할 수 있는 사용자(10) 인터페이스를 제공하여 사용자(10)가 가장 많이 대화하는 상대방의 연결 객체를 맨 앞으로 이동하거나 크기를 크게 하는 것도 가능하다.In addition, by providing auser interface 10 that theuser 10 can arbitrarily change the order and size of the connection object to move the connection object of the person with whom theuser 10 has the most conversations to the front or to increase the size. It is possible.

추가적으로 본 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 포함하는 물리적 공간의 이미지 자체(혼합현실 이미지)가 다른 기기로 중계되는 것도 가능하다.In addition, the image itself (mixed reality image) of the physical space including the virtualuser interface object 100 according to the present embodiment may be relayed to another device.

예를 들어, 통화 상대방의 단말로 혼합현실 이미지를 중계할 수 있다. 즉 현실 세계의 사용자와 가상 현실의 사용자간 통화를 지원함에 있어, 가상 현실의 사용자의 시야로 인식되는 혼합 현실을 통화의 상대방에게 그대로 중계하여 상호간의 통화가 더욱 수월하게 이루어질 수 있도록 할 수 있다.For example, the mixed reality image may be relayed to the terminal of the call counterpart. In other words, in supporting a call between a user of the real world and a user of the virtual reality, the mixed reality recognized as the view of the user of the virtual reality may be relayed to the counterpart of the call as it is so that the mutual call may be made more easily.

이하, 도 7을 참조하여 본 실시예에 따른 사용자(10)간 통신을 위한 가상의 사용자 인터페이스 객체(100)의 처리 방법에 대하여 설명한다.Hereinafter, a method of processing the virtualuser interface object 100 for communication between theusers 10 according to the present exemplary embodiment will be described with reference to FIG. 7.

도 7은 본 실시예에 따른 가상의 사용자 인터페이스 객체(100)의 처리 방법을 나타내는 흐름도이다.7 is a flowchart illustrating a method of processing the virtualuser interface object 100 according to the present embodiment.

본 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 제공하기 위하여 적어도 하나의 물리적 객체의 깊이 정보를 포함하는 물리적 공간 정보를 수신한다(S100).In order to provide the virtualuser interface object 100 according to the present embodiment, physical space information including depth information of at least one physical object is received (S100).

본 실시예에서는 HMD장치(15)의 카메라 모듈을 통해 사용자(10)가 현재 속해 있는 현실 환경의 물리적 객체를 포함하는 물리적 공간 정보를 수신한다. 수신하는 물리적 공간 정보는 사용자(10)의 시야에 따른 초점 정보를 가질 수 있으며, 본 실시예에서 깊이 정보는 사용자(10)의 초점 정보에 대응될 수 있다.In the present embodiment, through the camera module of theHMD device 15 receives the physical space information including the physical object of the real environment to which theuser 10 currently belongs. The received physical space information may have focus information according to the field of view of theuser 10, and in the present embodiment, the depth information may correspond to the focus information of theuser 10.

다음, 가상의 공간 내에서 사용자(10)간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체(100)를 상기 물리적 공간 정보를 이용하여 상기 깊이 정보를 기반으로 생성한다(S200).Next, a virtualuser interface object 100 that receives a command for communication betweenusers 10 in a virtual space is generated based on the depth information using the physical space information (S200).

즉, 물리적 공간 정보를 이용하여 가상의 사용자 인터페이스 객체(100)를 생성하는데, 먼저 가상의 공간 상에서 인터페이스 객체(100)가 표시되는 깊이를 결정할 수 있다.That is, the virtualuser interface object 100 is generated using the physical space information. First, the depth at which theinterface object 100 is displayed in the virtual space may be determined.

이때, 인터페이스 객체(100)가 생성되어 표시되는 깊이는 인터페이스 객체(100)의 동작의 편리성과 사용자(10)의 시야의 제한 정도를 적절히 조절하여 결정될 수 있다.In this case, the depth at which theinterface object 100 is generated and displayed may be determined by appropriately adjusting the convenience of the operation of theinterface object 100 and the degree of restriction of the field of view of theuser 10.

예를 들어, 동작의 편리성을 위하여 사용자(10)의 초점에 해당하는 물리적 객체의 깊이와 동일한 깊이에 인터페이스 객체(100)를 생성하는 경우 사용자(10)는 초점의 이동 없이 통신을 위한 명령을 입력할 수 있다.For example, when theinterface object 100 is created at the same depth as that of the physical object corresponding to the focal point of theuser 10 for convenience of operation, theuser 10 issues a command for communication without shifting the focus. You can enter

또한, 생성하는 단계(S200)는 시야의 제한을 줄이기 위하여 초점과 동일한 깊이에 생성하되 초점에 해당하는 물리적 객체의 바깥에 인터페이스 객체(100)를 생성할 수 있다. 인터페이스 객체(100)의 크기, 색상 등을 포함하는 표시 형식 역시 물리적 객체의 속성 정보를 참조하여 결정될 수 있다. 이때, 물리적 객체의 속성 정보는 HMD장치(15)의 카메라 센서 등을 통해 인식될 수 있다.In addition, the generating step (S200) may be generated at the same depth as the focus in order to reduce the restriction of the field of view, but may generate theinterface object 100 outside the physical object corresponding to the focus. The display format including the size, color, etc. of theinterface object 100 may also be determined by referring to the attribute information of the physical object. In this case, the attribute information of the physical object may be recognized through a camera sensor of theHMD device 15.

나아가, 인터페이스 객체(100)는 통신 연결 수단을 위한 인터페이스 요소들을 포함한다. 인터페이스 요소로서 다른 사용자(20)에 대한 접속 요청 수단을 정의하는 요소, 접속 요청의 목적을 입력하고 이를 표시해주는 요소를 포함할 수 있다.Furthermore, theinterface object 100 comprises interface elements for communication connection means. The interface element may include an element for defining a connection request means for anotheruser 20, an element for inputting and indicating the purpose of the connection request.

또한, 인터페이스 객체(100)는 사용자(10)가 복수의 상대방과 동시에 연결된 경우 이를 물리적 공간(200) 상에 효율적으로 표시하기 위한 요소를 포함할 수 있다.In addition, theinterface object 100 may include an element for efficiently displaying theuser object 10 on thephysical space 200 when theuser 10 is simultaneously connected with a plurality of counterparts.

예를 들어, 도 5와 같이 홀로그래픽을 이용하여 직접 3차원의 객체를 생성하고 멀리 떨어져 있더라도 한 공간에서 대화를 할 수 있도록 한다. 또한 다수의 상대방이 존재하는 경우에는 도 6과 같은 레이어 구조로 깊이를 달리하는 연결 객체들을 생성하고 이를 선택할 수 있는 사용자(10) 인터페이스를 제공해 주는 것도 가능하다.For example, as shown in FIG. 5, a 3D object is directly generated using holographic, and a conversation can be made in one space even if it is far away. In addition, when there are a plurality of counterparts, it is also possible to provide auser 10 interface for creating and selecting connection objects having different depths in a layer structure as shown in FIG. 6.

다음, 설명한 가상의 사용자 인터페이스 객체(100)를 통하여 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는다(S300)Next, the access request command of the access requester or the access approval command of the access receiver are input through the described virtual user interface object 100 (S300).

즉, 입력 받는 단계(S300)는 HMD장치(15)의 센서로부터 물리적 공간(200)에 대한 속성 정보, 사용자(10) 행동 인식 정보 등을 수신하고 이를 통해 인터페이스 명령을 입력 받거나, 인터페이스 객체(100)에 대한 기타 명령을 입력 받는다.That is, the step of receiving the input (S300) receives the attribute information on thephysical space 200, theuser 10 behavior recognition information, etc. from the sensor of theHMD device 15 and receives the interface command through this, or theinterface object 100 Enter other commands for).

인터페이스를 통한 명령의 입력은 도 2와 같이 버튼을 누르는 행위, 도 4와 같이 손가락 모양 등을 통해 인식할 수 있다. 인터페이스 객체(100)에 대한 기타 명령은 도 6과 같이 연결 객체를 이동하거나 확대 축소하는 변경 등의 명령으로 사용자(10)의 행동인식을 통해 인식할 수 있다.The input of the command through the interface may be recognized by pressing a button as shown in FIG. 2 or by the shape of a finger as shown in FIG. 4. Other commands for theinterface object 100 may be recognized through behavior recognition of theuser 10 as a command such as a change or a change in moving or expanding the connection object as shown in FIG. 6.

도 8은 본 발명의 일실시예에 따른 사용자(10)간 통신을 위한 가상의 사용자 인터페이스 객체(100)의 처리 방법 및 이를 수행하는 시스템을 나타내는 개념도다.8 is a conceptual diagram illustrating a processing method of a virtualuser interface object 100 for communication betweenusers 10 and a system for performing the same according to an embodiment of the present invention.

도 8을 참조하면 본 실시예에 따른 시스템은 혼합 현실을 생성하기 위한 혼합 현실 처리부(310)와 인터페이스 객체(100)를 생성하는 인터페이스 객체 생성부(320)로 구성되는 HMD장치(15)와, 네트워크(400) 및 네트워크(400)를 통해 각종 서버(500) 및 기타 사용자(20) 들로 구성될 수 있다.Referring to FIG. 8, the system according to the present embodiment includes anHMD device 15 including amixed reality processor 310 for generating a mixed reality and aninterface object generator 320 for generating theinterface object 100. It may be composed ofvarious servers 500 andother users 20 through thenetwork 400 and thenetwork 400.

혼합 현실 처리부(310)의 혼합 현실 생성부(312)는 센서부(314)에서 인식된 이미지 정보, 거리 정보, 기타 환경 정보를 활용하여 물리적 공간(200)에 적합한 가상 현실을 생성하고 이를 결합하여 혼합 현실을 생성한다.Themixed reality generator 312 of themixed reality processor 310 generates a virtual reality suitable for thephysical space 200 by using the image information, the distance information, and other environment information recognized by thesensor unit 314, and combines the same. Create mixed reality.

센서부(314)는 시선 추적 센서를 포함하여 사용자(10)의 시선을 인식하며, 광학 센서를 통하여 시야 밖에서의 행동이나 객체의 움직임 등을 인식할 수 있다. 깊이 카메라, 가시광 카메라, 적외선 카메라 등을 통하여 현실 세계의 객체들의 깊이나 조도 정보 등을 인식할 수 있다. 기타 가상 현실의 몰입도를 증가시키기 위한 각종 센서들을 포함할 수 있다.Thesensor unit 314 may recognize a line of sight of theuser 10, including a line of sight tracking sensor, and may recognize an action or movement of an object outside the field of view through an optical sensor. Depth cameras, visible light cameras, infrared cameras, and the like can recognize the depth and illuminance information of objects in the real world. Other sensors may be included to increase the immersion of other virtual reality.

인터페이스 객체 생성부(320)는 가상의 공간 내에서 사용자(10)간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체(100)를 생성한다.Theinterface object generator 320 generates a virtualuser interface object 100 that receives a command for communication between theusers 10 in the virtual space.

인터페이스 객체 생성부(320)는 표시부(322), 프로세서(324), 메모리(326), 및 저장부(328)를 포함하며 저장부(328)는 사용자 인터페이스 처리 프로그램(330)을 저장하여 프로세서(324)를 통해 수행될 수 있도록 한다.The interfaceobject generating unit 320 includes adisplay unit 322, aprocessor 324, amemory 326, and astorage unit 328. Thestorage unit 328 stores the userinterface processing program 330 to process the processor ( 324).

즉, 인터페이스 객체 생성부(320)는 저장부(328)에 저장된 사용자 인터페이스 처리 프로그램(330)의 명령 및 명령의 수행에 필요한 데이터를 메모리(326)에 로딩하고 프로세서(324)는 이를 실행하여 인터페이스 객체(100)를 생성한다. 생성된 인터페이스 객체(100)는 표시부(322)를 통해 표시될 수 있다.That is, the interfaceobject generation unit 320 loads the command of the userinterface processing program 330 stored in thestorage unit 328 and data necessary for the execution of the command into thememory 326, and theprocessor 324 executes the interface to execute the interface. Create anobject 100. The generatedinterface object 100 may be displayed through thedisplay unit 322.

메모리(326) 또는 저장부(328)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.Thememory 326 or thestorage unit 328 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EPEROM), programmable read-only memory (PROM) ), A magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.

추가적으로 본 실시예에 따른 시스템은 통신 모듈을 더 포함하며, 유/무선 통신 시스템을 통해 네트워크(400)에 접속하여 다른 사용자(20) 또는 서버(500)와 장치를 연결할 수 있다.Additionally, the system according to the present embodiment further includes a communication module, and may connect the device with anotheruser 20 or theserver 500 by accessing thenetwork 400 through a wired / wireless communication system.

일례로, 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 또다른 예로, 유선 인터넷 기술로는 XDSL(Digital Subscriber Line), FTTH(Fibers to the home), PLC(Power Line Communication) 등이 이용될 수 있다.For example, wireless Internet technologies may include wireless LAN (Wi-Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), high speed downlink packet access (HSDPA), and the like. As another example, the wired Internet technology may include a digital subscriber line (XDSL), fibers to the home (FTTH), power line communication (PLC), and the like.

또한, 통신 모듈은 근거리 통신 모듈을 포함하여, 근거리 통신 모듈을 포함한 전자 장치와 데이터를 송수신할 수 있다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.In addition, the communication module may include a short range communication module to transmit and receive data to and from an electronic device including the short range communication module. As a short range communication technology, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.

이상, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.As described above, the various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부 자체로 구현될 수 있다.According to a hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller itself.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 소프트웨어 코드는 기록 매체로서 메모리에 저장되고, 제어부에 의해 실행될 수 있다.According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein. Software code may be implemented in software applications written in a suitable programming language. The software code is stored in a memory as a recording medium and can be executed by the controller.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

Claims (19)

Translated fromKorean

사용자의 물리적 공간 정보를 수신하는 단계;Receiving physical spatial information of a user;가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및Creating a virtual user interface object using the physical space information to receive a command for communication between users in a virtual space; And상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법And receiving an access request command of an access requestor or an access approval command of an access receiver through the virtual user interface object.제 1 항에 있어서,The method of claim 1,상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The virtual user interface object is a method of processing a virtual user interface object for communication between the user, characterized in that the display format including the size or location is determined based on the physical object included in the physical space information제 1 항에 있어서,The method of claim 1,상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법And the virtual user interface object includes an interface element for selecting at least one communication connection means of the connection requester.제 1 항에 있어서,The method of claim 1,상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 상기 접속 요청자가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The virtual user interface object may include an element for inputting context information defining an access request purpose of the access requester or an element for displaying the context information input by the access requester to the access receiver. How to Handle Virtual User Interface Objects for User-to-User Communication제 1 항에 있어서,The method of claim 1,상기 생성하는 단계는 상기 접속 요청자와 상기 접속 수신자 간의 성립된 연결을 상기 물리적 공간 정보를 이용하여 연결 객체로 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The generating may include generating a connection between the connection requester and the connection receiver as a connection object using the physical space information.제 5 항에 있어서,The method of claim 5, wherein상기 생성하는 단계는 상기 연결 객체를 상기 물리적 공간 정보의 상기 물리적 객체 정보 및 연결 상대방의 설정 정보를 이용하여 홀로그래픽 객체로 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The generating may include generating the connection object as a holographic object using the physical object information of the physical space information and the setting information of the connection counterpart.제 5 항에 있어서,The method of claim 5, wherein상기 생성하는 단계는 복수의 성립된 연결에 대하여 각 연결 별로 생성된 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The generating may include generating the connection object generated for each connection for a plurality of established connections at different depths by using the physical space information. Way제 1 항에 있어서,The method of claim 1,상기 입력 받는 단계는,The step of receiving the input,상기 사용자의 행동 인식을 통해 상기 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법Method of processing a virtual user interface object for the user-to-user communication, characterized in that receiving the connection request command or the connection approval command through the user's behavior recognition.제 1 항에 있어서,The method of claim 1,상기 생성하는 단계는 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경을 반영하여 이동시키는 단계를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The generating may include moving the virtual user interface object by reflecting a change of the physical object in the physical space information.제 1 항에 있어서,The method of claim 1,상기 통신을 위한 명령은 접속 요청 명령, 접속 승인/거부 명령, 및 음성 /영상 정보 입력 명령 중 적어도 하나인 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법The command for communication is at least one of a connection request command, a connection approval / rejection command, and a voice / video information input command, processing method of a virtual user interface object for user-to-user communication.프로세서와 메모리를 참조하는 표시부;A display unit for referring to the processor and the memory;사용자의 물리적 공간 정보를 획득하기 위한 센서부; 및A sensor unit for obtaining physical space information of a user; And상기 메모리의 일부를 사용하여 상기 프로세서에서 처리되는 사용자 인터페이스 처리 프로그램을 포함하고,A user interface processing program processed by the processor using a portion of the memory,상기 프로그램은 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The program generates a virtual user interface object for receiving a command for communication between users in a virtual space by using the physical space information.제 11 항에 있어서,The method of claim 11,상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The virtual user interface object is a system for processing a virtual user interface object for communication between the user characterized in that the display format including the size or location is determined based on the physical object included in the physical space information제 11 항에 있어서,The method of claim 11,상기 가상의 사용자 인터페이스 객체는 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The virtual user interface object processing system of the virtual user interface object for inter-user communication, characterized in that it comprises an interface element for selecting at least one communication connection means of the connection requester제 11 항에 있어서,The method of claim 11,상기 가상의 사용자 인터페이스 객체는 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 접속 요청자가 입력한 상기 컨텍스트 정보를 접속 수신자에게 표시하기 위한 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The virtual user interface object includes an element for inputting context information defining a connection request purpose of an access requester or an element for displaying the context information input by the access requester to an access receiver. System for Handling Virtual User Interface Objects제 11 항에 있어서,The method of claim 11,상기 프로그램은 접속 요청자와 접속 수신자 간의 성립된 복수의 연결을 상기 물리적 공간 정보를 이용하여 각 연결 별 연결 객체로 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The program processing system of a virtual user interface object for user-to-user communication, characterized in that for generating a plurality of connections established between the connection requester and the connection receiver as connection objects for each connection using the physical space information.제 15 항에 있어서,The method of claim 15,상기 프로그램은 복수의 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The program processing system of a virtual user interface object for user-to-user communication, characterized in that for generating a plurality of the connection object with a different depth using the physical space information.제 11 항에 있어서,The method of claim 11,상기 프로그램은 상기 사용자의 행동 인식을 통해 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The program processing system of a virtual user interface object for user-to-user communication, characterized in that for receiving an access request command or an access approval command through the user's behavior recognition.제 11 항에 있어서,The method of claim 11,상기 프로그램은 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경을 반영하여 이동시키는 단계를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템The program includes the step of moving the virtual user interface object in the physical space information reflecting the change of the physical object, the processing system of the virtual user interface object for inter-user communication컴퓨터 판독 가능한 비휘발성 기록 매체에 저장되며,Stored in a computer readable nonvolatile recording medium,사용자의 물리적 공간 정보를 수신하는 단계;Receiving physical spatial information of a user;가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및Creating a virtual user interface object using the physical space information to receive a command for communication between users in a virtual space; And상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법을 실행시키기 위한 프로그램A program for executing a method of processing a virtual user interface object for inter-user communication, comprising the step of receiving a connection request command of a connection requestor or a connection approval command of a connection receiver through the virtual user interface object.

Images