KR101894021B1 - Method and device for providing content and recordimg medium thereof - Google Patents

Abstract

Translated fromKorean

사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신하고, 컨텐트 요청이 수신됨에 따라, 스포츠 경기가 진행되는 장소에 관한 실사 이미지 및 가상 이미지를 획득하며, 사용자의 제스쳐에 따라, 스포츠 경기가 진행되는 장소에서의 특정 위치에 관한 실사 이미지 및 가상 이미지를 표시하는 디바이스가 VR 공간에서 컨텐트를 제공하는 방법이 개시된다.A content request for a sporting event is received from a user, and a real image and a virtual image of a place where a sporting event is to be performed are received as the content request is received. According to the gesture of the user, A method for a device displaying a real image and a virtual image relating to a specific location to provide content in a VR space is disclosed.

Description

Translated fromKorean

VR 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체 {Method and device for providing content and recordimg medium thereof}TECHNICAL FIELD [0001] The present invention relates to a method, a device, and a recording medium for providing content in a VR space,

개시된 실시예는 VR 공간에서 컨텐트를 제공하는 방법, VR 공간에서 컨텐트를 제공하는 디바이스 및 VR 공간에서 컨텐트를 제공하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.The disclosed embodiments relate to a method for providing content in a VR space, a device for providing content in a VR space, and a recording medium on which a program for performing a method for providing content in the VR space is recorded.

최근 들어 사용자에게 가상 현실(Virtual Reality, 이하 VR)를 체험할 수 있도록 영상을 제공하는 다양한 기술들이 개발되고 있다. 이러한 가상 현실 체험 기술들은 예를 들어, 사용자의 시야에 따라 출력되는 영상을 렌즈를 통해 왜곡시킴으로써, 사용자가 가상 현실을 체험할 수 있도록 하는 HMD(Head Mount Display) 등의 디바이스를 통해 실현될 수 있다.In recent years, various technologies have been developed to provide images for users to experience virtual reality (VR). Such virtual reality experience techniques can be realized through a device such as an HMD (Head Mount Display) that allows a user to experience a virtual reality by distorting an image output through a lens according to a user's visual field .

한편, 가상 현실을 체험할 수 있도록 하는 디바이스가 개발됨에 따라, 가상 현실 세계에서 사용자에게 제공할 수 있는 서비스에 대한 관심 또한 증가하고 있는 추세이다. 예를 들어, 스포츠 경기와 같은 엔터테인먼트 서비스를 가상 공간에서 제공하기 위한 다양한 기술들이 개발되고 있다. 다만, 아직까지 스포츠 경기의 중개 영상을 단순히 제공하는 기술만이 제공되고 있을 뿐, VR 공간에 적합한 서비스 제공 방식은 개발되지 못하고 있는 실정이다.On the other hand, with the development of devices capable of experiencing virtual reality, interest in services that can be provided to users in the virtual reality world is increasing. For example, various technologies are being developed to provide entertainment services such as sports games in a virtual space. However, only the technology that provides the intermediary image of the sports game is provided, and the service providing method suitable for the VR space has not been developed yet.

VR 공간에서, 스포츠 경기에 관한 컨텐트를 사용자가 보다 실감나게 체험할 수 있도록 컨텐트를 제공하는 방법, 디바이스 및 기록매체가 제공된다.In the VR space, a method, a device, and a recording medium are provided for providing content so that a user can experience a content related to a sports game more realistically.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법은, 사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신하는 단계; 컨텐트 요청이 수신됨에 따라, 스포츠 경기가 진행되는 장소에 관한 실사 이미지 및 가상 이미지를 획득하는 단계; 및 사용자의 제스쳐에 따라, 스포츠 경기가 진행되는 장소에서의 특정 위치에 관한 실사 이미지 및 가상 이미지를 표시하는 단계를 포함한다.A method according to an embodiment for providing content in a VR space includes receiving a content request for a sporting event from a user; Acquiring a real image and a virtual image of a place where a sports game is to be performed as the content request is received; And displaying a real image and a virtual image regarding a specific position in a place where the sports game is going, according to the gesture of the user.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법은, 사용자의 제스쳐에 대응되는 상기 스포츠 경기가 진행되는 장소 내에서의 위치를 결정하는 단계; 및 결정된 위치에 대한 실사 이미지 및 가상 이미지를 수신하는 단계를 더 포함한다.A method according to an embodiment of the present invention for providing content in a VR space comprises the steps of: determining a location within a location of the sporting event corresponding to a user's gesture; And receiving a real image and a virtual image of the determined position.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법에 있어서, 실사 이미지는, 스포츠 경기를 복수의 시점 각각에서 촬영한 이미지를 포함하고, 표시하는 단계는, 특정 위치에서의 제 1 시점에서 촬영된 이미지에 제 1 시점과 다른 시점에서 촬영된 적어도 하나의 이미지를 조합하여 표시한다.A method of providing a content in a VR space, the method comprising the steps of: providing a live video image, the live video image including an image taken at each of a plurality of viewpoints, At least one image photographed at a time different from the first view point is displayed in combination with the photographed image.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법은, 특정 위치의 실사 이미지 및 가상 이미지 중 적어도 하나에 표시된 객체에 관한 구매 요청 및 결제 정보를 전송하는 단계; 및 객체의 구매가 완료되는 경우, 객체의 가상 이미지를 VR 공간 상에 표시하는 단계를 더 포함한다.A method according to an embodiment of the present invention for providing content in a VR space includes transmitting purchase requisitions and settlement information regarding an object displayed in at least one of a real image and a virtual image at a specific location; And displaying the virtual image of the object on the VR space when the purchase of the object is completed.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법은, 스포츠 경기에 관한 컨텐트의 제공 이전에 사용자가 시청한 적어도 하나의 컨텐트의 히스토리 정보를 생성하는 단계; 적어도 하나의 컨텐트 중 어느 하나가 선택되는 경우, 선택된 컨텐트의 히스토리 정보를 VR 공간 상에 표시하는 단계; 및 표시된 히스토리 정보에 포함된 위치를 사용자가 선택하는 경우, 선택된 위치에 관한 실사 이미지 및 가상 이미지를 VR 공간 상에 표시하는 단계를 더 포함한다.A method according to an embodiment of the present invention for providing content in a VR space includes generating history information of at least one content viewed by a user prior to providing content relating to a sporting event; Displaying history information of the selected content on the VR space when any one of the at least one content is selected; And displaying a real image and a virtual image of the selected location on the VR space when the user selects a location included in the displayed history information.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법은, 사용자의 SNS(Social Network Service) 계정을 통해 연결된 복수의 다른 사용자 중 스포츠 경기에 관한 컨텐트를 이용하는 사용자를 선택하는 단계; 선택된 사용자의 디바이스에 VR 공간으로의 초대 메시지를 전송하는 단계; 및 초대 메시지에 대한 수락 메시지가 수신됨에 따라, VR 공간 상에 다른 사용자를 나타내는 가상 이미지를 표시하는 단계를 더 포함한다.A method according to an embodiment of the present invention for providing content in a VR space comprises the steps of: selecting a user of a plurality of other users connected through a user's Social Network Service (SNS) account to use content relating to a sporting event; Transmitting an invitation message to a VR space to a device of the selected user; And displaying a virtual image representing another user on the VR space as the accept message for the invitation message is received.

일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법은, 사용자의 프로파일 정보를 수신하는 단계; 및 수신된 프로파일 정보를 기초로 사용자를 나타내는 아바타 이미지를 생성하는 단계를 더 포함하고, 표시하는 단계는, 실사 이미지 및 가상 이미지와 함께 아바타 이미지를 조합하여 상기 VR 공간 상에 표시한다.A method according to an embodiment for providing content in a VR space comprises: receiving profile information of a user; And generating an avatar image representing a user based on the received profile information, wherein the displaying step combines the avatar image together with the real image and the virtual image, and displays the avatar image on the VR space.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스는, 사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신하는 센싱부; 컨텐트 요청이 수신됨에 따라, 스포츠 경기가 진행되는 장소를 결정하는 프로세서; 결정된 장소에 관한 실사 이미지 및 가상 이미지를 획득하는 통신부; 및 사용자의 제스쳐에 따라, 스포츠 경기가 진행되는 장소에서의 특정 위치에 관한 실사 이미지 및 가상 이미지를 표시하는 출력부를 포함한다.A device for providing content in a VR space according to an exemplary embodiment includes: a sensing unit for receiving a content request for a sporting event from a user; A processor that, upon receipt of the content request, determines a location for the sporting event to proceed; A communication unit for acquiring a real image and a virtual image of the determined location; And an output unit for displaying a real image and a virtual image relating to a specific position in a place where a sporting event is performed according to a user's gesture.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스에 있어서, 프로세서는, 사용자의 제스쳐에 대응되는 스포츠 경기가 진행되는 장소 내에서의 위치를 결정하고, 통신부는, 결정된 위치에 대한 실사 이미지 및 가상 이미지를 수신한다.In a device for providing content in a VR space according to an embodiment, a processor determines a position within a place where a sports event corresponding to a user's gesture proceeds, and the communication unit displays a real image and virtual And receives an image.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스에 있어서, 실사 이미지는, 스포츠 경기를 복수의 시점 각각에서 촬영한 이미지를 포함하고,In a device for providing content in a VR space according to an embodiment, the live-action image includes an image taken at each of a plurality of viewpoints of a sporting event,

출력부는, 특정 위치에서의 제 1 시점에서 촬영된 이미지에 제 1 시점과 다른 시점에서 촬영된 적어도 하나의 이미지를 조합하여 표시한다.The output unit combines and displays at least one image photographed at a first point in time at a point different from the first point.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스에 있어서, 통신부는, 특정 위치의 실사 이미지 및 가상 이미지 중 적어도 하나에 표시된 객체에 관한 구매 요청 및 결제 정보를 전송하고, 출력부는, 객체의 구매가 완료되는 경우, 객체의 가상 이미지를 상기 VR 공간 상에 표시한다.In a device for providing content in a VR space according to an exemplary embodiment, the communication unit transmits purchase request and payment information regarding an object displayed in at least one of a real image and a virtual image at a specific location, The virtual image of the object is displayed on the VR space.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스에 있어서, 프로세서는, 스포츠 경기에 관한 컨텐트의 제공 이전에 사용자가 시청한 적어도 하나의 컨텐트의 히스토리 정보를 생성하고, 출력부는, 적어도 하나의 컨텐트 중 어느 하나가 선택되는 경우, 선택된 컨텐트의 히스토리 정보를 VR 공간 상에 표시하고, 표시된 히스토리 정보에 포함된 위치를 사용자가 선택하는 경우, 선택된 위치에 관한 실사 이미지 및 가상 이미지를 VR 공간 상에 표시한다.In a device for providing content in a VR space according to an embodiment, the processor generates history information of at least one content that the user watched prior to the presentation of the content relating to the sporting event, and the output unit includes at least one content The history information of the selected content is displayed on the VR space, and when the user selects the position included in the displayed history information, the real image and the virtual image of the selected position are displayed on the VR space do.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스에 있어서, 프로세서는, 사용자의 SNS(Social Network Service) 계정을 통해 연결된 복수의 다른 사용자 중 스포츠 경기에 관한 컨텐트를 이용하는 사용자를 선택하고, 통신부는, 선택된 사용자의 디바이스에 VR 공간으로의 초대 메시지를 전송하며, 출력부는, 초대 메시지에 대한 수락 메시지가 수신됨에 따라, VR 공간 상에 상기 다른 사용자를 나타내는 가상 이미지를 표시한다.In a device for providing content in a VR space according to an embodiment, the processor selects a user who uses content related to a sporting event among a plurality of other users connected via a user's Social Network Service (SNS) account, And transmits an invitation message to the selected user's device to the VR space. The output unit displays a virtual image representing the other user on the VR space as the acceptance message for the invitation message is received.

일 실시예에 따른 VR 공간에서 컨텐트를 제공하는 디바이스에 있어서, 사용자의 프로파일 정보를 수신하는 사용자 입력부를 더 포함하고, 프로세서는,A device for providing content in a VR space according to an embodiment, the device further comprising a user input for receiving user profile information,

수신된 프로파일 정보를 기초로 상기 사용자를 나타내는 아바타 이미지를 생성하며, 출력부는, 실사 이미지 및 가상 이미지와 함께 아바타 이미지를 조합하여 VR 공간 상에 표시한다.And generates an avatar image representing the user on the basis of the received profile information. The output unit combines the avatar image together with the real image and the virtual image, and displays the avatar image on the VR space.

도 1은 일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법을 설명하기 위한 흐름도이다.
도 2는 일 실시예에 따른 디바이스가 스포츠 경기가 수행되는 장소의 실사 이미지 및 가상 이미지를 제공하는 방법을 보다 구체적으로 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 디바이스가 VR 공간 상의 제 1 위치에 대한 실사 이미지 및 가상 이미지를 조합하여 제공하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 디바이스가 VR 공간 상의 제 2 위치에 대한 실사 이미지 및 가상 이미지를 조합하여 제공하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 디바이스가 VR 공간상의 제 3 위치에서 사용자에게 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 디바이스에서 제공하는 서포터 아바타를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 디바이스가 스포츠 경기에 관한 컨텐트를 제공하는 방법을 보다 구체적으로 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 디바이스가 사용자가 시청한 스포츠 경기에 관한 컨텐트의 히스토리 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 디바이스에서 스포츠 경기의 인공 지능 가이드를 제공하는 방법을 설명하기 위한 도면이다.
도 10 및 11은 일 실시예에 따라 VR 공간에서 컨텐트를 제공하는 디바이스의 블록도이다.1 is a flow chart illustrating a method of providing a content in a VR space by a device according to an embodiment.
FIG. 2 is a view for explaining a method for providing a real image and a virtual image of a place where a device according to an embodiment performs a sports competition.
3 is a diagram for explaining a method of providing a combination of a real image and a virtual image for a first location on a VR space according to an exemplary embodiment.
4 is a diagram for explaining a method of providing a combination of a real image and a virtual image for a second location on a VR space according to an embodiment of the present invention.
5 is a diagram for explaining how a device according to an embodiment provides a service to a user at a third location on a VR space.
6 is a diagram for explaining a supporter avatar provided in a device according to an embodiment.
7 is a diagram for more specifically explaining how a device according to one embodiment provides content related to a sporting event.
8 is a view for explaining a method of providing a history information of a content related to a sporting event viewed by a user according to an embodiment of the present invention.
9 is a diagram for explaining a method of providing an artificial intelligence guide of a sporting event in a device according to an embodiment.
10 and 11 are block diagrams of a device providing content in a VR space in accordance with one embodiment.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

도 1은 일 실시예에 따른 디바이스가 VR 공간에서 컨텐트를 제공하는 방법을 설명하기 위한 흐름도이다.1 is a flow chart illustrating a method of providing a content in a VR space by a device according to an embodiment.

단계 S110에서, 디바이스는 디바이스를 착용한 사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신할 수 있다.In step S110, the device may receive a content request for a sporting event from a user wearing the device.

예를 들어, 디바이스는 사용자로부터 스포츠 경기의 종류에 관한 정보를 포함하는 컨텐트 요청을 수신할 수 있다. 여기에서, 스포츠 경기의 종류에 관한 정보에는 스포츠 경기의 종목 스포츠 경기가 수행되는 장소, 날짜 및 스포츠 경기에 참여하는 팀의 종류 중 적어도 하나에 관한 정보가 포함될 수 있다.For example, the device may receive a content request from a user that includes information about the type of sporting event. Here, the information on the kind of the sports game may include information on at least one of the place where the sports game of the sport game is performed, the date, and the type of the team participating in the sports game.

또한, 사용자는 스포츠 경기의 종류에 관한 정보를 음성, 터치 등의 입력 신호를 통해 디바이스에 제공할 수 있다. 예를 들어, 사용자가 디바이스의 일측면을 터치하는 경우, 디바이스는 스포츠 경기의 종류에 관한 정보를 입력할 수 있는 화면을 표시할 수 있다. 사용자는 표시된 화면에 스포츠 경기의 종류에 관한 정보를 입력할 수 있다. 다른 예에 따라, 사용자가 스포츠 경기의 종류에 관한 정보를 말하는 경우, 디바이스는 사용자의 음성을 인식하여 스포츠 경기의 종류에 관한 정보를 획득할 수 있다.In addition, the user can provide information on the type of sports game to the device through input signals such as voice, touch, and the like. For example, when the user touches one side of the device, the device can display a screen where information on the type of sporting event can be input. The user can input information on the type of sports game on the displayed screen. According to another example, if the user speaks information about the type of sporting event, the device can recognize the user's voice and obtain information about the type of sporting event.

단계 S120에서, 디바이스는 컨텐트 요청이 수신됨에 따라, 스포츠 경기가 진행되는 장소에 관한 실사 이미지 및 가상 이미지를 획득할 수 있다.In step S120, as the content request is received, the device can obtain a real image and a virtual image of the place where the sporting event is going.

일 실시예에 따른 디바이스는 사용자로부터 컨텐트 요청이 수신됨에 따라, 스포츠 경기가 진행되는 장소의 실사 이미지 및 가상 이미지를 생성하는 서버에 실사 이미지 및 가상 이미지를 요청할 수 있다.A device according to an exemplary embodiment may request a real image and a virtual image to a server that generates a real image and a virtual image of a place where a sports game is going, as a content request is received from a user.

예를 들어, 디바이스는 스포츠 경기가 진행되는 A 경기장의 입구에 대한 실사 이미지 및 가상 이미지를 요청할 수 있다. 여기에서, 실사 이미지는 서버가 디바이스로부터 요청을 수신한 시점의 상황을 촬영한 이미지일 수 있다. 또한, 가상 이미지는 VR 공간에서 사용자가 스포츠 경기를 보다 실감나게 느낄 수 있도록 생성된 그래픽 이미지일 수 있다. 예를 들어, A 경기장에서 수행되는 경기를 후원하는 후원사들에서 제공하는 광고, 가상 상점 및 가상 박물관 등의 이미지가 가상 이미지에 포함될 수 있다. 다른 예에 따라, 가상 이미지는 사용자를 나타내는 서포터 아바타를 포함할 수 있다.For example, the device may request a live-action image and a virtual image of an entrance of an arena where a sporting event is taking place. Here, the real image may be an image of the situation at the time when the server receives the request from the device. Also, the virtual image may be a graphic image generated in the VR space so that the user can feel the sports game more realistically. For example, an image of an advertisement, a virtual store, and a virtual museum provided by sponsors sponsoring a competition performed in the stadium A may be included in the virtual image. According to another example, the virtual image may include a supporter avatar representing the user.

단게 S130에서, 디바이스는 사용자의 제스쳐에 따라 스포츠 경기가 진행되는 장소에서의 특정 위치에 관한 실사 이미지 및 가상 이미지를 표시할 수 있다.At step S130, the device can display a real image and a virtual image of a specific position in a place where the sports game is performed according to the user's gesture.

일 실시예에 따른 디바이스는 사용자의 제스쳐가 감지됨에 따라, 스포츠 경기가 진행되는 장소에서 특정 위치에 관한 실사 이미지 및 가상 이미지를 획득할 수 있다. 여기에서, 스포츠 경기가 진행되는 장소는 복수의 위치로 구별될 수 있다. 예를 들어, 스포츠 경기가 진행되는 장소는 중앙역, 중앙로, 광장 및 스타디움으로 구별될 수 있다.As the user's gesture is detected, the device according to an exemplary embodiment can obtain a real image and a virtual image of a specific location at a place where a sporting event is going. Here, the place where the sporting event progresses can be distinguished into a plurality of positions. For example, the places where sports events take place can be distinguished by the central station, the central road, the plaza, and the stadium.

디바이스는 중앙역의 위치에 있는 사용자가 제 1 방향으로 서서, 걸어가는 제스쳐를 취하는 경우, 중앙역의 다음 위치인 중앙로의 실사 이미지 및 가상 이미지를 서버로부터 획득하여 표시할 수 있다. 다만, 이는 일 실시예일 뿐, 사용자는 사용자가 이동하길 원하는 위치를 음성으로 디바이스에 입력하여, 원하는 위치의 가상 이미지 및 실사 이미지를 표시하도록 디바이스를 제어할 수 있다.When the user at the position of the central station is in the first direction and takes a walking gesture, the device can obtain and display a real image and a virtual image at the center, which is the next position of the central station, from the server. However, this is only an embodiment, and the user can input the position where the user desires to move to the device by voice, and control the device to display the virtual image and the real image at the desired position.

일 실시예에 따른 디바이스는 스포츠 경기가 진행되는 장소에 포함된 복수의 위치의 가상 이미지 및 실사 이미지를 생성하는 적어도 하나의 서버와 실시간으로 통신을 수행함으로써, 사용자의 제스쳐에 대응되는 위치의 가상 이미지 및 실사 이미지를 획득할 수 있다. 여기에서, 디바이스에서 서버로 전송되는 가상 이미지 및 실사 이미지의 요청에는 사용자의 제스쳐에 대응되는 위치에 관한 식별 정보가 포함될 수 있다.The device according to an embodiment performs real-time communication with at least one server that generates a virtual image and a real image at a plurality of positions included in a place where a sporting event is performed, thereby generating a virtual image of a position corresponding to the user's gesture And a real image can be obtained. Here, the request for the virtual image and the real image transferred from the device to the server may include identification information about the position corresponding to the user's gesture.

한편, 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는 휴대폰, 스마트 폰(smart phone), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), HMD(Head Mounted Display) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.Meanwhile, the device 100 according to one embodiment may be implemented in various forms. For example, the device 100 described herein may be a mobile phone, a smart phone, a tablet PC, an electronic book terminal, a digital broadcast terminal, a personal digital assistant (PDA), a portable multimedia player (PMP) Head Mounted Display), but the present invention is not limited thereto.

도 2는 일 실시예에 따른 디바이스가 스포츠 경기가 수행되는 장소의 실사 이미지 및 가상 이미지를 제공하는 방법을 보다 구체적으로 설명하기 위한 도면이다.FIG. 2 is a view for explaining a method for providing a real image and a virtual image of a place where a device according to an embodiment performs a sports competition.

도 2를 참고하면, 디바이스는 사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신하는 경우, 스포츠 경기가 진행되는 장소인 A1에 관한 실사 이미지 및 가상 이미지를 획득할 수 있다. 한편, 스포츠 경기가 진행되는 장소인 A1은 복수의 위치들로 구별될 수 있다. 복수의 위치들에 관한 정보는 경기장의 지도(200)로서 디바이스를 통해 표시될 수 있다. 본 실시예에서는 디바이스가 사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신하는 경우, 장소인 A1에서, 초기 위치인 위치 A(210)에 관한 실사 이미지 및 가상 이미지를 획득하는 것으로 가정한다.Referring to FIG. 2, when the device receives a content request for a sporting event from a user, it can acquire a live-action image and a virtual image of A1 where the sporting event is going. On the other hand, A1, which is a place where a sporting event progresses, can be distinguished into a plurality of positions. Information about the plurality of locations may be displayed through the device as a map 200 of the playing field. In the present embodiment, it is assumed that when the device receives a content request regarding a sporting event from a user, it acquires a real image and a virtual image relating to the initial position A 210 in the place A1.

디바이스는 위치 A(210)에 관한 실사 이미지 및 가상 이미지를 표시할 수 있다. 한편, 여기에서, 가상 이미지에는 장소 A1의 지도, 서포터 아바타 및 광고가 포함될 수 있다. 디바이스는 실사 이미지 및 가상 이미지를 서버로부터 수신한 렌더링 정보에 따라 조합하여 표시할 수 있다. 렌더링 정보에는 실사 이미지와 가상 이미지가 조합되는 스티칭(stitching) 정보 및 가상 이미지가 배치되는 실사 이미지 상의 위치 정보 등이 포함될 수 있다. 실사 이미지와 가상 이미지가 조합되는 예에 대해서는 도 3 내지 도 5를 참고하여 구체적으로 후술하도록 한다.The device can display a real image and a virtual image with respect to location A (210). On the other hand, here, the virtual image may include a map of the place A1, a supporter avatar, and an advertisement. The device can combine and display the live image and the virtual image according to the rendering information received from the server. The rendering information may include stitching information in which a real image and a virtual image are combined, position information on a real image on which a virtual image is arranged, and the like. An example in which a real image and a virtual image are combined will be described later in detail with reference to FIG. 3 to FIG.

일 실시예에 따른 디바이스는 사용자의 제스쳐를 감지하여, 사용자가 이동하기를 원하는 A1 내에서의 위치를 결정할 수 있다. 예를 들어, 사용자가 이동할 수 있는 A1 내에서의 위치는 중앙역인 위치 A(210), 중앙로인 위치 B(220), 광장인 위치 C(230), 경기장의 위치 D(240)를 포함할 수 있다. 또한, 광장인 위치 C(230)의 경우, 개최 도시 홍보관(231), 기념품 샵(232), 축구 경기 박물관(233), 토토샵(234), 로컬 파트너 쇼룸(235), 피파 세계 경기 박물관(236), 글로벌 파트너 쇼룸(237) 및 경기 상대팀 광장(238)를 추가적으로 포함할 수 있다. 또한, 경기장의 위치 D(240)에서도, 사용자는 선택에 따라, 사용자가 선택한 팀의 상대팀 위치인 위치 A2(250)로 이동할 수도 있다.A device according to one embodiment may detect a user's gesture and determine a location within A1 that the user desires to move. For example, the location in A1 where the user can move may includelocation A 210, which is the central station,location B 220,center C 230, andlocation D 240, have. In the case of thelocation C 230 being the square, the publicity hall 231, the souvenir shop 232, the football game museum 233, the tote shop 234, thelocal partner showroom 235, the FIFA world game museum 236 ), A global partner showroom 237, and an opponent team square 238. Also, at the venue D (240) of the stadium, the user may optionally move to a location A2 (250) which is the opponent team position of the team selected by the user.

또한, 디바이스는 사용자가 아바타 선택 및 커뮤니티 초대 방(205)을 선택하는 경우, 사용자를 나타내는 아바타를 생성하거나 스포츠 경기에 관한 컨텐트를 함께 이용하는 다른 사용자에 대한 정보를 제공할 수 있다.In addition, the device may generate an avatar representing the user or provide information about other users who are using the content related to the sporting event together, when the user selects the avatar selection and community invitation room 205.

도 3은 일 실시예에 따른 디바이스가 VR 공간 상의 제 1 위치에 대한 실사 이미지(320) 및 가상 이미지(310, 330)를 조합하여 제공하는 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a method of providing a device according to an embodiment in combination with areal image 320 andvirtual images 310 and 330 for a first position on a VR space.

도 3을 참고하면, 일 실시예에 따른 디바이스는 사용자로부터 스포츠 경기에 관한 컨텐트 요청이 수신되는 경우, 제 1 위치에 관한 실사 이미지(320) 및 가상 이미지(310, 330)를 획득할 수 있다. 예를 들어, 디바이스는 제 1 위치의 실사 이미지(320) 및 가상 이미지(310, 330)를 생성하는 서버 또는 외부의 디바이스로부터 실사 이미지(320) 및 가상 이미지(310, 330)를 실시간으로 수신할 수 있다.Referring to FIG. 3, a device according to one embodiment may obtain areal image 320 and avirtual image 310, 330 regarding a first location when a content request for a sporting event is received from a user. For example, the device may receive thereal image 320 and thevirtual images 310 and 330 in real time from a server or an external device that creates thereal image 320 and thevirtual images 310 and 330 at the first location .

한편, 디바이스는 실사 이미지(320) 및 가상 이미지(310, 330)가 조합된 이미지를 수신할 수도 있고, 실사 이미지(320) 및 가상 이미지(310, 330)와 이를 조합하기 위한 스티칭 정보를 함께 수신할 수도 있다.Meanwhile, the device may receive the combined image of thereal image 320 and thevirtual images 310 and 330, together with thereal image 320 and thevirtual images 310 and 330 together with the stitching information for combining them You may.

가상 이미지(310, 330)에는 스포츠 경기를 후원하는 기업 또는 스포츠 경기의 개최 도시의 광고 이미지(332)가 포함될 수 있다. 또한, 다른 예에 따라, 사용자는 제 1 가상 이미지(310)를 선택하여, 제 1 가상 이미지(310)와 연결된 다른 위치로 이동할 수도 있다. 예를 들어, 사용자는 제 1 가상 이미지(310)를 선택함으로써, 도 2를 참고하여 전술한 아바타 선택 및 커뮤니티 초대 방(205)으로 이동할 수 있다. 사용자는 이동된 위치에서, 사용자와 함께 스포츠 경기에 관한 컨텐트를 이용하기 위한 다른 사용자와 연결을 수행할 수 있는 위치로 이동할 수 있다.Thevirtual images 310 and 330 may include anadvertisement image 332 of a city sponsoring a sporting event or sponsoring a sporting event. Also, according to another example, a user may select a firstvirtual image 310 and move to another location associated with the firstvirtual image 310. [ For example, the user can move to the avatar selection and community invitation room 205 described above with reference to FIG. 2 by selecting the firstvirtual image 310. The user can move to a location where the user can perform a connection with another user to use the content related to the sporting event together with the user.

또한, 사용자는 제 1 가상 이미지(310)를 선택하여, 사용자를 나타내는 아바타를 선택할 수도 있다. 예를 들어, 디바이스는 사용자가 제 1 가상 이미지(310)를 선택하여, 아바타 선택 및 커뮤니티 초대 방(205)으로 이동하는 경우, 사용자의 이미지를 획득할 수 있다. 사용자의 이미지는 사용자를 스캐닝하는 3D 스캐닝 디바이스 등으로부터 획득될 수 있으나, 이는 일 실시예일 뿐, 디바이스 내에 사용자의 이미지가 미리 저장될 수도 있다. 디바이스는 획득된 사용자 이미지를 기초로 서포터 아바타를 생성할 수 있다.In addition, the user may select the firstvirtual image 310 to select an avatar representing the user. For example, the device may obtain an image of the user when the user selects the firstvirtual image 310 and moves to the avatar selection and community invitation room 205. The user's image may be obtained from a 3D scanning device or the like that scans the user, but this is only an example, and the user's image may be pre-stored in the device. The device can generate a supporter avatar based on the acquired user image.

서포터 아바타는 추후에 다른 위치로 이동 시, 인증 등의 프로세스를 수행하는데 이용될 수도 있다. 예를 들어, 경기를 제공하는 장소 내에서, 현재 위치 이외의 다른 위치로 이동하기 위해서는 요금 지불 여부를 확인해야 할 필요가 있다. 이러한 경우, 디바이스는 사용자를 나타내는 서포터 아바타를 다른 위치를 관리하는 서버에 인식시킴으로써, 사용자가 요금을 지불하였다는 정보를 제공할 수도 있다. 서포터 아바타에 대한 구체적인 설명은 도 6을 참고하여 후술하도록 한다.The supporter avatar may be used to perform a process such as authentication when moving to another location later. For example, in order to move to a location other than your current location within the place providing the game, you need to check whether you are paying the fee. In such a case, the device may provide information that the user has paid the fee by recognizing the supporter avatar representing the user to the server managing the other location. A specific description of the supporter avatar will be described later with reference to Fig.

디바이스는 제 1 위치에 대한 실사 이미지(320) 및 가상 이미지(310, 330)가 조합된 이미지를 표시함으로써 사용자가 VR 공간에서 스포츠 경기를 관람하기 위해 필요한 환경을 보다 현실적으로 제공할 수 있다.The device can display the combined image of thereal image 320 and thevirtual images 310 and 330 for the first position, thereby making it possible for the user to more realistically provide the environment necessary for viewing the sports game in the VR space.

도 4는 일 실시예에 따른 디바이스가 VR 공간 상의 제 2 위치에 대한 실사 이미지(400) 및 가상 이미지(420, 440)를 조합하여 제공하는 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a method in which a device according to an embodiment provides a combination of areal image 400 andvirtual images 420 and 440 for a second location on the VR space.

도 4를 참고하면, 디바이스는 사용자로부터 제 2 위치로의 이동을 요청하는 제스쳐가 감지되는 경우, 제 2 위치에 관한 실사 이미지(400) 및 가상 이미지(420, 440)를 획득할 수 있다. 제 2 위치에 관한 실사 이미지(400)는 제 2 위치를 촬영한 이미지를 나타낸다. 한편, 제 2 위치에 관한 가상 이미지(420, 440)에는 광고 이미지(420) 및 사용자의 취향을 반영한 서비스를 위한 제 2 가상 이미지(440)를 포함할 수 있다. 사용자는 제 2 위치로 이동하기에 앞서, 실사 이미지(400)와 함께 시청하고 싶은 제 2 가상 이미지(440)의 종류를 선택할 수 있다. 예를 들어, 공연 영상, 경기 개최 도시의 관광 명소의 영상 등이 제 2 가상 이미지(440)에 포함될 수 있다.Referring to FIG. 4, the device may obtain areal image 420 and avirtual image 420, 440 for the second location when a gesture requesting movement from the user to the second location is sensed. And thereal image 400 relating to the second position represents the image photographed at the second position. On the other hand, thevirtual images 420 and 440 related to the second location may include theadvertisement image 420 and the secondvirtual image 440 for the service reflecting the user's taste. The user can select the type of the secondvirtual image 440 to be viewed together with thereal image 400 before moving to the second position. For example, a performance image, a video of a tourist attraction in a competition host city, and the like may be included in the secondvirtual image 440.

여기에서, 디바이스는 사용자가 실사 이미지(400)와 조합할 수 있는 가상 이미지의 종류를 미리 표시하여, 사용자가 표시된 가상 이미지의 종류 중 어느 하나를 선택하도록 할 수 있다. 또한, 디바이스는 특정 가상 이미지를 선택함으로써 사용자가 받을 수 있는 할인 정보, 포인트 정보 등을 함께 표시할 수도 있다.Here, the device may display the type of the virtual image that the user can combine with thereal image 400 in advance, so that the user can select one of the types of the displayed virtual image. In addition, the device may display discount information, point information, etc. that the user can receive by selecting a specific virtual image.

한편, 일 실시예에 따른 디바이스는 사용자를 나타내는 서포터 아바타(410)를 실사 이미지(400)와 가상 이미지(420, 440)가 조합된 이미지에 함께 표시할 수 있다. 디바이스는 서포터 아바타(410)가 사용자의 제스쳐에 따라 이동하도록 표시함으로써, 사용자가 실제 제 2 위치에 있는 것과 같은 효과를 줄 수 있다.Meanwhile, the device according to an exemplary embodiment may display thesupporter avatar 410 representing the user together with the combined image of thereal image 400 and thevirtual images 420 and 440. The device can display the effect that thesupporter avatar 410 moves in accordance with the user's gesture so that the user has the same effect as if the user actually is in the second position.

또한, 디바이스는 사용자와 함께 스포츠 경기에 관한 컨텐트를 이용하는 다른 사용자의 아바타(430)를 사용자의 서포터 아바타(410)와 함께 표시할 수 있다. 이를 위해, 디바이스는 다른 사용자의 디바이스와 실시간으로 정보를 송수신할 수 있다. 예를 들어, 디바이스는 사용자의 음성, 사용자의 제스쳐 등을 기초로, 사용자의 상태 정보를 생성하여, 다른 사용자의 디바이스에게 제공할 수 있다. 또한, 디바이스는 다른 사용자로부터 다른 사용자의 음성, 다른 사용자의 제스쳐 등을 기초로 생성된 다른 사용자의 상태 정보를 수신하여, 이를 기초로 서포터 아바타(410)와 다른 사용자의 아바타(430)를 함께 표시할 수 있다. 한편, 사용자는 디바이스에서 제공되는 SNS(Social Network Service) 서비스를 기초로, 사용자와 스포츠 경기에 관한 컨텐트를 함께 이용하는 다른 사용자를 선택할 수 있다.In addition, the device may display anavatar 430 of another user who uses the content related to the sports game together with the user together with the user'ssupporter avatar 410. To this end, the device can send and receive information in real time to other user's devices. For example, the device can generate the status information of the user based on the voice of the user, the gesture of the user, and the like, and provide the status information to the device of the other user. In addition, the device receives status information of another user generated based on the voice of another user, the gesture of another user, etc. from another user, and displays theavatar 430 of another user together with thesupporter avatar 410 can do. On the other hand, the user can select another user who uses the content related to the sports game together with the user based on the SNS (Social Network Service) service provided in the device.

도 5는 일 실시예에 따른 디바이스(500)가 VR 공간상의 제 3 위치에서 사용자에게 서비스를 제공하는 방법을 설명하기 위한 도면이다.5 is a diagram for explaining how adevice 500 according to an embodiment provides a service to a user at a third location on a VR space.

도 5를 참고하면, 디바이스(500)는 사용자의 제스쳐에 따라, 제 3 위치에 대한 실사 이미지 및 가상 이미지가 조합된 이미지(510)를 수신할 수 있다. 여기에서, 사용자의 제스쳐에 따라 이동할 수 있는 위치에 관한 정보는 미리 설정되어 있는 것으로 가정한다. 또한, 본 실시예에서 제 3 위치는 도 2를 참고하여 전술한 기념품 샵(232)으로 가정한다. 제 3 위치에서는 기념품 샵(232)에서 사용자가 구매할 수 있는 상품(예를 들어, 512)에 대한 실사 이미지와 기념품 샵의 배경 등을 나타내는 가상 이미지가 조합된 이미지가 디바이스(500)에 획득될 수 있다.Referring to FIG. 5, thedevice 500 may receive an image 510 in which a real image and a virtual image for the third position are combined according to a user's gesture. Here, it is assumed that information about a position that can be moved according to the user's gesture is set in advance. In this embodiment, the third position is assumed to be the souvenir shop 232 described above with reference to Fig. In the third position, an image combining the virtual image representing the background of the souvenir shop and the real image of the commodity (for example, 512) that the user can purchase in the souvenir shop 232 can be acquired in thedevice 500 have.

디바이스(500)의 사용자는 제 3 위치에 진열된 상품(예를 들어, 512) 등을 시청하면서, 사용자가 원하는 상품(예를 들어, 512)을 선택할 수 있다. 또한, 디바이스(500)는 사용자가 상품 A(512)를 선택하는 경우, 상품 A(512)를 구매하기 위한 지불 수단을 실행하기 위해, 사용자에게 결제를 위한 인증 정보 입력을 요청할 수도 있다.The user of thedevice 500 may select a desired item (e.g., 512) while the user views the item (e.g., 512) displayed at the third position. Further, thedevice 500 may request the user to input authentication information for payment, in order to execute the payment means for purchasing the merchandise A (512) when the user selects the merchandise A (512).

또한, 디바이스(500)는 사용자가 상품 A(512)를 구매하기에 앞서, 상품 A(512)의 가상 이미지를 서포터 아바타에게 적용시킴으로써, 사용자가 상품 A(512)를 미리 체험할 수 있도록 할 수 있다. 또한, 사용자는 상품 A(512)를 직접 구매할 수도 있고, 상품 A(512)에 대한 가상 이미지를 구매할 수도 있다. 디바이스(500)는 사용자가 상품 A(512)에 대한 가상 이미지를 구매하는 경우, 서포터 아바타의 정보에 상품 A(512)에 대한 가상 이미지를 함께 저장함으로써, 사용자가 추후에 스포츠 경기에 관한 다른 컨텐트를 이용하고자 하는 경우, 저장된 가상 이미지를 로딩하여 서포터 아바타에 적용할 수 있다.Thedevice 500 may also allow the user to experienceproduct A 512 in advance by applying a virtual image ofproduct A 512 to the supporter avatar prior to the userpurchasing product A 512 have. In addition, the user may purchase themerchandise A 512 directly or purchase a virtual image for themerchandise A 512.Device 500 stores a virtual image ofmerchandise A 512 together with the information of the supporter avatar when the user purchases a virtual image formerchandise A 512 so that the user can later select another content It is possible to load the stored virtual image and apply it to the supporter avatar.

도 6은 일 실시예에 따른 디바이스에서 제공하는 서포터 아바타(610)를 설명하기 위한 도면이다.6 is a diagram for explaining asupporter avatar 610 provided in a device according to an embodiment.

도 6을 참고하면, 디바이스는 사용자의 정보를 기초로 서포터 아바타(610)를 생성할 수 있다. 여기에서, 사용자의 정보는 사용자의 성별, 나이, 신체 정보, 직업 등을 포함하는 프로파일 및 사용자의 이미지를 포함할 수 있다. 또한, 서포터 아바타(610)를 이용한 VR 공간 내에서의 결제를 위해, 사용자의 결제 수단에 관한 식별 정보가 사용자의 정보에 포함될 수도 있다.Referring to FIG. 6, the device may generate asupporter avatar 610 based on the user's information. Here, the user's information may include a profile including the user's gender, age, body information, occupation, etc., and an image of the user. In addition, for payment in the VR space using thesupporter avatar 610, identification information about the payment means of the user may be included in the user's information.

디바이스는 사용자로부터 획득된 제스쳐에 따라, 사용자가 VR 공간 내의 특정 위치로 이동하는 경우, 이동된 특정 위치의 실사 이미지와 가상 이미지가 조합된 이미지 상에 서포터 아바타(610)를 표시할 수 있다. 여기에서, 서포터 아바타(610)가 표시되는 방법은 도 4를 참고하여 전술한 방법과 대응될 수 있다.The device can display thesupporter avatar 610 on the combined image of the real image and the virtual image of the moved specific position in accordance with the gesture obtained from the user when the user moves to a specific position in the VR space. Here, the manner in which thesupporter avatar 610 is displayed may correspond to the method described above with reference to Fig.

한편, 디바이스는 VR 공간에서의 사용자의 상태를 서포터 아바타(610)에 적용할 수 있다. 여기에서, 사용자의 상태란 사용자가 VR 공간에서 구매한 상품 정보, 사용자가 응원하는 스포츠 팀의 정보 등에 따라 결정될 수 있다. 예를 들어, 디바이스는 사용자가 VR 공간 내에서 구매한 스포츠 팀의 깃발에 대한 가상 이미지(611), 트로피에 대한 가상 이미지(613), 경기복에 대한 가상 이미지(615, 619) 및 팀 스카프에 대한 가상 이미지(617)를 서포터 아바타(610)에 적용할 수 있다. 여기에서, 가상 이미지란 실제 상품 등의 객체에 관한 3차원 이미지를 나타낸다.On the other hand, the device can apply the state of the user in the VR space to thesupporter avatar 610. Here, the state of the user can be determined according to the product information purchased by the user in the VR space, the information of the sports team cheered by the user, and the like. For example, the device may include avirtual image 611 for the flag of the sports team that the user has purchased in the VR space, avirtual image 613 for the trophy,virtual images 615 and 619 for the match, and a team scarf Thevirtual image 617 can be applied to thesupporter avatar 610. Here, the virtual image represents a three-dimensional image of an object such as an actual product.

디바이스는 사용자가 스포츠 경기에 관한 컨텐트를 이용하지 않을 때에도, 사용자의 요청에 따라 서포터 아바타(610)에 대한 이미지를 표시할 수 있다. 또한, 서포터 아바타(610)에 대한 이미지는 SNS와 같은 애플리케이션을 통해 다른 사용자와 공유될 수 있다.The device can display an image for thesupporter avatar 610 according to a user's request even when the user does not use the content related to the sports game. Further, the image for thesupporter avatar 610 can be shared with other users via an application such as the SNS.

도 7은 일 실시예에 따른 디바이스가 스포츠 경기에 관한 컨텐트를 제공하는 방법을 보다 구체적으로 설명하기 위한 도면이다.7 is a diagram for more specifically explaining how a device according to one embodiment provides content related to a sporting event.

도 7을 참고하면, 디바이스는 사용자로부터 도 2를 참고하여 전술한 경기장(240)으로의 위치 변경을 요청하는 제스쳐를 획득할 수 있다. 이에 따라, 디바이스는 경기장(240)의 실사 이미지(710, 720, 740) 및 가상 이미지(730)를 조합하여 표시할 수 있다.Referring to FIG. 7, the device may obtain a gesture from the user requesting a change of location to thestadium 240 described above with reference to FIG. Accordingly, the device can display a combination of thelive image 710, 720, 740 and thevirtual image 730 of thestadium 240 in combination.

예를 들어, 디바이스는 사용자가 미리 구매한 경기장 내에서의 좌석표의 위치 정보를 기초로, 좌석표의 위치 정보에 대응되는 시점에서의 경기장의 실사 이미지(710)를 획득할 수 있다. 또한, 디바이스는 사용자가 다양한 각도에서 경기를 관람할 수 있도록 제 1 시점에서의 실사 이미지(720) 및 제 2 시점에서의 실사 이미지(740)를 사용자의 위치 정보에 대응되는 시점에서의 실사 이미지(710)와 함께 제공할 수 있다.For example, the device can acquire areal image 710 of the stadium at a time point corresponding to the position information of the seat table, based on the position information of the seat table in the stadium purchased in advance by the user. In addition, the device displays thereal image 720 at the first point of view and thereal image 740 at the second point of time, so that the user can view the game from various angles, ). ≪ / RTI >

한편, 여기에서, 실사 이미지가 제공되는 시점은 사용자의 위치가 변경되는 경우, 변경된 사용자의 위치에 따라 업데이트 될 수 있다. 예를 들어, 디바이스는 사용자로부터 오른쪽으로 이동하는 제스쳐를 획득하는 경우, 현재 시점에서 오른쪽 방향으로 기 설정된 거리 만큼 이동한 위치에서의 실사 이미지를 획득할 수 있다.Here, the point at which the real image is provided may be updated according to the changed user's position when the user's location is changed. For example, when acquiring a gesture moving from the user to the right, the device can obtain a real image at a position shifted by a predetermined distance in the right direction at the current time point.

또한, 일 실시예에 따른 디바이스는 진행 중인 경기에서 선수의 위치 및 득점 상황에 관한 경기 중개 정보를 가상 이미지(730)로서 제공할 수 있다. 다만, 이는 일 실시예일 뿐, 가상 이미지(730)에는 경기를 후원하는 후원사에서 제공하는 광고 이미지가 표시될 수도 있다.In addition, the device according to an exemplary embodiment may provide, as avirtual image 730, game mediation information on a player's position and a scoring situation in an ongoing game. However, this is an embodiment only, and thevirtual image 730 may display an advertisement image provided by a sponsor sponsoring a game.

다른 실시예에 따라, 디바이스는 사용자로부터 다른 경기의 시청을 요청하는 입력이 수신되는 경우, 다른 경기의 실사 이미지 및 가상 이미지를 현재 표시되고 있는 이미지와 함께 멀티 스크린 형태로 표시할 수도 있다.According to another embodiment, when an input requesting viewing of another game from the user is received, the device may display the real image and the virtual image of another game in multi-screen form together with the currently displayed image.

도 8은 일 실시예에 따른 디바이스가 사용자가 시청한 스포츠 경기에 관한 컨텐트의 히스토리 정보를 제공하는 방법을 설명하기 위한 도면이다.8 is a view for explaining a method of providing a history information of a content related to a sporting event viewed by a user according to an embodiment of the present invention.

도 8을 참고하면, 디바이스는 기 설정된 히스토리 공간(810)에서 사용자에게 과거에 사용자가 시청했던 스포츠 경기에 관한 이미지들(820, 830, 840, 850, 860, 870)을 제공할 수 있다. 여기에서, 이미지들(820, 830, 840, 850, 860, 870)은 정지 이미지 또는 동영상 이미지 중 적어도 하나의 형태로 제공될 수 있다.8, the device may provide the user withimages 820, 830, 840, 850, 860, 870 relating to a sporting event that the user has watched in the past in apredetermined history space 810. [ Here, theimages 820, 830, 840, 850, 860, 870 may be provided in the form of at least one of a still image or a moving image.

일 실시예에 따른 디바이스는 사용자가 시청했던 스포츠 경기에 관한 이미지들(820, 830, 840, 850, 860, 870) 중 어느 하나에 대한 요청이 수신되는 경우, 수신된 요청에 대응되는 이미지를 표시할 수 있다. 여기에서, 스포츠 경기에 관한 이미지들(820, 830, 840, 850, 860, 870)은 도 3 내지 도 7을 참고하여 전술하였던 가상 이미지와 실사 이미지가 조합된 이미지일 수 있다.A device according to one embodiment may display an image corresponding to a received request when a request for any of theimages 820, 830, 840, 850, 860, 870 for a sporting event the user has viewed is received can do. Here, theimages 820, 830, 840, 850, 860, and 870 relating to the sports game may be an image in which the virtual image and the real image are combined as described above with reference to FIGS.

또한, 디바이스는 사용자가 선택된 이미지를 시청하는 도중, 선택된 이미지에 표시된 위치를 선택하는 경우, 선택된 위치의 가상 이미지 및 실사 이미지를 표시할 수 있다. 이에 따라, 사용자는 과거에 사용자가 시청했던 경기가 수행되는 위치로 이동하여, 과거의 기억을 다시 체험해 볼 수 있는 환경을 제공받을 수 있다.In addition, the device may display a virtual image and a real image of the selected location when the user selects a location displayed on the selected image while viewing the selected image. Accordingly, the user can move to the position where the game that the user watched in the past is performed, and receive an environment in which the user can experience the memory of the past again.

도 9는 일 실시예에 따른 디바이스에서 스포츠 경기의 인공 지능 가이드를 제공하는 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method of providing an artificial intelligence guide of a sporting event in a device according to an embodiment.

일 실시예에 따른 디바이스는 스포츠 경기를 관람할 수 있는 장소에 대한 가상 이미지 및 실사 이미지가 조합되어 생성된 가상 공간(900)에서 적어도 하나의 가이드(910, 920)를 제공할 수 있다. The device according to an exemplary embodiment may provide at least oneguide 910 and 920 in avirtual space 900 generated by combining a virtual image and a real image for a place where a sports game can be viewed.

디바이스는 사용자의 프로파일 정보 및 선호도 정보를 뉴럴 네트워크의 입력값으로 설정하여, 사용자에게 스포츠 경기에 관한 정보를 제공하는 적어도 하나의 가이드(910, 920)를 생성할 수 있다. 여기에서, 사용자의 프로파일 정보에는 사용자의 국적, 인종, 나이, 성별 등에 관한 정보가 포함될 수 있다. 또한, 선호도 정보는 사용자가 선호하는 인물의 특성에 관한 정보가 포함될 수 있다. 디바이스는 사용자의 프로파일 및 선호도 정보를 기초로 가이드(예를 들어, 910)의 얼굴, 체형, 키, 목소리 등을 설정할 수 있다.The device may generate at least oneguide 910, 920 that provides the user with information about the sporting event, by setting the user's profile information and preference information to the input value of the neural network. Here, the profile information of the user may include information on the nationality, race, age, sex, etc. of the user. In addition, the preference information may include information on characteristics of a person preferred by the user. The device may set the face, body shape, key, voice, etc. of the guide (e.g., 910) based on the user's profile and preference information.

다른 실시예에 따라, 디바이스는 해당 종목의 스포츠 스타, 가수, 배우, 대회 마스코트, 애니메이션 주인공 의 저작권 또는 초상권의 이용을 위한 결제 정보를 해당 저작권 또는 초상권을 관리하는 서버로부터 수신할 수 있다. 디바이스는 결제 정보를 사용자에게 제공하고, 사용자의 결제 승인이 완료될 경우, 획득한 스포츠 스타, 가수, 배우, 대회 마스코트, 애니메이션 주인공 등의 특성을 기초로 적어도 하나의 가이드(910, 920)를 생성할 수 있다.According to another embodiment, the device can receive payment information for use of a sports star, a singer, an actor, a contestant mascot, an animation character of an animated character, or a portrait of the corresponding event from a server managing the copyright or portrait privilege. The device provides the payment information to the user and generates at least oneguide 910 and 920 based on the characteristics of the acquired sports star, singer, actor, tournament mascot, can do.

일 실시예에 따라 생성된 가이드(예를 들어, 910)는 스포츠 경기를 관람할 수 있는 장소 및 스포츠 경기에 관한 정보를 디바이스의 사용자에게 제공할 수 있다.A guide (e.g., 910) generated in accordance with one embodiment may provide information to the user of the device about the place and sporting event where the sporting event can be viewed.

도 10 및 11은 일 실시예에 따라 VR 공간에서 컨텐트를 제공하는 디바이스(1000)의 블록도이다.10 and 11 are block diagrams of adevice 1000 that provides content in VR space in accordance with one embodiment.

도 10에 도시된 바와 같이, 일 실시예에 따른 디바이스(1000)는, 센싱부(1010), 프로세서(1020), 통신부(1030) 및 출력부(1040)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(1000)는 구현될 수 있다.10, thedevice 1000 according to an exemplary embodiment may include asensing unit 1010, aprocessor 1020, acommunication unit 1030, and anoutput unit 1040. As shown in FIG. However, not all illustrated components are required. Thedevice 1000 may be implemented by more components than the components shown, and thedevice 1000 may be implemented by fewer components.

예를 들어, 도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(1000)는, 센싱부(1010), 프로세서(1020), 통신부(1030) 및 출력부(1040) 이외에 A/V 입력부(1050), 사용자 입력부(1060) 및 메모리(1070)를 더 포함할 수도 있다.11, adevice 1000 according to an embodiment of the present invention includes asensing unit 1010, aprocessor 1020, acommunication unit 1030, and anoutput unit 1040, as well as an A /V input unit 1050, auser input unit 1060, and amemory 1070, as shown in FIG.

이하 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

센싱부(1010)는, 디바이스(1000)의 상태, 디바이스(1000) 주변의 상태 및 디바이스(1000)를 착용한 사용자의 상태 중 적어도 하나를 감지하고, 감지된 정보를 프로세서(1020)로 전달할 수 있다.Thesensing unit 1010 may sense at least one of a state of thedevice 1000, a state of thedevice 1000, and a state of a user wearing thedevice 1000, and may transmit the sensed information to theprocessor 1020 have.

또한, 일 실시예에 따른 디바이스(1000)는 사용자의 입력을 감지할 수 있다. 예를 들어, 디바이스(1000)는 사용자로부터 스포츠 경기에 관한 컨텐트 요청을 수신할 수 있다.In addition, thedevice 1000 according to one embodiment may sense a user's input. For example, thedevice 1000 may receive a content request for a sporting event from a user.

센싱부(1010)는, 지자기 센서(Magnetic sensor)(1011), 가속도 센서(Acceleration sensor)(1012), 온/습도 센서(1013), 적외선 센서(1014), 자이로스코프 센서(1015), 위치 센서(예컨대, GPS)(1016), 기압 센서(1017), 근접 센서(1018), 및 RGB 센서(illuminance sensor)(1019) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 다른 예에 따라 센싱부(1010)는 사용자의 맥박, 혈압 및 뇌파 등을 측정할 수 있는 생체 신호 감지 센서를 더 포함할 수도 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.Thesensing unit 1010 includes a magnetism sensor 1011, an acceleration sensor 1012, a temperature / humidity sensor 1013, an infrared sensor 1014, a gyroscope sensor 1015, (GPS) 1016, an air pressure sensor 1017, a proximity sensor 1018, and an RGB sensor (illuminance sensor) 1019. However, the present invention is not limited thereto. According to another example, thesensing unit 1010 may further include a bio-signal detection sensor capable of measuring a user's pulse, blood pressure, brain wave, and the like. The function of each sensor can be intuitively deduced from the name by those skilled in the art, so a detailed description will be omitted.

프로세서(1020)는, 통상적으로 디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1020)는, 메모리(1070)에 저장된 프로그램들을 실행함으로써, 센싱부(1010), 통신부(1030), 출력부(1040), A/V 입력부(1050) 및 사용자 입력부(1060) 등을 전반적으로 제어할 수 있다.Processor 1020 typically controls the overall operation ofdevice 1000. For example, theprocessor 1020 may include asensing unit 1010, acommunication unit 1030, anoutput unit 1040, an A /V input unit 1050, and a user input unit 1060 ) Can be generally controlled.

일 실시예에 따른 프로세서(1020)는 컨텐트 요청이 수신됨에 따라 스포츠 경기가 진행되는 장소를 결정할 수 있다. 또한, 프로세서(1020)는 사용자의 제스쳐에 대응되는 스포츠 경기가 진행되는 장소 내에서의 위치를 결정할 수 있다.Theprocessor 1020 in accordance with one embodiment may determine where the sporting event will proceed as the content request is received. In addition, theprocessor 1020 may determine a position within a sporting event where the gesture corresponds to the user's progress.

일 실시예에 따른 프로세서(1020)는 스포츠 경기에 관한 컨텐트의 제공 이전에 사용자가 시청하는 적어도 하나의 컨텐트의 히스토리 정보를 생성할 수 있다.Theprocessor 1020 in accordance with one embodiment may generate history information of at least one content that a user views prior to providing content relating to a sporting event.

일 실시예에 따른 프로세서(1020)는 사용자의 SNS 계정을 통해 연결된 복수의 다른 사용자 중 스포츠 경기에 관한 컨텐트를 이용하는 사용자를 선택할 수 있다.Theprocessor 1020 in accordance with one embodiment may select a user to use content relating to a sporting event among a plurality of other users connected through the user's SNS account.

일 실시예에 따른 프로세서(1020)는 사용자의 프로파일 정보를 기초로 사용자를 나타내는 아바타 이미지를 생성할 수 있다.Theprocessor 1020 according to one embodiment may generate an avatar image representing a user based on the profile information of the user.

통신부(1030)는, 외부 디바이스(예를 들어, 스포츠 경기가 진행되는 장소의 이미지를 관리하는 외부 서버)와 통신을 수행할 수 있다.Thecommunication unit 1030 can perform communication with an external device (e.g., an external server that manages an image of a place where a sporting event is performed).

일 실시예에 따른 통신부(1030)는 프로세서(1020)에서 결정된 장소에 관한 실사 이미지 및 가상 이미지를 획득할 수 있다. 또한, 통신부(1030)는 프로세서(1020)에서 결정된 스포츠 경기가 진행되는 장소 내에서의 특정 위치에 관한 실사 이미지 및 가상 이미지를 획득할 수 있다.Thecommunication unit 1030 according to an exemplary embodiment may acquire a real image and a virtual image related to a location determined by theprocessor 1020. [ In addition, thecommunication unit 1030 can acquire a real image and a virtual image related to a specific position within a place where the sports game is determined by theprocessor 1020.

일 실시예에 따른 통신부(1030)는 특정 위치의 실사 이미지 및 가상 이미지 중 적어도 하나에 표시된 객체에 관한 구매 요청 및 결제 정보를 객체의 판매를 관리하는 서버에 전송할 수 있다.Thecommunication unit 1030 according to an exemplary embodiment may transmit purchase request and payment information related to an object displayed in at least one of a real image and a virtual image at a specific location to a server managing the sales of the object.

일 실시예에 따른 통신부(1030)는 SNS 계정을 통해 연결된 복수의 다른 사용자 중 선택된 사용자의 디바이스에 VR 공간으로의 초대 메시지를 전송할 수 있다.Thecommunication unit 1030 according to an exemplary embodiment may transmit an invitation message to a VR space to a device of a selected user among a plurality of other users connected through an SNS account.

또한, 통신부(1030)는 디바이스(1000)와 외부 디바이스 간의 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1030)는, 근거리 통신부(1031), 이동 통신부(1032), 방송 수신부(1033)를 포함할 수 있다.In addition, thecommunication unit 1030 may include one or more components that enable communication between thedevice 1000 and an external device. For example, thecommunication unit 1030 may include alocal communication unit 1031, amobile communication unit 1032, and abroadcast receiving unit 1033. [

근거리 통신부(short-range wireless communication unit)(1031)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.A short-rangewireless communication unit 1031 includes a Bluetooth communication unit, a BLE (Bluetooth Low Energy) communication unit, a Near Field Communication unit, a WLAN communication unit, a Zigbee communication unit, IrDA, an infrared data association) communication unit, a WFD (Wi-Fi Direct) communication unit, an UWB (ultra wideband) communication unit, an Ant + communication unit, and the like.

이동 통신부(1032)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.Themobile communication unit 1032 transmits and receives a radio signal to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data depending on a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

방송 수신부(1033)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(1000)가 방송 수신부(1033)를 포함하지 않을 수도 있다.Thebroadcast receiving unit 1033 receives broadcast signals and / or broadcast-related information from outside via a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. Thedevice 1000 may not include thebroadcast receiver 1033 according to an embodiment.

출력부(1040)는, 오디오 신호 또는 영상 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(1041)와 음향 출력부(1042) 등이 포함될 수 있다.Theoutput unit 1040 is for outputting an audio signal, a video signal, or a vibration signal. Theoutput unit 1040 may include adisplay unit 1041 and anaudio output unit 1042.

디스플레이부(1041)는 디바이스(1000)에서 처리되는 정보를 표시 출력한다. 일 실시예에 따른 디스플레이부(1041)는 사용자의 제스쳐에 따라, 스포츠 경기가 진행되는 장소에서의 특정 위치에 관한 실사 이미지 및 가상 이미지를 표시할 수 있다.Thedisplay unit 1041 displays and outputs information processed by thedevice 1000. [ Thedisplay unit 1041 according to an exemplary embodiment may display a real image and a virtual image of a specific location in a sports game progress according to a user's gesture.

또한, 디스플레이부(1041)는 특정 위치에서의 제 1 시점에서 촬영된 이미지에 제 1 시점과 다른 시점에 촬영된 적어도 하나의 이미지를 조합하여 표시할 수 있다.In addition, thedisplay unit 1041 may display at least one image photographed at a specific point on the photographed image at a different point from the first point of view.

일 실시예에 따른 디스플레이부(1041)는 객체의 구매가 완료되는 경우, 객체의 가상 이미지를 VR 공간 상에 표시할 수 있다.Thedisplay unit 1041 according to an embodiment may display a virtual image of an object on the VR space when the purchase of the object is completed.

일 실시예에 따른 디스플레이부(1041)는 스포츠 경기에 관한 컨텐트의 제공 이전에 사용자가 시청한 적어도 하나의 컨텐트 중 어느 하나가 선택되는 경우, 선택된 컨텐트의 히스토리 정보를 VR 공간 상에 표시할 수 있다. 또한, 디스플레이부(1041)는 표시된 히스토리 정보에 포함된 위치를 사용자가 선택하는 경우, 선택된 위치에 관한 실사 이미지 및 가상 이미지를 VR 공간 상에 표시할 수 있다.Thedisplay unit 1041 according to the embodiment may display the history information of the selected content on the VR space when any one of the at least one content viewed by the user is selected prior to the provision of the content related to the sports game . In addition, when the user selects a position included in the displayed history information, thedisplay unit 1041 may display a real image and a virtual image of the selected position on the VR space.

일 실시예에 따른 디스플레이부(1041)는 선택된 사용자의 디바이스에 전송된 초대 메시지에 대한 수라 메시지가 수신됨에 따라, VR 공간 상에 다른 사용자를 나타내는 가상 이미지를 표시할 수 있다. 다른 예에 따라, 디스플레이부(1041)는 스포츠 경기가 수행되는 장소의 실사 이미지 및 가상 이미지와 함께 사용자의 아바타 이미지를 조합하여 VR 공간 상에 표시할 수 있다.Thedisplay unit 1041 according to an exemplary embodiment may display a virtual image representing another user on the VR space as the request message for the invitation message transmitted to the device of the selected user is received. According to another example, thedisplay unit 1041 may combine the avatar image of the user together with the real image and the virtual image of the place where the sports game is performed, and display the virtual image on the VR space.

한편, 디스플레이부(1041)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1041)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1041)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(1000)의 구현 형태에 따라 디바이스(1000)는 디스플레이부(1031)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1031)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.Meanwhile, when thedisplay unit 1041 and the touch pad have a layer structure and are configured as a touch screen, thedisplay unit 1041 may be used as an input device in addition to the output device. Thedisplay unit 1041 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display A 3D display, and an electrophoretic display. In addition, thedevice 1000 may include two ormore display units 1031 according to the implementation of thedevice 1000. At this time, the two ormore display units 1031 may be arranged to face each other using a hinge.

음향 출력부(1042)는 통신부(1030)로부터 수신되거나 메모리(1070)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1042)는 디바이스(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1042)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.Theaudio output unit 1042 outputs audio data received from thecommunication unit 1030 or stored in thememory 1070. Also, thesound output unit 1042 outputs a sound signal related to functions (e.g., call signal reception sound, message reception sound, alarm sound) performed in thedevice 1000. [ Thesound output unit 1042 may include a speaker, a buzzer, and the like.

A/V(Audio/Video) 입력부(1050)는 오디오 신호 또는 영상 신호 입력을 위한 것으로, 이에는 카메라(미도시)와 마이크로폰(미도시) 등이 포함될 수 있다. 카메라는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1020) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.The A / V (Audio / Video)input unit 1050 is for inputting an audio signal or a video signal, and may include a camera (not shown) and a microphone (not shown). The camera can obtain an image frame such as a still image or a moving image through the image sensor in the video communication mode or the photographing mode. The image captured via the image sensor can be processed through theprocessor 1020 or a separate image processing unit (not shown).

카메라에서 처리된 화상 프레임은 메모리(1070)에 저장되거나 통신부(1030)를 통하여 외부로 전송될 수 있다. 카메라는 디바이스(1000)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera may be stored in thememory 1070 or may be transmitted to the outside through thecommunication unit 1030. [ More than one camera may be provided according to the configuration of thedevice 1000.

마이크로폰은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.The microphone receives an external acoustic signal and processes it as electrical voice data. For example, the microphone may receive acoustic signals from an external device or speaker. The microphone can use various noise cancellation algorithms to remove noise generated in receiving an external acoustic signal.

한편, 일 실시예에 따른 디바이스(1000)는 렌즈(미도시)를 더 포함할 수도 있다. 디바이스(1000)의 사용자는 렌즈를 통해 디스플레이부(1041)에서 출력되는 영상을 감지할 수 있다.Meanwhile, thedevice 1000 according to one embodiment may further include a lens (not shown). A user of thedevice 1000 can sense an image output from thedisplay unit 1041 through a lens.

사용자 입력부(1060)는, 사용자가 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1060)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.Theuser input unit 1060 means means for the user to input data for controlling thedevice 1000. [ For example, theuser input unit 1060 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

사용자 입력부(1060)는, 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(1050)는 UI 모듈(1071)과 연동되어, 복수의 센서들 각각의 감지 영역 상에 표시되는 아이템들 중 적어도 하나를 선택하는 사용자 입력을 수신할 수도 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(1060)에서 수신하는 사용자 입력의 종류가 전술한 예에 한정되는 것은 아니다.Theuser input unit 1060 can receive a user input. In addition, theuser input unit 1050 may interact with theUI module 1071 to receive a user input for selecting at least one item displayed on the sensing area of each of the plurality of sensors. However, this is only an example, and the type of the user input received by theuser input unit 1060 is not limited to the above example.

메모리(1070)는, 프로세서(1020)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예를 들어, 영상들의 픽셀 값)을 저장할 수도 있다.Thememory 1070 may store a program for processing and controlling theprocessor 1020 and may store input / output data (e.g., pixel values of images).

메모리(1070)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(1000)는 인터넷(internet)상에서 메모리(1070)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.Thememory 1070 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory), a RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , An optical disc, and the like. In addition, thedevice 1000 may operate a web storage or a cloud server that performs a storage function of thememory 1070 on the Internet.

메모리(1070)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1071) 및 터치 스크린 모듈(1072) 등으로 분류될 수 있다.The programs stored in thememory 1070 can be classified into a plurality of modules according to their functions, for example, theUI module 1071 and thetouch screen module 1072. [

UI 모듈(1071)은, 애플리케이션 별로 디바이스(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1072)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1020)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(1072)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1072)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.TheUI module 1071 can provide a specialized UI, a GUI, and the like that are interlocked with thedevice 1000 for each application. Thetouchscreen module 1072 may detect touch gestures on the user's touch screen and may pass information to theprocessor 1020 about the touch gestures. Thetouch screen module 1072 according to one embodiment may recognize and analyze the touch code. Thetouch screen module 1072 may be configured as separate hardware including a controller.

터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.Various sensors may be provided in or near the touch screen to sense the touch or near touch of the touch screen. An example of a sensor for sensing the touch of the touch screen is a tactile sensor. A tactile sensor is a sensor that detects the contact of a specific object with a degree or more that a person feels. The tactile sensor can detect various information such as the roughness of the contact surface, the rigidity of the contact object, and the temperature of the contact point.

또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.In addition, a proximity sensor is an example of a sensor for sensing the touch of the touch screen.

근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or a nearby object without mechanical contact using the force of an electromagnetic field or infrared rays. Examples of proximity sensors include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. The user's touch gestures can include tap, touch & hold, double tap, drag, panning, flick, drag and drop, swipe, and the like.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.An apparatus according to the present invention may include a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a user interface such as a touch panel, a key, Devices, and the like. Methods implemented with software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor. Here, the computer-readable recording medium may be a magnetic storage medium such as a read-only memory (ROM), a random-access memory (RAM), a floppy disk, a hard disk, ), And a DVD (Digital Versatile Disc). The computer-readable recording medium may be distributed over networked computer systems so that computer readable code can be stored and executed in a distributed manner. The medium is readable by a computer, stored in a memory, and executable on a processor.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.All documents, including publications, patent applications, patents, etc., cited in the present invention may be incorporated into the present invention in the same manner as each cited document is shown individually and specifically in conjunction with one another, .

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.In order to facilitate understanding of the present invention, reference will be made to the preferred embodiments shown in the drawings, and specific terminology is used to describe the embodiments of the present invention. However, the present invention is not limited to the specific terminology, Lt; / RTI > may include all elements commonly conceivable by those skilled in the art.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.The present invention may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in a wide variety of hardware and / or software configurations that perform particular functions. For example, the present invention may include integrated circuit configurations, such as memory, processing, logic, look-up tables, etc., that may perform various functions by control of one or more microprocessors or other control devices Can be adopted. Similar to the components of the present invention that may be implemented with software programming or software components, the present invention may be implemented as a combination of C, C ++, and C ++, including various algorithms implemented with data structures, processes, routines, , Java (Java), assembler, and the like. Functional aspects may be implemented with algorithms running on one or more processors. Further, the present invention can employ conventional techniques for electronic environment setting, signal processing, and / or data processing. Terms such as "mechanism", "element", "means", "configuration" may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

Claims (9)

Translated fromKorean

디바이스가 VR 공간에서 컨텐트를 제공하는 방법에 있어서,
사용자로부터 스포츠 경기가 진행되는 장소의 제 1 위치에 대한 컨텐트 요청을 수신하는 단계;
상기 제 1 위치에 대한 컨텐트 요청이 수신됨에 따라, 상기 제 1 위치를 관리하는 서버에 상기 사용자가 상기 제 1 위치에 대한 가상 이미지인 제 1 가상 이미지 및 상기 제 1 위치에 대한 실사 이미지인 제 1 실사 이미지에 대해 인증받은 사용자임을 나타내는 정보를 전송하는 단계;
상기 전송에 따라 인증이 완료됨에 따라, 상기 제 1 실사 이미지, 상기 제 1 가상 이미지 및 렌더링 정보를 상기 제 1 위치를 관리하는 서버로부터 획득하는 단계; 및
상기 렌더링 정보에 포함된 상기 제 1 실사 이미지와 상기 제 1 가상 이미지의 조합을 위한 스티칭(stitching) 정보 및 상기 제 1 가상 이미지가 배치되는 상기 제 1 실사 이미지 상의 위치 정보를 기초로, 상기 제 1 실사 이미지 및 상기 제 1 가상 이미지를 조합하여 상기 VR 공간에 표시하는 단계를 포함하고,
상기 사용자로부터 상기 스포츠 경기가 진행되는 장소의 제 2 위치에 대한 컨텐트 요청이 수신되는 경우, 상기 제 2 위치를 관리하는 서버에 상기 사용자가 상기 제 2 위치에 대한 가상 이미지인 제 2 가상 이미지 및 상기 제 2 위치에 대한 실사 이미지인 제 2 실사 이미지에 대해 인증받은 사용자임을 나타내는 정보가 전송되는 방법.A method for a device to provide content in a VR space,
Receiving a content request from a user for a first location of a location where a sporting event is to be played;
The method of claim 1, wherein, as the content request for the first location is received, the server managing the first location is configured to allow the user to access a first virtual image that is a virtual image for the first location and a first virtual image that is a real image for the first location Transmitting information indicating that the user is an authenticated user for the real image;
Acquiring the first real image, the first virtual image, and the rendering information from a server managing the first location as authentication is completed according to the transmission; And
Based on the stitching information for the combination of the first real image and the first virtual image included in the rendering information and the position information on the first real image on which the first virtual image is disposed, And displaying the combined virtual image in the VR space by combining the real image and the first virtual image,
Wherein when a content request is received from the user for a second location of a location where the sporting event is to be performed, a second virtual image, which is a virtual image for the second location, Wherein information indicating that the user is an authenticated user is transmitted to a second real image which is a real image for the second location.삭제delete제 1항에 있어서, 상기 제 1 실사 이미지는,
상기 스포츠 경기가 진행되는 장소의 제 1 위치를 복수의 시점 각각에서 촬영한 이미지를 포함하고,
상기 표시하는 단계는,
상기 제 1 위치에서의 제 1 시점에서 촬영된 이미지에 상기 제 1 시점과 다른 시점에서 촬영된 적어도 하나의 이미지를 조합하여 표시하는 방법.The image processing apparatus according to claim 1,
And an image taken at each of a plurality of viewpoints at a first position of a place where the sports competition is going,
Wherein the displaying comprises:
And displaying at least one image photographed at a first point in time at the first point in combination with at least one image photographed at a point different from the first point in time.제 1항에 있어서,
상기 제 1 실사 이미지 및 상기 제 1 가상 이미지 중 적어도 하나에 표시된 객체에 관한 구매 요청 및 결제 정보를 전송하는 단계; 및
상기 객체의 구매가 완료되는 경우, 상기 객체의 가상 이미지를 상기 VR 공간 상에 표시하는 단계를 더 포함하는 방법.The method according to claim 1,
Transmitting purchase requisitions and settlement information related to an object displayed in at least one of the first virtual image and the first virtual image; And
Displaying the virtual image of the object on the VR space when the purchase of the object is completed.제 1항에 있어서,
상기 스포츠 경기에 관한 컨텐트의 제공 이전에 상기 사용자가 시청한 적어도 하나의 컨텐트의 히스토리 정보를 생성하는 단계;
상기 적어도 하나의 컨텐트 중 어느 하나가 선택되는 경우, 상기 선택된 컨텐트의 히스토리 정보를 상기 VR 공간 상에 표시하는 단계; 및
상기 표시된 히스토리 정보에 포함된 위치를 상기 사용자가 선택하는 경우, 상기 선택된 위치에 관한 실사 이미지 및 상기 선택된 위치에 관한 가상 이미지를 상기 VR 공간 상에 표시하는 단계를 더 포함하는 방법.The method according to claim 1,
Generating history information of at least one content viewed by the user prior to providing the content related to the sports game;
Displaying history information of the selected content on the VR space when any one of the at least one content is selected; And
Further comprising displaying on the VR space a real image of the selected location and a virtual image of the selected location when the user selects a location included in the displayed history information.제 1항에 있어서,
상기 사용자의 SNS(Social Network Service) 계정을 통해 연결된 복수의 다른 사용자 중 상기 스포츠 경기에 관한 컨텐트를 이용하는 사용자를 선택하는 단계;
상기 선택된 사용자의 디바이스에 상기 VR 공간으로의 초대 메시지를 전송하는 단계; 및
상기 초대 메시지에 대한 수락 메시지가 수신됨에 따라, 상기 VR 공간 상에 상기 다른 사용자를 나타내는 가상 이미지를 표시하는 단계를 더 포함하는 방법.The method according to claim 1,
Selecting a user of the plurality of other users connected through the Social Network Service (SNS) account of the user to use the content related to the sports game;
Transmitting an invitation message to the VR space to the device of the selected user; And
And displaying a virtual image representing the other user on the VR space as the accept message for the invitation message is received.제 1항에 있어서,
상기 사용자의 프로파일 정보를 수신하는 단계; 및
상기 수신된 프로파일 정보를 기초로 상기 사용자를 나타내는 아바타 이미지를 생성하는 단계를 더 포함하고,
상기 표시하는 단계는,
상기 제 1 실사 이미지 및 상기 제 1 가상 이미지와 함께 상기 아바타 이미지를 조합하여 상기 VR 공간 상에 표시하는 방법.The method according to claim 1,
Receiving profile information of the user; And
And generating an avatar image representing the user based on the received profile information,
Wherein the displaying comprises:
Combining the avatar image together with the first real image and the first virtual image, and displaying the avatar image on the VR space.제 1 항에 있어서,
뉴럴 네트워크를 이용하여, 상기 사용자의 프로파일 정보 및 선호도 정보를 기초로 상기 사용자에게 상기 스포츠 경기에 관한 정보를 제공하는 가이드를 생성하는 단계를 더 포함하고,
상기 표시하는 단계는,
상기 생성된 가이드를 상기 제 1 실사 이미지 및 상기 제 1 가상 이미지와 함께 표시하는 방법.The method according to claim 1,
Further comprising generating a guide that provides the user with information about the sporting event based on the profile information and the preference information of the user using a neural network,
Wherein the displaying comprises:
And displaying the generated guide together with the first and second virtual images.VR 공간에서 컨텐트를 제공하는 디바이스에 있어서,
사용자로부터 스포츠 경기가 진행되는 장소의 제 1 위치에 대한 컨텐트 요청을 수신하는 센싱부;
상기 제 1 위치에 대한 컨텐트 요청이 수신됨에 따라, 상기 스포츠 경기가 진행되는 장소의 제 1 위치를 결정하는 프로세서;
상기 제 1 위치에 대한 컨텐트 요청이 수신됨에 따라, 상기 제 1 위치를 관리하는 서버에 상기 사용자가 상기 제 1 위치에 대한 가상 이미지인 제 1 가상 이미지 및 상기 제 1 위치에 대한 실사 이미지인 제 1 실사 이미지에 대해 인증받은 사용자임을 나타내는 정보를 전송하고, 상기 전송에 따라 인증이 완료됨에 따라, 상기 제 1 실사 이미지, 상기 제 1 가상 이미지 및 렌더링 정보를 상기 제 1 위치를 관리하는 서버로부터 획득하는 통신부; 및
상기 렌더링 정보에 포함된 상기 제 1 실사 이미지와 상기 제 1 가상 이미지의 조합을 위한 스티칭(stitching) 정보 및 상기 제 1 가상 이미지가 배치되는 상기 제 1 실사 이미지 상의 위치 정보를 기초로, 상기 제 1 실사 이미지 및 상기 제 1 가상 이미지를 조합하여 상기 VR 공간에 표시하는 출력부를 포함하고,
상기 사용자로부터 상기 스포츠 경기가 진행되는 장소의 제 2 위치에 대한 컨텐트 요청이 수신되는 경우, 상기 제 2 위치를 관리하는 서버에 상기 사용자가 상기 제 2 위치에 대한 가상 이미지인 제 2 가상 이미지 및 상기 제 2 위치에 대한 실사 이미지인 제 2 실사 이미지에 대해 인증받은 사용자임을 나타내는 정보가 전송되는 디바이스.
A device for providing content in a VR space,
A sensing unit for receiving a content request for a first location of a place where a sporting event is to be played by a user;
A processor for determining a first location of a location of the sporting event as the content request for the first location is received;
The method of claim 1, wherein, as the content request for the first location is received, the server managing the first location is configured to allow the user to access a first virtual image that is a virtual image for the first location and a first virtual image that is a real image for the first location And transmits the information indicating that the user is an authenticated user to the real image, and acquires the first real image, the first virtual image, and the rendering information from the server managing the first location as the authentication is completed according to the transmission A communication unit; And
Based on the stitching information for the combination of the first real image and the first virtual image included in the rendering information and the position information on the first real image on which the first virtual image is disposed, And an output unit for combining the real image and the first virtual image in the VR space,
Wherein when a content request is received from the user for a second location of a location where the sporting event is to be performed, a second virtual image, which is a virtual image for the second location, Wherein information indicating that the user is authenticated is transmitted to the second real image, which is a real image for the second location.

Images