KR102765081B1 - Server, device and method for providing virtual reality service - Google Patents
Server, device and method for providing virtual reality serviceDownload PDFInfo
- Publication number
- KR102765081B1 KR102765081B1KR1020180162343AKR20180162343AKR102765081B1KR 102765081 B1KR102765081 B1KR 102765081B1KR 1020180162343 AKR1020180162343 AKR 1020180162343AKR 20180162343 AKR20180162343 AKR 20180162343AKR 102765081 B1KR102765081 B1KR 102765081B1
- Authority
- KR
- South Korea
- Prior art keywords
- transmission method
- virtual reality
- user terminal
- reality content
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25841—Management of client data involving the geographical location of the client
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
- H04W8/24—Transfer of terminal data
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Transfer Between Computers (AREA)
- Computer Networks & Wireless Communication (AREA)
Abstract
Translated fromKoreanDescription
Translated fromKorean본 발명은 가상 현실 서비스를 제공하는 서버, 단말 및 방법에 관한 것이다.The present invention relates to a server, terminal, and method for providing virtual reality services.
가상 현실(VR; Virtual Reality) 기술을 이용한 가상 현실 체험 서비스는 사용자가 실공간의 고정된 위치에서 가상 현실을 체험하는 서비스에서 실공간을 돌아다니면서 체험하는 서비스로 발전하고 있다.Virtual reality experience services using virtual reality (VR) technology are evolving from services where users experience virtual reality in fixed locations in real space to services where users experience it while moving around in real space.
종래의 가상 현실 체험 서비스는 사용자의 시점에 해당하는 영상만을 사용자 단말로 전송하는 사용자 시야 전송 방식을 사용하고 있다. 이러한, 사용자 시야 전송 방식은 저지연 네트워크 환경에서 사용자의 시점이 이동하는 경우, 시점 이동에 따라 변경되는 영상의 전송 지연으로 사용자 단말의 화면에서 떨림 현상이 심하게 일어나는 문제점이 있다. 이를 해결하기 위해서는 사용자 단말 측에서 수신한 영상에 대하여 영상 후처리를 해야한다. 하지만, 사용자 단말에서 영상 후처리를 수행하게 되면 단말 부하가 증가할 수 밖에 없고, 사용자 단말에서 수신한 이전 프레임에 오류가 발생하면 오류가 포함된 영상으로 후처리를 반복하게 되는 문제가 있다.Conventional virtual reality experience services use a user view transmission method that transmits only images corresponding to the user's viewpoint to the user terminal. This user view transmission method has a problem in that, when the user's viewpoint moves in a low-latency network environment, the screen of the user terminal shakes severely due to the transmission delay of the image that changes according to the viewpoint movement. To solve this problem, the image received on the user terminal side must be post-processed. However, performing image post-processing on the user terminal inevitably increases the load on the terminal, and if an error occurs in the previous frame received on the user terminal, there is a problem in that the post-processing is repeated with the image containing the error.
한편, 종래의 가상 현실 체험 서비스는 네트워크 환경 및 단말의 성능에 따라 서비스 품질이 좌우되는 한계가 있다.Meanwhile, conventional virtual reality experience services have limitations in that their service quality depends on the network environment and terminal performance.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자 단말의 단말 성능 정보 및 네트워크 상태 정보에 기초하여 영상 전송 방식을 결정하고, 결정된 영상 전송 방식에 따라 사용자 단말로 가상 현실 서비스를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.The present invention is intended to solve the problems of the above-mentioned prior art, and determines an image transmission method based on terminal performance information and network status information of a user terminal, and provides a virtual reality service to the user terminal according to the determined image transmission method. However, the technical problems to be achieved by this embodiment are not limited to the technical problems described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 가상 현실 서비스를 제공하는 영상 처리 서버는 사용자 단말로부터 단말 성능 정보 및 네트워크 상태 정보를 수신하는 수신부; 상기 단말 성능 정보 및 상기 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정하는 영상 전송 방식 결정부; 상기 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성하는 가상 현실 컨텐츠 생성부; 및 상기 생성된 가상 현실 컨텐츠를 렌더링하여 상기 사용자 단말로 전송하는 가상 현실 컨텐츠 전송부를 포함하고, 상기 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.As a technical means for achieving the above-described technical task, an image processing server providing a virtual reality service according to the first aspect of the present invention includes a receiving unit that receives terminal performance information and network status information from a user terminal; an image transmission method determining unit that determines one of a plurality of image transmission methods based on the terminal performance information and the network status information; a virtual reality content generating unit that generates virtual reality content based on the determined image transmission method; and a virtual reality content transmitting unit that renders the generated virtual reality content and transmits it to the user terminal, wherein the plurality of image transmission methods may include a user field of view transmission method and a peripheral transmission method.
본 발명의 제 2 측면에 따른 가상 현실 서비스를 제공하는 사용자 단말은 영상 처리 서버로 단말 성능 정보 및 네트워크 상태 정보를 전송하는 전송부; 및 복수의 영상 전송 방식 중 상기 단말 성능 정보 및 상기 네트워크 상태 정보에 기초하여 결정된 영상 전송 방식에 따라 생성된 가상 현실 컨텐츠를 상기 영상 처리 서버로부터 수신하는 가상 현실 컨텐츠 수신부를 포함하고, 상기 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.A user terminal providing a virtual reality service according to a second aspect of the present invention includes a transmission unit that transmits terminal performance information and network status information to an image processing server; and a virtual reality content reception unit that receives virtual reality content generated according to an image transmission method determined based on the terminal performance information and the network status information among a plurality of image transmission methods from the image processing server, wherein the plurality of image transmission methods may include a user field of view transmission method and a peripheral transmission method.
본 발명의 제 3 측면에 따른 영상 처리 서버에 의해 가상 현실 서비스를 제공하는 방법은 사용자 단말로부터 단말 성능 정보 및 네트워크 상태 정보를 수신하는 단계; 상기 단말 성능 정보 및 상기 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정하는 단계; 상기 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성하는 단계; 및 상기 생성된 가상 현실 컨텐츠를 렌더링하여 상기 사용자 단말로 전송하는 단계를 포함하고, 상기 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.A method for providing a virtual reality service by an image processing server according to a third aspect of the present invention comprises the steps of: receiving terminal performance information and network status information from a user terminal; determining one of a plurality of image transmission methods based on the terminal performance information and the network status information; generating virtual reality content based on the determined image transmission method; and rendering the generated virtual reality content and transmitting it to the user terminal, wherein the plurality of image transmission methods may include a user view transmission method and a peripheral transmission method.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the above-described exemplary embodiments, there may be additional embodiments described in the drawings and detailed description of the invention.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 사용자 단말의 단말 성능 정보 및 네트워크 상태 정보에 기초하여 영상 전송 방식을 결정하고, 결정된 영상 전송 방식에 따라 사용자 단말로 가상 현실 서비스를 제공할 수 있다. 이를 통해, 본 발명은 가상 현실 서비스의 제공에 있어서 네트워크 환경 및 단말의 성능 의존도를 최소화할 수 있으므로 종래의 가상 현실 서비스보다 높은 품질 서비스를 제공할 수 있고, 실내외 환경 어디서든 끊김없는 가상 현실 컨텐츠를 사용자 단말로 제공할 수 있다.According to any one of the problem solving means of the present invention described above, the present invention can determine an image transmission method based on terminal performance information and network status information of a user terminal, and provide a virtual reality service to the user terminal according to the determined image transmission method. Through this, the present invention can minimize the dependence on the network environment and terminal performance in providing a virtual reality service, and thus can provide a higher quality service than the conventional virtual reality service, and can provide virtual reality content to the user terminal without interruption anywhere in an indoor or outdoor environment.
도 1은 본 발명의 일 실시예에 따른, 가상 현실 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 영상 처리 서버의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 복수의 영상 전송 방식에 따라 생성된 가상 현실 컨텐츠를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 영상 처리 서버에 의해 가상 현실 서비스를 제공하는 방법을 나타낸 흐름도이다.
도 5a 내지 5b는 본 발명의 일 실시예에 따른, 가상 현실 컨텐츠를 생성하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말의 블록도이다.
도 7은 본 발명의 일 실시예에 따른, 사용자 단말에 의해 가상 현실 서비스를 제공하는 방법을 나타낸 흐름도이다.FIG. 1 is a configuration diagram of a virtual reality service providing system according to one embodiment of the present invention.
FIG. 2 is a block diagram of an image processing server illustrated in FIG. 1 according to one embodiment of the present invention.
FIG. 3 is a diagram illustrating virtual reality content generated according to multiple image transmission methods according to one embodiment of the present invention.
FIG. 4 is a flowchart illustrating a method for providing a virtual reality service by an image processing server according to one embodiment of the present invention.
FIGS. 5A and 5B are flowcharts illustrating a method for generating virtual reality content according to one embodiment of the present invention.
FIG. 6 is a block diagram of a user terminal illustrated in FIG. 1 according to one embodiment of the present invention.
FIG. 7 is a flowchart illustrating a method for providing a virtual reality service by a user terminal according to one embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are assigned similar drawing reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected" but also the case where it is "electrically connected" with another element in between. Also, when a part is said to "include" a component, this does not mean that it excludes other components, but rather that it may include other components, unless otherwise stated.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term 'unit' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be realized using two or more pieces of hardware, and two or more units may be realized by one piece of hardware.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described as being performed by a terminal or device in this specification may instead be performed by a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by a server may also be performed by a terminal or device connected to the server.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.Hereinafter, specific details for implementing the present invention will be described with reference to the attached configuration diagram or processing flow chart.
도 1은 본 발명의 일 실시예에 따른, 가상 현실 서비스 제공 시스템의 구성도이다.FIG. 1 is a configuration diagram of a virtual reality service providing system according to one embodiment of the present invention.
도 1을 참조하면, 가상 현실 서비스 제공 시스템은 영상 처리 서버(100) 및 사용자 단말(110)을 포함할 수 있다. 다만, 이러한 도 1의 가상 현실 서비스 제공 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1과 다르게 구성될 수도 있다.Referring to FIG. 1, the virtual reality service providing system may include an image processing server (100) and a user terminal (110). However, since the virtual reality service providing system of FIG. 1 is only one embodiment of the present invention, the present invention is not limited to FIG. 1, and may be configured differently from FIG. 1 according to various embodiments of the present invention.
일반적으로, 도 1의 가상 현실 서비스 제공 시스템의 각 구성요소들은 네트워크(미도시)를 통해 연결된다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.In general, each component of the virtual reality service providing system of FIG. 1 is connected via a network (not shown). The network refers to a connection structure in which information can be exchanged between each node, such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), the Internet (WWW: World Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television communication networks, etc. Examples of wireless data communication networks include, but are not limited to, 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Bluetooth communication, infrared communication, ultrasonic communication, visible light communication (VLC), LiFi, etc.
영상 처리 서버(100)는 사용자가 착용하고 있는 사용자 단말(110)을 통해 가상 현실 체험 서비스를 제공할 수 있다.The image processing server (100) can provide a virtual reality experience service through a user terminal (110) worn by the user.
영상 처리 서버(100)는 사용자 단말(110)의 단말 성능 정보 및 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정하고, 결정된 영상 전송 방식에 따라 가상 현실 컨텐츠를 생성하여 사용자 단말(110)에게 전송할 수 있다. 여기서, 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.The image processing server (100) may determine one of a plurality of image transmission methods based on terminal performance information and network status information of the user terminal (110), and may generate virtual reality content according to the determined image transmission method and transmit it to the user terminal (110). Here, the plurality of image transmission methods may include a user field of view transmission method and a peripheral transmission method.
사용자 단말(110)은 복수의 영상 전송 방식 중 단말 성능 정보 및 네트워크 상태 정보에 기초하여 결정된 영상 전송 방식에 따라 생성된 가상 현실 컨텐츠를 영상 처리 서버(100)로부터 수신할 수 있다.The user terminal (110) can receive virtual reality content generated according to an image transmission method determined based on terminal performance information and network status information among multiple image transmission methods from the image processing server (100).
사용자 단말(110)은 영상 처리 서버(100)에 의해 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 렌더링하여 출력할 수 있다. 예를 들면, 사용자 단말(110)은 사용자 시야 전송 방식에 기초하여 생성된 가상 현실 컨텐츠를 2D 객체에 해당하는 메쉬에 매핑처리하여 출력할 수 있다. 사용자 단말(110)은 주변부 전송 방식에 기초하여 생성된 가상 현실 컨텐츠를 3D 객체에 해당하는 메쉬에 매핑처리하여 출력할 수 있다.The user terminal (110) can render and output virtual reality content based on the image transmission method determined by the image processing server (100). For example, the user terminal (110) can map and output virtual reality content generated based on the user field of view transmission method to a mesh corresponding to a 2D object. The user terminal (110) can map and output virtual reality content generated based on the peripheral transmission method to a mesh corresponding to a 3D object.
사용자 단말(110)은 사용자의 머리에 착용하는 디스플레이 장치로, 서버(100)로부터 수신된 스티칭된 영상에서 사용자의 시점에 해당하는 영상을 출력할 수 있다. 예를 들어, 사용자 단말(110)은 저가형 HMD(Head Mounted Device)로서 스마트폰을 포함하는 모바일 단말을 거치함으로써 스마트폰을 통해 VR 컨텐츠를 제공하는 장치일 수 있다. 다른 예를 들어, 사용자 단말(110)은 자체적으로 VR 컨텐츠를 제공하는 고가형 HMD일 수도 있다. 또는 사용자 단말(110)은 유무선 통신이 가능한 모바일 단말을 포함할 수 있다. 모바일 단말은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smartphone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다.The user terminal (110) is a display device worn on the user's head, and can output an image corresponding to the user's viewpoint from the stitched image received from the server (100). For example, the user terminal (110) may be a low-cost HMD (Head Mounted Device) that provides VR content through a smartphone by mounting a mobile terminal including a smartphone on it. As another example, the user terminal (110) may be an expensive HMD that provides VR content on its own. Alternatively, the user terminal (110) may include a mobile terminal capable of wired and wireless communication. The mobile terminal is a wireless communication device that ensures portability and mobility, and may include various devices equipped with communication modules such as smartphones, tablet PCs, wearable devices, and Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, ultrasonic, infrared, Wi-Fi, and LiFi.
본 발명은 단말 성능 정보 및 네트워크 상태 정보에 따라 영상 전송 방식을 변경하고, 변경된 영상 전송 방식을 통해 사용자 단말(110)에게 끊김없는 가상 현실 컨텐츠를 제공할 수 있다.The present invention can change an image transmission method according to terminal performance information and network status information, and provide uninterrupted virtual reality content to a user terminal (110) through the changed image transmission method.
이하에서는 도 1의 가상 현실 서비스 제공 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다.Below, the operation of each component of the virtual reality service provision system of Fig. 1 is described in more detail.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 영상 처리 서버(100)의 블록도이다.FIG. 2 is a block diagram of an image processing server (100) illustrated in FIG. 1 according to one embodiment of the present invention.
도 2를 참조하면, 영상 처리 서버(100)는 수신부(200), 영상 전송 방식 결정부(210), 가상 현실 컨텐츠 생성부(220) 및 가상 현실 컨텐츠 전송부(230)를 포함할 수 있다. 다만, 도 2에 도시된 영상 처리 서버(100)는 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.Referring to FIG. 2, the image processing server (100) may include a receiving unit (200), an image transmission method determining unit (210), a virtual reality content generating unit (220), and a virtual reality content transmitting unit (230). However, the image processing server (100) illustrated in FIG. 2 is only one implementation example of the present invention, and various modifications are possible based on the components illustrated in FIG. 2.
수신부(200)는 사용자 단말(110)로부터 단말 성능 정보 및 네트워크 상태 정보를 수신할 수 있다. 여기서, 단말 성능 정보는 예를 들면, 사용자 단말(110)에 대한 디스플레이 주사율 정보 및 디코딩 지연 속도 정보를 포함할 수 있다. 네트워크 상태 정보는 예를 들면, 대역폭 정보, 사용자 단말(110)에 대한 네트워크 지연 속도 정보를 포함할 수 있다.The receiving unit (200) can receive terminal performance information and network status information from the user terminal (110). Here, the terminal performance information can include, for example, display injection rate information and decoding delay speed information for the user terminal (110). The network status information can include, for example, bandwidth information and network delay speed information for the user terminal (110).
수신부(200)는 사용자 단말(110)로부터 사용자 단말(110)의 위치 정보 및 회전 정보를 수신할 수 있다.The receiving unit (200) can receive location information and rotation information of the user terminal (110) from the user terminal (110).
영상 전송 방식 결정부(210)는 단말 성능 정보 및 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정할 수 있다. 여기서, 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.The image transmission method determining unit (210) can determine one of a plurality of image transmission methods based on terminal performance information and network status information. Here, the plurality of image transmission methods can include a user field of view transmission method and a peripheral transmission method.
사용자 시야 전송 방식은 사용자가 바라보는 시점에 대응하는 영역의 영상만을 영상 처리 서버(100)에서 제공하는 방식으로 주변부 전송 방식에 비해 상대적으로 높은 화질과 입체감 있는 영상을 제공할 수 있지만, 네트워크 환경에 취약하다. 주변부 전송 방식은 사용자 전송 방식에 비해 네트워크 환경에 강한 특성을 가진다. 본 발명은 영상 전송 방식의 특성을 고려하여 단말 성능 정보 및 네트워크 상태 정보에 따라 사용자 시야 전송 방식 및 주변부 전송 방식 중 하나의 전송 방식을 선택하고, 선택된 전송 방식을 통해 가상 현실 서비스를 제공할 수 있다.The user view transmission method provides only the image of the area corresponding to the user's viewing point from the image processing server (100), and can provide relatively high image quality and three-dimensional images compared to the peripheral transmission method, but is vulnerable to the network environment. The peripheral transmission method has characteristics that are strong against the network environment compared to the user transmission method. The present invention selects one of the user view transmission method and the peripheral transmission method according to terminal performance information and network status information in consideration of the characteristics of the image transmission method, and can provide a virtual reality service through the selected transmission method.
구체적으로, 영상 전송 방식 결정부(210)는 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 작은 경우, 영상 전송 방식을 사용자 시야 전송 방식으로 결정할 수 있다.Specifically, the video transmission method determining unit (210) can determine the video transmission method as the user view transmission method when the network delay speed information of the user terminal (110) is smaller than the preset standard network speed information.
영상 전송 방식 결정부(210)는 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크고, 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 작은 경우, 영상 전송 방식을 주변부 전송 방식으로 결정할 수 있다. 여기서, 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값은 [수학식 1]에 따라 산출될 수 있다.The video transmission method determining unit (210) may determine the video transmission method as a peripheral transmission method when the network delay speed information of the user terminal (110) is greater than the preset reference network speed information and the decoding delay speed information of the user terminal (110) is less than the calculated value for the display refresh rate information of the user terminal (110). Here, the calculated value for the display refresh rate information of the user terminal (110) may be calculated according to [Mathematical Formula 1].
[수학식 1][Mathematical Formula 1]
디스플레이 주사율 정보에 대한 산출값 = 1000/디스플레이 주사율 X 기설정된 정수Output for display refresh rate information = 1000/display refresh rate X preset integer
영상 전송 방식 결정부(210)는 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크고, 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 큰 경우, 영상 전송 방식을 사용자 시야 전송 방식으로 결정할 수 있다.The video transmission method determining unit (210) may determine the video transmission method as the user view transmission method when the network delay speed information of the user terminal (110) is greater than the preset reference network speed information and the decoding delay speed information of the user terminal (110) is greater than the calculated value for the display refresh rate information of the user terminal (110).
가상 현실 컨텐츠 생성부(220)는 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성할 수 있다.The virtual reality content generation unit (220) can generate virtual reality content based on the determined image transmission method.
구체적으로, 가상 현실 컨텐츠 생성부(220)는 영상 전송 방식을 사용자 시야 전송 방식으로 결정한 경우, 사용자 단말(110)의 위치 정보 및 회전 정보를 이용하여 양안 시야에 해당하는 가상 현실 컨텐츠를 생성할 수 있다. 예를 들면, 도 3의 도면 부호 301과 같이, 가상 현실 컨텐츠 생성부(220)는 사용자 단말(110)의 위치 정보 및 회전 정보에 기초하여 사용자의 좌안 시야에 해당하는 카메라 및 우안 시야에 해당하는 카메라 각각을 선정하고, 선정된 2대의 카메라에 의해 촬영된 영상으로 좌안 및 우안 시야 각각에 해당하는 가상 현실 컨텐츠를 생성할 수 있다.Specifically, when the virtual reality content generation unit (220) determines the image transmission method as the user view transmission method, the virtual reality content generation unit (220) can generate virtual reality content corresponding to both eye views using the position information and rotation information of the user terminal (110). For example, as shown in the drawing reference numeral 301 of FIG. 3, the virtual reality content generation unit (220) can select a camera corresponding to the user's left eye view and a camera corresponding to the user's right eye view based on the position information and rotation information of the user terminal (110), and generate virtual reality content corresponding to the left and right eye views respectively using images captured by the two selected cameras.
또한, 가상 현실 컨텐츠 생성부(220)는 영상 전송 방식을 사용자 시야 전송 방식으로 결정한 경우, 실시간으로 수신된 사용자 단말(110)의 위치 정보 및 회전 정보에 기초하여 6-DoF(좌우 방향에 대한 X축 상의 좌표값, 상하 방향에 대한 Y축 상의 좌표값, 전후 방향에 대한 Z축 상의 좌표값, X축으로의 회전값, Y축으로의 회전값, Z축으로의 회전값)에 대한 변화값을 계산하고, 계산된 6-DoF에 대한 변화값에 따라 가상 현실 컨텐츠를 업데이트할 수 있다.In addition, if the virtual reality content generation unit (220) determines the image transmission method as the user view transmission method, it can calculate change values for 6-DoF (coordinate values on the X-axis for the left-right direction, coordinate values on the Y-axis for the up-down direction, coordinate values on the Z-axis for the forward-backward direction, rotation values about the X-axis, rotation values about the Y-axis, and rotation values about the Z-axis) based on the position information and rotation information of the user terminal (110) received in real time, and update the virtual reality content according to the calculated change values about 6-DoF.
가상 현실 컨텐츠 생성부(220)는 영상 전송 방식을 주변부 전송 방식으로 결정한 경우, 사용자 단말(110)의 위치 정보에 기초하여 복수의 카메라에 의해 촬영된 영상을 스티칭함으로써 가상 현실 컨텐츠를 생성할 수 있다. 예를 들면, 도 3의 도면 부호 303과 같이, 가상 현실 컨텐츠 생성부(220)는 사용자 단말(110)의 위치에서 복수 개의 방향으로 주변을 촬영하는 각 카메라(예컨대, 3~6대의 카메라)에 의해 촬영된 각 영상을 하나의 영상으로 스트칭하여 가상 현실 컨텐츠를 생성할 수 있다.If the virtual reality content generation unit (220) determines the image transmission method as the peripheral transmission method, the virtual reality content generation unit (220) can generate virtual reality content by stitching images captured by multiple cameras based on the location information of the user terminal (110). For example, as shown in the drawing reference numeral 303 of FIG. 3, the virtual reality content generation unit (220) can generate virtual reality content by stitching each image captured by each camera (e.g., 3 to 6 cameras) that captures the surroundings in multiple directions from the location of the user terminal (110) into one image.
또한, 가상 현실 컨텐츠 생성부(220)는 영상 전송 방식을 주변부 전송 방식으로 결정한 경우, 실시간으로 수신된 사용자 단말(110)의 위치 정보에 기초하여 3-DoF(좌우 방향에 대한 X축 상의 좌표값, 상하 방향에 대한 Y축 상의 좌표값, 전후 방향에 대한 Z축 상의 좌표값)에 대한 변화값을 계산하고, 계산된 3-DoF에 대한 변화값에 따라 가상 현실 컨텐츠를 업데이트할 수 있다.In addition, if the virtual reality content generation unit (220) determines the image transmission method as the peripheral transmission method, it can calculate the change value for 3-DoF (coordinate values on the X-axis for the left-right direction, coordinate values on the Y-axis for the up-down direction, and coordinate values on the Z-axis for the forward-backward direction) based on the location information of the user terminal (110) received in real time, and update the virtual reality content according to the calculated change value for 3-DoF.
다른 실시예로, 가상 현실 컨텐츠 생성부(220)는 사용자 단말(110)에 의해 선택된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성할 수도 있다.In another embodiment, the virtual reality content generation unit (220) may generate virtual reality content based on an image transmission method selected by the user terminal (110).
가상 현실 컨텐츠 전송부(230)는 생성된 가상 현실 컨텐츠를 렌더링하여 사용자 단말(110)로 전송할 수 있다. 예를 들면, 가상 현실 컨텐츠 전송부(230)는 사용자 시야 전송 방식으로 생성된 가상 현실 컨텐츠의 경우, 좌안 시야에 해당하는 가상 현실 컨텐츠 및 우안 시야에 해당하는 가상 현실 컨텐츠 각각을 렌더링하여 사용자 단말(110)로 전송할 수 있다. 이 때, 사용자 시야 방식에 기초하여 생성된 가상 현실 컨텐츠는 사용자 단말(110)에 의해 2D 객체에 해당하는 메쉬에 매핑처리되어 사용자 단말(110)의 디스플레이에 출력될 수 있다.The virtual reality content transmission unit (230) can render the generated virtual reality content and transmit it to the user terminal (110). For example, in the case of virtual reality content generated in a user field of view transmission manner, the virtual reality content transmission unit (230) can render virtual reality content corresponding to the left eye field of view and virtual reality content corresponding to the right eye field of view respectively and transmit them to the user terminal (110). At this time, the virtual reality content generated based on the user field of view manner can be mapped to a mesh corresponding to a 2D object by the user terminal (110) and output to the display of the user terminal (110).
예를 들면, 가상 현실 컨텐츠 전송부(230)는 주변부 전송 방식으로 생성된 가상 현실 컨텐츠의 경우, 사용자 단말(110)의 위치를 기준으로 주변부 영상들이 스티칭된 가상 현실 컨텐츠들을 모두 렌더링하여 사용자 단말(110)로 전송할 수 있다. 이 때, 주변부 전송 방식에 기초하여 생성된 가상 현실 컨텐츠는 사용자 단말(110)에 의해 주변부를 표현할 수 있는 3D 객체에 해당하는 메쉬에 매핑처리되어 디스플레이에 출력될 수 있다.For example, in the case of virtual reality content generated using a peripheral transmission method, the virtual reality content transmission unit (230) can render all virtual reality content in which peripheral images are stitched based on the location of the user terminal (110) and transmit the rendered content to the user terminal (110). At this time, the virtual reality content generated based on the peripheral transmission method can be mapped to a mesh corresponding to a 3D object capable of expressing the peripheral area by the user terminal (110) and output to the display.
한편, 당업자라면, 수신부(200), 영상 전송 방식 결정부(210), 가상 현실 컨텐츠 생성부(220) 및 가상 현실 컨텐츠 전송부(230) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.Meanwhile, those skilled in the art will fully understand that the receiving unit (200), the image transmission method determining unit (210), the virtual reality content generating unit (220), and the virtual reality content transmitting unit (230) may be implemented separately, or one or more of them may be implemented integrated.
도 4는 본 발명의 일 실시예에 따른, 영상 처리 서버(100)에 의해 가상 현실 서비스를 제공하는 방법을 나타낸 흐름도이다.FIG. 4 is a flowchart illustrating a method for providing a virtual reality service by an image processing server (100) according to one embodiment of the present invention.
도 4를 참조하면, 단계 S401에서 영상 처리 서버(100)는 사용자 단말(110)로부터 단말 성능 정보 및 네트워크 상태 정보를 수신할 수 있다. 여기서, 단말 성능 정보는 예를 들면, 사용자 단말(110)에 대한 디스플레이 주사율 정보 및 디코딩 지연 속도 정보를 포함할 수 있다. 네트워크 상태 정보는 예를 들면, 사용자 단말(110)에 대한 네트워크 지연 속도 정보를 포함할 수 있다.Referring to FIG. 4, in step S401, the image processing server (100) can receive terminal performance information and network status information from the user terminal (110). Here, the terminal performance information can include, for example, display injection rate information and decoding delay speed information for the user terminal (110). The network status information can include, for example, network delay speed information for the user terminal (110).
단계 S403에서 영상 처리 서버(100)는 단말 성능 정보 및 상기 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정할 수 있다. 여기서, 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.In step S403, the image processing server (100) may determine one of a plurality of image transmission methods based on the terminal performance information and the network status information. Here, the plurality of image transmission methods may include a user field of view transmission method and a peripheral transmission method.
단계 S405에서 영상 처리 서버(100)는 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성할 수 있다.In step S405, the image processing server (100) can generate virtual reality content based on the determined image transmission method.
단계 S407에서 영상 처리 서버(100)는 생성된 가상 현실 컨텐츠를 렌더링하여 사용자 단말(110)에게 전송할 수 있다.In step S407, the image processing server (100) can render the generated virtual reality content and transmit it to the user terminal (110).
상술한 설명에서, 단계 S401 내지 S407은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S401 to S407 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. In addition, some steps may be omitted as needed, and the order between the steps may be changed.
도 5a는 단말 성능 정보 및 네트워크 상태 정보에 따라 영상 전송 방식을 결정하는 방법을 나타낸 흐름도이다.Figure 5a is a flowchart illustrating a method for determining an image transmission method based on terminal performance information and network status information.
도 5a를 참조하면, 단계 S501에서 영상 처리 서버(100)는 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 작은지를 판단할 수 있다.Referring to FIG. 5a, in step S501, the image processing server (100) can determine whether the network delay speed information of the user terminal (110) is smaller than the preset reference network speed information.
단계 S503에서 영상 처리 서버(100)는 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 작다고 판단된 경우, 영상 전송 방식을 사용자 시야 전송 방식으로 결정할 수 있다.In step S503, if the image processing server (100) determines that the network delay speed information of the user terminal (110) is smaller than the preset standard network speed information, the image transmission method can be determined as the user view transmission method.
단계 S505에서 영상 처리 서버(100)는 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크면, 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 작은지를 판단할 수 있다.In step S505, if the network delay speed information of the user terminal (110) is greater than the preset reference network speed information, the image processing server (100) can determine whether the decoding delay speed information of the user terminal (110) is less than the calculated value for the display injection rate information of the user terminal (110).
단계 S507에서 영상 처리 서버(100)는 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 작다고 판단된 경우, 영상 전송 방식을 주변부 전송 방식으로 결정할 수 있다.In step S507, if the image processing server (100) determines that the decoding delay speed information of the user terminal (110) is smaller than the calculated value for the display injection rate information of the user terminal (110), the image transmission method may be determined as the peripheral transmission method.
단계 S507에서 영상 처리 서버(100)는 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 작다고 판단되면, 영상 전송 방식을 사용자 시야 전송 방식으로 결정할 수 있다.In step S507, if the image processing server (100) determines that the decoding delay speed information of the user terminal (110) is smaller than the calculated value for the display injection rate information of the user terminal (110), the image transmission method can be determined as the user view transmission method.
도 5b는 영상 처리 서버(100)에 의해 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성하는 방법을 나타낸 흐름도이다.FIG. 5b is a flowchart illustrating a method for generating virtual reality content based on an image transmission method determined by an image processing server (100).
도 5b를 참조하면, 단계 S500에서 영상 처리 서버(100)는 영상 전송 방식으로 사용자 시야 전송 방식을 선택한 경우, 단계 S502 내지 S504에서 사용자 단말(110)의 위치 정보 및 회전 정보에 기초하여 사용자 양안 시야에 대응하는 각 카메라 2대를 선정할 수 있다. 단계 S506에서 영상 처리 서버(100)는 선정된 사용자 양안 시야 각각에 대응하는 각 카메라를 통해 주사된 영상을 이용하여 좌안 시야 및 우안 시야 각각에 해당하는 가상 현실 컨텐츠를 생성할 수 있다.Referring to FIG. 5b, if the image processing server (100) selects the user view transmission method as the image transmission method in step S500, the image processing server (100) may select two cameras corresponding to the user's binocular fields of view based on the position information and rotation information of the user terminal (110) in steps S502 to S504. In step S506, the image processing server (100) may generate virtual reality content corresponding to each of the left-eye field of view and the right-eye field of view using the images scanned through each camera corresponding to each of the selected user's binocular fields of view.
단계 S508에서 영상 처리 서버(100)는 영상 전송 방식으로 주변부 전송 방식을 선택한 경우, 단계 S510 내지 S512에서 사용자 단말(110)의 위치 정보에 기초하여 사용자 단말(110)의 위치에서 주변 영역을 촬영하는 복수의 카메라를 선택할 수 있다. 단계 S514에서 영상 처리 서버(100)는 선택된 복수의 카메라에 의해 촬영된 영상을 스트칭하여 가상 현실 컨텐츠를 생성할 수 있다.In step S508, if the image processing server (100) selects the peripheral transmission method as the image transmission method, in steps S510 to S512, the image processing server (100) may select a plurality of cameras that capture the peripheral area at the location of the user terminal (110) based on the location information of the user terminal (110). In step S514, the image processing server (100) may stitch images captured by the selected plurality of cameras to generate virtual reality content.
도 6은 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말(110)의 블록도이다.FIG. 6 is a block diagram of a user terminal (110) illustrated in FIG. 1 according to one embodiment of the present invention.
도 6을 참조하면, 사용자 단말(110)은 전송부(600), 가상 현실 컨텐츠 수신부(510) 및 출력부(620)를 포함할 수 있다. 다만, 도 6에 도시된 사용자 단말(110)은 본 발명의 하나의 구현 예에 불과하며, 도 6에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.Referring to FIG. 6, the user terminal (110) may include a transmission unit (600), a virtual reality content reception unit (510), and an output unit (620). However, the user terminal (110) illustrated in FIG. 6 is only one implementation example of the present invention, and various modifications are possible based on the components illustrated in FIG. 6.
전송부(600)는 영상 처리 서버(100)에게 단말 성능 정보 및 네트워크 상태 정보를 전송할 수 있다. 여기서, 단말 성능 정보는 예를 들면, 사용자 단말(110)에 대한 디스플레이 주사율 정보 및 디코딩 지연 속도 정보를 포함할 수 있다. 네트워크 상태 정보는 예를 들면, 대역폭 정보, 사용자 단말(110)에 대한 네트워크 지연 속도 정보를 포함할 수 있다.The transmission unit (600) can transmit terminal performance information and network status information to the image processing server (100). Here, the terminal performance information can include, for example, display injection rate information and decoding delay speed information for the user terminal (110). The network status information can include, for example, bandwidth information and network delay speed information for the user terminal (110).
전송부(600)는 실시간으로 영상 처리 서버(100)에게 사용자 단말(110)의 위치 정보 및 회전 정보를 전송할 수 있다. 여기서, 사용자 단말(110)의 위치 정보 및 회전 정보는 사용자 단말(110)의 위치 센서를 통해 측정된 사용자 단말(110)의 위치값과, 관성 센서를 통해 측정된 사용자 단말(110)의 회전 및 기울어진 정도 및 가속도 센서를 통해 측정된 사용자 단말(110)의 움직임 방향 및 크기에 기초하여 생성된 정보일 수 있다.The transmission unit (600) can transmit the location information and rotation information of the user terminal (110) to the image processing server (100) in real time. Here, the location information and rotation information of the user terminal (110) may be information generated based on the location value of the user terminal (110) measured through the location sensor of the user terminal (110), the degree of rotation and inclination of the user terminal (110) measured through the inertial sensor, and the direction and size of movement of the user terminal (110) measured through the acceleration sensor.
가상 현실 컨텐츠 수신부(510)는 복수의 영상 전송 방식 중 단말 성능 정보 및 네트워크 상태 정보에 기초하여 결정된 영상 전송 방식에 따라 생성된 가상 현실 컨텐츠를 영상 처리 서버(100)로부터 수신할 수 있다. 여기서, 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.The virtual reality content receiving unit (510) can receive virtual reality content generated according to an image transmission method determined based on terminal performance information and network status information among multiple image transmission methods from the image processing server (100). Here, the multiple image transmission methods can include a user field of view transmission method and a peripheral transmission method.
예를 들면, 사용자 시야 전송 방식은 사용자 단말(110)의 네트워크 지연 속도가 기설정된 기준 네트워크 속도 정보보다 작을 때 영상 전송 방식으로 선택될 수 있다. 또는, 사용자 시야 전송 방식은 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크고, 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 클 때 영상 전송 방식으로 선택될 수 있다.For example, the user view transmission method may be selected as the image transmission method when the network delay speed of the user terminal (110) is smaller than the preset reference network speed information. Alternatively, the user view transmission method may be selected as the image transmission method when the network delay speed information of the user terminal (110) is larger than the preset reference network speed information and the decoding delay speed information of the user terminal (110) is larger than the calculated value for the display refresh rate information of the user terminal (110).
예를 들면, 사용자 시야 전송 방식은 사용자 단말(110)의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크고, 사용자 단말(110)의 디코딩 지연 속도 정보가 사용자 단말(110)의 디스플레이 주사율 정보에 대한 산출값보다 작은 경우에 영상 전송 방식으로 선택될 수 있다.For example, the user view transmission method may be selected as the image transmission method when the network delay speed information of the user terminal (110) is greater than the preset reference network speed information and the decoding delay speed information of the user terminal (110) is less than the calculated value for the display injection rate information of the user terminal (110).
또한, 가상 현실 컨텐츠 수신부(510)는 영상 처리 서버(100)로부터 가상 현실 컨텐츠와 함께 영상 처리 서버(100)에 의해 결정된 영상 전송 방식에 대한 정보(즉, 사용자 시야 전송 방식인지 또는 주변부 전송 방식인지에 대한 정보)를 더 수신할 수 있다.In addition, the virtual reality content receiving unit (510) can further receive information about the image transmission method determined by the image processing server (100) along with the virtual reality content from the image processing server (100) (i.e., information about whether it is a user field of view transmission method or a peripheral transmission method).
가상 현실 컨텐츠 수신부(510)는 영상 처리 서버(100)에 의해 결정된 영상 전송 방식이 사용자 시야 전송 방식인 경우, 사용자 단말(110)의 위치 정보 및 회전 정보에 기초하여 생성된 양안 시야에 해당하는 가상 현실 컨텐츠를 영상 처리 서버(100)로부터 수신할 수 있다.The virtual reality content receiving unit (510) can receive virtual reality content corresponding to the binocular field of view generated based on the position information and rotation information of the user terminal (110) from the image processing server (100) when the image transmission method determined by the image processing server (100) is the user field of view transmission method.
가상 현실 컨텐츠 수신부(510)는 영상 처리 서버(100)에 의해 결정된 영상 전송 방식이 주변부 전송 방식인 경우, 사용자 단말(110)의 위치 정보에 기초하여 복수의 카메라에 의해 촬영된 영상을 스트칭한 가상 현실 컨텐츠를 영상 처리 서버(100)로부터 수신할 수 있다.If the image transmission method determined by the image processing server (100) is a peripheral transmission method, the virtual reality content receiving unit (510) can receive virtual reality content stitched from images captured by multiple cameras based on the location information of the user terminal (110) from the image processing server (100).
출력부(620)는 영상 전송 방식에 기초하여 영상 처리 서버(100)로부터 수신된 가상 현실 컨텐츠를 매핑할 메쉬를 결정할 수 있다. 예를 들면, 가상 현실 컨텐츠가 사용자 시야 전송 방식에 기초하여 생성된 경우, 출력부(620)는 복수의 메 쉬 중에서 2D 객체에 해당하는 메쉬(2D 평면 메쉬)를 선택할 수 있다. 예를 들면, 가상 현실 컨텐츠가 주변부 전송 방식에 기초하여 생성된 경우, 출력부(620)는 복수의 메쉬 중 3D 객체에 해당하는 메쉬(예컨대, 구, 육면체 등으로 이루어진 메쉬)를 선택할 수 있다.The output unit (620) can determine a mesh to map the virtual reality content received from the image processing server (100) based on the image transmission method. For example, if the virtual reality content is generated based on the user's field of view transmission method, the output unit (620) can select a mesh (2D plane mesh) corresponding to a 2D object from among a plurality of meshes. For example, if the virtual reality content is generated based on the peripheral transmission method, the output unit (620) can select a mesh corresponding to a 3D object from among a plurality of meshes (for example, a mesh made of a sphere, a hexahedron, etc.).
출력부(620)는 사용자 시야 전송 방식에 기초하여 생성된 가상 현실 컨텐츠를 2D 객체에 해당하는 메쉬에 매핑처리하여 출력할 수 있다.The output unit (620) can output virtual reality content generated based on the user's field of view transmission method by mapping it to a mesh corresponding to a 2D object.
출력부(620)는 주변부 전송 방식에 기초하여 생성된 가상 현실 컨텐츠를 3D 객체에 해당하는 메쉬에 매핑처리하여 출력하면서 동시에 사용자 단말(110)의 회전 정보에 기초하여 수신된 가상 현실 컨텐츠를 렌더링 처리할 수 있다.The output unit (620) can output virtual reality content generated based on a peripheral transmission method by mapping it to a mesh corresponding to a 3D object, while simultaneously rendering the received virtual reality content based on the rotation information of the user terminal (110).
한편, 본 발명에 적용된 사용자 시야 전송 방식 및 주변부 전송 방식의 차이를 살펴보면, 사용자 시야 전송 방식은 사용자 단말(110)의 위치 정보 및 회전 정보의 변화에 따라 영상 처리 서버(100) 측에서 렌더링을 수행하면서 가상 현실 컨텐츠를 갱신하는데 반해, 주변부 전송 방식은 사용자 단말(110)의 위치 정보의 변화에 따라 영상 처리 서버(100) 측에서 렌더링을 수행하면서 가상 현실 컨텐츠를 갱신하고, 사용자 단말(110) 측에서 사용자 단말(110)의 회전 정보에 따라 가상 현실 컨텐츠의 렌더링을 수행한다.Meanwhile, looking at the difference between the user view transmission method and the peripheral transmission method applied to the present invention, the user view transmission method updates virtual reality content while performing rendering on the image processing server (100) side according to changes in the location information and rotation information of the user terminal (110), whereas the peripheral transmission method updates virtual reality content while performing rendering on the image processing server (100) side according to changes in the location information of the user terminal (110), and performs rendering of virtual reality content on the user terminal (110) side according to the rotation information of the user terminal (110).
한편, 당업자라면, 전송부(600), 가상 현실 컨텐츠 수신부(510) 및 출력부(620) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.Meanwhile, those skilled in the art will fully understand that the transmission unit (600), the virtual reality content reception unit (510), and the output unit (620) may be implemented separately, or one or more of them may be implemented integrated.
도 7은 본 발명의 일 실시예에 따른, 사용자 단말(110)에 의해 가상 현실 서비스를 제공하는 방법을 나타낸 흐름도이다.FIG. 7 is a flowchart illustrating a method for providing a virtual reality service by a user terminal (110) according to one embodiment of the present invention.
도 7을 참조하면, 단계 S701에서 사용자 단말(110)은 영상 처리 서버(100)에게 단말 성능 정보 및 네트워크 상태 정보를 전송할 수 있다.Referring to FIG. 7, in step S701, the user terminal (110) can transmit terminal performance information and network status information to the image processing server (100).
단계 S703에서 사용자 단말(110)은 복수의 영상 전송 방식 중 단말 성능 정보 및 네트워크 상태 정보에 기초하여 결정된 영상 전송 방식에 따라 생성된 가상 현실 컨텐츠를 영상 처리 서버(100)로부터 수신할 수 있다. 여기서, 단말 성능 정보는 예를 들면, 사용자 단말(110)에 대한 디스플레이 주사율 정보 및 디코딩 지연 속도 정보를 포함할 수 있다. 네트워크 상태 정보는 예를 들면, 대역폭 정보, 사용자 단말(110)에 대한 네트워크 지연 속도 정보를 포함할 수 있다. 여기서, 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함할 수 있다.In step S703, the user terminal (110) may receive virtual reality content generated according to an image transmission method determined based on terminal performance information and network status information among a plurality of image transmission methods from the image processing server (100). Here, the terminal performance information may include, for example, display injection rate information and decoding delay speed information for the user terminal (110). The network status information may include, for example, bandwidth information and network delay speed information for the user terminal (110). Here, the plurality of image transmission methods may include a user field of view transmission method and a peripheral transmission method.
단계 S705에서 사용자 단말(110)은 수신된 가상 현실 컨텐츠가 사용자 시야 전송 방식에 기초하여 생성된 경우, 단계 S707에서 가상 현실 컨텐츠를 2D 객체에 해당하는 메쉬에 매핑처리하여 디스플레이에 출력할 수 있다.In step S705, if the received virtual reality content is generated based on the user's field of view transmission method, the user terminal (110) can map the virtual reality content to a mesh corresponding to a 2D object and output it to the display in step S707.
단계 S709에서 사용자 단말(110)은 수신된 가상 현실 컨텐츠가 주변부 전송 방식에 기초하여 생성된 경우, 가상 현실 컨텐츠를 3D 객체에 해당하는 메쉬에 매핑처리하여 디스플레이에 출력할 수 있다.In step S709, if the received virtual reality content is generated based on a peripheral transmission method, the user terminal (110) can map the virtual reality content to a mesh corresponding to a 3D object and output it to the display.
상술한 설명에서, 단계 S701 내지 S709는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S701 to S709 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present invention. In addition, some steps may be omitted as needed, and the order between the steps may be changed.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.An embodiment of the present invention may also be implemented in the form of a recording medium containing computer-executable instructions, such as program modules executed by a computer. The computer-readable medium may be any available medium that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include all computer storage media. The computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information, such as computer-readable instructions, data structures, program modules, or other data.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential characteristics of the present invention. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single component may be implemented in a distributed manner, and likewise, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims which follow rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention.
100: 영상 처리 서버
110: 사용자 단말
200: 수신부
210: 영상 전송 방식 결정부
220: 가상 현실 컨텐츠 생성부
230: 가상 현실 컨텐츠 전송부
600: 전송부
610: 가상 현실 컨텐츠 수신부
620: 출력부100: Image Processing Server
110: User terminal
200: Receiver
210: Video transmission method decision unit
220: Virtual Reality Content Creation Department
230: Virtual Reality Content Transmission Unit
600: Transmission
610: Virtual reality content receiving unit
620: Output section
Claims (18)
Translated fromKorean사용자 단말로부터 단말 성능 정보 및 네트워크 상태 정보를 수신하는 수신부;
상기 단말 성능 정보에 포함되는 디코딩 지연 속도 정보와 상기 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정하는 영상 전송 방식 결정부;
상기 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성하는 가상 현실 컨텐츠 생성부; 및
상기 생성된 가상 현실 컨텐츠를 렌더링하여 상기 사용자 단말로 전송하는 가상 현실 컨텐츠 전송부를 포함하고,
상기 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함하고.
상기 가상 현실 컨텐츠 생성부는,
상기 사용자 단말의 위치 정보 및 회전 정보에 기초하여 상기 사용자 시야 전송 방식에 해당하는 가상 현실 컨텐츠에 대해 렌더링을 수행하고,
상기 사용자 단말의 위치 정보에 기초하여 상기 주변부 전송 방식에 해당하는 가상 현실 컨텐츠에 대해 렌더링을 수행하고,
상기 영상 처리 서버로부터 상기 사용자 단말로 전송된 상기 주변부 전송 방식에 해당하는 가상 현실 컨텐츠는 상기 사용자 단말의 회전 정보에 기초하여 상기 사용자 단말에 의해 렌더링이 더 수행되는 것인, 영상 처리 서버.
In an image processing server that provides virtual reality services,
A receiving unit that receives terminal performance information and network status information from a user terminal;
A video transmission method determination unit that determines one of a plurality of video transmission methods based on decoding delay speed information included in the terminal performance information and the network status information;
A virtual reality content generation unit that generates virtual reality content based on the above-determined video transmission method; and
Includes a virtual reality content transmission unit that renders the generated virtual reality content and transmits it to the user terminal,
The above multiple image transmission methods include a user field of view transmission method and a peripheral transmission method.
The above virtual reality content creation unit,
Rendering is performed on virtual reality content corresponding to the user's field of view transmission method based on the location information and rotation information of the user terminal,
Rendering is performed on virtual reality content corresponding to the peripheral transmission method based on the location information of the user terminal,
An image processing server, wherein virtual reality content corresponding to the peripheral transmission method transmitted from the image processing server to the user terminal is further rendered by the user terminal based on rotation information of the user terminal.
상기 네트워크 상태 정보는 상기 사용자 단말에 대한 네트워크 지연 속도 정보를 포함하는 것인, 영상 처리 서버.
In paragraph 1,
An image processing server, wherein the above network status information includes network delay speed information for the user terminal.
상기 영상 전송 방식 결정부는 상기 사용자 단말의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 작은 경우, 상기 영상 전송 방식을 상기 사용자 시야 전송 방식으로 결정하는 것인, 영상 처리 서버.
In the second paragraph,
An image processing server, wherein the above image transmission method determining unit determines the image transmission method as the user view transmission method when the network delay speed information of the user terminal is smaller than the preset standard network speed information.
상기 단말 성능 정보는 상기 사용자 단말에 대한 디스플레이 주사율 정보를 더 포함하는 것인, 영상 처리 서버.
In the third paragraph,
An image processing server, wherein the terminal performance information further includes display injection rate information for the user terminal.
상기 영상 전송 방식 결정부는 상기 사용자 단말의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크고, 상기 사용자 단말의 디코딩 지연 속도 정보가 상기 사용자 단말의 디스플레이 주사율 정보에 대한 산출값보다 작은 경우, 상기 영상 전송 방식을 상기 주변부 전송 방식으로 결정하는 것인, 영상 처리 서버.
In paragraph 4,
An image processing server, wherein the image transmission method determining unit determines the image transmission method as the peripheral transmission method when the network delay speed information of the user terminal is greater than the preset reference network speed information and the decoding delay speed information of the user terminal is less than the calculated value for the display refresh rate information of the user terminal.
상기 영상 전송 방식 결정부는 상기 사용자 단말의 네트워크 지연 속도 정보가 기설정된 기준 네트워크 속도 정보보다 크고, 상기 사용자 단말의 디코딩 지연 속도 정보가 상기 사용자 단말의 디스플레이 주사율 정보에 대한 산출값보다 클 경우, 상기 영상 전송 방식을 상기 사용자 시야 전송 방식으로 결정하는 것인, 영상 처리 서버.
In paragraph 4,
The image processing server, wherein the image transmission method determining unit determines the image transmission method as the user view transmission method when the network delay speed information of the user terminal is greater than the preset reference network speed information and the decoding delay speed information of the user terminal is greater than the calculated value for the display refresh rate information of the user terminal.
상기 사용자 시야 전송 방식에 기초하여 생성된 가상 현실 컨텐츠는 2D 객체에 해당하는 메쉬에 매핑처리되는 것인, 영상 처리 서버.
In paragraph 1,
An image processing server in which virtual reality content generated based on the above user view transmission method is mapped to a mesh corresponding to a 2D object.
상기 주변부 전송 방식에 기초하여 생성된 가상 현실 컨텐츠는 3D 객체에 해당하는 메쉬에 매핑처리되는 것인, 영상 처리 서버.
In paragraph 1,
An image processing server in which virtual reality content generated based on the above peripheral transmission method is mapped to a mesh corresponding to a 3D object.
영상 처리 서버로 단말 성능 정보에 포함되는 디코딩 지연 속도 정보와 네트워크 상태 정보를 전송하는 전송부; 및
복수의 영상 전송 방식 중 상기 단말 성능 정보 및 상기 네트워크 상태 정보에 기초하여 결정된 영상 전송 방식에 따라 생성된 가상 현실 컨텐츠를 상기 영상 처리 서버로부터 수신하는 가상 현실 컨텐츠 수신부를 포함하고,
상기 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함하고.
상기 사용자 시야 전송 방식에 해당하는 가상 현실 컨텐츠는 상기 사용자 단말의 위치 정보 및 회전 정보에 기초하여 상기 영상 처리 서버에 의해 렌더링이 수행되고,
상기 주변부 전송 방식에 해당하는 가상 현실 컨텐츠는 상기 사용자 단말의 위치 정보에 기초하여 상기 영상 처리 서버에 의해 렌더링이 수행되고,
상기 영상 처리 서버로부터 상기 사용자 단말로 전송된 상기 주변부 전송 방식에 해당하는 가상 현실 컨텐츠는 상기 사용자 단말의 회전 정보에 기초하여 상기 사용자 단말에 의해 렌더링이 더 수행되는 것인, 사용자 단말.
For user terminals that provide virtual reality services,
A transmission unit that transmits decoding delay speed information and network status information included in terminal performance information to an image processing server; and
A virtual reality content receiving unit that receives virtual reality content generated according to a video transmission method determined based on the terminal performance information and the network status information among multiple video transmission methods from the video processing server,
The above multiple image transmission methods include a user field of view transmission method and a peripheral transmission method.
The virtual reality content corresponding to the above user view transmission method is rendered by the image processing server based on the location information and rotation information of the user terminal.
The virtual reality content corresponding to the above peripheral transmission method is rendered by the image processing server based on the location information of the user terminal.
A user terminal, wherein virtual reality content corresponding to the peripheral transmission method transmitted from the image processing server to the user terminal is further rendered by the user terminal based on rotation information of the user terminal.
상기 사용자 시야 전송 방식에 기초하여 상기 생성된 가상 현실 컨텐츠를 2D 객체에 해당하는 메쉬에 매핑처리하여 출력하는 출력부를 더 포함하는 사용자 단말.
In Article 12,
A user terminal further comprising an output unit that maps and outputs the generated virtual reality content to a mesh corresponding to a 2D object based on the user's field of view transmission method.
상기 주변부 전송 방식에 기초하여 생성된 가상 현실 컨텐츠를 3D 객체에 해당하는 메쉬에 매핑처리하여 출력하는 출력부를 더 포함하는 사용자 단말.
In Article 12,
A user terminal further comprising an output unit that maps virtual reality content generated based on the above peripheral transmission method onto a mesh corresponding to a 3D object and outputs the same.
사용자 단말로부터 단말 성능 정보 및 네트워크 상태 정보를 수신하는 단계;
상기 단말 성능 정보에 포함되는 디코딩 지연 속도 정보와 상기 네트워크 상태 정보에 기초하여 복수의 영상 전송 방식 중 하나를 결정하는 단계;
상기 결정된 영상 전송 방식에 기초하여 가상 현실 컨텐츠를 생성하는 단계; 및
상기 생성된 가상 현실 컨텐츠를 렌더링하여 상기 사용자 단말로 전송하는 단계를 포함하고,
상기 복수의 영상 전송 방식은 사용자 시야 전송 방식 및 주변부 전송 방식을 포함하고,
상기 가상 현실 컨텐츠를 생성하는 단계는,
상기 사용자 단말의 위치 정보 및 회전 정보에 기초하여 상기 사용자 시야 전송 방식에 해당하는 가상 현실 컨텐츠에 대해 렌더링을 수행하는 단계; 및
상기 사용자 단말의 위치 정보에 기초하여 상기 주변부 전송 방식에 해당하는 가상 현실 컨텐츠에 대해 렌더링을 수행하는 단계
를 포함하고,
상기 영상 처리 서버로부터 상기 사용자 단말로 전송된 상기 주변부 전송 방식에 해당하는 가상 현실 컨텐츠는 상기 사용자 단말의 회전 정보에 기초하여 상기 사용자 단말에 의해 렌더링이 더 수행되는 것인, 가상 현실 서비스 제공 방법.A method for providing a virtual reality service by an image processing server,
A step of receiving terminal performance information and network status information from a user terminal;
A step of determining one of a plurality of video transmission methods based on decoding delay speed information included in the terminal performance information and the network status information;
A step of generating virtual reality content based on the determined image transmission method; and
A step of rendering the generated virtual reality content and transmitting it to the user terminal is included.
The above multiple image transmission methods include a user field of view transmission method and a peripheral transmission method,
The steps for generating the above virtual reality content are:
A step of performing rendering on virtual reality content corresponding to the user view transmission method based on the location information and rotation information of the user terminal; and
A step of performing rendering on virtual reality content corresponding to the peripheral transmission method based on the location information of the user terminal.
Including,
A method for providing a virtual reality service, wherein virtual reality content corresponding to the peripheral transmission method transmitted from the image processing server to the user terminal is further rendered by the user terminal based on rotation information of the user terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180162343AKR102765081B1 (en) | 2018-12-14 | 2018-12-14 | Server, device and method for providing virtual reality service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180162343AKR102765081B1 (en) | 2018-12-14 | 2018-12-14 | Server, device and method for providing virtual reality service |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200073784A KR20200073784A (en) | 2020-06-24 |
| KR102765081B1true KR102765081B1 (en) | 2025-02-11 |
Family
ID=71408140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180162343AActiveKR102765081B1 (en) | 2018-12-14 | 2018-12-14 | Server, device and method for providing virtual reality service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102765081B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021010605A1 (en) | 2019-07-16 | 2021-01-21 | 주식회사 엘지화학 | Lithium secondary battery |
| KR102729032B1 (en) | 2020-07-23 | 2024-11-13 | 삼성전자주식회사 | Methods and apparatus for trnasmitting 3d xr media data |
| KR20220078298A (en) | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | Method for providing adaptive augmented reality streaming and apparatus for performing the same |
| KR20240021555A (en)* | 2022-08-10 | 2024-02-19 | 삼성전자주식회사 | Method for providing contents according to device type of ar device and apparatus thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101898822B1 (en)* | 2017-12-12 | 2018-09-13 | 가천대학교 산학협력단 | Virtual reality video streaming with viewport information signaling |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101652753B1 (en) | 2015-09-11 | 2016-09-01 | 주식회사 마이다스아이티 | Method for providing 3d panorama virtual reality image and system for providing 3d panorama virtual reality image using the same |
| KR102625773B1 (en)* | 2017-01-04 | 2024-01-17 | 삼성전자주식회사 | Device for Generating Image Having Different Rendering Quality Based on View Vector |
- 2018
- 2018-12-14KRKR1020180162343Apatent/KR102765081B1/enactiveActive
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101898822B1 (en)* | 2017-12-12 | 2018-09-13 | 가천대학교 산학협력단 | Virtual reality video streaming with viewport information signaling |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200073784A (en) | 2020-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102765081B1 (en) | Server, device and method for providing virtual reality service | |
| KR102111501B1 (en) | Server, device and method for providing virtual reality experience service | |
| KR102363364B1 (en) | Method and system for interactive transmission of panoramic video | |
| US9965026B2 (en) | Interactive video display method, device, and system | |
| US11024083B2 (en) | Server, user terminal device, and control method therefor | |
| US20190174125A1 (en) | Positional zero latency | |
| WO2018227098A1 (en) | External camera assisted virtual reality | |
| EP3899870B1 (en) | Cloud-based camera calibration | |
| KR102262812B1 (en) | Support for augmented reality software applications | |
| CN109743626B (en) | An image display method, image processing method and related equipment | |
| US20160255322A1 (en) | User adaptive 3d video rendering and delivery | |
| KR102805559B1 (en) | Server, device and method for providing augmented reality | |
| US20190045125A1 (en) | Virtual reality video processing | |
| Pohl et al. | See what I see: Concepts to improve the social acceptance of HMDs | |
| KR20220133892A (en) | Hide latency in wireless virtual and augmented reality systems | |
| KR20170086203A (en) | Method for providing sports broadcasting service based on virtual reality | |
| US20160202947A1 (en) | Method and system for remote viewing via wearable electronic devices | |
| JP2015149600A (en) | image processing apparatus, image processing method, and program | |
| JP6359572B2 (en) | Image transmission device, information processing terminal, image transmission method, information processing method, program, and information storage medium | |
| KR20150044488A (en) | Method and system of operating image contents for video see-through head mounted display | |
| KR102200115B1 (en) | System for providing multi-view 360 angle vr contents | |
| JP2012023488A (en) | Image processor, image processing method, display device, and program | |
| KR102559011B1 (en) | Method for providing virtual reality service, device and server | |
| JP2018088605A (en) | Information processing unit, display control unit, control method, and program | |
| US10482671B2 (en) | System and method of providing a virtual environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| A201 | Request for examination | ||
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| PE0601 | Decision on rejection of patent | St.27 status event code:N-2-6-B10-B15-exm-PE0601 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| PX0901 | Re-examination | St.27 status event code:A-2-3-E10-E12-rex-PX0901 | |
| PX0701 | Decision of registration after re-examination | St.27 status event code:A-3-4-F10-F13-rex-PX0701 | |
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | Fee payment year number:1 St.27 status event code:A-2-2-U10-U11-oth-PR1002 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 |