KR101688033B1 - System and method for providing augumented reality information using video transmission - Google Patents

Abstract

Translated fromKorean

본 발명은 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법에 관한 것이다.
본 발명에 따른 증강 현실을 이용한 위치 정보 제공 방법은, 영상 서비스 시스템이 제1단말기의 호 연결 요청에 따라 상기 제1단말기와 제2단말기의 호를 연결하는 단계와; 상기 영상 서비스 시스템이 상기 제1단말기로부터 영상 정보 및 위치 정보를 수신하는 단계와; 상기 영상 서비스 시스템이 상기 위치 정보를 이용하여 POI 정보를 검색하는 단계와; 상기 영상 서비스 시스템이 상기 영상 정보 및 POI 정보를 상기 제2단말기로 전송하는 단계를 포함한다. 제2단말기는 제1단말기로부터 전송 받은 영상 정보 및 위치 정보들을 증강 현실 기술을 이용하여 화면에 표시하기 때문에 원거리에 있는 제2단말기가 특정 지역에 있는 경우와 마찬가지로 증강 현실을 이용하여 영상 및 부가 정보를 표시할 수 있도록 하는 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing augmented reality information through image transmission.
A method for providing location information using an augmented reality according to the present invention comprises the steps of: connecting a call between a first terminal and a second terminal according to a call connection request of a first terminal; The video service system receiving video information and location information from the first terminal; The POI system searching POI information using the location information; And transmitting the image information and POI information to the second terminal by the image service system. Since the second terminal displays the video information and the position information received from the first terminal on the screen using the augmented reality technology, the second terminal can display the video and supplementary information using the augmented reality, To a system and method for providing augmented reality information through video transmission.

Description

Translated fromKorean

영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING AUGUMENTED REALITY INFORMATION USING VIDEO TRANSMISSION}Technical Field [0001] The present invention relates to a system and a method for providing augmented reality information through video transmission,

본 발명은 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법에 관한 것으로, 보다 상세하게는 특정 지역에 위치한 사용자가 현재 자신이 보고 있는 영상과 위치 정보를 전송해주면 원거리에 있는 상대방 단말기가 영상 서비스 시스템을 통해 전송 받은 영상 및 POI 정보들을 부가 정보와 함께 증강 현실을 이용하여 표시하기 때문에, 원거리 사용자가 특정 지역에 있는 경우와 마찬가지로 증강 현실을 이용한 위치 정보를 제공 받을 수 있도록 하는 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법에 관한 것이다.
The present invention relates to a system and method for providing augmented reality information through video transmission, and more particularly, to a system and method for providing augmented reality information through a video transmission, in which a user located in a specific area transmits video and location information, The augmented reality information through the image transmission that allows the remote user to receive position information using the augmented reality as in the case where the remote user is in a specific area, And to a method and system for providing the same.

이동통신단말기에 관련된 기술들이 발전함에 따라 제공할 수 있는 서비스의 영역도 확대되고 있고 그로 인하여 사용자에게 각종 정보를 제공하는 다양한 서비스 시스템도 개발되고 있다.As the technologies related to the mobile communication terminal are developed, the service area that can be provided is expanded, and various service systems for providing various information to the user are being developed.

그 서비스 중의 하나가 사용자에게 위치 정보를 제공하는 서비스인데, 종래의 위치 정보 제공 서비스는 사용자의 위치 정보와 GIS(Geographic Information System)를 통해 제공된 지도 등을 결합하여 사용자에게 정적인 위치 정보를 제공하는 것이었다.One of the services is a service for providing location information to a user. In the conventional location information providing service, static location information is provided to a user by combining a location information of a user with a map provided through a GIS (Geographic Information System) .

이러한 정적인 위치 정보는 실제 장소에 있는 것과 같은 현실감이 떨어져서 사용자가 해당 정보만 가지고 위치를 찾는 데에 어려움이 있었다.Such static location information is not as realistic as it is in a real place, and thus it has been difficult for a user to find a location with only that information.

최근에는 증강현실기술을 이용하여 카메라 등으로부터 얻은 실제 화면에 부가 정보를 overlay하여 보다 현실감 있는 위치 정보를 제공하는 시도가 증가하고 있다.In recent years, there has been an increasing tendency to provide more realistic position information by overlaying additional information on an actual screen obtained from a camera or the like using augmented reality technology.

증강현실(Augmented Reality)기술이란 가상현실(Virtual Reality)기술에서 파생된 기술로서, 카메라 등으로부터 얻은 실제 화면에 부가 정보를 overlay하여 디스플레이(display)함으로써 현실세계에 대한 인지도를 향상시키는 기술을 말한다.Augmented Reality technology is a technology derived from Virtual Reality technology. It is a technology that improves awareness of the real world by displaying additional information on an actual screen obtained from a camera or the like and displaying it.

증강현실을 구현 하는 방법은 실제 카메라의 영상을 인식하여 공간 및 물체를 인식하고 공간 또는 물체에 부가 정보 등을 위치시키는 영상인식 기반의 기법과 GPS(Global Positioning System)로부터 얻은 위치정보와 전자나침반(지자기 센서)로부터 얻은 단말의 방위각 정보로부터 현재의 위치의 주변의 POI(Point Of Interest) 정보를 카메라 영상 등으로부터 얻은 실사에 overlay하여 표시하는 위치기반의 기법이 있다.A method of realizing augmented reality is based on image recognition based technique of recognizing space and object and realizing additional information in space or object by recognizing image of actual camera, position information obtained from GPS (Global Positioning System) and electronic compass There is a location-based technique in which POI (Point Of Interest) information around a current location is overlaid on a real image obtained from a camera image or the like, from the azimuth information of the terminal obtained from the azimuth sensor.

기존의 증강현실 어플리케이션은 어플리케이션에서 제공하는 위치정보(POI 정보)만을 표시하고 여러 개의 POI정보들을 한꺼번에 표시하기 때문에 사용자가 관심이 있는 POI 정보만을 표시할 수는 없었다.Conventional augmented reality applications only display location information (POI information) provided by an application and display a plurality of POI information at a time, so that users can not display only POI information of interest.

그리고 기존의 방식은 사용자가 위치한 주변의 위치정보(POI 정보) 만을 보여주기 때문에, 원거리에 있는 상대방이 증강 현실 기술에 기반하여 사용자가 위치한 지점의 위치정보(POI 정보)를 획득할 수가 없었다.Also, since the conventional method only shows the location information (POI information) around the user, the remote party can not obtain the location information (POI information) of the point where the user is located based on the augmented reality technology.

또한, 사용자가 제공한 위치정보(POI 정보)를 상대방이 전송 받아 함께 공유할 수 있는 방안이 없었다.
Further, there is no way for the other party to receive and share location information (POI information) provided by the user.

본 발명은, 상기와 같은 문제점을 해결하기 위한 것으로, 원거리에 있는 제2단말기는 제1단말기로부터 전송 받은 영상 및 위치 정보들을 이용하여 증강 현실 기술을 통해 화면에 표시하기 때문에 원거리에 있는 제2단말기가 특정 지역에 있는 경우와 마찬가지로 증강 현실을 이용하여 위치 정보를 표시할 수 있는 서비스를 제공하는 것을 목적으로 한다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a second terminal, which is located at a long distance, The present invention aims to provide a service capable of displaying location information by using the augmented reality as in the case where it is in a specific area.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 영상 전송을 통한 증강 현실 정보 제공 시스템은, 제1단말기로부터 영상 정보 및 위치 정보를 수신하고, 상기 영상 정보 및 상기 위치 정보에 따른 POI 정보를 제2단말기로 전송하는 영상 서비스 시스템을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a system for providing augmented reality information through video transmission, the system including: a receiving unit for receiving image information and position information from a first terminal, and transmitting POI information according to the image information and the position information, And a video service system for transmitting the video service to the terminal.

여기서, 상기 영상 서비스 시스템은, 상기 제1단말기 및 상기 제2단말기와의 영상 전화 호를 확립하고, 상기 제1단말기로부터 전송 받은 상기 영상 정보를 상기 제2단말기로 전송하는 영상 서버와; 상기 위치 정보를 이용하여 검색한 상기 POI 정보를 상기 제2단말기로 전송하는 AR 서버와; POI 정보에 따른 부가 정보를 저장하는 부가 정보 DB를 포함할 수 있다.The video service system includes a video server for establishing a video telephone call with the first terminal and the second terminal and transmitting the video information transmitted from the first terminal to the second terminal; An AR server for transmitting the POI information retrieved using the location information to the second terminal; And an additional information DB for storing additional information according to the POI information.

그리고, 상기 AR 서버는, 상기 제1단말기로부터 상기 위치 정보를 수신하거나 상기 POI 정보를 상기 제2단말기로 송신하는 서버송수신부와; 상기 제1단말기로부터 수신하는 상기 위치 정보를 저장하는 서버메모리부와; 상기 위치 정보에 따른 다수의 상기 POI 정보들을 저장하는 POI 정보 DB를 포함하는 것이 바람직하다.The AR server includes a server transceiver unit for receiving the location information from the first terminal or transmitting the POI information to the second terminal; A server memory unit for storing the location information received from the first terminal; And a POI information DB for storing a plurality of the POI information according to the location information.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 단말기는, 단말기송수신부를 통해 영상 정보를 수신하거나 송신하는 영상전화모듈와; 영상 서비스 시스템으로부터 수신하는 POI정보를 저장하는 단말기메모리부와; 상기 영상 정보 및 상기 POI정보를 표시하거나, 상기 영상 정보 또는 상기 POI 정보에 따른 부가정보를 표시하는 터치스크린을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a terminal comprising: a video telephone module for receiving or transmitting video information through a terminal transceiver; A terminal memory unit for storing POI information received from the video service system; And a touch screen for displaying the image information and the POI information or displaying additional information according to the image information or the POI information.

여기서, 본 발명의 단말기는, 상기 영상 정보에 상기 POI 정보 또는 상기 부가 정보를 정합하는 영상정합부를 더 포함할 수 있다.Here, the terminal of the present invention may further include an image matching unit for matching the POI information or the additional information with the image information.

그리고, 상기 단말기송수신부는, 상기 영상 서비스 시스템으로 상기 부가 정보를 요청하여 전송 받을 수 있다.The terminal transceiver may request the additional information to the video service system and receive the additional information.

또한, 상기 단말기송수신부는, 웹 브라우저를 통해 검색한 상기 부가 정보를 전송 받는 것이 바람직하다.Preferably, the terminal transceiver receives the additional information retrieved through a web browser.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법은, 영상 서비스 시스템이 제1단말기의 호 연결 요청에 따라 상기 제1단말기와 제2단말기의 호를 연결하는 단계와; 상기 영상 서비스 시스템이 상기 제1단말기로부터 영상 정보 및 위치 정보를 수신하는 단계와; 상기 영상 서비스 시스템이 상기 위치 정보를 이용하여 POI 정보를 검색하는 단계를 포함하는 것을 특징으로 를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of providing augmented reality information through a video transmission, the method comprising the steps of: Connecting the call; The video service system receiving video information and location information from the first terminal; And searching the POI information using the location information by the image service system.

여기서, 본 발명에 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법은, 상기 영상 서비스 시스템이 상기 제2단말기로 상기 영상 정보 및 상기 POI 정보를 전송하는 단계를 더 포함하며, 상기 제2단말기는 상기 영상 정보 및 상기 POI 정보를 정합하여 실시간으로 화면에 표시할 수 있다.Here, the method for providing augmented reality information through video transmission according to an exemplary embodiment of the present invention may further include transmitting the video information and the POI information to the second terminal by the video service system, The terminal can display the image information and the POI information on the screen in real time by matching the information.

그리고, 본 발명에 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법은, 상기 영상 서비스 시스템이 상기 제2단말기의 요청에 따라 부가 정보를 전송하는 단계를 더 포함할 수 있다.The method of providing augmented reality information through video transmission according to an exemplary embodiment of the present invention may further include transmitting additional information according to a request of the second terminal.

또한, 상기 제2단말기의 요청에 따라 상기 부가 정보를 전송하는 단계는, 상기 제2단말기로부터 상기 POI 정보에 따른 상기 부가 정보에 대한 요청을 받는 단계와; 웹 브라우저를 통해 상기 부가 정보가 표시될 수 있도록 상기 제2단말기로 상기 부가 정보를 전송하는 단계를 포함할 수 있다.The transmitting of the additional information according to a request of the second terminal may include receiving a request for the additional information according to the POI information from the second terminal; And transmitting the additional information to the second terminal so that the additional information can be displayed through a web browser.

그리고, 상기 제2단말기는 상기 웹 브라우저를 통해 상기 부가 정보가 표시될 수 있도록 상기 영상 정보를 표시하는 화면과 구분하여 화면을 분할하거나 새로운 화면을 생성하여 상기 웹 브라우저를 표시할 수 있다.The second terminal can display the web browser by dividing the screen or creating a new screen by separating the screen from the screen for displaying the video information so that the additional information can be displayed through the web browser.

여기서, 상기 제2단말기는 상기 영상 정보 및 상기 부가 정보를 정합하여 실시간으로 화면에 표시하는 것이 바람직하다.
Here, it is preferable that the second terminal displays the video information and the additional information on the screen in real time.

이상 설명한 바와 같이, 본 발명에 따르면, 영상 전송을 통한 증강 현실 정보 제공 시스템 및 방법은 제1단말기로부터 전송 받은 영상 및 위치 정보들을 증강 현실 기술을 이용하여 화면에 표시하기 때문에 원거리에 있는 제2단말기가 특정 지역에 있는 경우와 마찬가지로 증강 현실을 이용하여 위치 정보를 표시할 수 있다.As described above, according to the present invention, a system and method for providing augmented reality information through video transmission displays images and location information received from a first terminal on a screen using augmented reality technology, The location information can be displayed using the augmented reality as in the case where the location information is in a specific area.

그리고, 제2단말기는 영상 또는 POI 정보를 이용하여 검색한 부가 정보를 추가하여 증강 현실을 이용하여 표시할 수 있고, 영상 및 부가 정보를 표시한 AR 화면을 제1단말기와 공유할 수 있다.
The second terminal can display supplementary information searched by using the image or POI information and display it using an augmented reality, and can share an AR screen displaying video and supplementary information with the first terminal.

도1은 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 시스템을 도시한 도면이다.
도2는 본 발명의 바람직한 실시예에 따른 제2단말기의 내부 블록도를 도시한 도면이다.
도3은 본 발명의 바람직한 실시예에 따른 영상 서비스 시스템을 도시한 도면이다.
도4는 본 발명의 바람직한 실시예에 따른 AR 서버의 내부 블록도를 도시한 도면이다.
도5는 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법을 설명하는 흐름도를 도시한 도면이다.
도6은 본 발명의 또 다른 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법을 설명하는 흐름도를 도시한 도면이다.
도7a, 7b, 7c는 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법을 터치스크린에 표시된 화면과 함께 설명하기 위해 참조되는 도면이다.1 is a diagram illustrating a system for providing augmented reality information through video transmission according to a preferred embodiment of the present invention.
2 is a block diagram illustrating an internal structure of a second terminal according to a preferred embodiment of the present invention.
3 is a diagram illustrating a video service system according to a preferred embodiment of the present invention.
FIG. 4 is a block diagram illustrating an internal structure of an AR server according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 5 is a flowchart illustrating a method of providing augmented reality information through image transmission according to a preferred embodiment of the present invention. Referring to FIG.
6 is a flowchart illustrating a method of providing augmented reality information through video transmission according to another embodiment of the present invention.
FIGS. 7A, 7B, and 7C are views for explaining a method of providing augmented reality information through image transmission according to a preferred embodiment of the present invention, together with a screen displayed on a touch screen.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도1은 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 시스템을 도시한 도면이다.1 is a diagram illustrating a system for providing augmented reality information through video transmission according to a preferred embodiment of the present invention.

도1에 도시한 바와 같이, 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 시스템은, 제1단말기(110), PDSN(120), 제2단말기(130), 영상 서비스 시스템(140)을 포함한다.1, a system for providing augmented reality information through video transmission according to a preferred embodiment of the present invention includes afirst terminal 110, a PDSN 120, asecond terminal 130, a video service system 140).

이때, 제1단말기(110)는 관심 지점에 위치하고 있고, 제2단말기(130)는 관심 지점으로부터 원거리에 위치하고 있다.At this time, thefirst terminal 110 is located at a point of interest, and thesecond terminal 130 is located remotely from a point of interest.

제1단말기(110)는 PDSN(Packet Date Serving Node, 120)을 통하여 영상 서비스 시스템(140)으로 영상 및 위치 정보를 전송한다.Thefirst terminal 110 transmits video and location information to thevideo service system 140 through a PDSN (Packet Date Serving Node) 120.

여기서, 영상 정보는 제1단말기(110)의 영상전화모듈(미도시)을 통해 획득하고, 위치 정보는 제1단말기(110)의 GPS 모듈(미도시)을 통해 획득할 수 있다.Here, the image information may be acquired through a video telephone module (not shown) of thefirst terminal 110, and the location information may be acquired through a GPS module (not shown) of thefirst terminal 110.

영상 서비스 시스템(140)은 제1단말기(110)로부터 영상 및 위치 정보를 전송 받고, 위치 정보를 이용하여 POI 정보를 검색할 수 있다.Thevideo service system 140 receives video and location information from thefirst terminal 110 and can retrieve the POI information using the location information.

그리고, 영상 서비스 시스템(140)은, 영상 및 POI 정보를 제2단말기(130)로 전송할 수 있고, 제2단말기(130)의 영상 또는 POI 정보에 따른 부가 정보에 대한 요청에 따라 웹 브라우저를 통해 부가 정보가 표시될 수 있도록 제2단말기(130)로 부가 정보를 제공할 수도 있다.Thevideo service system 140 may transmit video and POI information to thesecond terminal 130 and may transmit the video and POI information to thesecond terminal 130 through a web browser The additional information may be provided to thesecond terminal 130 so that additional information can be displayed.

여기서, POI 정보는 통신사업자가 제공하는 정보일 수 있고, 사용자가 웹을 통해 등록하는 정보일 수도 있다.Here, the POI information may be information provided by a communication service provider, or may be information that a user registers via the Web.

예를 들어, POI 정보는 위치 이름, 위치 좌표, 메모, 이미지 등을 포함할 수 있다.For example, the POI information may include location name, location coordinates, memo, image, and the like.

위치 이름은 제1단말기(110)가 선택한 관심 지점 이름으로 일반적으로 POI 아이콘에 표시될 수 있다.The location name may be displayed on the POI icon, typically with the name of the point of interest selected by thefirst terminal 110.

위치 좌표는 제1단말기(110)가 선택한 관심 지점에 대한 좌표 정보(위/경도 등)일 수 있다.The position coordinates may be coordinate information (such as position / length) for the point of interest selected by thefirst terminal 110. [

메모는 제1단말기(110)가 선택한 관심 지점에 대한 상세 정보일 수 있다.The note may be detailed information about the point of interest selected by thefirst terminal 110. [

이미지는 제1단말기(110)가 영상 정보 및 위치 정보를 전송할 때 함께 전송한 사진일 수 있다.The image may be a picture that thefirst terminal 110 transmits together with the image information and the location information.

제2단말기(130)는 영상 서비스 시스템(140)으로부터 전달 받은 영상 및 POI 정보를 정합하여 표시할 수 있다.Thesecond terminal 130 may display the image and POI information received from theimage service system 140 by matching.

여기서, 영상 및 POI 정보를 정합한다는 것은 서로 다른 영상을 변형하여 하나의 화면에 표시하도록 하는 것을 말한다.Here, the matching of the image and the POI information means that different images are transformed and displayed on one screen.

그리고, 제2단말기(130)는, 웹 브라우저를 통해 부가 정보가 표시될 수 있도록 영상 정보를 표시하는 화면과 구분하여 화면을 분할하거나 새로운 화면을 생성하여 웹 브라우저를 표시할 수 있다.Thesecond terminal 130 can display a web browser by dividing the screen or creating a new screen by separating the screen from the screen displaying the video information so that additional information can be displayed through the web browser.

도2는 본 발명의 바람직한 실시예에 따른 제2단말기의 내부 블록도를 도시한 도면이다.2 is a block diagram illustrating an internal structure of a second terminal according to a preferred embodiment of the present invention.

도2에 도시한 바와 같이, 본 발명의 바람직한 실시예에 따른 제2단말기(130)는, 단말기송수신부(210), 영상전화모듈(220), 영상정합부(230), 터치스크린(240), 단말기메모리부(250), 단말기제어부(260)를 포함한다.2, thesecond terminal 130 according to the preferred embodiment of the present invention includes aterminal transceiver unit 210, avideo phone module 220, animage matching unit 230, atouch screen 240, Aterminal memory unit 250, and aterminal control unit 260.

단말기송수신부(210)는 안테나를 통하여 기지국과의 무선통신을 위한 인터페이스를 제공하며, 안테나에서 송수신 신호를 분리해 주는 듀플렉스 필터, 송신 신호를 증폭하는 파워 앰프, 송신 경로의 주파수 상향 변환회로, 수신 경로의 주파수 하향 변환회로 등을 포함한다.Theterminal transceiver 210 provides an interface for wireless communication with a base station via an antenna, and includes a duplex filter for separating a transmission signal from an antenna, a power amplifier for amplifying a transmission signal, a frequency up conversion circuit for a transmission path, Frequency down conversion circuit of the path, and the like.

단말기송수신부(210)는 영상 서비스 시스템(140)로부터 영상 및 POI 정보를 전송 받을 수 있으며, 영상 또는 POI 정보를 이용하여 요청한 부가 정보를 전송 받을 수도 있다.Theterminal transceiver 210 can receive the video and POI information from thevideo service system 140 and receive the requested supplementary information using the video or POI information.

영상전화모듈(220)은 제1단말기(110)로부터 전송 받은 영상 정보를 터치스크린(240)에 표시하도록 제어하는 모듈로서, 영상 정보를 영상정합부(230)로 전달할 수 있다.Thevideo phone module 220 is a module for controlling the display of the image information received from thefirst terminal 110 on thetouch screen 240 and may transmit the image information to theimage matching unit 230.

영상정합부(230)는 영상 서비스 시스템(140)으로부터 전송 받은 영상 및 POI 정보를 정합할 수 있다.The image matchingunit 230 can match the image and POI information received from theimage service system 140. [

그리고, 영상정합부(230)는, 추가적으로 요청한 부가 정보를 영상 정보와 정합할 수도 있다.Theimage matching unit 230 may further match the requested additional information with the image information.

터치스크린(240)은 데이터나 사용자의 동작 명령을 입력 받기 위한 입력장치로 동작함과 동시에, 동작 제어를 위한 메뉴, 배터리 정보, 신호 수신 상태 정보들이 표시되는 표시장치로도 동작한다.Thetouch screen 240 operates as an input device for receiving data or a user's operation command, and also functions as a display device for displaying a menu for operation control, battery information, and signal reception status information.

터치스크린(240)은 영상 및 POI 정보를 정합한 AR 화면을 표시하거나, 영상 및 부가 정보를 정합한 AR 화면을 표시할 수도 있다.Thetouch screen 240 may display an AR screen in which images and POI information are matched, or may display an AR screen in which video and additional information are matched.

그리고, 터치스크린(240)은, 사용자가 검색 버튼을 터치하는 것을 감지하거나 사용자가 AR 화면에서 POI 정보가 표시되는 부분을 터치하는 것을 감지하여 감지신호를 단말기제어부(260)로 전달할 수도 있다.Thetouch screen 240 may detect that the user touches the search button or may touch the portion where the POI information is displayed on the AR screen, and may transmit a detection signal to theterminal controller 260. [

여기서, AR 화면이란 영상 및 POI 정보 또는 부가 정보가 증강 현실 기술에 의해 정합되어 표시되는 화면을 말한다.Here, the AR screen refers to a screen in which video, POI information, or additional information is matched and displayed by the augmented reality technology.

단말기메모리부(250)는 영상 서비스 시스템(140)로부터 전송 받은POI 정보를 저장할 수 있으며, 영상 또는 POI 정보를 이용하여 검색한 부가 정보를 저장할 수도 있다.Theterminal memory unit 250 may store the POI information received from thevideo service system 140 and may store additional information retrieved using the image or POI information.

단말기제어부(260)는 제2단말기(130)의 전반적인 동작을 제어한다. 예를 들어 사용자가 AR 화면에서 POI 정보가 표시되는 부분을 터치하면 영상 서비스 시스템(140)으로 부가 정보 요청 신호를 전달할 수 있다.Theterminal control unit 260 controls the overall operation of thesecond terminal 130. For example, if the user touches the portion of the AR screen where the POI information is displayed, the additional information request signal may be transmitted to thevideo service system 140.

또한, 단말기제어부(260)는, 사용자가 AR 화면에서 검색 버튼을 터치하면 부가 정보를 전송 받기 위해 웹 서버로 접속하도록 제어할 수도 있다.Also, theterminal control unit 260 may control the user to connect to the web server to receive the additional information when the user touches the search button on the AR screen.

도3은 본 발명의 바람직한 실시예에 따른 영상 서비스 시스템을 도시한 도면이다.3 is a diagram illustrating a video service system according to a preferred embodiment of the present invention.

도3에 도시한 바와 같이, 본 발명의 바람직한 실시예에 따른 영상 서비스 시스템(140)은, 영상 서버(310), AR 서버(320), 부가 정보 DB(330)를 포함한다.3, thevideo service system 140 according to the preferred embodiment of the present invention includes avideo server 310, anAR server 320, and asupplementary information DB 330.

영상 서버(310)는 제1단말기(110)로부터 영상 전화 호 접속신호가 수신되면 제2단말기(130)와 영상 전화 호 연결을 시도할 수 있다.Thevideo server 310 may attempt to establish a video phone call connection with thesecond terminal 130 when the video phone call connection signal is received from thefirst terminal 110. [

그리고, 영상 전화 호가 확립되면 제1단말기(110)로부터 전송 받은 영상 정보를 제2단말기(130)로 전송할 수 있다.When the video phone call is established, the video information transmitted from thefirst terminal 110 can be transmitted to thesecond terminal 130.

AR 서버(320)는 제1단말기(110)로부터 전송 받은 위치 정보를 저장하고 위치 정보를 이용하여 검색한 POI 정보를 제2단말기(130)로 전송할 수 있다.TheAR server 320 may store the location information received from thefirst terminal 110 and may transmit the retrieved POI information to thesecond terminal 130 using the location information.

부가 정보 DB(330)는 제2단말기(130)로 전송하는 부가 정보를 저장할 수 있다.Theadditional information DB 330 may store additional information to be transmitted to thesecond terminal 130.

여기서, 부가 정보는 관심 지점에 대하여 제2단말기(130)의 사용자가 추가적으로 알고 싶은 정보로서, 관심 지점에 따라 메뉴 정보, 좌석 정보, 주차 정보 등일 수 있다.Here, the additional information may be information that the user of thesecond terminal 130 wants to know more about the point of interest, and may be menu information, seating information, parking information, etc., depending on the point of interest.

이때, 부가 정보는 통신사업자가 제공하는 정보일 수 있고, 사용자가 웹을 통해 등록하는 정보일 수도 있다.At this time, the additional information may be information provided by the communication carrier, or may be information that the user registers via the web.

여기서, 관심 지점이란 POI 정보에 포함되는 위치일 수도 있고, 지도상에서 선택한 임의의 위치일 수도 있다.Here, the point of interest may be a position included in the POI information or an arbitrary position selected on the map.

도4는 본 발명의 바람직한 실시예에 따른 AR 서버의 내부 블록도를 도시한 도면이다.FIG. 4 is a block diagram illustrating an internal structure of an AR server according to an exemplary embodiment of the present invention. Referring to FIG.

도4에 도시한 바와 같이, 바람직한 실시예에 따른 AR 서버(320)는, 서버송수신부(410), 서버메모리부(420), POI 정보 DB(430), 서버제어부(440)를 포함한다.4, theAR server 320 according to the preferred embodiment includes a server transmission /reception unit 410, aserver memory unit 420, aPOI information DB 430, and aserver control unit 440.

서버송수신부(410)는 제1단말기(110)로부터 위치 정보를 전송 받거나 POI 정보를 제2단말기(130)로 전송할 수 있다.The server transmission /reception unit 410 may receive location information from thefirst terminal 110 or may transmit POI information to thesecond terminal 130.

서버메모리부(420)는 제1단말기(110)로부터 전송 받은 위치 정보를 저장할 수 있다.Theserver memory unit 420 may store location information received from thefirst terminal 110.

POI 정보 DB(430)는 위치 정보에 따른 다수의 POI 정보들을 저장할 수 있다.ThePOI information DB 430 can store a plurality of POI information according to the location information.

서버제어부(440)는 서버의 전반적인 동작을 제어하고, POI 정보를 저장하거나 삭제하도록 제어할 수도 있다.Theserver control unit 440 may control the overall operation of the server and may control to store or delete the POI information.

도5는 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법을 설명하는 흐름도를 도시한 도면이다.FIG. 5 is a flowchart illustrating a method of providing augmented reality information through image transmission according to a preferred embodiment of the present invention. Referring to FIG.

도5에 도시한 바와 같이, 제1단말기(110)가 영상 서비스 시스템(140)으로 호 연결 요청을 하고(S500), 영상 서비스 시스템(140)은 제2단말기(130)로 호 연결하여(S505), 제1단말기(110)와 제2단말기(130)의 호를 확립한다(S510).5, thefirst terminal 110 makes a call connection request to thevideo service system 140 at step S500, thevideo service system 140 calls thesecond terminal 130 at step S505 , And establishes a call between thefirst terminal 110 and the second terminal 130 (S510).

제1단말기(110)는 영상 및 위치 정보를 획득하고(S515), 영상 서비스 시스템(140)으로 전송한다(S520).Thefirst terminal 110 acquires video and location information (S515) and transmits the video and location information to the video service system 140 (S520).

영상 서비스 시스템(140)은 제1단말기(110)로부터 전송 받은 영상 및 위치 정보를 저장하고(S525), 위치 정보를 이용하여 POI 정보를 검색한다.Thevideo service system 140 stores the video and location information received from the first terminal 110 (S525), and searches the POI information using the location information.

영상 서비스 시스템(140)은 영상 정보를 스트리밍을 통해 제2단말기(130)로 전송하면서 위치 정보를 이용하여 검색한 POI 정보도 함께 전송한다(S530).Thevideo service system 140 transmits the video information to thesecond terminal 130 through streaming, and also transmits the POI information using the location information (S530).

그리고, 제2단말기(130)는 영상 서비스 시스템(140)으로부터 전송 받은 영상 및 POI 정보를 정합하여 실시간으로 화면에 표시한다(S535).Then, thesecond terminal 130 displays the video and POI information received from thevideo service system 140 on the screen in real time (S535).

이때, 영상 정보 및 POI 정보를 정합하여 표시되는 화면은 제1단말기(110)로도 전송하여 공유할 수도 있다.At this time, the screen displayed by matching the image information and the POI information may also be transmitted to thefirst terminal 110 for sharing.

도6은 본 발명의 또 다른 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법을 설명하는 흐름도를 도시한 도면이다.6 is a flowchart illustrating a method of providing augmented reality information through video transmission according to another embodiment of the present invention.

도6에 도시한 바와 같이, S600~S635과정은 S500~S535과 동일하기 때문에 자세한 설명은 생략하기로 한다.As shown in FIG. 6, since steps S600 to S635 are the same as steps S500 to S535, a detailed description will be omitted.

제2단말기(130)는 영상 또는 POI 정보를 이용하여 영상 서비스 시스템(140)로 부가 정보를 요청한다(S640).Thesecond terminal 130 requests additional information from theimage service system 140 using the image or POI information (S640).

예를 들어, 검색버튼을 누르거나 AR 화면 상에서 표시되는POI 정보를 선택하여 영상 서비스 시스템(140)로 부가 정보를 요청할 수 있다.For example, the user may request additional information from thevideo service system 140 by pressing a search button or selecting POI information displayed on the AR screen.

그리고, 증강현실을 구현 방법 중 하나인 영상인식 기반의 기법을 이용하여 화면에 표시되는 공간 및 물체를 인식하고 얻은 정보를 이용하여 영상 서비스 시스템(140)로 부가 정보를 요청할 수도 있다.The additional information may be requested to theimage service system 140 by using the image recognition-based technique, which is one of the methods of implementing the augmented reality, and recognizing the space and the object displayed on the screen.

제2단말기(130)는 영상 서비스 시스템(140)로부터 부가 정보를 전송 받고(S645), 영상 정보와 함께 정합하여 실시간으로 화면에 표시한다(S650).Thesecond terminal 130 receives the additional information from thevideo service system 140 in step S645, and displays the real time information on the screen in step S650.

이때, 영상 정보 및 부가 정보를 정합하여 표시되는 화면은 제1단말기(110)로도 전송하여 공유할 수도 있다.At this time, a screen displayed by matching the image information and the additional information may also be transmitted to thefirst terminal 110 and shared.

도7a, 7b, 7c는 본 발명의 바람직한 실시예에 따른 영상 전송을 통한 증강 현실 정보 제공 방법을 터치스크린(240)에 표시된 화면과 함께 설명하기 위해 참조되는 도면이다.FIGS. 7A, 7B and 7C are views for explaining a method of providing augmented reality information through image transmission according to a preferred embodiment of the present invention, together with a screen displayed on thetouch screen 240. FIG.

도7a는 제1단말기(110)로부터 전송 받은 영상 정보를 표시하고 있다. 이때. 발신자를 표시하는 화면(610)이 포함될 수도 있다. 제2단말기(130)의 사용자가 검색 버튼을 터치하면 터치신호를 전달 받은 단말기 제어부가 영상 서비스 시스템(140)으로 부가 정보를 요청할 수 있다.FIG. 7A shows image information transmitted from thefirst terminal 110. FIG. At this time. And a screen 610 for displaying the caller may be included. When the user of thesecond terminal 130 touches the search button, the terminal controller receiving the touch signal can request additional information from thevideo service system 140.

도7b는 제1단말기(110)로부터 전송 받은 영상 및 POI 정보를 표시하고 있다. 이때, 제2단말기(130)의 사용자가 POI 정보를 터치하면 터치신호를 전달 받은 단말기 제어부가 영상 서비스 시스템(140)으로 부가 정보를 요청할 수 있다.FIG. 7B shows the image and POI information received from thefirst terminal 110. FIG. At this time, if the user of thesecond terminal 130 touches the POI information, the terminal controller receiving the touch signal can request additional information from thevideo service system 140.

도7c는 제2단말기(130)로부터 요청 받은 부가 정보를 리스트 형태(620)로 표시하고 있다. 이때 부가 정보 검색을 위해 화면을 분할하여 표시할 수 있고, 새로이 화면을 생성할 수도 있다. 검색이 끝나면 전송 받은 부가 정보를 영상 정보와 함께 정합하여 표시할 수 있다.7C shows additional information requested from thesecond terminal 130 in the form of a list 620. At this time, the screen can be divided and displayed for searching additional information, and a new screen can be created. At the end of the search, the transmitted additional information can be matched and displayed together with the video information.

이상과 같은 본 발명의 실시예는 예시적인 것에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지를 벗어나지 않는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명의 보호범위는 첨부된 특허청구범위 및 이와 균등한 범위 내에서의 본 발명의 변형을 포함한다.
The embodiments of the present invention as described above are merely illustrative, and those skilled in the art can make modifications without departing from the gist of the present invention. Accordingly, the protection scope of the present invention includes modifications of the present invention within the scope of the appended claims and equivalents thereof.

110: 제1단말기120: PDSN
130: 제2단말기140: 영상 서비스 시스템
210: 단말기송수신부220: 영상전화모듈
230: 영상정합부240: 터치스크린
250: 단말기메모리부260: 단말기제어부110: first terminal 120: PDSN
130: second terminal 140: video service system
210: terminal transmitting / receiving unit 220: video telephone module
230: image registration unit 240: touch screen
250: terminal memory unit 260: terminal control unit

Claims (13)

Translated fromKorean

삭제delete제1단말기로부터 영상 정보 및 위치 정보를 수신하고,
상기 영상 정보 및 상기 위치 정보에 따른 POI 정보를 제2단말기로 전송하는 영상 서비스 시스템을 포함하는 것을 특징으로 하며,
상기 영상 서비스 시스템은,
상기 제1단말기 및 상기 제2단말기와의 영상 전화 호를 확립하고, 상기 제1단말기로부터 전송 받은 상기 영상 정보를 상기 제2단말기로 전송하는 영상 서버;
상기 위치 정보를 이용하여 검색한 상기 POI 정보를 상기 제2단말기로 전송하는 AR 서버;
POI 정보에 따른 부가 정보를 저장하는 부가 정보 DB를 포함하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 시스템.
Receiving image information and position information from the first terminal,
And an image service system for transmitting the POI information according to the image information and the location information to a second terminal,
The video service system includes:
A video server establishing a video telephone call with the first terminal and the second terminal and transmitting the video information received from the first terminal to the second terminal;
An AR server transmitting the POI information retrieved using the location information to the second terminal;
And an additional information DB for storing additional information according to POI information.
제2항에 있어서,
상기 AR 서버는,
상기 제1단말기로부터 상기 위치 정보를 수신하거나 상기 POI 정보를 상기 제2단말기로 송신하는 서버송수신부;
상기 제1단말기로부터 수신하는 상기 위치 정보를 저장하는 서버메모리부;
상기 위치 정보에 따른 다수의 상기 POI 정보들을 저장하는 POI 정보 DB를 포함하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 시스템.
3. The method of claim 2,
The AR server comprises:
A server transceiver for receiving the location information from the first terminal or transmitting the POI information to the second terminal;
A server memory unit for storing the location information received from the first terminal;
And a POI information DB for storing a plurality of the POI information according to the position information.
영상 서비스 시스템과 정보를 송신 또는 수신하는 단말기에 있어서,
영상 전화 호가 확립된 이후, 단말기송수신부를 통해 영상 정보를 수신하거나 송신하는 영상전화모듈;
위치 정보를 이용하여 검색된 POI정보를 상기 영상 서비스 시스템으로부터 수신하여 저장하는 단말기메모리부;
상기 영상 정보 및 상기 POI정보를 표시하거나,
상기 영상 정보 또는 상기 POI 정보에 따른 부가정보를 표시하는 터치스크린을 포함하는 것을 특징으로 하는 단말기.
A terminal for transmitting or receiving information with a video service system,
A video telephone module for receiving or transmitting video information through the terminal transceiver after the video telephone call is established;
A terminal memory unit receiving and storing the POI information retrieved using the location information from the image service system;
Displaying the image information and the POI information,
And a touch screen for displaying the image information or the additional information according to the POI information.
제4항에 있어서,
상기 영상 정보에 상기 POI 정보 또는 상기 부가 정보를 정합하는 영상정합부를 더 포함하는 것을 특징으로 하는 단말기.
5. The method of claim 4,
Further comprising an image matching unit for matching the POI information or the additional information with the image information.
제4항에 있어서,
상기 단말기송수신부는,
상기 영상 서비스 시스템으로 상기 부가 정보를 요청하여 전송 받는 것을 특징으로 하는 단말기.
5. The method of claim 4,
The terminal transmitting /
And requesting the additional information from the video service system.
제4항에 있어서,
상기 단말기송수신부는,
웹 브라우저를 통해 검색한 상기 부가 정보를 전송 받는 것을 특징으로 하는 단말기.
5. The method of claim 4,
The terminal transmitting /
And receiving the additional information searched through the web browser.
영상 서비스 시스템이 제1단말기의 영상 전화 호 연결 요청에 따라 상기 제1단말기와 제2단말기의 영상 전화 호를 연결하는 단계;
상기 영상 서비스 시스템이 상기 제1단말기로부터 영상 정보 및 위치 정보를 수신하는 단계;
상기 영상 서비스 시스템이 상기 위치 정보를 이용하여 POI 정보를 검색하는 단계;
상기 POI 정보에 따른 부가 정보를 검색하는 단계; 및
상기 POI 정보 및 상기 부가 정보 중 적어도 하나와 상기 영상 정보를 상기 제2단말기로 전송하는 단계;
를 포함하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 방법.
Connecting a video phone call of the first terminal and a terminal of the second terminal according to a video phone call connection request of the first terminal;
The video service system receiving video information and location information from the first terminal;
Searching the POI information by the image service system using the location information;
Searching for additional information according to the POI information; And
Transmitting at least one of the POI information and the additional information and the image information to the second terminal;
And transmitting the augmented reality information through the image transmission.
제8항에 있어서,
상기 영상 서비스 시스템이 상기 제2단말기로 상기 영상 정보 및 상기 POI 정보를 전송하는 단계를 더 포함하며,
상기 제2단말기는 상기 영상 정보 및 상기 POI 정보를 정합하여 실시간으로 화면에 표시하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 방법.
9. The method of claim 8,
Wherein the image service system transmits the image information and the POI information to the second terminal,
Wherein the second terminal displays the video information and the POI information on a screen in real time by matching the POI information.
제9항에 있어서,
상기 영상 서비스 시스템이 상기 제2단말기의 요청에 따라 부가 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 방법.
10. The method of claim 9,
And transmitting the additional information according to a request of the second terminal by the video service system.
제10항에 있어서,
상기 제2단말기의 요청에 따라 상기 부가 정보를 전송하는 단계는,
상기 제2단말기로부터 상기 POI 정보에 따른 상기 부가 정보에 대한 요청을 받는 단계;
웹 브라우저를 통해 상기 부가 정보가 표시될 수 있도록 상기 제2단말기로 상기 부가 정보를 전송하는 단계를 포함하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 방법.
11. The method of claim 10,
Wherein the step of transmitting the additional information according to a request of the second terminal comprises:
Receiving a request for the additional information according to the POI information from the second terminal;
And transmitting the supplementary information to the second terminal so that the supplementary information can be displayed through a web browser.
제11항에 있어서,
상기 제2단말기는 상기 웹 브라우저를 통해 상기 부가 정보가 표시될 수 있도록 상기 영상 정보를 표시하는 화면과 구분하여 화면을 분할하거나 새로운 화면을 생성하여 상기 웹 브라우저를 표시하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 방법.
12. The method of claim 11,
Wherein the second terminal displays the web browser by dividing the screen or creating a new screen by separating from the screen displaying the video information so that the additional information can be displayed through the web browser. Augmented reality information.
제10항 또는 제11항에 있어서,
상기 제2단말기는 상기 영상 정보 및 상기 부가 정보를 정합하여 실시간으로 화면에 표시하는 것을 특징으로 하는 영상 전송을 통한 증강 현실 정보 제공 방법.The method according to claim 10 or 11,
And the second terminal displays the video information and the additional information on a screen in real time by matching the video information and the additional information.

Images