KR100742664B1 - Interactive video display system and method - Google Patents
Interactive video display system and methodDownload PDFInfo
- Publication number
- KR100742664B1 KR100742664B1KR1020060041830AKR20060041830AKR100742664B1KR 100742664 B1KR100742664 B1KR 100742664B1KR 1020060041830 AKR1020060041830 AKR 1020060041830AKR 20060041830 AKR20060041830 AKR 20060041830AKR 100742664 B1KR100742664 B1KR 100742664B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- actor
- interactive
- coordinate value
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
Translated fromKorean도1은 본 발명의 인터랙티브 영상 디스플레이를 위한 알고리즘을 나타낸 것이다.1 illustrates an algorithm for interactive video display of the present invention.
도2 내지 도9는 본 발명의 디스플레이 시스템에서, 각 구성요소의 배치에 따른 다양한 실시예를 나타낸 것이다.2 to 9 show various embodiments of the arrangement of each component in the display system of the present invention.
도10은 영상인식장치를 통해 인식된 영상을 색수차를 기준으로 구분하는 예를 나타낸 것이다.10 illustrates an example of classifying an image recognized by an image recognition device based on chromatic aberration.
도11은 영상인식장치를 통해 인식된 영상을 프레임별로 비교하는 예를 나타낸 것이다.11 illustrates an example of comparing images recognized by the image recognition device for each frame.
*도면의 주요 부호에 대한 설명** Description of Major Symbols in Drawings *
10 : 영상인식장치 11 : 영상인식장치의 컨트롤 박스10: image recognition device 11: control box of the image recognition device
20 : 정보처리장치 30 : 영상재생장치20: information processing device 30: video playback device
31 : 영상재생장치의 컨트롤 박스 40 : 스크린31: control box of the video playback device 40: screen
50 : 행동자50: actor
본 발명은 사람의 움직임과 위치에 따라 즉각적으로 반응하는 인터랙티브 영상(interactive image)의 디스플레이 시스템 및 디스플레이 방법에 관한 것으로, 각종 전시회, 프리젠테이션, 광고, 오락, 교육 등을 위한 용도로 사용될 수 있는 인터랙티브 영상의 디스플레이 시스템에 관한 것이다.The present invention relates to an interactive image display system and a display method that reacts immediately according to a person's movement and position. The present invention relates to an interactive image that can be used for various exhibitions, presentations, advertisements, entertainment, education, and the like. A display system of an image.
근래들어 영상기술과 컴퓨터 그래픽기술이 더욱 발달함에 따라, 선형적이고 예측가능한 동작이 재생되는 영상매체 보다는, 다양한 영상이 즉각적으로 발생하여 사람들로 하여금 관심을 끌 수 있는 영상에 대한 수요가 높아지고 있다.In recent years, as image technology and computer graphic technology are further developed, various images are generated immediately, rather than image media in which linear and predictable motions are reproduced, and demand for images that attract people is increasing.
인터랙티브 영상 시스템은 행동자에 움직임에 반응하는 비선형적인 영상시스템으로, 사람의 움직임과 위치를 영상입력 장치를 통해 얻고, 이를 디지털신호처리 와 컴퓨터 프로세싱을 통해 행동자의 동작에 따라 반응하는 영상을 재생하는 디스플레이 시스템의 일종이다. 인터랙티브 영상 시스템은 사용자와 의사소통을 하면서, 상황에 따라 달라지는 영상 결과를 보여주기 때문에, 호기심, 신비감과 함께 즐거움을 줄 수 있는 수단이 된다.Interactive video system is a non-linear video system that responds to the movement of the actor. The motion and position of the person is obtained through the video input device, and the digital signal processing and computer processing are used to reproduce the video according to the action of the actor. It is a kind of display system. Interactive video systems communicate with the user and show image results that change depending on the situation, which is a means to entertain with curiosity and mystery.
기존의 인터랙티브 영상은 컴퓨터에 기반하기 보다는 비디오 아트나 미디어 아트 분야에서 이루어진 경우가 많았으나, 최근의 인터랙티브 영상은 컴퓨터를 기반으로 한 것으로 인터랙티브 영상 재생을 위한 다양한 방법이 제시되고 있다.Conventional interactive images are often made in the field of video art or media art rather than computer-based, but recently, interactive images are computer-based, and various methods for interactive image reproduction have been proposed.
대한민국 특허공개 제2005-52676호에는 사용자의 동작에 반응하는 실시간 유체효과 동영상 구현장치가 개시되어 있으나, 상기 문헌에서는 사용자의 동작을 터치 스크린 방식의 감지 센서를 이용하고 있는데, 이러한 터치 스크린 방식의 경우 터치스크린과의 접촉을 통해 행동자 요청을 입력받고, 그 입력에 따른 직관적인 영상을 보여줄 수 있지만 화면이 커질 수록 비용이 크게 상승하고 고장의 위험이 있는 단점이 있다.Korean Patent Laid-Open Publication No. 2005-52676 discloses a device for real-time fluid effect video in response to a user's motion. However, the document uses a touch screen type sensor for the user's motion. Receives the request of the actor through contact with the touch screen and can show an intuitive image according to the input, but as the screen is larger, the cost increases significantly and there is a risk of failure.
대한민국 특허 제456999호에는, 사용자가 프리젠테이션 영상상에 미리 설정된 동작패턴에 따라 레이저 포인터를 이용하여 동선을 그리고, 이를 카메라로 포착하여 분석하여, 그에 따른 디스플레이명령을 실행하는 내용이 개시되어 있다.Korean Patent No. 456999 discloses a user drawing a copper wire using a laser pointer according to a predetermined operation pattern on a presentation image, capturing the same with a camera, and analyzing the same, and executing a display command accordingly.
또한, 대한민국 특허출원 제2003-7015990호에서는 비디오프로젝터에서 방출되는 에너지와 파장이 다른 적외선을 행동자를 조명하여 행동자의 위치 및 행동을 인식함으로써 인터랙티브 영상을 발생시키는 방법이 개시되어 있고, 대한민국 특허출원 제2004-22271호에서는 행동자에 의해 생기는 그림자를 인식하고 그림자의 좌표 변화에 따라 영상을 반응시키는 방법이 개시된 바 있다.In addition, Korean Patent Application No. 2003-7015990 discloses a method of generating an interactive image by illuminating an actor with infrared rays having different wavelengths from the energy emitted from a video projector and recognizing the position and behavior of the actor. In 2004-22271, a method for recognizing a shadow caused by an actor and reacting an image according to a change in the coordinate of the shadow has been disclosed.
상술한 종래 영상 시스템을 고려하여, 본 발명에서는 행동자에 대한 영상정보를 영상인식장치를 통해 인식하고, 이로부터 행동자의 위치 좌표 특히 외곽선에 대한 좌표와 중심에 대한 좌표 등을 검출하여, 이를 통해 인터랙티브 영상을 생성함으로써, 기존의 방식(터치스크린, 적외선 파장의 센서를 이용한 방식, 그림자를 이용한 방식)에 비하여 보다 효율적이고 간편하게 인터랙티브 영상을 구현해 낼 수 있는 인터랙티브 영상의 디스플레이 시스템을 제공한다.In view of the above-described conventional image system, the present invention recognizes the image information of the actor through the image recognition device, and detects the position coordinates of the actor, in particular, the coordinates of the outline and the coordinates of the center from this, By generating an interactive image, the present invention provides a display system of an interactive image that can realize an interactive image more efficiently and simply than a conventional method (touch screen, a method using an infrared wavelength sensor, or a method using a shadow).
본 발명은 영상인식장치, 정보처리장치, 영상재생장치 및 스크린이 구비된 인터랙티브 영상의 디스플레이 시스템에 관한 것으로, 상기 영상인식장치는 행동자의 영상을 인식하고 인식된 영상신호를 상기 정보처리장치에 전송시키는 장치이고, 상기 정보처리장치는 미리 프로그램된 알고리즘에 따라 상기 영상신호로부터 행동자 영상이 갖는 좌표값을 검출하여 검출된 좌표값에 따라 인터랙티브한 영상신호를 발생시키는 장치이며, 상기 영상재생장치는 상기 정보처리장치로부터 발생된 영상신호에 따른 영상을 상기 스크린 상에 디스플레이하는 장치 임을 특징으로 하는 인터랙티브 영상의 디스플레이 시스템을 제공한다.The present invention relates to an interactive image display system having an image recognition device, an information processing device, an image reproducing device, and a screen, wherein the image recognition device recognizes an image of an actor and transmits the recognized image signal to the information processing device. The information processing device is a device for detecting an coordinate value of an actor's image from the video signal according to a pre-programmed algorithm and generating an interactive video signal according to the detected coordinate value. An apparatus for displaying an interactive image, the apparatus comprising: displaying an image according to an image signal generated from the information processing device on the screen.
또한, 본 발명은 인터랙티브 영상의 디스플레이 방법으로, 행동자의 동작에 반응하는 영상을 스크린 상에 디스플레이하는 A 단계 ; 영상인식장치를 통해 행동자의 영상을 인식하는 B 단계 ; 정보처리장치를 통하여 미리 프로그램된 알고리즘에 따라, 상기 B 단계에서 인식된 행동자 영상으로부터 행동자에 대한 좌표값을 검출하는 C 단계 ; 및 상기 C 단계에서 검출된 좌표값에 따라 새로운 영상신호를 발생시키는 D 단계 ; 를 포함하는 인터랙티브 영상의 디스플레이 방법을 제공한다.In addition, the present invention provides a method of displaying an interactive image, step A for displaying an image in response to the action of the actor on the screen; Step B for recognizing the image of the actor through the image recognition device; A step C for detecting a coordinate value for the actor from the actor image recognized in step B according to an algorithm programmed in advance by the information processing apparatus; And a step D of generating a new video signal according to the coordinate value detected in the step C; It provides a display method of an interactive image including a.
또한, 본 발명은 3차원 인터랙티브 영상의 디스플레이 방법으로, 스크린 상에 영상을 디스플레이하는 A 단계 ; 서로 평행하지 않도록 배치된 2개 이상의 영상인식장치를 통해 행동자의 영상을 인식하는 B 단계 ; 정보처리장치를 통하여 미리 프로그램된 알고리즘에 따라 상기 B 단계에서 인식된 영상으로부터 행동자에 대한 3차원 영상좌표를 검출하는 C 단계 ; 및 상기 검출된 좌표값에 따른 새로운 영상신 호를 발생시키는 D 단계 ; 를 포함하는 것을 특징으로 하는 인터랙티브 영상의 디스플레이 방법을 제공한다.In addition, the present invention is a display method of a three-dimensional interactive image, A step of displaying an image on the screen; Recognizing the image of the actor through two or more image recognition device disposed not parallel to each other; A step C of detecting three-dimensional image coordinates of the actor from the image recognized in the step B according to an algorithm programmed in advance by the information processing apparatus; And generating a new image signal according to the detected coordinate value. It provides a display method of an interactive image comprising a.
본 발명의 인터랙티브 영상을 위한 디스플레이 시스템 및 디스플레이 방법은 스크린 상에서 행동자에 대한 영상신호를 카메라와 같은 영상인식수단을 이용해 인식하고, 인식된 영상으로부터 행동자에 대한 정보 특히 행동자 영상의 외곽선 좌표 및/또는 중심점의 좌표를 검출하고, 상기 검출된 행동자의 영상신호에 따라 즉각적인 인터랙티브 영상신호를 발생시키도록 구성된 것을 특징으로 한다.The display system and display method for the interactive image of the present invention recognizes the image signal for the actor on the screen using image recognition means such as a camera, and the coordinates of the information on the actor from the recognized image, in particular, the coordinates of the actor's image and And / or detect coordinates of a center point and generate an immediate interactive video signal according to the detected video signal of the actor.
행동자에 대한 영상신호를 직접 카메라와 같은 영상인식장치를 통해 획득하고, 컴퓨터 프로세싱을 통해 행동자의 영상이 갖는 외곽선 및/또는 중심점의 좌표를 검출하고, 이에 따른 인터랙티브 영상신호를 발생시킨다는 점에서, 본 발명은 기존의 시스템 들(터치스크린 방식, 포인터 방식, 그림자를 이용한 방식, 또는 적외선 파장의 센서를 이용한 방식의 시스템)과는 구별된다. 특히, 본 발명에 의할 경우, 영상인식장치, 영상재생장치, 스크린장치, 정보처리장치(컴퓨터)를 포함하는 하드웨어와 객체검출알고리즘과 이미지생성알고리즘 등의 구현이 가능한 소정의 소프트웨어를 통하여 인터랙티브 디스플레이 시스템을 구현할 수 있기 때문에, 기존의 시스템 보다 간략하고, 저렴한 방법으로 인터랙티브 영상을 재생시킬 수 있는 장점이 있다. 여기서, 소정의 소프트웨어란 스크린 상에 재생되는 인터랙티브 객체 생성을 위한 소프트웨어, 그리고 행동자의 영상이 갖는 외곽선 좌표에 대한 신호처리를 위한 소프트웨어를 포함한다. 본 발명이 제공하는 아이디어와 실시예를 통하여, 다양한 방법과 다양한 알고리즘에 따라 상기 필요한 소프트웨어를 당업자가 용이하게 제작할 수 있음은 물론이다.In that the image signal for the actor is acquired directly through an image recognition device such as a camera, and the computer processing detects the coordinates of the outline and / or center point of the image of the actor, and generates an interactive image signal accordingly. The present invention is distinguished from existing systems (touchscreen, pointer, shadow, or infrared wavelength sensors). In particular, according to the present invention, an interactive display is provided through a hardware including an image recognition apparatus, an image reproducing apparatus, a screen apparatus, an information processing apparatus (computer), and predetermined software capable of implementing an object detection algorithm and an image generating algorithm. Since the system can be implemented, there is an advantage that the interactive image can be reproduced in a simpler and cheaper way than the existing system. Here, the predetermined software includes software for generating an interactive object reproduced on a screen, and software for signal processing on outline coordinates of an actor's image. Through the ideas and embodiments provided by the present invention, those skilled in the art can easily produce the necessary software according to various methods and various algorithms.
본 발명의 인터랙티브 디스플레이 시스템은 영상인식장치, 정보처리장치, 영상재생장치 및 스크린 등을 포함하여 구비되는 디스플레이 시스템으로, 이하 도면을 참고하여 본 발명을 더욱 상세히 설명한다. 이는 본 발명을 더욱 상세히 설명하기 위함이지, 본원 발명의 보호 범위를 이에 한정하고자 하는 것이 아님은 명확할 것이다.The interactive display system of the present invention is a display system including an image recognition apparatus, an information processing apparatus, an image reproducing apparatus, and a screen. The present invention will be described in more detail with reference to the accompanying drawings. This is to explain the invention in more detail, it will be clear that the scope of protection of the present invention is not intended to be limited thereto.
우선, 본 발명의 시스템을 이루는 첫 번째 구성요소는 영상인식장치이다. 상기 영상인식장치(10)는 행동자(50)의 영상을 인식하고, 인식된 영상신호를 상기 정보처리장치(20)에 전송하는 기능을 한다. 상기 영상인식장치(10)는 행동자(50)의 위치, 움직임 등과 같은 행동에 대한 정보를 얻거나, 이와 함께 스크린(40)에서 재생되고 있는 배경영상에 대한 정보를 획득하는 수단이다.First, the first component of the system of the present invention is an image recognition device. The
본 발명에서 영상인식장치로 사용될 수 있는 장치의 예로는 디지털/아날로그 카메라, 캠코더 등이 있다. 센서를 이용하여 행동자의 움직임을 감지하고, CCD 카메라를 이용하여 영상을 획득하도록 구성될 수 있다. 또한, 복수개의 영상인식장치가 사용될 수 있다. 2개 이상의 영상인식장치가 사용될 경우, 행동자의 좌표를 3차원으로 파악할 수도 있고(도8 참고), 또는 2개 이상의 영상입력을 통하여 재생되는 영상화면을 복수개로 구성시킬 수 있다.Examples of the device that can be used as the image recognition device in the present invention is a digital / analog camera, a camcorder and the like. The sensor may be configured to detect the movement of the actor and acquire an image by using a CCD camera. In addition, a plurality of image recognition apparatuses may be used. When two or more image recognition apparatuses are used, the coordinates of the actors may be grasped in three dimensions (see FIG. 8), or a plurality of image screens reproduced through two or more image inputs may be configured.
카메라와 같은 영상인식장치를 이용하는 화상입력의 장점은 주변의 환경에 구애 받지 않고 인터페이스를 만들 수 있다는 것이다. 그리고, 어두운 곳에서나 음영의 차이가 많은 물체가 주변에 존재하는 경우에도 원하는 영상정보를 얻기에 충분하다.An advantage of image input using an image recognition device such as a camera is that an interface can be created regardless of the surrounding environment. In addition, even in a dark place or when an object having many shades of difference exists in the vicinity, it is sufficient to obtain desired image information.
영상인식장치(10)를 통해 얻어지는 실시간 시각신호 또는 시청각신호는 영상장치 및/또는 청각 장치 등의 영상 입력장치를 통해 디지털 또는 아날로그 신호로 입력된다. 이러한 신호가 컴퓨터를 통해 처리되기 위해서는 디지털신호의 형태로 입력되어야 한다. 영상인식장치가 영상을 아날로그 신호로 인식하는 경우, 이러한 신호가 컴퓨터 내의 프로세서로 언제나 직접 전달될 수는 없다. 예를 들어, 캠코더의 경우 A/D컨버터를 통해 아날로그 신호를 디지털 신호로 바꾸어 주고, IEEE 1394표준으로 변환시켜 사용하거나, 또는 USB 통신이 지원되는 캠코더를 사용할 수 있다. 통상 캠코더로부터 인식된 영상신호는 컨트롤 박스를 통해 정보처리장치에 입력되는 경로를 거친다. DV캠코더의 경우에는 위와 같은 별도의 신호 처리가 필요한 것은 아니다.The real time visual or audiovisual signal obtained through the
영상인식장치(10)가 배치되는 위치는 영상발생장치(30)와 함께 영상이 재생되는 스크린(40)의 전면에 동일 또는 인접하게 위치시킬 수 있다. 또한, 영상발생장치는 스크린의 뒷면 또는 옆면에 장착되고 영상인식장치는 전면에 위치시키거나, 영상인식장치를 위쪽에 배치하고 아래방향으로 행동자를 인식하도록 배치시킬 수 있다. 또한, 스크린을 바닥면으로 하여 영상인식장치와 영상발생장치를 행동자의 머리 위에 설치할 수도 있다.The position at which the
상기와 같은 다양한 배치의 예는 도면2 내지 9에 나타나 있는데, 그렇다고 각 구성요소의 배치방법이 도2 내지 9에 한정되지 않음은 당연한 것이다. 다만, 스크린 상의 영상과 함께 행동자의 영상을 영상인식장치(10)의 입력으로 할 경우, 도3과 같이 영상인식장치(10)는 스크린(40)에서 재생되는 영상과 행동자(50)의 영상을 동시에 모두 인식할 수 있는 곳에 위치하면 충분하다.Examples of the various arrangements described above are shown in FIGS. 2 to 9, but it is obvious that the arrangement method of each component is not limited to FIGS. 2 to 9. However, when the image of the actor is input to the
본 발명에서 영상인식장치에는 타 물체의 움직임을 감지하고, 이에 따라 영상인식장치의 공급되는 전원을 ON/OFF할 수 있도록 하는 센서를 부착시키도록 구성함이 바람직하다. 예를 들어, 적외선 감지센서에 행동자의 움직임(또는 등장)이 최초에 감지되었을 때, 영상인식장치의 전원을 ON 상태가 되도록 하고, 움직임이 일정시간 동안 감지되지 않을 경우에는 영상인식장치의 전원이 OFF가 되도록 구비될 경우, 행동자가 실제로 스크린 앞에 없을 때 영상인식장치는 센서를 제외하고는 OFF 상태가 되기 때문에, 영상인식장치에 전력이 불필요하게 공급됨에 따라 소모될 수 있는 전력의 낭비를 줄일 수 있는 장점이 있다.In the present invention, the image recognition device is preferably configured to attach a sensor to detect the movement of the other object, and accordingly to turn on / off the power supplied to the image recognition device. For example, when the motion (or appearance) of an actor is first detected by the infrared sensor, the power of the image recognition apparatus is turned on. If the movement is not detected for a certain time, the power of the image recognition apparatus is turned off. When equipped to be OFF, the image recognition device is in the OFF state except the sensor when the actor is not actually in front of the screen, thereby reducing the waste of power that may be consumed as power is unnecessarily supplied to the image recognition device. There is an advantage.
본 발명의 디스플레이 시스템을 이루는 또 다른 구성요소는 영상재생장치(30)와 스크린(40)이다.Another component of the display system of the present invention is the
상기 영상재생장치(30)는 정보처리장치를 통해 발생한 신호에 따른 영상을 상기 스크린 상에 재상시키는 장치이다. 상기 영상재생장치(30)는 정보처리장치(20)로부터의 신호에 따라 실제의 영상을 스크린(40) 상에 송출시키는 장치로서, 예를 들어 프로젝션장치일 수도 있고 또는, PDP, LCD, CRT 모니터에서 스크린 상에 영상을 발생시키는 장치일 수도 있다. 복수개의 인터랙티브 영상이 디스플레이 되도록 하기 위하여, 2개 이상의 영상발생장치를 배치시키도록 구성할 수도 있음은 물론이다.The
상기 스크린(40)은 영상이 재생되는 물리적인 표면을 의미하며, 예를 들어, 프로젝터를 통해 영상을 재생할 경우의 영사막이 될 수도 있고, 또한 LCD, PDP, CRT, LED, O-LED 등에서 영상이 재생되는 디스플레이 화면이 될 수 도 있다.The
영상재생장치(30)를 통해 스크린(40) 상에 재생되는 영상은 행동자의 동작에 반응하는 인터랙티브한 객체영상(예를 들어, 도10의 101, 도11의 107이 해당함)이 적어도 1개 이상 포함하는 것으로, 정적인 배경을 더 포함할 수 있다. 예를 들면 정적인 배경과 그 배경 위에서 동적으로 존재하는 영상(물방울, 축구공, 나비, 꽃잎, 핸드폰 등 동적으로 존재하는 영상)이 혼합된 구성을 가질 수 있으며, 영상과 함께 음향의 재생도 가능함은 물론이다. 상기 스크린 상의 영상은 향 후 영상인식장치를 통해 스크린 영상과 행동자의 영상을 획득할 경우, 상대적으로 배경 영상이 된다. 뿐만 아니라, 광고, 영화, CF, 뮤직비디오와 같은 일반적인 동영상이나 3D 객체의 경우, 하나 하나를 객체로 인식하여 행동자의 동작에 따라 반응하는 영상의 구현도 가능하다.The image reproduced on the
본 발명의 디스플레이 시스템을 이루는 또 다른 구성요소는 정보처리장치(20)이다. 상기 정보처리장치는 미리 프로그램된 좌표값 검출 알고리즘에 따라 상기 영상신호로부터 행동자 영상이 갖는 좌표값을 검출하고, 상기 검출된 좌표값을 입력으로 하여 이미생성 알고리즘에 따라 인터랙티브한 영상신호를 발생시키는 장치로서, 통상의 컴퓨터, 노트북, 마이크로컴퓨터 등과 같은 정보처리장치를 의미한다.Another component of the display system of the present invention is the
상기 정보처리장치(20)는 영상인식장치(10)로부터 수신된 영상에서, 정적 배 경 영상과 이동하고 있는 행동자(40)의 영상신호를 구분하여, 행동자 영상에 대한 좌표값을 얻는 처리를 수행하는데, 좌표값 검출을 위한 실제의 프로그램은 후술하는 기술 내용을 토대로 한다면, 다양한 방법으로 당업자에 의하여 용이하게 프로그램될 수 있다.The
예를 들어, 행동자에 비하여 비교적 장시간에 걸쳐 이동하지 않는 부분은 배경 영상으로 추정할 수 있으며, 행동자의 이동에 따른 영상신호의 변화를 이용하여 행동자의 위치, 동작 등을 할 수 있는 좌표값을 검출할 수 있다. 더욱 상세하게는, 미리 설정된 좌표축(예를 들어, 스크린과 매치될 수 있는 X-Y좌표계를 설정함)을 기준으로 행동자 영상 특히 외곽선 및/또는 중심점이 갖는 좌표값을 검출함으로써, 행동자가 어느 곳에 위치하고 있는지 알 수 있다. 그리고, 검출된 좌표값에 대한 데이터로부터 행동자가 어떤 속도로 어떤 방향으로 움직이고 있는지에 대한 정보를 얻을 수 있도록 소프트웨어를 구성함이 바람직하다. 행동자의 영상신호와 함께 스크린 상에서 재생되는 영상의 신호도 함께 인식할 경우에도 마찬가지로, 행동자의 영상이 갖는 인터랙티브 영상과 관련된 좌표값을 검출해야한다. 이 경우에는 스크린 상에서 재생되는 영상이 행동자의 영상과 관련하여 상대적으로 배경영상이 되며, 상기 배경영상은 경우에 따라서는 동적영상일 경우가 있다.For example, a part that does not move for a relatively long time compared to the actor can be estimated as a background image, and coordinate values that can perform the position, motion, etc. of the actor using the change of the image signal according to the movement of the actor are obtained. Can be detected. More specifically, the actor is located anywhere by detecting the coordinates of the actor's image, in particular the outline and / or center point, based on a preset coordinate axis (e.g., setting the XY coordinate system that can match the screen). I can see that. The software is preferably configured to obtain information on which direction the actor is moving at which speed and from the data on the detected coordinate values. Similarly, in case of recognizing the signal of the image played on the screen together with the image signal of the actor, the coordinate values related to the interactive image of the image of the actor must be detected. In this case, the image played on the screen becomes a background image relative to the image of the actor, and the background image may be a dynamic image in some cases.
배경영상이 정적영상일 경우는 물론이고, 동적영상일 경우에 행동자 영상의 좌표값을 검출하기 위해서는, 입력된 영상을 색수차를 기준으로 하여 행동자 영상이 갖는 색군을 구분하거나, 또는 입력되는 영상을 프레임(frame)별로 구분하고, 인접하는 프레임 간에 비트의 변화를 파악함으로써, 행동자의 영상의 외곽선 좌표 값 및/또는 중심의 좌표값을 파악하는 방법이 바람직하다. 참고로, 행동자의 중심 좌표값은 단일의 좌표값일 수 있으나, 외곽선 좌표값의 경우 2차원상의 좌표값들로 이루어짐이 일반적이다.In order to detect coordinate values of the actor's image when the background image is a static image as well as a dynamic image, the color image of the actor's image is distinguished from the input image based on chromatic aberration, or the input image is detected. It is preferable to identify the coordinates of the outline and / or the center of the image of the actor by classifying the frame by frame and grasping the change of bits between adjacent frames. For reference, the center coordinate value of the actor may be a single coordinate value, but in the case of the outline coordinate value, it is generally made of two-dimensional coordinate values.
스크린 상의 영상을 인식하지 않는 경우의 배경영상, 또는 스크린 상의 영상을 인식할 경우의 스크린에서 재생되고 있는 영상으로부터 행동자 영상을 구분하기 위하여, 인식된 모든 영상을 각각 컬러가 갖는 색수차를 이용하여 색군(비트 덩어리)으로 구분하고, 행동자 영상이 속하는 색군의 외곽선(또는 경계선)과 중심점에 대한 정보(좌표값)를 검출하는 것이 바람직하다. 도면 10을 참고로 할 때, 정보처리장치에 입력되는 영상은 색수차를 기준으로 색군을 구분하는 알고리즘에 따라, 흰색 구름 영상(101), 푸른색의 배경(102), 행동자의 머리(103), 행동자의 팔(104), 행동자의 몸(105), 초록색의 배경(106)으로 구분하여 인식하고, 상기 구분된 색군 중에서 행동자의 영상에 대한 색군(103, 104, 105) 중에서 필요한 좌표값을 검출하는 프로세스가 이루어 질 수 있다.In order to distinguish the actor's image from the background image when the image on the screen is not recognized or the image being played on the screen when the image on the screen is recognized, the color group is made by using the chromatic aberration of each of the recognized images. (Bit chunks), it is preferable to detect information (coordinate values) about the outline (or boundary) and the center point of the color group to which the actor image belongs. Referring to FIG. 10, an image inputted to an information processing apparatus includes a
또 다른 예로, 영상인식장치(10)를 통해 입력되는 영상을 인접하는 프레임 별로 상호 비교하여, 변화되는 비트를 파악함으로써 동적으로 변하는 행동자의 영상을 구분하고, 행동자의 영상이 갖는 외곽선 좌표 및 중심 좌표를 검출할 수 있다. 도11을 참고하면, 인접하는 프레임을 대비하여 행동자의 영상(108)과 둥근 공 모양의 영상(107)은, 각각 108'와 107'로 이동함에 따라 변화되는 비트를 파악함으로써, 동작중에 있는 행동자 영상이 갖는 좌표(외곽선 및/또는 중심점)를 검출할 수 있다.As another example, by comparing the image input through the
행동자의 외곽선이 갖는 영상 정보는 상술한 방법을 포함하여 다양한 방법으로 검출될 수 있다. 또한, 검출된 외곽선 영상은 색수차를 기준으로 넘버링 함으로써, 외곽선 영상을 구분된 객체로 인식하고, 이후 반응시키고자 하는 목적에 따라 식별할 수 있도록 함이 바람직하다.Image information included in the outline of the actor may be detected by various methods including the above-described method. In addition, the detected outline image is numbered based on chromatic aberration, so that the outline image may be recognized as a separated object, and then may be identified according to a purpose to be reacted.
한편, 영상인식장치(10)가 기본적으로 받아들이는 영상의 크기는 빨강, 녹색, 파랑을 각 256단계로 분리해 놓은 24비트 영상임을 고려할 때, 프로그램의 효율성이나 메모리 용량의 차원에서 바람직하지 못한 경우가 있다. 이 경우에는 정보처리장치(20)는 행동자의 영상신호를 검출하기 위한 프로세스에 앞서, 전체의 영상이미지를 축소처리하여 사용할 수 있다.On the other hand, considering that the size of the image that the
행동자 영상에 대한 신호의 검출에 앞서 영상신호의 용량을 줄이기 위한 신호처리의 예로는, CCD카메라를 통해 입력되는 영상 신호를 16비트 아날로그 영상신호로 변조하고, 이를 16비트 디지털 영상신호로 디지털화한 후, 진폭을 조절하여 8비트 디지털 영상신호로 진폭을 조절함으로써, 데이터의 용량을 줄일 수 있다. 또 다른 예로, DV캠코더로부터 입력되는 24비트 영상을 비트맵 영상신호로 바꾸고, 이를 다시 1비트 비트맵으로 처리한 후, 래밸링 처리를 통하여 데이터량을 최소화 할 수 있다. 그러나, 이렇게 생성된 영상은 매우 거칠어서 노이즈 제거를 위한 필터링을 거치지 않으면 매우 인식하기 어려우므로 다시 노이즈 제거 연산을 통해, 흰점이나 검은점 등을 삭제하는 것이 바람직하다.As an example of signal processing for reducing the capacity of an image signal prior to detection of a signal for an actor image, a video signal input through a CCD camera is modulated into a 16-bit analog video signal, which is digitized into a 16-bit digital video signal. Then, by adjusting the amplitude, the amplitude of the 8-bit digital video signal can be adjusted, thereby reducing the capacity of the data. As another example, a 24-bit image input from a DV camcorder may be converted into a bitmap image signal, processed into a 1-bit bitmap, and then the amount of data may be minimized through a leveling process. However, since the generated image is so coarse that it is very difficult to recognize the image without filtering for noise removal, it is preferable to delete the white point, the black point, etc. through the noise removal operation.
또한, RGB 세가지 색깔로 이미지를 입력을 받고, 입력 받은 영상은 음영의 차이를 높여주는 알고리즘과 외곽선 검출 알고리즘 등의 이진 영상처리를 통해 물 체를 인식하고, 이렇게 인식된 영상을 분리된 포인터로 변환시킨 다음, 각 영상에 반응을 유도하도록 처리할 수 있다. 행동자 영상을 포인터로 변환시킬 경우 시간에 따라 변하는 행동 패턴을 파악할 수 있다.In addition, the image is received in three colors of RGB, and the received image is recognized through binary image processing such as an algorithm that enhances the difference between shadows and an edge detection algorithm, and the image is converted into a separate pointer. The image may then be processed to induce a response to each image. By converting the actor's image into a pointer, you can identify behavior patterns that change over time.
본 발명에서 정보처리장치(20)를 통해 검출되는 데이터는 상술한 좌표값에만 한정될 것은 아니다. 보다 자연스러운 인터랙티브 영상을 재생시키기 위해서는 행동자의 영상에 있어서 시간에 따른 비트의 변화를 통해, 행동자의 속도와 앞으로의 진행방향을 예상하는 것이 필요하기 때문이다. 즉, 검출되는 신호에는 좌표값에 대한 정보 외에도 소정의 연산처리를 통하여 행동자의 이동 속도, 앞으로 예상되는 진행방향에 대한 정보가 포함되는 것이 바람직하다.In the present invention, the data detected through the
본 발명에서 상기 정보처리장치(20)는 상술한 행동자의 좌표값의 검출 관련된 신호처리 외에도 상기 검출된 신호를 입력으로하여 인터랙티브 영상신호를 발생시키는 기능을 한다. 인터랙티브 영상신호 발생을 위한 이미지생성 알고리즘은 당업자에 의하여 다양하게 프로그램될 수 있음은 물론이다. 인터랙티브 영상를 생성하기 위한 인터랙티브 영상 소프트웨어는 결과에 의존적이지 않은 생태로 의도하지 않은 다양한 영상을 생성해 낼 수 있는 컴퓨터 소프트웨어, 사람에게 정보 전달을 하거나 미감을 불러일으키기 위하여 사람의 실제 움직임에 반응하는 컴퓨터 소프트웨어 등을 지칭한다. 행동자에 대하여 반응하는 영상의 알고리즘이 결정된다면, 일반적인 소프트웨어 개발의 과정을 통해 당업자에 의하여 구현될 수 있다.In the present invention, the
실시간으로 검출되는 행동자의 신호에 반응하는 인터랙티브 영상신호를 발생시키기 위해서는 2차원 및/또는 3차원의 인터랙티브 이미지 생성을 위한 라이브러 리가 자체적으로 구현되어야 한다. 라인을 그린다든지 원을 채워 넣는다든지 하는 간단한 수준의 라이브러리에서, 베지어나 폴리곤, 비스플라인 같은 유기적인 형태의 이미지 표현과 블러링, 페이드 인 페이드 아웃과 같은 모션이펙트를 위한 라이브러리도 필요한데, 이러한 그래픽 구현은 당업자에 의하여 목적에 따라 다양하게 코딩될 수 있음은 자명하다.In order to generate an interactive video signal in response to a signal of an actor detected in real time, a library for generating a two-dimensional and / or three-dimensional interactive image must be implemented by itself. In a simple library that draws lines or fills circles, you also need a library for motion-like effects such as blurring, fade in and fade out, and organic forms of images such as Bezier, polygons, and bislines. It is apparent that can be variously coded according to the purpose by those skilled in the art.
인터랙티브 영상 생성을 위해 사용될 수 있는 알고리즘의 예로는 AL 알고리즘이 있다. AL 알고리즘의 원칙으로는 먼저 객체간 충돌을 피하기 위하여 충돌이 예상될 경우 회전각도의 증가폭을 높여주고 속도를 높여주며, 충돌이 예상되지 않을 경우에는 기존의 속도와 방향을 유지하고, 외부 물체와의 접촉이 있음을 인지할 때에는 객체의 분열을 가속화하는 것 등이 있다. 이러한 AL 알고리즘을 이용할 경우, 인공의 영상에도 일정한 행동 규칙을 통해 마치 살아있는 생명체와 같은 행동 특성을 보이게 할 수 있다. 예를 들어, 행동자가 스크린의 특정 위치를 손으로 가리키거나, 행동자가 스크린의 특정 위치 앞에 서 있을 경우 행동자를 둘러싼 잔물결이 퍼져 나가는 인터랙티브 영상, 스크린의 윗 부분으로부터 떨어지는 물방울이 행동자의 주위로 맺히는 영상, 행동자의 위치에 따라 스크린 상에서 재생되는 영상이 행동자의 방향과 일치되도록 반응하는 영상을 구현 할 수 있다. 또한, 행동자의 영상이 나타나면 일단 경계하고, 면이 덩어리로 존재하면 어느 정도 고정되어 있다가, 그 위에 앉고, 움직임이 많으면 다시 날아 오르도록 하는 영상, 객체물의 근처에 행동자가 존재할 경우 가까이로 군집을 이루되, 너무 가까워지면 충돌이 일어나므로, 이를 피하기 위해 그 행동자와 다른 각도를 취하는 영상 등도 구현할 수 있다.An example of an algorithm that can be used for interactive image generation is the AL algorithm. The principle of AL algorithm is to increase the speed of rotation angle and increase the speed when collision is expected to avoid the collision between objects. If the collision is not expected, maintain the existing speed and direction, and Recognizing that there is a contact involves accelerating the fragmentation of the object. Using this AL algorithm, even artificial images can behave like a living being through certain behavior rules. For example, an actor may point to a specific location on the screen by hand, or an interactive image of ripples surrounding the actor if the player is standing in front of the screen, or water droplets falling from the top of the screen may form around the actor. Depending on the image and the position of the actor, the image played on the screen can be implemented to respond to the direction of the actor. Also, when the image of the actor appears, the image is alerted once, the surface is fixed to some extent, and sits on it, and if there is a lot of movement, the image is made to fly again. However, since the collision occurs when it gets too close, an image taking an angle different from the actor can be implemented to avoid this.
인터랙티브 영상은 비트맵 이미지 또는 백터 이미지를 이용하여 구현할 수 있음은 물론이다. 그런데, 비트맵으로 이미지를 그려나가는 작업을 수행할 경우, 화면이 깜박 거리는 등 자연스러운 영상을 재생하기 어려울 경우가 있다. 이러한 문제를 해결하기 위하여 더블버퍼링을 이용하는 것이 바람직하다. 더블버퍼링이란 2개이상의 비트맵 판을 가상으로 두어 이미지를 보여주는 동안 다른 판에서 이미지를 그리는 작업 동안, 다른 판에서 그림을 그리고, 이미지가 완성되면 빠르게 보이는 판과 교체해 주는 방식으로, 이미지를 그리는 작업 동안 이전에 그려진 이미지가 계속 화면에 떠 있고 숨겨진 곳에서 이미지를 그리기 때문에 본 발명의 인터랙티브 영상 화면에서 깜박임을 없엘 수 있다.The interactive image may be implemented using a bitmap image or a vector image. However, when performing an operation of drawing an image with a bitmap, it may be difficult to reproduce a natural image such as flickering the screen. In order to solve this problem, it is preferable to use double buffering. Double buffering is the process of drawing an image by placing two or more bitmap plates virtually while showing an image while drawing an image on another plate, drawing on another plate, and replacing it with a fast-looking plate when the image is complete. While the previously drawn image continues to float on the screen and draws the image in a hidden place, flicker can be eliminated in the interactive image screen of the present invention.
이하, 본 발명의 인터랙티브 디스플레이 시스템을 방법의 측면에서 단계별로 더욱 상세히 설명한다.Hereinafter, the interactive display system of the present invention will be described in more detail step by step in terms of a method.
본 발명의 인터랙티브 영상의 디스플레이를 위한 첫 번째 단계는 스크린(40) 상에 영상을 디스플레이하는 단계(A 단계)이다. 본 발명에서 상기 스크린은 영상재생장치(30)에서 송출되는 영상이 재생되는 재생화면을 의미한다. 본 단계에서 재생되는 영상은 행동자(50)의 등장 여부와 관계없이 현재 스크린 상에 재생되고 있는 현재의 영상으로, 행동자(50)가 등장하지 않을 경우는 이하 B 내지 D 단계가 불필요할 것이다.The first step for the display of the interactive image of the present invention is the step of displaying the image on the screen 40 (step A). In the present invention, the screen refers to a playback screen on which an image transmitted from the
다음 단계는 영상인식장치(10)를 통해 행동자(50)의 영상을 인식하는 단계이다 (B 단계). 본 단계에서는 행동자(50)의 영상과 함께 행동자와 스크린(40)상에 재생되는 영상도 함께 인식할 수 있다. 행동자의 영상만을 인식할 경우 디스플레이 시스템 구현에 있어서 영상인식장치(10)의 배치가 자유롭다는 장점이 있고, 스크린의 영상도 함께 인식할 경우에는 좀더 세밀한 반응을 보이는 인터랙티브 영상의 구현이 가능하지만 영상인식장치의 배치가 자유롭지 못한 점이 있다.The next step is to recognize the image of the
다음 단계는 정보처리장치(20)를 통하여 미리 프로그램된 알고리즘에 따라 상기 B 단계에서 인식된 영상에서 행동자의 영상이 갖는 좌표값을 검출하는 단계(C 단계)이다. 본 단계는 컴퓨터 등의 정보처리장치와 행동자의 좌표값과 관련된 신호를 검출하기 위한 소프트웨어를 통해 구현된다. 상기 좌표값으로는 행동자 영상의 외곽선 및/또는 중심점이 갖는 좌표값으로, 좌표값을 구하기 위한 방법은 앞서 설명한 바 있다.The next step is to detect the coordinate values of the actor's image from the image recognized in step B according to an algorithm programmed in advance by the information processing apparatus 20 (step C). This step is implemented through an information processing device such as a computer and software for detecting signals related to the coordinate values of the actors. The coordinate value is a coordinate value having an outline and / or a center point of the actor's image, and the method for obtaining the coordinate value has been described above.
다음 단계는 상기 C 단계에서 검출된 좌표값에 따른 새로운 영상신호를 발생시키는 단계(D 단계)이다. 본 단계는 컴퓨터 등의 상기 정보처리장치와 새로운 인터랙티브 영상신호를 발생시키기 위한 소프트웨어를 통해 구현된다. 새로운 영상신호 발생을 위한 입력으로는, C 단계에서 검출된 좌표값 또는 상기 좌표값과 현재 객체영상이 갖는 좌표값이 포함될 수 있다. 본 단계에서의 신호 처리는 컴퓨터, 마이크로컴퓨터와 같은 정보처리장치와 인터랙티브 영상 처리를 위한 소프트웨어에 의하여 구현되며, 행동자의 영상으로부터 검출된 좌표값을 입력으로 취하여, 가능하다면 실시간으로 상기 좌표값에 따른 일정한 비디오 영상신호를 생성시키는 단계이다.The next step is to generate a new video signal according to the coordinate value detected in step C (step D). This step is implemented through the information processing apparatus such as a computer and software for generating a new interactive video signal. The input for generating a new image signal may include a coordinate value detected in step C or a coordinate value of the current object image. The signal processing in this step is implemented by an information processing apparatus such as a computer or a microcomputer and software for interactive image processing, taking as input the coordinate values detected from the image of the actor, and in accordance with the coordinate values in real time if possible. A step of generating a constant video image signal.
본 발명의 특허청구범위에는 포함되지 않았지만, 상기 D 단계를 통해 발생된 영상신호는 상술한 영상재생장치(30)를 거쳐 스크린 상에 디스플레이 됨이 일반적이다. 그리고, 상기 A 내지 D 단계는 계속적으로 순환하는 과정을 통해 행동자의 영상으로부터 객체검출알고리즘에 따라 행동자의 좌표값을 검출하고, 이미지 생성 알고리즘에 따라 검출된 행동자의 좌표값에 대응하는 인터랙티브 영상을 발생시키는 순환과정을 거친다.Although not included in the claims of the present invention, the image signal generated through the step D is generally displayed on the screen via the above-described
또한, 본 발명은 3차원 인터랙티브 영상의 디스플레이 방법을 제공하는데, 앞서 설명한 제어방법과 다른 점이 있다면 영상인식장치를 2개 이상 채택하고 있다는 점이다. 예를 들어, 복수개의 영상인식장치 중 1개의 영상인식장치를 통해 행동자와 상기 스크린을 동시에 인식하도록 배치하고, 나머지 1개의 영상인식장치는 세트의 위쪽에 배치시키도록 구성할 수 있다.In addition, the present invention provides a method for displaying a 3D interactive image, which is different from the aforementioned control method in that two or more image recognition apparatuses are adopted. For example, one of the plurality of image recognition devices may be arranged to simultaneously recognize the actor and the screen through one of the image recognition devices, and the other one of the image recognition devices may be arranged above the set.
1개의 영상인식장치를 사용할 경우 2차원에서의 좌표값을 얻을 수 밖에 없지만, 영상인식장치를 2개 이상 사용할 경우 3차원에서의 좌표값을 얻을 수 있어, 좀더 세밀한 인터랙티브 영상의 구현이 가능하다. C 단계에서 검출되는 행동자의 정보는, 3차원 상에서 행동자의 외부면을 이루는 복수개의 좌표값과 행동장의 중심에 대한 좌표값을 포함한다. 이를 통하여 행동자의 위치, 패턴을 3차원 적으로 파악하고, 3차원 상의 공간좌표값을 검출함으로써, 행동자의 3차원상에서의 행동패턴에 입체적으로 반응하는 인터랙티브 영상 시스템을 제어할 수 있게 된다.When one image recognition device is used, only coordinate values in two dimensions can be obtained. However, when two or more image recognition devices are used, coordinate values in three dimensions can be obtained, thereby enabling a more detailed interactive image. The actor's information detected in the step C includes a plurality of coordinate values forming the outer surface of the actor in three dimensions and coordinate values for the center of the action field. Through this, it is possible to control the interactive image system that responds to the behavior pattern in three dimensions by detecting the position and pattern of the actor in three dimensions and detecting the spatial coordinate values in three dimensions.
도8에 나타난 디스플레이 시스템에서는, 행동자(50)의 영상을 인식하기 위하여 2개의 영상인식장치(10)를 사용하고 있다. 서로 평행하게 배치되지 않는 영상인식장치를 통해 행동자의 위치 및 동작을 3차원적으로 파악함으로써, 보다 자연스럽 고 세련된 인터랙티브 영상의 구현이 가능하다.In the display system shown in Fig. 8, two
도2 내지 도9는 본 발명의 디스플레이 시스템에 따른 다양한 예를 나타낸 것으로, 일정한 거리 만큼 떨어져 있는 스크린(40) 상에 인터랙티브 영상을 투영하는 영상발생장치(30)인 프로젝터, 행동자(50)의 영상을 인식하고, 영상 신호를 획득하기 위한 영상인식장치(10)인 카메라, 행동자의 좌표값을 검출하고, 이에 따른 인터랙티브 신호를 발생시키는 정보처리장치(20)인 컴퓨터가 나타나 있다. 이외에도, 영상인식장치의 제어를 위한 컨트롤 박스(11), 스크린의 제어를 위한 컨트롤 박스(31)도 도시되어 있다.2 to 9 show various examples according to the display system of the present invention. The projector, the
상기 영상인식장치의 컨트롤 박스(11)는 영상인식장치로부터 입력되는 신호를 디지털화하거나, 통상의 이미지 압축처리를 위한 것으로, 도면에 나타난 바와 같이 별개의 장치로 존재할 수 도 있으며, 정보처리장치(20)에 내장된 상태로 사용될 수도 있다. 또한, 상기 스크린의 제어를 위한 컨트롤 박스(31)는, 스크린을 LED으로 구현할 경우 LED제어를 위한 제어장치이다. 상기 컨트롤 박스(11, 31)은 해당 영상인식장치와 스크린에 따라 당업자에 의해 선택적으로 고려될 수 있다.The
특히, 도면6는 스크린(40)을 테이블의 형식으로 설치한 예이고, 도면 8은 영상인식장치(10) 중의 하나는 스크린과 행동자를 동시에 촬영하도록 배치되고, 나머지 하나의 영상인식장치는 행동자의 머리 위 쪽에서 행동자를 촬영함으로써, 행동자의 위치를 3차원 적으로 파악할 수 있도록 배치된 예이다. 도면 9는 스크린(40)이 3차원적으로 배치되어 있고, 본 발명의 디스플레이 시스템이 설치된 공간 내부에 있는 행동자의 위치 및 동작을 파악하고, 이에 반응하는 영상을 상기 스크린에 디스플레이하도록 구성된 예이다.In particular, Figure 6 is an example in which the
상술한 방법 들을 통해 재생되는 인터랙티브 영상은 사람의 동작에 반응하기 때문에, 사람으로 하여금 호기심이나 호감을 유발시킬 수 있으며, 이런 이유로 각종 전시장이나 광고 전시회에서 사용되기에 바람직하다.Since the interactive image reproduced through the above-described methods responds to the motion of a person, it may cause a curiosity or a crush to a person, and thus it is preferable to be used in various exhibition halls or advertisement exhibitions.
본 발명에서는 행동자에 대한 영상정보를 영상인식장치를 통해 인식하고, 이로부터 행동자의 위치 좌표 특히 외곽선에 대한 좌표와 중심에 대한 좌표 등을 검출하여 이를 입력으로 인터랙티브 영상을 생성함으로써, 기존의 방식에 비하여 보다 효율적이고 간편하게 인터랙티브 영상을 구현해 낼 수 있는 장점이 있다. 또한, 본 발명의 방법에 의해 구현되는 인터랙티브 영상은 사람의 동작에 따라 다양한 반응을 보이기 때문에 사람으로 하여금 호기심이나 호감을 유발시킬 수 있으며, 이런 이유로 각종 전시장, 광고 전시회, 영상작품 발표회 등에서 사용되기에 바람직하다.In the present invention, by recognizing the image information about the actors through the image recognition device, by detecting the position coordinates of the actors, in particular the coordinates of the outline and the coordinates of the center, and generates an interactive image by inputting the existing method, Compared to the above, there is an advantage in that an interactive image can be realized more efficiently and simply. In addition, the interactive image implemented by the method of the present invention may cause a person's curiosity or affinity because it shows various reactions according to the human's motion, and for this reason, it may be used in various exhibition halls, advertisement exhibitions, and video presentations. desirable.
Claims (14)
Translated fromKoreanPriority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060041830AKR100742664B1 (en) | 2006-05-10 | 2006-05-10 | Interactive video display system and method |
| PCT/KR2007/002300WO2007129868A1 (en) | 2006-05-10 | 2007-05-10 | Interactive motion-graphics display system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060041830AKR100742664B1 (en) | 2006-05-10 | 2006-05-10 | Interactive video display system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100742664B1true KR100742664B1 (en) | 2007-07-25 |
Family
ID=38499538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060041830AExpired - Fee RelatedKR100742664B1 (en) | 2006-05-10 | 2006-05-10 | Interactive video display system and method |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR100742664B1 (en) |
| WO (1) | WO2007129868A1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101177793B1 (en)* | 2012-04-18 | 2012-08-30 | (주) 엔텍코아 | Stereoscopic virtual experience apparatus and method |
| KR101288590B1 (en) | 2013-02-15 | 2013-07-22 | (주) 엔텍코아 | Apparatus and method for motion control using infrared radiation camera |
| KR101405439B1 (en)* | 2013-01-03 | 2014-06-11 | 양승철 | System for providing background image based on motion capture, method for providing background image based on motion capture and recording medium thereof |
| KR102668349B1 (en)* | 2024-01-29 | 2024-05-22 | 주식회사 아이랩미디어 | Server for interconnecting interactive image between heterogeneous displays based on portable terminal and n-screen, method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT506618B1 (en)* | 2008-01-25 | 2013-02-15 | Stumpfl Reinhold | INTERACTIVE MULTIMEDIA PRESENTATION DEVICE |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5534917A (en)* | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| KR20040029998A (en)* | 2001-06-05 | 2004-04-08 | 리액트릭스 시스템스, 인크. | Interactive video display system |
| KR20040088166A (en)* | 2003-04-09 | 2004-10-16 | (주)엑스오비스 | Interactive moving image system using shadow |
| KR20050074802A (en)* | 2004-01-14 | 2005-07-19 | 한국과학기술연구원 | Interactive presentation system |
- 2006
- 2006-05-10KRKR1020060041830Apatent/KR100742664B1/ennot_activeExpired - Fee Related
- 2007
- 2007-05-10WOPCT/KR2007/002300patent/WO2007129868A1/enactiveApplication Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5534917A (en)* | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
| KR20040029998A (en)* | 2001-06-05 | 2004-04-08 | 리액트릭스 시스템스, 인크. | Interactive video display system |
| KR20040088166A (en)* | 2003-04-09 | 2004-10-16 | (주)엑스오비스 | Interactive moving image system using shadow |
| KR20050074802A (en)* | 2004-01-14 | 2005-07-19 | 한국과학기술연구원 | Interactive presentation system |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101177793B1 (en)* | 2012-04-18 | 2012-08-30 | (주) 엔텍코아 | Stereoscopic virtual experience apparatus and method |
| KR101405439B1 (en)* | 2013-01-03 | 2014-06-11 | 양승철 | System for providing background image based on motion capture, method for providing background image based on motion capture and recording medium thereof |
| KR101288590B1 (en) | 2013-02-15 | 2013-07-22 | (주) 엔텍코아 | Apparatus and method for motion control using infrared radiation camera |
| KR102668349B1 (en)* | 2024-01-29 | 2024-05-22 | 주식회사 아이랩미디어 | Server for interconnecting interactive image between heterogeneous displays based on portable terminal and n-screen, method |
| WO2025165120A1 (en)* | 2024-01-29 | 2025-08-07 | 주식회사 아이랩미디어 | Server and method for linking interactive images between portable terminal and n screen-based heterogeneous displays |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007129868A1 (en) | 2007-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6893868B2 (en) | Force sensation effect generation for space-dependent content | |
| EP2521097B1 (en) | System and Method of Input Processing for Augmented Reality | |
| US10831278B2 (en) | Display with built in 3D sensing capability and gesture control of tv | |
| US7834846B1 (en) | Interactive video display system | |
| Molyneaux et al. | Interactive environment-aware handheld projectors for pervasive computing spaces | |
| EP2512141B1 (en) | System and method of user interaction in augmented reality | |
| US9298346B2 (en) | Method for selection of an object in a virtual environment | |
| US9874977B1 (en) | Gesture based virtual devices | |
| US9268520B1 (en) | Altering content projection | |
| US9703371B1 (en) | Obtaining input from a virtual user interface | |
| CN108525298A (en) | Image processing method, device, storage medium and electronic equipment | |
| US20240103805A1 (en) | Method to determine intended direction of a vocal command and target for vocal interaction | |
| KR100742664B1 (en) | Interactive video display system and method | |
| JP6569726B2 (en) | Information processing apparatus, information processing method, and program | |
| KR20230022239A (en) | Augmented reality experience enhancements | |
| GB2557593A (en) | Virtual reality | |
| US7652824B2 (en) | System and/or method for combining images | |
| CN117412452B (en) | Atmosphere lamp equipment, color matching method thereof, corresponding device and medium | |
| CN1628327A (en) | Automatic 3d modeling system and method | |
| TWM559476U (en) | System device with virtual reality and mixed reality house purchase experience | |
| Kim et al. | Design and implementation of immersive media system based on dynamic projection mapping and gesture recognition | |
| CN113448431A (en) | Multimedia wall interaction system and implementation method thereof | |
| JP2021149378A (en) | Image generation system | |
| Kabisch et al. | Sonic panoramas: experiments with interactive landscape image sonification | |
| TWI394063B (en) | System of inputting instruction by image identification and method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| A201 | Request for examination | ||
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| P14-X000 | Amendment of ip right document requested | St.27 status event code:A-5-5-P10-P14-nap-X000 | |
| P16-X000 | Ip right document amended | St.27 status event code:A-5-5-P10-P16-nap-X000 | |
| Q16-X000 | A copy of ip right certificate issued | St.27 status event code:A-4-4-Q10-Q16-nap-X000 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:4 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:5 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:6 | |
| FPAY | Annual fee payment | Payment date:20130719 Year of fee payment:7 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:7 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| P14-X000 | Amendment of ip right document requested | St.27 status event code:A-5-5-P10-P14-nap-X000 | |
| P16-X000 | Ip right document amended | St.27 status event code:A-5-5-P10-P16-nap-X000 | |
| Q16-X000 | A copy of ip right certificate issued | St.27 status event code:A-4-4-Q10-Q16-nap-X000 | |
| FPAY | Annual fee payment | Payment date:20140715 Year of fee payment:8 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:8 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:9 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| P14-X000 | Amendment of ip right document requested | St.27 status event code:A-5-5-P10-P14-nap-X000 | |
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee | St.27 status event code:A-4-4-U10-U13-oth-PC1903 Not in force date:20160720 Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE | |
| PC1903 | Unpaid annual fee | St.27 status event code:N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date:20160720 |