KR102474037B1 - Multi-camera image synchronization system and method for 3D image - Google Patents

Abstract

Disclosed are a multi-camera image synchronization system and method for a three-dimensional image. A multi-camera image synchronization system for a three-dimensional image according to an aspect of the present invention comprises: a display device for outputting a time code that is periodically changed; a plurality of camera devices for, if an image is photographed so that the display device can be included in a screen, identifying a time code in the photographed image and generating metadata of the photographed image corresponding to the time code; and a central server for, if the photographed image is received from the camera devices, synchronizing the photographed image of each of the camera devices using the metadata. According to the present invention, a three-dimensional image can be precisely generated regardless of the time checking means of each camera, data processing speed, communication time with the server, and so forth, and if frame loss is found among countless images, adjacent frames are searched using the time code and a lost frame can be restored using the same.

Description

Translated fromKorean

3차원 영상을 위한 다중 카메라 영상 동기화 시스템 및 방법{Multi-camera image synchronization system and method for 3D image}Multi-camera image synchronization system and method for 3D image

본 발명은 3차원 영상을 위한 다중 카메라 영상 동기화 시스템 및 방법에 관한 것이다.The present invention relates to a multi-camera image synchronization system and method for 3D images.

3차원 비디오 처리기술은 차세대 정보통신서비스로서 방송, 의료, 교육, 군사, 게임, 애니메이션 등 그 응용분야가 다양하다. 또한 3차원 비디오 처리기술은 여러 분야에 공통적으로 요구되는 차세대 실감 3차원 입체 멀티 미디어 정보통신의 핵심 기반 기술로서 이에 대한 연구가 활발히 진행되고 있다.3D video processing technology is a next-generation information communication service, and its application fields are diverse, such as broadcasting, medical care, education, military, game, and animation. In addition, 3D video processing technology is a key base technology for next-generation immersive 3D stereoscopic multimedia information and communication commonly required in many fields, and research on this is being actively conducted.

통상적으로 복수의　카메라를　이용하여　임의의　동체에　대해　영상을　촬영하고, 개별　카메라로부터　생성된　영상을　이용하여　3D 영상을　생성하는데, 이때 복수의　카메라를 동기화하는　구성이　필요하다. 즉,　각　카메라에서　생성된　영상을　서버에서　수신한　후, 서버가 이들　영상들 중 동일한 시간에 촬영한 영상(들)을　이용하여　3D　영상을　생성하여야　하는　것이다.Usually, a plurality of cameras are used to shoot an image of an arbitrary moving object, and a 3D image is generated using an image generated from an individual camera. At this time, a configuration that synchronizes the plurality of cameras is required. That is, after receiving the video generated by each camera from the server, the server must generate a 3D video by using the video (s) taken at the same time among these videos.

각 카메라마다 보유한 시간 확인 수단, 데이터 처리속도, 서버와의 통신 시간 등이 다를 수 있어, 보다 확실한 동기화 처리 수단이 필요하다.Since each camera may have different time checking means, data processing speed, and communication time with a server, a more reliable synchronization processing means is required.

대한민국 등록특허 제10-1768163호 (3D 비디오 생성 장치)Republic of Korea Patent Registration No. 10-1768163 (3D video generating device)

따라서, 본 발명은 상술한 문제점을 해결하기 위해, 각 카메라의 시간 확인 수단, 데이터 처리 속도 및 서버와의 통신 시간 등과 무관하게 3차원 영상을 정밀하게 생성하기 위한 다중 카메라 영상 동기화 시스템 및 방법을 제공하고자 한다.Therefore, in order to solve the above problems, the present invention provides a multi-camera image synchronization system and method for precisely generating a 3D image regardless of time checking means of each camera, data processing speed, and communication time with a server. want to do

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become clearer through preferred embodiments described below.

본 발명의 일 측면에 따르면, 주기적으로 변경되는 타임코드를 출력하는 디스플레이 장치; 상기 디스플레이 장치가 화면 내에 포함되도록 영상이 촬영되면, 촬영된 영상 내에서 상기 타임코드를 식별하고, 상기 타임코드에 상응하는 촬영영상의 메타데이터를 생성하는 복수의 카메라장치들; 및 상기 카메라장치들로부터 촬영영상을 수신하면, 상기 메타데이터를 이용하여 각 카메라장치들의 촬영영상을 동기화 처리하는 중앙서버를 포함하는, 3차원 영상을 위한 다중 카메라 영상 동기화 시스템이 제공된다.According to one aspect of the present invention, a display device for outputting a periodically changed time code; a plurality of camera devices for identifying the time code in the captured image when an image is captured so that the display device is included in the screen, and generating metadata of the captured image corresponding to the time code; and a central server for synchronizing the captured images of each camera device using the metadata when the captured images are received from the camera devices.

여기서, 상기 디스플레이 장치는 상기 카메라장치들의 셔터스피드 이상의 주사율에 상응하도록 상기 타임코드를 변경하여 출력할 수 있다.Here, the display device may change and output the time code to correspond to a scan rate higher than the shutter speed of the camera devices.

또한, 상기 타임코드는 상기 디스플레이 장치에서 카운팅되는 시각정보를 갖는 QR코드, 색상 및 숫자 중 하나 이상일 수 있다.Also, the time code may be one or more of a QR code having time information counted by the display device, a color, and a number.

또한, 상기 중앙서버는 수신된 영상들 중 프레임 손실이 발견되면, 상기 타임코드를 이용하여 탐색되는 인접 프레임을 이용하여 복원 처리할 수 있다.In addition, when frame loss is found among the received images, the central server may perform restoration processing using an adjacent frame searched for using the time code.

본 발명의 다른 측면에 따르면, 다수의 카메라장치로부터 영상을 수신하여 동기화처리하는 서버장치에서 수행되는 영상 동기화 방법에 있어서, 복수의 카메라장치들로부터, 메타데이터가 포함된 영상데이터를 수신하는 단계; 및 상기 메타데이터를 이용하여 각 카메라장치들의 촬영영상을 동기화 처리하는 단계;를 포함하되, 상기 복수의 카메라장치들 각각은 주기적으로 변경되는 타임코드를 출력하는 디스플레이 장치가 화면 내에 포함되도록 촬영된 영상 내에서 상기 타임코드를 식별하여 촬영영상의 메타데이터를 생성하는 3차원 영상을 위한 다중 카메라 영상 동기화 방법이 개시된다.According to another aspect of the present invention, an image synchronization method performed by a server device for receiving and synchronizing images from a plurality of camera devices, comprising: receiving image data including metadata from a plurality of camera devices; and synchronizing the captured images of each camera device using the metadata, wherein each of the plurality of camera devices includes a display device outputting a time code that is periodically changed so that the captured image is included in the screen. A method for synchronizing a multi-camera image for a 3D image in which metadata of a photographed image is generated by identifying the time code within the image is disclosed.

본 발명에 따르면, 각 카메라의 시간 확인 수단, 데이터 처리 속도 및 서버와의 통신 시간 등과 무관하게 3차원 영상을 정밀하게 생성하기 위한 다중 카메라 영상 동기화 시스템 및 방법을 제공할 수 있다.According to the present invention, it is possible to provide a multi-camera image synchronization system and method for accurately generating a 3D image regardless of time checking means of each camera, data processing speed, and communication time with a server.

도 1은 본 발명의 일 실시예에 따른 다중 카메라 영상 동기화 시스템을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 타임코드가 표시되는 디스플레이 장치를 촬영하는 카메라장치들을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다중 카메라 영상 동기화 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 손실 프레임을 복원하는 방식을 예시한 도면이다.1 is a configuration diagram schematically showing a multi-camera image synchronization system according to an embodiment of the present invention.
2 is a diagram illustrating camera devices for taking pictures of a display device displaying a time code according to an embodiment of the present invention.
3 is a flowchart illustrating a multi-camera image synchronization process according to an embodiment of the present invention.
4 is a diagram illustrating a method of restoring a lost frame according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, terms such as a first threshold value and a second threshold value, which will be described later, may be substantially different from each other or partially identical to each other. Since there is room, terms such as first and second are written together for convenience of classification.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to each drawing are not limitedly applied only to the corresponding embodiment, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and also separate Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as an integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same or related reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

도 1은 본 발명의 일 실시예에 따른 다중 카메라 영상 동기화 시스템을 개략적으로 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 타임코드가 표시되는 디스플레이 장치를 촬영하는 카메라장치들을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 다중 카메라 영상 동기화 과정을 도시한 흐름도이다.1 is a configuration diagram schematically illustrating a multi-camera image synchronization system according to an embodiment of the present invention, and FIG. 2 illustrates camera devices for photographing a display device displaying a time code according to an embodiment of the present invention. 3 is a flowchart illustrating a multi-camera image synchronization process according to an embodiment of the present invention.

먼저 도 1을 참조하면, 본 실시예에 따른 전체 시스템은 복수의 카메라장치들(10-1, 10-2, ..., 10-n, 이하 10으로 통칭)(단, n은 자연수임), 디스플레이 장치(20) 및 중앙서버(30)를 포함할 수 있다.First, referring to FIG. 1, the entire system according to this embodiment includes a plurality of camera devices (10-1, 10-2, ..., 10-n, hereinafter collectively referred to as 10) (where n is a natural number). , thedisplay device 20 and thecentral server 30 may be included.

도 2를 함께 참조하면, 디스플레이 장치(20)는 모든 카메라장치(10)들에 의해 촬영되는 위치에 설치되어, 미리 설정된 주기로 변경되는 타임코드(예를 들어, QR코드, 숫자 등등)를 출력 표시할 수 있다.Referring to FIG. 2 together, thedisplay device 20 is installed at a location where allcamera devices 10 are photographed, and outputs and displays time codes (eg, QR codes, numbers, etc.) that change at preset intervals. can do.

복수의 카메라장치(10)는 3차원 영상의 생성을 위해 서로 다른 위치에서 영상을 촬영하는데, 각 카메라장치(10)는 상술한 디스플레이 장치(20)가 화면 내에 포함되도록 영상을 촬영할 수 있다. 또한, 각 카메라장치(10)는 촬영된 영상 내에서 타임코드를 식별할 수 있고, 타임코드에 상응하는 촬영영상의 메타데이터를 생성할 수 있다.The plurality ofcamera devices 10 capture images at different locations to generate a 3D image, and eachcamera device 10 may capture images so that the above-describeddisplay device 20 is included in the screen. In addition, eachcamera device 10 may identify a time code in a captured image and generate metadata of the captured image corresponding to the time code.

즉, 디스플레이 장치(20)는 카메라장치(10)의　셔터스피드(예를 들어, 1/60초)이상의　주사율(예를 들어, 120[Hz])로　타임코드를　디스플레이할 수 있다. 이때, 타임코드는 도면과 같이 QR코드(200) 형태일 수 있으며, 물론 이에 한정되는 것은 아니다. 디스플레이장치(20)는 카메라장치(10)의 셔터스피드 이상의 주사율에 상응할 수 있고, 주사율에 상응하는 주기로 QR코드를 자동 생성하여 디스플레이할 수 있다. 따라서, 각 카메라장치(10)는 매 프레임(Frame)마다 상이한 QR코드가 포함된 영상을 생성할 수 있을 것이다.That is, thedisplay device 20 may display the time code at a refresh rate (eg, 120 [Hz]) higher than the shutter speed (eg, 1/60 second) of thecamera device 10 . At this time, the time code may be in the form of aQR code 200 as shown in the drawing, of course, but is not limited thereto. Thedisplay device 20 may correspond to a scan rate equal to or higher than the shutter speed of thecamera device 10, and may automatically generate and display a QR code at a period corresponding to the scan rate. Accordingly, eachcamera device 10 may generate an image including a different QR code for each frame.

타임코드가 QR코드가 아닌, 색상으로 설정된 경우라면, 디스플레이 장치(20)는 주사율에 상응하는 주기로 상이한 색상을 디스플레이할 수 있고, 각 카메라장치(10)는 매 프레임(Frame)마다 상이한 색상이 포함된 영상을 생성할 수 있을 것이다. 또한, 타임코드가 QR코드, 색상이 아닌, 숫자로 설정된 경우라면, 디스플레이 장치(20)는 주사율에 상응하는 주기로 상이한 숫자를 디스플레이할 수 있고, 각 카메라장치(10)는 매 프레임(Frame)마다 상이한 숫자가 포함된 영상을 생성할 수 있을 것이다. 또한, 타임코드는 QR코드, 색상, 숫자 중 둘 이상을 포함하는 것으로 형성될 수도 있을 것이다.If the time code is set to a color rather than a QR code, thedisplay device 20 can display different colors at a period corresponding to the scanning rate, and eachcamera device 10 includes a different color for every frame. You will be able to create your own video. In addition, if the time code is set as a number rather than a QR code or color, thedisplay device 20 can display a different number at a period corresponding to the scan rate, and eachcamera device 10 can display every frame. You will be able to create images with different numbers. In addition, the time code may be formed by including two or more of a QR code, color, and number.

다시 말해, 디스플레이 장치(20)는　모든　카메라에서　보이는　곳에　위치할 수 있으며, 개별　카메라장치(10)는　촬영과　동시에　또는　후보정　단계에서　촬영된　이미지　내의　QR코드, 색상 및/또는 숫자(즉 타임코드)를　인식하고, 해당 QR코드의　내용(시각정보 등)을　생성된　영상(프레임별)의　메타데이터에　삽입할 수 있다. 각 카메라장치(10)가 QR코드, 색상 및/또는 숫자와 같은 타임코드를 자동 인식하는 동작을 구현하는 것은 당업자에 있어서 자명한 사항이므로, 이에 대한 구체적인 설명은 생략한다.In other words, thedisplay device 20 may be located where it can be seen by all cameras, and eachcamera device 10 may display a QR code, color and/or number (i.e., time code) in the captured image at the same time as shooting or in the post-correction step. can be recognized, and the contents (visual information, etc.) of the corresponding QR code can be inserted into the metadata of the generated image (by frame). Since it is obvious to those skilled in the art that eachcamera device 10 implements an operation of automatically recognizing a time code such as a QR code, color, and/or number, a detailed description thereof will be omitted.

중앙서버(30)는 카메라장치(10)들로부터 촬영영상을 수신하면, 메타데이터를 이용하여 각 카메라장치(10)들의 촬영영상을 동기화 처리할 수 있다.Upon receiving the captured images from thecamera devices 10, thecentral server 30 may synchronize the captured images of therespective camera devices 10 using metadata.

이에 대한 처리 과정을 도 3을 참조하여 설명한다.A process for this will be described with reference to FIG. 3 .

각 카메라장치(10)는 디스플레이 장치(20)에서 표시되는 타임코드(QR코드, 색상 및/또는 숫자)를 포함하는 영상을 촬영할 수 있다(S310)Eachcamera device 10 may capture an image including a time code (QR code, color and/or number) displayed on the display device 20 (S310).

각 카메라장치(10)는 촬영된 영상 내의 타임코드(QR코드, 색상 및/또는 숫자)를 식별할 수 있다(S320).Eachcamera device 10 may identify a time code (QR code, color and/or number) in the captured image (S320).

각 카메라장치(10)는 식별된 타임코드(QR코드, 색상 및/또는 숫자)에 상응하는 촬영영상의 메타데이터를 생성할 수 있다. 예를 들어, 각 카메라장치(10)는 프레임#1의 영상 내의 타임코드의 내용이 [01:01:12]이라면 [#1-010112]이라는 메타데이터를 생성할 수 있을 것이다.Eachcamera device 10 may generate metadata of a photographed image corresponding to the identified time code (QR code, color and/or number). For example, eachcamera device 10 may generate metadata of [#1-010112] if the content of the time code in the image of frame #1 is [01:01:12].

중앙서버(30)는 각 카메라장치(10)로부터 영상과 메타데이터가 포함된 영상데이터를 수신할 수 있다(S340)Thecentral server 30 may receive image data including images and metadata from each camera device 10 (S340).

중앙서버(30)는 영상데이터의 메타데이터를 이용하여 각 카메라장치(10)들로부터 수신된 영상들 중 동일한 시간에 촬영된 영상을 분류할 수 있다(S350).Thecentral server 30 may classify images captured at the same time among the images received from therespective camera devices 10 using the metadata of the image data (S350).

일례에 따르면, 중앙서버(30)는 수신된 영상들 중 프레임 손실이 발견되면, 타임코드를 이용하여 탐색되는 인접 프레임을 이용하여 복원처리 할 수 있다.According to an example, thecentral server 30 may perform restoration processing using an adjacent frame searched for using a time code when a frame loss is found among received images.

도 4는 본 발명의 일 실시예에 따른 손실 프레임을 복원하는 방식을 예시한 도면이다.4 is a diagram illustrating a method of restoring a lost frame according to an embodiment of the present invention.

일례를 도시한 도 4를 참조하면, 중앙서버(30)는 제1 카메라장치(10-1)로부터 수신된 프레임영상 중 손실이 발생된 것(400)이 존재하면, 동일 카메라장치(10-1)의 앞뒤의 인접한 다른 프레임영상들을 이용하여 복원할 수 있다. 이때 도면과 같이, 보다 높은 정확도의 복원을 위해, 중앙서버(30)는 위치적으로 인접한 하나 이상의 타 카메라장치를 식별하고, 해당 카메라장치(10-1)의 동일 시간대(메타데이터를 이용한 동기화로 인한 식별)의 프레임영상을 추가적으로 이용할 수 있다.Referring to FIG. 4 showing an example, thecentral server 30, if there is aloss 400 among the frame images received from the first camera device 10-1, the same camera device 10-1 ) can be restored using adjacent other frame images in the front and back. At this time, as shown in the drawing, for higher accuracy restoration, thecentral server 30 identifies one or more other camera devices that are geographically adjacent to each other and identifies the camera device 10-1 at the same time (synchronization using metadata). frame image of identification) can be additionally used.

즉, 중앙서버(30)는 제1 카메라장치(10-1)의 영상에서의 타임코드의 위치(좌표값)과 가장 유사한 위치에 타임코드가 위치한 영상을 검출할 수 있다. 중앙서버(30)는 검출된 영상을 촬영한 카메라장치를 제1 카메라장치(10-1)와 인접한 카메라장치로 인지할 수 있다.That is, thecentral server 30 may detect an image in which the time code is located at a location most similar to the location (coordinate value) of the time code in the image of the first camera device 10-1. Thecentral server 30 may recognize the camera device capturing the detected image as a camera device adjacent to the first camera device 10-1.

또한, 중앙서버(30)는 제1 카메라장치(10-1)의 프레임#2, 프레임#4 및 '인접 카메라 장치의 프레임#3'을 이용하여 '제1 카메라장치(10-1)의 프레임#3'을 복원할 수 있을 것이다. 각 프레임을 분석하여, 피사체의 움직임을 인지할 수 있고, 인지된 움직임에 상응하도록 '제1 카메라장치(10-1)의 프레임#3'을 복원할 수 있을 것이기 때문이다.In addition, thecentral server 30 uses frame #2, frame #4 of the first camera device 10-1 and 'frame #3 of the adjacent camera device' to 'frame of the first camera device 10-1'. You should be able to restore #3'. This is because the motion of the subject can be recognized by analyzing each frame, and 'frame #3 of the first camera device 10-1' can be restored to correspond to the recognized motion.

상술한 본 발명에 따른 3차원 영상을 위한 다중 카메라 영상 동기화 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The above-described multi-camera image synchronization method for a 3D image according to the present invention can be implemented as computer readable code on a computer readable recording medium. Computer-readable recording media includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed to computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can make the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. It will be appreciated that various modifications and variations may be made.

10-1, 10-2, ..., 10-n : 카메라장치
20 : 디스플레이 장치
30 : 중앙서버10-1, 10-2, ..., 10-n: camera device
20: display device
30: central server

Claims (5)

Translated fromKorean

주기적으로 변경되는 타임코드를 출력하는 디스플레이 장치;
상기 디스플레이 장치가 화면 내에 포함되도록 영상이 촬영되면, 촬영된 영상 내에서 상기 타임코드를 식별하고, 상기 타임코드에 상응하는 촬영영상의 메타데이터를 생성하는 복수의 카메라장치들; 및
상기 카메라장치들로부터 촬영영상을 수신하면, 상기 메타데이터를 이용하여 각 카메라장치들의 촬영영상을 동기화 처리하는 중앙서버;
를 포함하되,
상기 중앙서버는,
수신된 영상들 중 프레임 손실이 발견되면, 상기 타임코드를 이용하여 탐색되는 하나 이상의 인접 프레임을 이용하여 복원처리하는, 3차원 영상을 위한 다중 카메라 영상 동기화 시스템.
a display device that outputs a time code that is periodically changed;
a plurality of camera devices for identifying the time code in the captured image when an image is captured so that the display device is included in the screen, and generating metadata of the captured image corresponding to the time code; and
a central server for synchronizing the captured images of each camera device using the metadata when the captured images are received from the camera devices;
Including,
The central server,
A system for synchronizing a multi-camera image for a 3D image, wherein if a frame loss is found among received images, restoration is performed using one or more adjacent frames searched for using the time code.
제1항에 있어서,
상기 디스플레이 장치는,
상기 카메라장치들의 셔터스피드 이상의 주사율에 상응하도록 상기 타임코드를 변경하여 출력하는, 3차원 영상을 위한 다중 카메라 영상 동기화 시스템.
According to claim 1,
The display device,
A multi-camera image synchronization system for a 3D image, wherein the time code is changed and output to correspond to a scan rate equal to or greater than the shutter speed of the camera devices.
제1항에 있어서,
상기 타임코드는 상기 디스플레이 장치에서 카운팅되는 시각정보를 갖는 QR코드, 색상 및 숫자 중 하나 이상인, 3차원 영상을 위한 다중 카메라 영상 동기화 시스템.
According to claim 1,
The time code is at least one of a QR code having time information counted on the display device, a color and a number, a multi-camera image synchronization system for a 3D image.
삭제delete다수의 카메라장치로부터 영상을 수신하여 동기화처리하는 서버장치에서 수행되는 영상 동기화 방법에 있어서,
복수의 카메라장치들로부터, 메타데이터가 포함된 영상데이터를 수신하는 단계;
상기 메타데이터를 이용하여 각 카메라장치들의 촬영영상을 동기화 처리하는 단계; 및
상기 영상데이터들 중 프레임 손실이 발견되면, 타임코드를 이용하여 탐색되는 하나 이상의 인접 프레임을 이용하여 복원처리하는 단계;
를 포함하되,
상기 복수의 카메라장치들 각각은 주기적으로 변경되는 상기 타임코드를 출력하는 디스플레이 장치가 화면 내에 포함되도록 촬영된 영상 내에서 상기 타임코드를 식별하여 촬영영상의 메타데이터를 생성하는, 3차원 영상을 위한 다중 카메라 영상 동기화 방법.An image synchronization method performed in a server device for receiving and synchronizing images from a plurality of camera devices,
Receiving image data including metadata from a plurality of camera devices;
synchronizing the captured images of each camera device using the metadata; and
restoring processing using one or more adjacent frames searched for using a time code when frame loss is found among the image data;
Including,
Each of the plurality of camera devices identifies the time code in the captured image so that the display device outputting the time code that is periodically changed is included in the screen to generate metadata of the captured image. Multi-camera image synchronization method.

Images