본 발명은 다시점 비디오 시스템에 관한 것으로 보다 상세하게는 여러 개의 영상입력장치로부터 입력된 원영상을 전처리, 압축, 다중화, 역다중화, 복원, 합성의 과정을 통해 원영상보다 더 많은 영상을 디스플레이장치에서 출력하는 것이 가능하고 다양한 각도와 다양한 거리에서 3차원 입체영상을 시청하도록 하는 다시점 비디오 시스템 및 방법에 관한 것이다.The present invention relates to a multi-view video system, and more particularly, to display more images than the original image through a process of preprocessing, compressing, multiplexing, demultiplexing, reconstructing, and synthesizing the original image input from a plurality of image input apparatuses. The present invention relates to a multi-view video system and a method for outputting a 3D stereoscopic image at various angles and distances.
도 1은 다시점으로 3차원 영상을 구현하는 일련의 방법을 제시하고 있다. 즉, 3차원 영상을 구현하는 방법의 하나로 각각이 2차원적인 영상 데이터를 획득하는 여러 개의 카메라(1)로부터 2차원 영상데이타를 획득하고, 이를 적절히 가공하여 자체내의 복원 및 원격지로의 전송을 통한 원격 장치에서의 복원을 통하여 3차원 디스플레이장치(2), 즉 렌티큘라 방식의 장치를 통하여 3차원 영상을 구현한다. 기존의 다시점 비디오 시스템은 MPEG-2 표준안에 포함되어 있는 다시점 프로파일을 만족하는 입체비디오 시스템으로 도 2에 도시한 바와 같다. 시스템 구성은 MPEG-2 MP@ML의 베이스층으로 구성된 좌안용 동작보상 DCT 인코더 블럭(3)과 우안용 동작보상 DCT 인코더 블럭(4), 부동 추정기(Disparity Estimator, DE)(5), 부동 보상기(Disparity Compensator, DC)(6) 등으로 구성된 동작 및 부동 보상 DCT 인코더 블럭(100)과 시스템 멀티플렉서(7)를 포함하는 입체 인코더 모듈과 마찬가지로 MPEG-2 MP@ML의 베이스 층으로 구성된 좌안용 동작보상 DCT 디코더 블럭(8)과 우안용 동작보상 DCT 디코더 블럭(9), 부동 보상기(10) 등으로 구성된 동작 및 부동 보상 DCT 디코더 블럭(200)과 시스템 디멀티플렉서(11)를 포함한 입체 디코더 모듈로 구성되어진다.1 shows a series of methods for implementing a 3D image from a multiview. In other words, as a method of implementing a 3D image, the 2D image data is obtained from a plurality of cameras 1, each of which acquires 2D image data. The 3D image is realized through the 3D display apparatus 2, that is, a lenticular method, by restoring the remote apparatus. The existing multiview video system is a stereoscopic video system that satisfies the multiview profile included in the MPEG-2 standard, as shown in FIG. 2. The system configuration consists of a MPEG-2 MP @ ML base layer left eye motion compensation DCT encoder block (3), a right eye motion compensation DCT encoder block (4), a disparity estimator (DE) (5), and a floating compensator. Operation consisting of (Disparity Compensator, DC) (6) and the like for a left eye composed of a base layer of MPEG-2 MP @ ML as well as a stereo encoder module comprising a floating compensation DCT encoder block 100 and a system multiplexer 7 It consists of an operation consisting of a compensation DCT decoder block 8, a motion compensation DCT decoder block 9 for the right eye, a floating compensator 10 and the like, and a stereoscopic decoder module including a floating compensation DCT decoder block 200 and a system demultiplexer 11. It is done.
상기 시스템의 동작을 설명하면 다음과 같다. 시스템의 동작은 좌측영상을 기본 영상으로 선정하고, 좌안용 동작보상 DCT 인코더 블럭(3)에서 MPEG-2 표준알고리즘으로 부호화한 후 시스템 멀티플렉서(7)로 부호화된 스트림을 전송한다. 한편 상기 블럭에서는 다음 영상 및 우측영상의 부호화를 위해 복원영상을 생성하여 DE(5) 및 DC블럭(6)으로 전달한다. 우측 원영상은 우안용 동작보상 DCT 인코더블럭 (4)과 DE블럭(5)으로 전달되는데 DE블럭(5)에서는 좌측 영상의 복원영상과 우측영상의 원영상을 비교 평가하여 부동벡타(Disparity vector, DV)를 구하고 이를 우안동작보상 DCT 인코더블럭(4)과 DC블럭(6)으로 전달한다. DC블럭(6)으로 전달된 DV는 좌측복원영상을 참조하여 다음우측영상에 대한 보상영상을 생성하고 우안동작보상 DCT인코더블럭(4)으로 전달된 DV는 MPEG-2 표준의 MV와 동일하게 부호화된다. 그리고 우안동작보상 DCT 인코더블럭(4)에서는 DC블럭(6)에서 생성된 보상영상과 우측 원영상과의 차영상에 대한 DCT(디스크리트 코사인 트랜스폼, 이하 DCT)를 이용한 MPEG-2부호화 알고리즘을 통해 부호화된다. 우측영상에 대한 부호화 스트림은 좌측영상과 동일하게 시스템 멀티플렉서(7)로 개별적으로 전달된다. 상기 시스템 멀티플렉서(7)는 MPEG-2 시스템의 규격을 따른다. 시스템 멀티플렉서(7)에서 다중화된 스트림은 시스템 디멀티플렉서(11)로 전달되고 역다중화되어 다시 두 개의 영상부호화 스트림을 복원하여 각각의 스트림을 좌안동작보상 DCT디코더블럭(8)과 우안동작보상 DCT디코더블럭(9)으로 전달된다. 좌측영상의 부호화스트림을 획득한 좌안동작보상 DCT디코더블럭(8)은 MPEG-2 표준을 만족하는 알고리즘으로 영상을 복원하고, 복원된 영상을 출력 및 DC블럭(10)으로 전달한다. 또 우측영상에 대한 부호화 스트림을 전달받은 우안동작보상 DCT디코더블럭(9)은 스트림을 복호하여 DV와 DC블럭(10)에서 생성되는 좌측영상을 참조로 한 보상영상과 원영상과의 차영상을 획득한다. 획득된 DV는 DC블럭으로 전달되어 이전에 복원된 좌측영상을 참조하여 보상영상을 생성하고, DC블럭에서 생성된 보상영상은 다시 우안동작보상 DCT디코더블럭(9)으로 전달되어 복원된 차영상과 합성되어 우측영상을 복원한다.The operation of the system is as follows. In operation of the system, the left image is selected as the base image, the left eye motion compensation DCT encoder block 3 is encoded by the MPEG-2 standard algorithm, and the encoded stream is transmitted to the system multiplexer 7. On the other hand, the block generates a reconstructed image for encoding the next image and the right image, and transmits the reconstructed image to the DE (5) and the DC block (6). The right original image is transmitted to the motion compensation DCT encoder block (4) and the DE block (5) for the right eye. In the DE block (5), the reconstruction image of the left image and the original image of the right image are compared and evaluated for disparity vector, DV) is obtained and transferred to the right eye compensation DCT encoder block 4 and the DC block 6. The DV delivered to the DC block 6 generates a compensation image for the next right image with reference to the left restored image, and the DV delivered to the right eye compensation DCT encoder block 4 is encoded in the same manner as the MV of the MPEG-2 standard. do. In addition, the right eye motion compensation DCT encoder block 4 uses an MPEG-2 encoding algorithm using a DCT (discrete cosine transform, hereinafter DCT) for the difference between the compensation image generated from the DC block 6 and the right original image. Is encoded. The encoded stream for the right picture is separately transmitted to the system multiplexer 7 in the same manner as the left picture. The system multiplexer 7 follows the standard of the MPEG-2 system. The multiplexed streams from the system multiplexer 7 are passed to the system demultiplexer 11 and demultiplexed to restore two video encoding streams, respectively. Is passed to (9). The left eye motion compensated DCT decoder block 8 that obtains the encoded stream of the left image reconstructs the image by an algorithm satisfying the MPEG-2 standard, and transmits the reconstructed image to the output and the DC block 10. In addition, the right-eye motion compensation DCT decoder block 9 that receives the encoded stream for the right picture decodes the stream and performs a difference picture between the compensation picture and the original picture with reference to the left picture generated by the DV and DC block 10. Acquire. The acquired DV is transferred to the DC block to generate a compensation image by referring to the left image previously restored, and the compensated image generated from the DC block is transferred to the right eye motion compensation DCT decoder block 9 and the reconstructed difference image. It is synthesized to restore the right image.
시스템의 동작을 애플리케이션의 관점에서 보면 사람의 좌, 우 눈과 비슷한 간격의 거리를 두고 수평적으로 평행한 두 개의 카메라로부터 영상을 획득하고, 두 개의 영상이 각각의 부호화기를 통하여 부호화된 후 다중화기를 통해 원격지에 복호기로 전달한다. 복호기의 역다중화기를 통과한 후 복호화된 각각의 영상 부호화스트림은 복호기를 통해 영상으로 복원된다. 복원된 각각의 영상은 3차원 디스플레이장치를 통해 사용자에게 출력되는데 이 시스템은 단지 하나의 시점에서만 그리고 제한거리내에서만 3차원영상을 구현할 수 있다.From the application's point of view, the operation of the system is obtained from two horizontally parallel cameras at a distance similar to the left and right eyes of a person. It is delivered to the decoder through a remote. After decoding the demultiplexer of the decoder, each decoded image coded stream is reconstructed into an image through the decoder. Each reconstructed image is output to the user through a three-dimensional display device. The system can implement a three-dimensional image only at one viewpoint and within a limited distance.
상기와 같이 기존의 방식은 양안시스템으로 3차원영상을 사용자 입장에서 볼 때 하나의 지점에서만 3차원영상으로 구축된다. 즉 디스플레이 장치에서 전면의 약 1∼2m지점에 시청자가 있을 경우에만 영상이 3차원으로 보인다. 그러므로 상기 기존의 기술은 시청각의 시계가 극히 한정되어 있어 한 사람 또는 극히 적은 숫자의 사람만이 3차원영상을 볼 수 있다. 결국 기존방식으로는 3차원 정보 단말기 및 3DTV등과 같은 다수의 사용자를 대상으로 하는 응용분야에는 적용이 불가능한 단점이 있다.As described above, the conventional method is a binocular system that constructs a 3D image only at one point when the 3D image is viewed from the user's point of view. That is, the image is shown in three dimensions only when there is a viewer at about 1 to 2 m in front of the display device. Therefore, the existing technology has an extremely limited visual and visual field of vision so that only one person or a very small number of people can see the 3D image. As a result, there is a disadvantage in that the existing method is not applicable to application areas targeting a large number of users such as 3D information terminals and 3DTV.
상기와 같이 기존의 기술이 지니는 문제점에 대한 방안으로 본 발명자는 렌티큘라 방식의 3차원 디스플레이에 동시에 여러 각도에서 물체 및 장면을 볼 수 있는 3차원 다시점 비디오 시스템을 제시하고자 한다. 이를 위해 본 발명에서는 많은 양의 데이터를 현재 시점에서 가능한 채널환경에 적용할 수 있도록 압축하고 또한 획득된 시점보다 더 많은 시점의 영상을 생성하는 것이 가능하도록 함으로써 다양한 시점과 거리에서 3차원영상을 구현할 수 있도록 하는 데에 본 발명의 목적이 있다.As a solution to the problems of the existing technology as described above, the present inventors propose a three-dimensional multi-view video system that can view objects and scenes from multiple angles simultaneously on a lenticular three-dimensional display. To this end, in the present invention, a large amount of data can be compressed to be applied to a channel environment that is possible at the present point of view, and it is possible to generate an image of more viewpoints than the acquired point of view, thereby realizing three-dimensional images at various viewpoints and distances. It is an object of the present invention to be able to.
도 1은 3차원 다시점 비디오 시스템의 개략적인 설명도.1 is a schematic explanatory diagram of a three-dimensional multiview video system.
도 2는 기존의 입체비디오 시스템의 블럭구성도.2 is a block diagram of a conventional stereoscopic video system.
도 3은 본 발명의 3차원 다시점 비디오 시스템의 블럭구성도.3 is a block diagram of a three-dimensional multiview video system of the present invention;
도 4는 본 발명의 구체적 실시예(전처리수단, 압축수단)Figure 4 is a specific embodiment of the present invention (pretreatment means, compression means)
도 5는 본 발명의 구체적 실시예(멀티플렉서)5 is a specific embodiment of the present invention (multiplexer)
도 6은 본 발명의 구체적 실시예(디멀티플렉서)6 is a specific embodiment of the present invention (demultiplexer)
도 7은 본 발명의 구체적 실시예(압축해제수단 및 중간영상생성수단)Figure 7 is a specific embodiment of the present invention (compression release means and intermediate image generating means)
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
1: 카메라 2: 3차원 디스플레이장치1: camera 2: 3D display device
3: 좌안용 동작보상 DCT 인코더 블럭3: left eye motion compensation DCT encoder block
4: 우안용 동작보상 DCT 인코더 블럭4: motion compensation DCT encoder block for right eye
5: 부동 추정기 6,10: 부동 보상기5: floating estimator 6,10: floating compensator
7: 시스템 멀티플렉서 8: 좌안용 동작보상 DCT 디코더 블럭7: System multiplexer 8: Left-eye compensation DCT decoder block
9: 우안용 동작보상 DCT 디코더 블럭9: Right Eye Compensation DCT Decoder Block
11: 시스템 디멀티플렉서 21:불균형 감소필터11: System Demultiplexer 21: Unbalance Reduction Filter
22: 노이즈감소필터 23,26,29: DCT 기반 인코더22: Noise reduction filter 23, 26, 29: DCT based encoder
24,27: 부동추정기 25,28,62: 부동보상기24, 27: floating estimator 25, 28, 62: floating compensator
30: 전처리수단 31: 압축수단30: pretreatment means 31: compression means
32: 다중화수단 33: 역다중화수단32: multiplexing means 33: demultiplexing means
34: 압축해제수단 35: 중간영상합성수단34: decompression means 35: intermediate image synthesis means
36: 디스플레이 콘트롤 수단36: display control means
41: 스트림헤더분석기 42,44: 비디오 버퍼41: Stream header analyzer 42,44: Video buffer
43: 비디오 패킷화기 45: 시스템헤더제조기43: Video Packetizer 45: System Header Maker
46: 시스템스트림 패킷화기 51:패킷동기부46: system stream packetizer 51: packet synchronization
52: 에러검출기 53: 패킷 버퍼52: error detector 53: packet buffer
54: 시스템헤더처리기 55: 패킷 식별자 처리기54: system header handler 55: packet identifier handler
56: 시스템 클럭 추출기 57: 시스템 클록 복원기56: system clock extractor 57: system clock extractor
58: 프로그램 정보 디코더 59: 비디오 패킷헤더처리기58: program information decoder 59: video packet header processor
60: 트랜스포트버퍼 61: DCT 기반 디코더60: transport buffer 61: DCT-based decoder
본 발명은 다시점 비디오 시스템에 관한 것으로 본 발명의 시스템(300)은 카메라의 특성차이로 인한 파라메타 등의 보정을 하는 전처리수단(30)과, 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시(redundancy)를 제거하는 비디오 압축수단(31)과, 각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 시스템 다중화 수단(32)과, 상기 시스템 다중화 수단에서 전송된 다중화된 스트림을 각각의 독립된 영상스트림으로 복원하는 시스템 역다중화 수단(33)과, 상기 영상압축수단에서 압축된 각각의 영상을 복원하는 비디오 압축해제수단(34)과, 복원된 다시점 영상간의 중간영상을 생성하는 비디오 중간영상 합성수단(35)과, 전기 단계에서 형성된 2차원영상을 3차원 표시장치에 출력하는 3차원 디스플레이 콘트롤수단(36)을 포함한다.The present invention relates to a multi-view video system. The system 300 includes a preprocessing means 30 for correcting a parameter due to a difference in characteristics of a camera, and a temporal and spatial redundancy between images output from each camera. video compression means (31) for removing redundancy, system multiplexing means (32) for generating each independent video stream into one multiplexed stream, and multiplexed streams transmitted from the system multiplexing means for each independent video Video demultiplexing means (33) for reconstructing the stream into a stream, video decompressing means (34) for reconstructing each image compressed by the image compression means, and video intermediate image synthesis for generating an intermediate image between the restored multi-view images. Means 35 and three-dimensional display control means 36 for outputting the two-dimensional image formed in the electrical step to the three-dimensional display device.
도 4를 참조하면 획득된 다시점영상(도면에는 M시점으로 도시)은 각 카메라간의 특성차이로 인한 오류 등의 보정을 위해 하나의 참조카메라를 기준으로 하여 영상의 휘도 및 색도의 보정 등을 상기 전처리수단(30)에서 담당하게 된다. 바람직하기로는 상기 전처리수단은 불균형 감소필터(21)과 노이즈 감소필터(22)를 포함하며 상기 불균형 감소필터는 LSE(least square error)와 Affine Transform 계수를 이용하는 블럭기반 균형알고리즘을 이용하여 평균값과 분산을 맞추는 방식으로 휘도 및 색도 등을 보정한다. 또한 상기 불균형 감소필터(21)를 통과한 영상신호는 다시 각각의 가오시안 노이즈를 제거하기 위한 노이즈 감소필터(22)를 거쳐 비디오 압축수단(31)에 전달된다.Referring to FIG. 4, the acquired multi-view image (shown at M point of view) is used to recall the luminance and chromaticity of the image based on one reference camera to correct an error due to a characteristic difference between the cameras. The preprocessing means 30 will be in charge. Preferably, the preprocessing means includes an imbalance reduction filter 21 and a noise reduction filter 22, and the imbalance reduction filter uses a block-based balance algorithm using a least square error (LSE) and an Affine Transform coefficient to distribute the average value and the variance. Correct brightness and chromaticity by adjusting the In addition, the image signal passing through the unbalance reduction filter 21 is transmitted to the video compression means 31 through the noise reduction filter 22 for removing each gaussian noise.
상기 비디오 압축수단(31)은 전처리수단(30)을 통해 보정된 다시점 영상들에 대해 각 카메라에 대한 인접한 영상간의 시간적, 공간적 리던던시 및 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시를 제거하는 영상압축과정을 수행한다. 이를 위해 바람직하기로는 상기 비디오 압축수단(31)은 부동추정기(Overlapp ed Block Disparity Estimation)/부동보상기(Overlapped Block Disparity Compens ation) 및 기존의 MPEG-2알고리즘을 포함한다.The video compression means 31 removes the temporal and spatial redundancy between adjacent images for each camera and the temporal and spatial redundancy between images output from each camera with respect to the multi-view images corrected by the preprocessing means 30. Perform image compression process. To this end, the video compression means 31 preferably comprises an Overlapped Block Disparity Estimation / Overlapped Block Disparity Compensation and a conventional MPEG-2 algorithm.
도 4에 도시한 본 발명의 바람직한 실시예로서의 비디오 압축수단(31)은 동작추정기(Overlapped Block Motion Estimation)/동작보상기(Overlapped Block Motion Compensation)(도면에는 미도시)을 포함하는 DCT 기반 인코더(23)와, 부동추정기(24)와, 부동보상기(25)를 포함한다. 상기 비디오 압축수단(31)은 각각의 카메라에서 연속적으로 입력되는 영상프레임들에 대하여 동시간에서 가장 인접한 카메라 영상간의 동질성에 따른 시간적, 공간적 리던던시를 상기 부동추정기(24)와, 부동보상기(25)에서 부호화하고, 나머지 DCT계수들에 대해서는 MPEG-2표준을 만족하는 부호화를 통해 압축한다. 또한 각 카메라에서 입력되는 연속적인 프레임간의 동질성에 따른 시간적, 공간적인 리던던시는 동작추정기/동작보상기를 이용해 부호화하고, 나머지 DCT계수들에 대해서는 MPEG-2표준을 만족하는 부호화를 통해 압축한다.The video compression means 31 as a preferred embodiment of the present invention shown in FIG. 4 includes a DCT-based encoder 23 including an overlapped block motion estimation / overlapped block motion compensation (not shown). And a floating estimator 24 and a floating compensator 25. The video compression unit 31 provides the temporal and spatial redundancy according to the homogeneity between the closest camera images at the same time with respect to the image frames continuously input from each camera, by the floating estimator 24 and the floating compensator 25. Are encoded by using the encoding that satisfies the MPEG-2 standard. In addition, temporal and spatial redundancy according to homogeneity between consecutive frames input from each camera is encoded using a motion estimator / motion compensator, and the remaining DCT coefficients are compressed through encoding that satisfies the MPEG-2 standard.
상기 도면에 도시된 실시예에 따른 예시로서 카메라 2(이하 Ca_2로 약칭함)에 의한 보정된 영상은 동작추정기/동작보상기를 포함하는 DCT 기반 인코더(26)에서 독립적으로 부호화하여 Ca_2 인코디드 스트림으로 출력하고, 복원된 영상은 부동추정기(24, 27)/부동보상기(25, 28)블럭에 참조영상으로 제공된다. Ca_1 보정영상과 Ca_2보정영상에 대해 살펴보면 상기 영상은 부동추정기(24)와 DCT 기반 인코더(23)로 전달되어 부동추정기(24)에서는 Ca_2 보정영상에 대한 복원영상을 참조하여 부동벡터(Disparity Vector, 또는 DV)를 획득하고, 부동보상기(25) 및 DCT 기반 인코더(23)로 상기 DV를 전달한다. 부동보상기(25)에서는 Ca_2 보정영상에 대한 복원영상을 참조하고 DV를 이용하여 보상영상을 생성하여 동 영상정보를 DCT 기반 인코더(23)로 전달한다. 이 과정은 Ca_2와 Ca_3보정영상 사이에도 동일하게 적용되며 최종적으로 DCT 기반 인코더(23, 29)는 부동추정기로부터 전달된 DV와 원영상(Ca_1 또는 Ca_3보정영상)과 부동보상기에서 보상된 영상과의 차영상을 부호화하여 각각Ca_1 인코디드 스트림, Ca_3 인코디드 스트림으로 출력한다.As an example according to the embodiment shown in the figure, the corrected image of the camera 2 (hereinafter, abbreviated as Ca_2) is independently encoded by the DCT based encoder 26 including a motion estimator / motion compensator to encode the Ca_2 encoded stream. The reconstructed image is provided as a reference image to the floating estimator 24 and 27 / floating compensators 25 and 28. Referring to the Ca_1 correction image and the Ca_2 correction image, the image is transferred to the floating estimator 24 and the DCT-based encoder 23, and the floating estimator 24 refers to the reconstructed image of the Ca_2 correction image, and displays a disparity vector, Or DV) and deliver the DV to the floating compensator 25 and the DCT based encoder 23. The floating compensator 25 refers to the reconstructed image of the Ca_2 corrected image, generates a compensation image using DV, and transfers the image information to the DCT-based encoder 23. This process is applied equally between Ca_2 and Ca_3 correction images. Finally, DCT-based encoders 23 and 29 compare the DV transmitted from the floating estimator with the original image (Ca_1 or Ca_3 correction image) and the image compensated in the floating compensator. The difference image is encoded and output as a Ca_1 encoded stream and a Ca_3 encoded stream, respectively.
시스템 다중화수단(32)은 비디오 압축수단(31)에서 압축한 독립된 영상스트림을 하나의 다중화된 스트림으로 만드는 수단으로 각각의 독립된 영상스트림에 대해 식별자, 시간정보, 프로그램정보 등을 추가한다. 상기 다중화수단의 구체적인 실시예로서의 상세구성은 도 5에 나타낸 바와 같다. 상기 도면에 제시된 다중화 수단은 바람직하기로는 스트림헤더 분석기(41), 비디오 버퍼(42,44), 비디오 패킷화기(43), 시스템 헤더제조기(45), 시스템스트림 패킷화기(46)를 포함하여 구성된다.The system multiplexing means 32 is a means for making an independent video stream compressed by the video compression means 31 into one multiplexed stream, and adds an identifier, time information, program information, etc. to each independent video stream. The detailed configuration as a specific embodiment of the multiplexing means is as shown in FIG. The multiplexing means presented in this figure preferably comprises a stream header analyzer 41, video buffers 42 and 44, a video packetizer 43, a system header maker 45 and a system stream packetizer 46. do.
상기 독립된 영상스트림은 스트림헤더 분석기(41)에서 AU단위로 분리되어 순차적으로 비디오 버퍼(42)로 전달된다. 다음으로 비디오 패킷화기(43)에서 각 AU에 대한 시간정보 및 스트림 정보 등을 헤더에 추가하여 패킷화한 후 비디오 버퍼(44)로 전달하고 상기 비디오 버퍼(44)는 버퍼 콘트롤러(47)의 제어를 받아 라운드로빈 방식으로 시스템 헤더제조기(45)로 전달되어 각 영상스트림에 대한 식별자 및 기타 정보를 포함하는 시스템 헤더를 생성하고 시스템스트림 패킷화기(46)에서 PES 패킷(PES_1, PES_2 등)을 다시 하나의 DSS패킷으로 생성하고 이를 시퀀스화하여 출력한다. 이때 생성된 다중화된 영상스트림은 멀티미디어 저장매체로 저장하거나 또는 통신장비를 이용하여 목적지로 전달될 수 있다.The independent video stream is separated into AU units in the stream header analyzer 41 and sequentially delivered to the video buffer 42. Next, the video packetizer 43 adds the time information and the stream information of each AU to the header, packetizes it, and delivers the packet to the video buffer 44. The video buffer 44 controls the buffer controller 47. The system header manufacturer 45 generates a system header including an identifier and other information for each video stream in a round robin manner, and regenerates PES packets (PES_1, PES_2, etc.) in the system stream packetizer 46. Create one DSS packet and output it by sequencing it. In this case, the generated multiplexed video stream may be stored in a multimedia storage medium or delivered to a destination using a communication device.
상기 다중화된 영상스트림은 시스템 역다중화 수단(33)에 의한 역다중화과정을 거쳐 다시 각각의 독립된 영상스트림으로 복원된다. 이러한 과정은 본 발명의 구체적인 실시예로서 도 6에 의해 구체화될 수 있다. 상기 시스템 역다중화 수단(3 3)은 바람직하기로는 패킷동기부(51), 에러검출기(52), 패킷 버퍼(53), 시스템헤더처리기(54), 패킷식별자 처리기(55), 시스템 클럭 추출기(56), 시스템 클록 복원기 (57), 프로그램 정보 디코더(58), 비디오 패킷헤더처리기(59), 트랜스포트버퍼(60)를 포함하여 구성되어진다.The multiplexed video streams are reconstructed into respective independent video streams through demultiplexing by the system demultiplexing means 33. This process may be embodied by FIG. 6 as a specific embodiment of the present invention. The system demultiplexing means 33 is preferably a packet synchronizer 51, an error detector 52, a packet buffer 53, a system header processor 54, a packet identifier processor 55, a system clock extractor ( 56, the system clock recoverer 57, the program information decoder 58, the video packet header processor 59, and the transport buffer 60 are configured.
이들의 작용관계를 살펴보면 먼저 시스템 다중화수단(32)에 의해 패킷으로 구성된 다중화된 영상스트림에서 패킷동기부(51)에 의해 각 패킷의 동기화 바이트를 검색하고 동기화된 패킷을 에러 검출기(52)로 전송한다. 상기 에러검출기(52)는 에러체크(바람직하기로는 CRC체크를 포함)를 수행하고 시스템 클럭 추출기(56)와 패킷 버퍼(53)로 패킷을 전달한다. 시스템 클럭 추출기(56)에서는 프로그램 정보 디코더(58)에서 PCR_PID를 받아서 해당하는 DSS패킷헤더에서 PCR정보를 추출하고 시스템 클록 복원기(57)를 이용해 정확한 시스템 클록을 복원한다. 패킷 버퍼(53)에 존재하던 DSS패킷은 시스템헤더처리기(54)에서 DSS패킷헤더를 처리하고, 유료부하의 종류에 따라 비디오 패킷헤더처리기(59), 프로그램 정보 디코더(58)로 유료부하를 전달한다. 비디오 패킷헤더처리기(59)에서는 전달된 PES패킷들의 헤더를 분석하고 나머지 유료부하를 적절한 트랜스포트 버퍼(60)내로 전달한다. 그리고 프로그램 정보 디코더(58)에서는 현재 전송되고 있는 DSS스트림내에 포함되어 있는 비디오 정보 등을 추출하여 패킷 식별자 처리기(55)에게 그 정보를 바탕으로 DSS패킷을 선별적으로 받아들이도록 한다. 트랜스포트 버퍼(60)내에서는 각 영상스트림에 대한 메모리가 독립적으로 존재하여 각각의 영상스트림(Ca_1, Ca_2 인코디드 스트림 등)을 출력한다.Looking at the working relationship thereof, first, the packet synchronization unit 51 retrieves the synchronization byte of each packet from the multiplexed video stream composed of packets by the system multiplexing unit 32, and transmits the synchronized packet to the error detector 52. do. The error detector 52 performs an error check (preferably including a CRC check) and forwards the packet to the system clock extractor 56 and the packet buffer 53. The system clock extractor 56 receives the PCR_PID from the program information decoder 58, extracts PCR information from the corresponding DSS packet header, and restores the correct system clock using the system clock recoverer 57. The DSS packet existing in the packet buffer 53 processes the DSS packet header in the system header processor 54, and transfers the payload to the video packet header processor 59 and the program information decoder 58 according to the payload type. do. The video packet header processor 59 analyzes the headers of the delivered PES packets and transfers the remaining payload into the appropriate transport buffer 60. The program information decoder 58 extracts video information and the like included in the currently transmitted DSS stream and causes the packet identifier processor 55 to selectively accept the DSS packet based on the information. In the transport buffer 60, a memory for each video stream exists independently to output each video stream (Ca_1, Ca_2 encoded stream, etc.).
상기 압축된 각각의 영상스트림은 비디오 압축해제수단(34)을 통해 복원된다. 상기 비디오 압축해제수단은 바람직하기로는 DCT 기반 디코더(61)과 부동보상기(62)를 포함한다. 도 7은 본 발명의 비디오 압축해제수단(34)의 구체적인 상세구성예를 보여주고 있다. 상기 압축된 영상스트림은 동작보상기를 포함하는 DCT 기반 디코더(61)로 입력되고 상기 DCT 기반 디코더(61)는 DV와 차영상을 복원하여 DV를 부동보상기(62)로 전달하여 보상영상을 만든 후 보상영상을 차영상과 합하여 영상을 복원한다.Each compressed video stream is reconstructed via video decompression means 34. The video decompression means preferably comprises a DCT based decoder 61 and a floating compensator 62. Fig. 7 shows a detailed configuration example of the video decompression means 34 of the present invention. The compressed video stream is input to a DCT-based decoder 61 including an operation compensator, and the DCT-based decoder 61 restores the DV and the difference image to deliver the DV to the floating compensator 62 to create a compensation image. The image is reconstructed by combining the compensation image with the difference image.
비디오 중간영상 합성수단(35)은 상기 비디오 압축해제수단(34)에 의해 복원된 다시점 영상간의 중간영상을 생성하는 과정을 수행한다. 이에 의하면 획득된 M시점 영상 사이에 새로운 영상(N-M개)을 하나씩 생성하여 N시점의 영상(M??N)을 획득하는 것이 가능하다. 예를 들면 비디오 압축해제수단(34)에서 복원된 영상이 9시점으로 구성된다면 각각 기반이 되는 영상(도 7상의 Ov2, Ov4, Ov5, Ov6, Ov8)으로부터 적용영상(Ov1, Ov3, Ov4, Ov6, Ov7, Ov9)에 대한 적응점 추출을 적응점추출기(63)에서 수행하고, 그후 폐색영역제조기(64)에서 적응점 추출데이터를 기반으로 폐색영역을 추출 및 생성한다. 다음으로 적응점에 해당하는 데이터와 보간된 폐색영역을 합성하여 새로운 중간영상을 생성하여 17시점을 획득할 수 있게 된다.The video intermediate image synthesizing means 35 performs a process of generating an intermediate image between the multi-view images reconstructed by the video decompression means 34. According to this, it is possible to obtain N-times images M ?? N by generating new images (N-M) one by one between the obtained M-view images. For example, if the image reconstructed by the video decompression means 34 is composed of nine viewpoints, the applied image (Ov1, Ov3, Ov4, Ov6) from the base images (Ov2, Ov4, Ov5, Ov6, Ov8 in Fig. 7), respectively. , Ov7, Ov9) is performed by the adaptation point extractor 63, and then the occlusion area manufacturer 64 extracts and generates the occlusion area based on the adaptive point extraction data. Next, 17 points can be obtained by synthesizing the data corresponding to the adaptive point and the interpolated occlusion area to generate a new intermediate image.
상기 비디오 중간영상 합성수단(35)은 영상편집기 또는 영상 검색기 등에서 존재하지 않는 영상을 생성하거나 또는 잃어버린 영상을 복원하기 위해 독립적으로 사용될 수도 있다.The video intermediate image synthesizing unit 35 may be used independently to generate an image which does not exist in an image editor or an image searcher or to restore a lost image.
전기 단계를 거쳐 형성된 2차원영상은 3차원 디스플레이 콘트롤수단(36)에 의해 3차원 표시장치에 출력한다.The two-dimensional image formed through the electrical steps is output by the three-dimensional display control means 36 to the three-dimensional display device.
또한 상기 제시한 본 발명의 시스템은 각 구성수단 중에서 어느 하나의 수단을 특정수단으로 대체함으로써 2차원의 비디오 부호기인 HDTV 방송장비, 세톱박스 등 타 멀티미디어 관련분야에 적용하는 것도 가능하다. 예를 들면 다시점 비디오 압축수단(31)은 일반적인 2차원 비디오 인코더로, 다시점 비디오 압축해제수단(34)은 2차원 비디오 디코더로 대체하고, 비디오 중간영상 합성수단(35)을 제거하면 된다. 따라서 당업자라면 본 발명의 구성에 의해 구성수단의 일부를 치환, 삭제 및 변경하는 것이 가능함을 알 수 있고, 이들 변형수단을 구비한 균등물의 발명은 본 발명의 권리 범위를 벗어나는 것이 아님은 자명하다.In addition, the system of the present invention as described above can be applied to other multimedia related fields such as HDTV broadcasting equipment, set-top box, which is a two-dimensional video encoder by replacing any one means of each component. For example, the multi-view video compression means 31 may be replaced with a general two-dimensional video encoder, the multi-view video decompression means 34 may be replaced with a two-dimensional video decoder, and the video intermediate image synthesizing means 35 may be removed. Therefore, it will be apparent to those skilled in the art that a part of the constituent means can be replaced, deleted, and changed by the configuration of the present invention, and that the invention of equivalents having these modification means is not outside the scope of the present invention.
본 발명에 의하면 극히 한정된 인원만이 3차원 영상을 볼수 있었던 기존기술과는 달리 카메라로부터 얻을 수 있는 시점보다 많은 시점을 확보할 수 있으므로 많은 인원이 동시에 여러 각도 또는 여러 시점에서 시청할 수 있는 장점이 있다. 또한 본 발명을 구성하는 각 수단들은 3차원 다시점 비디오 시스템외에도 각각이 독립적으로 디지털 방송, 의료분야, 게임/오락분야 등의 제품에 적용이 가능하다.According to the present invention, unlike the existing technology in which only a very limited number of people can view 3D images, more points of view can be obtained than those obtained from a camera, and thus, many people can simultaneously watch from various angles or points of view. . In addition to the three-dimensional multi-view video system, each means constituting the present invention can be independently applied to products such as digital broadcasting, medical field, game / entertainment field.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0063753AKR100375708B1 (en) | 2000-10-28 | 2000-10-28 | 3D Stereosc opic Multiview Video System and Manufacturing Method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0063753AKR100375708B1 (en) | 2000-10-28 | 2000-10-28 | 3D Stereosc opic Multiview Video System and Manufacturing Method |
| Publication Number | Publication Date |
|---|---|
| KR20020032954A KR20020032954A (en) | 2002-05-04 |
| KR100375708B1true KR100375708B1 (en) | 2003-03-15 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0063753AExpired - LifetimeKR100375708B1 (en) | 2000-10-28 | 2000-10-28 | 3D Stereosc opic Multiview Video System and Manufacturing Method |
| Country | Link |
|---|---|
| KR (1) | KR100375708B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100769461B1 (en) | 2005-12-14 | 2007-10-23 | 이길재 | Stereo vision system |
| KR100927234B1 (en)* | 2007-07-30 | 2009-11-16 | 광운대학교 산학협력단 | Method, apparatus for creating depth information and computer readable record-medium on which program for executing method thereof |
| KR100953646B1 (en) | 2006-01-12 | 2010-04-21 | 엘지전자 주식회사 | Method and apparatus for processing multiview video |
| USRE44680E1 (en) | 2006-01-12 | 2013-12-31 | Lg Electronics Inc. | Processing multiview video |
| US9571835B2 (en) | 2006-07-12 | 2017-02-14 | Lg Electronics Inc. | Method and apparatus for processing a signal |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100424401B1 (en)* | 2001-11-02 | 2004-03-24 | 전자부품연구원 | 3D Stereoscopic Multiview video system include Searching function |
| KR100475060B1 (en) | 2002-08-07 | 2005-03-10 | 한국전자통신연구원 | The multiplexing method and its device according to user's request for multi-view 3D video |
| KR100987775B1 (en) | 2004-01-20 | 2010-10-13 | 삼성전자주식회사 | 3 Dimensional coding method of video |
| KR100703713B1 (en)* | 2004-10-05 | 2007-04-05 | 한국전자통신연구원 | 3D mobile device capable of 3D image acquisition and display |
| US8204133B2 (en) | 2004-10-12 | 2012-06-19 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding multi-view video using image stitching |
| KR100775871B1 (en)* | 2004-10-12 | 2007-11-13 | 한국전자통신연구원 | Method and apparatus for encoding and decoding multi-view video images using image stitching |
| KR100590025B1 (en)* | 2004-12-30 | 2006-06-14 | 전자부품연구원 | Intermediate image synthesis method and apparatus for multiview forward camera array based display |
| KR101199498B1 (en) | 2005-03-31 | 2012-11-09 | 삼성전자주식회사 | Apparatus for encoding or generation of multi-view video by using a camera parameter, and a method thereof, and a recording medium having a program to implement thereof |
| KR100636785B1 (en)* | 2005-05-31 | 2006-10-20 | 삼성전자주식회사 | Multi-view stereoscopic imaging system and compression and decompression method applied to it |
| KR100720722B1 (en)* | 2005-06-21 | 2007-05-22 | 삼성전자주식회사 | Intermediate image generation method and stereoscopic display device to which the method is applied |
| KR100737808B1 (en)* | 2005-10-07 | 2007-07-10 | 전자부품연구원 | Multi-view Image Compression Method of 2D Structure |
| KR100730406B1 (en)* | 2005-11-16 | 2007-06-19 | 광운대학교 산학협력단 | Stereoscopic image display device using intermediate element image |
| KR100706940B1 (en)* | 2006-02-27 | 2007-04-12 | 삼성전기주식회사 | Aligner of multi-view camera |
| KR100949981B1 (en) | 2006-03-30 | 2010-03-29 | 엘지전자 주식회사 | A method and apparatus for decoding/encoding a video signal |
| WO2007148906A1 (en) | 2006-06-19 | 2007-12-27 | Lg Electronics, Inc. | Method and apparatus for processing a vedeo signal |
| US8532178B2 (en) | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
| KR100763441B1 (en)* | 2006-09-30 | 2007-10-04 | 광주과학기술원 | Synchronized multiview stereoscopic image transmission method and system |
| DE102006055641B4 (en)* | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Arrangement and method for recording and reproducing images of a scene and / or an object |
| KR100920227B1 (en)* | 2007-06-29 | 2009-10-05 | 포항공과대학교 산학협력단 | High speed systolic array device based on belief propagation and method |
| KR101295848B1 (en) | 2008-12-17 | 2013-08-12 | 삼성전자주식회사 | Apparatus for focusing the sound of array speaker system and method thereof |
| WO2013081576A1 (en)* | 2011-11-28 | 2013-06-06 | Hewlett-Packard Development Company, L.P. | Capturing a perspective-flexible, viewpoint-synthesizing panoramic 3d image with a multi-view 3d camera |
| KR20170115751A (en)* | 2016-04-08 | 2017-10-18 | 한국전자통신연구원 | Apparatus for multiplexing multi-view image and method using the same |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09289655A (en)* | 1996-04-22 | 1997-11-04 | Fujitsu Ltd | Stereoscopic image display method, multi-view image input method, multi-view image processing method, stereo image display device, multi-view image input device, and multi-view image processing device |
| JPH1079029A (en)* | 1996-09-02 | 1998-03-24 | Canon Inc | Stereoscopic information detection method and apparatus |
| KR19980023727A (en)* | 1996-09-30 | 1998-07-06 | 배순훈 | Virtual Reality System for Displaying Panoramic Images |
| JPH11103473A (en)* | 1997-09-26 | 1999-04-13 | Toshiba Corp | 3D image display device |
| JP2000209615A (en)* | 1999-01-11 | 2000-07-28 | Sanyo Electric Co Ltd | Stereoscopic video image display device without eyeglass |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09289655A (en)* | 1996-04-22 | 1997-11-04 | Fujitsu Ltd | Stereoscopic image display method, multi-view image input method, multi-view image processing method, stereo image display device, multi-view image input device, and multi-view image processing device |
| JPH1079029A (en)* | 1996-09-02 | 1998-03-24 | Canon Inc | Stereoscopic information detection method and apparatus |
| KR19980023727A (en)* | 1996-09-30 | 1998-07-06 | 배순훈 | Virtual Reality System for Displaying Panoramic Images |
| JPH11103473A (en)* | 1997-09-26 | 1999-04-13 | Toshiba Corp | 3D image display device |
| JP2000209615A (en)* | 1999-01-11 | 2000-07-28 | Sanyo Electric Co Ltd | Stereoscopic video image display device without eyeglass |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100769461B1 (en) | 2005-12-14 | 2007-10-23 | 이길재 | Stereo vision system |
| US7856148B2 (en) | 2006-01-12 | 2010-12-21 | Lg Electronics Inc. | Processing multiview video |
| KR100953646B1 (en) | 2006-01-12 | 2010-04-21 | 엘지전자 주식회사 | Method and apparatus for processing multiview video |
| US7817865B2 (en) | 2006-01-12 | 2010-10-19 | Lg Electronics Inc. | Processing multiview video |
| US7817866B2 (en) | 2006-01-12 | 2010-10-19 | Lg Electronics Inc. | Processing multiview video |
| US7831102B2 (en) | 2006-01-12 | 2010-11-09 | Lg Electronics Inc. | Processing multiview video |
| US7970221B2 (en) | 2006-01-12 | 2011-06-28 | Lg Electronics Inc. | Processing multiview video |
| US8115804B2 (en) | 2006-01-12 | 2012-02-14 | Lg Electronics Inc. | Processing multiview video |
| US8154585B2 (en) | 2006-01-12 | 2012-04-10 | Lg Electronics Inc. | Processing multiview video |
| US8553073B2 (en) | 2006-01-12 | 2013-10-08 | Lg Electronics Inc. | Processing multiview video |
| USRE44680E1 (en) | 2006-01-12 | 2013-12-31 | Lg Electronics Inc. | Processing multiview video |
| US9571835B2 (en) | 2006-07-12 | 2017-02-14 | Lg Electronics Inc. | Method and apparatus for processing a signal |
| KR100927234B1 (en)* | 2007-07-30 | 2009-11-16 | 광운대학교 산학협력단 | Method, apparatus for creating depth information and computer readable record-medium on which program for executing method thereof |
| Publication number | Publication date |
|---|---|
| KR20020032954A (en) | 2002-05-04 |
| Publication | Publication Date | Title |
|---|---|---|
| KR100375708B1 (en) | 3D Stereosc opic Multiview Video System and Manufacturing Method | |
| US5612735A (en) | Digital 3D/stereoscopic video compression technique utilizing two disparity estimates | |
| US5619256A (en) | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions | |
| KR100424401B1 (en) | 3D Stereoscopic Multiview video system include Searching function | |
| EP0838959B1 (en) | Synchronization of a stereoscopic video sequence | |
| US6111596A (en) | Gain and offset correction for efficient stereoscopic coding and improved display | |
| Puri et al. | Basics of stereoscopic video, new compression results with MPEG-2 and a proposal for MPEG-4 | |
| US6055012A (en) | Digital multi-view video compression with complexity and compatibility constraints | |
| KR100523052B1 (en) | Object base transmission-receive system and method, and object-based multiview video encoding apparatus and method for supporting the multi-display mode | |
| CA2252324C (en) | View offset estimation for stereoscopic video coding | |
| JP4952657B2 (en) | Pseudo stereoscopic image generation apparatus, image encoding apparatus, image encoding method, image transmission method, image decoding apparatus, and image decoding method | |
| US20090190662A1 (en) | Method and apparatus for encoding and decoding multiview video | |
| EP2538675A1 (en) | Apparatus for universal coding for multi-view video | |
| EP2334092A1 (en) | Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3D image | |
| JPH10257527A (en) | Optimum disparity estimation for stereo video encoding | |
| Lim et al. | A multiview sequence CODEC with view scalability | |
| Puri et al. | Stereoscopic video compression using temporal scalability | |
| JP2009004940A (en) | Multi-viewpoint image encoding method, multi-viewpoint image encoding device, and multi-viewpoint image encoding program | |
| JP2009004939A (en) | Multi-viewpoint image decoding method, multi-viewpoint image decoding device, and multi-viewpoint image decoding program | |
| JP2000308089A (en) | Stereoscopic image encoding device and decoding device | |
| KR100566100B1 (en) | Adaptive Multiplexer / Demultiplexer and Method for 3D Multiview Multimedia Processing | |
| JP2001069530A (en) | High-efficiency stereoscopic video coding system | |
| JP2009004942A (en) | Multi-viewpoint image transmitting method, multi-viewpoint image transmitting device, and multi-viewpoint image transmitting program | |
| KR101233161B1 (en) | Method for transmission and reception of 3-dimensional moving picture in DMB mobile terminal | |
| WO2000027132A1 (en) | Encoding/decoding of video signal |
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20001028 | |
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20021129 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20030227 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20030228 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee | Payment date:20051226 Start annual number:4 End annual number:4 | |
| PR1001 | Payment of annual fee | Payment date:20061228 Start annual number:5 End annual number:5 | |
| PR1001 | Payment of annual fee | Payment date:20080102 Start annual number:6 End annual number:6 | |
| PR1001 | Payment of annual fee | Payment date:20080716 Start annual number:7 End annual number:7 | |
| PR1001 | Payment of annual fee | Payment date:20091224 Start annual number:8 End annual number:8 | |
| PR1001 | Payment of annual fee | Payment date:20110124 Start annual number:9 End annual number:9 | |
| PR1001 | Payment of annual fee | Payment date:20120116 Start annual number:10 End annual number:10 | |
| FPAY | Annual fee payment | Payment date:20130111 Year of fee payment:11 | |
| PR1001 | Payment of annual fee | Payment date:20130111 Start annual number:11 End annual number:11 | |
| FPAY | Annual fee payment | Payment date:20131231 Year of fee payment:12 | |
| PR1001 | Payment of annual fee | Payment date:20131231 Start annual number:12 End annual number:12 | |
| FPAY | Annual fee payment | Payment date:20150109 Year of fee payment:13 | |
| PR1001 | Payment of annual fee | Payment date:20150109 Start annual number:13 End annual number:13 | |
| FPAY | Annual fee payment | Payment date:20151224 Year of fee payment:14 | |
| PR1001 | Payment of annual fee | Payment date:20151224 Start annual number:14 End annual number:14 | |
| FPAY | Annual fee payment | Payment date:20161229 Year of fee payment:15 | |
| PR1001 | Payment of annual fee | Payment date:20161229 Start annual number:15 End annual number:15 | |
| FPAY | Annual fee payment | Payment date:20171207 Year of fee payment:16 | |
| PR1001 | Payment of annual fee | Payment date:20171207 Start annual number:16 End annual number:16 | |
| FPAY | Annual fee payment | Payment date:20190211 Year of fee payment:17 | |
| PR1001 | Payment of annual fee | Payment date:20190211 Start annual number:17 End annual number:17 | |
| FPAY | Annual fee payment | Payment date:20200115 Year of fee payment:18 | |
| PR1001 | Payment of annual fee | Payment date:20200115 Start annual number:18 End annual number:18 | |
| PC1801 | Expiration of term | Termination date:20210428 Termination category:Expiration of duration |