







도 1은 비데오 프리젠터 및 본 발명에 따른 영상 데이터 처리 프로그램을 실행중인 컴퓨터를 보여주는 사시도이다.1 is a perspective view showing a video presenter and a computer executing an image data processing program according to the present invention.
도 2는 도 1의 비데오 프리젠터의 내부 구성을 보여주는 블록도이다.FIG. 2 is a block diagram illustrating an internal configuration of the video presenter of FIG. 1.
도 3은 도 1의 컴퓨터에 의하여 실행되는 본 발명에 따른 영상 데이터 처리 프로그램을 보여주는 흐름도이다.3 is a flowchart showing an image data processing program according to the present invention executed by the computer of FIG.
도 4는 도 3의 동영상 디스플레이 단계의 알고리듬을 보여주는 흐름도이다.4 is a flowchart illustrating an algorithm of the video display step of FIG. 3.
도 5는 도 3의 동영상 디스플레이 단계를 보다 상세하게 보여주는 흐름도이다.FIG. 5 is a flowchart illustrating a video display step of FIG. 3 in more detail.
도 6은 도 3의 정지영상 포착 단계를 상세하게 보여주는 흐름도이다.6 is a flowchart illustrating a still image capturing step of FIG. 3 in detail.
도 7은 도 3의 동영상 포착 단계의 알고리듬을 보여주는 흐름도이다.7 is a flowchart illustrating an algorithm of the video capturing step of FIG. 3.
도 8은 도 3의 동영상 포착 단계를 보다 상세하게 보여주는 흐름도이다.8 is a flowchart illustrating in detail the video capturing step of FIG. 3.
<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
1...비데오 프리젠터,15...영상 감지부,1 ... video presenter, 15 ... video detector,
13a, 13b...조명 장치,16...지주,13a, 13b ... lighting device, 16 ...
18...잠금 버튼,3...피사체,18 ... lock button, 3 ... subject,
11...피사대,12...키 입력 장치,11 ... with a basin, 12 ... key input device,
14...원격 수신 장치,7...마우스,14 ... remote receiver, 7 ... mouse,
5...컴퓨터,6...키보드,5 ... computer, 6 ... keyboard,
2...모니터,S...화면,2 ... monitor, S ... screen,
21...그림판,3a...피사체 영상,21 Paint, 3a ...
P1, P2...그림,22...포인터,P1, P2 ... picture, 22 ... pointer,
15a...광학계,15b...광전 변환부,15a ... optical system, 15b ... photoelectric conversion unit,
101...마이크로프로세서,102...타이밍 회로,101 microprocessor, 102 timing circuit,
103...아날로그 신호 처리부,104...아날로그-디지털 변환부,103 ... analog signal processing section, 104 ... analog-to-digital conversion section,
105...디지털 카메라 프로세서,106...SDRAM,105 ... digital camera processor, 106 ... SDRAM,
107...프레임-규격 조정부,108...영상 출력부,107 frame-specification section, 108 video output section,
109...USB 인터페이스.109 ... USB interface.
본 발명은, 비데오 프리젠터로부터의 영상 데이터를 처리하는 방법에 관한 것으로서, 보다 상세하게는, 컴퓨터가 비데오 프리젠터로부터의 영상 데이터를 처리하여, 동영상을 디스플레이하고, 정지영상 포착 신호가 발생되면 정지영상을 포착하며, 동영상 포착 신호가 발생되면 동영상을 포착하는 영상 데이터 처리 방법에 관한 것이다.The present invention relates to a method of processing video data from a video presenter, and more particularly, to a computer processing video data from a video presenter, displaying a moving picture, and generating a still picture when a still image capture signal is generated. And a video data processing method for capturing a video when a video capturing signal is generated.
통상적인 비데오 프리젠터의 예로는 본 출원인에 의하여 출원되어 등록되었던 미국 특허 제5,822,013호의 비데오 프리젠터를 들 수 있다. 이와 같은 비데오 프리젠터는 자신의 영상 데이터 처리 프로그램을 실행중인 컴퓨터와 직렬 통신을 수행하면서 영상 데이터를 컴퓨터에 제공한다. 이에 따라, 컴퓨터는 비데오 프리젠터로부터의 영상 데이터를 처리하여 동영상을 디스플레이하고 정지영상 포착 신호가 발생되면 정지영상을 포착한다.An example of a typical video presenter is the video presenter of US Pat. No. 5,822,013, which was filed and registered by the applicant. Such a video presenter provides image data to a computer while performing serial communication with a computer running its own image data processing program. Accordingly, the computer processes the image data from the video presenter to display the moving image and to capture the still image when the still image capture signal is generated.
한편, 최근 고속 직렬 통신의 프로토콜 예를 들어, 480 Mbps(Mega bits per second)의 데이터 전송이 가능한 "USB(Universal Serial Bus) 2.0"의 프로토콜이 컴퓨터와 비데오 프리젠터 사이에서 사용된다. 이에 따라, 비데오 프리젠터는 컴퓨터에 고속으로 영상 전송이 가능하다. 예를 들어, 비데오 프리젠터는 XGA(Extended Graphics Array) 규격의 해상도 예를 들어, 1,024 X 768 화소들의 규격의 영상 데이터를 20 FPS(Frames Per Second)의 속도로 컴퓨터에 전송할 수 있다.Meanwhile, a protocol of high speed serial communication, for example, a protocol of "USB (Universal Serial Bus) 2.0" capable of data transmission of 480 Mbps (Mega bits per second), is used between a computer and a video presenter. Accordingly, the video presenter can transmit images to a computer at high speed. For example, the video presenter may transmit image data having a resolution of the extended graphics array (XGA) standard, for example, 1,024 × 768 pixels, to a computer at a rate of 20 frames per second (FPS).
하지만, 컴퓨터의 입장에서는, 연속적으로 빠르게 입력되는 동영상 데이터를 수신하는 시간 및 처리하는 시간이 필요하므로, 입력되는 동영상 데이터 전부를 완전하게 수신 및 처리하여 포착할 수 없다. 따라서, 비데오 프리젠터가 컴퓨터에 고속으로 영상 전송을 할 수 있음에도 불구하고, 동영상을 포착할 수 없는 문제점이 있다.However, from the computer's point of view, since it takes time to process and process video data that is continuously inputted quickly, it is impossible to completely receive, process and capture all of the video data input. Therefore, although a video presenter can transmit images to a computer at high speed, there is a problem that a video presenter cannot be captured.
본 발명의 목적은, 컴퓨터가, 비데오 프리젠터로부터 고속으로 입력되는 영 상 데이터 전부를 완전하게 수신 및 처리하여 동영상을 포착할 수 있게 하는 영상 데이터 처리 방법을 제공하는 것이다.An object of the present invention is to provide a video data processing method that enables a computer to capture a moving picture by completely receiving and processing all video data input at high speed from a video presenter.
상기 목적을 이루기 위한 본 발명은, 컴퓨터가 비데오 프리젠터로부터의 영상 데이터를 처리하여, 동영상을 디스플레이하고, 정지영상 포착 신호가 발생되면 정지영상을 포착하며, 동영상 포착 신호가 발생되면 동영상을 포착하는 영상 데이터 처리 방법이다. 여기에서, 상기 동영상을 포착하는 단계가 단계들 (a) 내지 (d)를 포함한다. 상기 단계 (a)에서 상기 컴퓨터는 홀수번째 프레임의 데이터를 수신한다. 상기 단계 (b)에서, 상기 컴퓨터는 수신된 홀수번째 프레임의 데이터를 처리하여 저장함과 동시에 그 다음 짝수번째 프레임의 데이터를 수신한다. 상기 단계 (c)에서, 상기 컴퓨터는 수신된 짝수번째 프레임의 데이터를 처리하여 저장함과 동시에 그 다음 홀수번째 프레임의 데이터를 수신한다. 상기 단계 (d)에서, 상기 컴퓨터는 상기 단계들 (b) 및 (c)를 교호하게 반복하여 수행한다.According to the present invention for achieving the above object, a computer processes image data from a video presenter to display a moving image, to capture a still image when a still image capture signal is generated, and to capture a moving image when a video capture signal is generated. Data processing method. Wherein capturing the moving picture comprises steps (a) to (d). In step (a), the computer receives data of an odd numbered frame. In step (b), the computer processes and stores the data of the received odd-numbered frame and receives the data of the next even-numbered frame. In step (c), the computer processes and stores the received even-frame data and receives the data of the next odd-numbered frame. In step (d), the computer performs the steps (b) and (c) alternately and repeatedly.
본 발명의 상기 영상 데이터 처리 방법에 의하면, 상기 홀수번째 프레임 및 짝수번째 프레임에 대한 수신 및 처리 동작이 교번되면서 이중적으로 수행된다. 이에 따라, 상기 수신 및 처리 동작이 결과적으로 2 배로 빨라질 수 있으므로, 상기 컴퓨터가, 상기 비데오 프리젠터로부터 고속으로 입력되는 영상 데이터 전부를 완전하게 수신 및 처리하여 동영상을 포착할 수 있다.According to the image data processing method of the present invention, the reception and processing operations for the odd and even frames are alternately performed. As a result, the receiving and processing operations can be twice as fast as a result, so that the computer can completely capture and process the video data inputted from the video presenter at high speed.
이하, 본 발명에 따른 바람직한 실시예가 상세히 설명된다.Hereinafter, preferred embodiments according to the present invention will be described in detail.
도 1을 참조하면, 본 발명에 따른 비데오 프리젠터(1)는 영상 감지부(15),  조명 장치(13a, 13b), 지주(16), 잠금 버튼(18), 피사대(11), 키 입력 장치(12), 및 원격 수신 장치(14)를 포함한다.Referring to FIG. 1, the
앞뒤 이동 및 회전이 가능한 영상 감지부(15)에는 광학계 및 광전 변환부가 구비된다. 피사체로부터의 빛을 광학적으로 처리하는 광학계는 렌즈부 및 필터부를 구비한다.  CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor)의 광전 변환부는 피사체로부터 광학계를 통하여 입사되는 빛을 전기적 아날로그 신호로 변환시킨다.The
사용자는 잠금 버튼(18)을 눌러서 지주(16)를 움직일 수 있다. 피사대(11)의 아래에는 또다른 조명 장치가 내장된다.  키 입력 장치(12)는 사용자의 조작에 의하여 영상 감지부(15) 및 조명 장치(13a, 13b) 등의 각 부의 구동을 제어하는 데에 사용된다.  한편, 사용자는, 원격 송신 장치(미도시)를 조작하여 제어 신호를 원격 수신 장치(14)에 입력시킴으로써, 영상 감지부(15) 및 조명 장치(13a, 13b) 등의 각 부의 구동을 제어할 수 있다.The user can move the
본 발명에 따른 영상 데이터 처리 프로그램 즉, 비데오 프리젠터(1)의 전용 프로그램을 실행중인 컴퓨터(5)는, 비데오 프리젠터(1)로부터의 영상 데이터를 처리하여 동영상을 모니터(2)의 디스플레이 화면(S)에 디스플레이하고, 사용자로부터의 정지영상 포착 신호가 발생되면 정지영상을 포착하며, 사용자로부터의 동영상 포착 신호가 발생되면 동영상을 포착한다.  이를 위하여, 비데오 프리젠터(1)의 주 제어부는 고속 직렬 통신의 프로토콜로서 480 Mbps(Mega bits per second)의 데이터 전송이 가능한 "USB(Universal Serial Bus) 2.0"의 프로토콜의 인터페이스를 통 하여 컴퓨터(5)와 통신을 수행한다.  이에 따라, 비데오 프리젠터(1)는 XGA(Extended Graphics Array) 규격의 해상도로서 1,024 X 768 화소들의 규격의 영상 데이터를 20 FPS(Frames Per Second)의 속도로 빠르게 컴퓨터에 전송한다.The
컴퓨터(5)는 비데오 프리젠터(1)로부터의 영상 데이터를 수신 및 처리하여 동영상을 모니터(2)의 디스플레이 화면(S)에 디스플레이한다.  이에 따라, 피사대(11) 위의 피사체(3)의 동영상이 모니터(2)의 디스플레이 화면(S)에 디스플레이된다.  또한, 컴퓨터(5)는 사용자로부터의 정지영상 포착 신호에 따라 비데오 프리젠터(1)로부터의 정지영상을 포착한다.  아울러, 컴퓨터(5)는 사용자로부터의 동영상 포착 신호에 따라 비데오 프리젠터(1)로부터의 동영상을 포착한다(도 3 참조).The
이에 따라, 사용자는 본 발명에 따른 영상 데이터 처리 프로그램을 실행하면서 비데오 프리젠터(1)로부터의 정지영상 및 동영상을 편집할 수 있다.  예를 들어, 모니터(2)의 디스플레이 화면(S)에는 그림판(21)이 디스플레이되고, 사용자는 마우스(7), 키보드(6), 및 그림판(21)을 사용하여 피사체 영상(3a) 위에 그림들(P1,P2)을 중첩하여 그릴 수 있으므로, 사용자가 다양한 설명을 수행할 수 있다.  도 1에서 참조 부호 22는 마우스(7)의 포인터를 가리킨다.Accordingly, the user can edit still images and moving images from the
물론, 사용자가 컴퓨터(5)에 의하여 영상 편집을 하지 않을 경우, 비데오 프리젠터(1)로부터의 출력 영상 데이터는 모니터(2)에 직접 입력될 수 있다.Of course, when the user does not edit the image by the
도 2를 참조하면, 본 발명에 따른 도 1의 비데오 프리젠터(1)는 키 입력 장치(12), 원격 수신 장치(14), USB(Universal Serial Bus) 인터페이스(109), 광학계(15a), 광전 변환부(15b), 아날로그 신호 처리부(103), 아날로그-디지털 변환부 (104), 디지털 카메라 프로세서(105), 타이밍 회로(102), 주 제어부로서의 마이크로프로세서(101), 프레임 메모리로서의 SDRAM(106, Synchronous Dynamic Random Access Memory), 메모리 제어부(107), 및 영상 출력부(108)를 포함한다.  도 2에서 도 1과 동일한 참조 부호는 동일한 기능의 대상을 가리킨다.Referring to FIG. 2, the
광학계(15a)는 피사체로부터의 빛을 광학적으로 처리한다.  CCD 또는 CMOS의 광전 변환부(15b)는 광학계(15a)로부터의 빛을 전기적 아날로그 신호로 변환시킨다.  주 제어부로서의 마이크로프로세서(101)의 제어에 따라 동작하는 타이밍 회로(102) 예를 들어, 타이밍 제너레이터 소자는 광전 변환부(15b)의 동작을 제어한다.  아날로그 신호 처리부(103) 예를 들어, CDS-AGC(Correlation Double Sampler and Automatic Gain Controller) 소자는, 광전 변환부(15b)로부터의 아날로그 신호를 처리하여 그 고주파 노이즈를 제거하고 진폭을 조정한다.  아날로그-디지털 변환부(104)는 아날로그 신호 처리부(103)로부터의 아날로그 신호를 적색(R), 녹색(G), 및 청색(B)의 디지털 신호로 변환시킨다.  디지털 카메라 프로세서(105)는 아날로그-디지털 변환부(104)로부터의 디지털 신호를 처리하여 휘도 및 색도 형식으로서 잘 알려진 "Y:Cb:Cr 4:2:2" 형식의 영상 데이터를 발생시킨다.The
프레임 메모리로서의 SDRAM(106)에는 디지털 카메라 프로세서(105)로부터의 영상 데이터를 프레임 단위로 저장한다.  FPGA(Field Programmable Gate Array)로 구성된 메모리 제어부(107)는, SDRAM(106)으로부터의 프레임 데이터를 영상 출력부에 제공하는 한편, 마이크로프로세서(101)의 제어에 따라 프레임 데이터를 마이크로프로세서(101)에 선택적으로 입력시킨다.  이에 따라 마이크로프로세서(101)는  USB 인터페이스(109)를 통하여 컴퓨터(도 1의 5)와 통신을 수행하고, 컴퓨터(5)로부터의 요청에 따라 프레임 데이터를 메모리 제어부(107)로부터 제공받아 컴퓨터(5)로 전송한다.The
영상 출력부(108) 예를 들어, VGA(Video Graphics Array) 엔진 소자는 메모리 제어부(107)로부터의 영상 데이터를 아날로그 복합 영상 신호로 변환시켜 출력한다.  비데오 프리젠터(도 1의 1)가 모니터(2)에 직접 연결되는 경우, 영상 출력부(108)로부터의 아날로그 복합 영상 신호가 모니터(2)에 직접 입력된다.  한편, 마이크로프로세서(101)는 키 입력 장치(12) 및 원격 수신 장치(14)로부터 입력되는 신호에 따라 각 부 예를 들어, 타이밍 회로(102) 및 디지털 카메라 프로세서(105)의 동작을 제어한다.The
도 1 내지 3을 참조하여, 컴퓨터(5)의 중앙처리소자(CPU : Central Processing Unit)에 의하여 실행되는 본 발명에 따른 영상 데이터 처리 프로그램을 설명하면 다음과 같다.1 to 3, an image data processing program according to the present invention executed by a central processing unit (CPU) of a
먼저, 비데오 프리젠터(1)의 USB 인터페이스(109)와 컴퓨터(5)의 USB 인터페이스(도시되지 않음)가 잘 연결되었는지 확인된다(단계 S1).  잘 연결되어 있지 않은 경우, 이에 따른 안내 메세지가 모니터(2)에 디스플레이된다(단계 S2).  잘 연결되어 있는 경우, 아래의 영상 데이터 처리 단계들이 수행된다.First, it is checked whether the
먼저, 비데오 프리젠터(1)와의 USB 통신을 위한 초기화가 수행된다(단계 S3).  다음에, 비데오 프리젠터(1)와의 USB 통신이 수행되면서 비데오 프리젠터(1)로부터의 연속적인 프레임들의 데이터가 처리되어 피사체(3)의 동영상이 디스플레 이된다(단계 S4).  여기에서, 홀수번째 프레임 및 짝수번째 프레임에 대한 수신 및 처리 동작이 교번되면서 이중적으로 수행된다.  이에 따라, 상기 수신 및 처리 동작이 결과적으로 2 배로 빨라질 수 있으므로, 컴퓨터(5)가, 비데오 프리젠터(1)로부터 고속으로 입력되는 영상 데이터 전부를 완전하게 수신 및 처리하여 동영상을 모니터(2)에 디스플레이할 수 있다.  이 동영상 디스플레이 단계(S4)에서 단위 프레임의 데이터가 처리되는 알고리듬이 도 4 및 5를 참조하여 상세히 설명될 것이다.First, initialization for USB communication with the
상기와 같이 동영상을 디스플레이하는 동안에 사용자로부터 정지영상 포착 신호가 발생되면(단계 S5), 비데오 프리젠터(1)로부터의 단일 프레임의 데이터가 처리되어 정지영상이 포착된다(단계 S6).  이 정지영상 포착 단계(S6)에서 단일 프레임의 데이터가 처리되는 알고리듬이 도 6을 참조하여 상세히 설명될 것이다.If a still image capture signal is generated from the user while displaying the moving image as described above (step S5), the data of a single frame from the
또한, 상기와 같이 동영상을 디스플레이하는 동안에 사용자로부터 동영상 포착 신호가 발생되면(단계 S7), 비데오 프리젠터(1)로부터의 연속적인 프레임들의 데이터가 처리되어 동영상이 포착된다(단계 S8).  여기에서, 홀수번째 프레임 및 짝수번째 프레임에 대한 수신 및 처리 동작이 교번되면서 이중적으로 수행된다.  이에 따라, 상기 수신 및 처리 동작이 결과적으로 2 배로 빨라질 수 있으므로, 컴퓨터(5)가, 비데오 프리젠터(1)로부터 고속으로 입력되는 영상 데이터 전부를 완전하게 수신 및 처리하여 동영상을 포착할 수 있다.  이 동영상 포착 단계(S8)에서 단일 프레임의 데이터가 처리되는 알고리듬이 도 7 및 8을 참조하여 상세히 설명될 것이다.Further, if a moving picture capture signal is generated from the user while displaying the moving picture as described above (step S7), data of consecutive frames from the
상기 단계들 S4 내지 S8은 종료 신호가 입력될 때까지 반복 수행된다(단계 S9). 즉, 정지영상 포착 단계(S6)가 수행되지 않는 동안에는, 동영상 디스플레이 단계(S4) 또는 동영상 포착 단계(S8)가 반복 수행되고, 각 동영상 디스플레이 단계에서 처리되는 프레임들이 연속하여 디스플레이됨으로써 동영상이 디스플레이된다.The steps S4 to S8 are repeatedly performed until the end signal is input (step S9). That is, while the still image capturing step S6 is not performed, the moving image display step S4 or the moving image capturing step S8 is repeatedly performed, and the moving images are displayed by successively displaying the frames processed in each moving image display step. .
도 1 및 4를 참조하여, 도 3의 동영상 디스플레이 단계(S4)의 알고리듬을 최초의 흐름과 그 이후의 흐름으로 구별하여 설명하면 다음과 같다.Referring to FIGS. 1 and 4, the algorithm of the video display step S4 of FIG. 3 is classified into an initial flow and a subsequent flow, as follows.
동영상 디스플레이 단계(S4)의 알고리듬의 최초의 흐름에 있어서, 먼저, 컴퓨터(5)의 중앙처리소자는 비데오 프리젠터(1)로부터 홀수번째 프레임의 데이터를 수신한다(단계 S41a).  다음에, 컴퓨터(5)의 중앙처리소자는 수신된 홀수번째 프레임의 데이터를 처리하여 디스플레이함(단계 S42a)과 동시에 그 다음 짝수번째 프레임의 데이터를 수신한다(단계 S42b).In the first flow of the algorithm of the moving image display step S4, first, the central processing element of the
상기 최초의 흐름 이후에는 다음과 같은 흐름이 반복적으로 수행된다.After the first flow, the following flow is repeatedly performed.
먼저, 컴퓨터(5)의 중앙처리소자는 수신된 짝수번째 프레임의 데이터를 처리하여 디스플레이함(단계 S41b)과 동시에 그 다음 홀수번째 프레임의 데이터를 수신한다(단계 S41a).First, the central processing element of the
다음에, 컴퓨터(5)의 중앙처리소자는 수신된 홀수번째 프레임의 데이터를 처리하여 디스플레이함(단계 S42a)과 동시에 그 다음 짝수번째 프레임의 데이터를 수신한다(단계 S42b).Next, the central processing element of the
상기와 같은 동영상 디스플레이 알고리듬에 의하면, 홀수번째 프레임 및 짝수번째 프레임에 대한 수신 및 처리 동작이 교번되면서 이중적으로 수행된다.  이 에 따라, 상기 수신 및 처리 동작이 결과적으로 2 배로 빨라질 수 있으므로, 컴퓨터(5)가, 비데오 프리젠터(1)로부터 고속으로 입력되는 영상 데이터 전부를 완전하게 수신 및 처리하여 동영상을 모니터(2)에 디스플레이할 수 있다.According to the moving image display algorithm as described above, reception and processing operations for odd and even frames are alternately performed. As a result, the receiving and processing operations can be twice as fast as a result, so that the
도 5는 도 3의 동영상 디스플레이 단계(S4)를 보다 상세하게 보여준다. 도 5의 단계들 S41a1, S41a2, 및 S41a3은 도 4의 단계 S41a에 포함된다. 도 5의 단계들 S41b1, S41b2, 및 S41b3은 도 4의 단계 S41b에 포함된다. 도 5의 단계들 S42a1, S42a2, 및 S42a3은 도 4의 단계 S42a에 포함된다. 그리고 도 5의 단계들 S42b1, S42b2, 및 S42b3은 도 4의 단계 S42b에 포함된다. 도 1, 2, 4, 및 5를 참조하여 도 3의 동영상 디스플레이 단계(S4)를 보다 상세하게 설명하면 다음과 같다.FIG. 5 shows the video display step S4 of FIG. 3 in more detail. Steps S41a1, S41a2, and S41a3 of FIG. 5 are included in step S41a of FIG. 4. Steps S41b1, S41b2, and S41b3 of FIG. 5 are included in step S41b of FIG. 4. Steps S42a1, S42a2, and S42a3 of FIG. 5 are included in step S42a of FIG. 4. Steps S42b1, S42b2, and S42b3 of FIG. 5 are included in step S42b of FIG. 4. Referring to Figures 1, 2, 4, and 5 will be described in more detail the video display step (S4) of Figure 3 as follows.
홀수번째 프레임의 데이터를 수신하는 단계(S41a)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 비데오 프리젠터(1)의 마이크로프로세서(101)에게 홀수번째 프레임의 데이터를 요청한다(단계 S41a1).  이에 따라, 비데오 프리젠터(1)의 마이크로프로세서(101)는, 메모리 제어부(107)를 제어하고, 메모리 제어부(107)로부터의 완전 규격의 프레임의 데이터를 USB 인터페이스(109)를 통하여 컴퓨터(5)로 전송한다.  비데오 프리젠터(1)로부터 홀수번째 프레임의 데이터가 입력되면, 컴퓨터(5)의 중앙처리소자는 입력된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 제1 버퍼에 저장한다(단계들 S41a2 및 S41a3).In step S41a of receiving the odd-frame data, the central processing element of the
상기 단계 S41a와 동시에 수행되는 짝수번째 프레임의 데이터를 처리하는 단계(S41b)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 제2 버퍼에 저장된 "Y:Cb:Cr  4:2:2" 형식의 프레임 데이터를 RGB(Red-Green-Blue) 24 형식의 프레임 데이터로 변환시킨다(단계 S41b1).  다음에, 컴퓨터(5)의 OS(Operating System)의 GDI(Graphic Device Interface)에서 사용될 수 있도록, 컴퓨터(5)의 중앙처리소자는 상기 RGB(Red-Green-Blue) 24 형식의 영상 데이터를 DIB(Device Independent Bitmap) 형식의 프레임 데이터로 변환시킨다(단계 S41b2).  그리고, 컴퓨터(5)의 중앙처리소자는 DIB(Device Independent Bitmap) 형식의 프레임 데이터를 GDI(Graphic Device Interface)로 출력한다(단계 S41b3).  이에 따라, 비데오 프리젠터(1)로부터의 완전 규격의 프레임 데이터가 컴퓨터(5)의 OS(Operating System)에 의하여 디스플레이된다.In the step S41b of processing the data of the even-numbered frame which is performed simultaneously with the step S41a, the central processing element of the
홀수번째 프레임의 데이터를 처리하는 단계(S42a)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 제1 버퍼에 저장된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 RGB(Red-Green-Blue) 24 형식의 프레임 데이터로 변환시킨다(단계 S42a1).  다음에, 컴퓨터(5)의 OS(Operating System)의 GDI(Graphic Device Interface)에서 사용될 수 있도록, 컴퓨터(5)의 중앙처리소자는 상기 RGB(Red-Green-Blue) 24 형식의 영상 데이터를 DIB(Device Independent Bitmap) 형식의 프레임 데이터로 변환시킨다(단계 S42a2).  그리고, 컴퓨터(5)의 중앙처리소자는 DIB(Device Independent Bitmap) 형식의 프레임 데이터를 GDI(Graphic Device Interface)로 출력한다(단계 S42a3).  이에 따라, 비데오 프리젠터(1)로부터의 프레임 데이터가 컴퓨터(5)의 OS(Operating System)에 의하여 디스플레이된다.In the step S42a of processing the odd-frame data, the central processing element of the
상기 단계 S42a와 동시에 수행되는 짝수번째 프레임의 데이터를 수신하는 단 계(S42b)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 비데오 프리젠터(1)의 마이크로프로세서(101)에게 짝수번째 프레임의 데이터를 요청한다(단계 S42b1).  이에 따라, 비데오 프리젠터(1)의 마이크로프로세서(101)는, 메모리 제어부(107)를 제어하고, 메모리 제어부(107)로부터의 완전 규격의 프레임의 데이터를 USB 인터페이스(109)를 통하여 컴퓨터(5)로 전송한다.  비데오 프리젠터(1)로부터 짝수번째 프레임의 데이터가 입력되면, 컴퓨터(5)의 중앙처리소자는 입력된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 상기 제1 버퍼와 다른 제2 버퍼에 저장한다(단계들 S42b2 및 S42b3).In step S42b of receiving data of an even-numbered frame performed simultaneously with the step S42a, the central processing element of the
도 1, 2, 및 6을 참조하여, 도 3의 정지영상 포착 단계(S6)에서 프레임 데이터가 처리되는 알고리듬을 상세히 설명하면 다음과 같다.1, 2, and 6, the algorithm for processing the frame data in the still image capture step (S6) of Figure 3 will be described in detail as follows.
먼저, 컴퓨터(5)의 중앙처리소자는 프레임 데이터를 비데오 프리젠터(1)의 마이크로프로세서(101)에게 요청한다(단계 S601).  이에 따라, 비데오 프리젠터(1)의 마이크로프로세서(101)는, 메모리 제어부(107)를 제어하고, 메모리 제어부(107)로부터의 완전 규격의 프레임의 데이터를 USB 인터페이스(109)를 통하여 컴퓨터(5)로 전송한다.First, the central processing element of the
비데오 프리젠터(1)로부터 완전 규격의 프레임 데이터가 입력되면(단계 S602), 컴퓨터(5)의 중앙처리소자는 입력된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 적색(R), 녹색(G), 및 청색(B) 형식으로서 잘 알려진 "RGB24" 형식으로 변환시킨다(단계 S603).  또한, OS(Operating System)의 GDI(Graphic Device Interface)에서 사용될 수 있도록, "RGB24" 형식의 프레임 데이터를 "DIB(Device Independent  Bitmap)" 형식으로 변환시킨다(단계 S604).When the frame data of the full standard is input from the video presenter 1 (step S602), the central processing element of the
여기에서, 상기 단계 S603에서 프레임 데이터가 "RGB24" 형식으로 변환됨에 따라 영상의 재현성이 떨어질 수 있다.  이에 따라 컴퓨터(5)의 중앙처리소자는 "DIB(Device Independent Bitmap)" 형식의 완전 규격의 프레임 데이터에 대하여 디더링(Dithering)을 수행한다(단계 S605).  여기에서, 디더링(Dithering)은 디지털 반계조(digital halftone) 처리 기법으로서 잘 알려진 영상 처리 기법이다.In this case, as the frame data is converted into the "RGB24" format in step S603, the reproducibility of the image may be deteriorated. Accordingly, the central processing element of the
그리고, 컴퓨터(5)의 중앙처리소자는 "DIB(Device Independent Bitmap)" 형식의 프레임 데이터를 GDI(Graphic Device Interface)로 출력한다(단계 S606).  이에 따라, 비데오 프리젠터(1)로부터의 프레임 데이터가 컴퓨터(5)의 OS(Operating System)에 의하여 디스플레이된다.Then, the central processing element of the
다음에, 컴퓨터(5)의 중앙처리소자는 상기 "DIB(Device Independent Bitmap)" 형식의 프레임 데이터를 프레임 버퍼에 저장한다(단계 S607).  다음에, 컴퓨터(5)의 중앙처리소자는 사용자로부터의 저장 신호 또는 포착 종료 신호를 기다린다.  사용자로부터 저장 신호가 입력되면, 컴퓨터(5)의 중앙처리소자는 프레임 버퍼에 저장되어 있는 데이터를 사용자에 의하여 지정된 폴더에 저장한다(단계들 S608 및 S609).  사용자로부터 포착 종료 신호가 입력되면, 정지영상 포착 단계(S6)의 수행을 종료한다(단계 S610).Next, the central processing element of the
도 7은 도 3의 동영상 포착 단계(S8)의 알고리듬을 보여준다. 도 1 및 7을 참조하여, 도 3의 동영상 포착 단계(S8)의 알고리듬을 최초의 흐름과 그 이후의 흐름으로 구별하여 설명하면 다음과 같다.FIG. 7 shows an algorithm of the video capturing step S8 of FIG. 3. Referring to FIGS. 1 and 7, the algorithm of the video capture step S8 of FIG. 3 is classified into an initial flow and a subsequent flow, as follows.
동영상 포착 단계(S8)의 알고리듬의 최초의 흐름에 있어서, 먼저, 컴퓨터(5)의 중앙처리소자는 비데오 프리젠터(1)로부터 홀수번째 프레임의 데이터를 수신한다(단계 S81a).  다음에, 컴퓨터(5)의 중앙처리소자는 수신된 홀수번째 프레임의 데이터를 처리하여 저장 및 디스플레이함(단계 S82a)과 동시에 그 다음 짝수번째 프레임의 데이터를 수신한다(단계 S82b).In the first flow of the algorithm of the moving image capturing step S8, first, the central processing element of the
상기 최초의 흐름 이후에는, 사용자에 의하여 설정된 포착 시간이 경과될 때까지 다음과 같은 흐름이 반복적으로 수행된다(단계 S83).After the first flow, the following flow is repeatedly performed until the capture time set by the user has elapsed (step S83).
먼저, 컴퓨터(5)의 중앙처리소자는 수신된 짝수번째 프레임의 데이터를 처리하여 저장 및 디스플레이함(단계 S81b)과 동시에 그 다음 홀수번째 프레임의 데이터를 수신한다(단계 S81a).First, the central processing element of the
다음에, 컴퓨터(5)의 중앙처리소자는 수신된 홀수번째 프레임의 데이터를 처리하여 저장 및 디스플레이함(단계 S82a)과 동시에 그 다음 짝수번째 프레임의 데이터를 수신한다(단계 S82b).Next, the central processing element of the
상기와 같은 동영상 포착 알고리듬에 의하면, 홀수번째 프레임 및 짝수번째 프레임에 대한 수신 및 처리 동작이 교번되면서 이중적으로 수행된다.  이에 따라, 상기 수신 및 처리 동작이 결과적으로 2 배로 빨라질 수 있으므로, 컴퓨터(5)가, 비데오 프리젠터(1)로부터 고속으로 입력되는 영상 데이터 전부를 완전하게 수신 및 처리하여, 사용자에 의하여 지정된 컴퓨터(5)의 저장 매체의 폴더에 동영상 데이터를 저장함과 동시에 동영상을 모니터(2)에 디스플레이할 수 있다.According to the moving picture capture algorithm as described above, the reception and processing operations for odd and even frames are alternately performed. As a result, the receiving and processing operations can be twice as fast as a result, so that the
도 8은 도 7의 동영상 포착 단계(S8)를 보다 상세하게 보여준다. 도 8의 단 계들 S81a1 내지 S81a3은 도 7의 단계 S81a에 포함된다. 도 8의 단계들 S81b1 내지 S81b6은 도 7의 단계 S81b에 포함된다. 도 8의 단계들 S82a1 내지 S82a6은 도 7의 단계 S82a에 포함된다. 그리고 도 8의 단계들 S82b1 내지 S82b3은 도 7의 단계 S82b에 포함된다. 도 1, 2, 7, 및 8을 참조하여 도 3의 동영상 포착 단계(S8)를 보다 상세하게 설명하면 다음과 같다.FIG. 8 shows the video capture step S8 of FIG. 7 in more detail. Steps S81a1 to S81a3 of FIG. 8 are included in step S81a of FIG. 7. Steps S81b1 to S81b6 of FIG. 8 are included in step S81b of FIG. 7. Steps S82a1 to S82a6 of FIG. 8 are included in step S82a of FIG. 7. Steps S82b1 to S82b3 of FIG. 8 are included in step S82b of FIG. 7. Referring to Figures 1, 2, 7, and 8 will be described in more detail the video capture step (S8) of Figure 3 as follows.
홀수번째 프레임의 데이터를 수신하는 단계(S81a)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 비데오 프리젠터(1)의 마이크로프로세서(101)에게 홀수번째 프레임의 데이터를 요청한다(단계 S81a1).  이에 따라, 비데오 프리젠터(1)의 마이크로프로세서(101)는, 메모리 제어부(107)를 제어하고, 메모리 제어부(107)로부터의 완전 규격의 프레임의 데이터를 USB 인터페이스(109)를 통하여 컴퓨터(5)로 전송한다.  비데오 프리젠터(1)로부터 홀수번째 프레임의 데이터가 입력되면, 컴퓨터(5)의 중앙처리소자는 입력된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 제1 버퍼에 저장한다(단계들 S81a2 및 S81a3).In step S81a of receiving the odd-frame data, the central processing element of the
상기 단계 S81a와 동시에 수행되는 짝수번째 프레임의 데이터를 처리하는 단계(S81b)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 제2 버퍼에 저장된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 RGB(Red-Green-Blue) 24 형식의 프레임 데이터로 변환시킨다(단계 S81b1).  다음에, 컴퓨터(5)의 OS(Operating System)의 GDI(Graphic Device Interface)에서 사용될 수 있도록, 컴퓨터(5)의 중앙처리소자는 상기 RGB(Red-Green-Blue) 24 형식의 영상 데이터를 DIB(Device Independent Bitmap) 형식의 프레임 데이터로 변환시킨다(단계 S81b2).  그리고, 컴퓨터(5)의  중앙처리소자는 DIB(Device Independent Bitmap) 형식의 프레임 데이터를 GDI(Graphic Device Interface)로 출력한다(단계 S81b3).  이에 따라, 비데오 프리젠터(1)로부터의 짝수번째 프레임 데이터가 컴퓨터(5)의 OS(Operating System)에 의하여 디스플레이된다.  한편, 컴퓨터(5)의 중앙처리소자는, 상기 단계들 S81b2 및 S81b3을 수행함과 동시에, 사용자의 선택에 따라 상기 RGB(Red-Green-Blue) 형식의 짝수번째 프레임 데이터를 압축하고(단계들 S81b4 및 S81b5), 압축되거나 압축되지 않은 짝수번째 프레임 데이터를 사용자에 의하여 지정된 폴더에 생성된 동영상 파일에 저장한다(단계들 S81b6).In the step S81b of processing the data of the even-numbered frame which is performed simultaneously with the step S81a, the central processing element of the
홀수번째 프레임의 데이터를 처리하는 단계(S82a)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 제1 버퍼에 저장된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 RGB(Red-Green-Blue) 24 형식의 프레임 데이터로 변환시킨다(단계 S82a1).  다음에, 컴퓨터(5)의 OS(Operating System)의 GDI(Graphic Device Interface)에서 사용될 수 있도록, 컴퓨터(5)의 중앙처리소자는 상기 RGB(Red-Green-Blue) 24 형식의 영상 데이터를 DIB(Device Independent Bitmap) 형식의 프레임 데이터로 변환시킨다(단계 S82a2).  그리고, 컴퓨터(5)의 중앙처리소자는 DIB(Device Independent Bitmap) 형식의 프레임 데이터를 GDI(Graphic Device Interface)로 출력한다(단계 S82a3).  이에 따라, 비데오 프리젠터(1)로부터의 홀수번째 프레임 데이터가 컴퓨터(5)의 OS(Operating System)에 의하여 디스플레이된다.  한편, 컴퓨터(5)의 중앙처리소자는, 상기 단계들 S82a2 및 S82a3을 수행함과 동시에, 사용자의 선택에 따라 상기 RGB(Red-Green-Blue) 형식의 홀수번째 프레임 데이터를 압축하고(단계들  S82a4 및 S82a5), 압축되거나 압축되지 않은 짝수번째 프레임 데이터를 사용자에 의하여 지정된 폴더에 생성된 동영상 파일에 저장한다(단계들 S82a6).In the step S82a of processing the odd-frame data, the central processing element of the
상기 단계 S82a와 동시에 수행되는 짝수번째 프레임의 데이터를 수신하는 단계(S82b)에 있어서, 컴퓨터(5)의 중앙처리소자는 먼저 비데오 프리젠터(1)의 마이크로프로세서(101)에게 짝수번째 프레임의 데이터를 요청한다(단계 S82b1).  이에 따라, 비데오 프리젠터(1)의 마이크로프로세서(101)는, 메모리 제어부(107)를 제어하고, 메모리 제어부(107)로부터의 완전 규격의 프레임의 데이터를 USB 인터페이스(109)를 통하여 컴퓨터(5)로 전송한다.  비데오 프리젠터(1)로부터 짝수번째 프레임의 데이터가 입력되면, 컴퓨터(5)의 중앙처리소자는 입력된 "Y:Cb:Cr 4:2:2" 형식의 프레임 데이터를 상기 제1 버퍼와 다른 제2 버퍼에 저장한다(단계들 S82b2 및 S82b3).In step S82b of receiving data of even-numbered frames performed simultaneously with the step S82a, the central processing element of the
상기 모든 단계들은, 사용자에 의하여 설정된 포착 시간이 경과될 때까지 반복적으로 수행된다(단계 S83).All of the above steps are repeatedly performed until the capture time set by the user has elapsed (step S83).
이상 설명된 바와 같이, 본 발명에 따른 영상 데이터 처리 방법에 의하면, 홀수번째 프레임 및 짝수번째 프레임에 대한 수신 및 처리 동작이 교번되면서 이중적으로 수행된다. 이에 따라, 수신 및 처리 동작이 결과적으로 2 배로 빨라질 수 있으므로, 컴퓨터가 비데오 프리젠터로부터 고속으로 입력되는 영상 데이터 전부를 완전하게 수신 및 처리하여 동영상을 포착할 수 있다.As described above, according to the image data processing method according to the present invention, reception and processing operations for odd and even frames are alternately performed. As a result, the receiving and processing operations can be twice as fast as a result, so that the computer can completely capture and process the video data input from the video presenter at high speed to capture a moving image.
본 발명은, 상기 실시예에 한정되지 않고, 청구범위에서 정의된 발명의 사상 및 범위 내에서 당업자에 의하여 변형 및 개량될 수 있다.The present invention is not limited to the above embodiments, but may be modified and improved by those skilled in the art within the spirit and scope of the invention as defined in the claims.
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| KR1020040073083AKR101012707B1 (en) | 2004-09-13 | 2004-09-13 | How to efficiently process image data from video presenters | 
| US11/064,716US20060055781A1 (en) | 2004-09-13 | 2005-02-23 | Method of processing video data from video presenter | 
| CN2005100628577ACN1750609B (en) | 2004-09-13 | 2005-04-01 | Method of processing video data from video presenter | 
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| KR1020040073083AKR101012707B1 (en) | 2004-09-13 | 2004-09-13 | How to efficiently process image data from video presenters | 
| Publication Number | Publication Date | 
|---|---|
| KR20060024194A KR20060024194A (en) | 2006-03-16 | 
| KR101012707B1true KR101012707B1 (en) | 2011-02-09 | 
| Application Number | Title | Priority Date | Filing Date | 
|---|---|---|---|
| KR1020040073083AExpired - Fee RelatedKR101012707B1 (en) | 2004-09-13 | 2004-09-13 | How to efficiently process image data from video presenters | 
| Country | Link | 
|---|---|
| KR (1) | KR101012707B1 (en) | 
| CN (1) | CN1750609B (en) | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| CN102968405A (en)* | 2012-11-23 | 2013-03-13 | 广东威创视讯科技股份有限公司 | Demonstration method and system of demonstration manuscripts | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| KR19980083046A (en)* | 1997-05-12 | 1998-12-05 | 윤종용 | Frame grabber | 
| KR20040000919A (en)* | 2002-06-26 | 2004-01-07 | 삼성전자주식회사 | Still image compression system of digital camcoder and the method of still image compresssion | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| US5434612A (en)* | 1992-09-25 | 1995-07-18 | The United States Of America As Represented By The Secretary Of The Army | Duo-frame normalization technique | 
| US5523788A (en)* | 1994-09-27 | 1996-06-04 | Eastman Kodak Company | Image processor with input buffering to multiple digital signal processors | 
| KR970064170A (en)* | 1996-02-16 | 1997-09-12 | 이대원 | Video freeze device | 
| JP3454271B2 (en)* | 2003-02-21 | 2003-10-06 | 松下電器産業株式会社 | Receiving device and receiving method | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| KR19980083046A (en)* | 1997-05-12 | 1998-12-05 | 윤종용 | Frame grabber | 
| KR20040000919A (en)* | 2002-06-26 | 2004-01-07 | 삼성전자주식회사 | Still image compression system of digital camcoder and the method of still image compresssion | 
| Publication number | Publication date | 
|---|---|
| CN1750609B (en) | 2011-07-13 | 
| KR20060024194A (en) | 2006-03-16 | 
| CN1750609A (en) | 2006-03-22 | 
| Publication | Publication Date | Title | 
|---|---|---|
| US6445824B2 (en) | Data transmission with receiver side control | |
| US20160127672A1 (en) | Electronic apparatus | |
| JP2002055672A (en) | Real size display system | |
| US20140375830A1 (en) | Captured image display device, imaging system, captured image display method, and computer-readable device | |
| JP4677322B2 (en) | Image processing parameter setting device | |
| KR101016490B1 (en) | Conversion method and conversion circuit of image data, electronic camera | |
| US7212214B2 (en) | Apparatuses and methods for interpolating missing colors | |
| KR20100007628A (en) | Image sensor interface apparatus and digital photographing apparatus comprising the same | |
| CN113228612B (en) | Camera device, image data processing method of camera device, and storage medium | |
| US20060055781A1 (en) | Method of processing video data from video presenter | |
| KR101012707B1 (en) | How to efficiently process image data from video presenters | |
| KR20090024402A (en) | Real Image System with Embedded OS and Operation Method of the System | |
| KR101025774B1 (en) | How to efficiently process image data from video presenters | |
| KR20080029051A (en) | Device with image sensor and image acquisition method | |
| US11509810B2 (en) | Image capture apparatus, operation apparatus and control methods | |
| EP4258641A1 (en) | Image processing method, image processor, and electronic device | |
| US7463286B2 (en) | Image data processing apparatus | |
| KR100673955B1 (en) | How to capture video from a video presenter with audio | |
| JP2001197348A (en) | Electronic camera | |
| JP2009105687A (en) | Imaging system | |
| KR20050094445A (en) | Frame conversion method, frame conversion circuit, and electronic camera | |
| KR100973288B1 (en) | A video presenter and a method of processing image data from the video presenter | |
| KR100933171B1 (en) | Non-memory semiconductor with graphic display | |
| JP3122445B2 (en) | Communication device | |
| WO1999018719A1 (en) | Method of and apparatus for transmitting scaled and compressed raw ccd video data from a video camera | 
| Date | Code | Title | Description | 
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| R17-X000 | Change to representative recorded | St.27 status event code:A-3-3-R10-R17-oth-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| PN2301 | Change of applicant | St.27 status event code:A-3-3-R10-R13-asn-PN2301 St.27 status event code:A-3-3-R10-R11-asn-PN2301 | |
| A201 | Request for examination | ||
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| FPAY | Annual fee payment | Payment date:20131231 Year of fee payment:4 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:4 | |
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee | St.27 status event code:A-4-4-U10-U13-oth-PC1903 Not in force date:20150128 Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| PC1903 | Unpaid annual fee | St.27 status event code:N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date:20150128 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 |