Movatterモバイル変換


[0]ホーム

URL:


KR101416236B1 - Digital photographing apparatus for automatically performing auto focusing and control method thereof - Google Patents

Digital photographing apparatus for automatically performing auto focusing and control method thereof
Download PDF

Info

Publication number
KR101416236B1
KR101416236B1KR1020080029851AKR20080029851AKR101416236B1KR 101416236 B1KR101416236 B1KR 101416236B1KR 1020080029851 AKR1020080029851 AKR 1020080029851AKR 20080029851 AKR20080029851 AKR 20080029851AKR 101416236 B1KR101416236 B1KR 101416236B1
Authority
KR
South Korea
Prior art keywords
similarity
image
maintained
current
photographing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080029851A
Other languages
Korean (ko)
Other versions
KR20090104431A (en
Inventor
고성식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사filedCritical삼성전자주식회사
Priority to KR1020080029851ApriorityCriticalpatent/KR101416236B1/en
Publication of KR20090104431ApublicationCriticalpatent/KR20090104431A/en
Application grantedgrantedCritical
Publication of KR101416236B1publicationCriticalpatent/KR101416236B1/en
Expired - Fee Relatedlegal-statusCriticalCurrent
Anticipated expirationlegal-statusCritical

Links

Images

Classifications

Landscapes

Abstract

Translated fromKorean

본 발명은 실시간으로 입력되는 영상들 간에 유사성을 판단하여 상기 영상들 간에 유사성이 존재하는 경우 자동으로 오토포커싱을 실행하는 디지털 촬영 장치 및 이의 제어 방법에 관한 것이다. 따라서 사용자가 종래 오토포커싱 실행을 위해 디지털 촬영 장치에 소정 제어 신호를 입력하면서 영상이 흔들려 오토포커싱을 원활히 행할 수 없는 문제점을 해소할 수 있으며, 사용자의 편의를 증진할 수 있다.The present invention relates to a digital photographing apparatus and a control method thereof for determining similarity between images input in real time and automatically performing autofocusing when there is similarity between the images. Accordingly, it is possible to solve the problem that the user can not smoothly perform auto focusing by shaking the image while inputting a predetermined control signal to the digital photographing apparatus for executing the conventional auto focusing, and the convenience of the user can be improved.

디지털 촬영 장치, 오토포커싱, 유사성Digital photography device, autofocusing, similarity

Description

Translated fromKorean
자동으로 오토포커싱을 실행하는 디지털 촬영 장치 및 이의 제어 방법{Digital photographing apparatus for performing auto-focusing automatically and method of controlling the same}TECHNICAL FIELD [0001] The present invention relates to a digital photographing apparatus that automatically performs auto focusing and a control method thereof,

본 발명은 오토포커싱을 실행하는 디지털 촬영 장치 및 이의 제어 방법에 관한 것이다.The present invention relates to a digital photographing apparatus for performing auto focusing and a control method thereof.

종래 디지털 촬영 장치는 반셔터를 입력하여 오토포커싱을 실행한 후, 완전 셔터를 입력하여 사진 촬영을 하였다. 그러나 반셔터를 입력하는 중에 디지털 촬영 장치가 흔들려 오토포커싱을 원활하게 수행하지 못하는 문제점이 있다.The conventional digital photographing apparatus inputs a half-shutter, performs autofocusing, inputs a full shutter, and takes a photograph. However, there is a problem in that the digital photographing apparatus is shaken during the half-shutter input, so that the auto focusing can not be performed smoothly.

본 발명은 오토포커싱을 효과적으로 수행할 수 있는 디지털 촬영 장치 및 이의 제어 방법을 제공하고자 한다.The present invention provides a digital photographing apparatus and a control method thereof that can effectively perform autofocusing.

일 실시 예에 따른 디지털 촬영 장치의 제어 방법은 실시간으로 영상을 생성하는 단계; 이전 영상과 현재 영상 사이에 서로 유사성이 존재하는지 판단하는 단계; 상기 유사성이 기준 시간 동안 유지되는지 판단하는 단계; 및 상기 유사성이 상기 기준 시간 동안 유지되는 경우 자동으로 오토포커싱을 실행하는 단계;를 포함한다.
유사성 판단을 위한 영역을 설정하는 단계를 더 포함할 수 있다.
이전 영상의 상기 영역과 현재 영상의 상기 영역을 판단하여 상기 이전 영상과 상기 현재 영역의 유사성을 판단할 수 있다.
상기 유사성이 기준 시간 동안 유지되는지 판단함은, 이전 영상과 현재 영상에 서로 유사성이 존재하는 경우, 유사성이 유지되는 상기 현재 영상의 개수를 카운팅하는 단계; 카운팅하는 영상의 개수가 기준 개수이상인지 판단하는 단계;를 포함하고, 기준 개수 이상이라면 자동으로 오토포커싱을 실행할 수 있다.
자동으로 오토포커싱을 실행한 후, 셔터-릴리즈 신호를 입력하는 단계; 사진 촬영을 행하는 단계;를 더 포함할 수 있다.
다른 실시 예에 따른 디지털 촬영 장치는 실시간으로 영상을 생성하는 영상 신호 처리부; 이전 영상과 현재 영상 사이에 서로 유사성이 존재하는지 판단하는 영상 비교 판단부; 상기 유사성이 기준 시간 동안 유지되는지 판단하는 유사성 유지 판단부; 및 상기 유사성이 상기 기준 시간 동안 유지되는 경우 자동으로 오토포커싱을 실행하는 오토포커싱 처리부;를 포함한다.
A control method of a digital photographing apparatus according to an exemplary embodiment of the present invention includes: generating an image in real time; Determining whether there is a similarity between the previous image and the current image; Determining whether the similarity is maintained for a reference time; And automatically performing autofocusing when the similarity is maintained for the reference time.
And setting an area for similarity judgment.
The similarity between the previous image and the current area can be determined by determining the area of the previous image and the area of the current image.
Determining whether the similarity is maintained for a reference time includes counting the number of the current images in which the similarity is maintained when similarity exists between the previous image and the current image; Determining whether the number of images to be counted is equal to or greater than a reference number, and if the number of images is equal to or greater than the reference number, auto focusing can be performed automatically.
Automatically focusing on the subject and then inputting a shutter-release signal; And a step of taking a picture.
The digital photographing apparatus according to another embodiment includes a video signal processor for generating an image in real time; An image comparing and judging unit for judging whether similarities exist between the previous image and the current image; A similarity maintenance determiner for determining whether the similarity is maintained for a reference time; And an autofocus processing unit that automatically performs autofocusing when the similarity is maintained for the reference time.

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

본 발명에 따르면 디지털 촬영 장치를 소정 시간 고정하는 경우 자동으로 오토포커싱을 실행하도록 할 수 있다. 구체적으로, 이전 영상과 현재 영상의 픽셀값을 비교하여 상기 영상들 간에 유사성이 유지되는지 판단할 수 있고, 유사성이 유지되는 경우 오토포커싱을 자동으로 실행함으로써 오토포커싱을 효과적으로 실행할 수 있다. 즉, 사용자가 오토포커싱 실행을 위해 제어 신호를 입력하는 경우 영상이 흔들려 효과적으로 오토포커싱을 실행할 수 없는 문제점을 해소할 수 있다.According to the present invention, auto focusing can be performed automatically when the digital photographing apparatus is fixed for a predetermined time. More specifically, it is possible to determine whether the similarity between the images is maintained by comparing the pixel values of the previous image and the current image. If similarity is maintained, autofocusing can be performed automatically to effectively perform auto focusing. That is, when the user inputs a control signal for performing auto focusing, the problem that the image is shaken and the auto focus can not be effectively performed can be solved.

또한, 사용자가 오토포커싱을 위한 제어 신호를 별도로 입력하지 않아도 외므로 사용자의 편의를 증진할 수 있다.In addition, since the user does not need to separately input a control signal for autofocusing, the convenience of the user can be improved.

이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 수 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts may be omitted so as not to disturb the gist of the present invention.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.In addition, terms and words used in the following description and claims should not be construed to be limited to ordinary or dictionary meanings, but are to be construed in a manner consistent with the technical idea of the present invention As well as the concept.

도 1은 본 발명의 디지털 촬영 장치의 일 실시 예로서, 디지털 카메라의 블럭도이다. 또한, 도 1과 함께 설명할 도 2는 상기 디지털 카메라의 디지털 신호 처리부를 설명하기 위한 블럭도이다.1 is a block diagram of a digital camera according to an embodiment of the digital photographing apparatus of the present invention. 2 is a block diagram for explaining a digital signal processing unit of the digital camera.

도 1에 도시된 바에 따르면, 디지털 카메라(100)는 광학부(10), 광학 구동부(11), 촬상소자(15), 촬상소자 제어부(16), 조작부(20), 프로그램 저장부(30), 버퍼 저장부(40), 데이터 저장부(50), 표시 제어부(60), 데이터 구동부(61), 주사 구동부(63), 표시부(65) 및 디지털 신호 처리부(DSP, 70)를 포함한다.1, thedigital camera 100 includes anoptical unit 10, anoptical drive unit 11, animage pickup device 15, an image pickupdevice control unit 16, anoperation unit 20, aprogram storage unit 30, Abuffer storage unit 40, adata storage unit 50, adisplay control unit 60, adata driver 61, ascan driver 63, adisplay unit 65, and a digital signal processor (DSP) 70.

광학부(10)는 피사체로부터의 광학 신호가 입력되어 촬상 소자(13)로 제공한다. 광학부(10)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등 적어도 하나의 렌즈를 포함할 수 있다. 또한, 상기 광학부(10)는 광량을 조절하는 조리개를 더 포함할 수 있다.Theoptical section 10 receives an optical signal from a subject and provides it to the imaging element 13. [ Theoptical unit 10 may include at least one lens, such as a zoom lens for controlling the angle of view to be narrowed or widened according to the focal length, and a focus lens for focusing the subject. In addition, theoptical unit 10 may further include a diaphragm for adjusting the amount of light.

광학 구동부(11)는 렌즈의 위치, 조리개의 개폐 등을 조절한다. 렌즈의 위치를 이동시켜 초점을 맞출 수 있다. 또한, 조리개의 개폐를 조절하여 광량을 조절할 수 있다. 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 광학 구동부(11)가 광학부(10)를 제어할 수 있다.Theoptical driver 11 controls the position of the lens, opening and closing of the diaphragm, and the like. The focus can be adjusted by moving the position of the lens. In addition, the amount of light can be adjusted by controlling the opening and closing of the diaphragm. Theoptical driving unit 11 can control theoptical unit 10 according to a control signal automatically generated by a video signal input in real time or a control signal manually input by an operation of a user.

상기 광학부(10)를 투과한 광학 신호는 촬상 소자(15)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(15)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(15)는 촬상소자 제어부(16)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(16)도 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상소자(15)를 제어할 수 있다.The optical signal transmitted through theoptical section 10 reaches the light-receiving surface of theimage pickup element 15 and forms an image of the subject. Theimage pickup device 15 may be a charge coupled device (CCD) or a complementary metal oxide semiconductor image sensor (CIS) for converting an optical signal into an electric signal. The sensitivity of theimage pickup element 15 can be adjusted by the imagepickup element controller 16. The image pickupelement control unit 16 can also control theimage pickup element 15 in accordance with a control signal automatically generated by the video signal inputted in real time or a control signal manually inputted by the user's operation.

조작부(20)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(20)는 정해진 시간 동안 촬상 소자(15)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원을 공급하기 위해 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들이 있다. 조작부(20)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치 스크린, 리모트 컨트롤러 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.Theoperation unit 20 is a place where a control signal from the outside of a user or the like can be input. Theoperation unit 20 includes a shutter-release button for inputting a shutter-release signal for exposing theimage pickup device 15 to light for a predetermined period of time, a power button for inputting power, A wide angle-zoom button and a telephoto-zoom button for widening or narrowing the angle of view, a mode selection of a character input mode, a shooting mode, and a playback mode, a white balance setting function selection, and an exposure setting function selection. Theoperation unit 20 may have various types of buttons as described above, but the present invention is not limited thereto. Theoperation unit 20 may be implemented in any form such as a keyboard, a touch pad, a touch screen, and a remote controller.

또한, 상기 디지털 카메라(100)는 상기 디지털 카메라를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(30), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(40), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(50)를 포함한다.Thedigital camera 100 may further include aprogram storage unit 30 for storing programs such as an operating system and an application system for driving the digital camera, a buffer storage unit for temporarily storing data or result data necessary for theoperation 40, and adata storage unit 50 for storing various information necessary for the program, including an image file including a video signal.

아울러, 상기 디지털 카메라(100)는 이의 동작 상태 또는 상기 디지털 카메라(100)에서 촬영한 이미지 정보를 표시하도록 제어하는 표시 제어부(60), 표시 제 어부(60)로부터 입력되어 표시 데이터를 전달하는 데이터 구동부(61)와 주사 구동부(63), 데이터 구동부(61)와 주사 구동부(63)로부터 입력되는 신호에 따라 소정 영상을 표시하는 표시부(65)를 포함한다. 표시부(65)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EDD) 등으로 이루어질 수 있다.In addition, thedigital camera 100 may include adisplay control unit 60 for controlling the display of the operation state of thedigital camera 100 or the image information photographed by thedigital camera 100, data for inputting display data transmitted from thedisplay control unit 60 And adisplay unit 65 for displaying a predetermined image according to signals input from thedriving unit 61, thescan driver 63, thedata driver 61, and thescan driver 63. Thedisplay unit 65 may include a liquid crystal display panel (LCD), an organic light emitting display panel (OLED), and an electrophoretic display panel (EDD).

그리고 상기 디지털 카메라(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 DSP(70)를 포함한다.Thedigital camera 100 includes a DSP 70 that processes input video signals and controls the respective components according to the input video signals.

DSP(70)에 관하여 도 2를 함께 참조하여 설명한다.DSP 70 will be described with reference to FIG.

도 2를 참조하면, DSP(70)는 CPU(71), 영상 신호 처리부(72), 영상 비교 판단부(73), 유사성 유지 판단부(74) 및 오토포커싱 처리부(75)를 포함할 수 있다.2, the DSP 70 may include aCPU 71, an imagesignal processing unit 72, an imagecomparison determination unit 73, a similaritymaintenance determination unit 74, and an auto focusingprocessing unit 75 .

CPU(71)는 DSP(70)의 전반적인 동작을 제어한다.TheCPU 71 controls the overall operation of the DSP 70. [

영상 신호 처리부(72)는 촬상 소자(15)로부터 입력된 영상 신호를 디지털 신호로 변환하고, 사람의 시각에 맞게 영상 신호를 변환하도록 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행한다. 또한, 영상 신호 처리부(72)는 그 기능이 설정된 경우 오토화이트밸런스(Auto White Balance)나 오토익스포저(Auto Exposure) 알고리즘을 수행할 수 있다. 또한, 영상 데이터를 스케일러를 이용하여 그 크기를 조절하며, 압축하여 소정 형식의 이미지 파일을 형성한다. 반대로 이미지 파일의 압축을 해제하기도 한다. 상기 영상 신호 처리부(72)는 사진 촬영 전 라이브-뷰 모드에서 실시 간으로 입력되는 영상 신호와 셔터-릴리즈 신호에 의해 입력된 영상 신호에 대해 상기와 같은 영상 신호 처리들을 행할 수 있다. 이때, 상기 영상 신호들 각각에 대해 다른 영상 신호 처리가 행해질 수 있다.The imagesignal processing unit 72 converts a video signal inputted from theimage pickup device 15 into a digital signal and outputs a gamma correction, a color filter array interpolation ), A color matrix, color correction, color enhancement, and the like. In addition, the videosignal processing unit 72 can perform Auto White Balance or Auto Exposure algorithm when the function is set. Further, the size of the image data is adjusted using a scaler, and the image data is compressed to form an image file of a predetermined format. Conversely, the image file is decompressed. Thevideo signal processor 72 may perform the above-described video signal processing on the video signal inputted in real-view mode before photographing and the video signal input by the shutter-release signal. At this time, different video signal processing may be performed for each of the video signals.

상기 영상 비교 판단부(73)는 영상 신호 처리부(72)로부터 입력된 영상들에 대해 이전 영상과 현재 영상 간에 유사성이 있는지 판단한다. 상기 영상은 소정 화면을 구현하는 한 프레임(frame)의 영상 일 수 있다. 라이브-뷰 모드에서는 실시간으로 영상이 입력되는바, 실시간으로 입력되는 영상들의 유사성을 판단한다. 이전 프레임의 영상과 현재 프레임의 영상 간의 픽셀값을 비교하여 유사성을 판단할 수 있다. 여기서 이전과 현재는 입력되는 영상들 간에 시간상으로 인접하는 영상들 중 먼저 입력된 영상, 후에 입력되는 영상을 의미할 수 있으며, 또는 소정 시간 간격을 두고 먼저 입력된 영상, 후에 입력되는 영상을 의미할 수도 있다.The imagecomparison determination unit 73 determines whether there is a similarity between the previous image and the current image with respect to the images input from the imagesignal processing unit 72. [ The image may be an image of a frame that implements a predetermined screen. In the live-view mode, images are inputted in real time, and the similarity of images inputted in real time is judged. The similarity can be determined by comparing pixel values between the image of the previous frame and the image of the current frame. Here, the previous and current images may be inputted first or later, of the images temporally adjacent to each other between input images, or may be a first input image at a predetermined time interval, or a later input image It is possible.

상기 유사성 판단은 유사성 판단을 위한 영역을 설정하고, 설정된 영역의 영상들에 대해서만 픽셀값을 비교할 수 있다. 연산 처리 속도를 증가시킬 수 있기 때문이다. 유사성 판단은 설정된 영역의 이전 프레임 영상과 현재 프레임 영상 사이의 픽셀 값, 즉 휘도 차이를 이용하여 유사성 유무를 판단할 수 있다. 더욱 구체적으로, 이전 프레임 영상의 휘도와 현재 프레임 영상의 휘도의 차이가 미리 설정된 기준 값 이하이면 또는 기준 범위 내이면 유사성이 존재하는 것으로 판단할 수 있다. 또는 상기 차이가 기준 값 초과이면 또는 기준 범위를 벗어나면 유사성이 존재하지 않는 것으로 판단할 수 있다.The similarity determination may set an area for similarity determination, and may compare pixel values only for images in the set area. This is because the processing speed can be increased. Similarity determination can determine the presence or absence of similarity using the pixel value, i.e., the brightness difference, between the previous frame image and the current frame image of the set region. More specifically, if the difference between the luminance of the previous frame image and the luminance of the current frame image is less than a preset reference value or within a reference range, it can be determined that similarity exists. Or if the difference exceeds the reference value or if the difference is out of the reference range, the similarity does not exist.

이와 같이 영상 비교 판단부(73)에서 이전 프레임 영상과 현재 프레임 영상 의 픽셀값에 따라 유사성이 존재하는지를 판단하고, 유사성이 존재하는 경우 오토포커싱 처리부(75)는 자동으로 현재 입력된 영상에 대해 오토포커싱을 실행한다. 종래에는 반셔터를 입력하여 오토포커싱을 실행한 것이라면, 본 발명은 디지털 카메라(100)가 자동으로 오토포커싱을 처리를 실행할 수 있는 것이다.In this way, the imagecomparison determination unit 73 determines whether similarity exists between the previous frame image and the current frame image. If there is similarity, theauto focusing unit 75 automatically Focusing is performed. Conventionally, if the half-shutter is input and auto focusing is performed, thedigital camera 100 can automatically perform autofocus processing.

본 실시 예에서 상기 DSP(70)는 유사성 유지 판단부(74)를 더 포함할 수 있다. 유사성 유지 판단부(74)는 상기 영상 비교 판단부(73)에서 실시간으로 이전 프레임 영상과 현재 프레임 영상 사이의 유사성 판단 결과를 제공하면, 이에 근거하여 유사성이 존재함을 소정 시간 유지하는지 판단할 수 있다. 상기 시간은 미리 설정된 기준 시간일 수 있다. 또 다른 판단 방법으로, 상기 영상 비교 판단부(73)에서 제1 프레임 영상과 제2 프레임 영상 사이에 유사성이 존재한다고 판단하고 이를 유사성 유지 판단부(74)에 제공한다. 이어서 영상 비교 판단부(74)에서 제2 프레임 영상과 제3 프레임 영상 사이에 유사성이 존재한다고 판단하고 이를 또한 유사성 유지 판단부(74)에 제공한다. 그러면, 상기 유사성 유지 판단부(74)는 유사성이 유지되는 프레임 수를 카운팅한다. 현재 유지되는 프레임 개수는 제2 프레임 영상과 제3 프레임 영상 2개가 될 수 있다. 이와 같이 유사성이 유지되는 프레임 개수를 카운팅하여 기준 개수, 예를 들어 10개 또는 그 이상이라고 판단하며, 자동으로 오토포커싱을 처리하도록 제어할 수 있다. 즉, 카운팅한 프레임 개수가 10 이상이면, 이에 대응하는 제어 신호를 오토포커싱 처리부(75)에 제공한다. 상기 오토포커싱 처리부(75)는 상기 제어 신호에 따라 자동으로 오토포커싱을 실행할 수 있다. 한 프레임은 1/30초를 가지므로, 10개의 프레임을 카운팅하면 0.3초 동안 영상들 간에 유사성이 유지되는지를 판단하게 되므로, 소정 시간 유사성이 유지되는지를 판단할 수 있다.In the present embodiment, theDSP 70 may further include a similaritymaintenance determination unit 74. [ Thesimilarity maintenance determiner 74 may determine whether similarity exists for a predetermined time based on the comparison result when theimage comparison determiner 73 provides the similarity determination result between the previous frame image and the current frame image in real time have. The time may be a preset reference time. As another determination method, the imagecomparison determination unit 73 determines that similarity exists between the first frame image and the second frame image, and provides the similarity maintainingdetermination unit 74 with the similarity. Then, the imagecomparison determination unit 74 determines that similarity exists between the second frame image and the third frame image, and provides the same to the similaritymaintenance determination unit 74. Then, thesimilarity maintenance determiner 74 counts the number of frames for which similarity is maintained. The number of frames currently being held may be the second frame image and the third frame image. The number of frames in which the similarity is maintained may be counted to determine the reference number, for example, 10 or more, and the automatic focusing may be controlled. That is, if the counted number of frames is 10 or more, a corresponding control signal is provided to theautofocus processing unit 75. Theautofocus processing unit 75 may automatically perform autofocusing according to the control signal. Since one frame has 1/30 second, if 10 frames are counted, it is judged whether the similarity between images is maintained for 0.3 second, so it can be judged whether the similarity is maintained for a predetermined time.

상술한 바와 같이, 본 실시 예에 따른 디지털 카메라(100)는 이전 영상과 현재 영상 사이의 픽셀 값을 비교하여 유사성이 유지되는지 판단하고, 상기 유사성이 소정 시간 연속적으로 유지되면 자동으로 오토포커싱 알고리즘을 수행할 수 있다.As described above, thedigital camera 100 according to the present embodiment compares pixel values between a previous image and a current image to determine whether similarity is maintained. If the similarity is maintained continuously for a predetermined time, Can be performed.

도 3은 본 발명의 일 실시 예에 관한 디지털 촬영 장치의 제어 방법을 설명하기 위한 순서도이다.3 is a flowchart for explaining a control method of the digital photographing apparatus according to an embodiment of the present invention.

도 3을 참조하면, 우선 자동 오토포커싱 실행 모드를 작동한다(S11).Referring to FIG. 3, first, the automatic autofocusing execution mode is activated (S11).

그리고 유사성 판단을 위한 영역을 설정한다(S12). 상기 영역은 피사체를 인식하여 상기 피사체를 포함하는 영역으로 자동 설정될 수 있으며, 또는 사용자 등의 외부 입력에 의해 설정될 수 있다.Then, an area for similarity determination is set (S12). The area may be automatically set to an area including the subject by recognizing the subject, or may be set by an external input such as a user.

실시간으로 영상들이 입력되고, 이를 임의로 저장한다(S13).The images are input in real time, and are arbitrarily stored (S13).

그리고 실시간으로 입력되는 영상들 간에 서로 유사성이 존재하는지 판단한다(S14). 상기 S12에서 설정된 영역에 대하여 이전 영상과 현재 영상에 서로 유사성이 판단할 수 있다. 상기 영역에 대응하는 이전 영상의 픽셀 값과 상기 영역에 대응하는 현재 영상의 픽셀 값을 비교하여, 그 차이가 기준 값 이하인지 또는 기준 범위 내인지 판단한다. 그리고 상기 차이가 기준 값 이하 또는 기준 범위 내라면 유사성이 존재하는 것으로 판단한다. 그렇지 않은 경우에는 이전 영상과 현재 영상 간에 유사성이 존재하지 않는 것으로 판단한다.Then, it is determined whether similarities exist between images input in real time (S14). Similarity can be determined between the previous image and the current image with respect to the area set in S12. A pixel value of a previous image corresponding to the area is compared with a pixel value of a current image corresponding to the area to determine whether the difference is less than or equal to a reference value. If the difference is below the reference value or within the reference range, it is determined that the similarity exists. Otherwise, it is determined that there is no similarity between the previous image and the current image.

이전 영상과 현재 영상 사이에 유사성이 존재하는 경우 기준 시간 동안 유사 성이 유지되는지 판단한다(S15). 기준 시간 동안 유사성이 유지됨은 유사성이 존재하는 영상 개수를 카운팅할 수도 있다. 따라서 카운팅된 개수가 기준 개수 이상이면 기준 시간 이상으로 유사성이 존재한다고 판단할 수 있다.If similarity exists between the previous image and the current image, it is determined whether similarity is maintained during the reference time (S15). The similarity is maintained during the reference time may be counted in the number of images in which similarity exists. Therefore, if the counted number is greater than or equal to the reference number, it can be determined that similarity exists beyond the reference time.

기준 시간 동안 유사성이 유지되면, 오토포커싱을 자동으로 실행한다(S16). 마지막에 입력된 영상에 대하여 오토포커싱을 실행한다.If similarity is maintained during the reference time, auto focusing is automatically performed (S16). The autofocusing is performed on the last input image.

오토포커싱을 실행한 후, 셔터-릴리즈 신호가 입력되면(S17), 사진 촬영을 행한다(S18).After the autofocusing is performed, when a shutter-release signal is input (S17), photographing is performed (S18).

상기 S14에서 이전 영상과 현재 영상에 서로 유사성이 존재하지 않는 경우, 계속하여 입력되는 영상을 저장하고(S13), 다시 이전 영상과 현재 영상에 서로 유사성이 존재하는지 판단할 수 있다(S14).If there is no similarity between the previous image and the current image in S14, the input image is stored (S13), and it is determined whether similarity exists between the previous image and the current image (S14).

상기 S15에서 기준 시간 동안 유사성이 유지되지 않는 경우에도 S13을 비롯하여 이후의 단계들을 반복하여 수행할 수 있다.Even if the similarity is not maintained during the reference time in S15, the following steps including S13 can be repeatedly performed.

도 3에 도시된 순서도에서 이전 영상과 현재 영상의 유사성 판단을 도 4a와 도 4b를 참조하여 구체적으로 살펴본다.The similarity determination between the previous image and the current image in the flowchart shown in FIG. 3 will be described in detail with reference to FIGS. 4A and 4B.

도 4a에 따르면, 라이브-뷰 모드에 입력된 제1 영상은 책상 위에 컴퓨터 본체와 모니터가 놓여 있는 도면이다. 유사성 판단을 위해 a 영역이 설정되어 있다. 상기 a 영역에는 본체 상부 및 모니터의 상부가 포함되어 있다.Referring to FIG. 4A, the first image input in the live-view mode includes a computer body and a monitor on a desk. The area a is set for similarity judgment. The a region includes an upper portion of the main body and an upper portion of the monitor.

도 4b는 상기 제1 영상 이후에 입력된 제2 영상을 나타낸 도면이다. 도 4b를 참조하면 도 4a의 a 영역은 a' 영역에 대응한다.4B is a diagram illustrating a second image input after the first image. Referring to FIG. 4B, the region a in FIG. 4A corresponds to the region a '.

미리 설정된 a 및 a' 영역들에 대하여 제1 영상과 제2 영상을 비교하여 보 면, 다른 대상의 영상들이 포착되어 있다. 즉, a 영역에는 컴퓨터 본체 및 모니터가 포함되어 있으나, a 영역에는 컴퓨터 본체 및 모니터 어느 것도 포함되어 있지 않다. 따라서, a 영역에 대응하는 제1 영상의 픽셀값은 a' 영역에 대응하는 제2 영상의 픽셀 값과 차이가 있으며, 상기 차이가 기준 값 초과 또는 기준 범위 밖이라면 유사성이 없다고 판단할 수 있다. 유사성이 없다고 판단되면 자동으로 오토포커스를 실행하지 않는다.When a first image and a second image are compared with respect to predetermined a and a 'regions, images of other objects are captured. That is, the area a includes the computer main body and the monitor, but the area a does not include the computer main body and the monitor. Therefore, the pixel value of the first image corresponding to the area a differs from the pixel value of the second image corresponding to the area a ', and it can be determined that there is no similarity if the difference is out of the reference value or out of the reference range. If it is determined that there is no similarity, the autofocus is not executed automatically.

그에 반해, 도 5a와 도 5b는 유사성이 있는 경우에 해당하는 도면들이다.On the other hand, FIGS. 5A and 5B are views corresponding to the case of similarity.

제3 영상의 c 영역과 제4 영상의 c' 영역은 동일하게 컴퓨터의 본체 및 모니터의 상부가 포착되어 있다. 따라서 상기 영역들에 대응하는 제3 영상과 제4 영상의 픽셀 값은 차이가 거의 없을 것이며, 상기 차이가 기준 값 이하 또는 기준 범위 내라면 유사성이 있다고 판단할 수 있다. 유사성이 존재한다고 판단하면 오토포커싱을 자동으로 실행할 수 있다.The c-region of the third image and the c'-region of the fourth image are similarly captured in the main body of the computer and the upper portion of the monitor. Therefore, the pixel values of the third image and the fourth image corresponding to the areas will be almost the same, and if the difference is less than or equal to the reference value, it can be determined that similarity exists. If it is determined that similarity exists, auto focusing can be performed automatically.

도 6a 내지 도 6c는 본 발명의 다른 실시 예에 관한 디지털 촬영 장치의 제어 방법을 설명하기 위한 도면들이다.6A to 6C are diagrams for explaining a control method of the digital photographing apparatus according to another embodiment of the present invention.

본 실시 예에서는 디지털 카메라(100)를 이용하여 자동으로 오토포커싱을 실행하고 사진을 촬영하는 제어 방법에 관한 설명한다.In this embodiment, a control method of automatically focusing and photographing adigital camera 100 will be described.

도 6a를 참조하면, 사용자는 디지털 카메라(100)를 이동시키면서 피사체를 특정한다.Referring to FIG. 6A, a user specifies a subject while moving thedigital camera 100.

그리고 도 6b를 참조하면, 제1 피사체(200)를 특정하고 디지털 카메라(100)를 소정 시간 동안 고정하면 상기 디지털 카메라(100)는 이전 영상과 현재 영상의 유사성을 판단하고 상기 유사성이 소정 시간 유지되는 경우 상기 제1 피사체(200)에 대하여 자동으로 오토포커싱을 실행할 수 있다.Referring to FIG. 6B, when thefirst object 200 is specified and thedigital camera 100 is fixed for a predetermined time, thedigital camera 100 determines the similarity between the previous image and the current image. If the similarity is maintained for a predetermined time The autofocusing can be automatically performed on thefirst subject 200.

다시 도 6a와 같이 디지털 카메라(100)를 이동시킬 수 있다. 그리고 도 6c와 같이 제2 피사체(210)를 특정하여 소정 시간 동안 고정하면 상기 제2 피사체(210)에 대하여 오토포커싱을 실행할 수 있다. 그리고 사용자가 셔터-릴리즈 버튼(22)을 누르면, 셔터-릴리즈 신호가 입력되어 상기 제2 피사체(210)를 촬영할 수 있다. 따라서 상기 제2 피사체의 영상을 포함하는 이미지 파일을 생성 및 저장할 수 있다.Thedigital camera 100 can be moved again as shown in FIG. 6A. When thesecond subject 210 is identified and fixed for a predetermined period of time as shown in FIG. 6C, thesecond subject 210 can be autofocused. When the user presses the shutter-release button 22, a shutter-release signal is input and thesecond subject 210 can be photographed. Accordingly, an image file including the image of the second subject can be generated and stored.

도 6a 내지 6c에 도시된 디지털 카메라(100)의 후면에는 표시부(65)를 비롯하여 전원을 공급하기 위해 입력하는 전원 버튼(21), 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼(23)과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼(24)이 배치되어 있다.6A to 6C, apower supply button 21 for inputting power, apower supply button 21 for inputting a power supply, a wide angle-zooming device for widening the angle of view or narrowing the angle of view according to the input,Button 24, a telephoto-zoom button 23, andvarious function buttons 24 such as a character input mode, a mode selection mode such as a photographing mode and a reproduction mode, a white balance setting function selection, and an exposure setting function selection.

이제까지 살펴 본 바에 따르면, 본 발명은 이전 영상과 현재 영상의 유사성을 판단하여, 유사성이 존재하는 경우 자동으로 오토포커싱을 실행할 수 있다. 상술한 실시 예들에서는 상기 유사성 판단은 상기 영상들 간의 픽셀 값을 이용하여 판단하였으나, 이에 한정되는 것이 아님은 당업자에 있어서 명백하다. 즉, 이전 영상과 현재 영상을 서로 비교함에 있어서, 픽셀 값 뿐만 아니라 칼라패널, 에지패턴 등을 이용하여 상기 영상들의 유사성 존재 여부를 판단할 수 있다.According to the above, the present invention judges the similarity between the previous image and the current image, and can automatically perform autofocusing when similarity exists. In the above-described embodiments, the determination of the similarity is made using pixel values between the images, but it is obvious to those skilled in the art that the determination is not limited to this. That is, in comparing the previous image with the current image, it is possible to determine whether there is similarity between the images by using not only pixel values but also color panels and edge patterns.

그러므로 본 발명에 따른 디지털 촬영 장치 및 이의 제어 방법은 사용자의 편의를 증진하고, 오토포커싱을 실행하면서 영상이 흔들리는 등의 문제를 어느 정 도 해소할 수 있다.Therefore, the digital photographing apparatus and the control method thereof according to the present invention can improve the convenience of the user and resolve any problems such as shaking of the image while performing autofocusing.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

도 1은 본 발명의 일 실시 예에 관한 디지털 촬영 장치를 설명하기 위한 블럭도이다.1 is a block diagram for explaining a digital photographing apparatus according to an embodiment of the present invention.

도 2는 도 1에 도시된 본 발명의 일 실시 예에 관한 디지털 촬영 장치의 디지털 신호 처리부를 설명하기 위한 블럭도이다.2 is a block diagram for explaining a digital signal processing unit of the digital photographing apparatus according to an embodiment of the present invention shown in FIG.

도 3은 본 발명의 일 실시 예에 관한 디지털 촬영 장치의 제어 방법을 설명하기 위한 순서도이다.3 is a flowchart for explaining a control method of the digital photographing apparatus according to an embodiment of the present invention.

도 4a와 도 4b는 도 3에 도시된 디지털 촬영 장치의 제어 방법에 있어서 이전 영상과 현재 영상의 유사성이 없는 경우를 설명하기 위한 도면들이다.4A and 4B are views for explaining a case where there is no similarity between a previous image and a current image in the control method of the digital photographing apparatus shown in FIG.

도 5a와 도 5b는 도 3에 도시된 디지털 촬영 장치의 제어 방법에 있어서 이전 영상과 현재 영상의 유사성이 있는 경우를 설명하기 위한 도면들이다.5A and 5B are diagrams for explaining a case where there is a similarity between a previous image and a current image in the control method of the digital photographing apparatus shown in FIG.

도 6a 내지 도 6c는 본 발명의 다른 실시 예에 관한 디지털 촬영 장치의 제어 방법을 설명하기 위한 도면들이다.6A to 6C are diagrams for explaining a control method of the digital photographing apparatus according to another embodiment of the present invention.

Claims (8)

Translated fromKorean
실시간으로 영상을 생성하는 단계;Generating an image in real time;이전 영상과 현재 영상 사이에 서로 유사성이 존재하는지 판단하는 단계;Determining whether there is a similarity between the previous image and the current image;상기 유사성이 기준 시간 동안 유지되는지 판단하는 단계; 및Determining whether the similarity is maintained for a reference time; And상기 유사성이 상기 기준 시간 동안 유지되는 경우 자동으로 오토포커싱을 실행하는 단계;를 포함하는 디지털 촬영 장치의 제어 방법.And automatically performing autofocusing when the similarity is maintained for the reference time.제 1 항에 있어서, 유사성 판단을 위한 영역을 설정하는 단계를 더 포함하는 디지털 촬영 장치의 제어 방법.The method according to claim 1, further comprising setting an area for similarity determination.제 2 항에 있어서, 이전 영상의 상기 영역과 현재 영상의 상기 영역을 판단하여 상기 이전 영상과 상기 현재 영역의 유사성을 판단하는 것을 특징으로 하는 디지털 촬영 장치의 제어 방법.3. The method according to claim 2, wherein the similarity between the previous image and the current area is determined by determining the region of the previous image and the region of the current image.삭제delete제 1 항에 있어서, 상기 유사성이 기준 시간 동안 유지되는지 판단함은,2. The method of claim 1, wherein determining whether the similarity is maintained for a reference time comprises:이전 영상과 현재 영상에 서로 유사성이 존재하는 경우, 유사성이 유지되는 상기 현재 영상의 개수를 카운팅하는 단계;Counting the number of the current images in which the similarity is maintained when the similarity exists between the previous image and the current image;카운팅하는 영상의 개수가 기준 개수이상인지 판단하는 단계;를 포함하고,Determining whether the number of images to be counted is equal to or greater than a reference number,기준 개수 이상이라면 자동으로 오토포커싱을 실행하는 것을 특징으로 하는 디지털 촬영 장치의 제어 방법.Wherein the automatic focusing operation is automatically performed when the number of reference frames is equal to or greater than the reference number.제 1 항에 있어서, 자동으로 오토포커싱을 실행 한 후,2. The image pickup apparatus according to claim 1,셔터-릴리즈 신호를 입력하는 단계;Inputting a shutter-release signal;사진 촬영을 행하는 단계;를 더 포함하는 디지털 촬영 장치의 제어 방법.Further comprising the step of photographing the digital photographing apparatus.실시간으로 영상을 생성하는 영상 신호 처리부;A video signal processor for generating an image in real time;이전 영상과 현재 영상 사이에 서로 유사성이 존재하는지 판단하는 영상 비교 판단부;An image comparing and judging unit for judging whether similarities exist between the previous image and the current image;상기 유사성이 기준 시간 동안 유지되는지 판단하는 유사성 유지 판단부; 및A similarity maintenance determiner for determining whether the similarity is maintained for a reference time; And상기 유사성이 상기 기준 시간 동안 유지되는 경우 자동으로 오토포커싱을 실행하는 오토포커싱 처리부;를 포함하는 디지털 촬영 장치.And an autofocus processing unit that automatically performs autofocusing when the similarity is maintained for the reference time.삭제delete
KR1020080029851A2008-03-312008-03-31 Digital photographing apparatus for automatically performing auto focusing and control method thereofExpired - Fee RelatedKR101416236B1 (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
KR1020080029851AKR101416236B1 (en)2008-03-312008-03-31 Digital photographing apparatus for automatically performing auto focusing and control method thereof

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
KR1020080029851AKR101416236B1 (en)2008-03-312008-03-31 Digital photographing apparatus for automatically performing auto focusing and control method thereof

Publications (2)

Publication NumberPublication Date
KR20090104431A KR20090104431A (en)2009-10-06
KR101416236B1true KR101416236B1 (en)2014-07-07

Family

ID=41534230

Family Applications (1)

Application NumberTitlePriority DateFiling Date
KR1020080029851AExpired - Fee RelatedKR101416236B1 (en)2008-03-312008-03-31 Digital photographing apparatus for automatically performing auto focusing and control method thereof

Country Status (1)

CountryLink
KR (1)KR101416236B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
CN117041531B (en)*2023-09-042024-03-15无锡维凯科技有限公司Mobile phone camera focusing detection method and system based on image quality evaluation

Citations (4)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JP2621284B2 (en)*1988-01-281997-06-18ソニー株式会社 Focus control circuit
JP2001194575A (en)2000-01-072001-07-19Olympus Optical Co LtdElectronic camera
KR20070015694A (en)*2005-08-012007-02-06삼성테크윈 주식회사 Automatic focusing method of digital image processing device
JP2007256480A (en)*2006-03-222007-10-04Seiko Epson Corp Imaging apparatus, control method thereof, and program thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JP2621284B2 (en)*1988-01-281997-06-18ソニー株式会社 Focus control circuit
JP2001194575A (en)2000-01-072001-07-19Olympus Optical Co LtdElectronic camera
KR20070015694A (en)*2005-08-012007-02-06삼성테크윈 주식회사 Automatic focusing method of digital image processing device
JP2007256480A (en)*2006-03-222007-10-04Seiko Epson Corp Imaging apparatus, control method thereof, and program thereof

Also Published As

Publication numberPublication date
KR20090104431A (en)2009-10-06

Similar Documents

PublicationPublication DateTitle
KR101411910B1 (en)Digital photographing apparatus and method for controlling the same
US9578260B2 (en)Digital photographing apparatus and method of controlling the digital photographing apparatus
KR100627048B1 (en) Digital Camera Control Method
JP4884417B2 (en) Portable electronic device and control method thereof
US8937677B2 (en)Digital photographing apparatus, method of controlling the same, and computer-readable medium
US8648960B2 (en)Digital photographing apparatus and control method thereof
US8698947B2 (en)Digital photographing apparatus and method of controlling the same
US10477113B2 (en)Imaging device and control method therefor
KR101605771B1 (en)Digital photographing apparatus, method for controlling the same, and recording medium storing program to execute the method
JP2005202064A (en) Imaging apparatus, focusing method thereof, and recording medium
JPH09149311A (en) Imaging device
CN101998060B (en)By using the method and apparatus of automatic focus determination dither image
JP2011217103A (en)Compound eye photographing method and apparatus
KR20100099008A (en)Auto focusing method and apparatus, and digital photographing apparatus using thereof
KR101812656B1 (en)Digital photographing apparatus and control method thereof
US8537266B2 (en)Apparatus for processing digital image and method of controlling the same
KR101416236B1 (en) Digital photographing apparatus for automatically performing auto focusing and control method thereof
KR20100098122A (en)Image processing method and apparatus, and digital photographing apparatus using thereof
WO2021014560A1 (en)Imaging device
CN106170975B (en)Camera and its control method
KR20180128878A (en)Display apparatus and method
JP5441656B2 (en) Image processing apparatus, image processing method, and program
KR101436838B1 (en) Method and apparatus for processing auto focusing information, and digital photographing apparatus using the same
KR101436837B1 (en) Digital photographing apparatus for performing auto focusing and control method therefor
KR101581219B1 (en)Method and apparatus for processing auto-focusing information and digital photographing apparatus using thereof

Legal Events

DateCodeTitleDescription
PA0109Patent application

St.27 status event code:A-0-1-A10-A12-nap-PA0109

N231Notification of change of applicant
PN2301Change of applicant

St.27 status event code:A-3-3-R10-R13-asn-PN2301

St.27 status event code:A-3-3-R10-R11-asn-PN2301

PG1501Laying open of application

St.27 status event code:A-1-1-Q10-Q12-nap-PG1501

N231Notification of change of applicant
PN2301Change of applicant

St.27 status event code:A-3-3-R10-R13-asn-PN2301

St.27 status event code:A-3-3-R10-R11-asn-PN2301

R18-X000Changes to party contact information recorded

St.27 status event code:A-3-3-R10-R18-oth-X000

A201Request for examination
PA0201Request for examination

St.27 status event code:A-1-2-D10-D11-exm-PA0201

E902Notification of reason for refusal
PE0902Notice of grounds for rejection

St.27 status event code:A-1-2-D10-D21-exm-PE0902

E13-X000Pre-grant limitation requested

St.27 status event code:A-2-3-E10-E13-lim-X000

P11-X000Amendment of application requested

St.27 status event code:A-2-2-P10-P11-nap-X000

P13-X000Application amended

St.27 status event code:A-2-2-P10-P13-nap-X000

E701Decision to grant or registration of patent right
PE0701Decision of registration

St.27 status event code:A-1-2-D10-D22-exm-PE0701

GRNTWritten decision to grant
PR0701Registration of establishment

St.27 status event code:A-2-4-F10-F11-exm-PR0701

PR1002Payment of registration fee

St.27 status event code:A-2-2-U10-U11-oth-PR1002

Fee payment year number:1

PG1601Publication of registration

St.27 status event code:A-4-4-Q10-Q13-nap-PG1601

FPAYAnnual fee payment

Payment date:20170629

Year of fee payment:4

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:4

P22-X000Classification modified

St.27 status event code:A-4-4-P10-P22-nap-X000

FPAYAnnual fee payment

Payment date:20180628

Year of fee payment:5

PR1001Payment of annual fee

St.27 status event code:A-4-4-U10-U11-oth-PR1001

Fee payment year number:5

PC1903Unpaid annual fee

St.27 status event code:A-4-4-U10-U13-oth-PC1903

Not in force date:20190702

Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903Unpaid annual fee

St.27 status event code:N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date:20190702

P22-X000Classification modified

St.27 status event code:A-4-4-P10-P22-nap-X000


[8]ページ先頭

©2009-2025 Movatter.jp