KR20100008936A - Portable terminal having dual camera and photographing method using the same - Google Patents

Abstract

Translated fromKorean

본 발명은 사진 촬영 기능을 구비하는 휴대 단말기에 관한 것으로, 특히 듀얼 카메라를 구비하여 촬영자의 표정을 인식하여 영상을 촬영하는 휴대 단말기 및 이를 이용한 촬영 방법에 관한 것이다.The present invention relates to a portable terminal having a photographing function, and more particularly, to a portable terminal having a dual camera and recognizing a facial expression of a photographer and a photographing method using the same.

본 발명은 듀얼 카메라를 구비하는 휴대 단말기에 있어서, 촬영자의 영상이 입력되는 제1카메라부와, 촬영 대상의 영상이 입력되는 제2카메라부와, 상기 제1카메라부를 통해 입력되는 상기 촬영자의 영상을 인식하여 상기 촬영 대상을 촬영하도록 상기 제2카메라부를 제어하는 제어부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a portable terminal including a dual camera, comprising: a first camera unit for inputting an image of a photographer, a second camera unit for inputting a target image, and an image of the photographer input through the first camera unit; And a controller to control the second camera unit to recognize the photographing target.

휴대 단말기에 구비되는 듀얼 카메라를 이용하여 촬영자의 영상을 인식하여 사진 촬영하므로 손떨림을 방지하여 제대로 된 영상을 획득할 수 있으며, 촬영자가 의도하는 순간에 피사체의 영상을 촬영할 수 있다는 이점이 있다.Since the camera captures a picture by using a dual camera provided in the portable terminal, it is possible to obtain a proper image by preventing camera shake, and to take an image of a subject at the moment the photographer intends.

Description

Translated fromKorean

듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영 방법{PORTABLE TERMINAL HAVING DUAL CAMERA AND PHOTOGRAPHING METHOD USING THE SAME} PORTABLE TERMINAL HAVING DUAL CAMERA AND PHOTOGRAPHING METHOD USING THE SAME

본 발명은 촬영 기능을 구비하는 휴대 단말기에 관한 것으로, 특히 듀얼 카메라를 구비하여 촬영자의 영상을 인식하여 촬영하는 휴대 단말기 및 이를 이용한 촬영 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a portable terminal having a photographing function, and more particularly to a portable terminal having a dual camera to recognize and photograph an image of a photographer and a photographing method using the same.

일반적으로, 휴대 단말기란 개인 이동 통신 단말기(Personal Mobile Communication Services Terminal), 개인용 디지털 단말기(Personal Digital Assistants: PDA), 스마트 폰(Smart Phone), 차세대 휴대 단말기(International Mobile Telecommunication 1000: IMT-1000), 및 무선 랜 단말기 등과 같은 개인이 휴대하면서 무선 통신을 비롯한 응용 프로그램을 이용한 다양한 기능의 구현이 가능한 단말기를 지칭한다.In general, a mobile terminal is a personal mobile communication services terminal, a personal digital assistant (PDA), a smart phone, a next generation mobile terminal (International Mobile Telecommunication 1000: IMT-1000), And it refers to a terminal that can implement a variety of functions using an application program, including wireless communication while being carried by an individual such as a wireless LAN terminal.

이러한 휴대 단말기는 급속한 기술 발전을 통해 초기의 단순한 음성 통화 및 단문메시지 전송 기능에서 영상 통화, 전자수첩기능, 음성 또는 영상저장기능, 인터넷 기능, 오락기능 등과 같이 다양한 기능을 구비하게 되었다. 그리고 이러한 기능들에 더하여 디지털카메라 기능이 추가로 구비된 휴대 단말기가 등장함으로써, 원하는 동영상 또는 정지영상을 손쉽게 촬영하여 저장하고, 이를 배경화면으로 사용하거나 이메일 또는 다른 휴대 단말기로 전송하는 기능 등이 사용자들에게 제공되고 있다.Such mobile terminals have various functions such as video calls, electronic organizers, voice or video storage functions, internet functions, entertainment functions, and the like in the early simple voice calls and short message transmission functions. In addition to these functions, a mobile terminal equipped with a digital camera function is introduced, so that a user can easily capture and store a desired video or still image, use it as a wallpaper, or send it to an e-mail or another mobile terminal. It is provided to them.

이러한 휴대 단말기는 남녀노소를 막론하고 전 세계 어디에서도 통용되는 기기로서, 항시 휴대하고 다녀야 할 필수품으로 인식되어 가고 있다. 때문에 휴대 단말기는 현대인의 일상생활에 필수적인 요소로 자리 잡고 있으며, 근래에는 휴대 단말기에 다양한 기능들이 구현되어 사용자의 편의를 증대시키고 있다.These portable terminals are widely used anywhere in the world, regardless of age or gender, and are recognized as necessities to be carried at all times. Therefore, the portable terminal has become an essential element in the daily life of modern people, and in recent years, various functions have been implemented in the portable terminal to increase user convenience.

최근에는 디지털 카메라 기능을 이용하여 디지털카메라에 입력되는 영상을 상대방의 휴대 단말기로 전송하여 상대방이 음성 통화와 함께 상대방의 영상을 볼 수 있는 화상 통화 시스템이 개발되어 사용되고 있으며, 이러한 화상 통화 시스템에 사용 가능한 휴대 단말기는 화상통화용 카메라 이외에 일반적인 사진 촬영을 위한 메가픽셀(Mega Pixel)카메라를 구비하고 있다.Recently, a video call system has been developed and used to transmit a video input from a digital camera to a mobile terminal of a counterpart using a digital camera function so that the counterpart can view the video of the counterpart along with a voice call. Possible portable terminals include a Mega Pixel camera for general photography in addition to a video call camera.

일반적으로 휴대 단말기를 이용하여 사진 촬영 시 촬영자는 휴대 단말기에 구비된 버튼을 클릭 하여 촬영하게 된다. 이 경우, 휴대 단말기의 카메라를 통해 영상을 촬영할 때에 촬영 버튼을 클릭 하여 촬영하게 되면 촬영자의 손떨림에 의해 제대로 된 영상을 촬영하는데 어려움이 있다.,In general, when taking a picture using a mobile terminal, the photographer clicks a button provided on the mobile terminal to take a picture. In this case, when the user clicks the shooting button while shooting an image through the camera of the mobile terminal, it is difficult to capture the correct image due to the camera shake.

따라서, 본 발명의 목적은 촬영자의 손떨림에 관계없이 촬영자가 의도한 시점에 정확하고 안정적인 영상 촬영을 수행할 수 있는 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a portable terminal having a dual camera capable of performing accurate and stable image capturing at an intended time regardless of a camera shake, and a photographing method using the same.

상기와 같은 목적을 달성하기 위해 본 발명의 실시 예에 따른 듀얼 카메라를 구비하는 휴대 단말기는, 촬영자의 영상이 입력되는 제1카메라부와, 촬영 대상의 영상이 입력되는 제2카메라부와, 상기 제1카메라부를 통해 입력되는 상기 촬영자의 영상을 인식하여 상기 촬영 대상을 촬영하도록 상기 제2카메라부를 제어하는 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a portable terminal including a dual camera according to an embodiment of the present invention includes a first camera unit to which an image of a photographer is input, a second camera unit to which an image of a photographing target is input, and the And a controller configured to recognize the image of the photographer input through the first camera unit and control the second camera unit to capture the photographing target.

상기와 같은 목적을 달성하기 위해 본 발명의 실시 예에 따른 듀얼 카메라를 구비하는 휴대 단말기의 촬영 방법은, 제1 카메라부를 통해 입력되는 촬영자의 영상 중 표정/동작을 검출하는 과정과, 상기 검출 과정에서 표정/동작이 검출되면 제2 카메라부를 제어하는 과정을 포함하는 것을 특징으로 한다.In order to achieve the above object, a photographing method of a mobile terminal having a dual camera according to an embodiment of the present invention includes a process of detecting an expression / action of an image of a photographer input through a first camera unit, and the detecting process If the facial expression / motion is detected, characterized in that it comprises the step of controlling the second camera unit.

휴대 단말기에 구비되는 듀얼 카메라를 이용하여 촬영자의 영상을 인식하여 사진 촬영을 하므로, 손떨림을 방지하여 제대로 된 영상을 획득할 수 있으며, 촬영자가 의도하는 순간에 피사체의 영상을 촬영할 수 있다는 이점이 있다.By taking a picture by recognizing the image of the photographer using a dual camera provided in the portable terminal, it is possible to obtain a proper image by preventing camera shake, there is an advantage that can take a picture of the subject at the moment the photographer intends .

이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생 략하도록 한다.In describing the embodiments, descriptions of technical contents that are well known in the art to which the present invention pertains and are not directly related to the present invention will be omitted. In addition, detailed descriptions of components having substantially the same configuration and function will be omitted.

마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size. Therefore, the present invention is not limited by the relative size or spacing drawn in the accompanying drawings.

본 발명의 상세한 설명에 앞서, 이하에서는 본 발명의 실시 예에 따른 듀얼 카메라를 구비하는 휴대 단말기를 이동통신 단말기로서 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 실시 예에 따른 상기 휴대 단말기는 단말기의 종류에 한정되는 것이 아니라, 듀얼 카메라를 구비할 수 있는 다양한 단말기 형태 예를 들면, 디지털 카메라, 이동통신 단말기, 이동 전화기, 유/무선 전화기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), 노트북(Notebook) 및 퍼스널 컴퓨터(Personal Computer), 3G 단말기 예를 들면, WCDMA(Wideband Code Division Multiple Access) 방식의 단말기 및 와이브로와 같은 휴대 인터넷 단말기, IMT-2000(International Mobile Telecommunication 2000) 단말기, GSM/GPRS(Global System For Mobile Communication/General Packet Radio Service), UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 모든 정보통신기기 및 멀티미디어 기기와, 그에 대한 응용에도 적용될 수 있음은 자명할 것이다.Prior to the detailed description of the present invention, the following describes a mobile terminal having a dual camera according to an embodiment of the present invention as a mobile communication terminal, but the present invention is not limited thereto. That is, the portable terminal according to an embodiment of the present invention is not limited to the type of terminal, but various terminal types that may include a dual camera, for example, a digital camera, a mobile communication terminal, a mobile phone, a wired / wireless phone. , Personal digital assistants (PDAs), smart phones, notebooks and personal computers, 3G terminals, for example, WCDMA-based terminals and WiBro All information communication devices and multimedia devices such as mobile Internet terminal, IMT-2000 (International Mobile Telecommunication 2000) terminal, Global System For Mobile Communication / General Packet Radio Service (GSM / GPRS) terminal, Universal Mobile Telecommunication Service (UMTS) terminal, etc. It will be apparent that the present invention can be applied to the same.

이하 본 발명의 제1 실시 예에 따라 듀얼 카메라를 구비하는 휴대 단말기(100)의 구성에 대해 도 1을 참조하여 설명한다.Hereinafter, a configuration of amobile terminal 100 having a dual camera according to the first embodiment of the present invention will be described with reference to FIG. 1.

도 1을 참조하면, 본 발명의 제1실시 예에 따른 휴대 단말기(100)는 제어부(110), 무선통신부(120), 오디오 처리부(130), 입력부(140), 제1,2카메라부(150,160), 제1,2 영상처리부(155,165), 표시부(170) 및 저장부(180)를 포함한다.Referring to FIG. 1, themobile terminal 100 according to the first embodiment of the present invention includes acontrol unit 110, awireless communication unit 120, anaudio processing unit 130, aninput unit 140, and a first and second camera unit ( 150, 160, first andsecond image processors 155 and 165, adisplay unit 170, and astorage unit 180.

특히, 제1,2카메라부(150,160)는 카메라 센서(미도시) 및 신호처리부(미도시)를 각각 포함한다.In particular, the first andsecond camera units 150 and 160 each include a camera sensor (not shown) and a signal processor (not shown).

무선통신부(120)는 휴대 단말기(100)의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선통신부(120)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 무선통신부(120)는 무선 채널을 통해 데이터를 수신하여 제어부(110)로 출력하고, 제어부(110)로부터 출력된 데이터를 수신하여 무선 채널을 통해 전송할 수 있다.Thewireless communication unit 120 performs a function of transmitting and receiving corresponding data for wireless communication of themobile terminal 100. Thewireless communication unit 120 may include an RF transmitter for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver for low noise amplifying and downconverting a received signal. In addition, thewireless communication unit 120 may receive data through a wireless channel and output the data to thecontroller 110, and receive the data output from thecontroller 110 and transmit the data through the wireless channel.

오디오 처리부(130)는 코덱(CODEC: Coder/Decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 따라서 오디오 처리부(130)는 휴대 단말기(100)의 음성 통화 시 제어부(110)에 수신되는 디지털 오디오신호를 오디오 코덱을 통해 아날로그신호로 변환하여 스피커를 통해 재생하며, 반대로 마이크로부터 입력되는 아날로그 오디오신호를 오디오 코덱을 통해 디지털 오디오신호로 변환하여 제어부(110)에 제공한다.Theaudio processor 130 may be configured of a codec (Coder / Decoder), and the codec may include a data codec for processing packet data and an audio codec for processing an audio signal such as voice. Therefore, theaudio processor 130 converts the digital audio signal received by thecontroller 110 into an analog signal through an audio codec and reproduces it through a speaker during a voice call of themobile terminal 100, and conversely, an analog audio signal input from a microphone. Is converted into a digital audio signal through an audio codec and provided to thecontrol unit 110.

입력부(140)는 휴대 단말기(100)를 제어하기 위한 사용자의 조작신호를 입력 받아 제어부(110)에게 전달한다. 이를 위해 입력부(140)는 숫자 및 문자 정보 등을 입력하기 위한 다수의 문자 키(도시되지 않음)들 및 휴대 단말기(100)의 동작 제어를 위한 제어 키(도시되지 않음)들을 구비한다.Theinput unit 140 receives a user's manipulation signal for controlling themobile terminal 100 and transmits the input signal to thecontroller 110. To this end, theinput unit 140 includes a plurality of character keys (not shown) for inputting numbers and text information, and control keys (not shown) for operation control of themobile terminal 100.

제1,2카메라부(150,160)의 카메라 센서는 렌즈를 통해 촬상되는 영상을 촬영하고 촬영된 광 신호를 전기적 신호로 변환한다. 카메라 센서로는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서가 이용될 수 있다.The camera sensors of the first andsecond camera units 150 and 160 capture an image photographed through the lens and convert the photographed optical signal into an electrical signal. As the camera sensor, a Charge Coupled Device (CCD) sensor or a Complementary Metal Oxide Semiconductor (CMOS) sensor may be used.

또한 본 발명의 실시 예에 따라 제1카메라부(150)는 화상통화모드를 수행할 때 사용되는 VGA급 해상도를 갖는 카메라, 제2카메라부(160)는 사진촬영을 수행할 때 사용되는 메가픽셀(MegaPixel)급 카메라가 될 수 있다.In addition, according to an embodiment of the present invention, thefirst camera unit 150 is a camera having a VGA resolution used when performing a video call mode, and thesecond camera unit 160 is a megapixel used when taking a photograph. Can be a MegaPixel-class camera.

신호처리부는 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환한다. 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다.The signal processor converts the analog image signal photographed from the camera sensor into digital data. The signal processor may be implemented as a digital signal processor (DSP), but is not limited thereto.

본 발명의 실시예에서 제1카메라부(150)는 제1 영상 예를 들면, 휴대 단말기(100)의 촬영자의 영상을, 제2카메라부(160)는 제2 영상 예를 들면, 사람 또는 사물과 같은 촬영 대상의 영상을 제어부(110)의 제어에 의해 각각 획득한다.In an embodiment of the present invention, thefirst camera unit 150 displays a first image, for example, an image of a photographer of themobile terminal 100, and thesecond camera unit 160 displays a second image, for example, a person or an object. Images of the photographing target as described above are acquired by the control of thecontroller 110, respectively.

제1,2영상처리부(155,165)는 각각 제1,2카메라부(150,160)에서 출력되는 영상신호를 프레임 단위로 처리한 영상 데이터를 표시부(170)의 표시 특성 및 크기에 알맞게 출력한다. 또한, 제1,2영상처리부(155,165)는 영상 데이터를 압축하여 제어부(110)로 전송한다. 이를 위하여 제1,2영상처리부(155,165)는 각각 영상 코 덱(CODEC)을 구비하며, 표시부(170)에 표시되는 영상 데이터를 설정된 방식으로 압축하거나 압축된 영상 데이터를 원래의 영상 데이터로 복원하는 기능을 수행한다. 여기서 영상 코덱은 JPEG 코덱, MPEG 코덱, 및 Wavelet 코덱 등이 이용될 수 있다.The first and secondimage processing units 155 and 165 output image data obtained by processing the image signals output from the first andsecond camera units 150 and 160 in units of frames, respectively, in accordance with the display characteristics and the size of thedisplay unit 170. In addition, the first and secondimage processing units 155 and 165 compress the image data and transmit the compressed image data to thecontrol unit 110. To this end, the first and secondimage processing units 155 and 165 respectively have an image codec and compress the image data displayed on thedisplay unit 170 in a set manner or restore the compressed image data to the original image data. Perform the function. The image codec may be a JPEG codec, an MPEG codec, a wavelet codec, or the like.

표시부(170)는 제1,2영상처리부(155,165)에서 출력되는 영상 데이터를 화면으로 표시한다. 여기서 표시부(170)는 LCD(Liquid Crystal Display)가 적용될 수 있으며, 이 경우 표시부(170)는 LCD 제어부, 영상 데이터를 저장할 수 있는 메모리 및 LCD 표시소자 등을 구비할 수 있다. 이때 LCD를 터치스크린 방식으로 구현하는 경우, 표시부(170)는 입력부로 동작될 수 있다. 이러한 표시부(170)는 제1카메라부(150)에서 수집한 제1 영상을 프리뷰 모드로 출력하는 화면 영역과, 제2카메라부(160)에서 수집한 제2 영상을 프리뷰 모드로 출력하는 화면 영역을 포함할 수 있다. 이때, 표시부(170)는 입력부(140)로부터 입력되는 신호에 따라 제1 영상 및 제2 영상 중 어느 하나의 영상만을 출력할 수 도 있다.Thedisplay unit 170 displays the image data output from the first and secondimage processing units 155 and 165 on the screen. Thedisplay unit 170 may be a liquid crystal display (LCD). In this case, thedisplay unit 170 may include an LCD controller, a memory capable of storing image data, and an LCD display device. In this case, when the LCD is implemented using the touch screen method, thedisplay unit 170 may be operated as an input unit. Thedisplay unit 170 outputs the first image collected by thefirst camera unit 150 in the preview mode, and the screen area outputs the second image collected by thesecond camera unit 160 in the preview mode. It may include. In this case, thedisplay unit 170 may output only one of the first image and the second image according to the signal input from theinput unit 140.

저장부(180)는 프로그램 메모리, 데이터 메모리들을 포함한다. 프로그램 메모리는 휴대 단말기(100)의 일반적인 동작을 제어하기 위한 프로그램들이 저장된다. 데이터 메모리에는 프로그램들을 수행하는 중에 발생되는 데이터들과, 제1,2카메라부(150,160)를 통해 입력된 정지 영상이나 동영상이 저장된다. 또한, 데이터 메모리에는 신호처리부에 로드되는 각종 프로그램 이미지들 즉, 화상 통화용 프로그램 이미지, 정지 영상용 프로그램 이미지, 및 동영상용 프로그램 이미지가 저장된다.Thestorage unit 180 includes a program memory and data memories. The program memory stores programs for controlling general operations of themobile terminal 100. In the data memory, data generated while executing programs and a still image or a video input through the first andsecond camera units 150 and 160 are stored. The data memory also stores various program images loaded into the signal processing unit, that is, a program image for video call, a program image for still image, and a program image for moving picture.

특히 본 발명의 실시 예에서 저장부(180)는 제1카메라부(150)를 통하여 입력 되는 촬영자의 표정을 인식 또는 촬영자의 동작을 인식할 수 있는 영상 인식 프로그램을 저장한다. 그리고 저장부(180)는 영상 인식 프로그램을 통하여 제1 영상을 인식하는 과정에서 기준이 될 수 있는 제1 기준 영상 및 제2 기준 영상을 저장할 수 있다. 제1 기준 영상은 기 설정된 촬영자의 표정 또는 동작에 관한 영상이며, 제2 기준 영상은 상기 제1 기준 영상과 다른 촬영자의 표정 또는 동작에 관한 영상이 될 수 있다. 상기 제1 기준 영상 및 제2 기준 영상은 휴대 단말기 제조 당시, 설계자에 의하여 설정될 수 있으며, 휴대 단말기 사용자에 의하여 설정될 수 도 있다. 기준 영상이 휴대 단말기 사용자에 의하여 설정되는 경우, 휴대 단말기는 촬영자가 제1 기준 영상 및 제2 기준 영상을 촬영하여 저장할 수 있도록 기준 영상 촬영 메뉴를 제공할 수 있다. 그리고 제1 기준 영상 및 제2 기준 영상은 영상 인식 프로그램에 의하여 인식되는 특정 인식 파라메터를 포함할 수 있다. 예를 들어, 제1 기준 영상은 촬영자의 영상 자체가 아니라, 촬영자의 표정을 결정하는 특정 요소들 예를 들면, 입꼬리 각도, 눈매, 치아, 눈 커플, 손 동작 등에 관한 특정 값이 될 수 있다.In particular, in the embodiment of the present invention, thestorage unit 180 stores an image recognition program for recognizing a facial expression of a photographer input through thefirst camera unit 150 or recognizing a photographer's motion. In addition, thestorage unit 180 may store the first reference image and the second reference image, which may serve as reference in the process of recognizing the first image through the image recognition program. The first reference image may be an image related to a facial expression or motion of a photographer, and the second reference image may be an image related to facial expression or motion of a photographer different from the first reference image. The first reference image and the second reference image may be set by a designer at the time of manufacture of the portable terminal, or may be set by a portable terminal user. When the reference image is set by the user of the portable terminal, the portable terminal may provide a reference image capturing menu so that the photographer can capture and store the first reference image and the second reference image. The first reference image and the second reference image may include specific recognition parameters recognized by an image recognition program. For example, the first reference image may not be an image of the photographer itself, but may be a specific value for determining the facial expression of the photographer, for example, a mouth angle, an eye, a tooth, an eye couple, and a hand motion.

제어부(110)는 휴대 단말기(100)의 전반적인 제어 동작을 수행한다. 또한, 본 발명에 따른 제어부(110)는 제1카메라부(150)가 수집한 제1 영상이 기 설정된 제1 기준 영상 또는 제2 기준 영상일 경우, 상기 기준 영상에 따라 제2카메라부(160)의 동작을 제어한다.Thecontroller 110 performs an overall control operation of themobile terminal 100. In addition, when the first image collected by thefirst camera unit 150 is a preset first reference image or second reference image, thecontrol unit 110 according to the present invention, according to the reference image, thesecond camera unit 160. Control the operation of

예를 들어 설명하면, 휴대 단말기(100)가 제1,2카메라부(150,160)를 동시에 이용하여 사진 촬영 시 제1카메라부(150)를 통하여 입력되는 영상 중 촬영자의 표 정 또는 동작을 인식하여, 그 결과를 이용하여 제2카메라부(160)를 제어하여 촬영을 수행하도록 한다. 이를 자세히 설명하면, 제어부(110)는 입력부(140)를 통해 제1,2카메라부(150,160)을 동시에 이용하여 촬영하는 기능을 지시하는 입력신호를 감지하면, 제1,2 카메라부(150,160)를 제어하여 각각 프리뷰 모드로 동작하도록 한다. 이때, 제어부(110)는 제1카메라부(150) 및 제1영상처리부(155)를 통해 입력되는 영상 중 촬영자의 표정 또는 동작 인식을 지속적으로 수행하고, 인식된 표정 또는 동작 중 제2카메라부(160)의 특정 동작 예를 들면, 초점 조절을 지시하는 제1 기준 영상에 해당하는 제1 표정 또는 동작이 검출되면 제2카메라부(160)를 제어하여 제2카메라부(160)를 통해 입력되는 촬영 대상의 영상에 대한 자동 초점 조절(auto-focusing) 또는 줌인/줌아웃 기능을 수행하도록 한다.For example, when theportable terminal 100 simultaneously takes pictures using the first andsecond camera units 150 and 160, theportable terminal 100 recognizes the expression or motion of the photographer among the images inputted through thefirst camera unit 150. By using the result, thesecond camera unit 160 is controlled to perform shooting. In detail, when thecontroller 110 detects an input signal indicating a function of photographing by simultaneously using the first andsecond camera units 150 and 160 through theinput unit 140, the first andsecond camera units 150 and 160 may be used. Control to operate in preview mode respectively. In this case, thecontroller 110 continuously recognizes the expression or motion of the photographer among the images inputted through thefirst camera unit 150 and the firstimage processing unit 155, and the second camera unit during the recognized expression or operation. For example, when the first facial expression or motion corresponding to the first reference image indicating the focus adjustment is detected, thesecond camera unit 160 is controlled to input through thesecond camera unit 160. Auto-focusing or zoom-in / zoom-out function is performed on the image of the photographing target.

이어, 제어부(110)는 제1카메라부(150) 및 제1영상처리부(155)를 통해 입력되는 영상을 인식하는 도중 제2카메라부(160)의 영상 촬영을 지시하는 제2 기준 영상에 해당하는 촬영자의 제2 표정 또는 동작을 검출하면 제2카메라부(160)부를 제어하여 촬영 대상에 대해 동영상 또는 정지영상을 촬영하도록 제어하고, 촬영된 영상을 저장부(180)에 저장하도록 한다.Subsequently, thecontroller 110 corresponds to the second reference image which instructs the image capturing of thesecond camera unit 160 while recognizing the images input through thefirst camera unit 150 and the firstimage processing unit 155. When the second facial expression or motion of the photographer is detected, thesecond camera unit 160 controls to capture a moving image or a still image of the photographing target, and stores the captured image in thestorage unit 180.

자동 초점 조절 및 촬영을 지시하는 표정 또는 동작의 예로서 윙크, 웃음 및 손 동작 등이 될 수 있으며, 이는 휴대 단말기(100)의 제조사 또는 촬영자에 의해 사전에 미리 설정 될 수 있다. 표정 또는 동작을 인식하는 방법은 이미 알려진 내용으로 생략하도록 한다.Examples of facial expressions or gestures instructing auto focusing and capturing may be winks, laughter, hand gestures, and the like, which may be preset in advance by a manufacturer or a photographer of themobile terminal 100. The method of recognizing an expression or motion is already known and should be omitted.

본 발명의 실시 예에서 제1카메라부(150)로부터 수집되는 영상이 제1 표정 또는 동작인지 여부를 인식한 후 제2카메라부(160)의 자동 초점 조절을 하고, 제1카메라부(150)의 수집 영상이 제2 표정 또는 동작인지 여부를 인식한 후 제2카메라부(160)의 촬영 동작을 수행을 하는 것으로 설명하였으나, 본 발명은 제1 표정 또는 동작 인식 없이 곧바로 제2 표정 또는 동작이 인식되면 자동 초점 조절 과정 없이 촬영대상에 대한 촬영을 수행할 수 있을 것이다.In the embodiment of the present invention, after recognizing whether the image collected from thefirst camera unit 150 is the first facial expression or motion, the auto focus of thesecond camera unit 160 is adjusted, and thefirst camera unit 150 is controlled. Although it has been described that the photographing operation of thesecond camera unit 160 is performed after recognizing whether the collected image of the second expression is a second facial expression or motion, the present invention immediately performs the second facial expression or motion without recognizing the first facial expression or motion. If it is recognized, the subject can be photographed without the auto focusing process.

또한, 제어부(110)는 표시부(170)를 제어하여 제1,2카메라부(150,160)을 통해 입력되는 영상을 표시부(170)에 선택적으로 표시할 수 있다. 즉, 제2카메라부(160)를 통해 입력되는 촬영 대상의 영상만을 표시부(170)에 표시하거나, 제1,2 카메라부(150,160)을 통해 입력되는 촬영자의 영상과 촬영 대상의 영상을 동시에 표시부(170)에 표시하도록 제어할 수 있다.In addition, thecontroller 110 may control thedisplay unit 170 to selectively display an image input through the first andsecond camera units 150 and 160 on thedisplay unit 170. That is, only the image of the photographing target input through thesecond camera unit 160 is displayed on thedisplay unit 170, or the image of the photographer and the photographing target image input through the first andsecond camera units 150 and 160 are simultaneously displayed. Control to display at 170.

요약하면, 본 발명의 제어부(110)는 제1카메라부(150) 및 제2카메라부(160)를 동시에 동작시킨 후, 제1카메라부(150)로부터 입력되는 제1 영상이 제1 기준 영상 또는 제2 기준 영상인지를 지속적으로 검색하다가, 제1 영상이 제1 기준 영상 또는 제2 기준 영상에 해당하는 영상인 경우, 상기 제1 기준 영상 또는 제2 기준 영상에 설정된 제2카메라부(160) 동작을 제어하도록 할 수 있다. 즉, 제어부(110)는 제1카메라부(150)의 제1 영상에 따라, 제2카메라부(160)가 수집하는 제2 영상에 대한 카메라 제어 동작 예를 들면, 자동 초점 조절, 줌인/줌아웃 및 영상 촬영 동작 중 어느 하나의 동작을 제어할 수 있다. 이에 따라, 본 발명의 휴대 단말기는 제2카메라부(160)로부터 입력되는 제2 영상을 촬영하는 과정에서, 셔터를 누르거나, 특정 기능 동작을 위한 버튼을 누르는 동작을 수행하지 않고서, 제2 영상을 촬 영할 수 있다.In summary, thecontroller 110 of the present invention simultaneously operates thefirst camera unit 150 and thesecond camera unit 160, and then the first reference image input from thefirst camera unit 150 is the first reference image. Alternatively, thesecond camera unit 160 set to the first reference image or the second reference image when the first image is the first reference image or the second reference image while continuously searching whether it is the second reference image. ) To control the operation. That is, thecontrol unit 110 controls the camera for the second image collected by thesecond camera unit 160 according to the first image of thefirst camera unit 150, for example, auto focusing, zoom in / zoom out. And any one operation of the image capturing operation. Accordingly, in the process of capturing the second image input from thesecond camera unit 160, the portable terminal of the present invention does not press the shutter or press a button for a specific function operation, and thus the second image. Can be taken.

이어서, 본 발명에 따른 듀얼 카메라를 구비하는 휴대 단말기를 이용한 촬영 방법에 대하여 실시 예를 통하여 자세히 설명한다. 촬영 방법에 대한 이하의 설명으로부터 전술한 휴대 단말기(100)의 구성 또한 보다 명확해질 것이다.Next, a photographing method using a mobile terminal having a dual camera according to the present invention will be described in detail with reference to the following embodiments. The configuration of the above-described portable terminal 100 will also be clearer from the following description of the photographing method.

이하 본 발명의 실시 예를 도 1 및 도 2를 참조하여 상세히 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2.

도 1 및 도 2를 참조하면, 휴대단말기(100)에서 입력부(140)를 통해 제1,2카메라부(150,160)를 동시에 이용하여 촬영하기 위한 촬영 모드가 선택되면 제어부(110)는 S210단계에서 이를 감지하고, S220단계에서 제1,2카메라부(150,160)를 프리뷰 모드로 전환한다. 이때, 제1,2카메라부(150,160)를 통해 수신되는 촬영자의 영상 및 촬영대상의 영상은 제어부(110)에 의해 선택적으로 표시부(170)에 표시될 수 있다. S210단계에서 촬영모드가 선택되지 않으면 전화발신 및 메세지 작성 등의 해당 동작을 수행한다(S295).Referring to FIGS. 1 and 2, when a shooting mode is selected for simultaneously using the first andsecond camera units 150 and 160 through theinput unit 140 in themobile terminal 100, thecontrol unit 110 determines in step S210. In operation S220, the first andsecond camera units 150 and 160 are switched to the preview mode. In this case, the image of the photographer and the image of the photographing object received through the first andsecond camera units 150 and 160 may be selectively displayed on thedisplay unit 170 by thecontroller 110. If the shooting mode is not selected in step S210 performs a corresponding operation such as telephone call and message writing (S295).

S220단계에서 제1,2카메라부(150,160)가 프리뷰 모드로 전환된 후 제어부(110)는 제1카메라부(150)를 통해 입력되는 촬영자 영상에 대한 표정 또는 동작에 해당하는 제1 영상에 대한 영상 인식을 수행한다(S230).In operation S220, after the first andsecond camera units 150 and 160 are switched to the preview mode, thecontroller 110 may perform an operation on the first image corresponding to the facial expression or operation of the photographer image input through thefirst camera unit 150. Image recognition is performed (S230).

그리고 제어부(110)는 S240단계에서 촬영자의 영상에 대한 표정 또는 동작에 해당하는 제1 영상 인식 도중에 사전에 정의된 자동 초점 조절을 지시하는 제1 표정 또는 동작에 해당하는 제1 기준 영상이 검출되는지 판단한다. S240단계에서 초점 조절을 지시하는 제1표정 또는 동작에 대응하는 제1 기준 영상이 검출되면 제어부(110)는 제2카메라부(160)을 제어하여 제2카메라부(160)을 통해 입력되는 촬영 대상의 영상에 대한 자동 초점 조절을 수행하도록 한다(S250).In operation S240, thecontroller 110 detects whether the first reference image corresponding to the first facial expression or motion indicating the pre-defined auto focus is detected during the first image recognition corresponding to the facial expression or the motion of the photographer. To judge. In operation S240, when the first reference image corresponding to the first expression or operation indicating the focus adjustment is detected, thecontroller 110 controls thesecond camera unit 160 to capture the image input through thesecond camera unit 160. Auto focusing of the image of the target is performed (S250).

자동 초점 조절을 수행하는 S250단계 이후 S260단계에서 제1카메라부(150)를 통해 입력되는 촬영자의 영상을 인식하는 도중에 사전에 정의된 촬영을 지시하는 제2 표정 또는 동작에 대응하는 제2 기준 영상이 검출되면 제어부(110)는 제2카메라부(160)을 제어하여 S250단계에서 자동 초점 조절이 된 영상을 촬영하도록 한다. 제어부(110)는 촬영된 영상을 제2영상처리부(165)를 통해 수신하여 저장부(180)에 저장되도록 휴대 단말기(100)를 제어한다.The second reference image corresponding to the second facial expression or motion instructing the predefined shooting while recognizing the image of the photographer input through thefirst camera unit 150 in step S260 after performing the auto focus adjustment in step S260. If detected, thecontrol unit 110 controls thesecond camera unit 160 to capture an image in which auto focus is adjusted in step S250. Thecontroller 110 controls theportable terminal 100 to receive the captured image through thesecond image processor 165 and to store the captured image in thestorage 180.

S260단계에서 제1카메라부(150)를 통해 입력되는 촬영자의 영상 중 촬영을 지시하는 제2 표정 또는 동작이 검출되지 않으면 제어부(110)는 S250단계를 계속 수행하도록 제2카메라부(160)를 제어한다.If a second facial expression or motion for instructing photographing is not detected among the images of the photographer input through thefirst camera unit 150 in step S260, thecontrol unit 110 controls thesecond camera unit 160 to continue performing step S250. To control.

S240단계에서 자동 초점 조절을 지시하는 제1 표정 또는 동작이 검출되지 않으면 제어부(110)는 S245단계로 진행하여 제1카메라부(150)를 통해 입력되는 영상 중 촬영자의 표정 또는 동작을 인식하는 도중에 촬영을 지시하는 제2 표정 또는 동작이 검출되는 판단한다. S245단계에서 촬영을 지시하는 제2 표정 또는 동작이 검출되면 제어부(110)는 S270단계를 수행하도록 휴대 단말기(100)를 제어한다. 즉, 제어부(110)는 제2 표정 또는 동작이 검출되면 초점 조절 동작 없이 곧바로 촬영 대상을 촬영하도록 제2카메라부(160)를 제어한다.If the first facial expression or motion indicating the automatic focus adjustment is not detected in step S240, thecontrol unit 110 proceeds to step S245 while recognizing the expression or motion of the photographer among the images inputted through thefirst camera unit 150. It is determined that a second facial expression or motion instructing photography is detected. If a second facial expression or motion for instructing photographing is detected in step S245, thecontroller 110 controls theportable terminal 100 to perform step S270. That is, when the second facial expression or motion is detected, thecontroller 110 controls thesecond camera unit 160 to immediately photograph the photographing target without the focus adjustment operation.

S245단계에서 제1카메라부(150)를 통해 입력되는 영상 중 촬영을 지시하는 촬영자의 제2 표정 또는 동작이 검출되지 않으면 제어부(110)는 제1카메라부(150)을 통해 입력되는 촬영자의 영상데이터에 대해 표정 또는 동작인식을 수행하는 S230단계를 수행하도록 휴대 단말기(100)을 제어한다.In operation S245, if the second facial expression or motion of the photographer instructing the shooting is not detected among the images input through thefirst camera unit 150, thecontroller 110 may input the image of the photographer input through thefirst camera unit 150. Theportable terminal 100 is controlled to perform step S230 of performing facial expression or motion recognition on the data.

S270단계 수행 후 제어부(110)는 S290단계로 진행하여 입력부(140)를 통해 촬영 모드를 종료하는 입력을 감지하면 휴대 단말기(100)의 촬영모드를 종료한다. 이때, 촬영모드를 종료하는 입력을 감지하지 못하면 제어부(110)는 S220단계로 회귀하여 제1,2카메라부(150,160)를 프리뷰 상태를 전환하도록 한다.After performing step S270, thecontrol unit 110 proceeds to step S290 and detects an input for ending the shooting mode through theinput unit 140 to end the shooting mode of themobile terminal 100. At this time, if it does not detect the input to end the shooting mode, thecontrol unit 110 returns to step S220 to switch the preview state of the first and second camera unit (150,160).

도 3은 본 발명의 제2 실시 예에 따른 휴대 단말기(300)의 내부 구성도를 개략적으로 나타내는 도면이다.3 is a diagram schematically illustrating an internal configuration of aportable terminal 300 according to a second embodiment of the present invention.

도 3을 참조하면, 본 발명의 제2 실시 예에 따른 휴대 단말기(300)는 주제어부(310), 부제어부(315), 무선통신부(120), 오디오 처리부(130), 입력부(140), 제1,2카메라부(150,160), 제1,2영상처리부(155,165), 표시부(170), 및 저장부(180)를 포함한다.Referring to FIG. 3, themobile terminal 300 according to the second embodiment of the present invention includes amain controller 310, asub-control unit 315, awireless communication unit 120, anaudio processor 130, aninput unit 140, The first andsecond camera units 150 and 160, the first and secondimage processing units 155 and 165, thedisplay unit 170, and thestorage unit 180 are included.

제2 실시 예에 따른 휴대 단말기(300)를 구성하는 무선통신부(120), 오디오 처리부(130), 입력부(140), 제1,2카메라부(150,160), 제1,2영상처리부(155,165), 표시부(170) 및 저장부(180)는 제1 실시 예에서 설명한 기능을 각각 수행한다.Thewireless communication unit 120, theaudio processing unit 130, theinput unit 140, the first andsecond camera units 150 and 160, and the first and secondimage processing units 155 and 165 constituting theportable terminal 300 according to the second embodiment. Thedisplay unit 170 and thestorage unit 180 perform the functions described in the first embodiment.

제1 실시 예와 차이는 휴대 단말기(300)가 두 개의 제어부(주제어부(310),부제어부(315))를 포함한다는 점이며, 두 개의 제어부 구성에 따른 동작의 차이는 아래에서 자세히 서술하도록 한다.The difference from the first embodiment is that themobile terminal 300 includes two control units (main control unit 310 and sub-control unit 315), and the difference in operation according to the configuration of the two control units will be described in detail below. do.

주제어부(310)는 휴대 단말기(300)의 전반적인 제어 동작을 수행한다. 또한, 본 발명에 따른 주제어부(310)는 휴대 단말기(300)가 제1,2카메라부(150,160)를 동시에 이용하여 사진 촬영 시 제1카메라부(150)를 통하여 입력되는 제1 영상이 기 설정된 촬영자의 표정 또는 동작에 대응하는 기준 영상인지 여부를 인식하고 인식된 결과를 부제어부(315)에 전달하여 부제어부(315)가 제2카메라부(160)를 제어하여 촬영을 수행하도록 한다.Themain controller 310 performs an overall control operation of themobile terminal 300. In addition, themain control unit 310 according to the present invention is the first image input through thefirst camera unit 150 when themobile terminal 300 takes a picture by using the first and second camera unit (150,160) at the same time. It recognizes whether the reference image corresponds to the set facial expression or motion of the photographer and transmits the recognized result to thesub-control unit 315 so that thesub-control unit 315 controls thesecond camera unit 160 to perform shooting.

이를 자세히 설명하면, 주제어부(310)는 입력부(140)를 통해 제1,2카메라부(150,160)를 동시에 이용한 촬영 모드 실행을 지시하는 입력을 감지하면, 제1카메라부(150)를 제어하여 프리뷰 모드로 동작하도록 한다. 이와 동시에 부제어부(315)에 제2카메라부(160)을 프리뷰 상태로 진입하도록 지시하는 신호를 출력한다.In detail, when themain controller 310 detects an input for instructing to execute a shooting mode using the first andsecond camera units 150 and 160 through theinput unit 140, themain controller 310 controls thefirst camera unit 150. Enable preview mode. At the same time, thesub-control unit 315 outputs a signal instructing thesecond camera unit 160 to enter the preview state.

그리고 주제어부(310)는 제1카메라부(150) 및 제1영상처리부(155)를 통해 입력되는 촬영자의 표정 또는 동작에 대한 영상 인식을 수행하고 인식된 제1 영상이 자동 초점 조절을 위한 표정 또는 동작에 해당하는 제1 기준 영상 인지, 촬영을 지시하기 위한 표정 또는 동작에 해당하는 제2 기준 영상인지 여부를 확인하고, 그 결과에 해당하는 신호를 부제어부(315)에 전달한다.Themain controller 310 performs image recognition on the expression or motion of the photographer input through thefirst camera unit 150 and the firstimage processing unit 155, and the recognized first image is an expression for auto focus adjustment. Alternatively, it is checked whether the first reference image corresponds to the operation, the facial expression for instructing photographing or the second reference image corresponding to the operation, and transmits a signal corresponding to the result to thesub-control unit 315.

자동 초점 조절 및 촬영을 지시하는 표정 또는 동작의 예로서 윙크, 웃음 및 손 동작 등이 될 수 있으며, 이는 휴대 단말기(300)의 제조사 또는 촬영자에 의해 사전에 미리 설정 될 수 있다.Examples of facial expressions or gestures for instructing auto focusing and capturing may be winks, laughter, hand gestures, and the like, which may be preset in advance by a manufacturer or a photographer of themobile terminal 300.

또한, 주제어부(310)는 표시부(170)를 제어하여 제1,2카메라부(150,160)를 통해 입력되는 영상을 표시부(170)에 선택적으로 표시하도록 제어한다. 즉, 주제어부(310)는 부제어부(315)와 통신하여 제2 카메라부(160) 및 제2영상처리부(165)를 통해 입력되는 촬영 대상의 영상만을 표시부(170)에 표시하거나, 제1,2카메라 부(150,160)을 통해 입력되는 촬영자의 영상과 촬영 대상의 영상을 동시에 표시부(170)에 표시할 수 있다.In addition, themain control unit 310 controls thedisplay unit 170 to selectively display an image input through the first andsecond camera units 150 and 160 on thedisplay unit 170. That is, themain controller 310 displays only the image of the photographing target input through thesecond camera unit 160 and thesecond image processor 165 in communication with thesub-control unit 315 or thefirst control unit 315. The image of the photographer and the image of the photographing object input through the twocamera units 150 and 160 may be simultaneously displayed on thedisplay unit 170.

부제어부(315)는 주제어부(310)로부터 입력되는 신호를 이용하여 제2카메라부(160) 및 제2영상처리부(165)를 제어한다. 즉, 주제어부(310)로부터 제2카메라부(160)를 프리뷰 모드로 전환하라는 신호가 입력되면 제2카메라부(160)를 제어하여 프리뷰 모드로 전환하도록 하여, 촬영대상의 영상이 입력되도록 한다. 그리고 부제어부(315)는 주제어부(310)로부터 제2카메라부(160)에 대해 자동 초점 조절 및 촬영을 지시하는 신호가 입력되면 제2카메라부(160) 및 제2영상처리부(165)를 제어하여 입력되는 촬영 대상의 영상에 대해 자동 초점 조절 및 정지영상/동영상 촬영을 수행한다.Thesub-control unit 315 controls thesecond camera unit 160 and the secondimage processing unit 165 using a signal input from themain control unit 310. That is, when a signal for switching thesecond camera unit 160 to the preview mode is input from themain control unit 310, thesecond camera unit 160 is controlled to switch to the preview mode so that the image of the photographing target is input. . Thesub-control unit 315 may control thesecond camera unit 160 and the secondimage processing unit 165 when a signal for instructing auto focusing and photographing is input to thesecond camera unit 160 from themain control unit 310. Auto focusing and still / movie shooting are performed on the image of the shooting target.

그리고 부제어부(315)는 촬영된 영상을 메모리(380)에 저장하도록 제어한다. 이때, 메모리(180)가 주제어부(310)에 직접 연결된 경우, 부제어부(315)는 제2카메라부(160) 및 제2영상처리부(165)를 통해 촬영되는 영상을 주제어부(310)에 전달하여 주제어부(310)을 통하여 저장할 수 있다.Thesub-control unit 315 controls to store the captured image in the memory 380. In this case, when thememory 180 is directly connected to themain control unit 310, thesub-control unit 315 may transmit the image captured by thesecond camera unit 160 and the secondimage processing unit 165 to themain control unit 310. It can be transferred and stored through themain control unit 310.

이어서, 본 발명의 제2 실시 예에 따른 듀얼 카메라를 구비하는 휴대 단말기를 이용한 촬영 방법을 자세히 설명한다. 촬영 방법에 대한 이하의 설명으로부터 전술한 휴대 단말기(300)의 구성 또한 보다 명확해질 것이다.Next, a photographing method using a mobile terminal having a dual camera according to a second embodiment of the present invention will be described in detail. The configuration of the above-described portable terminal 300 will also be clearer from the following description of the photographing method.

이하 본 발명의 제2 실시 예에 따른 휴대 단말기를 이용한 촬영방법을 도 3 및 도 4를 참조하여 상세히 설명한다.Hereinafter, a photographing method using a mobile terminal according to a second embodiment of the present invention will be described in detail with reference to FIGS. 3 and 4.

도 3 및 도 4를 참조하면, 휴대단말기(300)에서 입력부(140)을 통해 제1,2카 메라부(150,160)를 동시에 이용하여 영상데이터를 촬영하기 위한 촬영 모드가 선택되면 주제어부(310)는 S410단계에서 이를 감지하고, S415단계에서 제1카메라부(150)를 프리뷰 모드로 전환하도록 제어하여 촬영자를 포함하는 제1 영상이 입력되도록 한다. S410단계에서 촬영모드가 선택되지 않으면 주제어부(310)은 S480단계로 진행하여 전화 통화 및 메세지 전송과 같은 해당 동작을 수행한다.3 and 4, when the photographing mode for capturing image data using the first andsecond camera units 150 and 160 simultaneously through theinput unit 140 in theportable terminal 300 is selected, themain control unit 310 is selected. ) Detects this in step S410, and controls thefirst camera unit 150 to switch to the preview mode in step S415 so that the first image including the photographer is input. If the shooting mode is not selected in step S410, themain control unit 310 proceeds to step S480 to perform a corresponding operation, such as a phone call and message transmission.

주제어부(310)은 제1카메라부(150)를 프리뷰 모드로 전환한 후에 S420단계에서 부제어부(315)로 제2카메라부(160)를 프리뷰 모드로 전환하도록 지시하는 신호를 출력한다.After controlling thefirst camera unit 150 to the preview mode, themain controller 310 outputs a signal instructing thesub-control unit 315 to switch to the preview mode in step S420.

S425단계에서 주제어부(310)로부터 제2카메라부(160)를 프리뷰 모드로 전환하라는 신호를 입력받은 부제어부(315)는 제2카메라부(160)를 프리뷰 모드로 전환하도록 제어하여 제2 영상에 해당하는 촬영대상의 영상이 제2카메라부(160)로 입력되도록 한다. 이때, 제2카메라부(160)를 통해 입력되는 촬영대상의 영상은 제2영상처리부(165)에서 처리된 후 주제어부(310)의 표시부(170)에 대한 제어에 의해 표시부(170)에 표시될 수 있다. 또한, 도4에 표시되어 있지 않으나, 부제어부(315)는 제2카메라부(160)를 프리뷰 모드로 전환하도록 제어한 후 제2카메라부(160)가 프리뷰 모드로 전환되었다는 결과를 주제어부(310)에 통보할 수 있다.In operation S425, thesub-control unit 315, which has received a signal for switching thesecond camera unit 160 to the preview mode from themain controller 310, controls thesecond camera unit 160 to switch to the preview mode to control the second image. The image of the photographing target corresponding to thesecond camera unit 160 is input. In this case, the image of the photographing target input through thesecond camera unit 160 is processed by the secondimage processing unit 165 and then displayed on thedisplay unit 170 under control of thedisplay unit 170 of themain control unit 310. Can be. In addition, although not shown in FIG. 4, thesub-control unit 315 controls thesecond camera unit 160 to switch to the preview mode, and then thesub-control unit 315 controls the result that thesecond camera unit 160 is switched to the preview mode. 310 may be notified.

S430단계에서 주제어부(310)는 제1,2카메라부(150,160)가 프리뷰 모드로 전환된 후 제1카메라부(150)를 통해 입력되는 영상 중 촬영자의 표정 또는 동작을 인식한다. 즉, 주제어부(310)는 제1 영상에 대한 영상 인식을 수행한다.In operation S430, themain controller 310 recognizes the expression or the motion of the photographer among the images input through thefirst camera unit 150 after the first andsecond camera units 150 and 160 are switched to the preview mode. That is, themain controller 310 performs image recognition on the first image.

주제어부(310)는 촬영자의 영상에 해당하는 제1 영상을 영상 인식하는 도중 제2카메라부(160)의 자동 초점 조절을 위한 촬영자의 제1 표정 또는 동작에 대응하는 제1 기준 영상이 검출되면(S435단계), S445단계에서 제2카메라부(160)를 자동 초점 조절하도록 지시하는 신호를 부제어부(315)에 출력한다. 주제어부(310)로부터 자동 초점 조절을 지시하는 신호를 수신한 부제어부(315)는 S450단계에서 제2카메라부(160)를 통해 입력되는 촬영 대상의 제2 영상에 대해 초점 조절을 수행하도록 제2카메라부(160)을 제어한다. 그리고 도4에는 표시되지 않았으나, 부제어부(315)는 제2카메라부(160)을 자동 초점 조절하도록 제어한 후 자동 초점 조절이 되었다는 결과를 주제어부(310)에 통보할 수 있다.When themain control unit 310 detects the first image corresponding to the image of the photographer, when the first reference image corresponding to the first facial expression or motion of the photographer for the automatic focus adjustment of thesecond camera unit 160 is detected. In operation S435 and in operation S445, a signal instructing thesecond camera unit 160 to autofocus is output to thesub-control unit 315. Thesub-control unit 315 which receives the signal indicating the automatic focus adjustment from themain control unit 310 is configured to perform the focus adjustment on the second image of the photographing target input through thesecond camera unit 160 in step S450. 2 controls thecamera unit 160. Although not shown in FIG. 4, thesub-control unit 315 may control thesecond camera unit 160 to adjust the auto focus and then notify themain controller 310 of the auto focus adjustment.

S435단계에서 자동 초점 조절을 지시하는 촬영자의 제1 표정 또는 동작이 검출된 후 S455단계에서 제2카메라부(160)의 촬영 동작을 위한 촬영자의 제2 표정 또는 동작에 해당하는 제2 기준 영상이 검출되면, 주제어부(310)는 부제어부(315)에 제2카메라부(160)를 이용하여 촬영대상을 촬영하도록 지시하는 신호를 출력한다(S460단계).After the first facial expression or motion of the photographer instructing the auto focus adjustment is detected in operation S435, the second reference image corresponding to the second facial expression or motion of the photographer for the photographing operation of thesecond camera unit 160 is detected in operation S455. If detected, themain control unit 310 outputs a signal instructing thesub-control unit 315 to take a photographing target by using the second camera unit 160 (S460).

주제어부(310)로부터 촬영을 지시하는 신호를 수신한 부제어부(315)는 S465단계에서 촬영 대상을 촬영하도록 제2카메라부(160)을 제어한다.Thesub-control unit 315 receiving the signal instructing the photographing from themain controller 310 controls thesecond camera unit 160 to photograph the photographing target in operation S465.

S435단계에서 제1카메라부(150)를 통해 입력되는 영상 중 자동 초점 조절을 지시하는 촬영자의 제1표정 또는 동작이 검출되지 않으면, 주제어부(310)는 S440단계로 진행하여 촬영을 지시하는 촬영자의 제2표정 또는 동작이 검출되는지 판단한다. 촬영을 지시하는 촬영자의 제2 표정 또는 동작이 검출되면 주제어부(310)은 S460단계로 진행하여 부제어부(315)에 제2카메라부(160)을 제어하여 촬영대상을 촬 영하도록 지시하는 신호를 출력한다. 이후 부제어부(315)는 위에서 기술한 것과 같이 S465단계로 진행하여 촬영대상에 대해 정지영상 또는 동영상 촬영하도록 제2카메라부(160)을 제어한다.If the first expression or motion of the photographer instructing the auto focus adjustment is not detected among the images inputted through thefirst camera unit 150 in step S435, themain controller 310 proceeds to step S440 and instructs the photographer to shoot. It is determined whether the second expression or action of the is detected. When the second facial expression or motion of the photographer who instructs to shoot is detected, themain controller 310 proceeds to step S460 to control thesub-control unit 315 to control thesecond camera unit 160 to photograph the subject. Outputs Subsequently, thesub-control unit 315 proceeds to step S465 as described above to control thesecond camera unit 160 to shoot a still image or moving image for the shooting target.

S440단계에서 촬영을 지시하는 촬영자의 제2표정 또는 동작이 검출되지 않으면, 주제어부(310)은 S430단계로 진행하여 제1카메라부(150)을 통해 입력되는 촬영자의 영상에 대해 표정 또는 동작을 인식한다.If the second expression or motion of the photographer instructing the shooting is not detected in operation S440, themain control unit 310 proceeds to operation S430 to perform an expression or operation on the image of the photographer input through thefirst camera unit 150. Recognize.

S460단계에서 촬영을 지시하는 신호를 부제어부(315)로 출력한 주제어부(310)는 S470단계에서 입력부(140)을 통해 촬영모드를 종료하는 입력이 있는지 판단한다. 촬영모드를 종료하는 입력이 검출되면 주제어부(310)는 S475단계에서 부제어부(315)에 촬영 종료를 지시하는 신호를 출력한 후 촬영 모드를 종료한다. S470단계에서 촬영 모드 종료하라는 사용자의 지시가 검출되지 않으면 주제어부(310)는 S415단계로 회귀하여 위에서 기술한 것과 같이 촬영모드를 계속 유지한다.In operation S460, themain controller 310 outputs a signal instructing the photographing to thesub-control unit 315. In operation S470, themain controller 310 determines whether there is an input for ending the photographing mode through theinput unit 140. When the input for ending the shooting mode is detected, themain control unit 310 outputs a signal indicating the end of the shooting to thesub-control unit 315 in step S475 and ends the shooting mode. If the user's instruction to exit the shooting mode is not detected in step S470, themain control unit 310 returns to step S415 to continue the shooting mode as described above.

S475단계에서 주제어부(310)로부터 촬영모드 종료를 지시하는 신호를 수신한 부제어부(315)는 제2카메라부(160)의 동작을 종료하도록 제어한다.In operation S475, thesub-control unit 315 receiving the signal indicating the end of the shooting mode from themain controller 310 controls to end the operation of thesecond camera unit 160.

상술한 설명에서, 본 발명은 제2카메라부의 자동 초점 조절 기능 수행을 위한 제1 기준 영상, 촬영 지시를 위한 제2 기준 영상에 대하여 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명은 제2카메라부의 다양한 카메라 동작 예를 들면, 줌인/줌아웃, 파노라마 기능 등에 대한 다양한 기준 영상을 마련하고, 이러한 기준 영상을 기반으로 제1카메라부로부터 수집되는 영상과 비교하여 제 2카메라부 동작을 제어할 수 도 있다.In the above description, the present invention has been described with respect to the first reference image for performing the autofocus control function of the second camera unit, the second reference image for the shooting instruction, but the present invention is not limited thereto. That is, the present invention provides various reference images for various camera operations of the second camera unit, for example, zoom-in / zoom-out, panorama function, etc., and compares the second image with the image collected from the first camera unit based on the reference image. The camera unit may be controlled.

한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, it has been described with respect to the preferred embodiments of the present invention through the specification and drawings, although specific terms are used, this is only used in a general sense to easily explain the technical details of the present invention and to help the understanding of the invention. It is not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.

도 1은 본 발명의 제1 실시 예에 따른 휴대 단말기의 구성도,1 is a block diagram of a portable terminal according to a first embodiment of the present invention;

도 2는 본 발명의 제1 실시 예에 따른 휴대 단말기를 이용한 촬영 방법 흐름도,2 is a flowchart illustrating a photographing method using a mobile terminal according to a first embodiment of the present invention;

도 3은 본 발명의 제2 실시 예에 따른 휴대 단말기의 구성도,3 is a block diagram of a portable terminal according to a second embodiment of the present invention;

도 4는 볼 발명의 제2 실시 예에 따른 휴대 단말기를 이용한 촬영 방법 흐름도.4 is a flowchart illustrating a photographing method using a mobile terminal according to a second embodiment of the present invention.

Claims (13)

Translated fromKorean

듀얼 카메라를 구비하는 휴대단말기 있어서,In a portable terminal having a dual camera,제1 영상을 수집하는 제1카메라부와,A first camera unit collecting the first image;제2 영상을 수집하는 제2카메라부와,A second camera unit collecting a second image;상기 제1카메라부를 통해 입력되는 상기 제1 영상을 영상 인식하여 기 설정된 기준 영상에 해당하는지 여부를 확인하고, 그 결과에 따라, 상기 제2카메라부의 카메라 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대단말기.And a controller configured to recognize whether the first image input through the first camera unit corresponds to a preset reference image, and to control a camera operation of the second camera unit according to the result. A mobile terminal having a dual camera.제1 항에 있어서, 상기 제1 영상은 촬영자의 표정 및 동작 중 적어도 하나인 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대단말기.The mobile terminal of claim 1, wherein the first image comprises at least one of a facial expression and an operation of a photographer.제1 항에 있어서,상기 제어부는The method of claim 1, wherein the control unit상기 제1 영상이 기 설정된 제1 기준 영상인 경우, 제2 영상에 대해 초점을 조절하도록 제어하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대단말기.When the first image is a preset first reference image, the mobile terminal having a dual camera, characterized in that to control to adjust the focus on the second image.제1항 또는 제3 항에 있어서, 상기 제어부는The method of claim 1 or 3, wherein the control unit상기 제1 영상이 기 설정된 제2 기준 영상인 경우, 상기 제2 영상을 촬영하도록 상기 제2 카메라부를 제어하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기.And the second camera is configured to control the second camera to capture the second image when the first image is a preset second reference image.제1 항에 있어서, 상기 제어부는The method of claim 1, wherein the control unit주제어부와 부제어부로 구성되며, 상기 주제어부는 상기 제1카메라부를 통해 입력되는 상기 제1 영상을 인식하여 그 결과를 상기 부제어부로 출력하고, 상기 부제어부는 상기 주제어부로부터 수신된 상기 인식 결과를 이용하여 상기 제2카메라부의 카메라 동작을 제어하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기.And a main control unit and a sub control unit, wherein the main control unit recognizes the first image input through the first camera unit and outputs the result to the sub control unit, and the sub control unit receives the recognition result received from the main control unit. The mobile terminal having a dual camera, characterized in that for controlling the camera operation of the second camera unit using.제5항에 있어서,The method of claim 5,상기 인식결과가 초점 조절을 지시하면 상기 부제어부는 상기 제2 영상에 대한 초점 조절을 수행하도록 제2카메라부를 제어하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기.And the sub-control unit controls the second camera unit to perform the focus adjustment on the second image when the recognition result indicates the focus adjustment. 제5항에 있어서, The method of claim 5,상기 인식결과가 촬영을 지시하면 상기 부제어부는 상기 제2 영상을 촬영하도록 제2카메라부를 제어하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기.And the sub-control unit controls the second camera unit to capture the second image when the recognition result indicates the shooting.듀얼 카메라를 구비하는 휴대 단말기의 촬영 방법에 있어서In the photographing method of a mobile terminal having a dual camera제1 카메라부를 통해 입력되는 제1 영상이 기 설정된 기준 영상인지 여부를 확인하는 영상 인식 과정과,An image recognition process of checking whether the first image input through the first camera unit is a preset reference image;상기 영상 인식 과정에서 상기 기준 영상이 검출되면 제2 카메라부의 카메라 동작을 제어하는 제어 과정을 포함하는 듀얼 카메라를 구비하는 휴대 단말기의 촬영 방법.And a control process of controlling a camera operation of a second camera unit when the reference image is detected in the image recognition process.제 8항에 있어서, 상기 제어과정은The method of claim 8, wherein the control process상기 영상 인식과정에서 상기 제1 영상이 초점 조절을 지시하는 제1 기준 영상에 해당하는 경우, 상기 제2카메라부로 입력되는 영상에 대해 초점을 조절하는 과정인 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기의 촬영 방법.When the first image corresponds to the first reference image indicating the focus adjustment in the image recognition process, it is a process for adjusting the focus on the image input to the second camera unit, characterized in that the portable with a dual camera How to shoot on the terminal.제 8항 또는 제 9항에 있어서, 상기 제어과정은The method of claim 8 or 9, wherein the control process상기 영상 인식과정에서 상기 제1 영상이 촬영을 지시하는 제2 기준 영상에 해당하는 경우, 상기 제2 카메라부로 입력되는 영상을 촬영하는 과정인 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기의 촬영 방법.In the image recognition process, if the first image corresponds to the second reference image to instruct to shoot, the method of capturing an image input to the second camera unit, characterized in that the recording method of the mobile terminal having a dual camera .제 8항에 있어서,The method of claim 8,상기 제1카메라부와 제2카메라부를 프리뷰 모드로 전환하는 과정과,Switching the first camera unit and the second camera unit to a preview mode;상기 프리뷰 모드에서 상기 제1카메라부를 통해 입력된 제1 영상에 대한 영상 인식을 수행하는 과정을 더 포함하는 것으로 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기의 촬영 방법.And recognizing an image of the first image input through the first camera unit in the preview mode.제 11항에 있어서, 상기 전환 과정은,The method of claim 11, wherein the conversion process,입력신호에 따라 주제어부에서 상기 제1카메라부를 프리뷰 모드로 전환하도록 제어하는 과정,Controlling the main controller to switch to the preview mode according to an input signal;상기 주제어부에서 상기 제2카메라부를 프리뷰 모드로 전환하도록 지시하는 신호를 부제어부로 출력하는 과정과,Outputting a signal to the sub-control unit instructing the main controller to switch the second camera unit to the preview mode;상기 부제어부에서 상기 제2카메라부를 프리뷰 모드로 전환하도록 제어하는 과정으로 구성되는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대 단말기의 촬 영 방법.And controlling the second control unit to switch to the preview mode in the sub-control unit.제8 항에 있어서, 상기 영상 인식 과정은,The method of claim 8, wherein the image recognition process comprises:상기 제1 영상에 포함된 촬영자의 표정 및 동작 중 적어도 하나를 영상 인식하는 과정과, 상기 인식된 촬영자의 표정 및 동작 중 적어도 하나가 기 설정된 기준 영상에 대응하는 표정 및 동작 중 적어도 하나인지 비교하는 과정을 포함하는 것을 특징으로 하는 듀얼 카메라를 구비하는 휴대단말기의 촬영 방법.Image recognition of at least one of a facial expression and an operation of the photographer included in the first image and comparing whether at least one of the recognized facial expression and the operation of the photographer is at least one of an expression and an operation corresponding to a preset reference image Shooting method of a mobile terminal having a dual camera, characterized in that it comprises a process.

Images