KR20240120602A - Electronic apparautus obtaining image through image sensor and operating method thereof - Google Patents

Abstract

Translated fromKorean

다양한 실시예들에 따른 전자 장치(electronic device)는 이미지 센서를 포함하는 카메라, 명령어들을 저장하는 메모리, 및 상기 통신 회로, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 선택된 촬영 모드에 따라서 영상 데이터를 출력하도록 이미지 센서를 제어하고, 촬영 모드에 따라서 출력된 영상 데이터를 기계 학습된 모델에 기초하여 처리하거나 영상 신호 처리를 수행하여 이미지를 획득하도록 구성될 수 있다. 그 외에도 다양한 실시 예들이 가능할 수 있다.An electronic device according to various embodiments includes a camera including an image sensor, a memory storing instructions, and a processor operatively connected to the communication circuit and the memory, wherein the processor is configured to capture selected images. It may be configured to control the image sensor to output image data according to the shooting mode, process the image data output according to the shooting mode based on a machine learned model, or perform image signal processing to obtain an image. In addition, various embodiments may be possible.

Description

Translated fromKorean

이미지 센서를 통해서 이미지를 획득하는 전자 장치 및 그 동작 방법{ELECTRONIC APPARAUTUS OBTAINING IMAGE THROUGH IMAGE SENSOR AND OPERATING METHOD THEREOF}Electronic device for acquiring an image through an image sensor and its operating method {ELECTRONIC APPARAUTUS OBTAINING IMAGE THROUGH IMAGE SENSOR AND OPERATING METHOD THEREOF}

본 개시는 이미지 센서를 통해서 이미지를 획득하는 전자 장치 및 그 동작 방법에 관한 것이다.This disclosure relates to an electronic device that acquires an image through an image sensor and a method of operating the same.

전자 장치는 광 신호를 전기적 신호로 변환하는 이미지 센서의 출력으로부터 이미지 데이터를 획득할 수 있다. 이미지 센서는 색상 필터와 수광 소자를 포함할 수 있다. 수광 소자는 특정 색상에 상응하는 색상 필터를 통과한 광을 수신하고, 수신된 광에 상응하는 전기적 신호를 출력할 수 있다. 전자 장치는 이미지 센서에서 출력되는 값에 기초하여 결정되는 화소 값들의 집합을 포함하는 이미지 데이터를 획득할 수 있다. 이미지 데이터의 화질은 이미지 데이터에 포함된 화소들의 수에 영향을 받으며, 보다 높은 화질을 가지는 이미지 데이터를 획득하기 위해 높은 화소 개수를 가지는 이미지 데이터를 획득하기 위한 장치 및 방법들이 개발되고 있다.An electronic device can obtain image data from the output of an image sensor that converts optical signals into electrical signals. The image sensor may include a color filter and a light receiving element. The light receiving element may receive light that has passed through a color filter corresponding to a specific color, and output an electrical signal corresponding to the received light. The electronic device may acquire image data including a set of pixel values determined based on values output from the image sensor. The quality of image data is affected by the number of pixels included in the image data, and in order to obtain image data with higher quality, devices and methods for acquiring image data with a high number of pixels are being developed.

수광 소자는 특정 색상의 색상 필터를 투과한 광을 수신하므로 하나의 수광 소자를 통해서 검출된 정보는 한 개의 색상에 대응된다. 색상 필터는 최종적으로 획득되는 이미지가 색상을 표현할 수 있도록 하는 역할을 하나, 최종적으로 획득된 이미지가 이미지 센서에 배치된 전체 수광 소자의 수보다 낮은 해상도로 표현되도록 하는 원인이 될 수 있다. 색상의 재현과 해상도는 서로 상충하는 (trade off) 관계에 놓일 수 있다. 해상도 감소를 줄이면서도 색상을 정확하게 재현하기 위한 패턴으로 베이어 패턴(bayer pattern)이 널리 사용되어 왔다.Since the light receiving element receives light that has passed through a color filter of a specific color, information detected through one light receiving element corresponds to one color. The color filter plays a role in allowing the finally acquired image to express color, but may cause the finally acquired image to be expressed at a resolution lower than the total number of light receiving elements disposed on the image sensor. Color reproduction and resolution can be in a trade-off relationship. The Bayer pattern has been widely used as a pattern to accurately reproduce colors while reducing resolution loss.

상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련하여 종래 기술(prior art)로서 적용될 수 있는지에 관해서는 어떠한 주장이나 결정이 제기되지 않는다.The above information may be provided as background art for the purpose of aiding understanding of the present disclosure. No claim or determination is made as to whether any of the foregoing may apply as prior art with respect to the present disclosure.

일 실시예에서, 전자 장치는 렌즈부 및 상기 렌즈부를 통과한 광 신호를 디지털 신호로 전환하는 이미지 센서를 포함하는 카메라; 인스트럭션들을 저장하는 메모리; 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 이미지 센서는 복수개의 수광 소자들, 복수개의 마이크로 렌즈들 및 복수개의 색상 채널들을 포함하는 색상 필터를 포함할 수 있다. 상기 복수개의 수광 소자들은 M x N 배열로 하나의 제1 마이크로 렌즈에 대응되도록 배치된 복수개의 포토 다이오드들을 포함할 수 있다. M 또는 N 중 적어도 하나는 2 이상의 자연수일 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에, 상기 카메라를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에, 상기 결정된 촬영 모드가 제1 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 상기 이미지 센서를 제어하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에, 상기 결정된 촬영 모드가 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하도록 상기 이미지 센서를 제어할 수 있다. 상기 제2 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제2 해상도에 상응하는 제2 이미지를 획득하도록 구성될 수 있다.In one embodiment, the electronic device includes a camera including a lens unit and an image sensor that converts an optical signal passing through the lens unit into a digital signal; memory to store instructions; And it may include at least one processor. The image sensor may include a plurality of light receiving elements, a plurality of micro lenses, and a color filter including a plurality of color channels. The plurality of light receiving elements may include a plurality of photo diodes arranged in an M x N array to correspond to one first micro lens. At least one of M or N may be a natural number of 2 or more. The at least one processor may be configured to determine a shooting mode corresponding to the resolution of an image to be captured using the camera when executing the instructions. When executing the instructions, the at least one processor selects a first light receiving element corresponding to one of the plurality of photo diodes based on the determined photographing mode corresponding to the first resolution. The image sensor may be configured to output first raw image data corresponding to the read first data so that the output corresponds to one pixel. When executing the instructions, the at least one processor is configured to obtain a first image corresponding to the first resolution based on a result of inputting the first raw image data to a model generated through machine learning. It can be configured. The at least one processor, when executing the instructions, operates on at least two photo diodes among the plurality of photo diodes based on the determined shooting mode corresponding to a second resolution lower than the first resolution. The image sensor may be controlled to output second raw image data obtained by performing at least one image processing on the read second data so that the output of the corresponding second light receiving elements corresponds to one pixel. It may be configured to obtain a second image corresponding to the second resolution by performing image signal processing on the second raw image data.

일 실시예에 따라 이미지 센서를 포함하는 카메라를 포함하는 전자 장치를 동작하는 방법은, 상기 카메라를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 결정된 촬영 모드가 제1 해상도에 상응하는 것에 기초하여, 상기 이미지 센서의 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 상기 이미지 센서를 제어하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 결정된 촬영 모드가 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제2 해상도에 상응하는 제2 이미지를 획득하는 동작을 포함할 수 있다. 상기 이미지 센서는 M x N 배열로 하나의 제1 마이크로 렌즈에 대응되도록 배치된 복수개의 포토 다이오드들을 포함하는 복수개의 수광 소자들을 포함할 수 있다. M 또는 N 중 적어도 하나는 2 이상의 자연수일 수 있다.According to one embodiment, a method of operating an electronic device including a camera including an image sensor may include determining a capturing mode corresponding to the resolution of an image to be captured using the camera. The method is based on the fact that the determined shooting mode corresponds to the first resolution, and the output of the first light receiving element corresponding to one photo diode among the plurality of photo diodes of the image sensor is read so that it corresponds to one pixel. It may include controlling the image sensor to output first raw image data corresponding to the first data. The method may include acquiring a first image corresponding to the first resolution based on a result of inputting the first raw image data into a model created through machine learning. The method is based on the fact that the determined shooting mode corresponds to a second resolution lower than the first resolution, and the output of the second light receiving elements corresponding to at least two photo diodes among the plurality of photo diodes is one pixel. It may include an operation of outputting second raw image data obtained by performing at least one image processing on the read second data to correspond to . The method may include performing image signal processing on the second raw image data to obtain a second image corresponding to the second resolution. The image sensor may include a plurality of light receiving elements including a plurality of photo diodes arranged in an M x N array to correspond to one first micro lens. At least one of M or N may be a natural number of 2 or more.

일 실시예에 따른 이미지 센서는, 복수개의 수광 소자들; 복수개의 마이크로 렌즈들; 및 복수개의 색상 채널들을 포함하는 색상 필터를 포함할 수 있다. 상기 복수개의 수광 소자들은 M x N 배열로 하나의 제1 마이크로 렌즈에 대응되도록 배치된 복수개의 포토 다이오드들을 포함할 수 있다. M 또는 N 중 적어도 하나는 2 이상의 자연수일 수 있다. 상기 이미지 센서는, 제1 해상도에 상응하는 제1 촬영 모드에 기초하여 동작하는 동안, 상기 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 구성될 수 있다. 상기 이미지 센서는, 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 제2 촬영 모드에 기초하여 동작하는 동안, 상기 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드들에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하도록 구성될 수 있다.An image sensor according to an embodiment includes a plurality of light receiving elements; a plurality of micro lenses; and a color filter including a plurality of color channels. The plurality of light receiving elements may include a plurality of photo diodes arranged in an M x N array to correspond to one first micro lens. At least one of M or N may be a natural number of 2 or more. While the image sensor operates based on a first capturing mode corresponding to a first resolution, the output of the first light receiving element corresponding to one photo diode of the plurality of photo diodes is read so that the output corresponds to one pixel. It may be configured to output first raw image data corresponding to the first data. While operating based on a second capturing mode corresponding to a second resolution lower than the first resolution, the image sensor outputs second light receiving elements corresponding to at least two photo diodes among the plurality of photo diodes. It may be configured to output second raw image data obtained by performing at least one image processing on the second data read to correspond to this one pixel.

일 실시예에 따른 컴퓨터로 판독 가능한 비일시적 기록매체는, 전자 장치가 실행 시에 상술한 방법을 수행하도록 하는 컴퓨터 프로그램을 기록한 것일 수 있다.A non-transitory computer-readable recording medium according to an embodiment may record a computer program that causes an electronic device to perform the above-described method when executed.

도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치를 도시한 블록도이다.
도 2는 다양한 실시예들에 따른, 카메라 모듈을 예시하는 블록도이다.
도 3은 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 4는 일 실시예에 따른 이미지 센서의 구성을 개념적으로 도시한 도면이다.
도 5는 일 실시예에 따른 이미지 센서에 배치된 수광 소자, 마이크로 렌즈 및 색상 필터의 패턴에 대한 예시를 도시한 도면이다.
도 6은 일 실시예에 따른 이미지 센서에 포함된 픽셀들의 값을 출력하기 위한 회로의 예시를 도시한 회로도이다.
도 7은 일 실시예에 따른 이미지 센서에 포함된 픽셀들의 값을 출력하기 위한 회로의 다른 예시를 도시한 회로도이다.
도 8은 일 실시예에 따른 전자 장치가 이미지를 획득하는 프로세스를 도시한 흐름도이다.
도 9는 일 실시예에 따른 전자 장치의 이미지 센서에 포함된 수광 소자들에 할당되는 렌즈 동공에 대한 개념도이다.
도 10은 일 실시예에 따른 전자 장치가 촬영 모드를 선택하는 프로세스를 도시한 흐름도이다.
도 11은 일 실시예에 따른 전자 장치가 표시하는 해상도 선택 사용자 인터페이스를 포함하는 화면의 예시를 도시한 도면이다.
도 12는 일 실시예에 따른 전자 장치가 상황 정보에 기초하여 이미지를 획득하는 프로세스를 도시한 흐름도이다.
도 13은 일 실시예에 따른 전자 장치가 이미지를 획득하기 위해 수행하는 영상 신호 처리 과정을 개념적으로 도시한 도면이다.
도 14는 일 실시예에 따른 전자 장치가 이미지 센서의 동작에 관련된 세 가지 모드에 기초하여 이미지를 획득하는 프로세스를 도시한 흐름도이다.1 is a block diagram illustrating an electronic device in a network environment, according to various embodiments.
2 is a block diagram illustrating a camera module, according to various embodiments.
Figure 3 is a block diagram showing the configuration of an electronic device according to an embodiment.
FIG. 4 is a diagram conceptually illustrating the configuration of an image sensor according to an embodiment.
FIG. 5 is a diagram illustrating examples of patterns of a light receiving element, a micro lens, and a color filter disposed in an image sensor according to an embodiment.
FIG. 6 is a circuit diagram illustrating an example of a circuit for outputting values of pixels included in an image sensor according to an embodiment.
FIG. 7 is a circuit diagram illustrating another example of a circuit for outputting values of pixels included in an image sensor according to an embodiment.
FIG. 8 is a flowchart illustrating a process in which an electronic device acquires an image, according to one embodiment.
FIG. 9 is a conceptual diagram of lens pupils allocated to light-receiving elements included in an image sensor of an electronic device according to an embodiment.
FIG. 10 is a flowchart illustrating a process in which an electronic device selects a shooting mode, according to an embodiment.
FIG. 11 is a diagram illustrating an example of a screen including a resolution selection user interface displayed by an electronic device according to an embodiment.
FIG. 12 is a flowchart illustrating a process in which an electronic device acquires an image based on context information, according to an embodiment.
FIG. 13 is a diagram conceptually illustrating an image signal processing process performed by an electronic device to acquire an image, according to an embodiment.
FIG. 14 is a flowchart illustrating a process in which an electronic device acquires an image based on three modes related to the operation of an image sensor, according to an embodiment.

본 개시에서, '픽셀'이라 함은 디지털 영상을 구성하는 최소 단위를 의미할 수 있다. 영상의 해상도는 그 영상에 포함된 픽셀의 수로 나타낼 수 있다. 예를 들어, 영상이 a개의 행들과 b 개의 열들로 배열된 a x b 개의 픽셀들로 구성된 경우, 영상의 해상도가 a x b 라고 지시될 수 있다.In the present disclosure, ‘pixel’ may refer to the minimum unit that constitutes a digital image. The resolution of an image can be expressed by the number of pixels included in the image. For example, if an image consists of a x b pixels arranged in a rows and b columns, the resolution of the image may be indicated as a x b.

도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.1 is a block diagram of an electronic device 101 in anetwork environment 100, according to various embodiments. Referring to FIG. 1, in thenetwork environment 100, the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of theelectronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with theelectronic device 104 through the server 108. According to one embodiment, the electronic device 101 includes a processor 120, a memory 130, aninput module 150, anaudio output module 155, a display module 160, an audio module 170, and a sensor module ( 176),interface 177,connection terminal 178, haptic module 179,camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197. In some embodiments, at least one of these components (eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101. In some embodiments, some of these components (e.g., sensor module 176,camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or operations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134. According to one embodiment, the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor). For example, if the electronic device 101 includes a main processor 121 and a secondary processor 123, the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can. The auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. The auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled. According to one embodiment, co-processor 123 (e.g., image signal processor or communication processor) may be implemented as part of another functionally related component (e.g.,camera module 180 or communication module 190). there is. According to one embodiment, the auxiliary processor 123 (eg, neural network processing unit) may include a hardware structure specialized for processing artificial intelligence models. Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108). Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited. An artificial intelligence model may include multiple artificial neural network layers. Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above. In addition to hardware structures, artificial intelligence models may additionally or alternatively include software structures.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto. Memory 130 may include volatile memory 132 or non-volatile memory 134.

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.The program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.

입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.Theinput module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user). Theinput module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).

음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.Thesound output module 155 may output sound signals to the outside of the electronic device 101. Thesound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback. The receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.

디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.The display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user). The display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device. According to one embodiment, the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through theinput module 150, thesound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.The sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do. According to one embodiment, the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.

인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) with an external electronic device (e.g., the electronic device (102)). In one embodiment, the interface (177) may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.Theconnection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102). According to one embodiment, theconnection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses. According to one embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.Thecamera module 180 can capture still images and moving images. According to one embodiment, thecamera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 can manage power supplied to the electronic device 101. According to one embodiment, the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).

배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the electronic device 101. According to one embodiment, the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102,electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication. According to one embodiment, the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included. Among these communication modules, the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an externalelectronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN). These various types of communication modules may be integrated into one component (e.g., a single chip) or may be implemented as a plurality of separate components (e.g., multiple chips). The wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as thefirst network 198 or the second network 199. The electronic device 101 can be confirmed or authenticated.

무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology). NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported. The wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data rate. The wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna. The wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199). According to one embodiment, the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC. Example: Downlink (DL) and uplink (UL) each of 0.5 ms or less, orround trip 1 ms or less) can be supported.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.The antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device). According to one embodiment, the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB). According to one embodiment, the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as thefirst network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna. According to some embodiments, in addition to the radiator, other components (eg, radio frequency integrated circuit (RFIC)) may be additionally formed as part of the antenna module 197.

다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 197 may form a mmWave antenna module. According to one embodiment, a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and signal ( (e.g. commands or data) can be exchanged with each other.

일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. According to one embodiment, commands or data may be transmitted or received between the electronic device 101 and the externalelectronic device 104 through the server 108 connected to the second network 199. Each of the externalelectronic devices 102 or 104 may be of the same or different type as the electronic device 101. According to one embodiment, all or part of the operations performed in the electronic device 101 may be executed in one or more of the externalelectronic devices 102, 104, or 108. For example, when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 may perform the function or service instead of executing the function or service on its own. Alternatively, or additionally, one or more external electronic devices may be requested to perform at least part of the function or service. One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101. The electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request. For this purpose, for example, cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology can be used. The electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the externalelectronic device 104 may include an Internet of Things (IoT) device. Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the externalelectronic device 104 or server 108 may be included in the second network 199. The electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be of various types. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.The various embodiments of this document and the terms used herein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various changes, equivalents, or replacements of the embodiments. In connection with the description of the drawings, similar reference numbers may be used for similar or related components. The singular form of a noun corresponding to an item may include one or more of the items, unless the relevant context clearly indicates otherwise. As used herein, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A Each of phrases such as “at least one of , B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish one component from another, and to refer to those components in other respects (e.g., importance or order) is not limited. One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.” Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.

본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.The term “module” used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these. For example, a processor (e.g., processor 120) of a device (e.g., electronic device 101) may call at least one command among one or more commands stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called. The one or more instructions may include code generated by a compiler or code that can be executed by an interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online. In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is. According to various embodiments, one or more of the components or operations described above may be omitted, or one or more other components or operations may be added. Alternatively or additionally, multiple components (eg, modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.Figure 2 is a block diagram 200 illustrating acamera module 180, according to various embodiments. Referring to FIG. 2, thecamera module 180 includes alens assembly 210, a flash 220, an image sensor 230, an image stabilizer 240, a memory 250 (e.g., buffer memory), or an image signal processor. It may include (260). Thelens assembly 210 may collect light emitted from a subject that is the target of image capture.Lens assembly 210 may include one or more lenses. According to one embodiment, thecamera module 180 may include a plurality oflens assemblies 210. In this case, thecamera module 180 may form, for example, a dual camera, a 360-degree camera, or a spherical camera. Some of the plurality oflens assemblies 210 have the same lens properties (e.g., angle of view, focal length, autofocus, f number, or optical zoom), or at least one lens assembly is different from another lens assembly. It may have one or more lens properties that are different from the lens properties of . Thelens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.

플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.The flash 220 may emit light used to enhance light emitted or reflected from a subject. According to one embodiment, the flash 220 may include one or more light emitting diodes (eg, red-green-blue (RGB) LED, white LED, infrared LED, or ultraviolet LED), or a xenon lamp. The image sensor 230 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through thelens assembly 210 into an electrical signal. According to one embodiment, the image sensor 230 is one image sensor selected from among image sensors with different properties, such as an RGB sensor, a BW (black and white) sensor, an IR sensor, or a UV sensor, and the same It may include a plurality of image sensors having different properties or a plurality of image sensors having different properties. Each image sensor included in the image sensor 230 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.

이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 일실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.The image stabilizer 240 moves at least one lens or image sensor 230 included in thelens assembly 210 in a specific direction in response to the movement of thecamera module 180 or the electronic device 101 including the same. The operation characteristics of the image sensor 230 can be controlled (e.g., adjusting read-out timing, etc.). This allows to compensate for at least some of the negative effects of the movement on the image being captured. According to one embodiment, the image stabilizer 240 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside thecamera module 180. It is possible to detect such movement of thecamera module 180 or the electronic device 101 using . According to one embodiment, the image stabilizer 240 may be implemented as, for example, an optical image stabilizer. The memory 250 may at least temporarily store at least a portion of the image acquired through the image sensor 230 for the next image processing task. For example, when image acquisition is delayed due to the shutter or when multiple images are acquired at high speed, the acquired original image (e.g., Bayer-patterned image or high-resolution image) is stored in the memory 250. , the corresponding copy image (e.g., low resolution image) may be previewed through the display module 160. Thereafter, when a specified condition is satisfied (eg, user input or system command), at least a portion of the original image stored in the memory 250 may be obtained and processed, for example, by the image signal processor 260. According to one embodiment, the memory 250 may be configured as at least part of the memory 130 or as a separate memory that operates independently.

이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(160)를 통해 표시될 수 있다. The image signal processor 260 may perform one or more image processes on an image acquired through the image sensor 230 or an image stored in the memory 250. The one or more image processes may include, for example, depth map creation, three-dimensional modeling, panorama creation, feature point extraction, image compositing, or image compensation (e.g., noise reduction, resolution adjustment, brightness adjustment, blurring ( Additionally or alternatively, the image signal processor 260 may include blurring, sharpening, or softening, and may include at least one of the components included in the camera module 180 (eg, an image sensor). The image processed by the image signal processor 260 may be stored back in the memory 250 for further processing. Alternatively, it may be provided as an external component of the camera module 180 (e.g., memory 130, display module 160, electronic device 102,electronic device 104, or server 108). According to an example, the image signal processor 260 may be configured as at least a part of the processor 120, or the image signal processor 260 may be configured as a separate processor that operates independently of the processor 120. When configured as a separate processor, at least one image processed by the image signal processor 260 may be displayed through the display module 160 as is or after additional image processing by the processor 120.

일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.According to one embodiment, the electronic device 101 may include a plurality ofcamera modules 180, each with different properties or functions. In this case, for example, at least one of the plurality ofcamera modules 180 may be a wide-angle camera, and at least another one may be a telephoto camera. Similarly, at least one of the plurality ofcamera modules 180 may be a front camera, and at least another one may be a rear camera.

도 3은 일 실시예에 따른 전자 장치(101)의 구성을 도시한 블록도이다.FIG. 3 is a block diagram showing the configuration of an electronic device 101 according to an embodiment.

일 실시예에 따른 전자 장치(101)는 적어도 하나의 프로세서(예: 도 1의 프로세서(120))(320), 메모리(예: 도 1의 메모리(130))(330), 또는 카메라(예: 도 1 및 도 2의 카메라 모듈(180))(380) 중 적어도 하나를 포함할 수 있다. 전자 장치(101)는 디스플레이(예: 도 1의 디스플레이 모듈(160))(360)를 더 포함할 수도 있다. 디스플레이(360)는 전자 장치(101)에 전결된 외부 디스플레이로 대체될 수도 있다.The electronic device 101 according to one embodiment includes at least one processor (e.g., processor 120 of FIG. 1) 320, a memory (e.g., memory 130 of FIG. 1) 330, or a camera (e.g. : May include at least one of thecamera modules 180 and 380 of FIGS. 1 and 2. The electronic device 101 may further include a display 360 (eg, the display module 160 of FIG. 1). The display 360 may be replaced with an external display connected to the electronic device 101.

일 실시예에서, 카메라(380)는 광을 집광하기 위한 적어도 하나의 렌즈를 포함하는 렌즈부(381) 및 렌즈부(381)를 통과한 광 신호를 디지털 신호로 전환하는 이미지 센서(383)를 포함할 수 있다. 일 실시예에 따른 이미지 센서(383)는 복수개의 수광 소자들, 복수개의 마이크로 렌즈들 및 복수개의 색상 채널들을 포함하는 색상 필터를 포함할 수 있다. 복수개의 수광 소자들은 M개의 행과 N개의 열을 가지는 배열로 하나의 마이크로 렌즈에 대응되도록 배치된 포토 다이오드들을 포함할 수 있다. 여기서, M 및 N은 각각 2 이상의 자연수일 수 있다.In one embodiment, the camera 380 includes a lens unit 381 including at least one lens for condensing light and animage sensor 383 that converts the optical signal passing through the lens unit 381 into a digital signal. It can be included. Theimage sensor 383 according to one embodiment may include a plurality of light receiving elements, a plurality of micro lenses, and a color filter including a plurality of color channels. The plurality of light receiving elements may include photodiodes arranged to correspond to one micro lens in an array having M rows and N columns. Here, M and N may each be a natural number of 2 or more.

일 실시예에서, 메모리(330)는 적어도 하나의 프로세서(320)에 의해서 실행될 수 있는 인스트럭션들(instructions)을 저장할 수 있다. 적어도 하나의 프로세서(320)는 메모리(330)에 저장된 인스트럭션들을 실행하여 연산을 수행하거나 전자 장치(101)의 구성요소를 제어함으로써 전자 장치(101)가 동작하도록 할 수 있다. 본 개시에서, 전자 장치(101)의 동작은 적어도 하나의 프로세서(320)가 인스트럭션들을 실행 시에 수행되는 것으로 이해될 수 있다. 일 실시예에서, 적어도 하나의 프로세서(320)는 중앙 처리 장치(central processing unit, CPU), 이미지 시그널 프로세서(image signal processor, ISP)(예: 도 2의 이미지 시그널 프로세서(260)), 그래픽 처리부(graphical processing unit, GPU), 또는 신경 처리 장치(neural processing unit, NPU) 중 적어도 하나를 포함할 수 있다. 예를 들어, 적어도 하나의 프로세서(320)는 어플리케이션 프로세서를 포함할 수 있다.In one embodiment, the memory 330 may store instructions that can be executed by at least one processor 320. At least one processor 320 may operate the electronic device 101 by executing instructions stored in the memory 330 to perform calculations or control components of the electronic device 101. In the present disclosure, the operation of the electronic device 101 may be understood as being performed when at least one processor 320 executes instructions. In one embodiment, at least one processor 320 includes a central processing unit (CPU), an image signal processor (ISP) (e.g., the image signal processor 260 of FIG. 2), and a graphics processing unit. It may include at least one of a graphical processing unit (GPU) or a neural processing unit (NPU). For example, at least one processor 320 may include an application processor.

일 실시예에서, 적어도 하나의 프로세서(320)는, 카메라(380)를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정할 수 있다. 예를 들어, 적어도 하나의 프로세서(320)는 제1 해상도에 상응하는 제1 촬영 모드 또는 제2 해상도에 상응하는 제2 촬영 모드 중에서 어느 하나를 선택할 수 있다. 제1 촬영 모드는 제2 촬영 모드보다 고해상도의 영상을 생성하는 촬영 모드일 수 있다. 예를 들어, 제1 해상도는 200 Mp (mega pixel)이고, 제2 해상도는 50 Mp 또는 12.5 Mp 중 어느 하나일 수 있다. 촬영 모드의 종류는 이에 한정되지 아니하며, 이미지 센서의 구성에 따라 달라질 수 있다. 예를 들어, 적어도 하나의 프로세서(320)는 제1 해상도에 상응하는 제1 촬영 모드, 제2 해상도에 상응하는 제2 촬영 모드, 또는 제3 해상도에 상응하는 제3 촬영 모드 중에서 어느 하나를 선택할 수 있다. 여기서, 제1 해상도는 200 Mp이고, 제2 해상도는 50 Mp이고, 제3 해상도는 12.5 Mp일 수 있다. 일 실시예에서, 적어도 하나의 프로세서(320)가 선택할 수 있는 촬영 모드의 수는 이보다 많을 수도 있다.In one embodiment, at least one processor 320 may determine a capturing mode corresponding to the resolution of an image to be captured using the camera 380. For example, at least one processor 320 may select either a first capturing mode corresponding to the first resolution or a second capturing mode corresponding to the second resolution. The first shooting mode may be a shooting mode that generates a higher resolution image than the second shooting mode. For example, the first resolution may be 200 Mp (mega pixel), and the second resolution may be either 50 Mp or 12.5 Mp. The type of shooting mode is not limited to this and may vary depending on the configuration of the image sensor. For example, the at least one processor 320 selects one of a first capturing mode corresponding to the first resolution, a second capturing mode corresponding to the second resolution, or a third capturing mode corresponding to the third resolution. You can. Here, the first resolution may be 200 Mp, the second resolution may be 50 Mp, and the third resolution may be 12.5 Mp. In one embodiment, the number of shooting modes that at least one processor 320 can select may be greater than this.

일 실시예에서, 적어도 하나의 프로세서(320)는 이미지 센서(383)가 선택된 촬영 모드에 기초하여 동작하도록 제어할 수 있다. 예를 들어, 이미지 센서(383)는 제1 촬영 모드에 기초하여 복수개의 수광소자들 각각의 출력이 하나의 픽셀에 대응되도록 독출(readout)된 제1 데이터에 상응하는 제1 원시(raw) 영상 데이터를 출력할 수 있다. 제1 원시 영상 데이터가 제1 데이터에 상응한다 함은 제1 원시 영상 데이터의 하나의 픽셀의 픽셀 값이 하나의 포토 다이오드에 상응하는 수광 소자로부터 독출된 값에 기초하여 결정된 것으로 이해될 수 있다. 이미지 센서(383)는 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))의 줌 배율 또는 렌즈부(예: 도 3의 렌즈부(381))의 초점 위치 중 적어도 하나에 기초하여 제1 데이터를 교정하여(calibrate) 제1 원시 영상 데이터를 출력할 수 있다. 이미지 센서(383)는 제1 데이터를 교정하는 동작은 제1 데이터를 교정하여 피사체로부터 기인한 데이터의 편차 외의 다른 요인으로 인한 편차를 제거하기 위해 픽셀을 보상하는 동작을 포함할 수 있다. 이미지 센서(383)는 제1 데이터를 교정하기 위해 미리 정해진 룩-업 테이블(look-up table)에 기초하여 제1 데이터를 정적(static)으로 보상하거나, 주변 픽셀의 정보에 기초하여 제1 데이터를 동적으로 보정할 수 있다. 예를 들어, 헥사데카(hexadeca) 패턴을 가지는 이미지 센서(383)는 4PD 구조, 테트라(tetra) 패턴, 청색 채널과 같은 라인에 배치된 녹색 채널과 적색 채널과 같은 라인에 배치된 녹색 채널 간에 발생하는 차이(Gb-Gr diff)로 인한 교정이 요구될 수 있다. 본 개시에서, 헥사데카 패턴은 동일한 색상 채널에 상응하도록 배치된 네 개의 마이크로렌즈들이 인접하여 배치되고, 하나의 마이크로 렌즈에 상응하도록 네 개의 포토 다이오드들이 배치되는 패턴이 반복되어 있는 것을 의미할 수 있다. 다른 색상의 동일한 마이크로 렌즈 및 포토 다이오드 패턴과 인접하도록 배치된 어레이 형태로 구성될 수 있다. 본 개시에서, 4PD 구조는 하나의 마이크로 렌즈에 상응하도록 네 개의 포토 다이오드들이 배치되는 패턴을 의미할 수 있다. 본 개시에서, 테트라 패턴은 동일한 색상 채널에 상응하도록 배치된 네 개의 마이크로렌즈들이 인접하도록 배치되는 패턴이 반복되어 있는 것을 의미할 수 있다. 다른 색상의 동일한 마이크로 렌즈 및 포토 다이오드 패턴과 인접하도록 배치된 어레이 형태로 구성될 수 있다. 다만, 이는 복수개의 수광 소자들이 하나의 마이크로 렌즈에 대응되도록 배치된 예시를 설명하기 위한 것으로서, 이에 한정되지 아니한다.In one embodiment, at least one processor 320 may control theimage sensor 383 to operate based on the selected capturing mode. For example, theimage sensor 383 generates a first raw image corresponding to the first data readout so that the output of each of the plurality of light-receiving elements corresponds to one pixel based on the first shooting mode. Data can be output. That the first raw image data corresponds to the first data may be understood as the pixel value of one pixel of the first raw image data being determined based on a value read from a light receiving element corresponding to one photodiode. Theimage sensor 383 has at least one of the zoom magnification of the camera (e.g., thecamera module 180 in FIG. 1 and the camera 380 in FIG. 3) or the focus position of the lens unit (e.g., the lens unit 381 in FIG. 3). Based on one, the first data may be calibrated and first raw image data may be output. The operation of correcting the first data of theimage sensor 383 may include an operation of correcting the first data and compensating pixels to remove deviations due to factors other than data deviations resulting from the subject. In order to correct the first data, theimage sensor 383 statically compensates the first data based on a predetermined look-up table, or corrects the first data based on information on surrounding pixels. can be dynamically corrected. For example, theimage sensor 383 with a hexadeca pattern has a 4PD structure, a tetra pattern, and a green channel placed on the same line as the blue channel and a green channel placed on the same line as the red channel. Correction may be required due to the difference (Gb-Gr diff). In the present disclosure, the hexadeca pattern may mean that four microlenses arranged to correspond to the same color channel are arranged adjacently, and a pattern in which four photodiodes are arranged to correspond to one microlens is repeated. . It can be configured in the form of an array arranged adjacent to identical microlens and photodiode patterns of different colors. In the present disclosure, the 4PD structure may refer to a pattern in which four photodiodes are arranged to correspond to one micro lens. In the present disclosure, the tetra pattern may mean a repeated pattern in which four microlenses arranged to correspond to the same color channel are arranged adjacent to each other. It can be configured in the form of an array arranged adjacent to identical microlens and photodiode patterns of different colors. However, this is intended to explain an example in which a plurality of light receiving elements are arranged to correspond to one micro lens, and is not limited thereto.

일 실시예에서, 제1 촬영 모드에서 출력되는 제1 원시 영상 데이터는 적어도 하나의 프로세서(320)(예, ISP)가 영상 신호 처리를 수행하기 위한 영상 처리가 수행되지 않은 데이터일 수 있다. 예를 들어, 제1 원시 영상 데이터는 수광 소자들로부터 독출된 값들에 대해 리모자이크를 수행하지 않은 데이터일 수 있다. 즉, 제1 원시 영상 데이터는 이미지 센서(383)의 색상 패턴이 가지는 색상 순서(color order)가 변경되지 않음으로써 색상 패턴이 유지된 데이터일 수 있다.In one embodiment, the first raw image data output in the first shooting mode may be data on which image processing has not been performed for at least one processor 320 (eg, ISP) to perform image signal processing. For example, the first raw image data may be data without remosaicing the values read from the light receiving elements. That is, the first raw image data may be data in which the color pattern of theimage sensor 383 is maintained because the color order of the color pattern is not changed.

일 실시예에서, 동일한 색상 채널에 대응되도록 배치된 마이크로 렌즈들이 서로 인접하여 배치되고, 하나의 마이크로 렌즈에 복수개의 포토 다이오드들이 배치된 패턴을 가지는 이미지 센서가, 하나의 포토다이오드의 출력을 하나의 픽셀에 대응시켜 출력하는 경우 리모자이크 동작을 통해서 원하는 품질의 이미지를 얻기 어렵다. 따라서, 이 경우에는 일 실시예에 따른 전자 장치(101)는 기계 학습을 이용하여 이미지를 생성할 수 있다.In one embodiment, an image sensor in which micro lenses arranged to correspond to the same color channel are arranged adjacent to each other, and has a pattern in which a plurality of photo diodes are arranged in one micro lens, converts the output of one photo diode into one When outputting in response to pixels, it is difficult to obtain an image of the desired quality through a remosaic operation. Therefore, in this case, the electronic device 101 according to one embodiment may generate an image using machine learning.

일 실시예에서, 적어도 하나의 프로세서(320)는 이미지 센서(383)에서 출력된 제1 원시 영상 데이터를 이미지 센서(383)와 적어도 하나의 프로세서(320)를 연결하는 인터페이스(예: MIPI 프로토콜에 기반한 인터페이스)를 통해서 수신할 수 있다. 적어도 하나의 프로세서(320)는 제1 원시 영상 데이터를 예측 모델에 입력할 수 있다. 예를 들어, 전자 장치(101)에 포함된 CPU, GPU, NPU, ISP 또는 주변장치 중 적어도 하나를 이용하여 예측 모델에 상응하는 신경망 연산을 수행할 수 있다. 예를 들어, 예측 모델은 예상되는 원시 영상 데이터(input image)와, 이 원시 영상 데이터(input image)로부터 얻기를 원하는 결과물에 상응하는 이미지(ground truth(GT) image)를 학습하여 생성된 것일 수 있다. 이 경우 적어도 하나의 프로세서(320)는 예측 모델에 제1 원시 영상 데이터를 입력하여 연산을 수행하여 예측 모델의 출력으로써 제1 이미지를 획득할 수 있다. 예를 들어, 예측 모델은 원시 영상 데이터와 원시 영상 데이터에 상응하는 베이어 패턴의 영상 데이터를 학습하여 생성된 것일 수 있다. 이 경우 적어도 하나의 프로세서(320)는 예측 모델에 제1 원시 영상 데이터를 입력하여 리모자이크를 수행한 결과에 상응하는 베이어 패턴의 영상 데이터를 획득할 수 있다. 적어도 하나의 프로세서(예: ISP)(320)는 베이어 패턴의 영상 데이터에 대한 영상 처리(예: 디모자이크(demosaic))를 수행하여 제1 이미지를 획득할 수 있다. 복수개의 수광 소자들(예: 포토 다이오드들)이 하나의 마이크로 렌즈에 대응되도록 배치된 이미지 센서의 경우 고해상도 모드로 독출된 원시 영상 데이터에 대해 기계학습이 아닌 처리 회로(예: ISP chain)을 통해 리모자이크 연산을 수행하는 경우 아티팩트가 제거되지 않고 MTF(modulation transfer function)값이 낮은 결과가 출력될 수 있다. 그러나 기계 학습된 예측 모델을 이용하여 원시 영상 데이터로부터 이미지를 획득하는 경우, 아티팩트가 감소되고 높은 MTF 값을 가지는 이미지가 획득될 수 있다.In one embodiment, the at least one processor 320 transmits the first raw image data output from theimage sensor 383 to an interface (e.g., MIPI protocol) connecting theimage sensor 383 and the at least one processor 320. It can be received through an interface based on At least one processor 320 may input first raw image data into a prediction model. For example, a neural network operation corresponding to a prediction model may be performed using at least one of a CPU, GPU, NPU, ISP, or peripheral device included in the electronic device 101. For example, a prediction model may be created by learning expected raw image data (input image) and an image (ground truth (GT) image) corresponding to the desired result from this raw image data (input image). there is. In this case, at least one processor 320 may input the first raw image data to the prediction model and perform an operation to obtain the first image as an output of the prediction model. For example, the prediction model may be created by learning raw image data and image data of a Bayer pattern corresponding to the raw image data. In this case, at least one processor 320 may input first raw image data into the prediction model and obtain image data of a Bayer pattern corresponding to the result of performing remosaic. At least one processor (eg, ISP) 320 may obtain a first image by performing image processing (eg, demosaic) on Bayer pattern image data. In the case of an image sensor in which a plurality of light-receiving elements (e.g. photo diodes) are arranged to correspond to one micro lens, raw image data read in high-resolution mode is processed through a processing circuit (e.g. ISP chain) rather than machine learning. When performing a remosaic operation, artifacts may not be removed and results with a low MTF (modulation transfer function) value may be output. However, when an image is acquired from raw image data using a machine learned prediction model, artifacts are reduced and an image with a high MTF value can be obtained.

일 실시예에서, 예측 모델의 출력은 다양하게 구현될 수 있다. 예를 들어, 예측 모델의 출력은 각종 필터나 이미지 강화를 위한 후처리 과정을 완료한 RGB 도메인의 제1 이미지를 포함할 수 있다. 이 경우, 예측 모델은 원시 영상 데이터와 원시 영상 데이터로부터 RGB 도메인의 이미지를 기계 학습 알고리즘을 통해서 학습하여 생성된 것일 수 있다. 예를 들어, 예측 모델의 출력은 후처리 과정을 거치기 전의 데이터에 해당하는 YUV(Y Cb Cr) 영상을 포함할 수 있다. 이 경우, 예측 모델은 원시 영상 데이터와 원시 영상 데이터로부터 YUV 도메인의 이미지를 기계 학습 알고리즘을 통해서 학습하여 생성된 것일 수 있다. 예를 들어, 예측 모델의 출력은 원시 영상 데이터를 베이어 패턴으로 변환한 결과를 포함할 수 있다. 디모자이크(demosaic)의 후처리 과정(예: 화이트 밸런스(white balance), 감마 보정(gamma correction), 색상 보정(color correction), 노이즈 저감(noise reduction), 샤프닝(sharpening))에 상응하는 연산은 예측 모델에 포함되지 않을 수 있으나, 디모자이크(demosaic)에 상응하는 과정은 예측 모델에 의해 수행되는 것이 요구될 수 있다.In one embodiment, the output of the prediction model may be implemented in various ways. For example, the output of the prediction model may include a first image in the RGB domain that has undergone post-processing for various filters or image enhancement. In this case, the prediction model may be created by learning raw image data and images in the RGB domain from the raw image data through a machine learning algorithm. For example, the output of the prediction model may include a YUV (Y Cb Cr) image corresponding to data before post-processing. In this case, the prediction model may be created by learning raw image data and images in the YUV domain from the raw image data through a machine learning algorithm. For example, the output of the prediction model may include the result of converting raw image data into a Bayer pattern. The operations corresponding to the post-processing processes of demosaic (e.g. white balance, gamma correction, color correction, noise reduction, sharpening) are Although it may not be included in the prediction model, a process equivalent to demosaic may be required to be performed by the prediction model.

일 실시예에서, 이미지 센서(383)는 제2 촬영 모드에 기초하여 복수개의 포토 다이오드들 중 둘 이상의 포토 다이오드에 상응하는 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 상응하는 제2 원시 영상 데이터를 출력할 수 있다. 예를 들어, 둘 이상의 수광 소자의 출력 값을 비닝(binning)하거나 출력된 값을 합산(sum)한 값에 기초하여 상기 제2 원시 영상 데이터의 하나의 픽셀 값을 구성할 수 있다. 제2 촬영 모드에서 출력되는 제2 원시 영상 데이터는 적어도 하나의 영상 처리가 수행된 것일 수 있다. 예를 들어, 제2 원시 영상 데이터는 수광 소자들로부터 독출된 값들에 대해 리모자이크를 수행한 결과에 대응될 수 있다. 예를 들어 제2 원시 영상 데이터는 베이어 패턴을 가지는 영상 데이터일 수 있다.In one embodiment, theimage sensor 383 outputs the read second data corresponding to the output of the light-receiving elements corresponding to two or more photo diodes among the plurality of photo diodes based on the second shooting mode to correspond to one pixel. Second raw image data may be output. For example, one pixel value of the second raw image data can be configured based on binning the output values of two or more light receiving elements or summing the output values. The second raw image data output in the second shooting mode may be one on which at least one image processing has been performed. For example, the second raw image data may correspond to the result of performing remosaic on the values read from the light receiving elements. For example, the second raw image data may be image data having a Bayer pattern.

일 실시예에서, 적어도 하나의 프로세서(320)는 이미지 센서(383)에서 출력된 제2 원시 영상 데이터를 이미지 센서(383)와 적어도 하나의 프로세서(320)를 연결하는 인터페이스를 통해서 수신할 수 있다. 적어도 하나의 프로세서(예: ISP)(320)는 제2 원시 영상 데이터에 대한 적어도 하나의 영상 신호 처리(예: 화이트 밸런스(white balance), 디모자이크(demosaic), 감마 보정(gamma correction), 색상 보정(color correction), 노이즈 저감(noise reduction), 샤프닝(sharpening))를 수행하여 제2 이미지를 획득할 수 있다.In one embodiment, the at least one processor 320 may receive the second raw image data output from theimage sensor 383 through an interface connecting theimage sensor 383 and the at least one processor 320. . At least one processor (e.g., ISP) 320 performs at least one image signal processing (e.g., white balance, demosaic, gamma correction, color) for the second raw image data. A second image may be obtained by performing color correction, noise reduction, and sharpening.

도 4는 일 실시예에 따른 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 구성을 개념적으로 도시한 도면이다.FIG. 4 is a diagram conceptually illustrating the configuration of an image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) according to an embodiment.

일 실시예에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 마이크로 렌즈 배열(micro lens array, MLA)(411), 색상 필터(color filter)(413), 수광부(415) 및 연산부(417)를 포함할 수 있다.In one embodiment, an image sensor (e.g., image sensor 230 in FIG. 2 andimage sensor 383 in FIG. 3) includes a micro lens array (MLA) 411 and a color filter ( 413), alight receiving unit 415, and acalculation unit 417.

일 실시예에서, 마이크로 렌즈 배열(411)은 렌즈부(예: 도 3의 렌즈부(381))를 통과하여 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))에 상을 맺는 빛 다발(421)이 수광부(415)의 수광 소자에 모아지도록 구성될 수 있다. 마이크로 렌즈 배열(411)을 통과한 빛 다발들(423)은 색상 필터(413)를 지나면서 특정 색상에 대응되는 대역 이외의 파장이 적어도 일부 차단될 수 있다. 색상 필터(413)를 통과한 빛 다발들(425)은 수광부(415)의 수광 소자(예: 포토 다이오드)에 의해 감지될 수 있다. 수광부(415)는 빛을 수신하면 전하를 생성하여 전기적 신호로 변환하는 수광 소자와 수광 소자의 전하를 선택적으로 독출하는 회로를 포함할 수 있다. 수광부(415)와 연산부(417) 사이에는 수광부(415)에서 독출된 신호를 디지털화하거나 노이즈를 저감시키기 위한 회로가 배치될 수 있다.In one embodiment, themicro lens array 411 passes through a lens unit (e.g., the lens unit 381 of FIG. 3) and is connected to an image sensor (e.g., the image sensor 230 of FIG. 2, theimage sensor 383 of FIG. 3). )) Thelight bundle 421 that forms an image may be configured to be collected in the light receiving element of thelight receiving unit 415. The light bundles 423 that have passed through themicro lens array 411 pass through thecolor filter 413 and at least some wavelengths other than the band corresponding to the specific color may be blocked. The light bundles 425 that pass through thecolor filter 413 may be detected by a light receiving element (eg, photo diode) of thelight receiving unit 415. Thelight receiving unit 415 may include a light receiving element that generates charge when receiving light and converts it into an electrical signal, and a circuit that selectively reads the charge of the light receiving element. A circuit for digitizing the signal read from thelight receiving unit 415 or reducing noise may be disposed between thelight receiving unit 415 and the calculatingunit 417.

일 실시예에서, 연산부(417)는 수광부(415)에서 출력된 전기적 데이터(427)를 가공하는 연산을 수행할 수 있다. 연산부(417)는 연산 결과에 기초하여 획득된 데이터를 출력할 수 있다. 연산부(417)의 출력은 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 출력이 될 수 있다. 일 실시예에서, 연산부(417)는 전기적 데이터(427)를 가공하는 연산으로서 독출된 데이터를 교정(calibrate)하는 동작을 수행할 수 있다. 예를 들어, 연산부(417)가 수행하는 연산은 광학적인 비대칭이나 센서의 상대적인 위치로 인한 픽셀 간의 편차를 줄이는 연산, 아날로그 신호에서 발생한 잡음(noise)를 저감하는 연산, 결함(defect)을 제거하는 연산, 리모자이크를 수행하는 연산, 또는 특정 응용분야(예: 근접 센서 기능, 타이밍 조절 기능, HDR 톤 매핑 기능)에 따른 연산 중 적어도 하나를 포함할 수 있다. 연산부(417)에서 출력된 센서 출력(429)은 인터페이스를 통해서 적어도 하나의 프로세서(예: 어플리케이션 프로세서)로 입력될 수 있다.In one embodiment, thecalculation unit 417 may perform an operation to process theelectrical data 427 output from thelight receiving unit 415. Thecalculation unit 417 may output data obtained based on the calculation result. The output of thecalculation unit 417 may be the output of an image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3). In one embodiment, theoperation unit 417 may perform an operation to calibrate the read data as an operation to process theelectrical data 427 . For example, the operations performed by theoperation unit 417 include operations that reduce the deviation between pixels due to optical asymmetry or the relative positions of sensors, operations that reduce noise generated from analog signals, and operations that remove defects. It may include at least one of an operation, an operation that performs remosaic, or an operation according to a specific application field (e.g., proximity sensor function, timing adjustment function, HDR tone mapping function). Thesensor output 429 output from thecalculation unit 417 may be input to at least one processor (eg, an application processor) through an interface.

도 5는 일 실시예에 따른 이미지 센서(383)에 배치된 수광 소자, 마이크로 렌즈 및 색상 필터의 패턴에 대한 예시를 도시한 도면이다.FIG. 5 is a diagram illustrating examples of patterns of a light receiving element, a micro lens, and a color filter disposed on theimage sensor 383 according to an embodiment.

일 실시예에서, 이미지 센서(383)에 포함된 서로 인접하여 2 x 2 배열로 배치된 네 개의 마이크로 렌즈들(521, 522, 523, 524)이 색상 필터의 동일한 색상 채널(예: 녹색 채널(531))에 배치될 수 있다. 이미지 센서(383)에 포함된 수광 소자들은 2 x 2 배열로 배치된 네 개의 포토 다이오드들이 하나의 마이크로 렌즈에 대응되도록 배치될 수 있다. 예를 들어, 도 5를 참조하면, 제1 포토 다이오드(511), 제2 포토 다이오드 (512), 제3 포토 다이오드 (513) 및 제4 포토 다이오드 (514)는 제1 마이크로 렌즈(521)에 대응되도록 배치될 수 있다. 제5 포토 다이오드 (515), 제6 포토 다이오드 (516), 제7 포토 다이오드 (517) 및 제8 포토 다이오드 (518)는 제2 마이크로 렌즈(522)에 대응되도록 배치될 수 있다. 따라서, 서로 인접하여 4 x 4 배열로 배치된 열 여섯 개의 포토 다이오드들이 하나의 색상 채널에 대응되도록 배치될 수 있다.In one embodiment, fourmicrolenses 521, 522, 523, and 524 included in theimage sensor 383 and arranged adjacent to each other in a 2 x 2 array are configured to use the same color channel (e.g., green channel) of the color filter. 531)). The light receiving elements included in theimage sensor 383 may be arranged so that four photodiodes arranged in a 2 x 2 array correspond to one micro lens. For example, referring to FIG. 5, thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 are connected to the firstmicro lens 521. It can be arranged to correspond. Thefifth photo diode 515,sixth photo diode 516,seventh photo diode 517, andeighth photo diode 518 may be arranged to correspond to the secondmicro lens 522. Accordingly, sixteen photodiodes arranged adjacent to each other in a 4 x 4 array can be arranged to correspond to one color channel.

일 실시예에서, 이미지 센서(383)는 도 5에 도시된 패턴이 반복적으로 배열되어 구성될 수 있다. 도 5에 도시된 패턴은 헥사데카(hexadeca) 패턴이라고 언급될 수 있다. 도 5에 도시된 패턴은 일 예시를 도시한 것이며, 이미지 센서(383)의 패턴은 해상도를 변경하여 동작할 수 있는 다른 패턴으로 대체될 수도 있다. 예를 들어, 도 5에 도시된 인접한 마이크로 렌즈들이 서로 다른 색상 채널에 대응하도록 배치되고, 각 마이크로 렌즈에 네 개의 수광 소자들이 대응되도록 배치되며, 각 마이크로 렌즈에 대응되는 네 개의 수광 소자들을 비닝(binning) 연산하면 베이어 패턴의 출력이 획득되도록 구성된 4PD 패턴이 사용될 수도 있다.In one embodiment, theimage sensor 383 may be configured by repeatedly arranging the pattern shown in FIG. 5 . The pattern shown in FIG. 5 may be referred to as a hexadeca pattern. The pattern shown in FIG. 5 shows an example, and the pattern of theimage sensor 383 may be replaced with another pattern that can operate by changing the resolution. For example, the adjacent micro lenses shown in Figure 5 are arranged to correspond to different color channels, four light receiving elements are arranged to correspond to each micro lens, and the four light receiving elements corresponding to each micro lens are binning ( A 4PD pattern configured to obtain the output of a Bayer pattern when performing a binning operation may be used.

도 6은 일 실시예에 따른 이미지 센서(예: 도 3 및 5의 이미지 센서(383))에 포함된 픽셀들의 값을 출력하기 위한 회로의 예시를 도시한 회로도이다.FIG. 6 is a circuit diagram illustrating an example of a circuit for outputting values of pixels included in an image sensor (e.g., theimage sensor 383 of FIGS. 3 and 5) according to an embodiment.

일 실시예에서, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))에 포함된 수광 소자들은 하나의 마이크로 렌즈에 대응되도록 배치된 2x2 배열을 가지는 네 개의 포토 다이오드들 (예: 제1 포토 다이오드 (511), 제2 포토 다이오드 (512), 제3 포토 다이오드 (513) 및 제4 포토 다이오드 (514))을 포함할 수 있다. 일 실시예에서, 하나의 마이크로 렌즈에 다섯 개 이 포토 다이오드들이 대응되도록 배치될 수도 있다. 예를 들면, 3x3 배열을 가지는 9개의 포토 다이오드들이 하나의 마이크로 렌즈에 대응되도록 배치될 수도 있다.In one embodiment, the light receiving elements included in the image sensor (e.g., theimage sensor 383 in FIGS. 3 and 5) include four photodiodes (e.g., the first photodiode) having a 2x2 array arranged to correspond to one micro lens. It may include aphoto diode 511, asecond photo diode 512, athird photo diode 513, and a fourth photo diode 514). In one embodiment, five photodiodes may be arranged to correspond to one microlens. For example, nine photodiodes in a 3x3 arrangement may be arranged to correspond to one micro lens.

도 6을 참조하면, 하나의 마이크로 렌즈에 대응되도록 배치된 네 개의 포토 다이오드들(예: 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 및 제4 포토 다이오드(514))과 다른 마이크로 렌즈에 대응되도록 배치된 네 개의 포토 다이오드들(제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517) 및 제8 포토 다이오드(518))은 하나의 부동 노드(floating diffusion node)(630)에 연결될 수 있다. 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518) 각각과 부동 노드(630) 사이에는 스위치들(621, 622, 623, 624, 625, 626, 627, 628)이 연결될 수 있다. 예를 들어, 스위치들(621, 622, 623, 624, 625, 626, 627, 628)은 트랜지스터(예: 트랜지스터 게이트(transistor gate))를 포함할 수 있다.Referring to FIG. 6, four photo diodes arranged to correspond to one micro lens (e.g.,first photo diode 511,second photo diode 512,third photo diode 513, and fourth photo diode Diode 514) and four photodiodes (5th photodiode 515,6th photodiode 516,7th photodiode 517, and 8th photodiode 518) arranged to correspond to the other microlens. )) can be connected to one floating diffusion node (630).Switches 621, 622, 623, 624, 625, 626, 627, and 628 are connected between each of thephotodiodes 511, 512, 513, 514, 515, 516, 517, and 518 and the floatingnode 630. You can. For example, theswitches 621, 622, 623, 624, 625, 626, 627, and 628 may include a transistor (eg, a transistor gate).

일 실시예에 따르면, 노출 시간 동안 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518)에 전하가 축적될 수 있다. 전하가 축적되는 동안 스위치는 열린(opened) 상태를 유지함으로써 포토 다이오드와 부동 노드(630)가 연결되지 않도록 할 수 있다. 스위치가 닫히게(closed) 되면 포토 다이오드가 부동 노드(630)에 연결되면서 축적된 전하가 부동 노드(630)로 이동할 수 있다. 예를 들어, 제1 포토 다이오드(511)에 축적된 전하는 제1 스위치(621)가 닫히게 되면 부동 노드(630)로 이동할 수 있다. 부동 노드(630)에 저장된 전하는 소스 팔로워(source follower)(650)를 통해서 독출되어 전기적 신호로 출력될 수 있다. 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 부동 노드(630)로 이동된 전하에 대응하는 아날로그(analog) 데이터를 획득할 수 있다. 예를 들어, 아날로그 데이터는 노출 시간 동안 적어도 하나의 포토 다이오드에 축적된 전하의 양에 대한 정보를 포함할 수 있다.According to one embodiment, charges may be accumulated in thephotodiodes 511, 512, 513, 514, 515, 516, 517, and 518 during the exposure time. While the charge is accumulating, the switch remains open so that the photo diode and the floatingnode 630 are not connected. When the switch is closed, the photo diode is connected to the floatingnode 630 and the accumulated charge can move to the floatingnode 630. For example, the charge accumulated in thefirst photo diode 511 may move to the floatingnode 630 when the first switch 621 is closed. The charge stored in the floatingnode 630 may be read through thesource follower 650 and output as an electrical signal. An image sensor (eg, theimage sensor 383 in FIGS. 3 and 5) may acquire analog data corresponding to charges moved to the floatingnode 630. For example, the analog data may include information about the amount of charge accumulated in at least one photodiode during the exposure time.

일 실시예에서, 라인 선택기(660)는 선택된 라인에 대한 아날로그 데이터를 출력하기 위해 온(on) 또는 오프(off) 상태로 제어될 수 있다.In one embodiment,line selector 660 can be controlled to be on or off to output analog data for the selected line.

일 실시예에서, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 원시 영상 데이터의 픽셀 값에 상응하는 아날로그 데이터를 획득할 수 있다. 예를 들어, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 스위치들(621, 622, 623, 624, 625, 626, 627, 628)을 제어하여 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518) 중 적어도 하나를 통해서 획득된 광량 데이터에 상응하는 아날로그 데이터를 획득할 수 있다. 이미지 센서(예: 도 3 및 5의 이미지 센서(383))가 제1 스위치(621)를 온(on) 시켜서 스위치가 닫히게 되면 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 제1 포토 다이오드(511)를 통해서 획득된 광량 데이터에 기초하여 아날로그 데이터를 획득할 수 있다.In one embodiment, an image sensor (eg, theimage sensor 383 in FIGS. 3 and 5) may acquire analog data corresponding to pixel values of raw image data. For example, the image sensor (e.g., theimage sensor 383 in FIGS. 3 and 5) controls theswitches 621, 622, 623, 624, 625, 626, 627, and 628 to control thephoto diodes 511 and 512. , 513, 514, 515, 516, 517, 518), analog data corresponding to the acquired light quantity data can be obtained. When the image sensor (e.g.,image sensor 383 in FIGS. 3 and 5) turns on the first switch 621 and the switch is closed, the image sensor (e.g.,image sensor 383 in FIGS. 3 and 5) turns on the first switch 621. Analog data can be obtained based on light quantity data obtained through thefirst photo diode 511.

일 실시예에서, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 아날로그 데이터를 획득한 이후 리셋 스위치(예: 리셋 트랜지스터(reset transistor))(670)를 온(on) 시켜서 부동 노드에 축적된 전하를 제거하는 리셋 동작을 수행할 수 있다. 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 스위치들(621, 622, 623, 624, 625, 626, 627, 628)을 하나씩 순차적으로 온(on) 시키면서 리셋 동작을 시간차를 두고 교번하여 수행함으로써 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518) 각각을 하나의 화소 값으로서 독출할 수 있다. 예를 들어, 고화소(예: 200 Mp)의 영상을 생성하도록 하는 제1 촬영 모드에 기초하여 동작하는 경우, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518) 각각을 하나의 화소 값으로 독출할 수 있다.In one embodiment, the image sensor (e.g.,image sensor 383 in FIGS. 3 and 5) floats by turning on a reset switch (e.g., reset transistor) 670 after acquiring analog data. A reset operation can be performed to remove the charge accumulated in the node. The image sensor (e.g., theimage sensor 383 in FIGS. 3 and 5) sequentially turns on theswitches 621, 622, 623, 624, 625, 626, 627, and 628, performing a reset operation with a time difference. By performing these operations alternately, each of thephotodiodes 511, 512, 513, 514, 515, 516, 517, and 518 can be read as one pixel value. For example, when operating based on the first shooting mode that generates a high-pixel (e.g., 200 Mp) image, the image sensor (e.g., theimage sensor 383 in FIGS. 3 and 5) usesphoto diodes 511 , 512, 513, 514, 515, 516, 517, 518) can each be read as one pixel value.

일 실시예에서, 제1 스위치(621), 제2 스위치(622), 제3 스위치(623) 및 제4 스위치(624)를 함께 온(on) 시키면 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 및 제4 포토 다이오드(514)에 축적된 전하가 부동 노드(630)로 이동하게 된다. 이 경우, 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 및 제4 포토 다이오드(514)에 상응하는 광량을 아날로그적으로 합산하여, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 하나의 마이크로렌즈(예: 도 5의 제1 마이크로 렌즈(521))에 상응하는 광량 데이터를 획득할 수 있다. 예를 들어, 제1 촬영 모드보다 낮은 화소(예: 50 Mp)의 영상을 생성하도록 하는 제2 촬영 모드에 기초하여 동작하는 경우, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 및 제4 포토 다이오드(514)에 축적된 전하를 합산한 값을 하나의 화소 값으로 독출할 수 있다.In one embodiment, when the first switch 621, thesecond switch 622, thethird switch 623, and thefourth switch 624 are turned on together, thefirst photo diode 511 and the second photo Charges accumulated in thediode 512, thethird photo diode 513, and thefourth photo diode 514 move to the floatingnode 630. In this case, the amount of light corresponding to thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 is added analogously, and the image sensor (e.g. Theimage sensor 383 in FIGS. 3 and 5 may acquire light quantity data corresponding to one microlens (eg, thefirst microlens 521 in FIG. 5 ). For example, when operating based on a second capture mode that generates an image with lower pixels (e.g., 50 Mp) than the first capture mode, the image sensor (e.g.,image sensor 383 in FIGS. 3 and 5) The sum of the charges accumulated in thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 can be read as one pixel value. .

일 실시예에서, 스위치들(621, 622, 623, 624, 625, 626, 627, 628)을 함께 온(on) 시키면 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518)에 축적된 전하가 부동 노드(630)로 이동하게 된다. 이 경우, 여덟 개의 포토 다이오드들(511, 512, 513, 514, 515, 516, 517, 518)에 상응하는 광량을 아날로그적으로 합산하여, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 두 개의 마이크로 렌즈(예: 도 5의 제1 마이크로 렌즈(521) 및 제2 마이크로 렌즈(522))에 상응하는 광량 데이터를 획득할 수 있다. 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 유사하게 인접한 마이크로 렌즈(예: 도 5의 제3 마이크로 렌즈(523) 및 제4 마이크로 렌즈(524))에 상응하는 광량 데이터를 획득한 후, 두 개의 마이크로 렌즈(예: 도 5의 제1 마이크로 렌즈(521) 및 제2 마이크로 렌즈(522))에 상응하는 광량 데이터와 합산하여 하나의 색상 채널(예: 도 5의 녹색 채널(531))에 상응하는 값을 하나의 픽셀 값으로 독출할 수 있다. 예를 들어, 제2 촬영 모드보다 낮은 화소(예: 12.5 Mp)의 영상을 생성하도록 하는 제3 촬영 모드에 기초하여 동작하는 경우, 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 네 개의 마이크로 렌즈(예: 도 5의 제1 마이크로 렌즈(521), 제2 마이크로 렌즈(522), 제3 마이크로 렌즈(523) 및 제4 마이크로 렌즈(524))에 상응하는 포토 다이오드들에 축적된 전하를 합산한 값을 하나의 화소 값으로 독출할 수 있다. 여기서, 독출되는 화소 값들은 베이어 패턴에 따른 색상 순서(color order)를 가질 수 있다.In one embodiment, when theswitches 621, 622, 623, 624, 625, 626, 627, and 628 are turned on together, thephotodiodes 511, 512, 513, 514, 515, 516, 517, and 518 ) moves to the floatingnode 630. In this case, the amount of light corresponding to the eightphotodiodes 511, 512, 513, 514, 515, 516, 517, and 518 is analogously added to the image sensor (e.g., theimage sensor 383 in FIGS. 3 and 5). )) can acquire light quantity data corresponding to two micro lenses (e.g., the firstmicro lens 521 and the secondmicro lens 522 in FIG. 5). An image sensor (e.g.,image sensor 383 in FIGS. 3 and 5) similarly provides light quantity data corresponding to an adjacent micro lens (e.g., thirdmicro lens 523 and fourthmicro lens 524 in FIG. 5). After acquisition, the light quantity data corresponding to the two microlenses (e.g., thefirst microlens 521 and thesecond microlens 522 in FIG. 5) are summed to create one color channel (e.g., the green channel in FIG. 5). The value corresponding to (531)) can be read as one pixel value. For example, when operating based on a third capture mode that generates an image with lower pixels (e.g., 12.5 Mp) than the second capture mode, the image sensor (e.g.,image sensor 383 in FIGS. 3 and 5) is attached to photodiodes corresponding to four micro lenses (e.g., the firstmicro lens 521, the secondmicro lens 522, the thirdmicro lens 523, and the fourthmicro lens 524 in FIG. 5). The sum of the accumulated charges can be read as one pixel value. Here, the read pixel values may have a color order according to a Bayer pattern.

일 실시예에서, 제2 스위치(622), 제4 스위치(624), 제6 스위치(626) 및 제8 스위치(628)가 오프(off)된 상태에서 제1 스위치(621), 제3 스위치(623), 제5 스위치(625) 및 제7 스위치(627)를 온(on) 시키면 이미지 센서(예: 도 3 및 5의 이미지 센서(383))는 마이크로 렌즈 좌측 픽셀에 대한 휘도 값을 획득할 수 있다. 제1 스위치(621), 제3 스위치(623), 제5 스위치(625) 및 제7 스위치(627)가 오프(off)된 상태에서 2 스위치(622), 제4 스위치(624), 제6 스위치(626) 및 제8 스위치(628)를 온(on)시키면 우측 픽셀에 대한 휘도 값을 획득할 수 있다. 전자 장치(예: 도 1 및 3의 전자 장치(101))는 좌측 픽셀 값과 우측 픽셀 값의 상관관계에 기초하여 위상차 정보를 획득할 수 있다. 다만, 이는 일 예시를 설명하기 위한 것으로서 좌측 픽셀 값과 우측 픽셀 값을 획득하는 방법은 이에 한정되지 아니한다. 예를 들어, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제1 포토 다이오드(511) 및 제3 포토 다이오드(513)에 상응하는 휘도 값과 제5 포토 다이오드(515) 및 도7 포토 다이오드(517)에 상응하는 휘도 값을 개별적인 좌측 픽셀 값으로 출력할 수도 있다.In one embodiment, the first switch 621 and the third switch are in a state in which thesecond switch 622, thefourth switch 624, thesixth switch 626, and theeighth switch 628 are turned off. (623), when the fifth switch 625 and theseventh switch 627 are turned on, the image sensor (e.g., theimage sensor 383 in FIGS. 3 and 5) acquires the luminance value for the left pixel of the micro lens. can do. With the first switch 621, thethird switch 623, the fifth switch 625, and theseventh switch 627 turned off, thesecond switch 622, thefourth switch 624, and thesixth switch 627 are turned off. By turning on theswitch 626 and theeighth switch 628, the luminance value for the right pixel can be obtained. An electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may obtain phase difference information based on the correlation between left and right pixel values. However, this is for explaining an example, and the method of obtaining the left pixel value and right pixel value is not limited to this. For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment has luminance values corresponding to thefirst photo diode 511 and thethird photo diode 513 and the fifth photo diode The luminance values corresponding to thediode 515 and thephoto diode 517 of FIG. 7 may also be output as individual left pixel values.

열 여섯 개의 픽셀을 동적 화소 센서 배열(active pixel sensor array, APS)에서 각각 출력하는 제1 촬영 모드는 가장 높은 해상도의 원시 영상 데이터가 출력될 수 있으나, 출력되는 데이터에 대해 리모자이크를 수행하더라도 많은 아티팩트들이 발생할 수 있다.The first shooting mode, which outputs sixteen pixels each from an active pixel sensor array (APS), can output raw image data with the highest resolution, but even if remosaic is performed on the output data, many pixels are output. Artifacts may occur.

도 7은 일 실시예에 따른 이미지 센서(예: 도 3 및 5의 이미지 센서(383))에 포함된 픽셀들의 값을 출력하기 위한 회로의 다른 예시를 도시한 회로도이다.FIG. 7 is a circuit diagram illustrating another example of a circuit for outputting values of pixels included in an image sensor (eg, theimage sensor 383 of FIGS. 3 and 5) according to an embodiment.

일 실시예에서, 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 및 제4 포토 다이오드(514)는 각각 제1 스위치(721), 제2 스위치(722), 제3 스위치(723) 및 제4 스위치(724)를 통해서 제1 부동 노드(731)에 연결될 수 있다. 도 6에 도시된 회로도와 비교하여, 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517) 및 제8 포토 다이오드(518)는 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 및 제4 포토 다이오드(514)과 제1 부동 노드(731)를 공유하지 않을 수 있다. 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517) 및 제8 포토 다이오드(518)는 각각 제5 스위치(725), 제6 스위치(726), 제7 스위치(727) 및 제8 스위치(728)를 통해서 제2 부동 노드(732)에 연결될 수 있다.In one embodiment, thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 are connected to thefirst switch 721 and the second switch 722, respectively. ), can be connected to the first floatingnode 731 through thethird switch 723 and the fourth switch 724. Compared to the circuit diagram shown in FIG. 6, thefifth photo diode 515,sixth photo diode 516,seventh photo diode 517, andeighth photo diode 518 are thefirst photo diode 511, The first floatingnode 731 may not be shared with thesecond photo diode 512,third photo diode 513, andfourth photo diode 514. Thefifth photo diode 515,sixth photo diode 516,seventh photo diode 517, andeighth photo diode 518 are thefifth switch 725,sixth switch 726, and seventh switch, respectively. It may be connected to the second floatingnode 732 through 727 and the eighth switch 728.

일 실시예에서, 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513) 또는 제4 포토 다이오드(514) 중 적어도 하나를 포함하는 라인의 데이터를 독출하기 위해 제1 선택기(761)가 온(on)된 상태에서 제1 부동 노드(731)에 저장된 전하에 기초하여 제1 소스 팔로워(751)를 통해서 아날로그 데이터가 출력될 수 있다. 아날로그 데이터가 출력된 이후, 제1 리셋 스위치(771)가 온(on) 되어 제1 부동 노드(731)에 축적된 전하를 제거할 수 있다.In one embodiment, asecond photo diode 511, asecond photo diode 512, athird photo diode 513, or afourth photo diode 514 is used to read data of a line. 1 When theselector 761 is turned on, analog data may be output through thefirst source follower 751 based on the charge stored in the first floatingnode 731. After the analog data is output, the first reset switch 771 is turned on to remove the charge accumulated in the first floatingnode 731.

일 실시예에서, 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517) 및 제8 포토 다이오드(518) 중 적어도 하나를 포함하는 라인의 데이터를 독출하기 위해 제2 선택기(762)가 온(on) 된 상태에서 제2 부동 노드(732)에 저장된 전하에 기초하여 제2 소스 팔로워(752)를 통해서 아날로그 데이터가 출력될 수 있다. 아날로그 데이터가 출력된 이후, 제2 리셋 스위치(772)가 온(on) 되어 제2 부동 노드(732)에 축적된 전하를 제거할 수 있다.In one embodiment, a second device is used to read data of a line including at least one of thefifth photo diode 515,sixth photo diode 516,seventh photo diode 517, andeighth photo diode 518. 2 When theselector 762 is turned on, analog data may be output through thesecond source follower 752 based on the charge stored in the second floatingnode 732. After the analog data is output, thesecond reset switch 772 is turned on to remove the charge accumulated in the second floatingnode 732.

도 8은 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))가 이미지를 획득하는 프로세스를 도시한 흐름도(800)이다. 본 개시에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))가 수행하는 동작은 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))가 메모리(예: 도 1의 메모리(130), 도 3의 메모리(330))에 저장된 인스트럭션들을 실행하여 수행되는 것으로 이해될 수 있다.FIG. 8 is aflowchart 800 illustrating a process in which an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) acquires an image, according to an embodiment. In the present disclosure, operations performed by an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) are performed by at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, It may be understood that the execution is performed by at least one processor 320 in FIG. 3) executing instructions stored in a memory (eg, memory 130 in FIG. 1 or memory 330 in FIG. 3).

일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 810에서, 영상을 촬영하기 위한 촬영 모드를 결정할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 촬영 모드를 선택하기 위한 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 촬영 모드를 결정할 수 있다. 또는, 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 디폴트(default) 설정에 기초하여 영상을 촬영하기 위한 촬영 모드를 결정할 수 있다. 또는, 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이전에 설정된 촬영 모드에 기초하여 영상을 촬영하기 위한 촬영 모드를 결정할 수 있다.The electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may determine a capturing mode for capturing an image in operation 810. For example, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) may receive a user input for selecting a photographing mode and determine the photographing mode based on the received user input. Or, for example, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may determine a capturing mode for capturing an image based on default settings. Or, for example, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may determine a capturing mode for capturing an image based on a previously set capturing mode.

일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 820에서, 결정된 촬영 모드가 제1 해상도에 상응하는 제1 촬영 모드인지 여부를 판단할 수 있다. 결정된 촬영 모드가 제1 촬영 모드인 경우, 동작 831에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 제1 모드에 기반하여 제1 해상도에 상응하는 제1 원시 영상 데이터를 출력하도록 제어할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 도 3의 전자 장치(101))는 200 Mp의 해상도에 상응하는 제1 원시 영상 데이터를 출력하도록 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어할 수 있다. 여기서, 제1 원시 영상 데이터는, 예를 들어, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 수광부로부터 독출된 제1 데이터를 교정하되 리모자이크를 수행하지 않은 데이터일 수 있다. 동작 831에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 출력하는 제1 원시 영상 데이터는 하나의 포토 다이오드들에 상응하는 수광 소자의 출력이 하나의 픽셀에 대응되도록 구성된 것일 수 있다.The electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may determine whether the determined capturing mode is the first capturing mode corresponding to the first resolution inoperation 820. When the determined shooting mode is the first shooting mode, inoperation 831, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) detects an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3). Thesensor 383 may be controlled to output first raw image data corresponding to the first resolution based on the first mode. For example, the electronic device (e.g., the electronic device 101 in FIGS. 1 and 3) uses an image sensor (e.g., the image sensor 230 in FIG. 2) to output first raw image data corresponding to a resolution of 200 Mp. , theimage sensor 383 in FIG. 3 can be controlled. Here, the first raw image data is, for example, the first data read from the light receiving unit of the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) by correcting the remosaic. It may be data that has not been performed. Inoperation 831, the first raw image data output by the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) is the output of the light receiving element corresponding to one photodiode. It may be configured to correspond to a pixel of .

일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 결정된 해상도에 따라서 이미지 센서가 원시 영상 데이터를 출력하도록 할 수 있다. 예를 들어, 결정된 촬영 모드가 제1 해상도에 상응하는 제1 촬영 모드인 경우, 이미지 센서는 이미지 센서에 포함된 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 상응하는 제1 원시 영상 데이터를 출력하는 제1 모드에 기반하여 동작할 수 있다. 결정된 촬영 모드가 제1 해상도보다 낮은 제2 해상도에 상응하는 제2 촬영 모드인 경우, 이미지 센서는 이미지 센서에 포함된 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드(예: 하나의 마이크로 렌즈(521)에 대응되도록 배치된 M x N 배열의 포토 다이오드(511, 512, 513, 514), 또는 복수개의 마이크로 렌즈(521, 522, 523, 524)에 대응되도록 배치된 포토 다이오드)에 상응하는 제2 수광소자들의 출력이 하나의 픽셀에 상응하는 제2 원시 영상 데이터를 출력하는 제2 모드에 기반하여 동작할 수 있다.In one embodiment, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may cause the image sensor to output raw image data according to the determined resolution. For example, when the determined shooting mode is the first shooting mode corresponding to the first resolution, the image sensor outputs one light receiving element corresponding to one photo diode among the plurality of photo diodes included in the image sensor. It may operate based on a first mode that outputs first raw image data corresponding to pixels. When the determined shooting mode is a second shooting mode corresponding to a second resolution lower than the first resolution, the image sensor uses at least two photo diodes (e.g., one micro lens 521) among a plurality of photo diodes included in the image sensor. ) a second corresponding to an M The output of the light receiving elements may operate based on a second mode in which second raw image data corresponding to one pixel is output.

동작 832에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제1 원시 영상 데이터에 기초하여 제1 해상도의 제1 이미지를 획득할 수 있다. 제1 이미지는, 예를 들어, 각 픽셀에 대한 RGB 값을 가지는 RGB 도메인의 영상일 수 있다. 일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제1 원시 영상 데이터를 기계 학습에 기초하여 생성된 예측 모델에 입력하여 제1 이미지를 획득할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 예측 모델에 상응하는 연산을 수행하여 제1 이미지를 출력할 수 있다. 또는, 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 예측 모델에 상응하는 연산을 수행하여 전자 장치(예: 도 1 및 3의 전자 장치(101))의 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(260))가 처리할 수 있는 데이터를 획득할 수도 있다. 전자 장치(예: 도 1 및 3의 전자 장치(101))는 예측 모델의 출력에서 획득된 데이터에 대해 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(260))를 통한 영상 처리를 수행하여 제1 이미지를 획득할 수도 있다.Inoperation 832, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may acquire a first image with a first resolution based on first raw image data. For example, the first image may be an image in the RGB domain with RGB values for each pixel. In one embodiment, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may acquire the first image by inputting the first raw image data into a prediction model generated based on machine learning. For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may perform an operation corresponding to a prediction model and output the first image. Or, for example, the electronic device (e.g., electronic device 101 in FIGS. 1 and 3) performs an operation corresponding to the prediction model to generate an image of the electronic device (e.g., electronic device 101 in FIGS. 1 and 3). Data that can be processed by a signal processor (eg, the image signal processor 260 of FIG. 2) may be obtained. The electronic device (e.g., the electronic device 101 in FIGS. 1 and 3) performs image processing through an image signal processor (e.g., the image signal processor 260 in FIG. 2) on the data obtained from the output of the prediction model. The first image may be acquired.

예측 모델은, 예를 들어, 정답지(ground truth) 영상에 대한 원시 영상 데이터를 인위적으로 생성하여 정답지 영상을 원시 영상 데이터에 대한 라벨(label)로서 저장하는 입력 데이터베이스를 기계 학습 모델에 입력함으로써 생성될 수 있다. 또는, 예를 들어, 예측 모델은 원시 영상 데이터의 픽셀들을 비닝(binning)하여 정답지 영상을 생성하고, 각 마이크로 렌즈 위치에 대한 샘플링을 통해서 구성된 입력 데이터베이스를 기계 학습 모델에 입력함으로써 생성될 수 있다. 다만, 상술한 예측 모델을 생성하는 방법들은 예시들에 불과하며 예측 모델을 생성하는 방법은 제한되지 아니한다.The prediction model can be created, for example, by artificially generating raw image data for ground truth images and inputting an input database that stores the ground truth images as labels for the raw image data into a machine learning model. You can. Or, for example, the prediction model can be created by binning pixels of raw image data to generate a correct image and inputting an input database constructed through sampling for each micro lens position into a machine learning model. However, the methods for generating the prediction model described above are only examples, and the method for generating the prediction model is not limited.

결정된 촬영 모드가 제2 촬영 모드인 경우, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 841에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 제2 모드에 기반하여 제2 해상도에 상응하는 제2 원시 영상 데이터를 출력하도록 제어할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 50 Mp의 해상도에 상응하는 제2 원시 영상 데이터를 출력하도록 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어할 수 있다. 여기서, 제2 원시 영상 데이터는, 예를 들어, 리모자이크를 적용한 데이터일 수 있다. 동작 841에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 출력하는 제2 원시 영상 데이터는 복수 개의 포토 다이오드들에 상응하는 수광 소자들의 출력이 하나의 픽셀에 대응되도록 구성된 것일 수 있다. 예를 들어, 복수 개의 포토 다이오드들의 개수는 하나의 마이크로 렌즈에 대응되도록 배치된 복수 개(예: M x N개)의 포토 다이오드들의 개수일 수 있다.When the determined shooting mode is the second shooting mode, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment uses an image sensor (e.g., the image sensor 230 of FIG. 2) inoperation 841. ), theimage sensor 383 in FIG. 3) can be controlled to output second raw image data corresponding to the second resolution based on the second mode. For example, the electronic device (e.g., the electronic device 101 in FIGS. 1 and 3) uses an image sensor (e.g., the image sensor 230 in FIG. 2) to output second raw image data corresponding to a resolution of 50 Mp. Theimage sensor 383 in FIG. 3 can be controlled. Here, the second raw image data may be, for example, data to which remosaicing has been applied. Inoperation 841, the second raw image data output by the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) is one output of light receiving elements corresponding to a plurality of photo diodes. It may be configured to correspond to a pixel of . For example, the number of photodiodes may be the number of photodiodes (eg, M x N) arranged to correspond to one micro lens.

동작 842에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제2 원시 영상 데이터에 기초하여 제2 해상도의 제2 이미지를 획득할 수 있다. 일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제2 원시 영상 데이터에 대한 적어도 하나의 영상 신호 처리(예: 화이트 밸런스(white balance), 디모자이크(demosaic), 감마 보정(gamma correction), 색상 보정(color correction), 노이즈 저감(noise reduction), 샤프닝(sharpening))를 수행하여 제2 이미지를 획득할 수 있다. 제2 이미지는, 예를 들어, 각 픽셀에 대한 RGB 값을 가지는 RGB 도메인의 영상일 수 있다.Inoperation 842, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) according to an embodiment may acquire a second image with a second resolution based on the second raw image data. In one embodiment, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) performs at least one image signal processing (e.g., white balance, demosaic) on the second raw image data. , gamma correction, color correction, noise reduction, and sharpening) may be performed to obtain the second image. The second image may be, for example, an image in the RGB domain with RGB values for each pixel.

도 9는 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))의 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))에 포함된 수광 소자(예: 도 5의 포토 다이오드(511, 512, 513, 514))들에 할당되는 렌즈 동공에 대한 개념도이다.9 is included in an image sensor (e.g., the image sensor 230 of FIG. 2 and theimage sensor 383 of FIG. 3) of an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment. This is a conceptual diagram of the lens pupil assigned to the light receiving elements (e.g.,photodiodes 511, 512, 513, and 514 of FIG. 5).

일 실시예에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 제1 촬영 모드에 기초하여 동작하는 동안 수광 소자들(예: 도 5 내지 7의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514), 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517) 및 제8 포토 다이오드(518))에 축적된 전하를 각각 순차적으로 독출하여 높은 화소수(예: 200Mp)를 가지는 제1 원시 영상 데이터를 출력할 수 있다. 그러나 도 5에 도시된 바와 같이 하나의 마이크로 렌즈에 복수개의 포토 다이오드들이 대응되도록 배치된 경우 하나의 마이크로 렌즈에 입사된 빛을 복수개의 포토 다이오드들이 나누어서 수신하게 된다. 렌즈에 빛이 입사되는 주요 방향은 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383)) 내에서의 위치 별로 다를 수 있으므로, 포토 다이오드 별로 광이 분할되는 비율이 달라질 수 있다.In one embodiment, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) operates based on the first capturing mode while operating based on the first capturing mode.First photo diode 511,second photo diode 512,third photo diode 513,fourth photo diode 514,fifth photo diode 515,sixth photo diode 516, seventh photo diode First raw image data with a high number of pixels (e.g., 200Mp) can be output by sequentially reading out the charges accumulated in thephotodiode 517 and theeighth photodiode 518, respectively. However, as shown in FIG. 5, when a plurality of photo diodes are arranged to correspond to one micro lens, the light incident on one micro lens is divided and received by the plurality of photo diodes. Since the main direction in which light is incident on the lens may differ depending on the location within the image sensor (e.g., image sensor 230 in FIG. 2 andimage sensor 383 in FIG. 3), the ratio of light splitting for each photodiode is It may vary.

예를 들어, 도 9의 900을 참조하면, 네 개의 포토 다이오드에 빛이 분배되는 비율이 균등한 경우가 도시된다. 본 개시에서, 포토 다이오드에 빛이 분배된 영역은 동공 할당 영역(pupil allocated area)라고 언급될 수 있다. 도 9의 900을 참조하면, 좌상단 동공 할당 영역(901), 우상단 동공 할당 영역(902), 좌하단 동공 할당 영역(903) 및 우하단 동공 할당 영역(904)의 넓이가 실질적으로 균일하게 분배될 수 있다.For example, referring to 900 in FIG. 9, a case where the ratio of light distribution to four photodiodes is equal is shown. In the present disclosure, the area where light is distributed to the photo diode may be referred to as a pupil allocated area. Referring to 900 in FIG. 9, the areas of the upper leftpupil allocation area 901, upper rightpupil allocation area 902, lower leftpupil allocation area 903, and lower rightpupil allocation area 904 are substantially uniformly distributed. You can.

도 9의 910을 참조하면, 렌즈 동공이 좌상단 방향으로 편향될 수 있다. 렌즈 동공의 편향으로 인해서 좌상단 동공 할당 영역(911)이 다른 동공 할당 영역들(912, 913, 914)보다 커지게 된다. 도 9의 920을 참조하면, 렌즈 동공이 우상단 방향으로 편향될 수 있다. 렌즈 동공의 편향으로 인해서 우상단 동공 할당 영역(922)이 다른 동공 할당 영역들(921, 923, 924)보다 커지게 된다. 도 9의 930을 참조하면, 렌즈 동공이 좌하단 방향으로 편향될 수 있다. 렌즈 동공의 편향으로 인해서 좌하단 동공 할당 영역(933)이 다른 동공 할당 영역들(931, 932, 934)보다 커지게 된다. 도 9의 940을 참조하면, 렌즈 동공이 우하단 방향으로 편향될 수 있다. 렌즈 동공의 편향으로 인해서 우하단 동공 할당 영역(944)이 다른 동공 할당 영역들(941, 942, 943)보다 커지게 된다.Referring to 910 of FIG. 9, the lens pupil may be deflected in the upper left direction. Due to the bias of the lens pupil, the upper leftpupil allocation area 911 becomes larger than the otherpupil allocation areas 912, 913, and 914. Referring to 920 of FIG. 9, the lens pupil may be deflected toward the upper right corner. Due to the bias of the lens pupil, the upper rightpupil allocation area 922 becomes larger than the otherpupil allocation areas 921, 923, and 924. Referring to 930 of FIG. 9, the lens pupil may be deflected toward the bottom left. Due to the bias of the lens pupil, the lower leftpupil allocation area 933 becomes larger than the otherpupil allocation areas 931, 932, and 934. Referring to 940 of FIG. 9, the lens pupil may be deflected toward the bottom right. Due to the bias of the lens pupil, the lower rightpupil allocation area 944 becomes larger than the otherpupil allocation areas 941, 942, and 943.

일 실시예에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 각 포토 다이오드들에 대한 동공 할당 영역의 불균형을 교정한 결과에 기초하여 제1 원시 영상 데이터를 출력할 수 있다. 렌즈에 빛이 입사되는 주요 방향은 카메라의 줌 배율이나 렌즈의 초점 위치에 의해서도 달라질 수 있으므로, 일 실시예에 따른 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 줌 배율이나 초점 위치에 기초하여 포토 다이오드들로부터 독출된 제1 데이터를 교정할 수 있다. 예를 들어, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 줌 배율 또는 렌즈 위치 중 적어도 하나에 대한 정보를 입력 받아서 제1 데이터를 교정하는 프로세서를 포함할 수 있다.In one embodiment, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) generates the first raw image based on the result of correcting the imbalance of the pupil allocation area for each photodiode. Video data can be output. Since the main direction in which light is incident on the lens may vary depending on the zoom magnification of the camera or the focal position of the lens, the image sensor according to one embodiment (e.g., the image sensor 230 in FIG. 2, theimage sensor 383 in FIG. 3) )) can correct the first data read from the photo diodes based on the zoom magnification or focus position. For example, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) includes a processor that receives information about at least one of zoom magnification or lens position and corrects the first data. It can be included.

도 10은 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))가 촬영 모드를 선택하는 프로세스를 도시한 흐름도(1000)이다.FIG. 10 is aflowchart 1000 illustrating a process in which an electronic device (eg, the electronic device 101 of FIGS. 1 and 3 ) selects a capturing mode, according to an embodiment.

도 10은 전자 장치(예: 도 1 및 3의 전자 장치(101))가 촬영 모드를 선택하는 동작에서 수행될 수 있다. 예를 들어, 도 10에 도시된 흐름도(1000)에 포함된 동작은 도 8의 동작 810을 수행하는 과정에서 실행될 수 있다.10 may be performed by an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) selecting a shooting mode. For example, operations included in theflowchart 1000 shown in FIG. 10 may be executed while performing operation 810 of FIG. 8 .

동작 1010에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 카메라 어플리케이션을 실행할 수 있다. 카메라 어플리케이션은 전자 장치(예: 도 1 및 3의 전자 장치(101))의 카메라(예: 도 1 및 2의 카메라 모듈(180), 도 3의 카메라(380))를 통해서 영상을 촬영하는 서비스를 제공하는 어플리케이션을 포함할 수 있다. 예를 들어, 카메라 어플리케이션은 정지 영상 및/또는 동영상을 촬영하여 저장하는 촬영 어플리케이션, 카메라(예: 도 1 및 2의 카메라 모듈(180), 도 3의 카메라(380))를 통해서 촬영된 영상을 다른 카메라로 전송하는 영상 통화 어플리케이션, 또는 카메라(예: 도 1 및 2의 카메라 모듈(180), 도 3의 카메라(380))를 통해서 촬영된 영상을 외부로 스트리밍하는 방송 어플리케이션 중 적어도 하나를 포함할 수 있다.In operation 1010, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) according to an embodiment may execute a camera application. The camera application is a service that captures images through a camera (e.g., thecamera module 180 of FIGS. 1 and 2 and the camera 380 of FIG. 3) of an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3). It may include applications that provide. For example, the camera application is a shooting application that captures and stores still images and/or moving images, and images captured through a camera (e.g., thecamera module 180 in FIGS. 1 and 2 and the camera 380 in FIG. 3). Includes at least one of a video call application that transmits to another camera, or a broadcasting application that streams video captured through a camera (e.g.,camera module 180 in FIGS. 1 and 2 and camera 380 in FIG. 3) to the outside. can do.

동작 1020에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 실행된 카메라 어플리케이션에 기초하여 해상도를 선택하기 위한 사용자 인터페이스를 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 3의 디스플레이(360))를 통해서 표시할 수 있다.Inoperation 1020, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment displays a user interface for selecting a resolution based on an executed camera application (e.g., the display module of FIG. 1 It can be displayed through (160) and display (360) of FIG. 3).

예를 들어, 도 11을 참조하면, 도 11은 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))가 표시하는 해상도 선택 사용자 인터페이스를 포함하는 화면의 예시를 도시한 도면이다. 일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 해상도를 선택할 수 있는 적어도 하나의 항목을 포함하는 사용자 인터페이스를 포함하는 화면을 표시할 수 있다. 도 11을 참조하면, 해상도를 선택하기 위한 사용자 인터페이스는 제1 해상도에 상응하는 제1 아이콘(1101), 제2 해상도에 상응하는 제2 아이콘(1102) 또는 제3 해상도에 상응하는 제3 아이콘(1103) 중 적어도 하나를 포함할 수 있다.For example, referring to FIG. 11, FIG. 11 illustrates an example of a screen including a resolution selection user interface displayed by an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment. It is a drawing. In one embodiment, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may display a screen including a user interface including at least one item for selecting a resolution. Referring to FIG. 11, the user interface for selecting a resolution includes afirst icon 1101 corresponding to the first resolution, asecond icon 1102 corresponding to the second resolution, or a third icon corresponding to the third resolution ( 1103) may include at least one of the following.

일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 사용자 입력(예: 터치 입력)에 기초하여 촬영 모드를 결정할 수 있다. 예를 들어, 제1 아이콘(1101)이 표시된 위치에 상응하는 터치 입력이 수신된 경우 전자 장치는 200 Mp 의 해상도를 가지는 이미지를 생성하는 제1 촬영 모드를 결정할 수 있다. 제2 아이콘(1102)이 표시된 위치에 상응하는 터치 입력이 수신된 경우 전자 장치는 50 Mp의 해상도를 가지는 이미지를 생성하는 제2 촬영 모드를 결정할 수 있다. 제3 아이콘(1103)이 표시된 위치에 상응하는 터치 입력이 수신된 경우 전자 장치는 12.5 Mp의 해상도를 가지는 이미지를 생성하는 제3 촬영 모드를 결정할 수 있다. 다만, 본 개시에서 제시된 해상도 값들은 예시에 불과하며 해상도 값은 변경될 수 있다.In one embodiment, an electronic device (e.g., electronic device 101 of FIGS. 1 and 3) may determine a shooting mode based on a user input (e.g., touch input). For example, when a touch input corresponding to the position where thefirst icon 1101 is displayed is received, the electronic device may determine a first capturing mode that generates an image with a resolution of 200 Mp. When a touch input corresponding to the position where thesecond icon 1102 is displayed is received, the electronic device may determine a second capturing mode that generates an image with a resolution of 50 Mp. When a touch input corresponding to the position where thethird icon 1103 is displayed is received, the electronic device may determine a third capturing mode that generates an image with a resolution of 12.5 Mp. However, the resolution values presented in this disclosure are only examples and the resolution values may be changed.

동작 1030에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 결정된 촬영 모드에 기초하여 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어할 수 있다. 동작 1030에서, 일 일시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 결정된 촬영 모드에 상응하는 이미지를 획득하기 위한 원시 영상 데이터를 출력하도록 제어할 수 있다.In operation 1030, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment selects an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3) based on the determined capturing mode. Sensor 383) can be controlled. In operation 1030, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment has an image sensor (e.g., the image sensor 230 of FIG. 2 and theimage sensor 383 of FIG. 3). It can be controlled to output raw image data to acquire an image corresponding to the determined shooting mode.

예를 들어, 결정된 촬영 모드가 제1 촬영 모드인 경우, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 각 수광 소자들(예: 도 5 내지 도 7의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514), 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517), 제8 포토 다이오드(518))에 축적된 전하 값을 개별적 및 순차적으로 독출하도록 제어할 수 있다. 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 독출된 전하 값에 상응하는 픽셀들을 포함하는 제1 원시 영상 데이터를 출력할 수 있다. 제1 원시 영상 데이터에 포함된 픽셀들의 패턴은 베이어 패턴과 다를 수 있다.For example, when the determined shooting mode is the first shooting mode, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) uses an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3). The sensor 383) is connected to each light receiving element (e.g., thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 in FIGS. 5 to 7). , the charge values accumulated in thefifth photo diode 515,sixth photo diode 516,seventh photo diode 517, andeighth photo diode 518 can be controlled to read individually and sequentially. An image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) may output first raw image data including pixels corresponding to the read charge value. The pattern of pixels included in the first raw image data may be different from the Bayer pattern.

예를 들어, 결정된 촬영 모드가 제2 촬영 모드인 경우, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 2x2 배열의 포토 다이오드들에 상응하는 수광소자들(예: 도 5 내지 도 7의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))에 축적된 전하를 하나의 부동 노드를 통해서 함께 독출할 수 있다. 이후, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 다른 2x2 배열의 포토 다이오드들에 상응하는 수광 소자들(예: 도 5 내지 도 7의 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517), 제8 포토 다이오드(518))에 축적된 전하를 함께 독출할 수 있다. 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 독출된 전하 값을 포함하는 데이터에 대해 리모자이크 처리를 수행하여 베이어 패턴을 가지는 제2 원시 영상 데이터를 출력할 수 있다.For example, when the determined shooting mode is the second shooting mode, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) uses an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3). Light-receiving elements corresponding to the 2x2 array of photodiodes of the sensor 383 (e.g., thefirst photodiode 511, thesecond photodiode 512, and thethird photodiode 513 in FIGS. 5 to 7 , the charges accumulated in thefourth photodiode 514 can be read together through one floating node. Thereafter, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) receives light-receiving elements (e.g., the fifth light-receiving elements in FIGS. 5 to 7) corresponding to photodiodes in another 2x2 array. The charges accumulated in thephoto diode 515, thesixth photo diode 516, theseventh photo diode 517, and theeighth photo diode 518 can be read together. The image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) performs remosaic processing on data including the read charge value to generate second raw image data having a Bayer pattern. Can be printed.

예를 들어, 결정된 촬영 모드가 제3 촬영 모드인 경우, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 4x2 배열의 포토 다이오드들에 상응하는 수광 소자들(예: 도 5 내지 도 7의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514), 제5 포토 다이오드(515), 제6 포토 다이오드(516), 제7 포토 다이오드(517), 제8 포토 다이오드(518))에 축적된 전하 값을 함께 독출할 수 있다. 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 독출된 결과를 아날로그-디지털 변환기(analog to digital convertor, ADC)를 통해서 제1 디지털 값으로 변환할 수 있다. 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 상기 제1 디지털 값을 인접한 4x2 배열로부터 획득된 제2 디지털 값(예: 도 5의 제3 마이크로 렌즈(523) 및 제4 마이크로 렌즈(524)에 상응하는 포토 다이오드들로부터 독출된 값)과 디지털 합병(digital merge)하여 하나의 색상 채널(예: 도 5의 녹색 채널(531))에 대응되는 하나의 픽셀 값을 획득할 수 있다. 즉, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 4x4 배열의 포토 다이오드들에 상응하는 수광 소자들을 통해서 검출된 값에 기초하여 하나의 픽셀 값을 획득할 수 있다. 도 5에 도시된 헥사데카 패턴의 경우, 색상 채널 별로 픽셀 값을 획득하는 경우 픽셀 값들의 배치가 베이어 패턴을 따를 수 있다. 이 경우, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 리모자이크 과정을 거치지 않고 베이어 패턴을 가지는 제3 원시 영상 데이터를 출력할 수 있다.For example, when the determined shooting mode is the third shooting mode, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) uses an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3). The sensor 383) has light-receiving elements corresponding to a 4x2 array of photodiodes (e.g., thefirst photodiode 511, thesecond photodiode 512, and thethird photodiode 513 in FIGS. 5 to 7). , the charge values accumulated in thefourth photo diode 514, thefifth photo diode 515, thesixth photo diode 516, theseventh photo diode 517, and the eighth photo diode 518) can be read together. You can. The image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) can convert the read result into a first digital value through an analog to digital convertor (ADC). there is. An image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) converts the first digital value into a second digital value obtained from an adjacent 4x2 array (e.g., the third micro lens in FIG. 5). (523) and the value read from the photodiodes corresponding to the fourth micro lens 524) and digitally merge into one color channel (e.g., thegreen channel 531 in FIG. 5). The pixel value of can be obtained. That is, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) generates one pixel value based on the value detected through light-receiving elements corresponding to photodiodes in a 4x4 array. It can be obtained. In the case of the hexadeca pattern shown in FIG. 5, when pixel values are obtained for each color channel, the arrangement of pixel values may follow a Bayer pattern. In this case, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) may output third raw image data having a Bayer pattern without going through a remosaic process.

일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 선택된 촬영 모드에 기초하여 획득된 영상에 상응하는 미리보기 화면(1110)을 디스플레이를 통해서 표시할 수 있다.In one embodiment, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may display apreview screen 1110 corresponding to the image acquired based on the selected shooting mode through the display.

다만, 도 10은 전자 장치(예: 도 1 및 3의 전자 장치(101))가 촬영 모드를 선택하는 방법의 일 예시를 도시한 것이며, 전자 장치(예: 도 1 및 3의 전자 장치(101))가 촬영 모드를 선택하는 방법은 도 10에 도시된 흐름도(1000)로 한정되어야 하는 것은 아니다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 전자 장치(예: 도 1 및 3의 전자 장치(101))에 포함된 센서(예: 도 1의 센서 모듈(176))를 통해서 획득된 정보가 미리 정해진 조건을 만족하는지 여부에 기초하여 촬영 모드를 선택할 수도 있다.However, FIG. 10 shows an example of a method by which an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) selects a shooting mode, and the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) )) The method of selecting the shooting mode is not limited to theflowchart 1000 shown in FIG. 10. For example, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may be configured to include a sensor (e.g., a sensor module (e.g., the sensor module of FIG. 1) included in the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3). A shooting mode may be selected based on whether the information obtained through 176)) satisfies predetermined conditions.

도 12는 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))가 상황 정보에 기초하여 이미지를 획득하는 프로세스를 도시한 흐름도(1200)이다. 도 12에 도시된 프로세스는 기계 학습된 모델에 기초하여 이미지를 획득하는 동작과 연관하여 수행될 수 있다. 예를 들어, 도 8의 동작 832을 수행하는 경우에 도 12에 도시된 프로세스가 실행될 수 있다.FIG. 12 is aflowchart 1200 illustrating a process in which an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) acquires an image based on context information, according to an embodiment. The process shown in FIG. 12 may be performed in conjunction with the operation of acquiring an image based on a machine learned model. For example, when performingoperation 832 of FIG. 8, the process shown in FIG. 12 may be executed.

동작 1210에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 영상 촬영과 관련된 상황 정보를 분석할 수 있다. 영상 촬영과 관련된 상황 정보는 전자 장치(예: 도 1 및 3의 전자 장치(101))가 높은 화소의 영상을 생성할 필요가 있는지 여부를 판단하기 위한 정보를 포함할 수 있다. 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 카메라(예: 도 1 및 2의 카메라 모듈(180), 도 3의 카메라(380))를 통해서 촬영된 이미지 데이터 또는 별도의 센서(예: 도 1의 센서 모듈(176))을 통해서 상황 정보를 획득할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 데이터 또는 조도 센서를 이용하여 조도 값을 획득할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 데이터에 포함된 영상이 디포커스(defocus)된 영상인지 여부에 대한 정보를 획득할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 데이터에 포함된 고주파 성분에 대한 정보를 획득할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 촬영되는 장면을 분류하기 위한 정보(예: 야경, 피사체 주변에 역광이 존재하는 장면)를 획득할 수 있다. 다만, 상황 정보의 예시는 이에 한정되지 아니한다.In operation 1210, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may analyze situation information related to image capture. Context information related to image capturing may include information for determining whether an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) needs to generate a high-pixel image. An electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may capture images through a camera (e.g., thecamera module 180 of FIGS. 1 and 2 and the camera 380 of FIG. 3). Situation information can be obtained through data or a separate sensor (eg, sensor module 176 in FIG. 1). For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may acquire an illuminance value using image data or an illuminance sensor. For example, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) may obtain information about whether an image included in image data is a defocused image. For example, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) may obtain information about high-frequency components included in image data. For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may obtain information for classifying a captured scene (e.g., a night scene, a scene with backlight around the subject). However, examples of situation information are not limited to this.

도 8의 동작 832와 관련하여 제1 촬영 모드에 기초하여 영상을 촬영하는 경우 기계 학습을 통해서 생성된 모델을 이용하여 높은 화질의 제1 이미지를 획득할 수도 있으나, 딥 러닝(deep learning)과 같은 연산은 연산량이 많을 수 있다. 따라서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 높은 화질이 요구되지 않는 상황에서는 기계 학습을 통해서 생성된 모델에 기반한 연산을 수행하지 않고 제1 이미지를 획득할 수도 있다. 기계 학습을 통해서 생성된 모델을 이용한 연산이 필요한 지 여부를 판단하기 위해, 동작 1220에서 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 상황 정보가 지정된 조건에 상응하는지 여부를 판단할 수 있다.In relation tooperation 832 of FIG. 8, when an image is captured based on the first shooting mode, a high quality first image may be obtained using a model created through machine learning, but methods such as deep learning The computation may require a lot of computation. Accordingly, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to one embodiment uses the first image without performing an operation based on a model generated through machine learning in situations where high image quality is not required. You can also obtain it. In order to determine whether an operation using a model generated through machine learning is necessary, inoperation 1220, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment determines whether context information meets a specified condition. You can determine whether it corresponds or not.

예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 조도 값이 임계치 미만인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 촬영된 영상이 초점이 맞지 않은 영상인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 영상에 포함된 고주파 성분의 크기가 임계치 미만인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 촬영된 영상이 지정된 분류에 속하는 장면을 촬영한 것인지 여부를 판단할 수 있다. 다만, 지정된 조건의 예시는 이에 한정되지 아니한다.For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may determine whether the illuminance value is less than a threshold. For example, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) may determine whether a captured image is an out-of-focus image. For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may determine whether the size of a high-frequency component included in an image is less than a threshold. For example, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) may determine whether a captured image captures a scene belonging to a designated category. However, examples of designated conditions are not limited to this.

일 실시예에서, 상황 정보가 지정된 조건에 상응하지 않는 경우, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))에서 출력된 원시 영상 데이터를 기계 학습된 모델에 입력하는 동작 1231을 수행할 수 있다. 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 원시 영상 데이터가 입력된 모델에 따른 연산을 수행함으로써 획득된 출력에 기초하여 제1 이미지를 획득하는 동작 1233을 수행할 수 있다.In one embodiment, if the context information does not correspond to the specified condition, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) detects the image sensor (e.g., the image sensor 230 of FIG. 2, the electronic device 101 of FIG. 3). Operation 1231 may be performed to input raw image data output from theimage sensor 383 into a machine learned model. An electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment performs an operation 1233 of acquiring a first image based on an output obtained by performing an operation according to a model in which raw image data is input. It can be done.

일 실시 예에서, 상황 정보가 지정된 조건에 상응하는 경우, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))에서 출력된 원시 영상 데이터에 대한 영상 신호 처리를 수행하는 동작 1241을 수행할 수 있다. 여기서, 영상 신호 처리는 전자 장치(예: 도 1 및 3의 전자 장치(101))에 포함된 영상 신호 처리 체인(ISP chain)에 의해 수행될 수 있다. 동작 1241에서 수행되는 영상 신호 처리는 동작 1231에서 이용되는 기계 학습된 모델을 이용하지 않고 수행될 수 있다. 예를 들어, 동작 1241에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 화이트 밸런스, 디모자이크, 감마 보정, 색상 보정, 노이즈 저감, 또는 샤프닝 중 적어도 하나를 수행하기 위한 영상 신호 체인에 기초하여 원시 영상 데이터에 대한 영상 처리를 수행할 수 있다. 동작 1243에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 동작 1241에서 수행된 영상 신호 처리의 결과에 기초하여 제1 이미지를 획득할 수 있다.In one embodiment, when the context information corresponds to a specified condition, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) detects an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3). Operation 1241 may be performed to perform image signal processing on raw image data output from the sensor 383). Here, image signal processing may be performed by an image signal processing chain (ISP chain) included in an electronic device (e.g., electronic device 101 of FIGS. 1 and 3). The image signal processing performed in operation 1241 may be performed without using the machine learned model used in operation 1231. For example, in operation 1241, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) performs image correction to perform at least one of white balance, demosaicing, gamma correction, color correction, noise reduction, or sharpening. Image processing can be performed on raw image data based on the signal chain. In operation 1243, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may acquire a first image based on the result of the image signal processing performed in operation 1241.

동작 1241에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))에 의해 수행되는 영상 신호 처리는 원시 영상 데이터를 디모자이크를 수행할 수 있는 데이터로 변환하는 동작을 포함할 수 있다. 원시 영상 데이터를 변환하는 동작은 원시 영상 데이터에 포함된 픽셀들을 병합하는 또는 비닝(binning) 연산하는 동작을 포함할 수 있다. 예를 들어, 도 5에 도시된 헥사데카 패턴을 가지는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))에 포함된 하나의 포토 다이오드에 상응하는 수광 소자 하나의 출력을 하나의 픽셀 값으로 구성하는 경우 해상도를 유지하면서 원하는 품질의 영상을 획득하기 어려울 수 있다. 그러나, 도 13에 도시된 예시와 같이 픽셀들을 병합하여 처리하는 경우, 해상도는 낮아지지만 베이어 패턴의 영상을 획득할 수 있다.In operation 1241, image signal processing performed by an electronic device (e.g., electronic device 101 of FIGS. 1 and 3) according to an embodiment includes converting raw image data into data capable of performing demosaicing. It can be included. The operation of converting raw image data may include merging or performing a binning operation on pixels included in the raw image data. For example, one light receiving element corresponding to one photodiode included in an image sensor having the hexadeca pattern shown in FIG. 5 (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3). If the output is composed of a single pixel value, it may be difficult to obtain an image of the desired quality while maintaining resolution. However, when processing pixels by merging them as in the example shown in FIG. 13, a Bayer pattern image can be obtained although the resolution is lowered.

도 13은 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))가 이미지를 획득하기 위해 수행하는 영상 신호 처리 과정을 개념적으로 도시한 도면이다.FIG. 13 is a diagram conceptually illustrating an image signal processing process performed by an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment to acquire an image.

일 실시예에서, 제1 촬영 모드에 기초하여 동작하는 동안, 도 5에 도시된 헥사데카 패턴을 가지는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 제1 패턴(1300)을 가지는 제1 원시 영상 데이터를 출력할 수 있다. 예를 들어, 도 12의 동작 1231에서 기계 학습된 모델에 입력되는 제1 원시 영상 데이터는 제1 패턴(1300)을 가질 수 있다. 그러나, 동작 1241에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 출력하는 데이터의 패턴을 제1 패턴(1300)으로부터 디모자이크를 수행할 수 있는 패턴(예: 패턴(1310) 또는 패턴(1321))으로 변경하도록 할 수 있다.In one embodiment, while operating based on the first shooting mode, an image sensor having a hexadecimal pattern as illustrated in FIG. 5 (e.g., the image sensor (230) of FIG. 2, the image sensor (383) of FIG. 3) may output first raw image data having a first pattern (1300). For example, in operation 1231 of FIG. 12, the first raw image data input to the machine learned model may have the first pattern (1300). However, in operation 1241, an electronic device (e.g., the electronic device (101) of FIGS. 1 and 3) according to one embodiment may change the pattern of data output by the image sensor (e.g., the image sensor (230) of FIG. 2, the image sensor (383) of FIG. 3) from the first pattern (1300) to a pattern capable of performing demosaicing (e.g., the pattern (1310) or the pattern (1321)).

예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 출력하는 제1 원시 영상 데이터가 제1 패턴(1300) 내에서 동일한 색상 채널에 대한 정보를 포함하는 4x4 배열의 픽셀들을 병합하는 베이어 병합(Bayer merge)을 수행하여 베이어 패턴에 상응하는 제2 패턴(1310)을 가지도록 할 수 있다. 이 경우 패턴이 변경된 제1 원시 영상 데이터는 패턴의 변경 이전에 대비하여 1/16의 해상도를 가질 수 있다. 따라서 전자 장치(예: 도 1 및 3의 전자 장치(101))는 패턴이 변경된 제1 원시 영상 데이터를 열 여섯배 확대(upscale)할 수 있다.For example, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may use a first raw image output from an image sensor (e.g., the image sensor 230 of FIG. 2 and theimage sensor 383 of FIG. 3). Bayer merge is performed so that the image data merges pixels in a 4x4 array containing information about the same color channel within thefirst pattern 1300 to have asecond pattern 1310 corresponding to the Bayer pattern. can do. In this case, the first raw image data whose pattern has been changed may have a resolution of 1/16 of that before the pattern change. Accordingly, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) can upscale the first raw image data whose pattern has been changed by sixteen times.

또는, 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 출력하는 제1 원시 영상 데이터가 제1 패턴 (1300) 내에서 동일한 색상 채널에 대한 정보를 포함하는 2x2 배열의 픽셀들을 병합하여 테트라(tetra) 패턴에 상응하는 제3 패턴(1321)을 가지도록 할 수 있다. 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제3 패턴(1321)에 대하여 리모자이크를 수행하여 베이어 패턴에 상응하는 제4 패턴(1323)을 가지도록 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 출력을 변경할 수 있다. 이 경우 패턴이 변경된 제1 원시 영상 데이터는 패턴의 변경 이전에 대비하여 1/4의 해상도를 가질 수 있다. 따라서 전자 장치(예: 도 1 및 3의 전자 장치(101))는 패턴이 변경된 제1 원시 영상 데이터를 네 배 확대(upscale)할 수 있다.Or, for example, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may output the image sensor (e.g., the image sensor 230 of FIG. 2 and theimage sensor 383 of FIG. 3). 1 Raw image data can have athird pattern 1321 corresponding to a tetra pattern by merging pixels in a 2x2 array containing information about the same color channel within thefirst pattern 1300. The electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) performs remosaicing on thethird pattern 1321 to have afourth pattern 1323 corresponding to the Bayer pattern. The output of the image sensor 230 in Figure 2 and theimage sensor 383 in Figure 3 can be changed. In this case, the first raw image data whose pattern has been changed may have a resolution of 1/4 of that before the pattern change. Accordingly, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) can upscale the first raw image data whose pattern has been changed by four times.

도 14는 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))가 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 동작에 관련된 세 가지 모드에 기초하여 이미지를 획득하는 프로세스를 도시한 흐름도(1400)이다.FIG. 14 illustrates the operation of an image sensor (e.g., the image sensor 230 of FIG. 2 and theimage sensor 383 of FIG. 3) of an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment. This is aflowchart 1400 illustrating the process of acquiring an image based on the three modes involved.

일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 1410에서, 영상을 촬영하기 위한 촬영 모드를 결정할 수 있다. 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 촬영 모드를 선택하기 위한 사용자 입력을 수신하고, 수신된 사용자 입력에 기초하여 촬영 모드를 결정할 수 있다. 또는, 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 디폴트(default) 설정에 기초하여 영상을 촬영하기 위한 촬영 모드를 결정할 수 있다. 또는, 예를 들어, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이전에 설정된 촬영 모드에 기초하여 영상을 촬영하기 위한 촬영 모드를 결정할 수 있다.The electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may determine a capturing mode for capturing an image in operation 1410. For example, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) may receive a user input for selecting a photographing mode and determine the photographing mode based on the received user input. Or, for example, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may determine a capturing mode for capturing an image based on default settings. Or, for example, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may determine a capturing mode for capturing an image based on a previously set capturing mode.

일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 1420에서 결정된 촬영 모드가 제1 해상도에 상응하는 제1 촬영 모드인지 여부를 판단할 수 있다. 제1 해상도는, 예를 들어, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 통해서 제공할 수 있는 최고 해상도에 상응할 수 있다. 다만, 이에 한정되지 아니한다. 결정된 촬영 모드가 제1 촬영 모드인 경우, 동작 1431에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 제1 해상도에 상응하는 제1 원시 데이터를 출력하도록 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어할 수 있다. 여기서, 제1 원시 영상 데이터는, 예를 들어, 베이어 패턴에 상응하지 않는 패턴을 가지는 제1 해상도의 원시 영상일 수 있다.The electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to one embodiment may determine whether the photographing mode determined inoperation 1420 is the first photographing mode corresponding to the first resolution. For example, the first resolution may correspond to the highest resolution that can be provided through an image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3). However, it is not limited to this. If the determined capturing mode is the first capturing mode, in operation 1431, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) detects an image sensor (e.g., the image sensor 230 of FIG. 2, the image of FIG. 3). Thesensor 383 may control an image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) to output first raw data corresponding to the first resolution. Here, the first raw image data may be, for example, a raw image of the first resolution having a pattern that does not correspond to a Bayer pattern.

동작 1432에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제1 원시 영상 데이터에 기초하여 제1 해상도의 제1 이미지를 획득할 수 있다. 일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제1 원시 영상 데이터를 기계 학습에 기초하여 생성된 예측 모델에 입력한 결과에 기초하여 제1 이미지를 획득할 수 있다. 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제1 이미지를 메모리(예: 도 1의 메모리(130), 도 3의 메모리(330))에 저장하거나, 외부 장치로 전송하거나, 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 3의 디스플레이(360))를 통해서 출력할 수 있다.In operation 1432, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) according to an embodiment may acquire a first image with a first resolution based on first raw image data. In one embodiment, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) acquires the first image based on the result of inputting the first raw image data into a prediction model generated based on machine learning. You can. An electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment stores the first image in a memory (e.g., the memory 130 of FIG. 1 or the memory 330 of FIG. 3), or It can be transmitted to an external device or output through a display (e.g., display module 160 in FIG. 1 or display 360 in FIG. 3).

동작 1430에서, 결정된 촬영 모드가 제1 촬영 모드가 아닌 경우, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 결정된 촬영 모드가 제2 촬영 모드인지 여부를 결정할 수 있다. 제2 촬영 모드는 제1 해상도보다 낮은 제2 해상도에 상응할 수 있다. 도 14에서 도시된 흐름도(1400)는 동작 1420 및 동작 1430을 별도로 도시하였으나, 이에 한정되지 아니한다. 예를 들어, 동작 1420 및 동작 1430은 결정된 촬영 모드가 제1 촬영 모드인 경우 동작 1431을 수행하고, 제2 촬영 모드인 경우 동작 1441을 수행하고, 제3 촬영 모드인 경우 동작 1451을 수행하는 동작으로 대체될 수 있다.Inoperation 1430, if the determined photographing mode is not the first photographing mode, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment determines whether the determined photographing mode is the second photographing mode. You can. The second shooting mode may correspond to a second resolution lower than the first resolution. Theflowchart 1400 shown in FIG. 14 showsoperations 1420 and 1430 separately, but is not limited thereto. For example,operations 1420 and 1430 include performing operation 1431 when the determined shooting mode is the first shooting mode, performingoperation 1441 when the determined shooting mode is the second shooting mode, and performing operation 1451 when the determined shooting mode is the third shooting mode. can be replaced with

결정된 촬영 모드가 제2 촬영 모드인 경우, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 1441에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 제2 해상도에 상응하는 제2 원시 영상 데이터를 출력하도록 제어할 수 있다. 제2 원시 영상 데이터는, 예를 들어, 리모자이크 연산을 통해서 베이어 패턴을 가지도록 구성된 데이터를 포함할 수 있다.When the determined shooting mode is the second shooting mode, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment uses an image sensor (e.g., the image sensor 230 of FIG. 2) inoperation 1441. ), theimage sensor 383 in FIG. 3) can be controlled to output second raw image data corresponding to the second resolution. The second raw image data may include data configured to have a Bayer pattern through, for example, a remosaic operation.

동작 1442에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제2 원시 영상 데이터에 기초하여 제2 해상도의 제2 이미지를 획득할 수 있다. 일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제2 원시 영상 데이터에 대한 적어도 하나의 영상 신호 처리를 수행하여 제2 이미지를 획득할 수 있다. 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제2 이미지를 메모리(예: 도 1의 메모리(130), 도 3의 메모리(330))에 저장하거나, 외부 장치로 전송하거나, 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 3의 디스플레이(360))를 통해서 출력할 수 있다.In operation 1442, an electronic device (eg, the electronic device 101 of FIGS. 1 and 3) according to an embodiment may acquire a second image with a second resolution based on the second raw image data. In one embodiment, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may obtain a second image by performing at least one image signal processing on the second raw image data. An electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment stores the second image in a memory (e.g., the memory 130 of FIG. 1 or the memory 330 of FIG. 3), or It can be transmitted to an external device or output through a display (e.g., display module 160 in FIG. 1 or display 360 in FIG. 3).

결정된 촬영 모드가 제3 촬영 모드인 경우(또는, 제1 촬영 모드 및 제2 촬영 모드가 아닌 경우), 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는, 동작 1451에서, 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 제3 해상도에 상응하는 제3 원시 영상 데이터를 출력하도록 제어할 수 있다. 제3 촬영 모드는 제2 해상도보다 낮은 제3 해상도에 상응할 수 있다. 제3 원시 영상 데이터는, 예를 들어, 수광 소자들의 출력 값을 아날로그적 및/또는 디지털적으로 병합하여 베이어 패턴을 가지도록 구성된 데이터를 포함할 수 있다.When the determined shooting mode is the third shooting mode (or when it is not the first shooting mode and the second shooting mode), the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment, In operation 1451, an image sensor (eg, the image sensor 230 in FIG. 2 or theimage sensor 383 in FIG. 3) may be controlled to output third raw image data corresponding to the third resolution. The third shooting mode may correspond to a third resolution that is lower than the second resolution. The third raw image data may include, for example, data configured to have a Bayer pattern by analogously and/or digitally merging output values of light-receiving elements.

동작 1452에서, 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제3 원시 영상 데이터에 기초하여 제3 해상도의 제3 이미지를 획득할 수 있다. 일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제3 원시 영상 데이터에 대한 적어도 하나의 영상 신호 처리를 수행하여 제3 이미지를 획득할 수 있다. 일 실시예에 따른 전자 장치(예: 도 1 및 3의 전자 장치(101))는 제3 이미지를 메모리(예: 도 1의 메모리(130), 도 3의 메모리(330))에 저장하거나, 외부 장치로 전송하거나, 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 3의 디스플레이(360))를 통해서 출력할 수 있다.In operation 1452, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment may acquire a third image with a third resolution based on the third raw image data. In one embodiment, an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may obtain a third image by performing at least one image signal processing on the third raw image data. An electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) according to an embodiment stores the third image in a memory (e.g., the memory 130 of FIG. 1 or the memory 330 of FIG. 3), or It can be transmitted to an external device or output through a display (e.g., display module 160 in FIG. 1 or display 360 in FIG. 3).

카메라 기술의 발달에 따라 이미지 센서에 포함되는 수광 소자의 집적도가 높아짐에 따라 서로 인접한 복수개의 수광 소자들이 색상 필터 내의 동일한 색상의 색상 채널에 대응되도록 배치될 수 있다. 이러한 구조를 가지는 이미지 센서는 둘 이상의 모드에 기초하여 동작할 수 있다. 이미지 센서는 각 수광 소자에서 검출되어 출력되는 데이터에 대해 가지도록 비닝(binning)이나 합산(sum) 처리를 통해서 베이어 패턴을 가지도록 할 수 있다. 이미지 센서는 출력되는 데이터의 패턴을 변환하여 베이어 패턴을 가지도록 할 수 있다. 이미지 센서는 패턴을 변환하기 위해 색상 순서(color order)를 변경하고 변경된 색상의 값을 추측할 수 있다. 패턴을 변환하기 위해 색상 순서를 변경하고 변경된 색상의 값을 추측하는 동작을 리모자이크(remosaic)라고 언급할 수 있다.As camera technology develops and the degree of integration of light-receiving elements included in an image sensor increases, a plurality of light-receiving elements adjacent to each other may be arranged to correspond to a color channel of the same color in a color filter. An image sensor having this structure can operate based on two or more modes. The image sensor can have a Bayer pattern for data detected and output from each light receiving element through binning or sum processing. The image sensor can convert the pattern of output data to have a Bayer pattern. The image sensor can change the color order to convert the pattern and estimate the value of the changed color. The operation of changing the color order and guessing the value of the changed color to transform the pattern can be referred to as remosaic.

그러나 특정 패턴(예: 헥사데카 패턴)의 경우에는 리모자이크를 수행한 결과에 의해 아티팩트(artifact)가 제거된 영상을 얻기 어려울 수 있다. 또한, 높은 화질을 영상을 얻기 위해서는 변조 전달 함수(modulation transfer function, MTF)의 값을 확보하여야 한다. 그러나 특정 패턴의 경우에는 리모자이크를 수행하더라도 MTF 값을 확보하기 어려울 수 있다.However, in the case of certain patterns (e.g., hexadeca patterns), it may be difficult to obtain an image with artifacts removed as a result of remosaicing. Additionally, in order to obtain high quality images, the value of the modulation transfer function (MTF) must be secured. However, in the case of certain patterns, it may be difficult to secure the MTF value even if remosaic is performed.

본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved in this document is not limited to the technical problem mentioned above, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.

일 실시예에서, 전자 장치(예: 도 1 및 3의 전자 장치(101))는 렌즈부(예: 도 3의 렌즈부(381)) 및 상기 렌즈부(예: 도 3의 렌즈부(381))를 통과한 광 신호를 디지털 신호로 전환하는 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 포함하는 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380)); 인스트럭션들을 저장하는 메모리(예: 도 1의 메모리(130), 도 3의 메모리(330)); 및 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))를 포함할 수 있다. 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 복수개의 수광 소자들(예: 도 4의 수광부(415)), 복수개의 마이크로 렌즈들(예: 도 4의 마이크로 렌즈 배열(411)) 및 복수개의 색상 채널들을 포함하는 색상 필터(예: 도 4의 색상 필터(413))를 포함할 수 있다. 상기 복수개의 수광 소자들(예: 도 4의 수광부(415))은 M x N 배열로 하나의 제1 마이크로 렌즈(예: 도 5의 제1 마이크로 렌즈(521))에 대응되도록 배치된 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))을 포함하고, 대응되도록 배치될 수 있다. M 또는 N 중 적어도 하나는 2 이상의 자연수일 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 결정된 촬영 모드가 제1 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514)) 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 결정된 촬영 모드가 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514)) 중 적어도 둘 이상의 포토 다이오드들에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하도록 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어할 수 있다. 상기 제2 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제2 해상도에 상응하는 제2 이미지를 획득하도록 구성될 수 있다.In one embodiment, an electronic device (e.g., electronic device 101 of FIGS. 1 and 3) includes a lens unit (e.g., lens unit 381 of FIG. 3) and the lens unit (e.g., lens unit 381 of FIG. 3). ), a camera including an image sensor (e.g., the image sensor 230 in FIG. 2, theimage sensor 383 in FIG. 3) that converts the optical signal that has passed through the digital signal into a digital signal (e.g., thecamera module 180 in FIG. 1) ), camera 380 in Figure 3); A memory that stores instructions (e.g., memory 130 in FIG. 1 and memory 330 in FIG. 3); And it may include at least one processor (eg, the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and at least one processor 320 of FIG. 3). The image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) includes a plurality of light-receiving elements (e.g., the light-receivingunit 415 in FIG. 4) and a plurality of microlenses (e.g., It may include amicro lens array 411 in FIG. 4) and a color filter (eg,color filter 413 in FIG. 4) including a plurality of color channels. The plurality of light receiving elements (e.g., thelight receiving part 415 in FIG. 4) are arranged in an M x N array to correspond to one first micro lens (e.g., the firstmicro lens 521 in FIG. 5). It includes photo diodes (e.g., thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 in FIG. 5) and can be arranged to correspond. there is. At least one of M or N may be a natural number of 2 or more. When executing the instructions, the at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3) operates on the camera. It may be configured to determine a shooting mode corresponding to the resolution of the image to be captured using (e.g., thecamera module 180 in FIG. 1 and the camera 380 in FIG. 3). The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, performs the determined Based on the shooting mode corresponding to the first resolution, the plurality of photo diodes (e.g., thefirst photo diode 511,second photo diode 512,third photo diode 513, and The image sensor (for example, It may be configured to control the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3. The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, 1 It may be configured to obtain a first image corresponding to the first resolution based on a result of inputting raw image data into a model created through machine learning. The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, performs the determined Based on the fact that the shooting mode corresponds to a second resolution lower than the first resolution, the plurality of photo diodes (e.g., thefirst photo diode 511, thesecond photo diode 512, and the third photo diode in FIG. 5 At least one image processing is performed on the read second data so that the output of the second light receiving elements corresponding to at least two of thediode 513 and thefourth photo diode 514 corresponds to one pixel. The image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) can be controlled to output the acquired second raw image data. It may be configured to obtain a second image corresponding to the second resolution by performing image signal processing on the second raw image data.

일 실시예에서, 상기 제1 원시 영상 데이터는 상기 독출된 데이터의 색상 순서(color order)가 유지된 데이터를 포함할 수 있다.In one embodiment, the first raw image data may include data in which the color order of the read data is maintained.

일 실시예에서, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는, 베이어 패턴을 가지도록 상기 제2 데이터의 색상 순서를 변경하는 리모자이크 처리를 수행하여 상기 제2 원시 영상 데이터를 출력하도록 구성될 수 있다.In one embodiment, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) performs remosaic processing to change the color order of the second data to have a Bayer pattern. It may be configured to output the second raw image data.

일 실시예에서, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는, 상기 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))의 줌 배율 또는 상기 렌즈부(예: 도 3의 렌즈부(381))의 초점 위치 중 적어도 하나에 기초하여 상기 제1 데이터를 교정하여 상기 제1 원시 영상 데이터를 출력하도록 구성될 수 있다.In one embodiment, the image sensor (e.g., the image sensor 230 of FIG. 2, theimage sensor 383 of FIG. 3) is the camera (e.g., thecamera module 180 of FIG. 1, the camera of FIG. 3 (e.g., It may be configured to output the first raw image data by correcting the first data based on at least one of the zoom magnification of 380) or the focus position of the lens unit (e.g., the lens unit 381 in FIG. 3). there is.

일 실시예에서, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 상기 네 개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))에 대한 광의 분배 비율을 보상하여 상기 제1 데이터를 교정하도록 구성될 수 있다.In one embodiment, the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) includes the four photo diodes (e.g., thefirst photo diode 511 in FIG. 5, It may be configured to correct the first data by compensating the distribution ratio of light for thesecond photo diode 512,third photo diode 513, andfourth photo diode 514.

일 실시예에서, 상기 전자 장치(예: 도 1 및 3의 전자 장치(101))는 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 3의 디스플레이(360))를 포함할 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))를 이용하여 영상을 촬영하기 위한 카메라 어플리케이션을 실행하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 실행된 카메라 어플리케이션에 기초하여 상기 해상도를 선택하기 위한 사용자 인터페이스를 포함하는 화면을 상기 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 3의 디스플레이(360))를 통해서 표시하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 사용자 인터페이스에 기초하여 수신된 사용자 입력에 기초하여 결정된 촬영 모드에 기초하여 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어하도록 구성될 수 있다.In one embodiment, the electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) may include a display (e.g., the display module 160 of FIG. 1 and the display 360 of FIG. 3). When executing the instructions, the at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3) operates on the camera. It may be configured to run a camera application for capturing images using (e.g., thecamera module 180 in FIG. 1 and the camera 380 in FIG. 3). The at least one processor (e.g., the processor 120 in FIG. 1, the image signal processor 260 in FIG. 2, and the at least one processor 320 in FIG. 3), when executing the instructions, executes the It may be configured to display a screen including a user interface for selecting the resolution based on the selected camera application through the display (e.g., the display module 160 in FIG. 1 and the display 360 in FIG. 3). The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, the user It may be configured to control the image sensor (eg, the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) based on a shooting mode determined based on a user input received based on the interface.

일 실시예에서, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 상기 복수개의 마이크로 렌즈들은 상기 제1 마이크로 렌즈(예: 도 5의 제1 마이크로 렌즈(521))을 포함하는 네 개의 제2 마이크로 렌즈들(예: 도 5의 제1 마이크로 렌즈(521), 제2 마이크로 렌즈(522), 제3 마이크로 렌즈(523) 및 제4 마이크로 렌즈(524))이 상기 색상 필터 내의 하나의 색상 채널(예: 도 5의 녹색 채널(531))에 상응하도록 배치될 수 있다. 상기 제2 원시 영상 데이터에 포함된 하나의 픽셀은 네 개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))의 출력에 상응할 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 결정된 촬영 모드가 상기 제2 해상도보다 낮은 제3 해상도에 상응하는 것에 기초하여, 상기 복수개의 수광 소자들(예: 도 4의 수광부(415)) 중 상기 하나의 색상 채널(예: 도 5의 녹색 채널(531))에 상응하도록 배치된 포토 다이오드들에 상응하는 제3 수광 소자들의 출력이 이미지의 하나의 픽셀에 대응되도록 독출된 제3 데이터에 대해 적어도 하나의 영상 처리를 수행하여 제3 원시 데이터를 출력하도록 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어할 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 제3 원시 영상 데이터에 대한 영상 처리 신호를 수행하여 상기 제3 해상도에 상응하는 제3 이미지를 획득하도록 구성될 수 있다.In one embodiment, the plurality of micro lenses of the image sensor (e.g., the image sensor 230 of FIG. 2 and theimage sensor 383 of FIG. 3) are the first micro lenses (e.g., the first micro lens of FIG. 5). Four second micro lenses including a lens 521 (e.g., the firstmicro lens 521, the secondmicro lens 522, the thirdmicro lens 523, and the fourth micro lens (in FIG. 5) 524)) may be arranged to correspond to one color channel (eg,green channel 531 in FIG. 5) in the color filter. One pixel included in the second raw image data includes four photodiodes (e.g., thefirst photodiode 511, thesecond photodiode 512, thethird photodiode 513, and the fourth photodiode in FIG. 5). It may correspond to the output of the photodiode 514). The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, performs the determined Based on the shooting mode corresponding to a third resolution lower than the second resolution, the one color channel (e.g., the green channel in FIG. 5) among the plurality of light receiving elements (e.g., thelight receiving unit 415 in FIG. 4) At least one image processing is performed on the read third data so that the output of the third light receiving elements corresponding to the photodiodes arranged corresponding to (531)) corresponds to one pixel of the image to produce the third raw data. The image sensor (eg, image sensor 230 in FIG. 2 andimage sensor 383 in FIG. 3) can be controlled to output. The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, 3 It may be configured to obtain a third image corresponding to the third resolution by performing an image processing signal on the raw image data.

일 실시예에서, 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 결정된 촬영 모드가 상기 제1 해상도에 상응하는 동안 상기 영상 촬영과 연관된 상황에 대한 정보를 획득하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 상황에 대한 정보가 지정된 상황에 상응하는 것에 기초하여, 상기 제1 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제1 이미지를 출력하도록 구성될 수 있다. 상기 적어도 하나의 프로세서(예: 도 1의 프로세서(120), 도 2의 이미지 시그널 프로세서(260), 도 3의 적어도 하나의 프로세서(320))는, 상기 인스트력션들을 실행 시에, 상기 상황에 대한 정보가 상기 지정된 상황에 상응하지 않는 것에 기초하여, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하도록 구성될 수 있다.In one embodiment, the at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3) executes the instructions. In this case, it may be configured to obtain information about a situation associated with the image capture while the determined capture mode corresponds to the first resolution. The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, determines the situation. It may be configured to output the first image by performing image signal processing on the first raw image data, based on whether the information about corresponds to a specified situation. The at least one processor (e.g., the processor 120 of FIG. 1, the image signal processor 260 of FIG. 2, and the at least one processor 320 of FIG. 3), when executing the instructions, determines the situation. Based on the fact that the information does not correspond to the specified situation, the first image corresponding to the first resolution is obtained based on the result of inputting the first raw image data to a model generated through machine learning. It can be.

일 실시예에서, 상기 지정된 상황은 조도가 임계치 미만인 제1 상황, 촬영된 영상이 디포커스된 제2 상황, 또는 영상에 포함된 고주파 성분이 임계치 미만인 제3 상황 중 적어도 하나를 포함할 수 있다. 상기 제1 원시 영상 데이터에 대한 영상 신호 처리는 상기 제1 원시 영상 데이터의 픽셀들에 대한 비닝(binning) 처리 과정 또는 상기 제1 원시 영상 데이터의 패턴을 베이어 패턴으로 변환하는 리모자이크 과정 및 이미지를 확대하는 업스케일링 과정을 포함할 수 있다.In one embodiment, the designated situation may include at least one of a first situation in which the illuminance is less than a threshold, a second situation in which the captured image is defocused, or a third situation in which the high-frequency component included in the image is less than the threshold. The image signal processing for the first raw image data includes a binning process for pixels of the first raw image data or a remosaic process for converting the pattern of the first raw image data into a Bayer pattern and image. An upscaling process may be included.

일 실시예에 따라 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 포함하는 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))를 포함하는 전자 장치(예: 도 1 및 3의 전자 장치(101))를 동작하는 방법은, 상기 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정하는 동작을 포함할 수 있다. 상기 방법은 상기 결정된 촬영 모드가 제1 해상도에 상응하는 것에 기초하여, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))의 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514)) 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))를 제어하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 결정된 촬영 모드가 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514)) 중 적어도 둘 이상의 포토 다이오드에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제2 해상도에 상응하는 제2 이미지를 획득하는 동작을 포함할 수 있다. 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는 M x N 배열로 하나의 제1 마이크로 렌즈(521))에 대응되도록 배치된 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))을 포함하는 복수개의 수광 소자들을 포함할 수 있다. M 또는 N 중 적어도 하나는 2 이상의 자연수일 수 있다.According to one embodiment, a camera (e.g.,camera module 180 of FIG. 1, camera 380 of FIG. 3) includes an image sensor (e.g., image sensor 230 of FIG. 2,image sensor 383 of FIG. 3). )), a method of operating an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) includes using the camera (e.g., thecamera module 180 of FIG. 1 and the camera 380 of FIG. 3). It may include an operation of determining a shooting mode corresponding to the resolution of the image to be captured. The method uses a plurality of photodiodes (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) based on the determined shooting mode corresponding to the first resolution. : Output of the first light receiving element corresponding to one of thefirst photodiode 511,second photodiode 512,third photodiode 513, andfourth photodiode 514 in FIG. 5 Controlling the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) to output first raw image data corresponding to the first data read to correspond to this one pixel. Can include actions. The method may include acquiring a first image corresponding to the first resolution based on a result of inputting the first raw image data into a model created through machine learning. The method includes, based on the fact that the determined shooting mode corresponds to a second resolution lower than the first resolution, the plurality of photo diodes (e.g., thefirst photo diode 511 in FIG. 5, the second photo diode ( 512), thethird photo diode 513, and the fourth photo diode 514) for the read second data such that the output of the second light receiving elements corresponding to at least two or more photo diodes corresponds to one pixel. It may include an operation of outputting second raw image data obtained by performing image processing. The method may include performing image signal processing on the second raw image data to obtain a second image corresponding to the second resolution. The image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) includes a plurality of photodiodes arranged to correspond to one firstmicro lens 521 in an M x N array. (For example, it may include a plurality of light receiving elements including thefirst photo diode 511, thesecond photo diode 512, thethird photo diode 513, and thefourth photo diode 514 in FIG. 5). . At least one of M or N may be a natural number of 2 or more.

일 실시예에서, 상기 제1 원시 영상 데이터는 상기 독출된 데이터의 색상 순서가 유지된 데이터를 포함할 수 있다.In one embodiment, the first raw image data may include data in which the color order of the read data is maintained.

일 실시예에서, 상기 제2 원시 영상 데이터를 출력하는 동작은, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 베이어 패턴을 가지도록 상기 제2 데이터의 색상 순서를 변경하는 리모자이크 처리를 수행하여 상기 제2 원시 영상 데이터를 획득하는 동작을 포함할 수 있다.In one embodiment, the operation of outputting the second raw image data is performed so that the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) has a Bayer pattern. The method may include obtaining the second raw image data by performing remosaic processing to change the color order of the data.

일 실시예에서, 상기 제1 원시 영상 데이터를 출력하는 동작은, 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))가 상기 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))의 줌 배율 또는 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))의 렌즈부(예: 도 3의 렌즈부(381))의 초점 위치 중 적어도 하나에 기초하여 상기 제1 데이터를 교정하는 동작을 포함할 수 있다.In one embodiment, the operation of outputting the first raw image data may be performed when the image sensor (e.g., the image sensor 230 in FIG. 2 or theimage sensor 383 in FIG. 3) uses the camera (e.g., theimage sensor 383 in FIG. 1). The zoom magnification of thecamera module 180, the camera 380 of FIG. 3) or the lens unit of the camera (e.g., thecamera module 180 of FIG. 1, the camera 380 of FIG. 3) (e.g., the lens unit of FIG. 3) It may include an operation of correcting the first data based on at least one of the focus positions (381)).

일 실시예에서, 상기 제1 데이터를 교정하는 동작은, 상기 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))에 대한 광의 분배 비율을 보상하는 동작을 포함할 수 있다.In one embodiment, the operation of correcting the first data involves using the photodiodes (e.g., thefirst photodiode 511, thesecond photodiode 512, thethird photodiode 513, and thephotodiode 511 of FIG. 5). 4 An operation may be included to compensate for the distribution ratio of light with respect to the photo diode 514).

일 실시예에서, 상기 촬영 모드를 결정하는 동작은, 상기 카메라(예: 도 1의 카메라 모듈(180), 도 3의 카메라(380))를 이용하여 영상을 촬영하기 위한 카메라 어플리케이션을 실행하는 동작을 포함할 수 있다. 상기 촬영 모드를 결정하는 동작은, 상기 실행된 카메라 어플리케이션에 기초하여 상기 해상도를 선택하기 위한 사용자 인터페이스를 포함하는 화면을 디스플레이하는 동작을 포함할 수 있다. 상기 촬영 모드를 결정하는 동작은, 상기 사용자 인터페이스에 기초하여 수신된 사용자 입력에 기초하여 촬영 모드를 결정하는 동작을 포함할 수 있다.In one embodiment, the operation of determining the shooting mode includes running a camera application for shooting an image using the camera (e.g., thecamera module 180 in FIG. 1 and the camera 380 in FIG. 3). may include. The operation of determining the shooting mode may include displaying a screen including a user interface for selecting the resolution based on the executed camera application. The operation of determining the shooting mode may include determining the shooting mode based on a user input received based on the user interface.

일 실시예에서, 상기 제2 원시 영상 데이터에 포함된 하나의 픽셀은 네 개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))의 출력에 상응할 수 있다. 상기 방법은 상기 결정된 촬영 모드가 상기 제2 해상도보다 낮은 제3 해상도에 상응하는 것에 기초하여, 상기 이미지 센서의 색상 필터에 포함된 하나의 색상 채널(예: 도 5의 녹색 채널(531))에 상응하도록 배치된 복수개의 포토 다이오드들에 상응하는 제3 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제3 데이터에 기초하여 제3 원시 데이터를 출력하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 원시 영상 데이터에 대한 영상 처리 신호를 수행하여 상기 제3 해상도에 상응하는 제3 이미지를 획득하는 동작을 포함할 수 있다.In one embodiment, one pixel included in the second raw image data includes four photo diodes (e.g., thefirst photo diode 511, thesecond photo diode 512, and the third photo diode (in FIG. 5) 513), may correspond to the output of the fourth photodiode 514). The method is based on the fact that the determined shooting mode corresponds to a third resolution lower than the second resolution, to one color channel (e.g., thegreen channel 531 in FIG. 5) included in the color filter of the image sensor. The method may include outputting third raw data based on the read third data so that the output of the third light receiving elements corresponding to the plurality of photo diodes correspondingly arranged corresponds to one pixel. The method may include obtaining a third image corresponding to the third resolution by performing an image processing signal on the third raw image data.

일 실시예에서, 상기 제1 이미지를 획득하는 동작은, 상기 영상 촬영과 연관된 상황에 대한 정보를 획득하는 동작을 포함할 수 있다. 상기 제1 이미지를 획득하는 동작은, 상기 상황에 대한 정보가 지정된 상황에 상응하는 것에 기초하여, 상기 제1 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 제1 이미지를 획득하는 동작은, 상기 상황에 대한 정보가 상기 지정된 상황에 상응하지 않는 것에 기초하여, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하는 동작을 포함할 수 있다.In one embodiment, the operation of acquiring the first image may include the operation of obtaining information about a situation related to capturing the image. The operation of acquiring the first image may include obtaining the first image by performing image signal processing on the first raw image data, based on the information about the situation corresponding to a specified situation. You can. The operation of acquiring the first image is based on the fact that the information about the situation does not correspond to the designated situation, and based on a result of inputting the first raw image data into a model generated through machine learning. It may include an operation of acquiring a first image corresponding to 1 resolution.

일 실시예에서, 상기 지정된 상황은 조도가 임계치 미만인 제1 상황, 촬영된 영상이 디포커스된 제2 상황, 또는 영상에 포함된 고주파 성분이 임계치 미만인 제3 상황 중 적어도 하나를 포함할 수 있다. 상기 제1 원시 영상 데이터에 대한 영상 신호 처리는 상기 제1 원시 영상 데이터의 픽셀들에 대한 비닝(binning) 처리 과정 또는 상기 제1 원시 영상 데이터의 패턴을 베이어 패턴으로 변환하는 리모자이크 과정 및 이미지를 확대하는 업스케일링 과정을 포함할 수 있다.In one embodiment, the designated situation may include at least one of a first situation in which the illuminance is less than a threshold, a second situation in which the captured image is defocused, or a third situation in which the high-frequency component included in the image is less than the threshold. The image signal processing for the first raw image data includes a binning process for pixels of the first raw image data or a remosaic process for converting the pattern of the first raw image data into a Bayer pattern and image. An upscaling process may be included.

일 실시예에 따른 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는, 복수개의 수광 소자들(예: 도 4의 수광부(415)); 복수개의 마이크로 렌즈들; 및 복수개의 색상 채널들을 포함하는 색상 필터를 포함할 수 있다. 상기 복수개의 수광 소자들(예: 도 4의 수광부(415))은 M x N 배열로 하나의 제1 마이크로 렌즈(예: 도 5의 제1 마이크로 렌즈(521))에 대응되도록 배치된 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514))을 포함할 수 있다. M 또는 N 중 적어도 하나는 2 이상의 자연수일 수 있다. 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는, 제1 해상도에 상응하는 제1 촬영 모드에 기초하여 동작하는 동안, 상기 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514)) 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 구성될 수 있다. 상기 이미지 센서(예: 도 2의 이미지 센서(230), 도 3의 이미지 센서(383))는, 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 제2 촬영 모드에 기초하여 동작하는 동안, 상기 복수개의 포토 다이오드들(예: 도 5의 제1 포토 다이오드(511), 제2 포토 다이오드(512), 제3 포토 다이오드(513), 제4 포토 다이오드(514)) 중 적어도 둘 이상의 포토 다이오드들에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하도록 구성될 수 있다.An image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) according to an embodiment includes a plurality of light-receiving elements (e.g., the light-receivingunit 415 in FIG. 4); a plurality of micro lenses; and a color filter including a plurality of color channels. The plurality of light receiving elements (e.g., thelight receiving part 415 in FIG. 4) are arranged in an M x N array to correspond to one first micro lens (e.g., the firstmicro lens 521 in FIG. 5). It may include photodiodes (e.g., thefirst photodiode 511, thesecond photodiode 512, thethird photodiode 513, and thefourth photodiode 514 in FIG. 5). At least one of M or N may be a natural number of 2 or more. While the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) operates based on the first capturing mode corresponding to the first resolution, the plurality of photo diodes ( Example: of the first light receiving element corresponding to one of thefirst photo diode 511,second photo diode 512,third photo diode 513, andfourth photo diode 514 in FIG. It may be configured to output first raw image data corresponding to the read first data so that the output corresponds to one pixel. While the image sensor (e.g., the image sensor 230 in FIG. 2 and theimage sensor 383 in FIG. 3) operates based on a second capturing mode corresponding to a second resolution lower than the first resolution, the At least two or more photodiodes among a plurality of photodiodes (e.g., thefirst photodiode 511, thesecond photodiode 512, thethird photodiode 513, and thefourth photodiode 514 in FIG. 5) It may be configured to output second raw image data obtained by performing at least one image processing on the read second data so that the output of the second light receiving elements corresponding to corresponds to one pixel.

일 실시예에서, 상기 제1 원시 영상 데이터는 상기 독출된 데이터의 색상 순서가 유지된 데이터를 포함할 수 있다.In one embodiment, the first raw image data may include data in which the color order of the read data is maintained.

일 실시예에 따른 컴퓨터로 판독 가능한 비일시적 기록매체는, 전자 장치(예: 도 1 및 3의 전자 장치(101))가 실행 시에 상술한 방법을 수행하도록 하는 컴퓨터 프로그램을 기록한 것일 수 있다.A non-transitory computer-readable recording medium according to an embodiment may record a computer program that causes an electronic device (e.g., the electronic device 101 of FIGS. 1 and 3) to perform the above-described method when executed.

다양한 실시예들에 따르면, 이미지 센서가 높은 화소 수를 가지는 이미지를 획득하기 위한 동작 모드에 기초하여 동작하면서도 아티팩트가 제거된 영상을 획득할 수 있는 전자 장치 및/또는 그 동작 방법이 제공될 수 있다.According to various embodiments, an electronic device and/or a method of operating the same may be provided that can acquire an image with artifacts removed while the image sensor operates based on an operation mode for acquiring an image with a high pixel count. .

다양한 실시예들에 다르면, 이미지 센서가 높은 화소 수를 가지는 이미지를 획득하기 위한 동작 모드에 기초하여 동작하면서도 높은 MTF 값을 얻을 수 있는 전자 장치 및/또는 그 동작 방법이 제공될 수 있다.According to various embodiments, an electronic device and/or a method of operating the same may be provided that can obtain a high MTF value while the image sensor operates based on an operation mode for acquiring an image with a high number of pixels.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.

본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.Methods according to embodiments described in the claims or specification of the present disclosure may be implemented in the form of hardware, software, or a combination of hardware and software.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.When implemented as software, a computer-readable storage medium that stores one or more programs (software modules) may be provided. One or more programs stored in a computer-readable storage medium are configured to be executable by one or more processors in an electronic device (configured for execution). One or more programs include instructions that cause the electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.These programs (software modules, software) include random access memory, non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM. (EEPROM: electrically erasable programmable read only memory), magnetic disc storage device, compact disc-ROM (CD-ROM), digital versatile discs (DVDs), or other types of disk storage. It can be stored in an optical storage device or magnetic cassette. Alternatively, it may be stored in a memory consisting of a combination of some or all of these. Additionally, multiple configuration memories may be included.

또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.In addition, the program may be operated through a communication network such as the Internet, an intranet, a local area network (LAN), a wide LAN (WLAN), or a storage area network (SAN), or a combination thereof. It may be stored on an attachable storage device that is accessible. This storage device can be connected to a device performing an embodiment of the present disclosure through an external port. Additionally, a separate storage device on a communication network may be connected to the device performing an embodiment of the present disclosure.

상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.In the specific embodiments of the present disclosure described above, elements included in the disclosure are expressed in singular or plural numbers depending on the specific embodiment presented. However, singular or plural expressions are selected to suit the presented situation for convenience of explanation, and the present disclosure is not limited to singular or plural components, and even components expressed in plural may be composed of singular or singular. Even expressed components may be composed of plural elements.

또한, 본 개시에서, “부”, “모듈” 등의 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Additionally, in the present disclosure, terms such as “unit”, “module”, etc. may refer to a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor. .

"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다. 예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.A “component”, a “module” may be implemented by a program stored in an addressable storage medium and executed by a processor. For example, a “component”, a “module” may be implemented by components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.

본 개시에서 설명된 특정 실행들은 일 실시예일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.The specific implementations described in this disclosure are only one example and do not limit the scope of this disclosure in any way. For the sake of brevity of the specification, description of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted.

또한, 본 개시에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.In addition, in the present disclosure, “comprises at least one of a, b, or c” means “contains only a, only b, only c, includes a and b, includes b and c,” It may mean including a and c, or including all a, b, and c.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present disclosure, specific embodiments have been described, but of course, various modifications are possible without departing from the scope of the present disclosure. Therefore, the scope of the present disclosure should not be limited to the described embodiments, but should be determined not only by the scope of the patent claims described later, but also by the scope of this patent claim and equivalents.

Claims (20)

Translated fromKorean

전자 장치에 있어서,
렌즈부 및 상기 렌즈부를 통과한 광 신호를 디지털 신호로 전환하는 이미지 센서를 포함하는 카메라;
인스트럭션들을 저장하는 메모리; 및
적어도 하나의 프로세서를 포함하고,
상기 이미지 센서는 복수개의 수광 소자들, 복수개의 마이크로 렌즈들 및 복수개의 색상 채널들을 포함하는 색상 필터를 포함하며,
상기 복수개의 수광 소자들은 M x N 배열로 하나의 제1 마이크로 렌즈에 대응되도록 배치된 복수개의 포토 다이오드들을 포함하고, M 또는 N 중 적어도 하나는 2 이상의 자연수이며,
상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에:
상기 카메라를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정하고,
상기 결정된 촬영 모드가 제1 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 상기 이미지 센서를 제어하고,
상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하고,
상기 결정된 촬영 모드가 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드들에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하도록 상기 이미지 센서를 제어하고,
상기 제2 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제2 해상도에 상응하는 제2 이미지를 획득하도록 구성된, 전자 장치.In electronic devices,
A camera including a lens unit and an image sensor that converts an optical signal passing through the lens unit into a digital signal;
memory to store instructions; and
Contains at least one processor,
The image sensor includes a color filter including a plurality of light receiving elements, a plurality of micro lenses, and a plurality of color channels,
The plurality of light receiving elements include a plurality of photo diodes arranged in an M x N array to correspond to one first micro lens, and at least one of M or N is a natural number of 2 or more,
When executing the instructions, the at least one processor:
Determine a shooting mode corresponding to the resolution of the image to be shot using the camera,
Based on the determined shooting mode corresponding to the first resolution, the output of the first light receiving element corresponding to one photo diode of the plurality of photo diodes corresponds to the read first data to correspond to one pixel. Control the image sensor to output first raw image data,
Obtaining a first image corresponding to the first resolution based on a result of inputting the first raw image data into a model created through machine learning,
Based on the determined photographing mode corresponding to a second resolution lower than the first resolution, the output of the second light receiving elements corresponding to at least two photo diodes among the plurality of photo diodes is configured to correspond to one pixel. Controlling the image sensor to output second raw image data obtained by performing at least one image processing on the read second data,
An electronic device configured to perform image signal processing on the second raw image data to obtain a second image corresponding to the second resolution.청구항 1에 있어서,
상기 제1 원시 영상 데이터는 상기 독출된 데이터의 색상 순서(color order)가 유지된 데이터를 포함하는, 전자 장치.In claim 1,
The first raw image data includes data in which the color order of the read data is maintained.청구항 2에 있어서,
상기 이미지 센서는, 베이어 패턴을 가지도록 상기 제2 데이터의 색상 순서를 변경하는 리모자이크 처리를 수행하여 상기 제2 원시 영상 데이터를 출력하도록 구성된, 전자 장치.In claim 2,
The image sensor is configured to output the second raw image data by performing remosaic processing to change the color order of the second data to have a Bayer pattern.청구항 2에 있어서,
상기 이미지 센서는, 상기 카메라의 줌 배율 또는 상기 렌즈부의 초점 위치 중 적어도 하나에 기초하여 상기 제1 데이터를 교정하여 상기 제1 원시 영상 데이터를 출력하도록 구성된, 전자 장치.In claim 2,
The image sensor is configured to output the first raw image data by correcting the first data based on at least one of a zoom magnification of the camera or a focus position of the lens unit.청구항 4에 있어서,
상기 이미지 센서는, 상기 복수개의 포토 다이오드들에 대한 광의 분배 비율을 보상하여 상기 제1 데이터를 교정하도록 구성된, 전자 장치.In claim 4,
The image sensor is configured to correct the first data by compensating a distribution ratio of light for the plurality of photo diodes.청구항 1에 있어서,
상기 전자 장치는 디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에:
상기 카메라를 이용하여 영상을 촬영하기 위한 카메라 어플리케이션을 실행하고,
상기 실행된 카메라 어플리케이션에 기초하여 상기 해상도를 선택하기 위한 사용자 인터페이스를 포함하는 화면을 상기 디스플레이를 통해서 표시하며,
상기 사용자 인터페이스에 기초하여 수신된 사용자 입력에 기초하여 결정된 촬영 모드에 기초하여 상기 이미지 센서를 제어하도록 구성된, 전자 장치.In claim 1,
The electronic device further includes a display,
When executing the instructions, the at least one processor:
Run a camera application to capture images using the camera,
Displaying a screen including a user interface for selecting the resolution based on the executed camera application through the display,
An electronic device configured to control the image sensor based on a capture mode determined based on user input received based on the user interface.청구항 1에 있어서,
상기 이미지 센서의 상기 복수개의 마이크로 렌즈들은 상기 제1 마이크로 렌즈를 포함하는 네 개의 제2 마이크로 렌즈들이 상기 색상 필터 내의 하나의 색상 채널에 상응하도록 배치되고,
상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에:
상기 결정된 촬영 모드가 상기 제2 해상도보다 낮은 제3 해상도에 상응하는 것에 기초하여, 상기 복수개의 수광 소자들 중 상기 하나의 색상 채널에 상응하도록 배치된 포토 다이오드들에 상응하는 제3 수광 소자들의 출력이 이미지의 하나의 픽셀에 대응되도록 독출된 제3 데이터에 대해 적어도 하나의 영상 처리를 수행하여 제3 원시 데이터를 출력하도록 상기 이미지 센서를 제어하고,
상기 제3 원시 영상 데이터에 대한 영상 처리 신호를 수행하여 상기 제3 해상도에 상응하는 제3 이미지를 획득하도록 구성된, 전자 장치.In claim 1,
The plurality of micro lenses of the image sensor are arranged such that four second micro lenses including the first micro lens correspond to one color channel in the color filter,
When executing the instructions, the at least one processor:
Based on the determined photographing mode corresponding to a third resolution lower than the second resolution, output of third light-receiving elements corresponding to photodiodes arranged to correspond to the one color channel among the plurality of light-receiving elements Controlling the image sensor to output third raw data by performing at least one image processing on the read third data to correspond to one pixel of the image,
An electronic device configured to obtain a third image corresponding to the third resolution by performing an image processing signal on the third raw image data.청구항 1에 있어서,
상기 적어도 하나의 프로세서는, 상기 인스트력션들을 실행 시에:
상기 결정된 촬영 모드가 상기 제1 해상도에 상응하는 동안 상기 영상 촬영과 연관된 상황에 대한 정보를 획득하고,
상기 상황에 대한 정보가 지정된 상황에 상응하는 것에 기초하여, 상기 제1 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제1 이미지를 출력하고,
상기 상황에 대한 정보가 상기 지정된 상황에 상응하지 않는 것에 기초하여, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하도록 구성된, 전자 장치.In claim 1,
When executing the instructions, the at least one processor:
Obtain information about a situation associated with the image capture while the determined capture mode corresponds to the first resolution,
Based on whether the information about the situation corresponds to a specified situation, perform image signal processing on the first raw image data to output the first image,
Based on the fact that the information about the situation does not correspond to the specified situation, a first image corresponding to the first resolution is obtained based on the result of inputting the first raw image data into a model generated through machine learning. An electronic device configured to:청구항 8에 있어서,
상기 지정된 상황은 조도가 임계치 미만인 제1 상황, 촬영된 영상이 디포커스된 제2 상황, 또는 영상에 포함된 고주파 성분이 임계치 미만인 제3 상황 중 적어도 하나를 포함하고,
상기 제1 원시 영상 데이터에 대한 영상 신호 처리는 상기 제1 원시 영상 데이터의 픽셀들에 대한 비닝(binning) 처리 과정 또는 상기 제1 원시 영상 데이터의 패턴을 베이어 패턴으로 변환하는 리모자이크 과정 및 이미지를 확대하는 업스케일링 과정을 포함하는, 전자 장치.In claim 8,
The designated situation includes at least one of a first situation in which the illuminance is less than a threshold, a second situation in which the captured image is defocused, or a third situation in which the high-frequency component included in the image is less than the threshold,
The image signal processing for the first raw image data includes a binning process for pixels of the first raw image data or a remosaic process for converting the pattern of the first raw image data into a Bayer pattern and image. An electronic device comprising an enlarging upscaling process.이미지 센서를 포함하는 카메라를 포함하는 전자 장치를 동작하는 방법에 있어서,
상기 이미지 센서는 M x N 배열로 하나의 제1 마이크로 렌즈에 대응되도록 배치된 복수개의 포토 다이오드들을 포함하는 복수개의 수광 소자들을 포함하고, M 또는 N 중 적어도 하나는 2 이상의 자연수이며,
상기 카메라를 이용하여 촬영할 영상의 해상도에 상응하는 촬영 모드를 결정하는 동작;
상기 결정된 촬영 모드가 제1 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하도록 상기 이미지 센서를 제어하는 동작;
상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하는 동작;
상기 결정된 촬영 모드가 상기 제1 해상도보다 낮은 제2 해상도에 상응하는 것에 기초하여, 상기 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드들에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하는 동작; 및
상기 제2 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제2 해상도에 상응하는 제2 이미지를 획득하는 동작을 포함하는, 방법.In a method of operating an electronic device including a camera including an image sensor,
The image sensor includes a plurality of light receiving elements including a plurality of photo diodes arranged to correspond to one first micro lens in an M x N array, and at least one of M or N is a natural number of 2 or more,
An operation of determining a shooting mode corresponding to the resolution of an image to be captured using the camera;
Based on the determined shooting mode corresponding to the first resolution, the output of the first light receiving element corresponding to one photo diode of the plurality of photo diodes corresponds to the read first data to correspond to one pixel. Controlling the image sensor to output first raw image data;
Obtaining a first image corresponding to the first resolution based on a result of inputting the first raw image data into a model created through machine learning;
Based on the determined photographing mode corresponding to a second resolution lower than the first resolution, the output of the second light receiving elements corresponding to at least two photo diodes among the plurality of photo diodes is configured to correspond to one pixel. An operation of outputting second raw image data obtained by performing at least one image processing on the read second data; and
A method comprising performing image signal processing on the second raw image data to obtain a second image corresponding to the second resolution.청구항 10에 있어서,
상기 제1 원시 영상 데이터는 상기 독출된 데이터의 색상 순서가 유지된 데이터를 포함하는, 방법.In claim 10,
The first raw image data includes data in which the color order of the read data is maintained.청구항 11에 있어서,
상기 제2 원시 영상 데이터를 출력하는 동작은,
상기 이미지 센서가 베이어 패턴을 가지도록 상기 제2 데이터의 색상 순서를 변경하는 리모자이크 처리를 수행하여 상기 제2 원시 영상 데이터를 획득하는 동작을 포함하는, 방법.In claim 11,
The operation of outputting the second raw image data is,
A method comprising acquiring the second raw image data by performing remosaic processing to change the color order of the second data so that the image sensor has a Bayer pattern.청구항 11에 있어서,
상기 제1 원시 영상 데이터를 출력하는 동작은,
상기 이미지 센서가 상기 카메라의 줌 배율 또는 초점 위치 중 적어도 하나에 기초하여 상기 제1 데이터를 교정하는 동작을 포함하는, 방법.In claim 11,
The operation of outputting the first raw image data is,
The method comprising the image sensor correcting the first data based on at least one of a zoom factor or a focus position of the camera.청구항 13에 있어서,
상기 제1 데이터를 교정하는 동작은, 상기 포토 다이오드들에 대한 광의 분배 비율을 보상하는 동작을 포함하는, 방법.In claim 13,
The method of correcting the first data includes compensating a distribution ratio of light to the photodiodes.청구항 10에 있어서,
상기 촬영 모드를 결정하는 동작은,
상기 카메라를 이용하여 영상을 촬영하기 위한 카메라 어플리케이션을 실행하는 동작,
상기 실행된 카메라 어플리케이션에 기초하여 상기 해상도를 선택하기 위한 사용자 인터페이스를 포함하는 화면을 디스플레이하는 동작, 및
상기 사용자 인터페이스에 기초하여 수신된 사용자 입력에 기초하여 촬영 모드를 결정하는 동작을 포함하는, 방법.In claim 10,
The operation of determining the shooting mode is,
An operation of executing a camera application to capture an image using the camera,
An operation of displaying a screen including a user interface for selecting the resolution based on the executed camera application, and
A method comprising determining a shooting mode based on user input received based on the user interface.청구항 10에 있어서,
상기 방법은,
상기 결정된 촬영 모드가 상기 제2 해상도보다 낮은 제3 해상도에 상응하는 것에 기초하여, 상기 이미지 센서의 색상 필터에 포함된 하나의 색상 채널에 상응하도록 배치된 복수개의 포토 다이오드들에 상응하는 제3 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제3 데이터에 기초하여 제3 원시 데이터를 출력하는 동작; 및
상기 제3 원시 영상 데이터에 대한 영상 처리 신호를 수행하여 상기 제3 해상도에 상응하는 제3 이미지를 획득하는 동작을 더 포함하는, 방법.In claim 10,
The method is:
Based on the determined photographing mode corresponding to a third resolution lower than the second resolution, a third light receiving device corresponding to a plurality of photodiodes arranged to correspond to one color channel included in the color filter of the image sensor An operation of outputting third raw data based on the read third data so that the output of the elements corresponds to one pixel; and
The method further includes performing an image processing signal on the third raw image data to obtain a third image corresponding to the third resolution.청구항 10에 있어서,
상기 제1 이미지를 획득하는 동작은,
상기 영상 촬영과 연관된 상황에 대한 정보를 획득하는 동작,
상기 상황에 대한 정보가 지정된 상황에 상응하는 것에 기초하여, 상기 제1 원시 영상 데이터에 대한 영상 신호 처리를 수행하여 상기 제1 이미지를 획득하는 동작, 및
상기 상황에 대한 정보가 상기 지정된 상황에 상응하지 않는 것에 기초하여, 상기 제1 원시 영상 데이터를 기계 학습을 통해서 생성된 모델에 입력한 결과에 기초하여 상기 제1 해상도에 상응하는 제1 이미지를 획득하는 동작을 포함하는, 방법.In claim 10,
The operation of acquiring the first image is,
An operation of obtaining information about a situation related to the image capture,
An operation of obtaining the first image by performing image signal processing on the first raw image data, based on whether the information about the situation corresponds to a specified situation, and
Based on the fact that the information about the situation does not correspond to the specified situation, a first image corresponding to the first resolution is obtained based on the result of inputting the first raw image data into a model generated through machine learning. A method that includes the action of doing something.청구항 17에 있어서,
상기 지정된 상황은 조도가 임계치 미만인 제1 상황, 촬영된 영상이 디포커스된 제2 상황, 또는 영상에 포함된 고주파 성분이 임계치 미만인 제3 상황 중 적어도 하나를 포함하고,
상기 제1 원시 영상 데이터에 대한 영상 신호 처리는 상기 제1 원시 영상 데이터의 픽셀들에 대한 비닝(binning) 처리 과정 또는 상기 제1 원시 영상 데이터의 패턴을 베이어 패턴으로 변환하는 리모자이크 과정 및 이미지를 확대하는 업스케일링 과정을 포함하는, 방법.In claim 17,
The designated situation includes at least one of a first situation in which the illuminance is less than a threshold, a second situation in which the captured image is defocused, or a third situation in which the high-frequency component included in the image is less than the threshold,
The image signal processing for the first raw image data includes a binning process for pixels of the first raw image data or a remosaic process for converting the pattern of the first raw image data into a Bayer pattern and image. A method comprising an enlarging upscaling process.이미지 센서에 있어서,
복수개의 수광 소자들;
복수개의 마이크로 렌즈들; 및
복수개의 색상 채널들을 포함하는 색상 필터를 포함하며,
상기 복수개의 수광 소자들은 M x N 배열로 하나의 제1 마이크로 렌즈에 대응되도록 배치된 복수개의 포토 다이오드들을 포함하고, M 또는 N 중 적어도 하나는 2 이상의 자연수이며,
상기 이미지 센서는:
제1 해상도에 상응하는 제1 촬영 모드에 기초하여 동작하는 동안, 상기 복수개의 포토 다이오드들 중 하나의 포토 다이오드에 상응하는 제1 수광 소자의 출력이 하나의 픽셀에 대응되도록 독출된 제1 데이터에 상응하는 제1 원시 영상 데이터를 출력하고,
상기 제1 해상도보다 낮은 제2 해상도에 상응하는 제2 촬영 모드에 기초하여 동작하는 동안, 상기 복수개의 포토 다이오드들 중 적어도 둘 이상의 포토 다이오드들에 상응하는 제2 수광 소자들의 출력이 하나의 픽셀에 대응되도록 독출된 제2 데이터에 대해 적어도 하나의 영상 처리를 수행하여 획득된 제2 원시 영상 데이터를 출력하도록 구성된, 이미지 센서.In the image sensor,
a plurality of light receiving elements;
a plurality of micro lenses; and
Contains a color filter including a plurality of color channels,
The plurality of light receiving elements include a plurality of photo diodes arranged in an M x N array to correspond to one first micro lens, and at least one of M or N is a natural number of 2 or more,
The image sensor is:
While operating based on the first capturing mode corresponding to the first resolution, the output of the first light receiving element corresponding to one photo diode of the plurality of photo diodes is converted to the read first data so as to correspond to one pixel. Output corresponding first raw image data,
While operating based on a second capturing mode corresponding to a second resolution lower than the first resolution, the output of the second light receiving elements corresponding to at least two photo diodes among the plurality of photo diodes is output to one pixel. An image sensor configured to output second raw image data obtained by performing at least one image processing on correspondingly read second data.청구항 19에 있어서,
상기 제1 원시 영상 데이터는 상기 독출된 데이터의 색상 순서가 유지된 데이터를 포함하는, 전자 장치.In claim 19,
The first raw image data includes data in which the color order of the read data is maintained.

Images