JP2023074897A - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Abstract

【課題】表示モード間での画像の差が目立たない表示用画像データを生成することが可能な画像処理装置および画像処理方法を提供すること。【解決手段】撮影によって得られた画像データから、表示モードに応じた表示用画像データを生成する画像処理装置である。画像処理装置は、第１の表示モードについて画像データに適用する階調特性が、第２の表示モードについて画像データに適用する階調特性よりも画像を暗くする階調特性である場合、画像データに対して適用するノイズ低減処理をおよびシャープネス処理の強度を、第２の表示モードでの強度と異ならせる。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、および撮像装置に関する。

電子ビューファインダ（ＥＶＦ）では光学ファインダーと異なり、加工した画像を表示することができる。そのため、例えば、現在の撮影条件を反映した画像をＥＶＦに表示することで、撮影で得られる画像を撮影前に確認できるといった利点がある。特許文献１では、ＥＶＦに表示する画像に視認性を高める加工を適用することが開示されている。

特開２０１０－２４５９２４号公報

ＥＶＦに表示する画像を加工するか否や、加工の種類などが異なる複数の表示モードを選択可能な場合、表示モードの切り替え前後で表示画像の解像度やノイズの量などに差が感じられる場合がある。

本発明はこのような従来技術の課題を改善することを目的する。本発明はその一態様において、表示モード間での画像の差が目立たない表示用画像データを生成することが可能な画像処理装置および画像処理方法を提供する。

上述の目的は、撮影によって得られた画像データを取得する取得手段と、画像データから、表示モードに応じた表示用画像データを生成する生成手段と、を有し、生成手段は、表示用画像データの生成において、表示モードに応じた階調特性を画像データに適用し、第１の表示モードについて画像データに適用する階調特性が、第２の表示モードについて画像データに適用する階調特性よりも画像を暗くする階調特性である場合、画像データに対して適用するノイズ低減処理を、第２の表示モードについて画像データに対して適用するノイズ低減処理より弱くし、および／または画像データに対して適用するシャープネス処理を、第２の表示モードについて画像データに対して適用するシャープネス処理より強くする、ことを特徴とする画像処理装置によって達成される。

本発明によれば、表示モード間での画像の差が目立たない表示用画像データを生成することが可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図実施形態における表示用画像データの生成処理を模式的に示すブロック図ＲＡＷデータと現像処理後の階調値の入出力特性例を示す図設定優先モードで用いられる階調特性の例を示す図視認性優先モードで用いられる階調特性の例を示す図設定優先モードで用いられる階調特性と視認性優先モードで用いられる階調特性を比較する図実施形態におけるノイズ量調整処理に関するフローチャートノイズ量調整処理を適用する輝度域を限定する変形例に関する図別の変形例におけるノイズ量調整処理に関するフローチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下では本発明をデジタルカメラのＥＶＦ表示に適用した構成について説明する。しかし、本発明は表示用画像を生成可能な任意の電子機器でも実施可能である。このような電子機器は撮像装置に加え、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ドライブレコーダ、頭部装着型表示装置（ＨＭＤ）などが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

■デジタルカメラの構成
図１は本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ（以下、カメラ）１００の機能構成例を示すブロック図である。

操作部１０１は、ユーザがカメラ１００に各種の指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。操作部１０１を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１０１には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。

レリーズスイッチは静止画記録用のスイッチであり、制御回路１０４はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、制御回路１０４は、動画記録スイッチが撮影スタンバイ状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。

なお、同一の入力デバイスに割り当てられる機能は可変であってよい。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。また、操作部１０１は、音声入力や視線入力など、非接触な入力方法に対応した入力デバイスを含んでもよい。

レンズユニット１０２は、１つ以上の可動レンズを含む複数の光学レンズと、絞りとを有する。可動レンズはフォーカスレンズ、防振レンズ、ズームレンズなどである。レンズユニット１０２はまた、モータ、アクチュエータなど、可動レンズや絞りを駆動するための構成を有する。なお、本実施形態ではレンズユニット１０２がカメラ１００と一体化されており、レンズユニット１０２の動作は制御回路１０４が制御するものとする。

レンズユニット１０２が着脱可能な交換レンズの場合、レンズユニット１０２に制御回路が設けられる。そして、レンズユニット１０２の動作は、制御回路１０４がレンズユニット１０２内の制御回路との通信を通じて制御する。

撮像素子１０３は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子１０３は複数の画素が２次元配列された画素アレイと、画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、レンズユニット１０２が撮像面に形成した被写体像を表す画素信号群（アナログ画像信号）が得られる。

制御回路１０４はプログラムを実行可能な１つ以上のプロセッサを有する。制御回路１０４は例えば不揮発性メモリ１０７に記憶されたプログラムを作業用メモリ１０８にロードして実行して各機能ブロックの動作を制御することにより、カメラ１００の機能を実現する。なお、以下の説明において制御回路１０４が実行する動作の一部をＡＳＩＣなどの専用回路で実行してもよい。

制御回路１０４は、撮像素子１０３から読み出されたアナログ画像信号に対して予め定められた画像処理を適用し、表示用や記録用の画像データを生成したり、特徴領域を検出したり、各種の評価値を取得および／または生成したりする。

ここで、制御回路１０４が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、レンズユニット１０２の光学収差に起因する画像劣化の補正（画像回復）、レンズユニット１０２の周辺減光の影響の補正、色補正などの処理が含まれる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれる。
なお、これらは制御回路１０４が適用可能な処理の例示であり、制御回路１０４が適用する処理を限定するものではない。

制御回路１０４はまた、生成した評価値に基づいてＡＦ処理やＡＥ処理を実行することができる。

不揮発性メモリ１０７は電気的に書き換え可能である。不揮発性メモリ１０７には、制御回路１０４が実行するプログラム、カメラ１００の設定値、ＧＵＩ(Graphical User Interface)データなどが記憶されている。

作業用メモリ１０８はいわゆるＲＡＭ(Random Access Memory)である。作業用メモリ１０８は制御回路１０４が実行するプログラムをロードしたり、プログラムの実行中に変数値などを一時的に記憶したりするために用いられる。作業用メモリ１０８はまた画像データのバッファとして用いられたり、表示装置１０５のビデオメモリとして用いられたりする。

表示装置１０５は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどであってよい。表示装置１０５は電子ビューファインダ（ＥＶＦ）として機能する。表示装置１０５はカメラ１００の筐体内部に設けられても、筐体表面に設けられても、両方に設けられてもよい。表示装置１０５がカメラ１００の筐体内部に設けられる場合、カメラ１００は表示装置１０５を覗くための接眼部を有する。

なお、表示装置１０５はカメラ１００の外部装置であってもよい。表示装置１０５が外部装置である場合、カメラ１００は接続された表示装置１０５が表示可能な形式の信号またはデータを出力する。

記憶部１０６は例えば半導体メモリカードである。記憶部１０６には、制御回路１０４により記録用画像データ（動画データまたは静止画データ）が、所定形式のデータファイルとして記録される。

制御回路１０４は、動画の撮影と、撮影によって得られた動画から表示用画像データを生成し、表示装置１０５に表示する動作を継続的に実行することにより、表示装置１０５をＥＶＦとして機能させる。

本実施形態ではＥＶＦの表示モードとして、表示用画像データに現在の設定を反映させる加工を適用する設定優先モードと、表示用画像データに撮影シーンの視認性を向上させるための加工を適用する視認性優先モードとが選択可能であるものとする。表示モードは例えば操作部１０１を通じてユーザが選択可能であってもよいし、制御回路１０４が条件に応じて自動的に選択してもよい。

設定優先モードは、撮影により得られた画像に適用される処理（例えばコントラスト補正、露出補正、彩度補正など）に関する現在の設定を反映した画像をＥＶＦ表示するモードである。設定優先モードは、現時点で指示を与えた場合に記録される画像の状態を事前にＥＶＦで確認することを可能にする。

また、視認性優先モードは、撮影により得られた画像に適用される処理に関する現在の設定を反映せず、被写体を直接目で見た場合と近い視認性の画像をＥＶＦ表示するモードである。視認性優先モードは、光学ファインダーや目でシーンを観察する代わりにＥＶＦを使用することを可能にする。

ＥＶＦの表示モードは、例えば操作部１０１の操作を通じてユーザが任意のタイミングで変更可能である。したがって、ユーザは、ＥＶＦを見ながら意図に応じて表示モードを適宜変更することができる。なお、ＥＶＦの表示モードとして他の表示モードが含まれてもよい。

制御回路１０４は、表示モードに応じて、ＲＡＷデータから表示用画像データを生成するための処理を制御する。なお、ＲＡＷデータとは、各画素の信号またはデータがカラーフィルタに応じた１つの色成分の値を有するデータである。撮像素子１０３から読み出されたアナログ画像信号や、アナログ画像信号をＡ／Ｄ変換して得られるデジタル画像信号（画像データ）はＲＡＷデータに該当する。

撮像素子１０３が原色ベイヤ配列のカラーフィルタを有する場合、ＲＡＷデータを構成する各画素の信号またはデータは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれか１つの色成分の値を有する。ＲＡＷデータから、各画素の信号またはデータがカラー画像を表現するための複数の色成分の値を有する状態に変換する処理を現像処理という。現像処理には色補間処理が含まれる。

■ＥＶＦ表示用画像データの生成処理
ＥＶＦ表示用の画像データを生成するために制御回路１０４がＲＡＷデータに適用する現像処理について、図２を用いて説明する。図２では、制御回路１０４が適用する一連の現像処理を、複数の機能ブロック２０２～２０４および２０６によって実現される処理として表現している。

上述のとおり、ＲＡＷデータ２０１を構成する個々の画素データは、撮像素子１０３が有するカラーフィルタの色配列に応じた１つの色成分の強度を表す値のみを有している。本実施形態では撮像素子１０３に原色ベイヤ配列のカラーフィルタが設けられているものとする。この場合、ＲＡＷデータ２０１の個々の画素データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれか１つの色成分の強度を表す値を有し、残り２つの色成分については値を有していない。

ホワイトバランス部２０２は、白い被写体が画像で白く見えるようにするため、光源による色かぶりを補正するホワイトバランス調整を行う。具体的にはホワイトバランス部２０２は、ＲＡＷデータ２０１を構成する各画素のＲＧＢデータを、所定の色空間（例えばｘｙ色空間）の座標にプロットする。そして、ホワイトバランス部２０２は、その色空間において光源色の可能性が高い、黒体輻射軌跡付近にプロットされた画素データのＲ，Ｇ，Ｂ値を色成分ごとに積分する。

ホワイトバランス部２０２は、色成分ごとの積分値から、Ｒ成分に適用するホワイトバランス係数Ｇ／Ｒと、Ｂ成分に適用するホワイトバランス係数Ｇ／Ｂを求める。ホワイトバランス部２０２は、Ｒ成分とＢ成分にホワイトバランス係数を適用することによりホワイトバランス調整を行う。

色補間部２０３は、ノイズリダクション処理や、色補間処理により、個々の画素データが有していない色成分の値を補う。色補間処理により、個々の画素データがＲ、Ｇ、Ｂの３成分を有するようになり、画像データがカラー画像を表すようになる。

その後、画像データはマトリクス変換部２０４でＲＧＢ形式からＹＵＶ形式に変換される。さらに、色輝度調整部２０６により、色輝度調整パラメータ２０５に基づく色成分および輝度成分が調整される。色輝度調整パラメータ２０５は、例えば操作部１０１を通じたユーザ設定に基づいて決定される。

ノイズ調整部３０７は、ＥＶＦの表示モードや撮影シーンに応じたノイズ低減処理やシャープネス処理を適用し、画像データのノイズ感や解像感を調整する。ノイズ調整部３０７の動作の詳細については後述する。

階調変換部３０９は、階調特性取得部３０８が取得した階調特性調整用カーブ（ガンマカーブ）３０７を用い、画像データに階調変換を適用して、表示用画像データを生成する。階調変換部３０９は、ＥＶＦの表示モードや撮影シーンに応じて異なる階調変換特性を適用する。階調変換部３０９が適用する階調変換特性の詳細については後述する。

表示用画像データ２０７は表示装置１０５の種類に応じて必要に応じてＲＧＢ形式に戻された後、表示される。

日中晴天時などの明るいシーンを撮影する場合、表示装置１０５の最高表示輝度を高輝度とした方が、表示装置１０５（ＥＶＦ）の見え方と、被写体を直接目で見た時との差が小さくなる。一方、夜景などの暗いシーンを撮影する場合、表示装置１０５の最高表示輝度を低輝度とした方が、表示装置１０５（ＥＶＦ）の見え方と、被写体を直接目で見た時との差が小さくなる。

このため、本実施形態では、撮影するシーンの明るさに応じて制御回路１０４により表示装置１０５の最高表示輝度を自動的に変更し、ＥＶＦとの見え方と被写体を直接目で見た時の差を軽減する。シーンの明るさは制御回路１０４が生成するＡＥ処理用の輝度評価値に基づいて判定することができる。あるいは、シーンの明るさを検出するためのセンサを別途設け、このセンサから得られる明るさに基づいて制御回路１０４が判定してもよい。

■表示モードによる見え方の違い
次に「設定優先モード」と「視認性優先モード」とで見え方の差が生じることについて説明する。ここでは操作部１０１において、図３示した入出力特性Ｌ４１を選択し、表示用画像データ２０７を表示装置１０５で表示する場合を考える。ここでは、ＲＡＷデータが１４ビット値であり、階調が８ビット値であるものとする。

図４Ａ～図４Ｃはそれぞれ、横軸に入力となるＲＡＷデータの対数値を、縦軸に出力となるＩ値（詳細は後述する）を取った入出力特性を示している。なお、ＲＡＷデータの対数値は、適正露出に対応する信号値で正規化し、適正露出に対応する信号値を０段とした段数によって表記している。

Ｉ値は、ＩＴＵ－Ｒ ＢＴ．２１００で規定される知覚均等色空間であるＩＣｔＣｐ色空間の座標値のうち、輝度成分Ｉの値である。ＩＴＵ－Ｒ ＢＴ．２１００に規定されているように、ＲＧＢ値からＩＣｔＣｐ値への変換の過程で光電気伝達関数（ＯＥＴＦ）が適用される。

本実施形態では、ＯＥＴＦとしてＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕｏｎｔｉｚａｔｉｏｎ）方式のＥＯＴＦ（電気光伝達関数）の逆特性（Ｉｎｖｅｒｓｅ ＥＯＴＦ）を使用する。つまり、図におけるＩ値は表示装置１０５での表示輝度に対応した値であり、ＰＱ ＥＯＴＦを適用することによって表示装置１０５の表示輝度に変換することができる。

図４Ａは「設定優先モード」におけるＲＡＷデータ（ＲＧＢ値）とＩ値との変換特性の例を示す図である。Ｌ５１は日中晴天時の特性、Ｌ５２は夜景時における特性の例を示す。なお、本実施形態では表示装置１０５の最高表示輝度に対応したＩ値として、日中晴天時約６８０、夜景時約４５０とする。なお、これらは例示であり、日中晴天時の方が夜景時よりも大きな値である他の値の組み合わせとしてもよい。

図４Ｂは「視認性優先モード」におけるＲＡＷデータ（ＲＧＢ値）とＩ値との変換特性の例を示す図である。Ｌ６３は日中晴天時の特性、Ｌ６４は夜景時における特性の例を示す。特性Ｌ６３は、適正露出におけるＩ値が特性Ｌ５１と概略同じ値となる傾きが約７５の直線Ｌ６１の傾きを暗部ならびに飽和部で緩やかにしたものである。また、特性Ｌ６４は、最高表示輝度のＩ値が特性Ｌ５２と概略同じ値となる傾きが約７５の直線Ｌ６２の傾きを暗部ならびに飽和部で緩やかにしたものである。

特性Ｌ６３およびＬ６４が線形に変化する部分（直線Ｌ６１およびＬ６２がそのまま用いられている部分）の傾きは約７５であり、２つの特性に共通している。人間の感覚特性は、一般的に特定の刺激値の対数強度に比例することが知られている。このため、同じ傾きを有する直線Ｌ６１、Ｌ６２に基づいて作成されている特性Ｌ６３およびＬ６４は、知覚的に均等なコントラスト感を満たしているといえる。なお、直線Ｌ６１およびＬ６２の傾きは約７５としたが、例えば６５～８５の範囲で選択することができる。

階調変換部３０９は、ＥＶＦの表示モードが設定優先モードの場合には特性Ｌ５１またはＬ５２に従った階調特性を画像データに適用する。また、階調変換部３０９は、ＥＶＦの表示モードが視認性優先モードの場合には特性Ｌ６３またはＬ６４に従った階調特性を画像データに適用する。

特性Ｌ６３は適正露出時のＩ値が特性Ｌ５１とほぼ同じであり、適正露出を挟んだ輝度域についても特性Ｌ５１とＩ値に大きな差がない。そのため、日中晴天時の特性が用いられる状況では、ＥＶＦの表示モードが切り替えられても画像の明るさはほぼ変化しない。

図４Ｃに、「設定優先モード」と「視認性優先モード」の夜景時における特性Ｌ５２とＬ６４を示す。「視認性優先モード」の夜景時における特性Ｌ６４は、「設定優先モード」の夜景時の特性Ｌ５２より、適正露出（０段）におけるＩ値が１００程度低い。これは、視認性優先モードでは実際の見え方に近い表示を行うためである。仮に適正露出におけるＩ値を同じにした場合、視認性優先モードでの表示が実際の見え方より明るいという印象を与えてしまう。

このように、他の表示モードよりも画像が暗くなるような階調特性を適用する場合、表示モード間で見た目の明るさ以外にも視覚的な違いが生じうる。この点についてさらに説明する。

■「視認性優先モード」におけるノイズ量および解像感の調整動作
本実施形態では、現像処理後に適用する階調特性により、「視認性優先モード」の夜景時における表示輝度を下げている。これは、現像処理において画像を暗く調整すると、現像処理後の画像に基づく評価値や検出値の精度、ひいてはオートフォーカスや自動補正処理などの精度が低下する要因となり得るためである。

一方で、現像処理後に画像を暗くすることにより、ノイズやシュートの振幅が小さくなるため、画像のノイズ感・解像感が変化する。具体的には、夜景時に「設定優先モード」と「視認性優先モード」を切り替えると、「視認性優先モード」のＥＶＦ表示の解像感が悪く感じられたり、マニュアルフォーカス（ＭＦ）時にピントのピークが分かりづらくなったりする恐れがある。また、「視認性優先モード」では実際の見え方に近いＥＶＦ表示が求められるが、夜景時は直接目で見たときよりも表示の解像感が悪いと感じられる恐れがある。

このような点に鑑み、本実施形態では、ノイズ調整部３０７により、視認性優先モードにおけるＥＶＦ表示の解像感やノイズ感が、設定優先モードにおけるＥＶＦ表示と近くなるようにする。具体的には、「視認性優先モード」の夜景時にのＥＶＦ表示において、ノイズ処理またはシャープネス処理によって画像のノイズ量を調整する。

以下、ノイズ調整部３０７および階調変換部３０９の動作の詳細について、図５のフローチャートを用いて説明する。
Ｓ８０１でノイズ調整部３０７は、ＥＶＦの表示モードが「設定優先モード」と「視認性優先モード」のいずれであるかを確認する。現在のＥＶＦの表示モードは例えば不揮発性メモリ１０７または作業用メモリ１０８を参照することによって確認することができる。ノイズ調整部３０７は、設定優先モードであればＳ８０２を、視認性優先モードであればＳ８０６を実行する。

設定優先モードである場合、ノイズ調整部３０７は、Ｓ８０２でＮＲ強度ＡのＮＲ処理、Ｓ８０３でシャープネス強度Ａのシャープネス処理、Ｓ８０４でピーキング閾値Ａを用いたマニュアルフォーカスピーキング検出処理を画像データに順次適用する。Ｓ８０２～Ｓ８０４で適用する処理の強度や閾値は露出や感度などの撮影条件に応じて定まり、画像の表示条件（ＥＶＦの表示モードや表示輝度など）には影響されない。

Ｓ８０５では階調変換部３０９が、画像データに階調変換Ａを適用する。階調変換Ａは例えば図４Ａに示した特性Ｌ５１やＬ５２に従った階調変換である。階調変換部３０９は、例えば画像データから得られるシーンの明るさの評価値（例えばＢｖ値）が閾値より高い場合には日中晴天時の特性Ｌ５１を、閾値以下であれば夜景時の特性Ｌ５２を選択することができる。評価値はノイズ調整部３０７で、階調変換部３０９で、もしくは制御回路１０４が実行する他の処理で求めることができる。

Ｓ８０６でノイズ調整部３０７は、シーンの明るさが閾値を超えるか否かを判定する。ここでは一例として、ノイズ調整部３０７は、上述のＢｖ値が閾値より大きい場合にシーンの明るさが閾値を超えるものと判定してＳ８０７を実行し、Ｂｖ値が閾値以下の場合にはＳ８１１を実行する。

ここでは、日中晴天時のシーンか夜景時のシーンかを判別することが目的であるため、これらのシーンが判別できるような閾値を決定しておく。必要であればシーンごとに異なる閾値を用いてもよい。

明るいシーンの場合、ノイズ調整部３０７は、Ｓ８０７でＮＲ強度Ａのノイズ低減（ＮＲ）処理、Ｓ８０８でシャープネス強度Ａのシャープネス処理、Ｓ８０９でピーキング閾値Ａを用いたＭＦピーキング検出処理を画像データに順次適用する。これらの処理は設定優先モードにおけるＳ８０２～Ｓ８０４と同じである。つまり、明るいシーンの場合、ノイズ量や解像感の調整は視認性優先モードと設定優先モードとで共通である。

Ｓ８１０では階調変換部３０９が、画像データに階調変換Ｂを適用する。階調変換Ｂは例えば図４Ｂに示した特性Ｌ６３やＬ６４に従った階調変換である。階調変換部３０９は、Ｓ８０５でＢｖ値が閾値より大きいと判定された場合には日中晴天時の特性Ｌ６３を、閾値以下と判定された場合には夜景時の特性Ｌ６４に従った階調変換を適用する。

Ｓ８０６でＢｖ値が閾値以下と判定された場合、ノイズ調整部３０７は、Ｓ８０７でＮＲ強度ＢのＮＲ処理、Ｓ８０８でシャープネス強度Ｂのシャープネス処理、Ｓ８０９でピーキング閾値Ｂを用いたＭＦピーキング検出処理を画像データに順次適用する。

ここで、Ｓ８０７におけるＮＲ処理では、明るいシーンの場合よりもノイズ感を残すとともに、ノイズ低減処理による解像感の低下を抑制するために、ＮＲ強度ＢをＮＲ強度Ａよりも弱くする。また、Ｓ８０８におけるシャープネス処理では、明るいシーンの場合よりも解像感を高めるため、シャープネス強度Ｂをシャープネス強度Ａよりも強くする。

また、Ｓ８０９におけるピーキング処理では、明るいシーンの場合よりも合焦度合いのピークが分かりやすくなるように、ピーキング閾値Ｂをピーキング閾値Ａよりも高く設定し、ピークと判断される値の範囲を狭くする。

このように、ＥＶＦの表示モードが「視認性優先モード」であり、かつ適正露出時の画像が暗くなる階調特性が適用される場合には、適正露出時の画像が暗くならない階調特性が適用される場合よりもノイズ感や解像感を上昇させる処理を適用する。これにより、ユーザが表示モードを設定優先モードから視認性優先モードに切り替えた際に、ＥＶＦ表示の解像感が悪化したように感じたり、ピントのピークが分かりづらくなったと感じることを抑制できる。

なお、視認性優先モードにおける、Ｓ８１１およびＳ８１２で適用するＮＲ強度Ｂおよびシャープネス強度ＢでのＮＲ処理とシャープネス処理を適用するのは、特定の表示輝度域に限定することができる。

ＮＲ強度ＢのＮＲ処理の適用について説明する。図６（ａ）のＬ９１は、撮影シーンが明るくないときに用いられる「設定優先モード」の特性Ｌ５２と「視認性優先モード」の特性Ｌ６４との差分を示している。

そして、Ｌ９１が表す表示モード間のＩ値（すなわち、表示輝度）の差分が閾値以上の輝度域にＮＲ強度ＢのＮＲ処理を適用し、他の輝度域はＮＲ強度ＡのＮＲ処理を適用するようにすることができる。

図６（ｂ）は、階調特性のＩ値差分の値が５０以上の輝度域についてＮＲ強度Ｂを、それ以外の輝度域についてＮＲ強度Ａとした場合の、輝度とＮＲ強度との関係例を示す図である。ここで、Ｌ１０１は「設定優先モード」の夜景時に用いるＮＲ強度Ａの特性を示す。また、Ｌ１０２は「視認性優先モード」の夜景時において、ＮＲ強度Ｂを用いる輝度域の特性例を示す。

図６（ａ）に示す特性Ｌ９１が５０以上となる輝度域は、横軸のＲＡＷデータの対数値ではおおよそ－３段から＋２．５段までの区間である。そのため、ＮＲ処理の特性も、同様の輝度域においてＮＲ強度を特性Ｌ１０１に示すＮＲ強度Ａのおおよそ０．８倍程度に弱めたＮＲ強度Ｂの特性Ｌ１０２を用いる。

シャープネス処理についても同様に、階調特性のＩ値差分の値が閾値以上の輝度域についてのみシャープネス強度Ｂとし、それ以外の輝度域についてはシャープネス強度Ａとすることができる。

なお、ここではＲＡＷデータ（画像データの輝度）とＩ値（表示輝度に対応する値）との入出力特性間におけるＩ値の差分が閾値以上の輝度域に限定してノイズ感や解像感を調整する例について説明した。しかし、ノイズ感や解像感を調整する輝度域は、他の方法で定めてもよい。例えば、平均値±標準偏差のＩ値に対応する輝度域とするなど、Ｉ値に基づく他の方法で対象の輝度域を決定してもよい。あるいは、シーン輝度や表示輝度など、Ｉ値以外に基づいて決定してもよい。

なお、Ｓ８１１でのＮＲ強度ＢによるＮＲ処理および、Ｓ８１２でのシャープネス強度Ｂによるシャープネス処理は、全輝度域に対して適用してもよい。

（変形例）
図５のフローチャートでは、視認性優先モードが設定されている場合、撮影シーンの明るさに応じてＮＲ処理およびシャープネス処理の強度、ならびにＭＦピーキング検出処理で用いる閾値を変更するものであった。しかし、他の条件に応じてこれらの変更を行うようにしてもよい。

例えば、Ｓ８０６で、ＥＶＦ表示において解像感が求められる状況であるか否かを判定し、ＥＶＦ表示において解像感が求められる状況であると判定されればＳ８１１を、判定されなければＳ８０７を実行するようにしてもよい。ＥＶＦ表示において解像感が求められる状況とは例えばフォーカスモードがマニュアルフォーカス（ＭＦ）に設定されている場合である。

この場合、ＥＶＦ表示において解像感が求められる状況であると判定された場合にＳ８１０で適用される階調特性は、必ずしも特性Ｌ６４のように画像を暗くする階調特性でなくてもよい。例えば、ＥＶＦ表示において解像感が求められる状況であると判定される場合と判定されない場合で同じ階調特性を適用し、ＮＲ処理およびシャープネス処理の強度だけを異ならせてもよい。

また、図５のフローチャートでは、「視認性優先モード」で撮影シーンが明るくない場合に、ＮＲ強度、シャープネス強度、ピーキング閾値の３つを変更した。しかし、常にこれら全てを変更しなくてもよい。

例えば、ＮＲ強度のみを変更するなど、これらの１つ以上を変更することで本発明の効果は得られる。図７は、ＮＲ強度のみを変更する場合のノイズ調整部３０７および階調変換部３０９の動作の詳細について、図５と同様に示したフローチャートである。図７において、図５と同じ処理を行うブロックには図５と同じ参照数字を付してある。

ノイズ調整部３０７は、Ｓ８０６でＢｖ値が閾値以下と判定された場合、Ｓ８１１でＮＲ強度ＢのＮＲ処理を実行する。その後、ノイズ調整部３０７はＳ８０８、Ｓ８０９を実行し、Ｓ８０６でＢｖ値が閾値以下と判定されなかった場合と同様のシャープネス処理およびＭＦピーキング検出処理を適用する。

このように、ＮＲ強度、シャープネス強度の一方のみを変更する場合についても、適用する輝度域は全体としても特定の一部としてもよい。

以上説明したように、本実施形態によれば、表示モードに応じた階調特性を適用して表示用画像データを生成する画像処理装置において、画像の解像感が低下する階調特性を適用する場合には、画像の解像感を高める処理を適用するようにした。そのため、表示モードの差による画像の解像感の違いを抑制することができ、表示モードによる使い勝手の変化を抑制することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…デジタルカメラ、１０１…操作部、１０４…制御回路、１０５…表示装置、１０７…不揮発性メモリ、１０８…作業用メモリ

Claims (13)

1. 撮影によって得られた画像データを取得する取得手段と、
   前記画像データから、表示モードに応じた表示用画像データを生成する生成手段と、を有し、
   前記生成手段は、
   前記表示用画像データの生成において、前記表示モードに応じた階調特性を前記画像データに適用し、
   第１の表示モードについて前記画像データに適用する階調特性が、第２の表示モードについて前記画像データに適用する階調特性よりも画像を暗くする階調特性である場合、
   前記画像データに対して適用するノイズ低減処理を、前記第２の表示モードについて前記画像データに対して適用するノイズ低減処理より弱くし、および／または
   前記画像データに対して適用するシャープネス処理を、前記第２の表示モードについて前記画像データに対して適用するシャープネス処理より強くする、
   ことを特徴とする画像処理装置。
2. 前記生成手段はさらに、
   第１の表示モードについて前記画像データに適用する階調特性が、第２の表示モードについて前記画像データに適用する階調特性よりも画像を暗くする階調特性である場合、
   前記画像データに対して適用するマニュアルフォーカスピーキング検出処理における閾値を、前記第２の表示モードについて前記画像データに対して適用するマニュアルフォーカスピーキング検出処理における閾値よりも大きくする、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の表示モードについて前記画像データに適用する階調特性よりも画像を暗くする階調特性は、前記第１の表示モードにおいて前記撮影するシーンの明るさが閾値以下である場合に前記画像データに適用されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段はさらに、
   第１の表示モードにおいてマニュアルフォーカスが設定されている場合には、マニュアルフォーカスが設定されていない場合よりも、
   前記画像データに対して適用するノイズ低減処理を弱くし、および／または
   前記画像データに対して適用するシャープネス処理を強くする、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記画像データの特定の輝度域について、前記第１の表示モードにおける前記ノイズ低減処理および／または前記シャープネス処理の強度を、前記第２の表示モードにおける前記ノイズ低減処理および／または前記シャープネス処理の強度と異ならせることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像データに適用する階調特性は、前記画像データの対数値と、ＩＣｔＣｐ色空間におけるＩ値との関係を表す階調特性であることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像データに適用する階調特性は、前記画像データの対数値と、ＩＣｔＣｐ色空間におけるＩ値との関係を表す階調特性であり、前記特定の輝度域が、前記第２の表示モードについて前記画像データに適用される階調特性とＩ値の差が閾値以上となる輝度域であることを特徴とする請求項５に記載の画像処理装置。
8. 前記第１の表示モードについて前記画像データに適用する階調特性は、適正露出を含む特定の輝度域において前記画像データの対数値の変化に対して前記Ｉ値が線形に変化する階調特性であることを特徴とする請求項７に記載の画像処理装置。
9. 撮像素子と、
   前記撮像素子を用いた撮影により得られた画像データを処理する請求項１から８のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
10. 前記画像処理装置が生成する表示用画像データは、電子ビューファインダとして機能する表示装置に表示させるために用いられることを特徴とする請求項９に記載の撮像装置。
11. 操作手段をさらに有し、
    前記第１の表示モードおよび前記第２の表示モードは、前記操作手段の操作に応じて切り替え可能であることを特徴とする請求項９または１０に記載の撮像装置。
12. 画像処理装置が実行する画像処理方法であって、
    撮影によって得られた画像データを取得することと、
    前記画像データから、表示モードに応じた表示用画像データを生成することと、を有し、
    前記生成することは、
    前記表示用画像データの生成において、前記画像データに対し、ノイズ低減処理、シャープネス処理、および前記表示モードに応じた階調特性を適用することを含み、
    第１の表示モードについて前記画像データに適用する階調特性が、第２の表示モードについて前記画像データに適用する階調特性よりも画像を暗くする階調特性である場合、
    前記画像データに対して適用するノイズ低減処理が、前記第２の表示モードについて前記画像データに対して適用するノイズ低減処理より弱く、および／または
    前記画像データに対して適用するシャープネス処理が、前記第２の表示モードについて前記画像データに対して適用するシャープネス処理より強い、
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images