JP7622552B2 - Color confirmation system, color confirmation method, and program - Google Patents

Description

Translated fromJapanese

本発明は、色確認システム、色確認方法、及びプログラムに関する。The present invention relates to a color confirmation system, a color confirmation method, and a program.

従来、対象物を撮像した画像を遠隔地に送信し、遠隔地にてディスプレイに画像を表示させ、その対象物の色を確認することが広く行われている（例えば、特許文献１、及び非特許文献１参照）。Conventionally, it is common to capture an image of an object, transmit it to a remote location, and display the image on a display at the remote location to check the color of the object (see, for example,Patent Document 1 and Non-Patent Document 1).

特開２０１８－１７６５４６号公報JP 2018-176546 A

国立大学法人千葉大学、「シンプルな色補正方法で遠隔診療の高品質化を実現！スマホ動画からリモートでバイタル情報を取得」、[online]、2020年9月28日、ＰＲＴＩＭＥＳ、［令和３年３月５日検索］、インターネット＜https://prtimes.jp/main/html/rd/p/000000433.000015177.html＞Chiba University, National University Corporation, "Achieving high quality remote medical care with a simple color correction method! Obtaining vital information remotely from smartphone videos", [online], September 28, 2020, PRTIMES, [Retrieved March 5, 2021], Internet <https://prtimes.jp/main/html/rd/p/000000433.000015177.html>

ディスプレイを介して対象物の色を確認しようとすると、対象物の物体色とディスプレイ色との色の見えの個人差により、色を正しく確認することが困難となる場合がある。また、ディスプレイを介して色を確認する場合、従来の印刷物の色確認に用いられてきたような色見本や校正刷りなどの実物が用いられることがないと考えられる。このため、ディスプレイを介して色を確認する場合においては、色の確認が正しく行われたか否かを、後から確認することが難しいという問題がある。When checking the color of an object through a display, it may be difficult to check the color correctly due to individual differences in how the object color and the display color appear. Furthermore, when checking colors through a display, it is thought that actual items such as color samples or proof copies, which have been used to check the colors of conventional printed materials, are not used. For this reason, when checking colors through a display, there is the problem that it is difficult to check later whether the color was checked correctly or not.

上述の課題を鑑み、本発明の目的は、ディスプレイを介して対象物の色を確認する場合における、色の見えの個人差に対応することができる色確認システム、色確認方法、及びプログラムを提供することにある。In view of the above-mentioned problems, the object of the present invention is to provide a color confirmation system, a color confirmation method, and a program that can accommodate individual differences in color appearance when checking the color of an object via a display.

上述の課題を解決するために、本発明の一態様に係る色確認システムは、ディスプレイに表示された画像を観察する観察者を、観察者データベースに登録する観察者登録部と、前記ディスプレイを介して、観察対象とする対象物が示された画像を観察する観察者を前記観察者データベースから選択する観察者選択部と、前記ディスプレイを介して前記対象物が示された画像を観察する場合における、前記対象物を観察する観察光源を選択する観察光源選択部と、前記対象物が撮像された対象物画像と同一の撮像条件にて撮像された、チャートが撮像されたチャート画像、前記観察光源選択部によって選択された観察光源、前記観察者選択部によって選択された観察者に応じた等色関数、及び前記ディスプレイの色特性、のそれぞれを用いて、前記対象物画像の色が前記ディスプレイに表示する色に変換されたディスプレイ表示用画像を生成する画像変換部と、前記ディスプレイ表示用画像を前記ディスプレイに表示する画像表示部と、を備え、前記チャート画像に示されているチャートは、分光反射率が既知であって、前記チャートの分光反射率が、チャートの分光反射率データベースに記憶され、前記ディスプレイの色特性は、ディスプレイ特性データベースに記憶され、前記観察光源は、観察光源データベースに記憶され、前記観察者選択部によって選択された観察者に応じた等色関数は、複数の等色関数が記憶された等色関数データベースから選択される。In order to solve the above-mentioned problems, a color confirmation system according to one aspect of the present invention includes an observer registration unit that registers an observer who observes an image displayed on a display in an observer database, an observer selection unit that selects an observer who observes an image showing an object to be observed via the display from the observer database, an observation light source selection unit that selects an observation light source for observing the object when observing the image showing the object via the display, and a color matching function according to a chart image in which a chart is captured under the same imaging conditions as an object image in which the object is captured, the observation light source selected by the observation light source selection unit, and the observer selected by the observer selection unit. , and the color characteristics of the display, to generate an image for display in which the color of the object image is converted into the color to be displayed on the display, and an image display unit displays the image for display on the display, wherein the chart shown in the chart image has a known spectral reflectance, the spectral reflectance of the chart is stored in a chart spectral reflectance database, the color characteristics of the display are stored in a display characteristic database, the viewing light source is stored in a viewing light source database, and a color matching function according to the viewer selected by the viewer selection unit is selected from a color matching function database in which a plurality of color matching functions are stored.

本発明の一態様に係る色確認方法は、観察者登録部が、ディスプレイに表示された画像を観察する観察者を、観察者データベースに登録し、観察者選択部が、前記ディスプレイを介して、観察対象とする対象物が示された画像を観察する観察者を前記観察者データベースから選択し、観察光源選択部が、前記ディスプレイを介して前記対象物が示された画像を観察する場合における、前記対象物を観察する観察光源を選択し、画像変換部が、前記対象物が撮像された対象物画像と同一の撮像条件にて撮像された、チャートが撮像されたチャート画像、前記観察光源選択部によって選択された観察光源、前記観察者選択部によって選択された観察者に応じた等色関数、及び前記ディスプレイの色特性、のそれぞれを用いて、前記対象物画像の色が前記ディスプレイに表示する色に変換されたディスプレイ表示用画像を生成し、画像表示部が、前記ディスプレイ表示用画像を前記ディスプレイに表示する、色確認方法であって、前記チャート画像に示されているチャートは、分光反射率が既知であって、前記チャートの分光反射率が、チャートの分光反射率データベースに記憶され、前記ディスプレイの色特性は、ディスプレイ特性データベースに記憶され、前記観察光源は、観察光源データベースに記憶され、前記観察者選択部によって選択された観察者に応じた等色関数は、複数の等色関数が記憶された等色関数データベースから選択される。In one aspect of the present invention, a color confirmation method includes an observer registration unit that registers an observer who observes an image displayed on a display in an observer database, an observer selection unit that selects an observer who observes an image showing an object to be observed via the display from the observer database, an observation light source selection unit that selects an observation light source for observing the object when the image showing the object is observed via the display, and an image conversion unit that converts a chart image of a chart captured under the same imaging conditions as an object image of the object, the observation light source selected by the observation light source selection unit, a color matching function corresponding to the observer selected by the observer selection unit, and the previous A color confirmation method in which an image for display is generated in which the color of the object image is converted into the color to be displayed on the display using each of the color characteristics of the display, and an image display unit displays the image for display on the display, wherein the chart shown in the chart image has a known spectral reflectance, the spectral reflectance of the chart is stored in a chart spectral reflectance database, the color characteristics of the display are stored in a display characteristic database, the viewing light source is stored in a viewing light source database, and a color matching function corresponding to the viewer selected by the viewer selection unit is selected from a color matching function database in which a plurality of color matching functions are stored.

本発明の一態様に係るプログラムは、コンピュータを、ディスプレイに表示された画像を観察する観察者を、観察者データベースに登録する観察者登録部と、前記ディスプレイを介して、観察対象とする対象物が示された画像を観察する観察者を前記観察者データベースから選択する観察者選択部と、前記ディスプレイを介して前記対象物が示された画像を観察する場合における、前記対象物を観察する観察光源を選択する観察光源選択部と、前記対象物が撮像された対象物画像と同一の撮像条件にて撮像された、チャートが撮像されたチャート画像、前記観察光源選択部によって選択された観察光源、前記観察者選択部によって選択された観察者に応じた等色関数、及び前記ディスプレイの色特性、のそれぞれを用いて、前記対象物画像の色が前記ディスプレイに表示する色に変換されたディスプレイ表示用画像を生成する画像変換部と、前記ディスプレイ表示用画像を前記ディスプレイに表示する画像表示部と、として機能させる、プログラムであって、前記チャート画像に示されているチャートは、分光反射率が既知であって、前記チャートの分光反射率が、チャートの分光反射率データベースに記憶され、前記ディスプレイの色特性は、ディスプレイ特性データベースに記憶され、前記観察光源は、観察光源データベースに記憶され、前記観察者選択部によって選択された観察者に応じた等色関数は、複数の等色関数が記憶された等色関数データベースから選択される、プログラム。A program according to one aspect of the present invention includes a computer, an observer registration unit that registers an observer who observes an image displayed on a display in an observer database, an observer selection unit that selects from the observer database an observer who observes an image showing an object to be observed via the display, an observation light source selection unit that selects an observation light source for observing the object when observing an image showing the object via the display, and a chart image in which a chart is captured under the same imaging conditions as an object image in which the object is captured, an observation light source selected by the observation light source selection unit, a color matching function corresponding to the observer selected by the observer selection unit, and a color characteristic of the display. and an image display unit that displays the image for display on the display, the chart shown in the chart image having a known spectral reflectance, the spectral reflectance of the chart being stored in a chart spectral reflectance database, the color characteristics of the display being stored in a display characteristic database, the viewing light source being stored in a viewing light source database, and a color matching function corresponding to the viewer selected by the viewer selection unit being selected from a color matching function database in which a plurality of color matching functions are stored.

本発明によれば、ディスプレイを介して対象物の色を確認する場合における、色の見えの個人差に対応することができる。The present invention can accommodate individual differences in color perception when checking the color of an object through a display.

第１の実施形態に係る色確認システム１の概要を示すブロック図である。1 is a block diagram showing an overview of acolor confirmation system 1 according to a first embodiment.第１の実施形態に係る撮像者端末１０の構成例を示すブロック図である。2 is a block diagram showing an example of the configuration of an image capturerterminal 10 according to the first embodiment. FIG.第１の実施形態に係るサーバ装置２０の構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of aserver device 20 according to the first embodiment.第１の実施形態に係る観察者端末３０の構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of anobserver terminal 30 according to the first embodiment.第１の実施形態に係るチャート分光反射率ＤＢ２２０の例を示す図である。FIG. 4 is a diagram showing an example of a chartspectral reflectance DB 220 according to the first embodiment.第１の実施形態に係る観察光源ＤＢ２２１の例を示す図である。FIG. 4 is a diagram illustrating an example of an observationlight source DB 221 according to the first embodiment.第１の実施形態に係る観察者ＤＢ２２２の例を示す図である。FIG. 4 is a diagram showing an example of anobserver DB 222 according to the first embodiment.第１の実施形態に係るディスプレイ特性ＤＢ２２３の例を示す図である。4 is a diagram illustrating an example of adisplay characteristic DB 223 according to the first embodiment. FIG.第１の実施形態に係る等色関数ＤＢ２２４の例を示す図である。4 is a diagram showing an example of a colormatching function DB 224 according to the first embodiment; FIG.第１の実施形態に係る色確認システム１が行う処理の流れを示すフローチャートである。4 is a flowchart showing a flow of processing performed by thecolor confirmation system 1 according to the first embodiment.第１の実施形態の変形例に係る色確認システム１の概要を示す図である。FIG. 1 is a diagram showing an overview of acolor confirmation system 1 according to a modified example of the first embodiment.第１の実施形態の変形例に係る色確認システム１が行う処理の流れを示すフローチャートである。10 is a flowchart showing a flow of processing performed by acolor confirmation system 1 according to a modified example of the first embodiment.第１の実施形態の変形例に係る色確認システム１が判定画像ＣＨＤを表示する処理を説明する図である。13A to 13C are diagrams illustrating a process in which thecolor confirmation system 1 according to the modified example of the first embodiment displays a determination image CHD.第１の実施形態の変形例に係る色確認システム１が判定画像ＣＨＤを表示する処理を説明する図である。13A to 13C are diagrams illustrating a process in which thecolor confirmation system 1 according to the modified example of the first embodiment displays a determination image CHD.第１の実施形態の変形例に係る色確認システム１が判定画像ＣＨＤを表示する処理を説明する図である。13A to 13C are diagrams illustrating a process in which thecolor confirmation system 1 according to the modified example of the first embodiment displays a determination image CHD.第１の実施形態の変形例に係る色確認システム１が判定画像ＣＨＤを表示する処理を説明する図である。13A to 13C are diagrams illustrating a process in which thecolor confirmation system 1 according to the modified example of the first embodiment displays a determination image CHD.第２の実施形態に係る色確認システム１Ａの概要を示すブロック図である。FIG. 11 is a block diagram showing an overview of acolor confirmation system 1A according to a second embodiment.第２の実施形態に係る観察者端末３０Ａの構成例を示すブロック図である。FIG. 11 is a block diagram showing an example of the configuration of anobserver terminal 30A according to a second embodiment.第２の実施形態に係る色確認システム１Ａが行う処理の流れを示すフローチャートである。13 is a flowchart showing a flow of processing performed by acolor confirmation system 1A according to a second embodiment.

以下、実施形態の色確認システム１を、図面を参照しながら説明する。図１は、第１の実施形態に係る色確認システム１の概要を示すブロック図である。色確認システム１は、撮像者ＳＵの依頼に応じて、遠隔にいる観察者ＫＵが対象物Ｂの色を、ディスプレイＤを介して確認するシステムである。Thecolor confirmation system 1 according to the embodiment will be described below with reference to the drawings. FIG. 1 is a block diagram showing an overview of thecolor confirmation system 1 according to the first embodiment. Thecolor confirmation system 1 is a system in which a remote observer KU confirms the color of an object B via a display D in response to a request from an image capturer SU.

図１に示すように、色確認システム１は、例えば、撮像者端末１０と、サーバ装置２０と、観察者端末３０とを備える。色確認システム１の構成要素（撮像者端末１０、サーバ装置２０、及び観察者端末３０）は、通信ネットワークＮＷを介して通信可能に接続されている。As shown in FIG. 1, thecolor confirmation system 1 includes, for example, animage capturer terminal 10, aserver device 20, and anobserver terminal 30. The components of the color confirmation system 1 (the image capturerterminal 10, theserver device 20, and the observer terminal 30) are communicatively connected via a communication network NW.

撮像者端末１０は、撮像者ＳＵの端末装置である。撮像者端末１０は、例えば、ＰＣ（Personal Computer）、タブレット端末、或いはスマートフォンなどである。撮像者ＳＵは、対象物Ｂの色の確認を依頼する側のユーザである。対象物Ｂは、任意の物体であってよい。例えば、対象物Ｂは、カラーの印刷物や人の肌など、色を確認する必要が生じ得る物体である。The image-taker terminal 10 is a terminal device of the image-taker SU. The image-taker terminal 10 is, for example, a PC (Personal Computer), a tablet terminal, or a smartphone. The image-taker SU is a user who requests confirmation of the color of the object B. The object B may be any object. For example, the object B is an object whose color may need to be confirmed, such as a color print or human skin.

撮像者ＳＵは、カメラＣＡで対象物Ｂを撮像する。カメラＣＡは、デジタルカメラ、スマートフォンに内蔵されたカメラ（後述する撮像部１５）など、一般的な撮像機能を備えた装置である。カメラＣＡが、撮像者端末１０とは別体の撮像装置である場合、カメラＣＡと撮像者端末１０をＵＳＢケーブルで接続する等して、カメラＣＡが撮像した画像（対象物画像ＢＧ）を撮像者端末１０に取り込む。The photographer SU captures an image of the object B with the camera CA. The camera CA is a device with a general imaging function, such as a digital camera or a camera built into a smartphone (theimaging unit 15 described below). If the camera CA is an imaging device separate from thephotographer terminal 10, the image captured by the camera CA (object image BG) is imported into thephotographer terminal 10 by connecting the camera CA and thephotographer terminal 10 with a USB cable, for example.

また、撮像者ＳＵは、対象物Ｂを撮像した撮像条件と同じ条件下において、チャートＣＨを撮像する。ここでの撮像条件とは、撮像が行われた条件であって、例えば、撮像時の照明や、カメラＣＡの露出等のカメラパラメータの設定値である。チャートＣＨは、分光反射率が既知の色が示されている物体であれば任意のチャートであってよい。対象物Ｂの色の範囲がある程度限定されている場合、その対象物Ｂが取り得る色の範囲の分光反射率に近いパッチを有するチャートが用いられてもよい。また、対象物Ｂがある程度限定され、分光的な特徴がある程度限定される場合には、分光的な特徴が対象物Ｂに近いパッチを有するチャートが用いられてもよい。The photographer SU also captures the chart CH under the same imaging conditions as those under which the object B was captured. The imaging conditions here refer to the conditions under which the image was captured, such as the lighting at the time of capturing the image and the settings of camera parameters such as the exposure of the camera CA. The chart CH may be any chart as long as it is an object that exhibits a color with a known spectral reflectance. If the color range of the object B is somewhat limited, a chart having patches with spectral reflectances close to the range of colors that the object B can take may be used. If the object B is somewhat limited and its spectral characteristics are also somewhat limited, a chart having patches with spectral characteristics close to those of the object B may be used.

なお、撮像条件に変更がなければ、チャートＣＨの撮像を１回行えばよい。対象物Ｂを撮像する度に、チャートＣＨを撮像する必要はない。If there are no changes to the imaging conditions, it is sufficient to image the chart CH once. There is no need to image the chart CH every time the object B is imaged.

撮像者端末１０は、対象物Ｂが撮像された画像（対象物画像ＢＧ）、及びチャートＣＨが撮像された画像（チャート画像ＣＨＧ）を、サーバ装置２０に送信する。Theimager terminal 10 transmits an image of the object B (object image BG) and an image of the chart CH (chart image CHG) to theserver device 20.

サーバ装置２０は、撮像者ＳＵからの依頼と観察者ＫＵによる確認とを仲介するコンピュータ装置である。サーバ装置２０は、例えば、サーバ装置、クラウド、ＰＣなどである。サーバ装置２０は、観察者ＫＵ、及び観察者端末３０の環境に応じて、対象物画像ＢＧの色を変換した画像（後述する、ディスプレイ表示用画像）を生成する。サーバ装置２０が、ディスプレイ表示用画像を生成する方法については、後で詳しく説明する。サーバ装置２０は、ディスプレイ表示用画像を、観察者端末３０に送信する。Theserver device 20 is a computer device that mediates between requests from the image taker SU and confirmation by the observer KU. Theserver device 20 is, for example, a server device, a cloud, a PC, etc. Theserver device 20 generates an image (an image for display, described later) in which the color of the object image BG is converted according to the environment of the observer KU and theobserver terminal 30. The method by which theserver device 20 generates the image for display will be described in detail later. Theserver device 20 transmits the image for display to theobserver terminal 30.

観察者端末３０は、観察者ＫＵの端末装置である。観察者端末３０は、例えば、サーバ装置、ＰＣ、タブレット端末、或いはスマートフォンなどである。観察者ＫＵは、対象物Ｂの色の確認する側のユーザである。Theobserver terminal 30 is a terminal device of the observer KU. Theobserver terminal 30 is, for example, a server device, a PC, a tablet terminal, or a smartphone. The observer KU is a user who checks the color of the object B.

観察者ＫＵは、観察者ＫＵを特定する情報を入力する。例えば、観察者端末３０の表示画面に、データベース（後述する観察者ＤＢ２２２）に登録された観察者のリストが表示される。観察者ＫＵは、画面に表示されたリストから観察者自身に該当する氏名等を選択することにより、観察者ＫＵを特定する情報を入力する。The observer KU inputs information that identifies the observer KU. For example, a list of observers registered in a database (observer DB 222, described later) is displayed on the display screen of theobserver terminal 30. The observer KU inputs information that identifies the observer KU by selecting a name, etc. that corresponds to the observer from the list displayed on the screen.

また、観察者ＫＵは、観察光源を選択する。ここでの観察光源は、対象物Ｂを観察する観察光源として観察者ＫＵにより選択される光源である。例えば、観察者ＫＵは、対象物Ｂを「自然光」の光源下で観察したい場合には、観察光源として「自然光」を選択する。The observer KU also selects an observation light source. The observation light source here is a light source selected by the observer KU as the observation light source for observing the object B. For example, if the observer KU wants to observe the object B under a light source of "natural light", the observer KU selects "natural light" as the observation light source.

観察者端末３０は、観察者ＫＵにより入力された情報（観察者ＫＵを特定する情報）及び、観察者ＫＵにより選択された観察光源を示す情報を、サーバ装置２０に送信する。観察者端末３０は、サーバ装置２０からディスプレイ表示用画像を受信し、受信した画像をディスプレイＤに表示する。観察者ＫＵは、ディスプレイＤに表示された画像の色を確認する。Theobserver terminal 30 transmits to theserver device 20 the information input by the observer KU (information identifying the observer KU) and information indicating the observation light source selected by the observer KU. Theobserver terminal 30 receives the display image from theserver device 20 and displays the received image on the display D. The observer KU checks the color of the image displayed on the display D.

図２は、第１の実施形態に係る撮像者端末１０の構成例を示すブロック図である。撮像者端末１０は、例えば、通信部１１と、記憶部１２と、制御部１３と、表示部１４と、撮像部１５とを備える。FIG. 2 is a block diagram showing an example of the configuration of theimage capturer terminal 10 according to the first embodiment. Theimage capturer terminal 10 includes, for example, acommunication unit 11, astorage unit 12, acontrol unit 13, adisplay unit 14, and animage capture unit 15.

通信部１１は、サーバ装置２０及び観察者端末３０と通信を行う。例えば、通信部１１は、サーバ装置２０に、対象物画像ＢＧ、及びチャート画像ＣＨＧを送信する。Thecommunication unit 11 communicates with theserver device 20 and theobserver terminal 30. For example, thecommunication unit 11 transmits the object image BG and the chart image CHG to theserver device 20.

記憶部１２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、撮像者端末１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。Thestorage unit 12 is configured with a storage medium such as a HDD, flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), RAM (Random Access read/write Memory), ROM (Read Only Memory), or a combination of these. Thestorage unit 12 stores programs for executing various processes of theimage capturer terminal 10, and temporary data used when performing various processes.

制御部１３は、撮像者端末１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。制御部１３は、撮像者端末１０を統括的に制御する。制御部１３は、通信部１１、記憶部１２、表示部１４、及び撮像部１５のそれぞれを制御する。Thecontrol unit 13 is realized by causing a CPU (Central Processing Unit) that theimage capturer terminal 10 has as hardware to execute a program. Thecontrol unit 13 comprehensively controls theimage capturer terminal 10. Thecontrol unit 13 controls each of thecommunication unit 11, thestorage unit 12, thedisplay unit 14, and theimage capture unit 15.

制御部１３は、例えば、チャート画像取得部１３０と、物体画像取得部１３１と、装置制御部１３２とを備える。チャート画像取得部１３０は、例えば、撮像部１５（カメラＣＡ）からチャート画像ＣＨＧを取得し、取得した画像を装置制御部１３２に出力する。物体画像取得部１３１は、撮像部１５（カメラＣＡ）から対象物画像ＢＧを取得し、取得した画像を装置制御部１３２に出力する。装置制御部１３２は、撮像者端末１０を統合的に制御する。装置制御部１３２は、例えば、チャート画像取得部１３０から取得したチャート画像ＣＨＧ、及び物体画像取得部１３１から取得した対象物画像ＢＧのそれぞれを、通信部１１を介して、サーバ装置２０に送信する。Thecontrol unit 13 includes, for example, a chartimage acquisition unit 130, an objectimage acquisition unit 131, and adevice control unit 132. The chartimage acquisition unit 130 acquires, for example, a chart image CHG from the imaging unit 15 (camera CA) and outputs the acquired image to thedevice control unit 132. The objectimage acquisition unit 131 acquires an object image BG from the imaging unit 15 (camera CA) and outputs the acquired image to thedevice control unit 132. Thedevice control unit 132 comprehensively controls theimager terminal 10. Thedevice control unit 132 transmits, for example, the chart image CHG acquired from the chartimage acquisition unit 130 and the object image BG acquired from the objectimage acquisition unit 131 to theserver device 20 via thecommunication unit 11.

表示部１４は、液晶ディスプレイなどの表示装置を含み、制御部１３の制御に応じて、対象物画像ＢＧやチャート画像ＣＨＧを表示する。Thedisplay unit 14 includes a display device such as a liquid crystal display, and displays the object image BG and the chart image CHG according to the control of thecontrol unit 13.

撮像部１５は、画像を撮像する撮像装置を含み、制御部１３の制御に応じて、対象物Ｂ、及びチャートＣＨなどの画像を撮像する。Theimaging unit 15 includes an imaging device that captures images, and captures images of the object B, the chart CH, etc., according to the control of thecontrol unit 13.

図３は、第１の実施形態に係るサーバ装置２０の構成例を示すブロック図である。サーバ装置２０は、例えば、通信部２１と、記憶部２２と、制御部２３とを備える。FIG. 3 is a block diagram showing an example of the configuration of theserver device 20 according to the first embodiment. Theserver device 20 includes, for example, acommunication unit 21, astorage unit 22, and acontrol unit 23.

通信部２１は、撮像者端末１０及び観察者端末３０と通信を行う。例えば、通信部２１は、撮像者端末１０から、対象物画像ＢＧ及びチャート画像ＣＨＧを受信する。また、通信部２１は、観察者端末３０に、ディスプレイ表示用画像を送信する。Thecommunication unit 21 communicates with theimager terminal 10 and theobserver terminal 30. For example, thecommunication unit 21 receives an object image BG and a chart image CHG from theimager terminal 10. Thecommunication unit 21 also transmits an image to be displayed on the display to theobserver terminal 30.

記憶部２２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部２２は、サーバ装置２０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。Thestorage unit 22 is configured with a storage medium such as a HDD, flash memory, EEPROM, RAM, ROM, or a combination of these. Thestorage unit 22 stores programs for executing various processes of theserver device 20, and temporary data used when performing various processes.

記憶部２２は、例えば、チャート分光反射率ＤＢ２２０と、観察光源ＤＢ２２１と、観察者ＤＢ２２２と、ディスプレイ特性ＤＢ２２３と、等色関数ＤＢ２２４とを記憶する。Thememory unit 22 stores, for example, a chartspectral reflectance DB 220, an observationlight source DB 221, anobserver DB 222, adisplay characteristics DB 223, and a colormatching function DB 224.

チャート分光反射率ＤＢ２２０は、チャートＣＨの分光反射率が記憶されたデータベースである(図５参照）。Chart spectral reflectance DB220 is a database that stores the spectral reflectance of chart CH (see Figure 5).

観察光源ＤＢ２２１は、対象物Ｂを観察する観察光源の分光放射分布が記憶されたデータベースである(図６参照）。ここでの観察光源は、対象物Ｂを観察する観察光源であり、例えば、観察者ＫＵにより選択される光源である。例えば、観察者ＫＵは、対象物Ｂを「自然光」の光源下で観察したい場合には、観察光源として「自然光」を選択する。The observation light source DB221 is a database that stores the spectral radiation distribution of the observation light source for observing the object B (see FIG. 6). The observation light source here is the observation light source for observing the object B, and is, for example, a light source selected by the observer KU. For example, when the observer KU wants to observe the object B under a light source of "natural light", he selects "natural light" as the observation light source.

なお、上記では、観察光源ＤＢ２２１に記憶された観察光源が、対象物Ｂを観察する観察光源として選択される場合を例示したが、これに限定されない。観察光源ＤＢ２２１に記憶された観察光源が、ディスプレイＤが設けられた空間を照明する光源の情報として利用されてもよい。In the above, the observation light source stored in the observation light source DB221 is selected as the observation light source for observing the object B, but the present invention is not limited to this. The observation light source stored in the observation light source DB221 may be used as information on a light source for illuminating the space in which the display D is installed.

観察者ＤＢ２２２は、観察者ＫＵが記憶されたデータベースである（図７参照）。ディスプレイ特性ＤＢ２２３は、ディスプレイＤの特性（色特性）が記憶されたデータベースである（図８参照）。等色関数ＤＢ２２４は、等色関数が記憶されたデータベースである（図９参照）。The observer DB222 is a database in which the observer KU is stored (see FIG. 7). The display characteristic DB223 is a database in which the characteristics (color characteristics) of the display D are stored (see FIG. 8). The color matching function DB224 is a database in which color matching functions are stored (see FIG. 9).

なお、図９の例では等色関数ＤＢ２２４には、観察者ＫＵごとの等色関数が記憶された例が示されているが、これに限定されることはない。等色関数ＤＢ２２４は、代表的な等色関数が、複数記憶されたデータベースであってもよい。In the example of FIG. 9, the colormatching function DB 224 stores a color matching function for each observer KU, but this is not limited to the example. The colormatching function DB 224 may be a database in which multiple representative color matching functions are stored.

ここで、チャート分光反射率ＤＢ２２０は、「チャート分光反射率データベース」の一例である。観察光源ＤＢ２２１は、「観察光源データベース」の一例である。観察者ＤＢ２２２は、「観察者データベース」の一例である。ディスプレイ特性ＤＢ２２３は、「ディスプレイ特性データベース」の一例である。等色関数ＤＢ２２４は、「等色関数データベース」の一例である。Here, the chart spectral reflectance DB220 is an example of a "chart spectral reflectance database". The viewing illuminant DB221 is an example of an "viewing illuminant database". The observer DB222 is an example of an "observer database". The display characteristics DB223 is an example of a "display characteristics database". The color matching function DB224 is an example of a "color matching function database".

制御部２３は、サーバ装置２０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部２３は、サーバ装置２０を統括的に制御する。制御部２３は、通信部２１、記憶部２２のそれぞれを制御する。Thecontrol unit 23 is realized by causing a CPU provided as hardware in theserver device 20 to execute a program. Thecontrol unit 23 performs overall control of theserver device 20. Thecontrol unit 23 controls each of thecommunication unit 21 and thememory unit 22.

制御部２３は、例えば、取得部２３０と、画像変換部２３１と、画像出力部２３２と、装置制御部２３３とを備える。取得部２３０は、撮像者ＳＵにより撮像された画像、すなわち対象物画像ＢＧ及びチャート画像ＣＨＧを取得し、取得した画像を画像変換部２３１に出力する。また、取得部２３０は、観察者ＫＵにより選択された観察光源を示す情報を取得し、取得した情報を画像変換部２３１に出力する。また、取得部２３０は、観察者ＫＵの情報を取得し、取得した情報を画像変換部２３１に出力する。ここで取得部２３０により画像変換部２３１に出力された観察者ＫＵの情報は、例えば、画像変換時に観察者の等色関数を特定するために用いられる。Thecontrol unit 23 includes, for example, anacquisition unit 230, animage conversion unit 231, animage output unit 232, and adevice control unit 233. Theacquisition unit 230 acquires images captured by the imager SU, i.e., the object image BG and the chart image CHG, and outputs the acquired images to theimage conversion unit 231. Theacquisition unit 230 also acquires information indicating the observation light source selected by the observer KU, and outputs the acquired information to theimage conversion unit 231. Theacquisition unit 230 also acquires information about the observer KU, and outputs the acquired information to theimage conversion unit 231. Here, the information about the observer KU output by theacquisition unit 230 to theimage conversion unit 231 is used, for example, to identify the observer's color matching function during image conversion.

画像変換部２３１は、画像変換を行う。ここでの画像変換とは、観察者ＫＵ、及び観察者端末３０の環境に応じて、対象物画像ＢＧの色を変換することである。以下、ディスプレイ表示用画像を生成する方法について説明する。Theimage conversion unit 231 performs image conversion. Image conversion here means converting the color of the object image BG according to the environment of the observer KU and theobserver terminal 30. The method of generating an image to be displayed on the display is described below.

（ディスプレイ表示用画像を生成する方法）
ディスプレイ表示用画像生成手順（１）：画像変換部２３１は、チャートＣＨにおける各パッチの測色値を算出する。測色値は色空間上の座標値である。画像変換部２３１は、チャート分光反射率ＤＢ２２０を参照して、チャートＣＨの分光反射率を取得する。画像変換部２３１は、観察光源ＤＢ２２１を参照して、観察者ＫＵにより選択された観察光源の分光放射分布を取得する。また、画像変換部２３１は、等色関数ＤＢ２２４を参照して、観察者ＫＵの等色関数を取得する。画像変換部２３１は、取得した情報、すなわち、チャートＣＨの分光反射率、観察光源の分光放射分布、及び観察者ＫＵの等色関数を用いて、チャートＣＨの各パッチの測色値を算出する。(Method of generating an image for display)
Display image generating procedure (1): Theimage conversion unit 231 calculates the colorimetric value of each patch on the chart CH. The colorimetric value is a coordinate value in a color space. Theimage conversion unit 231 refers to the chartspectral reflectance DB 220 to acquire the spectral reflectance of the chart CH. Theimage conversion unit 231 refers to the observationlight source DB 221 to acquire the spectral radiation distribution of the observation light source selected by the observer KU. Theimage conversion unit 231 also refers to the colormatching function DB 224 to acquire the color matching function of the observer KU. Theimage conversion unit 231 calculates the colorimetric value of each patch on the chart CH using the acquired information, i.e., the spectral reflectance of the chart CH, the spectral radiation distribution of the observation light source, and the color matching function of the observer KU.

ディスプレイ表示用画像生成手順（２）：画像変換部２３１は、チャート画像ＣＨＧの各パッチに対応する部分の画素の画素値（例えば、ＲＧＢ値）と、ディスプレイ表示用画像生成手順（１）で算出した各パッチの測色値とを用いて、例えば、重回帰分析等により、画素値（例えば、ＲＧＢ値）から測色値を算出するためのマトリックス（変換行列）を算出する。Display image generation procedure (2): Theimage conversion unit 231 uses the pixel values (e.g., RGB values) of the pixels in the portion corresponding to each patch of the chart image CHG and the colorimetric values of each patch calculated in display image generation procedure (1) to calculate a matrix (transformation matrix) for calculating the colorimetric values from the pixel values (e.g., RGB values) by, for example, multiple regression analysis.

ディスプレイ表示用画像生成手順（３）：画像変換部２３１は、ディスプレイ特性ＤＢ２２３を参照して、ディスプレイＤのディスプレイ特性を取得する。画像変換部２３１は、取得したディスプレイ特性と、観察者ＫＵの等色関数とを用いて、ディスプレイＤのデバイス値（例えば、ＲＧＢ値）と、測色値の関係を記述する色変換テーブルを算出する。デバイス値は、ディスプレイＤに色を表示する際に、ディスプレイＤに入力される値である。Display image generation procedure (3): Theimage conversion unit 231 refers to thedisplay characteristics DB 223 to acquire the display characteristics of the display D. Theimage conversion unit 231 uses the acquired display characteristics and the color matching function of the observer KU to calculate a color conversion table that describes the relationship between the device values (e.g., RGB values) of the display D and the colorimetric values. The device values are values that are input to the display D when displaying colors on the display D.

ここでの色変換テーブルは、例えば、多次元のルックアップテーブルである。この場合、画像変換部２３１は、例えば、ディスプレイ特性として、ＲＧＢの各チャンネル（画素値）を、適当な間隔で均等に分割する。画像変換部２３１は、例えば、ＲＧＢ値を、５刻みで、画素値０～２５５を分割した５１段階とする。画像変換部２３１は、５１段階に分割した、各々のＲＧＢ値の組み合わせに対して、表示色の分光放射分布が、ディスプレイ特性ＤＢ２２３に記述されている場合、その分光放射分布に対して、観察者ＫＵの等色関数を用いて、それぞれの測色値を算出する。これにより、画像変換部２３１は、ＲＧＢ値を均等な間隔で分割したそれぞれの領域に対する測色値が記述された多次元ルックアップテーブルを生成することができる。ディスプレイ特性ＤＢ２２３に記述されたディスプレイ特性が、画像変換部が設定した分割と異なる場合、画像変換部２３１は、補間計算などにより、設定した分割に対応するＲＧＢ値に対する分光放射分布を求めて計算を行ってもよい。The color conversion table here is, for example, a multidimensional lookup table. In this case, theimage conversion unit 231 divides each RGB channel (pixel value) equally at appropriate intervals as the display characteristics, for example. Theimage conversion unit 231 divides the pixel values 0 to 255 into 51 levels for the RGB values, for example, in increments of 5. When the spectral radiation distribution of the display color for each combination of RGB values divided into 51 levels is described in thedisplay characteristics DB 223, theimage conversion unit 231 calculates each colorimetric value for that spectral radiation distribution using the color matching function of the observer KU. This allows theimage conversion unit 231 to generate a multidimensional lookup table in which the colorimetric values for each area obtained by dividing the RGB values at equal intervals are described. If the display characteristics described in thedisplay characteristics DB 223 differ from the division set by theimage conversion unit 231, theimage conversion unit 231 may perform calculations such as interpolation to determine the spectral radiation distribution for the RGB values corresponding to the set division.

或いは、色変換テーブルは、階調再現曲線と、変換行列で構成されてもよい。この場合、画像変換部２３１は、ディスプレイ特性ＤＢ２２３に記述された特性から、ＲＧＢ各チャンネルの階調に対応する分光放射分布（ＲＧＢそれぞれの階調２５５、すなわちＲＧＢの原色に対応するデータも含む）を取得する。画像変換部２３１は、その取得した分光分布に対して、観察者ＫＵの等色関数を用いて、それぞれの測色値を算出する。これにより、画像変換部２３１は、ＲＧＢ各チャンネルの階調に対応する測色値から階調再現曲線を、また、ＲＧＢの各原色に対応する測色値から変換行列をそれぞれ求めることができる。Alternatively, the color conversion table may be composed of a tone reproduction curve and a conversion matrix. In this case, theimage conversion unit 231 acquires a spectral radiation distribution corresponding to the tone of each RGB channel (including the tone 255 of each RGB, i.e., data corresponding to the RGB primary colors) from the characteristics described in the displaycharacteristic DB 223. Theimage conversion unit 231 calculates each colorimetric value for the acquired spectral distribution using the color matching function of the observer KU. This allows theimage conversion unit 231 to obtain a tone reproduction curve from the colorimetric values corresponding to the tone of each RGB channel, and a conversion matrix from the colorimetric values corresponding to each RGB primary color.

画像変換部２３１は、算出した色変換テーブルを用いて、測色値をディスプレイＤのデバイス値（例えば、ＲＧＢ値）に変換する変換テーブルを算出する。色変換テーブルが多次元のルックアップテーブルである場合、画像変換部２３１は、測色値（例えばＸＹＺの三刺激値）の色空間を、均等に分割する。画像変換部２３１は、色空間を分割したそれぞれの格子点に相当する測色値（例えばＸＹＺ値）に対して、ディスプレイＤを介して、その測色値を再現するためのデバイス値（例えば、ＲＧＢ値）を、上記の多次元ルックアップテーブルを用いて検索する。検索には、例えば、最適化手法などを用いることが考えられる。画像変換部２３１は、検索結果に基づいて、表示したい測色値に対応するディスプレイＤのデバイス値（例えば、ＲＧＢ値）を算出するテーブルを生成することができる。色変換テーブルが階調再現曲線と、変換行列で構成されている場合、画像変換部２３１は変換行列の逆行列を算出することにより、測色値からデバイス値の計算が可能となる。Theimage conversion unit 231 uses the calculated color conversion table to calculate a conversion table that converts the colorimetric values into device values (e.g., RGB values) of the display D. When the color conversion table is a multidimensional lookup table, theimage conversion unit 231 evenly divides the color space of the colorimetric values (e.g., XYZ tristimulus values). Theimage conversion unit 231 searches for device values (e.g., RGB values) for reproducing the colorimetric values (e.g., XYZ values) corresponding to each lattice point obtained by dividing the color space, via the display D, using the above multidimensional lookup table. For example, an optimization method or the like may be used for the search. Theimage conversion unit 231 can generate a table that calculates the device values (e.g., RGB values) of the display D corresponding to the colorimetric values to be displayed, based on the search results. When the color conversion table is composed of a tone reproduction curve and a conversion matrix, theimage conversion unit 231 calculates the inverse matrix of the conversion matrix, thereby making it possible to calculate the device values from the colorimetric values.

ディスプレイ表示用画像生成手順（４）：画像変換部２３１は、対象物画像ＢＧの画素値（例えば、ＲＧＢ値）を、ディスプレイ表示用画像生成手順（２）で算出したマトリックスを用いて、測色値に変換する。そして、画像変換部２３１は、ディスプレイ表示用画像生成手順（３）で算出した変換テーブル、または、階調直線とマトリックスを用いて、測色値を、ディスプレイＤのデバイス値（例えば、ＲＧＢ値）に変換する。Display image generation procedure (4): Theimage conversion unit 231 converts the pixel values (e.g., RGB values) of the object image BG into colorimetric values using the matrix calculated in the display image generation procedure (2). Then, theimage conversion unit 231 converts the colorimetric values into device values (e.g., RGB values) of the display D using the conversion table or the gradation line and matrix calculated in the display image generation procedure (3).

画像変換部２３１は、対象物画像ＢＧの画素値（例えば、ＲＧＢ値）を、ディスプレイＤのデバイス値（例えば、ＲＧＢ値）に変換した画像を、ディスプレイ表示用画像として生成する。画像変換部２３１は、生成したディスプレイ表示用画像を、画像出力部２３２に出力する。Theimage conversion unit 231 generates an image for display by converting the pixel values (e.g., RGB values) of the object image BG into device values (e.g., RGB values) of the display D. Theimage conversion unit 231 outputs the generated image for display to theimage output unit 232.

画像出力部２３２は、ディスプレイ表示用画像を、出力する。Theimage output unit 232 outputs the image to be displayed on the display.

装置制御部２３３は、サーバ装置２０を統合的に制御する。例えば、装置制御部２３３は、通信部２１が撮像者端末１０から受信した、対象物画像ＢＧ及びチャート画像ＣＨＧを、取得部２３０に出力する。また、装置制御部２３３は、通信部２１が、観察者端末３０から受信した、観察者ＫＵを特定する情報及び観察光源を示す情報を、取得部２３０に出力する。装置制御部２３３は、画像出力部２３２が出力したディスプレイ表示用画像を、通信部２１を介して、観察者端末３０に送信する。Thedevice control unit 233 performs integrated control of theserver device 20. For example, thedevice control unit 233 outputs the object image BG and the chart image CHG that thecommunication unit 21 receives from theimage capturer terminal 10 to theacquisition unit 230. Thedevice control unit 233 also outputs information identifying the observer KU and information indicating the observation light source that thecommunication unit 21 receives from theobserver terminal 30 to theacquisition unit 230. Thedevice control unit 233 transmits the display image output by theimage output unit 232 to theobserver terminal 30 via thecommunication unit 21.

図４は、第１の実施形態に係る観察者端末３０の構成例を示すブロック図である。観察者端末３０は、例えば、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、を備える。通信部３１は、サーバ装置２０及び撮像者端末１０と通信を行う。例えば、通信部３１は、サーバ装置２０に、観察者ＫＵを特定する情報、及び観察者ＫＵにより選択された観察光源を示す情報を送信する。また、通信部３１は、サーバ装置２０から、ディスプレイ表示用画像を、受信する。FIG. 4 is a block diagram showing an example of the configuration of theobserver terminal 30 according to the first embodiment. Theobserver terminal 30 includes, for example, acommunication unit 31, astorage unit 32, acontrol unit 33, and adisplay unit 34. Thecommunication unit 31 communicates with theserver device 20 and theimage capturer terminal 10. For example, thecommunication unit 31 transmits, to theserver device 20, information identifying the observer KU and information indicating the observation light source selected by the observer KU. Thecommunication unit 31 also receives an image to be displayed on the display from theserver device 20.

記憶部３２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部３２は、観察者端末３０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。Thestorage unit 32 is configured with a storage medium such as a HDD, flash memory, EEPROM, RAM, ROM, or a combination of these. Thestorage unit 32 stores programs for executing various processes of theobserver terminal 30, and temporary data used when performing various processes.

制御部３３は、観察者端末３０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部３３は、撮像者端末１０を統括的に制御する。制御部３３は、通信部３１、記憶部３２、及び表示部３４のそれぞれを制御する。Thecontrol unit 33 is realized by causing a CPU provided as hardware in theobserver terminal 30 to execute a program. Thecontrol unit 33 comprehensively controls theimage capturer terminal 10. Thecontrol unit 33 controls each of thecommunication unit 31, thestorage unit 32, and thedisplay unit 34.

表示部３４は、ＬＣＤモニタ、有機ＥＬなど、一般的な自発光型のディスプレイなどの表示装置を含み、制御部３３の制御に応じて、観察者ＫＵを登録する画面、観察者ＫＵを選択する画面、観察光源を選択する画面、及び、ディスプレイ表示用画像などを表示する。Thedisplay unit 34 includes a display device such as an LCD monitor, an organic EL, or other typical self-luminous display, and displays a screen for registering an observer KU, a screen for selecting an observer KU, a screen for selecting an observation light source, and images for display, etc., according to the control of thecontrol unit 33.

制御部３３は、例えば、観察者登録部３３０と、観察者選択部３３１と、観察光源選択部３３２と、ディスプレイ観察光源取得部３３３と、装置制御部３３４とを備える。Thecontrol unit 33 includes, for example, anobserver registration unit 330, anobserver selection unit 331, an observation lightsource selection unit 332, a display observation lightsource acquisition unit 333, and adevice control unit 334.

観察者登録部３３０は、予め観察者ＫＵを登録する。例えば、観察者ＫＵは、観察者端末３０と接続されたキーボード等の入力装置を用いて、観察者ＫＵ特定する情報、例えば氏名、ＩＤ、等色関数、顔写真等を示す情報を操作入力する。観察者登録部３３０は、観察者ＫＵにより操作入力された観察者ＫＵ特定する情報を取得し、取得した情報を、サーバ装置２０に送信する。サーバ装置２０に送信された情報（観察者ＫＵ特定する情報）は、サーバ装置２０によって、例えば、観察者ＤＢ２２２に登録される。Theobserver registration unit 330 registers the observer KU in advance. For example, the observer KU uses an input device such as a keyboard connected to theobserver terminal 30 to input information identifying the observer KU, such as information indicating the name, ID, color matching function, facial photo, etc. Theobserver registration unit 330 acquires the information identifying the observer KU input by the observer KU, and transmits the acquired information to theserver device 20. The information transmitted to the server device 20 (information identifying the observer KU) is registered by theserver device 20, for example, in theobserver DB 222.

観察者選択部３３１は、観察者ＫＵを選択する。例えば、観察者ＫＵは、観察者端末３０の表示部３４に表示されたリスト（観察者ＤＢ２２２に登録された観察者のリスト）を視認する。観察者ＫＵは、キーボード等の入力装置を用いて、リストから自身を選択する。これにより、選択された観察者ＫＵを示す情報が、観察者端末３０に通知される。観察者選択部３３１は、観察者ＫＵにより選択された観察者ＫＵ自身を示す情報を取得し、取得した情報を、サーバ装置２０に送信する。Theobserver selection unit 331 selects an observer KU. For example, the observer KU visually checks a list (a list of observers registered in the observer DB 222) displayed on thedisplay unit 34 of theobserver terminal 30. The observer KU selects himself/herself from the list using an input device such as a keyboard. As a result, information indicating the selected observer KU is notified to theobserver terminal 30. Theobserver selection unit 331 acquires information indicating the observer KU selected by the observer KU, and transmits the acquired information to theserver device 20.

或いは、観察者選択部３３１は、観察者ＫＵのＩＤを取得することによって、観察者ＫＵを選択するようにしてもよい。この場合、色確認システム１は、色確認を行う際に、例えば、観察者ＫＵのＩＤを用いたログインを必要とするシステムである。観察者端末３０は、色確認システム１にログインする際に観察者ＫＵにより操作入力された、観察者ＫＵのＩＤを取得する。観察者選択部３３１は、観察者端末３０に入力されたＩＤに基づいて、観察者ＤＢ２２２から観察者ＫＵを選択する。Alternatively, theobserver selection unit 331 may select the observer KU by acquiring the ID of the observer KU. In this case, thecolor confirmation system 1 is a system that requires, for example, logging in using the ID of the observer KU when performing color confirmation. Theobserver terminal 30 acquires the ID of the observer KU that is input by the observer KU when logging in to thecolor confirmation system 1. Theobserver selection unit 331 selects the observer KU from theobserver DB 222 based on the ID input to theobserver terminal 30.

観察光源選択部３３２は、観察光源を選択する。例えば、観察者ＫＵは、観察者端末３０の表示部３４に表示されたリスト（対応可能な観察光源、例えば、観察光源ＤＢ２２１に登録された観察光源のリスト）を視認する。観察者ＫＵは、キーボード等の入力装置を用いて、リストから対象物Ｂを観察したい観察光源を選択する。これにより、観察者ＫＵにより選択された観察光源を示す情報が、観察者端末３０に通知される。観察者選択部３３１は、観察者ＫＵにより選択された観察光源を示す情報を取得し、取得した情報を、サーバ装置２０に送信する。The observation lightsource selection unit 332 selects an observation light source. For example, the observer KU visually checks a list (compatible observation light sources, for example, a list of observation light sources registered in the observation light source DB 221) displayed on thedisplay unit 34 of theobserver terminal 30. The observer KU selects the observation light source with which the observer wants to observe the object B from the list using an input device such as a keyboard. As a result, information indicating the observation light source selected by the observer KU is notified to theobserver terminal 30. Theobserver selection unit 331 acquires information indicating the observation light source selected by the observer KU, and transmits the acquired information to theserver device 20.

ディスプレイ観察光源取得部３３３が行う処理については、後述する第２の実施形態の変形例にて、詳しく説明する。The processing performed by the display observation lightsource acquisition unit 333 will be described in detail in the modified example of the second embodiment described later.

装置制御部３３４は、観察者端末３０を統合的に制御する。例えば、装置制御部３３４は、観察者登録部３３０により登録された観察者ＫＵの氏名等を示す情報を、通信部２１を介して、サーバ装置２０に送信する。装置制御部３３４は、観察者選択部３３１により選択された観察者ＫＵを特定する情報を、通信部２１を介して、サーバ装置２０に送信する。また、装置制御部３３４は、観察光源選択部３３２により選択された観察光源を示す情報を、通信部２１を介して、サーバ装置２０に送信する。装置制御部３３４は、通信部２１がサーバ装置２０から受信した、ディスプレイ表示用画像を、表示部３４に出力する。Thedevice control unit 334 controls theobserver terminal 30 in an integrated manner. For example, thedevice control unit 334 transmits information indicating the name, etc. of the observer KU registered by theobserver registration unit 330 to theserver device 20 via thecommunication unit 21. Thedevice control unit 334 transmits information identifying the observer KU selected by theobserver selection unit 331 to theserver device 20 via thecommunication unit 21. Thedevice control unit 334 also transmits information indicating the observation light source selected by the observation lightsource selection unit 332 to theserver device 20 via thecommunication unit 21. Thedevice control unit 334 outputs the display image received by thecommunication unit 21 from theserver device 20 to thedisplay unit 34.

図５は、第１の実施形態に係るチャート分光反射率ＤＢ２２０の例を示す図である。チャート分光反射率ＤＢ２２０は、例えば、チャートＣＨごとに生成される。チャート分光反射率ＤＢ２２０は、例えば、パッチＮｏ、分光反射特性などの項目を備える。パッチＮｏは、チャートＣＨに示されたパッチを一意に特定する番号等の識別情報である。分光反射特性は、パッチＮｏにて特定されるパッチの分光反射特性を示す情報であり、例えば、分光反射率を示す情報である。Figure 5 is a diagram showing an example of the chart spectral reflectance DB220 according to the first embodiment. The chart spectral reflectance DB220 is generated, for example, for each chart CH. The chart spectral reflectance DB220 includes items such as patch number and spectral reflectance characteristics. The patch number is identification information such as a number that uniquely identifies a patch shown on the chart CH. The spectral reflectance characteristics is information indicating the spectral reflectance characteristics of the patch identified by the patch number, for example, information indicating the spectral reflectance.

図６は、第１の実施形態に係る観察光源ＤＢ２２１の例を示す図である。観察光源ＤＢ２２１は、例えば、観察光源Ｎｏ、分光放射特性などの項目を備える。観察光源Ｎｏは、観察光源を一意に特定する番号等の識別情報である。分光放射特性は、観察光源Ｎｏにて特定される観察光源の分光放射特性を示す情報であり、例えば、分光放射分布を示す情報である。Figure 6 is a diagram showing an example of the observation light source DB221 according to the first embodiment. The observation light source DB221 includes items such as the observation light source No. and the spectral radiation characteristics. The observation light source No. is identification information such as a number that uniquely identifies the observation light source. The spectral radiation characteristics is information indicating the spectral radiation characteristics of the observation light source identified by the observation light source No., for example, information indicating the spectral radiation distribution.

図７は、第１の実施形態に係る観察者ＤＢ２２２１の例を示す図である。観察者ＤＢ２２２は、例えば、観察者Ｎｏ、氏名、ＩＤ、等色関数、顔写真などの項目を備える。観察者Ｎｏは、観察者ＫＵを一意に特定する番号等の識別情報である。ＩＤは、観察者Ｎｏで特定される観察者ＫＵのＩＤ（Identification）を示す情報である。等色関数は、観察者Ｎｏで特定される観察者ＫＵの等色関数を示す情報である。顔写真は、観察者Ｎｏで特定される観察者ＫＵの顔写真を示す情報である。Figure 7 is a diagram showing an example of an observer DB 2221 according to the first embodiment. Theobserver DB 222 includes items such as observer No., name, ID, color matching function, and face photo. The observer No. is identification information such as a number that uniquely identifies the observer KU. The ID is information indicating the ID (Identification) of the observer KU identified by the observer No. The color matching function is information indicating the color matching function of the observer KU identified by the observer No. The face photo is information indicating the face photo of the observer KU identified by the observer No.

図８は、第１の実施形態に係るディスプレイ特性ＤＢ２２３の例を示す図である。ディスプレイ特性ＤＢ２２３は、例えば、ディスプレイＤごとに生成される。ディスプレイ特性ＤＢ２２３は、例えば、Ｒ値、Ｇ値、Ｂ値、及び分光放射特性などの項目を備える。Ｒ値は、ディスプレイＤの各画素に表示する画素値のうちの赤色（Ｒｅｄ）成分の値である。Ｇ値は、ディスプレイＤの各画素に表示する画素値のうちの緑色（Ｇｒｅｅｎ）成分の値である。Ｂ値は、ディスプレイＤの各画素に表示する画素値のうちの青色（Ｂｌｕｅ）成分の値である。分光放射特性は、Ｒ値、Ｇ値、及びＢ値にて特定される画素値（ＲＧＢ値）に対応してディスプレイＤにより放射される光の分光放射特性を示す情報であり、例えば、分光放射分布を示す情報である。FIG. 8 is a diagram showing an example of the displaycharacteristic DB 223 according to the first embodiment. The displaycharacteristic DB 223 is generated for each display D, for example. The displaycharacteristic DB 223 includes items such as an R value, a G value, a B value, and a spectral radiation characteristic. The R value is the value of the red component of the pixel value displayed in each pixel of the display D. The G value is the value of the green component of the pixel value displayed in each pixel of the display D. The B value is the value of the blue component of the pixel value displayed in each pixel of the display D. The spectral radiation characteristic is information indicating the spectral radiation characteristic of the light emitted by the display D corresponding to the pixel value (RGB value) specified by the R value, the G value, and the B value, and is, for example, information indicating the spectral radiation distribution.

この図の例では、画素値（０、０、０）に対応するディスプレイＤの分光放射特性は、Ｍ１（λ）であることが示されている。また、画素値（１０、０、０）に対応するディスプレイＤの分光放射特性は、Ｍ２（λ）であることが示されている。ここでのλは波長を示す。In the example of this figure, it is shown that the spectral radiation characteristic of display D corresponding to pixel value (0, 0, 0) is M1(λ). It is also shown that the spectral radiation characteristic of display D corresponding to pixel value (10, 0, 0) is M2(λ). Here, λ indicates wavelength.

図９は、第１の実施形態に係る等色関数ＤＢ２２４の例を示す図である。等色関数ＤＢ２２４は、例えば、観察者Ｎｏ、等色関数などの項目を備える。観察者Ｎｏは、観察者ＫＵを一意に特定する番号等の識別情報である。等色関数は、観察者Ｎｏにより特定される観察者ＫＵの等色関数を示す情報であり、例えば、Ｘ特性、Ｙ特性、Ｚ特性からなる三刺激値を示す情報である。FIG. 9 is a diagram showing an example of the colormatching function DB 224 according to the first embodiment. The colormatching function DB 224 includes items such as an observer number and a color matching function. The observer number is identification information such as a number that uniquely identifies an observer KU. The color matching function is information indicating the color matching function of an observer KU identified by the observer number, and is information indicating, for example, tristimulus values consisting of X characteristics, Y characteristics, and Z characteristics.

この図の例では、観察者Ｎｏ（観察者Ｕ１）にて特定される観察者ＫＵの等色関数は、Ｘ特性がｘ１（λ）、Ｙ特性がｙ１（λ）、Ｚ特性がｚ１（λ）であることが示されている。また、観察者Ｎｏ（観察者Ｕ２）にて特定される観察者ＫＵの等色関数は、Ｘ特性がｘ２（λ）、Ｙ特性がｙ２（λ）、Ｚ特性がｚ２（λ）であることが示されている。ここでのλは波長を示す。In the example of this figure, the color matching functions of observer KU identified by observer No. (observer U1) are shown to have an X characteristic of x1 (λ), a Y characteristic of y1 (λ), and a Z characteristic of z1 (λ). Also, the color matching functions of observer KU identified by observer No. (observer U2) are shown to have an X characteristic of x2 (λ), a Y characteristic of y2 (λ), and a Z characteristic of z2 (λ). Here, λ indicates wavelength.

図１０は、第１の実施形態に係る色確認システム１が行う処理の流れを示すフローチャートである。Figure 10 is a flowchart showing the flow of processing performed by thecolor confirmation system 1 according to the first embodiment.

まず、色確認システム１は、チャートＣＨを撮像する（ステップＳ１０）。例えば、撮像者ＳＵがカメラＣＡを操作することにより、チャートＣＨを撮像する。これにより、撮像者端末１０は、チャート画像ＣＨＧを取得し、取得したチャート画像ＣＨＧを、サーバ装置２０に送信する。なお、撮像条件、例えば、撮像対象を照明する光源、及び、撮像に用いる画像入力装置（カメラＣＡ）や、その画像入力装置のカメラパラメータの設定等を変更しない限り、このステップＳ１０は１度行えばよく、後段のステップＳ１１において対象物Ｂを撮像する度に、ステップＳ１０を繰り返し行う必要はない。First, thecolor confirmation system 1 captures an image of the chart CH (step S10). For example, the photographer SU captures an image of the chart CH by operating the camera CA. As a result, thephotographer terminal 10 acquires a chart image CHG and transmits the acquired chart image CHG to theserver device 20. Note that unless the imaging conditions, such as the light source that illuminates the subject to be imaged, the image input device (camera CA) used for imaging, and the settings of the camera parameters of the image input device, are changed, this step S10 only needs to be performed once, and there is no need to repeat step S10 each time the subject B is imaged in the subsequent step S11.

次に、色確認システム１は、対象物Ｂを撮像する（ステップＳ１１）。例えば、撮像者ＳＵがカメラＣＡを操作することにより、チャートＣＨを撮像した撮像条件と同じ条件下で、対象物Ｂを撮像する。これにより、撮像者端末１０は、対象物画像ＢＧを取得し、取得した対象物画像ＢＧを、サーバ装置２０に送信する。Next, thecolor confirmation system 1 captures an image of the object B (step S11). For example, the photographer SU operates the camera CA to capture an image of the object B under the same imaging conditions as those under which the chart CH was captured. This causes thephotographer terminal 10 to acquire an object image BG and transmit the acquired object image BG to theserver device 20.

色確認システム１は、観察者ＫＵを登録する（ステップＳ１２）。このステップＳ１２は、図１０に示す一連のフローとは別に、事前に行われる処理ステップであってもよい。例えば、観察者ＫＵが、観察者端末３０に、観察者ＫＵを登録するための情報、例えば、氏名、ＩＤ、及び等色関数等を、入力操作する。これにより、観察者端末３０は、観察者ＫＵを登録するための情報を取得し、取得した情報を、サーバ装置２０に送信する。Thecolor confirmation system 1 registers the observer KU (step S12). This step S12 may be a processing step that is performed in advance, separate from the series of flows shown in FIG. 10. For example, the observer KU inputs information for registering the observer KU, such as the name, ID, and color matching function, into theobserver terminal 30. As a result, theobserver terminal 30 acquires the information for registering the observer KU, and transmits the acquired information to theserver device 20.

サーバ装置２０は、ステップＳ１２で観察者端末３０から取得した、観察者ＫＵを登録するための情報を、観察者ＤＢ２２２に記憶することによって、観察者ＫＵを登録する。また、サーバ装置２０は、ステップＳ１２で、観察者ＫＵの等色関数を取得した場合には、取得した等色関数を、その観察者ＫＵに対応づけて、等色関数ＤＢ２２４に記憶する。Theserver device 20 registers the observer KU by storing the information for registering the observer KU acquired from theobserver terminal 30 in step S12 in theobserver DB 222. Furthermore, when theserver device 20 acquires the color matching function of the observer KU in step S12, theserver device 20 stores the acquired color matching function in the colormatching function DB 224 in association with the observer KU.

色確認システム１は、観察者ＫＵを選択する（ステップＳ１３）。例えば、観察者ＫＵが、観察者端末３０に表示された観察者の一覧を示すリストから、自身を選択する。これにより、観察者端末３０は、観察者ＫＵを特定するための情報を取得し、取得した情報を、サーバ装置２０に送信する。Thecolor confirmation system 1 selects the observer KU (step S13). For example, the observer KU selects himself/herself from a list of observers displayed on theobserver terminal 30. As a result, theobserver terminal 30 obtains information for identifying the observer KU and transmits the obtained information to theserver device 20.

色確認システム１は、観察光源を選択する（ステップＳ１４）。例えば、観察者ＫＵが、観察者端末３０に表示された観察光源の一覧を示すリストから、対象物Ｂを観察したい観察光源を選択する。これにより、観察者端末３０は、観察光源を特定するための情報を取得し、取得した情報を、サーバ装置２０に送信する。Thecolor confirmation system 1 selects an observation light source (step S14). For example, the observer KU selects the observation light source with which he/she wishes to observe the object B from a list of observation light sources displayed on theobserver terminal 30. As a result, theobserver terminal 30 acquires information for identifying the observation light source, and transmits the acquired information to theserver device 20.

なお、観察光源ＤＢ２２１には、対象物Ｂの観察に使用する可能性がある観察光源が予め記憶されており、観察光源ＤＢ２２１に記憶された情報に基づいて、観察者端末３０の表示部３４に観察光源の一覧を示すリストが表示される。In addition, the observation light source DB221 stores in advance the observation light sources that may be used to observe the object B, and based on the information stored in the observation light source DB221, a list of the observation light sources is displayed on thedisplay unit 34 of theobserver terminal 30.

色確認システム１は、対象物画像ＢＧを変換する（ステップＳ１５）。具体的に、色確認システム１は、ステップＳ１０で撮像されたチャート画像ＣＨＧの分光反射率を、チャート分光反射率ＤＢ２２０から取得する。色確認システム１は、ステップＳ１１で撮像された対象物画像ＢＧの各画素の画素値を取得する。色確認システム１は、ステップＳ１３で選択された観察者ＫＵの等色関数を、等色関数ＤＢ２２４から取得する。色確認システム１は、ステップＳ１４で選択された観察光源の分光放射分布を、観察光源ＤＢ２２１から取得する。また、色確認システム１は、ディスプレイＤの特性を、ディスプレイ特性ＤＢ２２３から取得する。そして、色確認システム１は、上述したディスプレイ表示用画像生成手順（１）～ディスプレイ表示用画像生成手順（４）により、対象物画像ＢＧの色をディスプレイ表示用画像に色に変換することによって、ディスプレイ表示用画像を生成する。Thecolor confirmation system 1 converts the object image BG (step S15). Specifically, thecolor confirmation system 1 obtains the spectral reflectance of the chart image CHG captured in step S10 from the chartspectral reflectance DB 220. Thecolor confirmation system 1 obtains the pixel values of each pixel of the object image BG captured in step S11. Thecolor confirmation system 1 obtains the color matching function of the observer KU selected in step S13 from the colormatching function DB 224. Thecolor confirmation system 1 obtains the spectral radiation distribution of the observation light source selected in step S14 from the observationlight source DB 221. Thecolor confirmation system 1 also obtains the characteristics of the display D from the displaycharacteristic DB 223. Thecolor confirmation system 1 then generates the display image by converting the color of the object image BG into the color of the display image through the above-mentioned display image generation procedure (1) to display image generation procedure (4).

色確認システム１は、ディスプレイ表示用画像を表示する（ステップＳ１６）。色確認システム１は、ステップＳ１５でサーバ装置２０によって生成された生成したディスプレイ表示用画像を、観察者端末３０に送信する。観察者端末３０は、サーバ装置２０から受信したディスプレイ表示用画像を、表示部３４に表示する。Thecolor confirmation system 1 displays the display image (step S16). Thecolor confirmation system 1 transmits the display image generated by theserver device 20 in step S15 to theobserver terminal 30. Theobserver terminal 30 displays the display image received from theserver device 20 on thedisplay unit 34.

以上、説明したように、第１の実施形態に係る色確認システム１は、観察者登録部３３０と、観察者選択部３３１と、観察光源選択部３３２と、画像変換部２３１と、表示部３４（「画像表示部」の一例）とを備える。観察者登録部３３０は、観察者ＫＵを、観察者ＤＢ２２２（観察者データベース）に登録する。観察者ＫＵは、ディスプレイＤに表示された画像を観察する観察者である。観察者選択部３３１は、ディスプレイＤを介して、対象物が示された画像（ディスプレイ表示用画像）を観察する観察者ＫＵを、観察者ＤＢ２２２から選択する。観察光源選択部３３２は、観察者ＫＵが、ディスプレイＤを介して対象物が示された画像（ディスプレイ表示用画像）を観察する場合における、対象物Ｂを観察する観察光源を選択する。画像変換部２３１は、ディスプレイ表示用画像を生成する。ディスプレイ表示用画像は、対象物画像ＢＧの色がディスプレイＤに表示する色に変換された画像である。画像変換部２３１は、対象物画像ＢＧと同一の撮像条件にて撮像されたチャート画像ＣＨＧ、観察光源選択部３３２によって選択された観察光源、観察者選択部３３１によって選択された観察者ＫＵに応じた等色関数、及びディスプレイＤの色特性を用いて、ディスプレイ表示用画像を生成する。表示部３４は、ディスプレイ表示用画像を表示する。なお、チャート画像ＣＨＧに示されているチャートＣＨは、分光反射率が既知であって、チャート分光反射率ＤＢ２２０（チャート分光反射率データベース）にそのチャートＣＨの分光反射率が記憶されているチャートである。ディスプレイＤの色特性は、ディスプレイ特性ＤＢ２２３（ディスプレイ特性データベース）に記憶されている。観察光源は、観察光源ＤＢ２２１（観察光源データベース）に記憶されている。観察者選択部３３１によって選択された観察者ＫＵに応じた等色関数は、等色関数ＤＢ２２４（等色関数データベース）から選択されたものである。等色関数ＤＢ２２４には、複数の等色関数が記憶されている。As described above, thecolor confirmation system 1 according to the first embodiment includes anobserver registration unit 330, anobserver selection unit 331, an observation lightsource selection unit 332, animage conversion unit 231, and a display unit 34 (an example of an "image display unit"). Theobserver registration unit 330 registers the observer KU in the observer DB 222 (observer database). The observer KU is an observer who observes an image displayed on the display D. Theobserver selection unit 331 selects, from theobserver DB 222, an observer KU who observes an image showing an object (image for display) via the display D. The observation lightsource selection unit 332 selects an observation light source for observing the object B when the observer KU observes an image showing an object (image for display) via the display D. Theimage conversion unit 231 generates an image for display. The image for display is an image in which the color of the object image BG is converted into a color to be displayed on the display D. Theimage conversion unit 231 generates an image for display using the chart image CHG captured under the same imaging conditions as the object image BG, the observation light source selected by the observation lightsource selection unit 332, the color matching function corresponding to the observer KU selected by theobserver selection unit 331, and the color characteristics of the display D. Thedisplay unit 34 displays the image for display. The chart CH shown in the chart image CHG is a chart whose spectral reflectance is known and whose spectral reflectance is stored in the chart spectral reflectance DB 220 (chart spectral reflectance database). The color characteristics of the display D are stored in the display characteristic DB 223 (display characteristic database). The observation light source is stored in the observation light source DB 221 (observation light source database). The color matching function corresponding to the observer KU selected by theobserver selection unit 331 is selected from the color matching function DB 224 (color matching function database). The colormatching function DB 224 stores a plurality of color matching functions.

これにより、第１の実施形態に係る色確認システム１では、観察者ＫＵの等色関数を用いて、ディスプレイ表示用画像を生成することができる。このため、ディスプレイＤを介して対象物の色を確認する場合における、色の見えの個人差に対応することができる。As a result, in thecolor confirmation system 1 according to the first embodiment, an image for display can be generated using the color matching function of the observer KU. This makes it possible to accommodate individual differences in color appearance when checking the color of an object via the display D.

また、第１の実施形態に係る色確認システム１では、等色関数ＤＢ２２４に、観察者ＤＢ２２２に登録された観察者ごとに、その観察者の等色関数が記憶されていてもよい。この場合、画像変換部２３１は、等色関数ＤＢ２２４を用いて、観察者ＫＵ（観察者選択部３３１によって選択された観察者）の等色関数を選択する。これにより、第１の実施形態に係る色確認システム１では、観察者ＫＵのそれぞれに応じた等色関数を選択することができ、観察者ＫＵの見えに応じて、ディスプレイ表示用画像を生成することができる。In addition, in thecolor confirmation system 1 according to the first embodiment, the colormatching function DB 224 may store the color matching function of each observer registered in theobserver DB 222. In this case, theimage conversion unit 231 uses the colormatching function DB 224 to select the color matching function of the observer KU (the observer selected by the observer selection unit 331). In this way, in thecolor confirmation system 1 according to the first embodiment, it is possible to select a color matching function according to each observer KU, and to generate an image to be displayed on the display according to the appearance of the observer KU.

また、第１の実施形態に係る色確認システム１では、等色関数ＤＢ２２４に、代表的なの等色関数が複数記憶されていてもよい。この場合、画像変換部２３１は、等色関数ＤＢ２２４を用いて、観察者ＫＵの等色関数を選択する。これにより、第１の実施形態に係る色確認システム１では、上述した実施形態と同様の効果を奏する。In addition, in thecolor confirmation system 1 according to the first embodiment, a plurality of representative color matching functions may be stored in the colormatching function DB 224. In this case, theimage conversion unit 231 uses the colormatching function DB 224 to select the color matching function for the observer KU. As a result, thecolor confirmation system 1 according to the first embodiment achieves the same effects as the above-mentioned embodiments.

また、第１の実施形態に係る色確認システム１では、観察者ＤＢ２２２には、ＩＤ（観察者ＤＢ２２２に登録された観察者ＫＵを一意に識別する観察者ＩＤ）が記憶されていてもよい。この場合、観察者選択部３３１は、観察者ＫＵによって操作入力されたＩＤに応じて、観察者ＫＵ（ディスプレイＤを介して対象物画像を観察する観察者）を選択する。これにより、第１の実施形態に係る色確認システム１では、観察者ＫＵがＩＤを入力するという容易な方法にて観察者ＫＵを選択することができる。In addition, in thecolor confirmation system 1 according to the first embodiment, theobserver DB 222 may store an ID (an observer ID that uniquely identifies an observer KU registered in the observer DB 222). In this case, theobserver selection unit 331 selects an observer KU (an observer who observes the object image via the display D) according to the ID input by the observer KU. As a result, in thecolor confirmation system 1 according to the first embodiment, the observer KU can be selected by the easy method of having the observer KU input an ID.

（第１の実施形態の変形例）
ここで、第１の実施形態の変形例について説明する。本変形例では、観察者登録部３３０が、観察者ＫＵの等色関数を決定する点において、上述した実施形態と相違する。(Modification of the first embodiment)
Here, a modified example of the first embodiment will be described. This modified example differs from the above-described embodiment in that theobserver registration unit 330 determines the color matching functions for the observer KU.

図１１は、第１の実施形態の変形例に係る色確認システム１の概要を示す図である。図１１に示すように、本変形例では、観察者ＫＵが、登録を行う際に、分光反射率が既知のチャートＣＨ＃を所持する。Figure 11 is a diagram showing an overview of acolor confirmation system 1 according to a modified example of the first embodiment. As shown in Figure 11, in this modified example, an observer KU carries a chart CH# with a known spectral reflectance when performing registration.

ここでのチャートＣＨ＃は、第１に実施形態において、撮像者ＳＵによって撮像されたチャートＣＨと同一のチャートであってもよいし、異なるチャートであってもよい。また、チャートＣＨ＃は、対象物Ｂの分光反射特性が反映されたパッチからなるカラーチャートであってもよい。チャートＣＨ＃は、反射物体であってよいし、自発光物体であってもよい。また、チャートＣＨ＃は、観察対象とする対象物Ｂが分光的に再現された印刷物であってもよい。以下では、チャートＣＨ＃が反射物体である場合を例に、説明する。The chart CH# here may be the same chart as the chart CH captured by the photographer SU in the first embodiment, or it may be a different chart. The chart CH# may also be a color chart made up of patches that reflect the spectral reflectance characteristics of the object B. The chart CH# may be a reflective object or a self-luminous object. The chart CH# may also be a printed material in which the object B to be observed is spectrally reproduced. The following will explain an example in which the chart CH# is a reflective object.

観察者端末３０は、観察者ＫＵの等色関数を決定するための複数の判定画像ＣＨＤ（判定画像ＣＨＤ１～ＣＨＤ３…）を、ディスプレイＤに表示する。判定画像ＣＨＤは、チャートＣＨ＃における各パッチの色が、複数の等色関数のそれぞれに対応した色に変換された画像である。以下、判定画像ＣＨＤを生成する方法について説明する。Theobserver terminal 30 displays on the display D a number of judgment images CHD (judgment images CHD1 to CHD3, etc.) for determining the color matching function of the observer KU. The judgment image CHD is an image in which the color of each patch in the chart CH# is converted into a color corresponding to each of the multiple color matching functions. The method of generating the judgment image CHD is described below.

（判定画像ＣＨＤを生成する方法）
判定画像ＣＨＤ生成手順（１）：観察者登録部３３０は、チャートＣＨ＃の分光反射率を取得する。観察者登録部３３０は、チャート分光反射率ＤＢ２２０を参照して、チャートＣＨ＃の分光反射率を取得してもよいし、他のデータベースを参照してチャートＣＨ＃の分光反射率を取得してもよい。(Method of generating judgment image CHD)
Procedure for generating judgment image CHD (1): Theobserver registration unit 330 acquires the spectral reflectance of the chart CH#. Theobserver registration unit 330 may acquire the spectral reflectance of the chart CH# by referring to the chartspectral reflectance DB 220, or may acquire the spectral reflectance of the chart CH# by referring to another database.

判定画像ＣＨＤ生成手順（２）：ディスプレイ観察光源取得部３３３は、ディスプレイ観察光源を取得する。ディスプレイ観察光源は、例えばディスプレイＤを観察する環境に設けられた光源であり、観察者ＫＵが所持するチャートＣＨ＃を照明する光源である。Procedure for generating judgment image CHD (2): The display observation lightsource acquisition unit 333 acquires the display observation light source. The display observation light source is, for example, a light source provided in the environment in which the display D is observed, and is a light source that illuminates the chart CH# held by the observer KU.

ディスプレイ観察光源取得部３３３は、例えば、観察者端末３０の表示部３４に表示されたリスト（対応可能な観察光源、例えば、観察光源ＤＢ２２１に登録された観察光源のリスト）を表示する。観察者ＫＵは、観察者端末３０の表示部３４に表示されたリストから、ディスプレイ観察光源を取得する。例えば、観察者ＫＵは、ディスプレイＤが設置された部屋が、蛍光灯によって照明された部屋である場合、ディスプレイ観察光源として「蛍光灯」を選択する。ディスプレイ観察光源取得部３３３は、観察者ＫＵにより選択されたディスプレイ観察光源を示す情報を取得し、取得した情報を、観察者登録部３３０に出力する。The display observation lightsource acquisition unit 333 displays, for example, a list (compatible observation light sources, for example, a list of observation light sources registered in the observation light source DB 221) displayed on thedisplay unit 34 of theobserver terminal 30. The observer KU acquires the display observation light source from the list displayed on thedisplay unit 34 of theobserver terminal 30. For example, if the room in which the display D is installed is illuminated by a fluorescent light, the observer KU selects "fluorescent light" as the display observation light source. The display observation lightsource acquisition unit 333 acquires information indicating the display observation light source selected by the observer KU, and outputs the acquired information to theobserver registration unit 330.

或いは、ディスプレイ観察光源取得部３３３は、画像から、ディスプレイ観察光源を示す情報を取得するようにしてもよい。例えば、後述するディスプレイ観察環境画像取得部３３５によって、ディスプレイＤを観察する環境の全天周画像が取得された場合、ディスプレイ観察光源取得部３３３は、全天周画像に示されているチャートＣＨ＃の色に基づいて、ディスプレイ観察光源の分光放射分布を推定し、推定した分光放射分布を持つ光源を、ディスプレイ観察光源として、観察者登録部３３０に出力する。Alternatively, the display observation lightsource acquisition unit 333 may acquire information indicating the display observation light source from the image. For example, when a panoramic image of the environment in which the display D is observed is acquired by the display observation environmentimage acquisition unit 335 described later, the display observation lightsource acquisition unit 333 estimates the spectral radiation distribution of the display observation light source based on the color of the chart CH# shown in the panoramic image, and outputs the light source having the estimated spectral radiation distribution to theobserver registration unit 330 as the display observation light source.

判定画像ＣＨＤ生成手順（３）：観察者登録部３３０は、判定画像ＣＨＤ生成手順（１）で取得したチャートＣＨ＃の分光反射率、判定画像ＣＨＤ生成手順（２）で取得したディスプレイ観察光源、及び、対応させる等色関数を用いて、下記（１）式に示すように、チャートＣＨ＃における各パッチの測色値（Ｘ１、Ｙ１、Ｚ１）を算出する。Judgment image CHD generation procedure (3): Theobserver registration unit 330 calculates the colorimetric values (X1, Y1, Z1) of each patch in chart CH# using the spectral reflectance of chart CH# obtained in judgment image CHD generation procedure (1), the display observation illuminant obtained in judgment image CHD generation procedure (2), and the corresponding color matching function, as shown in the following formula (1).

Ｘ１＝∫Ｒ（λ）Ｐ（λ）ｘ１（λ）ｄλ
Ｙ１＝∫Ｒ（λ）Ｐ（λ）ｙ１（λ）ｄλ
Ｚ１＝∫Ｒ（λ）Ｐ（λ）ｚ１（λ）ｄλ
…（１）
但し、
Ｒ（λ）は、チャートＣＨ＃のパッチにおける分光反射率
Ｐ（λ）は、ディスプレイ観察光源における分光放射分布
（ｘ１（λ）、ｙ１（λ）、ｚ１（λ））は、観察者Ｕ１の等色関数
λは波長 X1=∫R(λ)P(λ)x1(λ)dλ
Y1=∫R(λ)P(λ)y1(λ)dλ
Z1=∫R(λ)P(λ)z1(λ)dλ
…(1)
however,
R(λ) is the spectral reflectance of the patch of chart CH#. P(λ) is the spectral radiance distribution of the display observation light source. (x1(λ), y1(λ), z1(λ)) are the spectral reflectance distribution of the observer U1. Color matching function λ is wavelength

判定画像ＣＨＤ生成手順（４）：観察者登録部３３０は、ディスプレイＤの表示色（例えば、ＲＧＢ値）と、測色値の関係を記述する色変換テーブルを算出する。変換テーブルを算出する方法は、上述したディスプレイ表示用画像生成手順（３）と同様であるため、その説明を省略する。Procedure for generating judgment image CHD (4): Theobserver registration unit 330 calculates a color conversion table that describes the relationship between the display color (e.g., RGB values) of the display D and the colorimetric values. The method for calculating the conversion table is similar to the procedure for generating an image for display (3) described above, so its description is omitted.

判定画像ＣＨＤ生成手順（５）：観察者登録部３３０は、判定画像ＣＨＤ生成手順（３）で算出したチャートＣＨ＃の各パッチの測色値を、判定画像ＣＨＤ生成手順（４）で算出した変換テーブルを用いて、ディスプレイＤの表示色(例えば、ＲＧＢ値）に変換する。観察者登録部３３０は、変換したディスプレイＤの表示色を、観察者ＫＵの等色関数に対応するチャートＣＨの各パッチの色として、ディスプレイＤに表示する。Judgment image CHD generation procedure (5): Theobserver registration unit 330 converts the colorimetric values of each patch of the chart CH# calculated in the judgment image CHD generation procedure (3) into a display color (e.g., RGB value) of the display D using the conversion table calculated in the judgment image CHD generation procedure (4). Theobserver registration unit 330 displays the converted display color of the display D on the display D as the color of each patch of the chart CH corresponding to the color matching function of the observer KU.

観察者登録部３３０は、観察者の等色関数を変更しながら、上記、判定画像ＣＨＤ生成手順（１）～判定画像ＣＨＤ生成手順（５）の手順を繰り返し行い、複数の観察者のそれぞれの等色関数に対応する、チャートＣＨ＃が示された複数の判定画像ＣＨＤ（判定画像ＣＨＤ１～ＣＨＤ３…）を生成し、生成した画像を、ディスプレイＤに表示する。Theobserver registration unit 330 repeats the above-mentioned steps of judgment image CHD generation procedure (1) to judgment image CHD generation procedure (5) while changing the observer's color matching function, generates multiple judgment images CHD (judgment images CHD1 to CHD3, etc.) showing charts CH# corresponding to the respective color matching functions of multiple observers, and displays the generated images on the display D.

観察者ＫＵは、ディスプレイＤに表示された複数の判定画像ＣＨＤと、手元にあるチャートＣＨ＃の色とを見比べて、手元にあるチャートＣＨ＃の色と、色の見えが最も近いと感じる判定画像ＣＨＤを選択する。観察者登録部３３０は、観察者ＫＵにより選択された判定画像ＣＨＤを示す情報を取得し、取得した判定画像ＣＨＤに対応する等色関数を、その観察者ＫＵの等色関数と決定する。観察者端末３０は、観察者登録部３３０により決定された観察者ＫＵの等色関数を示す情報を、サーバ装置２０に送信する。サーバ装置２０は、観察者端末３０から取得した、観察者ＫＵの等色関数を示す情報を、観察者ＤＢ２２２に記憶する。The observer KU compares the multiple judgment images CHD displayed on the display D with the colors of the chart CH# in front of him/her, and selects the judgment image CHD that he/she feels has the closest color appearance to the color of the chart CH# in front of him/her. Theobserver registration unit 330 acquires information indicating the judgment image CHD selected by the observer KU, and determines the color matching function corresponding to the acquired judgment image CHD as the color matching function for that observer KU. Theobserver terminal 30 transmits information indicating the color matching function for the observer KU determined by theobserver registration unit 330 to theserver device 20. Theserver device 20 stores the information indicating the color matching function for the observer KU acquired from theobserver terminal 30 in theobserver DB 222.

図１２は、第１の実施形態の変形例に係る色確認システム１が行う処理の流れを示すフローチャートである。色確認システム１は、例えば、チャート分光反射率ＤＢ２２０を参照してチャートＣＨ＃の分光反射率を取得する（ステップＳ２０）。色確認システム１は、例えば、観察者ＫＵにより選択された光源を示す情報に基づいて、観察光源ＤＢ２２１を参照することにより、ディスプレイ観察光源の分光放射分布を取得する（ステップＳ２１）。色確認システム１は、チャートＣＨ＃の分光反射率、及びディスプレイ観察光源の分光放射分布に基づいて、等色関数ＤＢ２２４に記憶された等色関数ごとに、チャートＣＨ＃の各パッチの測色値を算出する（ステップＳ２２）。色確認システム１は、ディスプレイ特性ＤＢ２２３に記憶されたディスプレイＤの色特性と、等色関数ＤＢ２２４に記憶された等色関数に基づいて、測色値をディスプレイＤの表示色に変換する変換テーブルを算出し、算出した変換テーブルを用いて、チャートＣＨ＃における各パッチの測色値を、等色関数に対応するディスプレイＤの表示色に変換する（ステップＳ２３）。FIG. 12 is a flowchart showing the flow of processing performed by thecolor confirmation system 1 according to the modified example of the first embodiment. Thecolor confirmation system 1 acquires the spectral reflectance of the chart CH# by, for example, referring to the chart spectral reflectance DB 220 (step S20). Thecolor confirmation system 1 acquires the spectral radiation distribution of the display observation light source by, for example, referring to the observationlight source DB 221 based on information indicating the light source selected by the observer KU (step S21). Thecolor confirmation system 1 calculates the colorimetric values of each patch of the chart CH# for each color matching function stored in the colormatching function DB 224 based on the spectral reflectance of the chart CH# and the spectral radiation distribution of the display observation light source (step S22). Thecolor confirmation system 1 calculates a conversion table for converting the colorimetric values into the display color of the display D based on the color characteristics of the display D stored in the displaycharacteristic DB 223 and the color matching functions stored in the colormatching function DB 224, and converts the colorimetric values of each patch in the chart CH# into the display color of the display D corresponding to the color matching function using the calculated conversion table (step S23).

色確認システム１は、ディスプレイＤの表示色に変換したチャートＣＨ＃における各パッチの色を示す画像（判定画像ＣＨＤ）を、ディスプレイＤに表示する（ステップＳ２４）。色確認システム１は、観察者ＫＵにより選択された判定画像ＣＨＤを示す情報を取得する（ステップＳ２５）。ここで、観察者ＫＵに選択される画像は、手元のチャートＣＨ＃の色と、色の見えが最も近いと観察者ＫＵが感じた判定画像ＣＨＤである。色確認システム１は、観察者ＫＵにより選択された判定画像ＣＨＤに対応する等色関数を、その観察者ＫＵの等色関数に決定する（ステップＳ２６）。Thecolor confirmation system 1 displays on the display D an image (judgment image CHD) showing the color of each patch on the chart CH# converted into the display color of the display D (step S24). Thecolor confirmation system 1 acquires information showing the judgment image CHD selected by the observer KU (step S25). Here, the image selected by the observer KU is the judgment image CHD that the observer KU felt had the closest color appearance to the color of the chart CH# in hand. Thecolor confirmation system 1 determines the color matching function corresponding to the judgment image CHD selected by the observer KU as the color matching function for that observer KU (step S26).

ここで、観察者ＫＵに、判定画像ＣＨＤを表示させるバリエーションについて説明する。観察者ＫＵの等色関数を精度よく決定するためには、観察者ＫＵにとって色が近いと感じる判定画像ＣＨＤが、適切に選択される必要がある。一方で、例えば、等色関数ＤＢ２２４に多数の等色関数が記憶されている場合には、それぞれの等色関数に対応する判定画像ＣＨＤが多数生成されることとなるため、多数の判定画像ＣＨＤから、観察者ＫＵにとって色が近いと感じる判定画像ＣＨＤを効率よく決定する必要がある。このように、観察者ＫＵにとって色が近いと感じる判定画像ＣＨＤを、状況に応じて、精度よく、或いは効率よく選択する必要がある。このため、判定画像ＣＨＤをディスプレイＤに表示させる場合において、表示を工夫する。Here, variations in displaying the judgment image CHD to the observer KU will be described. In order to accurately determine the color matching function for the observer KU, it is necessary to appropriately select a judgment image CHD that the observer KU perceives as similar in color. On the other hand, for example, when a large number of color matching functions are stored in the colormatching function DB 224, a large number of judgment images CHD corresponding to each color matching function will be generated, and it is necessary to efficiently determine a judgment image CHD that the observer KU perceives as similar in color from the large number of judgment images CHD. In this way, it is necessary to accurately or efficiently select a judgment image CHD that the observer KU perceives as similar in color depending on the situation. For this reason, when displaying the judgment image CHD on the display D, the display is devised.

図１３～図１６は、第１の実施形態の変形例に係る色確認システム１が判定画像ＣＨＤを表示する処理を説明する図である。Figures 13 to 16 are diagrams explaining the process by which acolor confirmation system 1 according to a modified example of the first embodiment displays a judgment image CHD.

図１３に示すように、例えば、観察者登録部３３０は、ディスプレイＤに、複数の判定画像ＣＨＤを並べて表示する。観察者ＫＵは、手元にあるチャートＣＨ＃と、ディスプレイＤに表示された複数の判定画像ＣＨＤのそれぞれを比較して、最も色が近いと感じる判定画像ＣＨＤを選択する。観察者登録部３３０は、観察者ＫＵによって選択された判定画像ＣＨＤの算出に使用した等色関数を、その観察者の等色関数として決定する。As shown in FIG. 13, for example, theobserver registration unit 330 displays multiple judgment images CHD side by side on the display D. The observer KU compares the chart CH# at hand with each of the multiple judgment images CHD displayed on the display D, and selects the judgment image CHD that the observer KU feels is closest in color. Theobserver registration unit 330 determines the color matching function used to calculate the judgment image CHD selected by the observer KU as the color matching function for that observer.

図１４に示すように、観察者登録部３３０は、ディスプレイＤに、複数の判定画像ＣＨＤの中から選択した、一つの判定画像ＣＨＤを、順次表示するようにしてもよい。例えば、観察者登録部３３０は、観察者ＫＵのキーボード操作やマウス操作等により、ディスプレイＤに表示された画像を順送り、或いは逆送りにして、判定画像ＣＨＤを切り替えて表示させることが可能にする。観察者ＫＵは、例えば、手元にあるチャートＣＨ＃と、判定画像ＣＨＤを切り替えて表示させながら比較して、最も色が近いと感じる画像を選択する。観察者登録部３３０は、観察者ＫＵによって選択された判定画像ＣＨＤの算出に使用した等色関数を、その観察者の等色関数として決定する。As shown in FIG. 14, theobserver registration unit 330 may sequentially display one judgment image CHD selected from a plurality of judgment images CHD on the display D. For example, theobserver registration unit 330 enables the observer KU to use keyboard or mouse operations to advance or reverse the images displayed on the display D, thereby switching and displaying the judgment images CHD. The observer KU may, for example, compare a chart CH# in hand with the judgment image CHD while switching between their displays, and select the image which he or she feels is closest in color. Theobserver registration unit 330 determines the color matching function used in the calculation of the judgment image CHD selected by the observer KU as the color matching function for that observer.

図１５に示すように、観察者登録部３３０は、ディスプレイＤに、複数の判定画像ＣＨＤの中から選択した、二つの判定画像ＣＨＤを、表示するようにしてもよい。観察者ＫＵは、左右の二つの判定画像ＣＨＤと、手元にあるチャートＣＨ＃とを比較して、色が近いと感じる方の判定画像ＣＨＤを選択する。観察者登録部３３０は、選択された判定画像ＣＨＤを残して、選択されなかった方の画像を、次の判定画像ＣＨＤに切り替えて表示する（勝ち残り）。すなわち、観察者登録部３３０は、観察者ＫＵに選択された判定画像ＣＨＤを残しながら、順次、残りの判定画像ＣＨＤを表示させる操作を行い、この操作をすべての判定画像ＣＨＤで繰り返す。これにより、観察者登録部３３０は、最終的に観察者ＫＵによって選択された判定画像ＣＨＤを決定する。観察者登録部３３０は、決定した判定画像ＣＨＤの算出に使用した等色関数を、観察者ＫＵの等色関数として決定する。As shown in FIG. 15, theobserver registration unit 330 may display two judgment images CHD selected from a plurality of judgment images CHD on the display D. The observer KU compares the two judgment images CHD on the left and right with the chart CH# at hand, and selects the judgment image CHD that the observer KU feels is closer in color. Theobserver registration unit 330 leaves the selected judgment image CHD, and switches the unselected image to the next judgment image CHD for display (winner). That is, theobserver registration unit 330 performs an operation to sequentially display the remaining judgment images CHD while leaving the judgment image CHD selected by the observer KU, and repeats this operation for all judgment images CHD. In this way, theobserver registration unit 330 determines the judgment image CHD finally selected by the observer KU. Theobserver registration unit 330 determines the color matching function used in the calculation of the determined judgment image CHD as the color matching function for the observer KU.

或いは、観察者登録部３３０は、複数の判定画像ＣＨＤの中から選択した、二つの判定画像ＣＨＤの組（ペア）を事前に生成しておく。そして、図１５の例に示すように、生成したペアのうちの一つのペアを、ディスプレイＤに表示する。観察者ＫＵは、ディスプレイＤに表示された左右の画像と、手元にあるチャートＣＨ＃とを比較して、色が近いと感じる画像を選択する。観察者登録部３３０は、事前に生成した全てのペアのそれぞれについて、観察者ＫＵに色が近いと感じる画像を選択させる。観察者登録部３３０は、事前に生成した全てのペアのそれぞれについて、観察者ＫＵに選択された画像を抽出し、抽出した画像を用いて、再度ペアを生成し、再度生成したペアを、ディスプレイＤに表示し、観察者ＫＵに色が近いと感じる画像を選択させる（トーナメント方式）。観察者登録部３３０は、最終的に勝ち残った（観察者ＫＵにより選択された）判定画像ＣＨＤの算出に使用した等色関数を、その観察者ＫＵの等色関数として決定する。Alternatively, theobserver registration unit 330 generates in advance a set (pair) of two judgment images CHD selected from a plurality of judgment images CHD. Then, as shown in the example of FIG. 15, one of the generated pairs is displayed on the display D. The observer KU compares the left and right images displayed on the display D with the chart CH# at hand and selects an image that the observer KU feels is similar in color. Theobserver registration unit 330 allows the observer KU to select an image that the observer feels is similar in color for each of all pairs generated in advance. Theobserver registration unit 330 extracts the image selected by the observer KU for each of all pairs generated in advance, generates pairs again using the extracted images, displays the regenerated pairs on the display D, and allows the observer KU to select an image that the observer feels is similar in color (tournament method). Theobserver registration unit 330 determines the color matching function used in the calculation of the judgment image CHD that ultimately won (selected by the observer KU) as the color matching function for that observer KU.

或いは、観察者登録部３３０は、複数の判定画像ＣＨＤの中から選択した、二つの判定画像ＣＨＤを、ディスプレイＤに表示させ、観察者ＫＵに色が近いと感じる画像を選択させ、すべての画像の組み合わせについて、上記の判定を繰り返すようにしてもよい（一対比較）。観察者登録部３３０は、すべての判定が終わった時点において、観察者ＫＵに選択された回数が最も多い画像の算出に使用した等色関数を、その観察者ＫＵの等色関数として決定する。Alternatively, theobserver registration unit 330 may display two judgment images CHD selected from the multiple judgment images CHD on the display D, allow the observer KU to select the image that he or she feels is similar in color, and repeat the above judgment for all image combinations (paired comparison). Once all judgments have been completed, theobserver registration unit 330 determines the color matching function used to calculate the image that was most frequently selected by the observer KU as the color matching function for that observer KU.

図１６に示すように、観察者登録部３３０は、ディスプレイＤに、判定画像ＣＨＤとして、チャートＣＨ＃における全てのパッチの画像を表示させる代わりに、そのチャートＣＨ＃から選択した一つのパッチに対応した画像を表示するようにしてもよい。この方法は、上述した、図１３～図１５のそれぞれの表示例に対して適用することができる。例えば、図１３～図１５のそれぞれの判定画像ＣＨＤにおいてチャートＣＨ＃の全体の画像を表示する代わりに、チャートＣＨ＃の一部のパッチの画像を表示する。観察者登録部３３０は、観察者ＫＵにとって色が近いと感じるか否かの評価を、チャートＣＨ＃の全体ではなく、パッチ単位で行い、その結果から等色関数を決定する。As shown in FIG. 16, theobserver registration unit 330 may display an image corresponding to one patch selected from the chart CH# on the display D as the judgment image CHD, instead of displaying images of all the patches in the chart CH#. This method can be applied to each of the display examples in FIG. 13 to FIG. 15 described above. For example, instead of displaying an image of the entire chart CH# in each of the judgment images CHD in FIG. 13 to FIG. 15, an image of some of the patches in the chart CH# is displayed. Theobserver registration unit 330 evaluates whether observer KU perceives the colors as similar on a patch-by-patch basis, rather than on the entire chart CH#, and determines the color matching function from the result.

以上説明したように、第１の実施形態に係る色確認システム１では、観察者登録部３３０は、観察者ＫＵの等色関数を決定するためのチャートＣＨ＃（色見本となる見本物体）の画像（色見本物体画像）を、ディスプレイＤに表示する。観察者登録部３３０は、観察者ＫＵ（観察者ＤＢ２２２に登録する観察者）により入力された入力情報に基づいて、当該観察者に応じた等色関数を決定する。ここでの入力情報は、チャートＣＨ＃を直接観察（視認）した場合における各パッチの色（第１色）と、ディスプレイＤに表示された判定画像（見本物体の画像）の色（第２色）との、それぞれの色の見えが同じである度合を示す情報である。これにより、第１の実施形態に係る色確認システム１では、観察者ＫＵの等色関数を決定することができ、観察者ＫＵが、自身の等色関数が何れの等色関数であるかを認識していない場合であっても、その観察者ＫＵに適した等色関数を決定することができる。As described above, in thecolor confirmation system 1 according to the first embodiment, theobserver registration unit 330 displays on the display D an image (color sample object image) of the chart CH# (sample object serving as a color sample) for determining the color matching function of the observer KU. Theobserver registration unit 330 determines the color matching function according to the observer KU (an observer registered in the observer DB 222) based on the input information input by the observer KU. The input information here is information indicating the degree to which the color (first color) of each patch when the chart CH# is directly observed (visually recognized) and the color (second color) of the judgment image (image of the sample object) displayed on the display D look the same. In this way, in thecolor confirmation system 1 according to the first embodiment, the color matching function of the observer KU can be determined, and even if the observer KU does not recognize which color matching function his/her own color matching function is, a color matching function suitable for the observer KU can be determined.

また、第１の実施形態に係る色確認システム１では、チャートＣＨ＃は、観察対象とする対象物Ｂの分光反射特性が反映されたパッチからなるカラーチャートであってもよい。この場合、対象物Ｂの分光反射特性が反映された色に基づいて、観察者ＫＵの等色関数を決定することができるため、より対象物Ｂの色が反映された等色関数を決定することが可能となり、観察者ＫＵによる対象物Ｂの色確認を、」より精度よく実施することが可能となる。In addition, in thecolor confirmation system 1 according to the first embodiment, the chart CH# may be a color chart made up of patches that reflect the spectral reflectance characteristics of the object B to be observed. In this case, the color matching function for the observer KU can be determined based on the color that reflects the spectral reflectance characteristics of the object B, making it possible to determine a color matching function that better reflects the color of the object B, and enabling the observer KU to more accurately confirm the color of the object B.

また、第１の実施形態に係る色確認システム１では、チャートＣＨ＃は、観察対象とする対象物Ｂが分光的に再現された印刷物であってもよい。この場合、チャートＣＨ＃には、対象物Ｂの色が分光的に再現される。したがって、対象物Ｂが分光的に反映された画像に基づいて、観察者ＫＵの等色関数を決定することができる。このため、より対象物Ｂの色が反映された等色関数を決定することが可能となり、観察者ＫＵによる対象物Ｂの色確認を、より精度よく実施することが可能となる。In addition, in thecolor confirmation system 1 according to the first embodiment, the chart CH# may be a printed matter in which the object B to be observed is spectrally reproduced. In this case, the color of the object B is spectrally reproduced on the chart CH#. Therefore, the color matching function for the observer KU can be determined based on the image in which the object B is spectrally reflected. This makes it possible to determine a color matching function that better reflects the color of the object B, enabling the observer KU to more accurately confirm the color of the object B.

また、第１の実施形態に係る色確認システム１では、チャートＣＨ＃は、自発光物体であってもよい。この場合、少なくともチャートＣＨ＃の分光放射分布が判ればよく、ディスプレイ観察光源を取得する必要がない。このため、ディスプレイ観察光源取得部３３３を省略することが可能となる。In addition, in thecolor confirmation system 1 according to the first embodiment, the chart CH# may be a self-luminous object. In this case, it is sufficient to know at least the spectral radiation distribution of the chart CH#, and there is no need to acquire the display observation light source. This makes it possible to omit the display observation lightsource acquisition unit 333.

（第２の実施形態）
ここで、第２の実施形態について説明する。本実施形態では、ディスプレイＤを介して色確認が行われる環境（ディスプレイ観察環境）が撮像される点において、上述した実施形態と相違する。Second Embodiment
A second embodiment will now be described. This embodiment differs from the above-described embodiments in that an image of an environment in which color confirmation is performed via a display D (display observation environment) is captured.

図１７は、第２の実施形態に係る色確認システム１Ａの概要を示すブロック図である。図１７に示すように、本実施形態の色確認システム１Ａは、観察者端末３０Ａ、及び、全天周画像撮像装置３０Ｂを備える。Fig. 17 is a block diagram showing an overview of acolor confirmation system 1A according to the second embodiment. As shown in Fig. 17, thecolor confirmation system 1A according to this embodiment includes anobserver terminal 30A and an all-skyimage capturing device 30B.

全天周画像撮像装置３０Ｂは、ディスプレイ観察環境における全天周画像を撮像する。全天周画像撮像装置３０Ｂが撮像する画像は、ディスプレイ観察環境が撮像された画像である。この画像には、例えば、ディスプレイＤ、ディスプレイＤに表示されたディスプレイ表示用画像、及び観察者ＫＵなどが、示されている。The omnidirectionalimage capturing device 30B captures a omnidirectional image in the display observation environment. The image captured by the omnidirectionalimage capturing device 30B is an image of the display observation environment. This image shows, for example, the display D, the display display image displayed on the display D, and the observer KU.

観察者端末３０Ａは、全天周画像撮像装置３０Ｂにより撮像された画像（ディスプレイ観察環境画像）を取得し、取得した画像に基づいて、観察エビデンスを生成する。観察エビデンスは、色確認を行ったエビデンス（証拠）となる情報である。例えば、観察エビデンスには、観察結果（色確認を行った結果）、観察者ＫＵ、観察環境が撮像された画像等が示される。ここでの観察環境が撮像された画像は、例えば、全天周画像撮像装置３０Ｂにより、観察者ＫＵが色確認をしている様子が撮像された、全天周画像である。Theobserver terminal 30A acquires an image (display observation environment image) captured by the omnidirectionalimage capturing device 30B, and generates observation evidence based on the acquired image. Observation evidence is information that serves as evidence that color confirmation has been performed. For example, the observation evidence indicates the observation result (result of color confirmation), the observer KU, and an image of the observation environment. The image of the observation environment here is, for example, a omnidirectional image captured by the omnidirectionalimage capturing device 30B of observer KU confirming color.

図１８は、第２の実施形態に係る観察者端末３０Ａの構成例を示すブロック図である。図１８に示すように、観察者端末３０Ａは、例えば、装置制御部３３４と、ディスプレイ観察環境画像取得部３３５と、ディスプレイ観察環境確認部３３６とを備える。Fig. 18 is a block diagram showing an example of the configuration of anobserver terminal 30A according to the second embodiment. As shown in Fig. 18, theobserver terminal 30A includes, for example, adevice control unit 334, a display observation environmentimage acquisition unit 335, and a display observation environment confirmation unit 336.

ディスプレイ観察環境画像取得部３３５は、全天周画像撮像装置３０Ｂにより撮像された全天周画像を取得し、取得した画像を、ディスプレイ観察環境確認部３３６に出力する。The display observation environmentimage acquisition unit 335 acquires the panoramic image captured by the panoramicimage capturing device 30B, and outputs the acquired image to the display observation environment confirmation unit 336.

ここで、全天周画像撮像装置３０Ｂは、一般的な全天周カメラを用いることが可能である。全天周画像撮像装置３０Ｂは、遠隔にて、対象物Ｂの色を確認する観察者ＫＵがディスプレイＤを観察する環境を撮影する。Here, a general omnidirectional camera can be used as the omnidirectionalimage capturing device 30B. The omnidirectionalimage capturing device 30B captures, from a remote location, the environment in which an observer KU who is checking the color of the object B is observing the display D.

全天周画像撮像装置３０Ｂが撮像を行うタイミングは任意に決定されてよい。例えば、画像表示時など、特定のタイミングで撮影を行うようにする。特定のタイミングとは、例えば、観察者ＫＵが、色確認システム１にログインしたタイミング、観察者ＫＵを登録するタイミング、観察者ＫＵが選択されるタイミング、及びディスプレイＤにディスプレイ表示用画像が表示されたタイミング等である。或いは、所定の間隔で定期的に撮影を行うようにしてもよい。なお、全天周画像撮像装置３０Ｂにおける全天周カメラの分光感度は、事前に測定などを行うことにより既知であるものとする。The timing at which the omnidirectionalimage capturing device 30B captures an image may be determined arbitrarily. For example, the image may be captured at a specific timing, such as when an image is displayed. Examples of specific timing include when the observer KU logs into thecolor confirmation system 1, when the observer KU is registered, when the observer KU is selected, and when an image for display is displayed on the display D. Alternatively, the image may be captured periodically at a predetermined interval. Note that the spectral sensitivity of the omnidirectional camera in the omnidirectionalimage capturing device 30B is assumed to be known in advance by performing measurements, etc.

また、遠隔地での色確認において、観察者ＫＵにより何らかの判断が下されたタイミング、例えば、遠隔色校正で校了した時、遠隔診療でなんらかの診断が下された時などにおいて、全天周画像撮像装置３０Ｂによるディスプレイ観察環境が撮像されてもよい。これにより、観察者ＫＵによる判断時の状況を、エビデンスとして記録することができる。In addition, when the observer KU makes a judgment during color confirmation in a remote location, for example, when the remote color proofing is approved or a diagnosis is made during remote medical treatment, the display observation environment may be captured by the omnidirectionalimage capturing device 30B. This allows the situation at the time of the observer KU's judgment to be recorded as evidence.

また、ディスプレイ観察環境に、分光反射率が既知のチャートを配置するようにしてもよい。これにより、全天周画像撮像装置３０Ｂが撮像した画像（ディスプレイ観察環境画像）のチャートが撮像された画像部分から、ディスプレイ観察環境の照明（ディスプレイ観察環境光源）を推定することが可能となる。A chart with a known spectral reflectance may also be placed in the display viewing environment. This makes it possible to estimate the illumination of the display viewing environment (display viewing environment light source) from the image portion of the image captured by the omnidirectionalimage capturing device 30B (display viewing environment image) in which the chart is captured.

ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像取得部３３５から取得したディスプレイ観察環境画像に基づいて、遠隔地での色確認が正しく行われていることを確認する。The display observation environment confirmation unit 336 confirms that color confirmation is being performed correctly at the remote location based on the display observation environment image acquired from the display observation environmentimage acquisition unit 335.

具体的に、ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像から観察者ＫＵの顔画像領域を抽出する。ディスプレイ観察環境確認部３３６は、観察者選択部３３１で選択された観察者ＫＵの、予め登録された顔画像を、観察者ＤＢ２２２から取得する。ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像から抽出した顔画像と、観察者ＤＢ２２２から取得した観察者ＫＵの顔画像とを比較し、観察者ＫＵが、観察者選択部３３１で選択された観察者ＫＵと一致するか否かを判定する。ディスプレイ観察環境確認部３３６は、比較の結果、観察者ＫＵに不一致がある場合、ディスプレイＤに不一致である旨を表示する、或いは、観察者選択部３３１による選択が誤りであると見做して、観察者ＫＵを変更するようにしてもよい。この場合、変更後の観察者ＫＵの等色関数を用いたディスプレイ表示用画像を再度生成し、再度生成した画像を表示部３４に表示する。Specifically, the display observation environment confirmation unit 336 extracts the face image area of the observer KU from the display observation environment image. The display observation environment confirmation unit 336 acquires a pre-registered face image of the observer KU selected by theobserver selection unit 331 from theobserver DB 222. The display observation environment confirmation unit 336 compares the face image extracted from the display observation environment image with the face image of the observer KU acquired from theobserver DB 222, and determines whether the observer KU matches the observer KU selected by theobserver selection unit 331. If the comparison results in a mismatch in the observer KU, the display observation environment confirmation unit 336 may display a mismatch on the display D, or may consider the selection by theobserver selection unit 331 to be incorrect and change the observer KU. In this case, an image for display is regenerated using the color matching function of the changed observer KU, and the regenerated image is displayed on thedisplay unit 34.

なお、観察者ＫＵの顔画像と共に、或いは観察者ＫＵの顔画像に代えて、観察者ＫＵのバイオメトリクス情報が用いられてもよい。ここでのバイオメトリクス情報、例えば、顔画像から抽出される特徴量である。このように、顔画像そのものを用いなくとも、観察者ＫＵが観察者選択部３３１で選択された観察者ＫＵと一致するか否かを判定することが可能である。Note that biometric information of the observer KU may be used together with or instead of the facial image of the observer KU. The biometric information here is, for example, a feature extracted from the facial image. In this way, it is possible to determine whether the observer KU matches the observer KU selected by theobserver selection unit 331 without using the facial image itself.

また、ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像からディスプレイＤの表示部分の画像領域を抽出する。ディスプレイ観察環境確認部３３６は、抽出した画像領域の画素値（例えば、ＲＧＢ値）から、表示されている画像（ディスプレイ表示用画像）の測色値を算出する。ディスプレイ観察環境確認部３３６は、算出した測色値と、画像変換部２３１が算出したディスプレイＤに表示すべき測色値とを比較する。ディスプレイ観察環境確認部３３６は、比較の結果、測色値に不一致がある場合、ディスプレイＤに不一致である旨を表示する等して観察者ＫＵに通知する。The display viewing environment confirmation unit 336 also extracts an image area of the display portion of the display D from the display viewing environment image. The display viewing environment confirmation unit 336 calculates the colorimetric values of the displayed image (image for display) from the pixel values (e.g., RGB values) of the extracted image area. The display viewing environment confirmation unit 336 compares the calculated colorimetric values with the colorimetric values to be displayed on the display D calculated by theimage conversion unit 231. If the comparison reveals a mismatch in the colorimetric values, the display viewing environment confirmation unit 336 notifies the observer KU by, for example, displaying a message indicating a mismatch on the display D.

図１９は、第２の実施形態に係る色確認システム１Ａが行う処理の流れを示すフローチャートである。本フローチャートにおけるステップＳ３０～Ｓ３２、Ｓ３４～Ｓ３６については、上述した図１０のフローチャートにおけるステップＳ１０～Ｓ１２、Ｓ１４～Ｓ１６と同様であるため、その説明を省略する。Figure 19 is a flowchart showing the flow of processing performed by thecolor confirmation system 1A according to the second embodiment. Steps S30 to S32 and S34 to S36 in this flowchart are similar to steps S10 to S12 and S14 to S16 in the flowchart of Figure 10 described above, and therefore their explanation will be omitted.

ステップＳ３２において、観察者登録部３３０は、観察者ＫＵを登録する。観察者登録部３３０は、上述したステップＳ１２に示す処理に加えて、登録する観察者の顔情報を取得し、取得した顔画像を、観察者ＫＵの氏名及びＩＤ等と紐づけて登録する。観察者登録部３３０は、あらかじめ何らかの手段で撮像した観察者ＫＵの顔画像を、観察者ＫＵに選択させることにより、観察者ＫＵの顔情報を取得するようにしてもよい。In step S32, theobserver registration unit 330 registers the observer KU. In addition to the process shown in step S12 described above, theobserver registration unit 330 acquires facial information of the observer to be registered, and registers the acquired facial image by linking it to the name and ID of the observer KU, etc. Theobserver registration unit 330 may acquire the facial information of the observer KU by having the observer KU select a facial image of the observer KU that has been captured in advance by some means.

また、観察者登録部３３０は、登録時に全天周画像撮像装置３０Ｂが撮像した全天周画像を、観察者ＫＵの顔画像として登録するようにしてもよい。Theobserver registration unit 330 may also register the panoramic image captured by the panoramicimage capturing device 30B at the time of registration as a facial image of the observer KU.

ステップＳ３３において、観察者選択部３３１は、観察者ＫＵを選択する。観察者選択部３３１は、上述したステップＳ１３に示す処理に代えて、全天周画像撮像装置３０Ｂに全天周画像を撮像させ、その画像から、現在、ディスプレイＤを観察しようとしているユーザの顔画像を抽出する。観察者選択部３３１は、抽出した顔画像と、観察者ＤＢ２２２から取得した観察者ＫＵのそれぞれの顔画像とを比較し、抽出した顔画像と一致する観察者ＫＵを特定し、特定した観察者ＫＵを、色確認を行う観察者ＫＵとして選択する。なお、上記はオプションであり、ステップＳ３３において、ステップＳ１３と同じ処理が行われてもよい。In step S33, theobserver selection unit 331 selects an observer KU. Instead of the process shown in step S13 described above, theobserver selection unit 331 causes the omnidirectionalimage capturing device 30B to capture an omnidirectional image, and extracts from the image a facial image of the user who is currently viewing the display D. Theobserver selection unit 331 compares the extracted facial image with the facial images of the observers KU acquired from theobserver DB 222, identifies an observer KU that matches the extracted facial image, and selects the identified observer KU as the observer KU who will perform color confirmation. Note that the above is optional, and the same process as step S13 may be performed in step S33.

ステップＳ３７において、全天周画像撮像装置３０Ｂは、ディスプレイ観察環境を撮像する。ディスプレイ観察環境画像取得部３３５は、全天周画像撮像装置３０Ｂが撮像した全天周画像（ディスプレイ観察環境画像）を取得する。このディスプレイ観察環境画像には、少なくとも、観察対象となるディスプレイＤの表示画面、及び、観察者ＫＵの顔が含まれるように、全天周画像撮像装置３０Ｂが設置されるようにする。In step S37, the omnidirectionalimage capturing device 30B captures an image of the display observation environment. The display observation environmentimage acquisition unit 335 acquires the omnidirectional image (display observation environment image) captured by the omnidirectionalimage capturing device 30B. The omnidirectionalimage capturing device 30B is set up so that this display observation environment image includes at least the display screen of the display D to be observed and the face of the observer KU.

ステップＳ３８において、ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像取得部３３５からディスプレイ観察環境画像を取得し、取得した画像に基づいて、以下の確認を行う。In step S38, the display viewing environment confirmation unit 336 acquires a display viewing environment image from the display viewing environmentimage acquisition unit 335, and performs the following confirmation based on the acquired image.

確認事項（１）：ディスプレイ観察環境確認部３３６は、観察者ＫＵの顔確認を行う。具体的に、ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像から観察者ＫＵの顔部分が撮像されている顔画像領域を抽出する。ディスプレイ観察環境確認部３３６は、抽出した顔画像領域と、観察者選択部３３１が選択した観察者ＫＵの登録された顔画像とが一致するか否かを判定する。判定の結果、一致しないと判定した場合、ディスプレイ観察環境確認部３３６は、観察者ＫＵが正しく選択されていない、或いは観察者ＫＵが一致しない旨の表示を行う等して、警告を行う。Verification item (1): The display observation environment verification unit 336 performs face verification of the observer KU. Specifically, the display observation environment verification unit 336 extracts a face image area in which the face portion of the observer KU is captured from the display observation environment image. The display observation environment verification unit 336 judges whether or not the extracted face image area matches the registered face image of the observer KU selected by theobserver selection unit 331. If it is determined that there is no match as a result of the judgment, the display observation environment verification unit 336 issues a warning, such as by displaying a message indicating that the observer KU has not been selected correctly or that the observer KU does not match.

この場合において、ディスプレイ観察環境確認部３３６は、画像から抽出した顔画像に基づいて、観察者ＤＢ２２２に登録された顔画像を検索し、画像から抽出した顔画像と一致する観察者ＫＵを特定するようにしてもよい。この場合、ディスプレイ観察環境確認部３３６は、観察者ＫＵを自動で切り替えるか、或いは、観察者ＫＵを切り替えるか否かを質問するメッセージをディスプレイＤに表示して、ユーザに観察者ＫＵの切り替えを行うか尋ねるようにしてもよい。In this case, the display observation environment confirmation unit 336 may search for face images registered in theobserver DB 222 based on the face image extracted from the image, and identify the observer KU that matches the face image extracted from the image. In this case, the display observation environment confirmation unit 336 may automatically switch the observer KU, or may display a message on the display D asking whether or not to switch the observer KU, and ask the user whether or not to switch the observer KU.

確認事項（２）：ディスプレイ観察環境確認部３３６は、ディスプレイ表示用画像の確認を行う。具体的に、ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像からディスプレイＤの表示画面が撮像されている画面領域を抽出する。ディスプレイ観察環境確認部３３６は、抽出した画面領域に表示されているディスプレイ表示用画像の測色値が、画像変換部２３１が意図した測色値に一致しているか否かを、以下の手順により判定する。Verification item (2): The display observation environment verification unit 336 checks the image for display on the display. Specifically, the display observation environment verification unit 336 extracts the screen area in which the display screen of the display D is captured from the display observation environment image. The display observation environment verification unit 336 determines whether the colorimetric values of the image for display on the display displayed in the extracted screen area match the colorimetric values intended by theimage conversion unit 231 by the following procedure.

手順（２－１）：ディスプレイ観察環境確認部３３６は、ディスプレイ表示用画像の画素値（例えば、ＲＧＢ値）から、分光放射分布を算出する。ディスプレイ観察環境確認部３３６は、例えば、ディスプレイ特性ＤＢ２２３を参照し、ディスプレイＤが表示する表示色（例えば、ＲＧＢ値）の組合せに対応する、画像の分光放射分布を取得する。ディスプレイ観察環境確認部３３６は、ディスプレイ特性ＤＢ２２３から取得した、表示色と分光放射分布との対応関係から、ディスプレイ表示用画像の画素値に対応する分光放射分布を算出する、多次元ルックアップテーブルを算出する。Step (2-1): The display viewing environment confirmation unit 336 calculates the spectral radiation distribution from the pixel values (e.g., RGB values) of the image to be displayed on the display. The display viewing environment confirmation unit 336, for example, refers to thedisplay characteristics DB 223 and acquires the spectral radiation distribution of the image corresponding to the combination of display colors (e.g., RGB values) displayed by the display D. The display viewing environment confirmation unit 336 calculates a multidimensional lookup table that calculates the spectral radiation distribution corresponding to the pixel values of the image to be displayed on the display from the correspondence relationship between the display colors and the spectral radiation distribution acquired from thedisplay characteristics DB 223.

ここで、ディスプレイ特性ＤＢ２２３には、ディスプレイＤが表示する表示色のＲＧＢ値を、均等に分割した領域のすべての組み合わせに対して、表示される画像の分光放射分布が格納されている。分割した領域の格子に相当する表示色以外のＲＧＢ値に対しては、周辺の格子点からの補間計算を行うことにより、ディスプレイＤにおける任意の表示色のＲＧＢ値入力したときに表示される画像の分光放射分布を算出することが可能である。The display characteristics DB223 stores the spectral radiation distribution of the image displayed for all combinations of the RGB values of the display colors displayed by the display D into evenly divided areas. For RGB values other than the display colors corresponding to the grid of the divided areas, it is possible to calculate the spectral radiation distribution of the image displayed when the RGB values of any display color on the display D are input by performing an interpolation calculation from the surrounding grid points.

手順（２－２）：ディスプレイ観察環境確認部３３６は、手順（２－１）で算出した分光放射分布と、全天周画像撮像装置３０Ｂの分光感度から、カメラＲＧＢ値を算出する。ここで算出されたカメラＲＧＢ値は、ディスプレイ表示用画像が正しい測色値で表示されていた場合に、画像から抽出した画面領域に表示されているＲＧＢ値と一致する値となる。Step (2-2): The display viewing environment confirmation unit 336 calculates the camera RGB values from the spectral radiation distribution calculated in step (2-1) and the spectral sensitivity of the omnidirectionalimage capturing device 30B. The camera RGB values calculated here will match the RGB values displayed in the screen area extracted from the image if the image to be displayed on the display is displayed with the correct colorimetric values.

手順（２－３）：ディスプレイ観察環境確認部３３６は、ディスプレイ表示用画像のＲＧＢ値と、手順（２－２）で算出したカメラＲＧＢ値と差分を計算する。ディスプレイ観察環境確認部３３６は、算出した差分を、所定の閾値と比較する。ディスプレイ観察環境確認部３３６は、差分が閾値よりも小さい場合、正しい表示が行われていると判定する。一方、ディスプレイ観察環境確認部３３６は、差分が閾値よりも大きい場合、正しい表示が行われていないと判定する。Step (2-3): The display viewing environment confirmation unit 336 calculates the difference between the RGB values of the image to be displayed on the display and the camera RGB values calculated in step (2-2). The display viewing environment confirmation unit 336 compares the calculated difference with a predetermined threshold. If the difference is smaller than the threshold, the display viewing environment confirmation unit 336 determines that the display is correct. On the other hand, if the difference is larger than the threshold, the display viewing environment confirmation unit 336 determines that the display is not correct.

なお、上述したステップＳ３７、及びＳ３８に示す処理は、ディスプレイ表示用画像を表示した後のみならず、定期的に実行されるようにしてもよい。或いは、ユーザの指示により、任意のタイミングで実行されるようにしてもよい。また、色確認の作業において、何らかの判断をしたタイミング、例えば、色を修正する指示を出したタイミングや、校了をしたタイミング等、において、これらの処理が実行されるようにしてもよい。このような種々のタイミングにて処理が実行されることにより、色の確認が正しく行われていることを保証することができる。また、ステップＳ３７で撮像された画像を、色を確認する工程における種々の判断、例えば、色がＯＫである、ＮＧであるとの判断や、色調の変更を指示する判断など、と組み合わせて記録するようにしてもよい。これにより、遠隔にて色を確認する際の状況、例えば、誰が、何を見て、どう判断したのか等、を後日に確認することができる。The above-mentioned processes shown in steps S37 and S38 may be executed periodically, not just after the display image is displayed. Alternatively, they may be executed at any timing in response to a user's instruction. These processes may also be executed when some kind of judgment is made during the color confirmation work, such as when an instruction to correct the color is given or when the work is approved. By executing the processes at various times like these, it is possible to ensure that the color confirmation is performed correctly. The image captured in step S37 may also be recorded in combination with various judgments made during the color confirmation process, such as whether the color is OK or NG, or a judgment to instruct a change in color tone. This allows the situation when the color was confirmed remotely, such as who looked at what, how the judgment was made, etc., to be confirmed at a later date.

以上説明したように、第２の実施形態に係る色確認システム１Ａでは、ディスプレイ観察環境画像取得部３３５と、ディスプレイ観察環境確認部３３６とを更に備える。ディスプレイ観察環境画像取得部３３５は、ディスプレイを観察する観察環境が撮像された全天周画像を取得する。ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像取得部３３５によって取得された画像に基づいて、ディスプレイＤに表示されたディスプレイ表示用画像に、対象物Ｂの色が再現されているか否かを判定する。これにより、第２の実施形態に係る色確認システム１Ａでは、遠隔の地において、色の確認が正しく行われているかのエビデンスを残すことができ、対面でなくとも、色の確認が正しく行われていることを確認することが可能となる。As described above, thecolor confirmation system 1A according to the second embodiment further includes a display observation environmentimage acquisition unit 335 and a display observation environment confirmation unit 336. The display observation environmentimage acquisition unit 335 acquires a panoramic image of the observation environment in which the display is observed. The display observation environment confirmation unit 336 determines whether the color of the object B is reproduced in the display display image displayed on the display D based on the image acquired by the display observation environmentimage acquisition unit 335. In this way, thecolor confirmation system 1A according to the second embodiment can leave evidence of whether the color confirmation is being performed correctly in a remote location, making it possible to confirm that the color confirmation is being performed correctly even without meeting face-to-face.

また、第２の実施形態に係る色確認システム１Ａでは、ディスプレイ観察環境画像取得部３３５は、ディスプレイＤに表示された画像を観察する観察者を含む画像を取得する。ディスプレイ観察環境確認部３３６は、ディスプレイ観察環境画像取得部３３５によって取得された画像に基づいて、ディスプレイＤに表示された画像を観察する観察者を選択する。これにより、第２の実施形態に係る色確認システム１Ａでは、観察者ＫＵがＩＤ等を入力する操作を行わなくとも、自動で、観察者ＫＵを選択することが可能である。In addition, in thecolor confirmation system 1A according to the second embodiment, the display observation environmentimage acquisition unit 335 acquires an image including an observer observing the image displayed on the display D. The display observation environment confirmation unit 336 selects an observer observing the image displayed on the display D based on the image acquired by the display observation environmentimage acquisition unit 335. As a result, in thecolor confirmation system 1A according to the second embodiment, it is possible to automatically select an observer KU, without the observer KU having to perform an operation to input an ID or the like.

（第２の実施形態の変形例）
ここで、第２の実施形態の変形例について説明する。本変形例では、ディスプレイ観察環境に、分光反射率が既知のチャートが配置される点において、上述した実施形態と相違する。(Modification of the second embodiment)
Here, a modified example of the second embodiment will be described. This modified example differs from the above-described embodiment in that a chart with a known spectral reflectance is placed in the display viewing environment.

全天周画像撮像装置３０Ｂは、ディスプレイ観察環境に配置されたチャートを含む画像を撮像する。The omnidirectionalimage capturing device 30B captures an image including a chart placed in the display viewing environment.

ディスプレイ観察環境確認部３３６は、全天周画像撮像装置３０Ｂが撮像した画像（ディスプレイ観察環境画像）から、チャートが撮像されたチャート領域を抽出する。ディスプレイ観察環境確認部３３６は、画像から抽出したチャート領域のＲＧＢ値から、チャートの分光反射率、全天周画像撮像装置３０Ｂの分光感度に基づいて、ディスプレイ観察環境を照明する光源の分光放射分布を推定する。分光放射分布を推定する推定手法は、既存技術を使用する。The display viewing environment confirmation unit 336 extracts a chart area in which a chart is captured from the image (display viewing environment image) captured by the omnidirectionalimage capture device 30B. The display viewing environment confirmation unit 336 estimates the spectral radiation distribution of the light source illuminating the display viewing environment from the RGB values of the chart area extracted from the image, based on the spectral reflectance of the chart and the spectral sensitivity of the omnidirectionalimage capture device 30B. Existing technology is used as the estimation method for estimating the spectral radiation distribution.

観察者登録部３３０は、観察者ＫＵを登録する場合において、上述した第１の実施形態の変形例で述べた手法を適用して、その観察者ＫＵの等色関数を決定する際に、ディスプレイ観察環境確認部３３６が推定した分光放射分布を、ディスプレイ観察環境を照明する光源の分光放射分布として用いる。When registering an observer KU, theobserver registration unit 330 applies the method described in the modified example of the first embodiment above to determine the color matching function for that observer KU, and uses the spectral radiation distribution estimated by the display viewing environment confirmation unit 336 as the spectral radiation distribution of the light source that illuminates the display viewing environment.

以上説明したように、第２の実施形態の変形例に係る色確認システム１Ａでは、分光反射率が既知のチャートが、ディスプレイＤを観察する観察環境に配置される。ディスプレイ観察環境画像取得部３３５は、ディスプレイＤを観察する観察環境に配置されたチャートを含む画像を取得する。観察者登録部３３０は、ディスプレイ観察環境画像取得部３３５によって取得された画像に基づいて、ディスプレイＤに表示された画像を観察する観察環境を照明する光源の分光放射特性を推定する。これにより、第２の実施形態の変形例に係る色確認システム１Ａでは、観察者ＫＵがディスプレイ観察光源を指定しなくとも、自動で、ディスプレイ観察光源を推定することが可能である。As described above, in thecolor confirmation system 1A according to the modified example of the second embodiment, a chart with a known spectral reflectance is placed in the observation environment in which the display D is observed. The display observation environmentimage acquisition unit 335 acquires an image including the chart placed in the observation environment in which the display D is observed. Theobserver registration unit 330 estimates the spectral radiation characteristics of the light source that illuminates the observation environment in which the image displayed on the display D is observed, based on the image acquired by the display observation environmentimage acquisition unit 335. As a result, in thecolor confirmation system 1A according to the modified example of the second embodiment, it is possible to automatically estimate the display observation light source without the observer KU specifying the display observation light source.

なお、上述した少なくとも一つの実施形態では、撮像者ＳＵから色確認の依頼が行われたことをトリガーとして、色確認に係る処理が実行される場合を例示して説明した。しかしながら、これに限定されることはない。例えば、撮像者ＳＵがまとめてサーバ装置２０にアップロードした画像群を、任意のタイミングで、観察者ＫＵが色確認するようにしてもよい。In at least one of the above-described embodiments, a case has been described in which the process related to color confirmation is triggered by a request for color confirmation from the photographer SU. However, this is not limited to this. For example, the observer KU may check the colors of a group of images that the photographer SU has uploaded to theserver device 20 at any timing.

以上、本発明の各実施形態について説明した。なお、上述した各実施形態における色確認システム１、撮像者端末１０、サーバ装置２０、及び観察者端末３０の全部又は一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。Each embodiment of the present invention has been described above. Note that thecolor confirmation system 1, theimager terminal 10, theserver device 20, and theobserver terminal 30 in each of the above-mentioned embodiments may be realized in whole or in part by a computer. In that case, a program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed to realize the function. Note that the "computer system" here includes hardware such as an OS and peripheral devices. Furthermore, the "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into a computer system. Furthermore, the "computer-readable recording medium" may also include a medium that dynamically holds a program for a short period of time, such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line, and a medium that holds a program for a certain period of time, such as a volatile memory inside a computer system that is a server or client in that case. The above program may be for implementing some of the functions described above, or may be capable of implementing the functions described above in combination with a program already recorded in the computer system, or may be implemented using a programmable logic device such as an FPGA (Field Programmable Gate Array).

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。The above describes in detail an embodiment of the present invention with reference to the drawings, but the specific configuration is not limited to the above, and various design changes can be made without departing from the spirit of the present invention.

１ 色確認システム
１０ 撮像者端末
２０ サーバ装置
３０ 観察者端末
１３０ チャート画像取得部
１３１ 物体画像取得部
２３０ 取得部
２３１ 画像変換部
２３２ 画像出力部
３３０ 観察者登録部
３３１ 観察者選択部
３３２ 観察光源選択部
３３３ ディスプレイ観察光源取得部
３３５ ディスプレイ観察環境画像取得部
３３６ ディスプレイ観察環境確認部
３４ 表示部（画像表示部） REFERENCE SIGNSLIST 1Color confirmation system 10Image capturer terminal 20Server device 30Observer terminal 130 Chartimage acquisition section 131 Objectimage acquisition section 230Acquisition section 231Image conversion section 232Image output section 330Observer registration section 331Observer selection section 332 Observation lightsource selection section 333 Display observation lightsource acquisition section 335 Display observation environment image acquisition section 336 Display observationenvironment confirmation section 34 Display section (image display section)

Claims (14)

Translated fromJapanese

ディスプレイに表示された画像を観察する観察者を、観察者データベースに登録する観察者登録部と、
前記ディスプレイを介して、観察対象とする対象物が示された画像を観察する観察者を前記観察者データベースから選択する観察者選択部と、
前記ディスプレイを介して前記対象物が示された画像を観察する場合における、前記対象物を観察する観察光源を選択する観察光源選択部と、
前記対象物が撮像された対象物画像と同一の撮像条件にて撮像された、チャートが撮像されたチャート画像、前記観察光源選択部によって選択された観察光源、前記観察者選択部によって選択された観察者に応じた等色関数、及び前記ディスプレイの色特性、のそれぞれを用いて、前記対象物画像の色が前記ディスプレイに表示する色に変換されたディスプレイ表示用画像を生成する画像変換部と、
前記ディスプレイ表示用画像を前記ディスプレイに表示する画像表示部と、
を備え、
前記チャート画像に示されているチャートは、分光反射率が既知であって、前記チャートの分光反射率が、チャートの分光反射率データベースに記憶され、
前記ディスプレイの色特性は、ディスプレイ特性データベースに記憶され、
前記観察光源は、観察光源データベースに記憶され、
前記観察者選択部によって選択された観察者に応じた等色関数は、複数の等色関数が記憶された等色関数データベースから選択される、
ことを特徴とする色確認システム。 an observer registration unit that registers an observer who observes an image displayed on a display in an observer database;
an observer selection unit that selects an observer who is to observe an image showing an object to be observed via the display from the observer database;
an observation light source selection unit that selects an observation light source for observing the object when an image showing the object is observed via the display;
an image conversion unit that generates an image for display in which colors of the object image are converted into colors to be displayed on the display, using a chart image obtained by capturing an image of a chart captured under the same capturing conditions as the object image obtained by capturing the object, an observation light source selected by the observation light source selection unit, a color matching function according to the observer selected by the observer selection unit, and color characteristics of the display;
an image display unit that displays the display image on the display;
Equipped with
The chart shown in the chart image has a known spectral reflectance, and the spectral reflectance of the chart is stored in a chart spectral reflectance database;
The color characteristics of the display are stored in a display characteristics database;
The viewing illuminant is stored in a viewing illuminant database;
the color matching function according to the observer selected by the observer selection unit is selected from a color matching function database in which a plurality of color matching functions are stored.
A color confirmation system. 前記等色関数データベースには、前記観察者データベースに登録された観察者ごとに、等色関数が対応づけられて記憶され、
前記画像変換部は、前記等色関数データベースを用いて、前記観察者選択部によって選択された観察者に応じた等色関数を選択する、
請求項１に記載の色確認システム。 the color matching function database stores color matching functions in association with each observer registered in the observer database;
the image conversion unit uses the color matching function database to select a color matching function according to the observer selected by the observer selection unit.
2. The color verification system of claim 1. 前記等色関数データベースには、代表的な等色関数が複数記憶され、
前記画像変換部は、前記等色関数データベースを用いて、前記観察者選択部によって選択された観察者に応じた等色関数を選択する、
請求項１に記載の色確認システム。 The color matching function database stores a plurality of representative color matching functions,
the image conversion unit uses the color matching function database to select a color matching function according to the observer selected by the observer selection unit.
2. The color verification system of claim 1. 前記観察者データベースには、前記観察者データベースに登録された観察者を一意に識別する観察者ＩＤが記憶され、
前記観察者選択部は、入力された前記観察者ＩＤに応じて、前記観察者データベースから、前記ディスプレイを介して前記対象物の画像を観察する観察者を選択する、
請求項１から請求項３のいずれか一項に記載の色確認システム。 The observer database stores an observer ID that uniquely identifies an observer registered in the observer database,
the observer selection unit selects, from the observer database, an observer who will observe the image of the object through the display, in response to the input observer ID.
The color confirmation system according to any one of claims 1 to 3. 前記観察者登録部は、等色関数を決定するための色見本となる見本物体の画像を前記ディスプレイに表示し、観察者データベースに登録する観察者により入力された入力情報に基づいて、観察者データベースに登録する観察者に応じた等色関数を決定し、
前記入力情報は、前記見本物体を直接観察した場合の第１色と、前記ディスプレイに表示された前記見本物体の画像における第２色とのそれぞれの色の見えが同じである度合を示す情報である、
請求項１、請求項３又は請求項４のいずれか一項に記載の色確認システム。 the observer registration unit displays, on the display, an image of a sample object serving as a color sample for determining a color matching function, and determines a color matching function corresponding to an observer to be registered in the observer database based on input information input by the observer to be registered in the observer database;
The input information is information indicating a degree to which a first color when the sample object is directly observed and a second color in the image of the sample object displayed on the display have the same color appearance.
A color confirmation system according to claim 1, claim 3 or claim 4. 前記見本物体は、反射物体であり、
前記ディスプレイを観察する空間に設けられた、前記見本物体を照明するディスプレイ観察光源を取得するディスプレイ観察光源取得部を更に備え、
前記観察者登録部は、前記見本物体の分光反射率、及び前記ディスプレイ観察光源取得部によって取得された前記ディスプレイ観察光源に基づいて前記ディスプレイに表示する色見本物体画像を生成し、前記観察者データベースに登録する観察者の等色関数を決定する、
請求項５に記載の色確認システム。 The sample object is a reflective object;
a display observation light source acquisition unit that acquires a display observation light source that illuminates the sample object and is provided in a space in which the display is observed;
the observer registration unit generates a color sample object image to be displayed on the display based on the spectral reflectance of the sample object and the display observation light source acquired by the display observation light source acquisition unit, and determines color matching functions of the observer to be registered in the observer database.
6. The color confirmation system of claim 5. 前記見本物体は、観察対象とする対象物の分光反射特性が反映されたパッチからなるカラーチャートである、
請求項６に記載の色確認システム。 The sample object is a color chart consisting of patches reflecting the spectral reflectance characteristics of an object to be observed.
7. The color confirmation system of claim 6. 前記見本物体は、観察対象とする対象物が分光的に再現された印刷物である、
請求項６に記載の色確認システム。 The sample object is a print in which the object to be observed is spectrally reproduced.
7. The color confirmation system of claim 6. 前記見本物体は、自発光物体である、
請求項５に記載の色確認システム。 The sample object is a self-luminous object.
6. The color confirmation system of claim 5. 前記ディスプレイを観察する観察環境が撮像された全天周画像を取得するディスプレイ観察環境画像取得部と、
前記ディスプレイ観察環境画像取得部によって取得された画像に基づいて、前記ディスプレイに表示された色が、前記ディスプレイ表示用画像が表示されたときに表示されるべき色になっているか否かを判定するディスプレイ観察環境判定部と、
を更に備えることを特徴とする、
請求項１から請求項９のいずれか一項に記載の色確認システム。 a display viewing environment image acquisition unit that acquires a panoramic image of a viewing environment in which the display is viewed;
a display viewing environment determination unit that determines whether or not the color displayed on the display is the color that should be displayed when the image for display on the display is displayed, based on the image acquired by the display viewing environment image acquisition unit;
Further comprising:
A color confirmation system according to any one of claims 1 to 9. 前記ディスプレイ観察環境画像取得部は、前記ディスプレイに表示された画像を観察する観察者を含む画像を取得し、
前記観察者選択部は、前記ディスプレイ観察環境画像取得部によって取得された画像に基づいて、前記ディスプレイに表示された画像を観察する観察者を選択する、
請求項１０に記載の色確認システム。 the display viewing environment image acquisition unit acquires an image including an observer observing an image displayed on the display;
the observer selection unit selects an observer who will observe the image displayed on the display based on the image acquired by the display observation environment image acquisition unit.
The color verification system of claim 10. 分光反射率が既知のチャートが前記ディスプレイを観察する観察環境に配置され、
前記ディスプレイ観察環境画像取得部は、前記ディスプレイを観察する観察環境に配置されたチャートを含む画像を取得する、
前記観察者登録部は、前記ディスプレイ観察環境画像取得部によって取得された画像に基づいて、前記ディスプレイに表示された画像を観察する観察環境を照明する光源の分光放射特性を推定する、
請求項１０又は請求項１１に記載の色確認システム。 A chart having a known spectral reflectance is placed in a viewing environment for viewing the display;
the display viewing environment image acquisition unit acquires an image including a chart arranged in a viewing environment in which the display is viewed.
the observer registration unit estimates, based on the image acquired by the display observation environment image acquisition unit, a spectral radiation characteristic of a light source that illuminates an observation environment in which an image displayed on the display is observed;
A color confirmation system according to claim 10 or 11. 観察者登録部が、ディスプレイに表示された画像を観察する観察者を、観察者データベースに登録し、
観察者選択部が、前記ディスプレイを介して、観察対象とする対象物が示された画像を観察する観察者を前記観察者データベースから選択し、
観察光源選択部が、前記ディスプレイを介して前記対象物が示された画像を観察する場合における、前記対象物を観察する観察光源を選択し、
画像変換部が、前記対象物が撮像された対象物画像と同一の撮像条件にて撮像された、チャートが撮像されたチャート画像、前記観察光源選択部によって選択された観察光源、前記観察者選択部によって選択された観察者に応じた等色関数、及び前記ディスプレイの色特性、のそれぞれを用いて、前記対象物画像の色が前記ディスプレイに表示する色に変換されたディスプレイ表示用画像を生成し、
画像表示部が、前記ディスプレイ表示用画像を前記ディスプレイに表示する、
色確認方法であって、
前記チャート画像に示されているチャートは、分光反射率が既知であって、前記チャートの分光反射率が、チャートの分光反射率データベースに記憶され、
前記ディスプレイの色特性は、ディスプレイ特性データベースに記憶され、
前記観察光源は、観察光源データベースに記憶され、
前記観察者選択部によって選択された観察者に応じた等色関数は、複数の等色関数が記憶された等色関数データベースから選択される、
色確認方法。 an observer registration unit registers an observer who observes the image displayed on the display in an observer database;
an observer selection unit selects an observer who observes an image showing an object to be observed via the display from the observer database;
an observation light source selection unit selecting an observation light source for observing the object when an image showing the object is observed via the display;
an image conversion unit generates an image for display in which colors of the object image are converted into colors to be displayed on the display, using a chart image obtained by capturing an image of a chart captured under the same capturing conditions as those of the object image obtained by capturing the object, an observation light source selected by the observation light source selection unit, a color matching function according to the observer selected by the observer selection unit, and color characteristics of the display;
an image display unit displays the display image on the display;
A color confirmation method, comprising:
The chart shown in the chart image has a known spectral reflectance, and the spectral reflectance of the chart is stored in a chart spectral reflectance database;
The color characteristics of the display are stored in a display characteristics database;
The viewing illuminant is stored in a viewing illuminant database;
the color matching function according to the observer selected by the observer selection unit is selected from a color matching function database in which a plurality of color matching functions are stored.
How to check the color. コンピュータを、
ディスプレイに表示された画像を観察する観察者を、観察者データベースに登録する観察者登録部と、
前記ディスプレイを介して、観察対象とする対象物が示された画像を観察する観察者を前記観察者データベースから選択する観察者選択部と、
前記ディスプレイを介して前記対象物が示された画像を観察する場合における、前記対象物を観察する観察光源を選択する観察光源選択部と、
前記対象物が撮像された対象物画像と同一の撮像条件にて撮像された、チャートが撮像されたチャート画像、前記観察光源選択部によって選択された観察光源、前記観察者選択部によって選択された観察者に応じた等色関数、及び前記ディスプレイの色特性、のそれぞれを用いて、前記対象物画像の色が前記ディスプレイに表示する色に変換されたディスプレイ表示用画像を生成する画像変換部と、
前記ディスプレイ表示用画像を前記ディスプレイに表示する画像表示部と、
として機能させる、プログラムであって、
前記チャート画像に示されているチャートは、分光反射率が既知であって、前記チャートの分光反射率が、チャートの分光反射率データベースに記憶され、
前記ディスプレイの色特性は、ディスプレイ特性データベースに記憶され、
前記観察光源は、観察光源データベースに記憶され、
前記観察者選択部によって選択された観察者に応じた等色関数は、複数の等色関数が記憶された等色関数データベースから選択される、
プログラム。 Computer,
an observer registration unit that registers an observer who observes an image displayed on a display in an observer database;
an observer selection unit that selects an observer who is to observe an image showing an object to be observed via the display from the observer database;
an observation light source selection unit that selects an observation light source for observing the object when an image showing the object is observed via the display;
an image conversion unit that generates an image for display in which colors of the object image are converted into colors to be displayed on the display, using a chart image obtained by capturing an image of a chart captured under the same capturing conditions as the object image obtained by capturing the object, an observation light source selected by the observation light source selection unit, a color matching function according to the observer selected by the observer selection unit, and color characteristics of the display;
an image display unit that displays the display image on the display;
A program for causing a computer to function as a
The chart shown in the chart image has a known spectral reflectance, and the spectral reflectance of the chart is stored in a chart spectral reflectance database;
The color characteristics of the display are stored in a display characteristics database;
The viewing illuminant is stored in a viewing illuminant database;
the color matching function according to the observer selected by the observer selection unit is selected from a color matching function database in which a plurality of color matching functions are stored.
program.

Images