JP2013115558A - Imaging apparatus and image recognition system - Google Patents
Imaging apparatus and image recognition systemDownload PDFInfo
- Publication number
- JP2013115558A JP2013115558AJP2011259050AJP2011259050AJP2013115558AJP 2013115558 AJP2013115558 AJP 2013115558AJP 2011259050 AJP2011259050 AJP 2011259050AJP 2011259050 AJP2011259050 AJP 2011259050AJP 2013115558 AJP2013115558 AJP 2013115558A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- brightness
- subjects
- light
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、撮像装置および画像認識システムに関する。 The present invention relates to an imaging apparatus and an image recognition system.
画像認識システムは、例えば、看板や標識等を撮像装置で撮影し、画像処理技術を用いて表示内容を認識する。例えば、駐車場等に設置されるナンバープレート読み取り装置は、画像認識システムの１つである。画像認識システムでは、認識対象の被写体の文字等の情報（表記内容）を精度よく認識するために、被写体周辺の環境変化（例えば、日照変化）に拘わらず、被写体を適切な明るさで撮影する必要がある。 The image recognition system, for example, photographs a signboard, a sign, or the like with an imaging device, and recognizes display contents using an image processing technique. For example, a license plate reader installed in a parking lot or the like is one of image recognition systems. In the image recognition system, in order to accurately recognize information (notation content) such as characters of a subject to be recognized, the subject is photographed with appropriate brightness regardless of environmental changes around the subject (for example, changes in sunlight). There is a need.
例えば、被写体の画像が明るすぎるとき、文字と背景とのコントラストが十分確保できず、画像認識システムは、文字を認識できない。また、例えば、被写体の画像が暗すぎるとき、文字と背景とのコントラストが十分確保できず、画像認識システムは、文字を認識できない。以下、文字等の情報を認識できる明るさの範囲を明るさの許容範囲とも称する。また、明るさの許容範囲の明るい側の限界（上限）および暗い側の限界（下限）の比（上限／下限）を、明るさの変動許容範囲とも称する。 For example, when the image of the subject is too bright, the contrast between the character and the background cannot be secured sufficiently, and the image recognition system cannot recognize the character. Also, for example, when the image of the subject is too dark, the contrast between the character and the background cannot be secured sufficiently, and the image recognition system cannot recognize the character. Hereinafter, a brightness range in which information such as characters can be recognized is also referred to as a brightness tolerance range. Further, the ratio (upper limit / lower limit) of the limit (upper limit) on the bright side and the limit (lower limit) on the dark side of the brightness tolerance range is also referred to as the brightness variation tolerance range.
近年、被写体周辺の環境が変化したときにも、被写体が適切な明るさで撮影されるように撮像装置の受光量を調整する画像認識システムが提案されている（例えば、特許文献１、２参照。）。この種画像認識システムは、例えば、撮影された被写体の明るさに基づいて、次回の撮影時の絞りやシャッター速度を制御する。 In recent years, there has been proposed an image recognition system that adjusts the amount of light received by an imaging device so that a subject is photographed with appropriate brightness even when the environment around the subject changes (see, for example,
文字と背景の色の組み合わせが異なる複数の被写体を扱う画像認識システムでは、複数の被写体の明るさの許容範囲の共通部分が、画像認識システムの明るさの許容範囲となる。一般に、文字と背景の色の組み合わせが異なる複数の被写体では、明るさの許容範囲は、被写体毎に異なる。このため、複数の被写体の明るさの許容範囲の共通部分は、被写体単独のときの明るさの許容範囲より狭くなる。したがって、文字と背景の色の組み合わせが異なる複数の被写体を扱う画像認識システムでは、撮像装置で被写体を撮影する際の明るさの許容範囲は、被写体単独のときの明るさの許容範囲より狭くなる。すなわち、画像認識システムの明るさの変動許容範囲が狭くなる。明るさの変動許容範囲の狭い画像認識システムは、日照変化等による被写体周辺の外光の変化に弱い。したがって、被写体周辺の環境が変化したとき、撮像装置で撮影された被写体の画像が文字等の情報を認識できる明るさにならないおそれがある。 In an image recognition system that handles a plurality of subjects with different combinations of characters and background colors, the common part of the allowable range of brightness of the plurality of subjects is the allowable range of brightness of the image recognition system. In general, in a plurality of subjects having different combinations of characters and background colors, the allowable brightness range varies from subject to subject. For this reason, the common part of the allowable range of the brightness of the plurality of subjects is narrower than the allowable range of the brightness when the subject is alone. Therefore, in an image recognition system that handles a plurality of subjects with different combinations of characters and background colors, the allowable range of brightness when photographing an object with an imaging device is narrower than the allowable range of brightness when the subject is alone. . That is, the allowable range of brightness variation of the image recognition system is narrowed. An image recognition system with a narrow brightness fluctuation tolerance range is vulnerable to changes in ambient light around the subject due to changes in sunlight. Therefore, when the environment around the subject changes, there is a possibility that the image of the subject photographed by the imaging device may not be bright enough to recognize information such as characters.
本発明の目的は、文字と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くすることである。 An object of the present invention is to widen the brightness variation allowable range in which the description contents of a plurality of subjects having different combinations of characters and background colors can be recognized.
本発明の一形態では、撮像装置は、情報を表現している記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光に感度を有する撮像部を有している。 In one embodiment of the present invention, an imaging apparatus is sensitive to light in a wavelength band in which a difference in reflectance between a plurality of subjects having different combinations of a symbol representing information and two background colors is equal to or less than a predetermined value. Has a part.
文字と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くできる。 It is possible to widen the permissible range of brightness variation that allows recognition of the description content of a plurality of subjects having different combinations of characters and background colors.
以下、実施形態を図面を用いて説明する。 Hereinafter, embodiments will be described with reference to the drawings.
図１は、一実施形態における画像認識システムＳＹＳの例を示している。画像認識システムＳＹＳは、例えば、記号と背景の２色で情報を表現している看板や標識等を撮像装置１０で撮影し、画像処理技術を用いて表示内容を認識する。なお、記号には、文字や数字も含まれる。例えば、画像認識システムＳＹＳは、ナンバープレートの情報（自動車登録番号等のナンバー）を認識するナンバープレート読み取り装置として機能する。 FIG. 1 shows an example of an image recognition system SYS in one embodiment. The image recognition system SYS, for example, photographs a signboard, a sign or the like expressing information with two colors of a symbol and a background with the
画像認識システムＳＹＳは、ナンバープレート等の認識対象の被写体を撮影する撮像装置１０と、撮像装置１０で撮影された被写体の画像の認識結果を管理するサーバ４０とを有している。例えば、画像認識システムＳＹＳは、道路や駐車場に設置された撮像装置１０で監視範囲を通行する車両のナンバープレートを撮影し、撮影されたナンバープレートに書かれた記号（ナンバー）をサーバ４０の認識装置５０で認識する。 The image recognition system SYS includes an
撮像装置１０は、被写体からの光（被写体で反射した光）に応じた電気信号を生成する撮像部２０と、撮像部２０で生成された電気信号を輝度値のデジタルデータに変換する処理装置３０とを有している。例えば、撮像部２０は、被写体で反射した光を集光するレンズ２２と、特定の光が透過する光学フィルタ２４と、受光量に応じた電気信号を生成する撮像素子２６とを有している。 The
すなわち、撮像素子２６は、被写体からの光を、レンズ２２および光学フィルタ２４を介して受ける。そして、撮像素子２６は、受けた光（被写体からの光）に基づいて、電気信号を生成する。なお、撮像部２０は、光学フィルタ２４を含まずに形成されてもよい。このときには、撮像素子２６は、被写体からの光を、レンズ２２を介して受ける。 That is, the
ここで、撮像部２０は、情報を表現している記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値（例えば、図４に示す許容値ＤＲ）以下になる波長帯域（例えば、図４に示す波長帯域ＷＲ１０）の光に感度を有している。これにより、撮像部２０は、記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光に応じた電気信号を生成する。すなわち、撮像部２０は、記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光を、信号として処理する。以下、撮像装置１０が信号として処理する光の波長帯域を、撮像装置１０が受光する波長帯域とも称する。 Here, the
撮像部２０の感度は、例えば、レンズ２２、光学フィルタ２４および撮像素子２６を合わせた感度である。したがって、撮像部２０の感度特性（分光特性）は、例えば、レンズ２２の透過特性、光学フィルタ２４の透過特性および撮像素子２６の感度特性の少なくとも１つを調整することにより、所望の特性に設定される。例えば、光学フィルタ２４の透過特性を用いて撮像部２０の感度特性を調整する画像認識システムＳＹＳでは、光学フィルタ２４を取り替えることにより、撮像部２０の感度特性を容易に変更できる。 The sensitivity of the
また、光学フィルタ２４を含まずに形成された撮像部２０では、撮像部２０の感度は、例えば、レンズ２２および撮像素子２６を合わせた感度である。このときには、撮像部２０の感度特性は、例えば、レンズ２２の透過特性および撮像素子２６の感度特性の少なくとも１つを調整することにより、所望の特性に設定される。なお、光学フィルタ２４を含まずに形成された撮像部２０を用いる撮像装置１０では、撮像装置１０の部品点数を削減できため、撮像装置１０の製造コストを低減できる。 Further, in the
処理装置３０は、被写体からの光に応じて生成された電気信号を、撮像素子２６から受ける。そして、処理装置３０は、撮像素子２６から受けた電気信号を、輝度値のデジタルデータに変換する。これにより、モノクロの画像データが生成される。すなわち、被写体の画像データとして、モノクロの画像データが生成される。なお、処理装置３０は、生成した画像データ（輝度値のデジタルデータ）を、サーバ４０の認識装置５０に出力する。 The
サーバ４０は、認識装置５０およびデータ管理部６０を有している。認識装置５０は、処理装置３０から受けた画像データに基づいて、被写体の表示内容を認識する。例えば、認識装置５０は、処理装置３０から受けたナンバープレートの画像データに対して画像処理を実施し、ナンバープレートの情報（ナンバー）を認識する。そして、認識装置５０は、認識結果（ナンバー）をデータ管理部６０に出力する。また、認識装置５０は、撮像装置１０内に設けられてもよい。データ管理部６０は、認識装置５０から受けた認識結果をデータベース等に記憶する。 The
なお、画像認識システムＳＹＳの構成は、この例に限定されない。例えば、画像認識システムＳＹＳは、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に応じて受光量を調整する機能を有してもよい。例えば、撮像装置１０は、レンズ２２のアイリスやシャッター速度等を調整することにより、受光量を調整する。また、被写体ＯＪＡ、ＯＪＢ周辺が暗いときには、撮像装置１０は、フラッシュを発光することにより、受光量を調整してもよい。外光の変化に応じて受光量が調整される画像認識システムＳＹＳでは、例えば、日照条件が一定でない屋外で使用されたときにも、被写体ＯＪＡ、ＯＪＢは、表記内容（文字等の情報）を認識できる明るさで撮影される。 Note that the configuration of the image recognition system SYS is not limited to this example. For example, the image recognition system SYS may have a function of adjusting the amount of received light in accordance with changes in ambient light around the subjects OJA and OJB due to changes in sunlight. For example, the
図２は、図１に示した画像認識システムＳＹＳの認識対象のナンバープレートの色の組み合わせの一例を示している。ナンバープレートに書かれた記号（文字）は、車両固有のものである。このため、例えば、画像認識システムＳＹＳがナンバープレートの表記内容を全て認識できれば、車両は一意に特定される。日本の四輪車のナンバープレートは、例えば、背景色と記号の色（以下、文字色とも称する）の組み合わせにより、自家用普通車、業務用普通車、自家用軽自動車、業務用軽自動車等を判別できるようになっている。 FIG. 2 shows an example of color combinations of license plates to be recognized by the image recognition system SYS shown in FIG. The symbols (characters) written on the license plate are unique to the vehicle. For this reason, for example, if the image recognition system SYS can recognize all the description contents of the license plate, the vehicle is uniquely identified. The license plate of Japanese automobiles, for example, distinguishes private cars, commercial cars, private mini cars, commercial mini cars, etc., based on the combination of background color and symbol color (hereinafter also referred to as letter color). It can be done.
普通車のナンバープレートの色の組み合わせは、白色と濃緑色である。例えば、自家用普通車のナンバープレートは、背景が白色で、記号が濃緑色である。また、業務用普通車のナンバープレートは、背景が濃緑色で、記号が白色である。軽自動車のナンバープレートの色の組み合わせは、黄色と黒色である。例えば、自家用軽自動車のナンバープレートは、背景が黄色で、記号が黒色である。業務用軽自動車のナンバープレートは、背景が黒色で、記号が黄色である。 The color combination of the license plate for ordinary cars is white and dark green. For example, a license plate of a private car has a white background and a dark green symbol. In addition, the license plate of a commercial vehicle has a dark green background and a white symbol. Light car license plate color combinations are yellow and black. For example, the license plate of a personal light vehicle has a yellow background and a black symbol. The license plate for commercial light vehicles has a black background and a yellow symbol.
このように、業務用のナンバープレートの背景色と文字色は、自家用のナンバープレートの背景色と文字色とが入れ替わったものである。したがって、外交官車両等の特別な車両を除くナンバープレートの色の組み合わせは、白色および濃緑色の組み合わせと、黄色および黒色の組み合わせとの２種類である。すなわち、画像認識システムＳＹＳは、記号と背景の色の組み合わせが異なる複数の被写体を扱う。 As described above, the background color and the character color of the license plate for business use are the same as the background color and the character color of the license plate for private use. Therefore, there are two types of color plate color combinations, excluding special vehicles such as diplomat vehicles, a combination of white and dark green and a combination of yellow and black. That is, the image recognition system SYS handles a plurality of subjects having different combinations of symbols and background colors.
図３は、記号と背景の色の組み合わせが複数のときの画像と明るさの関係の一例を示している。なお、図３は、撮像装置１０の設定（アイリスやシャッター速度等）が被写体ＯＪＡ、ＯＪＢで同じときの画像と明るさの関係の一例を示している。例えば、被写体ＯＪＡは、自家用普通車のナンバープレートに対応し、被写体ＯＪＢは、自家用軽自動車のナンバープレートに対応している。図の丸印および×印は、ナンバープレートの表記内容（ナンバー）を示している。また、図の星印は、最適な明るさで撮影された画像ＩＭＡ３０、ＩＭＢ４０を示している。画像ＩＭＡ、ＩＭＢの末尾の数字は、図の照度Ｌの末尾の数字に対応している。例えば、画像ＩＭＡ４０、ＩＭＢ４０は、照度Ｌ４０のときに撮影された被写体ＯＪＡ、ＯＪＢの画像を示している。なお、外光は、照度Ｌの末尾の数字が大きいほど明るい。 FIG. 3 shows an example of the relationship between the image and the brightness when there are a plurality of combinations of symbols and background colors. FIG. 3 shows an example of the relationship between the image and the brightness when the settings of the imaging apparatus 10 (iris, shutter speed, etc.) are the same for the subjects OJA and OJB. For example, the subject OJA corresponds to the license plate of a private car for private use, and the subject OJB corresponds to the license plate of a private light vehicle. Circles and x marks in the figure indicate the contents (numbers) of the license plate. In addition, the asterisk in the figure indicates images IMA30 and IMB40 that are photographed with optimum brightness. The numbers at the end of the images IMA and IMB correspond to the numbers at the end of the illuminance L in the drawing. For example, the images IMA40 and IMB40 indicate images of the subjects OJA and OJB that are captured when the illuminance is L40. The external light is brighter as the number at the end of the illuminance L is larger.
撮像装置１０の設定（アイリスやシャッター速度等）および外光の明るさ等の撮影条件が同じときにも、記号（文字）と背景の色の組み合わせにより、被写体ＯＪＡ、ＯＪＢの画像上の明るさは異なる。例えば、ナンバープレートでは、自家用普通車のナンバープレート（被写体ＯＪＡ）は、自家用軽自動車のナンバープレート（被写体ＯＪＢ）より明るく写る。このため、撮像装置１０の設定（アイリスやシャッター速度等）を被写体ＯＪＡ、ＯＪＢで同じにしたときに、被写体ＯＪＡの表記内容を認識可能な照度Ｌの範囲ＲＧＡと被写体ＯＪＢの表記内容を認識可能な照度Ｌの範囲ＲＧＢとにずれが生じる。 Even when the settings of the imaging device 10 (iris, shutter speed, etc.) and the shooting conditions such as the brightness of outside light are the same, the brightness on the images of the subjects OJA and OJB depends on the combination of the symbol (character) and the background color. Is different. For example, in the license plate, the license plate (subject OJA) of a private car for private use appears brighter than the license plate (subject OJB) of a private light vehicle. For this reason, when the settings of the imaging device 10 (iris, shutter speed, etc.) are the same for the subjects OJA and OJB, the illuminance L range RGA and the content of the subject OJB can be recognized. Deviation occurs in the range RGB of the appropriate illuminance L.
以下、被写体の表記内容（文字等の情報）を認識できる明るさの範囲ＲＧ（ＲＧＡ、ＲＧＢ、ＲＧＣ）を明るさの許容範囲ＲＧ（ＲＧＡ、ＲＧＢ、ＲＧＣ）とも称する。なお、図の上限ＬＭＡＸ（ＬＭＡＸＡ、ＬＭＡＸＢ）は、明るさの許容範囲ＲＧの明るい側の限界を示し、下限ＬＭＩＮ（ＬＭＩＮＡ、ＬＭＩＮＢ）は、明るさの許容範囲ＲＧの暗い側の限界を示している。 Hereinafter, the brightness range RG (RGA, RGB, RGC) capable of recognizing the notation content (information such as characters) of the subject is also referred to as the brightness allowable range RG (RGA, RGB, RGC). In the figure, the upper limit LMAX (LMAXA, LMAXB) indicates the limit on the bright side of the brightness tolerance range RG, and the lower limit LMIN (LMINA, LMINB) indicates the limit on the dark side of the brightness tolerance range RG. Yes.
図３では、例えば、外光の明るさが照度Ｌ３０のときに撮影された被写体ＯＪＡの画像ＩＭＡ３０は、適切な明るさである。このときの撮像装置１０の設定（アイリスやシャッター速度等）では、外光の明るさが照度Ｌ２０、Ｌ４０のときにも、被写体ＯＪＡは、表記内容（文字等の情報）を認識可能に撮影される。なお、照度Ｌ１０で撮影された画像ＩＭＡ１０では、画像上の明るさ（被写体の明るさ）が暗すぎるため、記号（ナンバー）と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳ（より詳細には、図１に示した認識装置５０）は、画像ＩＭＡ１０の記号領域と背景領域とを区別できず、被写体ＯＪＡの表記内容を認識できない。 In FIG. 3, for example, the image IMA30 of the subject OJA photographed when the brightness of the external light is the illuminance L30 has an appropriate brightness. With the settings of the imaging device 10 (iris, shutter speed, etc.) at this time, the subject OJA is photographed so that the written contents (information such as characters) can be recognized even when the brightness of the external light is illuminance L20, L40. The Note that in the image IMA10 taken at the illuminance L10, the brightness on the image (the brightness of the subject) is too dark, so there is almost no difference in brightness between the symbol (number) and the background. Therefore, the image recognition system SYS (more specifically, the
また、照度Ｌ５０、Ｌ６０で撮影された画像ＩＭＡ５０、ＩＭＡ６０では、画像上の明るさ（被写体の明るさ）が明るすぎるため、記号と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳは、画像ＩＭＡ５０、ＩＭＡ６０の記号領域と背景領域とを区別できず、被写体ＯＪＡの表記内容を認識できない。 In addition, in the images IMA50 and IMA60 taken at the illuminances L50 and L60, the brightness on the image (the brightness of the subject) is too bright, so there is almost no difference in brightness between the symbol and the background. For this reason, the image recognition system SYS cannot distinguish between the symbol area and the background area of the images IMA50 and IMA60, and cannot recognize the written content of the subject OJA.
また、照度Ｌ３０で撮影された被写体ＯＪＡの画像ＩＭＡ３０が適切な明るさになるように設定された撮像装置では、外光の明るさが照度Ｌ４０のときに撮影された被写体ＯＪＢの画像ＩＭＢ４０が、適切な明るさになる。このときの撮像装置１０の設定（アイリスやシャッター速度等）では、外光の明るさが照度Ｌ３０、Ｌ５０のときにも、被写体ＯＪＢは、表記内容（文字等の情報）を認識可能に撮影される。 In addition, in the imaging device set so that the image IMA30 of the subject OJA photographed at the illuminance L30 has an appropriate brightness, the image IMB40 of the subject OJB photographed when the brightness of the external light is the illuminance L40, Proper brightness. With the settings of the imaging device 10 (iris, shutter speed, etc.) at this time, the subject OJB is photographed so that the written content (information such as characters) can be recognized even when the brightness of the external light is illuminance L30, L50. The
なお、照度Ｌ１０、Ｌ２０で撮影された画像ＩＭＢ１０、ＩＭＢ２０では、画像上の明るさ（被写体の明るさ）が暗すぎるため、記号（ナンバー）と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳは、画像ＩＭＢ１０、ＩＭＢ２０の記号領域と背景領域とを区別できず、被写体ＯＪＢの表記内容を認識できない。また、照度Ｌ６０で撮影された画像ＩＭＢ６０では、画像上の明るさ（被写体の明るさ）が明るすぎるため、記号と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳは、画像ＩＭＢ６０の記号領域と背景領域とを区別できず、被写体ＯＪＢの表記内容を認識できない。 Note that in the images IMB10 and IMB20 taken at the illuminances L10 and L20, the brightness on the image (the brightness of the subject) is too dark, so there is almost no difference in brightness between the symbol (number) and the background. For this reason, the image recognition system SYS cannot distinguish between the symbol area and the background area of the images IMB10 and IMB20, and cannot recognize the written content of the subject OJB. Further, in the image IMB60 photographed at the illuminance L60, the brightness on the image (the brightness of the subject) is too bright, so there is almost no difference in brightness between the symbol and the background. For this reason, the image recognition system SYS cannot distinguish between the symbol area and the background area of the
このように、図３の例では、被写体ＯＪＡを撮影する際の明るさの許容範囲ＲＧＡの下限ＬＭＩＮＡは、照度Ｌ１０と照度Ｌ２０との間の明るさである。また、明るさの許容範囲ＲＧＡの上限ＬＭＡＸＡは、照度Ｌ４０と照度Ｌ５０との間の明るさである。したがって、画像認識システムＳＹＳが被写体ＯＪＡの表記内容を認識するときには、明るさの変動は、照度Ｌ３０の明るさに対して、明るい側にＬＭＡＸＡ／Ｌ３０倍および暗い側にＬＭＩＮＡ／Ｌ３０倍まで許容される。すなわち、画像認識システムＳＹＳが被写体ＯＪＡの表記内容を認識するときには、下限ＬＭＩＮＡに対する明るさの変動は、明るい側に、ＬＭＡＸＡ／ＬＭＩＮＡ倍まで許容される。 Thus, in the example of FIG. 3, the lower limit LMINA of the allowable brightness range RGA when photographing the subject OJA is the brightness between the illuminance L10 and the illuminance L20. Further, the upper limit LMAXA of the allowable brightness range RGA is the brightness between the illuminance L40 and the illuminance L50. Therefore, when the image recognition system SYS recognizes the notation content of the subject OJA, the brightness variation is allowed up to LMAXA / L30 times on the bright side and LMINA / L30 times on the dark side with respect to the brightness of the illuminance L30. The That is, when the image recognition system SYS recognizes the notation content of the subject OJA, the variation in brightness with respect to the lower limit LMINA is allowed to LMAXA / LMINA times on the bright side.
また、被写体ＯＪＢを撮影する際の明るさの許容範囲ＲＧＢの下限ＬＭＩＮＢは、照度Ｌ２０と照度Ｌ３０との間の明るさである。また、明るさの許容範囲ＲＧＢの上限ＬＭＡＸＢは、照度Ｌ５０と照度Ｌ６０との間の明るさである。したがって、画像認識システムＳＹＳが被写体ＯＪＢの表記内容を認識するときには、下限ＬＭＩＮＢに対する明るさの変動は、明るい側に、ＬＭＡＸＢ／ＬＭＩＮＢ倍まで許容される。 The lower limit LMINB of the allowable brightness range RGB when photographing the subject OJB is the brightness between the illuminance L20 and the illuminance L30. Moreover, the upper limit LMAXB of the allowable brightness range RGB is the brightness between the illuminance L50 and the illuminance L60. Therefore, when the image recognition system SYS recognizes the notation content of the subject OJB, the fluctuation of the brightness with respect to the lower limit LMINB is allowed up to LMAXB / LMINB times on the bright side.
以下、明るさの許容範囲ＲＧの上限ＬＭＡＸおよび下限ＬＭＩＮの比（上限ＬＭＡＸ／下限ＬＭＩＮ）を、明るさの変動許容範囲とも称する。明るさの変動許容範囲が広い画像認識システムＳＹＳは、明るさの変動許容範囲が狭い画像認識システムＳＹＳに比べて、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に強い。 Hereinafter, the ratio (upper limit LMAX / lower limit LMIN) of the upper limit LMAX and the lower limit LMIN of the brightness allowable range RG is also referred to as a brightness fluctuation allowable range. The image recognition system SYS with a wide brightness fluctuation tolerance range is more resistant to changes in the ambient light around the subjects OJA and OJB due to changes in sunlight than the image recognition system SYS with a narrow brightness fluctuation tolerance range.
なお、記号と背景の色の組み合わせが異なる複数の被写体ＯＪＡ、ＯＪＢを扱う画像認識システムＳＹＳでは、次の撮影対象が被写体ＯＪＡ、ＯＪＢのどちらになるかは、事前に予測できない。このため、画像認識システムＳＹＳの明るさの許容範囲ＲＧは、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣになる。 In the image recognition system SYS that handles a plurality of subjects OJA, OJB having different combinations of symbols and background colors, it cannot be predicted in advance which of the subjects OJA, OJB will be the next shooting target. For this reason, the allowable brightness range RG of the image recognition system SYS is a range RGC of illuminance L that can recognize the written contents of both the subjects OJA and OJB.
したがって、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣは、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとにずれが生じているときには、被写体ＯＪＡ、ＯＪＢ単独のときの許容範囲ＲＧＡ、ＲＧＢより狭くなる。例えば、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣは、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれが大きくなるにしたがい、狭くなる。換言すれば、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを小さくすることにより、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣは、拡大される。 Therefore, the allowable brightness range RGC of the image recognition system SYS is within the allowable ranges RGA and RGB when the subjects OJA and OJB are alone when there is a deviation between the allowable range RGA of the subject OJA and the allowable range RGB of the subject OJB. Narrower. For example, the brightness allowable range RGC of the image recognition system SYS becomes narrower as the deviation between the allowable range RGA of the subject OJA and the allowable range RGB of the subject OJB increases. In other words, the brightness allowable range RGC of the image recognition system SYS is expanded by reducing the deviation between the allowable range RGA of the subject OJA and the allowable range RGB of the subject OJB.
なお、この実施形態では、例えば、撮像部２０は、被写体ＯＪＡ、ＯＪＢの反射率の差が所定値（例えば、図４に示す許容値ＤＲ）以下になる波長帯域（例えば、図４に示す波長帯域ＷＲ１０）の光に対する感度が他の波長帯域の光に対する感度より高くなるように設計されている。これにより、この実施形態では、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを小さくでき、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣを広くできる。すなわち、この実施形態では、記号と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くできる。 In this embodiment, for example, the
図４は、図３に示した被写体ＯＪＡ、ＯＪＢの背景の分光反射率の一例を示している。図の横軸は、光の波長（単位はｎｍ）を示し、縦軸は、反射率を示している。 FIG. 4 shows an example of the spectral reflectance of the background of the subjects OJA and OJB shown in FIG. The horizontal axis of the figure indicates the wavelength of light (unit: nm), and the vertical axis indicates the reflectance.
同じ撮影条件で撮影された被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いは、被写体ＯＪＡ、ＯＪＢの分光反射率が異なるために生じる。例えば、図４では、被写体ＯＪＡの背景は、可視光の波長帯域で反射率の差が小さい。このため、被写体ＯＪＡの背景は、人には白色と認知される。また、被写体ＯＪＡの背景は、全波長で反射率が高いため、明るい。一方、被写体ＯＪＢの背景では、約５５０ｎｍ以上の波長帯域の反射率が他の波長帯域の反射率に比べて高い。このため、被写体ＯＪＢの背景は、人には黄色と認知される。 The difference in brightness on the images of the subjects OJA and OJB photographed under the same photographing conditions occurs because the spectral reflectances of the subjects OJA and OJB are different. For example, in FIG. 4, the background of the subject OJA has a small difference in reflectance in the visible light wavelength band. For this reason, the background of the subject OJA is recognized as white by humans. The background of the subject OJA is bright because of the high reflectance at all wavelengths. On the other hand, in the background of the subject OJB, the reflectance in the wavelength band of about 550 nm or higher is higher than the reflectance in the other wavelength bands. For this reason, the background of the subject OJB is perceived by humans as yellow.
また、例えば、被写体ＯＪＢの背景の反射率が低い波長帯域では、撮像装置１０が被写体ＯＪＡから受ける光量は、撮像装置１０が被写体ＯＪＢから受ける光量より多くなる。このため、例えば、撮像装置１０の感度が可視光の波長帯域に設定されているときには、被写体ＯＪＡは、被写体ＯＪＢより明るく写る。すなわち、被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いは、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光により、生じる。 For example, in a wavelength band in which the reflectance of the background of the subject OJB is low, the amount of light received by the
このため、この実施形態では、撮像装置１０の撮像部２０は、被写体ＯＪＡ、ＯＪＢの反射率の差が小さい波長帯域ＷＲ１０（例えば、５５０ｎｍ以上）の光に対する感度が高くなるように設定されている。例えば、撮像部２０の感度特性（分光特性）は、被写体ＯＪＡ、ＯＪＢの反射率の差が許容値ＤＲ以下になる波長帯域ＷＲ１０（例えば、５５０ｎｍ以上）の光に対する感度が他の波長帯域（例えば、５５０ｎｍ以下）の光に対する感度より高くなるように設定されている。なお、撮像部２０の感度特性を設定する際に参照される被写体ＯＪＡ、ＯＪＢの反射率の差は、被写体ＯＪＡの記号および背景のうちの高輝度領域の反射率と、被写体ＯＪＢの記号および背景のうちの高輝度領域の反射率とを比較したときの差である。高輝度領域は、記号および背景のうちの反射率の高い方の領域である。 For this reason, in this embodiment, the
例えば、図２に示したナンバープレートでは、高輝度領域は、自家用普通車のナンバープレートの背景（白色の領域）、業務用普通車のナンバープレートの記号（白色の領域）、自家用軽自動車のナンバープレートの背景（黄色の領域）および業務用軽自動車のナンバープレートの記号（黄色の領域）である。 For example, in the license plate shown in FIG. 2, the high-intensity areas are the background of the license plate of the private car (white area), the license plate symbol of the commercial car (white area), and the number of the private minicar. It is the background (yellow area | region) of a plate, and the number plate symbol (yellow area | region) of a commercial light vehicle.
高輝度領域を比較したときの差に基づいて撮像部２０の感度特性を設定することにより、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを効率よく小さくできる。例えば、高輝度領域の画素が輝度飽和する照度以上の明るさでは、ブルーミングが発生する。ブルーミングにより低輝度領域の輝度値が上がり、記号領域と背景領域との境界が分らなくなる。すなわち、高輝度領域の画素が輝度飽和しない明るさまで明るくできる。なお、低輝度領域は、記号および背景のうちの反射率の低い方の領域である。 By setting the sensitivity characteristic of the
また、明るさが暗くなるにしたがい、低輝度領域だけでなく、高輝度領域の輝度も低下する。このため、明るさが暗すぎるときには、高輝度領域が低輝度領域に対してコントラストを確保できなくなる。このときには、記号と背景との明るさの差がなくなり、記号領域と背景領域との境界が分らなくなる。換言すれば、高輝度領域が低輝度領域に対してコントラストを確保できる明るさまで暗くできる。このように、例えば、許容範囲ＲＧの上限ＬＭＡＸおよび下限ＬＭＩＮは、高輝度領域の特性に応じて決まる。 Further, as the brightness becomes darker, not only the low luminance region but also the luminance of the high luminance region decreases. For this reason, when the brightness is too dark, the high luminance area cannot secure contrast with the low luminance area. At this time, there is no difference in brightness between the symbol and the background, and the boundary between the symbol area and the background area cannot be recognized. In other words, the high brightness area can be darkened to a brightness that can ensure contrast with respect to the low brightness area. Thus, for example, the upper limit LMAX and the lower limit LMIN of the allowable range RG are determined according to the characteristics of the high luminance region.
撮像部２０の感度特性は、レンズ２２の透過特性、光学フィルタ２４の透過特性および撮像素子２６の感度特性の少なくとも１つを調整することにより、所望の特性（例えば、５５０ｎｍ以上の波長帯域の感度が高い感度特性）に設定される。例えば、撮像部２０は、５５０ｎｍ以上の波長帯域の光のみを透過する光学フィルタ２４を有してもよいし、５５０ｎｍ以上の波長帯域の光のみを透過するレンズ２２を有してもよい。あるいは、撮像素子２６は、５５０ｎｍ以上の波長帯域の感度が高くなるように形成されてもよい。また、撮像部２０は、光学フィルタ２４、レンズ２２および撮像素子２６を合わせた特性により、５５０ｎｍ以上の波長帯域の感度が高くなるように形成されてもよい。 The sensitivity characteristic of the
以下、図２に示したナンバープレートを例にして、撮像部２０の感度特性の設計について説明する。図２で説明したように、ナンバープレートの色の組み合わせは、白色および濃緑色の組み合わせと、黄色および黒色の組み合わせとの２種類である。白色および濃緑色の組み合わせでは、明るい色（反射率の高い方の色）は、白色である。また、黄色および黒色の組み合わせでは、明るい色（反射率の高い方の色）は、黄色である。このため、白色と黄色とを同程度の明るさで撮影できるように、撮像部２０の感度特性を設計する。 Hereinafter, the design of the sensitivity characteristic of the
普通車のナンバープレートの白色の領域の分光反射率をＲａ（λ）、軽自動車のナンバープレートの黄色の領域の分光反射率をＲｂ（λ）とする。また、撮像素子２６の感度特性をＣ（λ）、レンズ２２の透過特性をＴ（λ）、光学フィルタ２４の透過特性をＦ（λ）、被写体に当たっている光の分光特性をｋＩ（λ）とする。なお、λは波長であり、ｋは、任意の定数である。 Let Ra (λ) be the spectral reflectance of the white region of the license plate of a normal vehicle, and Rb (λ) be the spectral reflectance of the yellow region of the license plate of a light vehicle. Further, the sensitivity characteristic of the
普通車のナンバープレートを撮影したときの撮像装置１０の受光量ＬＲＡは、式（１）で表される。また、軽自動車のナンバープレートを撮影したときの撮像装置１０の受光量ＬＲＢは、式（２）で表される。そして、普通車のナンバープレートと軽自動車のナンバープレートとの明るさの差ＤＬは、式（３）で表される。
LRA＝k・∫(Ra(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（１）
LRB＝k・∫(Rb(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（２）
DL＝LRA−LRB ‥‥（３）
ここで、例えば、太陽光の下で使用される画像認識システムＳＹＳでは、被写体に当たっている光の分光特性ｋＩ（λ）は、時刻や天気によって変化する。このため、任意のｋＩ（λ）に対して、普通車のナンバープレートと軽自動車のナンバープレートとの明るさの差ＤＬをなくす必要がある。このためには、式（４）、式（５）および式（６）を満たすように、撮像部２０の感度特性を設計すればよい。
XLRA＝∫(Ra(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（４）
XLRB＝∫(Rb(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（５）
XLRA−XLRB＝0 ‥‥（６）
式（６）を任意のＩ（λ）に対して満たすための十分条件は、任意のλに対して式（７）を満たすことである。
Ra(λ)・C(λ)・T(λ)・F(λ)−Rb(λ)・C(λ)・T(λ)・F(λ)＝0 ‥‥（７）
任意のλに対して式（８）、式（９）、式（１０）および式（１１）のいずれかを満たすことにより、式（７）を満たすことができる。
Ra(λ)＝Rb(λ) ‥‥（８）
C(λ)＝0 ‥‥（９）
T(λ)＝0 ‥‥（１０）
F(λ)＝0 ‥‥（１１）
例えば、式（８）を満たさない波長帯域では、式（９）、式（１０）および式（１１）のいずれかを満たすことにより、式（７）は満たされる。すなわち、分光反射率Ｒａ（λ）、Ｒｂ（λ）が異なる波長帯域では、撮像素子２６の感度特性Ｃ（λ）、レンズ２２の透過特性Ｔ（λ）、光学フィルタ２４の透過特性Ｆ（λ）のいずれかを“０”にすることにより、式（７）を満たすことができる。The received light amount LRA of the
LRA = k ・ ∫ (Ra (λ) ・ C (λ) ・ T (λ) ・ F (λ) ・ I (λ)) dλ (1)
LRB ＝ k ・ ∫ (Rb (λ) ・ C (λ) ・ T (λ) ・ F (λ) ・ I (λ)) dλ (2)
DL = LRA-LRB (3)
Here, for example, in the image recognition system SYS used under sunlight, the spectral characteristic kI (λ) of the light hitting the subject changes according to time and weather. For this reason, it is necessary to eliminate the difference DL in brightness between the license plate of the ordinary car and the license plate of the light car for an arbitrary kI (λ). For this purpose, the sensitivity characteristic of the
XLRA ＝ ∫ (Ra (λ) ・ C (λ) ・ T (λ) ・ F (λ) ・ I (λ)) dλ (4)
XLRB ＝ ∫ (Rb (λ) ・ C (λ) ・ T (λ) ・ F (λ) ・ I (λ)) dλ (5)
XLRA-XLRB = 0 (6)
A sufficient condition for satisfying Equation (6) for an arbitrary I (λ) is satisfying Equation (7) for an arbitrary λ.
Ra (λ) ・ C (λ) ・ T (λ) ・ F (λ) −Rb (λ) ・ C (λ) ・ T (λ) ・ F (λ) = 0 (7)
Expression (7) can be satisfied by satisfying any of Expression (8), Expression (9), Expression (10), and Expression (11) for an arbitrary λ.
Ra (λ) = Rb (λ) (8)
C (λ) = 0 (9)
T (λ) = 0 (10)
F (λ) = 0 (11)
For example, in a wavelength band that does not satisfy Expression (8), Expression (7) is satisfied by satisfying any of Expression (9), Expression (10), and Expression (11). That is, in the wavelength bands in which the spectral reflectances Ra (λ) and Rb (λ) are different, the sensitivity characteristic C (λ) of the
なお、式（８）を完全に満たすことは困難である。このため、例えば、ほとんどの波長の光に対して感度のない撮像部２０を設計することにより式（７）を満たした画像認識システムＳＹＳでは、明るさが不足し、監視できなくなる。したがって、この実施形態では、分光反射率Ｒａ（λ）、Ｒｂ（λ）の許容する差をＤＲとし、式（１２）を満たさない波長帯域で、式（９）、式（１０）および式（１１）のいずれかを満足させる。許容値ＤＲは、例えば、“０”以上の値であり、撮像装置１０が受光する波長帯域を明るさが不足しない範囲に拡大する値である。これにより、撮像装置１０が受光する波長帯域が極端に狭くなることを防止でき、明るさが不足することを防止できる。
｜Ra(λ)−Rb(λ)｜≦DR ‥‥（１２）
例えば、分光反射率Ｒａ（λ）、Ｒｂ（λ）の差が許容値ＤＲより大きい波長帯域では、撮像素子２６の感度特性Ｃ（λ）、レンズ２２の透過特性Ｔ（λ）、光学フィルタ２４の透過特性Ｆ（λ）のいずれかを“０”にする。これにより、分光反射率Ｒａ（λ）、Ｒｂ（λ）の差が許容値ＤＲ以下になる波長帯域ＷＲ１０の光に対して感度を有する撮像部２０が設計される。It is difficult to completely satisfy the equation (8). For this reason, for example, in the image recognition system SYS that satisfies Expression (7) by designing the
| Ra (λ) −Rb (λ) | ≦ DR (12)
For example, in the wavelength band where the difference between the spectral reflectances Ra (λ) and Rb (λ) is larger than the allowable value DR, the sensitivity characteristic C (λ) of the
図４の例では、撮像装置１０は、５５０ｎｍ以上の波長の光のみを透過させるように設計される。これにより、撮像装置１０は、被写体ＯＪＡ、ＯＪＢの反射率の差が小さい波長帯域の光に基づいて、被写体ＯＪＡ、ＯＪＢの画像ＩＭＡ、ＩＭＢを生成する。換言すれば、撮像装置１０は、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光の影響をほとんど受けずに、被写体ＯＪＡ、ＯＪＢの画像ＩＭＡ、ＩＭＢを生成する。このように、この実施形態では、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光量を減らして画像ＩＭＡ、ＩＭＢを生成するため、被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いを小さくできる。 In the example of FIG. 4, the
この実施形態では、被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いを小さくできるため、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを小さくできる。この結果、画像認識システムＳＹＳの明るさの許容範囲（被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣ）を広くできる。 In this embodiment, since the difference in brightness on the images of the subjects OJA and OJB can be reduced, the deviation between the allowable range RGA of the subject OJA and the allowable range RGB of the subject OJB can be reduced. As a result, it is possible to widen the allowable brightness range (the range RGC of the illuminance L that can recognize the written contents of both the subjects OJA and OJB) of the image recognition system SYS.
なお、可視光以外の光（例えば、近赤外光）の反射率が高い素材が記号および背景のうちのいずれかに使用されているときには、記号および背景のうち、可視光か否かに拘わらず、高い反射率を有する領域を高輝度領域としてもよい。 When a material having a high reflectance of light other than visible light (for example, near-infrared light) is used for either the symbol or the background, it is determined whether the symbol or background is visible light. Alternatively, a region having a high reflectance may be a high luminance region.
あるいは、所望の波長帯域（例えば、近赤外線近辺の波長帯域や可視光の波長帯域）で高い反射率を有する領域を、高輝度領域としてもよい。例えば、可視光の波長帯域で高い反射率を有する領域を高輝度領域としたときには、撮像部２０は、５５０ｎｍ以上７５０ｎｍ以下の波長の光に対して感度を有するように設計される。例えば、撮像部２０は、５５０ｎｍ以上７５０ｎｍ以下の波長の光のみを透過するバンドパスフィルタ（光学フィルタ２４）を有してもよい。あるいは、撮像部２０は、５５０ｎｍ以上の波長の光を透過する光学フィルタ２４と、７５０ｎｍ以上の波長の光に対する感度がない撮像素子２６とを有してもよい。 Alternatively, a region having a high reflectance in a desired wavelength band (for example, a wavelength band near near infrared rays or a wavelength band of visible light) may be a high luminance region. For example, when a region having a high reflectance in the visible light wavelength band is a high luminance region, the
このように、可視光の波長帯域で高い反射率を有する領域を高輝度領域としたときには、撮像部２０は、可視光のうち、被写体ＯＪＡ、ＯＪＢの反射率の差が小さい波長帯域の光（可視光）に感度を有する。このため、可視光以外の光の反射率が高い素材を低輝度領域（人の目で見て低輝度領域と判断される領域）に使用した被写体が混在したときにも、画像認識システムＳＹＳは、被写体の表記内容を認識できる。 As described above, when a region having a high reflectance in the visible light wavelength band is set as a high-luminance region, the
また、既存の撮像素子２６等を用いて撮像部２０を形成するときには、記号および背景のうち、撮像素子２６の感度に合わせた波長帯域で高い反射率を有する領域を、高輝度領域としてもよい。すなわち、撮像部２０での露光量の多い方の領域を高輝度領域としてもよい。このときにも、例えば、レンズ２２の透過特性Ｔ（λ）および光学フィルタ２４の透過特性Ｆ（λ）のいずれかを調整することにより、撮像部２０の感度特性を所望の特性に設計できる。 In addition, when the
図５は、２つの被写体の反射率の差と明るさの許容範囲との関係の一例を示している。左側の図（２つの被写体の反射率の差：大）は、撮像装置の感度が可視光の波長帯域に設定されているときの明るさの許容範囲の一例を示している。また、右側の図（２つの被写体の反射率の差：小）は、この実施形態の撮像装置１０の明るさの許容範囲の一例を示している。例えば、２つの被写体は、図４に示した分光反射率を有する被写体ＯＪＡ、ＯＪＢである。 FIG. 5 shows an example of the relationship between the difference in reflectance between two subjects and the allowable brightness range. The diagram on the left (difference in reflectance between two subjects: large) shows an example of an allowable range of brightness when the sensitivity of the imaging device is set to the wavelength band of visible light. Further, the diagram on the right side (difference in reflectance between two subjects: small) shows an example of an allowable brightness range of the
撮像装置の感度が可視光の波長帯域（例えば、４５０ｎｍ以上７５０ｎｍ以下）に設定されているとき、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光により、被写体ＯＪＡの許容範囲ＲＧＡ’と被写体ＯＪＢの許容範囲ＲＧＢ’とに大きなずれが生じる。このため、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣ’は、狭くなる。例えば、範囲ＲＧＣ’の上限は、許容範囲ＲＧＢ’の上限ＬＭＡＸＢ’より暗い側の許容範囲ＲＧＡ’の上限ＬＭＡＸＡ’で決まる。また、範囲ＲＧＣ’の下限は、許容範囲ＲＧＡ’の下限ＬＭＩＮＡ’より明るい側の許容範囲ＲＧＢ’の下限ＬＭＩＮＢ’で決まる。 When the sensitivity of the imaging device is set in the wavelength band of visible light (for example, 450 nm or more and 750 nm or less), light in a wavelength band with a large difference in reflectivity between the subjects OJA and OJB is set to the allowable range RGA ′ of the subject OJA. A large deviation occurs in the allowable range RGB ′ of the subject OJB. For this reason, the range RGC ′ of the illuminance L in which the written contents of both the subjects OJA and OJB can be recognized becomes narrow. For example, the upper limit of the range RGC 'is determined by the upper limit LMAXA' of the allowable range RGA 'on the darker side than the upper limit LMAXB' of the allowable range RGB '. The lower limit of the range RGC 'is determined by the lower limit LMINB' of the allowable range RGB 'on the brighter side than the lower limit LMINA' of the allowable range RGA '.
上限ＬＭＡＸＢ’と上限ＬＭＡＸＡ’との差および下限ＬＭＩＮＡ’と下限ＬＭＩＮＢ’との差は、例えば、被写体ＯＪＡ、ＯＪＢの反射率の差が大きくなるにしたがい、大きくなる。このため、２つの被写体の反射率の差が大きいときには、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣ’は、狭くなる。 The difference between the upper limit LMAXB 'and the upper limit LMAXA' and the difference between the lower limit LMINA 'and the lower limit LMINB' increase, for example, as the difference in reflectance between the subjects OJA and OJB increases. For this reason, when the difference in reflectance between the two subjects is large, the range RGC ′ of the illuminance L that can recognize the written contents of both the subjects OJA and OJB becomes narrow.
これに対し、２つの被写体の反射率の差が小さいときには、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光量が減少するため、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれが小さくなる。このため、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣは、広くなる。例えば、許容範囲ＲＧＢの上限ＬＭＡＸＢと許容範囲ＲＧＡの上限ＬＭＡＸＡとの差および許容範囲ＲＧＡの下限ＬＭＩＮＡと許容範囲ＲＧＢの下限ＬＭＩＮＢとの差は、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光量の減少に伴い、小さくなる。このため、２つの被写体の反射率の差が小さいときには、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣは、広くなる。 On the other hand, when the difference in reflectance between the two subjects is small, the amount of light in the wavelength band where the difference in reflectance between the subjects OJA and OJB is large decreases, so that the allowable range RGA of the subject OJA and the allowable range RGB of the subject OJB The deviation is reduced. For this reason, the range RGC of the illuminance L in which the written contents of both the subjects OJA and OJB can be recognized becomes wide. For example, the difference between the upper limit LMAXB of the permissible range RGB and the upper limit LMAXA of the permissible range RGA and the difference between the lower limit LMINA of the permissible range RGA and the lower limit LMINB of the permissible range RGB are the wavelength bands where the difference in reflectance between the subjects OJA and OJB is large. As the amount of light decreases, it decreases. For this reason, when the difference in reflectance between the two subjects is small, the range RGC of the illuminance L that can recognize the written contents of both the subjects OJA and OJB becomes wide.
なお、この実施形態では、例えば、撮像部２０は、５５０ｎｍ以上７５０ｎｍ以下の波長の光に対して感度を有するように設計される。これにより、撮像装置１０が受光する波長帯域では、被写体ＯＪＡ、ＯＪＢの反射率の差は小さくなる。したがって、この実施形態では、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣを広くできる。例えば、式（１２）の許容値ＤＲを小さくするほど、範囲ＲＧＣを広くできる。 In this embodiment, for example, the
図６は、別の被写体ＯＪＣ、ＯＪＤの分光反射率の一例を示している。なお、図６は、高輝度領域がそれぞれ白色および緑色の被写体ＯＪＣ、ＯＪＤの分光反射率の一例を示している。図の横軸は、光の波長（単位はｎｍ）を示し、縦軸は、反射率を示している。 FIG. 6 shows an example of the spectral reflectance of different subjects OJC and OJD. FIG. 6 shows an example of the spectral reflectances of the subjects OJC and OJD whose high luminance areas are white and green, respectively. The horizontal axis of the figure indicates the wavelength of light (unit: nm), and the vertical axis indicates the reflectance.
被写体ＯＪＣの高輝度領域（例えば、背景）は、可視光の波長帯域で反射率の差が小さい。このため、被写体ＯＪＣの高輝度領域は、人には白色と認知される。また、被写体ＯＪＣの高輝度領域は、全波長で反射率が高いため、明るい。一方、被写体ＯＪＤの高輝度領域（例えば、背景）では、約５００ｎｍ以上５５０ｎｍ以下の波長帯域ＷＲ２０の反射率が他の波長帯域の反射率に比べて高い。このため、被写体ＯＪＤの高輝度領域は、人には緑色と認知される。 The high-luminance region (for example, the background) of the subject OJC has a small difference in reflectance in the visible light wavelength band. For this reason, the high brightness area of the subject OJC is recognized as white by humans. In addition, the high brightness area of the subject OJC is bright because the reflectance is high at all wavelengths. On the other hand, in the high luminance region (for example, background) of the subject OJD, the reflectance of the wavelength band WR20 of about 500 nm to 550 nm is higher than the reflectance of other wavelength bands. For this reason, the high brightness area of the subject OJD is perceived as green by humans.
また、例えば、被写体ＯＪＤの高輝度領域の反射率が低い波長帯域では、撮像装置１０が被写体ＯＪＣから受ける光量は、撮像装置１０が被写体ＯＪＤから受ける光量より多くなる。このため、例えば、撮像装置１０の感度が可視光の波長帯域に設定されているときには、被写体ＯＪＣは、被写体ＯＪＤより明るく写る。 For example, in a wavelength band in which the reflectance of the high-luminance region of the subject OJD is low, the amount of light received by the
なお、被写体ＯＪＣ、ＯＪＤを扱う画像認識システムＳＹＳでは、撮像装置１０の撮像部２０は、被写体ＯＪＣ、ＯＪＤの画像上の明るさをほぼ同じにするために、被写体ＯＪＣ、ＯＪＤの反射率の差が小さい波長帯域ＷＲ２０（例えば、５００ｎｍ以上５５０ｎｍ以下）の光に感度を有している。例えば、撮像部２０の感度特性（分光特性）は、被写体ＯＪＣ、ＯＪＤの反射率の差が許容値ＤＲ以下になる波長帯域ＷＲ２０（例えば、５００ｎｍ以上５５０ｎｍ以下）の光に対する感度が他の波長帯域（例えば、５００ｎｍ以下および５５０ｎｍ以上）の光に対する感度より高くなるように設定されている。これにより、撮像装置１０が受光する波長帯域ＷＲ２０では、被写体ＯＪＣ、ＯＪＤの反射率の差は小さくなる。したがって、この実施形態では、被写体ＯＪＣ、ＯＪＤの両方の表記内容を認識可能な照度Ｌの範囲ＲＧを広くできる。 In the image recognition system SYS that handles the subjects OJC and OJD, the
なお、記号と背景の色の組み合わせが異なる被写体の数は、２つに限定されない。例えば、記号と背景の色の組み合わせが異なる被写体の数は、３つ以上でもよい。また、認識対象の被写体は、ナンバープレートに限定されない。例えば、画像認識システムＳＹＳは、スポーツのユニフォームを認識対象にしてもよい。ユニフォームでは、チームおよび背番号を認識できれば、個人を特定できる。 Note that the number of subjects with different combinations of symbols and background colors is not limited to two. For example, the number of subjects with different combinations of symbols and background colors may be three or more. The subject to be recognized is not limited to the license plate. For example, the image recognition system SYS may target a sports uniform. In the uniform, individuals can be identified if they can recognize the team and number.
以上、この実施形態では、撮像装置１０は、記号と背景の色の組み合わせが異なる複数の被写体の反射率の差が所定値ＤＲ以下になる波長帯域の光に感度を有する撮像部２０を有している。これにより、撮像装置１０が受光する波長帯域では、認識対象の複数の被写体の反射率の差は小さくなる。したがって、この実施形態では、記号と背景の色の組み合わせが異なる複数の被写体の明るさの許容範囲ＲＧの共通部分を広くできる。すなわち、この実施形態では、画像認識システムＳＹＳの明るさの許容範囲ＲＧを広くでき、明るさの変動許容範囲を広くできる。これにより、この実施形態では、日照変化等による被写体周辺の外光の変化に強い画像認識システムＳＹＳを提供できる。 As described above, in this embodiment, the
図７は、別の実施形態における画像認識システムＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の画像認識システムＳＹＳは、図１に示した画像認識システムＳＹＳに、制御装置３２が追加されている。画像認識システムＳＹＳのその他の構成は、上述した実施形態と同じである。 FIG. 7 shows an example of an image recognition system SYS in another embodiment. The same elements as those described in the above-described embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted. In the image recognition system SYS of this embodiment, a
画像認識システムＳＹＳは、ナンバープレート等の認識対象の被写体を撮影する撮像装置１０Ａと、撮像装置１０Ａで撮影された画像の認識結果を管理するサーバ４０とを有している。撮像装置１０Ａは、図１に示した撮像装置１０に制御装置３２が追加されている点を除いて、撮像装置１０と同じである。例えば、撮像装置１０Ａは、被写体からの光（被写体で反射した光）に応じた電気信号を生成する撮像部２０と、撮像部２０で生成された電気信号を輝度値のデジタルデータに変換する処理装置３０と、受光量を調整する制御装置３２とを有している。なお、制御装置３２は、サーバ４０内に設けられてもよい。 The image recognition system SYS includes an
制御装置３２は、例えば、撮像装置１０Ａで撮影されたナンバープレート（認識対象の画像）の輝度値を認識部５０から受ける。例えば、制御装置３２は、撮像装置１０Ａで撮影された被写体の高輝度領域の輝度値を、認識部５０から受ける。そして、制御装置３２は、次の撮影の画像が適切の明るさになるように、認識部５０から受けた輝度値に基づいて、レンズ２２のアイリスや撮像素子２６の露光時間等を制御する。これにより、次の撮影時の受光量が調整される。例えば、制御装置３２は、画像の輝度が設定した目標値になるように、受光量を制御する。これにより、この実施形態では、外光の照度変化に追従して、記号と背景の輝度差を確保できる。 For example, the
例えば、制御装置３２は、図２に示した画像ＩＭＡ２０が生成されたとき、アイリスを解放し、受光量を上げる。これにより、次に被写体ＯＪＡを撮影するときには、図２に示した適切な明るさの画像ＩＭＡ３０が生成される。また、例えば、制御装置３２は、図２に示した画像ＩＭＡ４０が生成されたとき、アイリスを絞り、受光量を下げる。これにより、次に被写体ＯＪＡを撮影するときには、図２に示した適切な明るさの画像ＩＭＡ３０が生成される。 For example, when the image IMA20 shown in FIG. 2 is generated, the
なお、この実施形態では、例えば、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれが小さいため、被写体ＯＪＡの画像ＩＭＡが最適な明るさになる撮影条件は、被写体ＯＪＡの画像ＩＭＡが最適な明るさになる撮影条件とほぼ同じである。したがって、この実施形態では、被写体ＯＪＡの輝度値に基づいて受光量を調整したときに、次の撮影対象が被写体ＯＪＢであっても、被写体ＯＪＢをほぼ適切な明るさで撮影できる。 In this embodiment, for example, since the deviations in the allowable ranges RGA and RGB of the brightness of the subjects OJA and OJB are small, the shooting conditions for the optimal brightness of the image IMA of the subject OJA are the image conditions IMA of the subject OJA. It is almost the same as the shooting conditions for optimal brightness. Therefore, in this embodiment, when the received light amount is adjusted based on the luminance value of the subject OJA, the subject OJB can be photographed with substantially appropriate brightness even if the next photographing target is the subject OJB.
ここで、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれが大きい画像認識システム（例えば、図５の右側の図）では、前に撮影した被写体の画像の輝度値を用いて、次に撮影する被写体の受光量を適切に調整することは困難である。例えば、被写体ＯＪＡの画像ＩＭＡが最適な明るさになる撮影条件で被写体ＯＪＢを撮影したとき、最適な明るさに比べて暗い画像ＩＭＢが生成される。したがって、この撮影条件では、被写体ＯＪＢの暗い側への変動の許容範囲が狭くなる。また、例えば、被写体ＯＪＢの画像ＩＭＢが最適な明るさになる撮影条件で被写体ＯＪＡを撮影したとき、最適な明るさに比べて明るい画像ＩＭＡが生成される。したがって、この撮影条件では、被写体ＯＪＡの明るい側への変動の許容範囲が狭くなる。 Here, in the image recognition system (for example, the diagram on the right side of FIG. 5) in which the brightness deviations of the subjects OJA and OJB allowance RGA and RGB are large, the brightness value of the image of the subject photographed before is used. It is difficult to appropriately adjust the amount of light received by a subject to be photographed. For example, when the subject OJB is photographed under a photographing condition in which the image IMA of the subject OJA has an optimum brightness, an image IMB that is darker than the optimum brightness is generated. Therefore, under this photographing condition, the allowable range of fluctuation of the subject OJB to the dark side is narrowed. In addition, for example, when the subject OJA is photographed under photographing conditions in which the image IMB of the subject OJB has an optimal brightness, an image IMA brighter than the optimal brightness is generated. Therefore, under this photographing condition, the allowable range of fluctuation of the subject OJA to the bright side is narrowed.
このように、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれが大きい画像認識システムでは、明るさの変動許容範囲が狭くなるため、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に弱くなる。 As described above, in the image recognition system in which the brightness tolerances RGA and RGB of the subjects OJA and OJB are large, the brightness variation tolerance range is narrowed. Therefore, the ambient light around the subjects OJA and OJB due to changes in sunshine, etc. Weak to change.
これに対し、この実施形態では、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれを小さくできるため、明るさの変動許容範囲を広くできる。したがって、この実施形態では、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に強い画像認識システムＳＹＳを提供できる。 On the other hand, in this embodiment, since the deviation of the brightness tolerance ranges RGA and RGB of the subjects OJA and OJB can be reduced, the brightness fluctuation tolerance range can be widened. Therefore, in this embodiment, it is possible to provide an image recognition system SYS that is resistant to changes in ambient light around the subjects OJA and OJB due to changes in sunlight.
なお、画像認識システムＳＹＳの構成は、この例に限定されない。例えば、被写体ＯＪＡ、ＯＪＢ周辺が暗いときには、撮像装置１０Ａは、フラッシュを発光することにより、受光量を調整してもよい。 Note that the configuration of the image recognition system SYS is not limited to this example. For example, when the vicinity of the subjects OJA and OJB is dark, the
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、撮像装置１０は、前に撮影した画像の輝度値に基づいて、次に撮影する際の撮像装置１０の受光量を調整する制御装置３２を有している。これにより、この実施形態では、外光の照度変化に追従して、記号と背景の輝度差を確保できる。この結果、画像認識システムＳＹＳは、被写体ＯＪＡ、ＯＪＢ周辺の外光の照度が変化したときにも、被写体ＯＪＡ、ＯＪＢの表記内容を認識できる。 As described above, also in this embodiment, the same effect as that of the above-described embodiment can be obtained. Furthermore, in this embodiment, the
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. This is intended to cover the features and advantages of the embodiments described above without departing from the spirit and scope of the claims. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to rely on suitable improvements and equivalents within the scope disclosed in.
１０、１０Ａ‥撮像装置；２０‥撮像部；２２‥レンズ；２４‥光学フィルタ；２６‥撮像素子；３０‥処理装置；３２‥制御装置；４０‥サーバ；５０‥認識装置；６０‥データ管理部；ＳＹＳ‥画像認識システム DESCRIPTION OF
Claims (6)
Translated fromJapanese前記高輝度領域は、前記各被写体における前記記号および前記背景のうちの反射率の高い方であること
を特徴とする請求項１記載の撮像装置。The difference in reflectance of the subject is a difference in reflectance when the high-intensity regions of the subject are compared.
The imaging apparatus according to claim 1, wherein the high-luminance region is a higher one of the symbol and the background of each subject.
を特徴とする請求項１ないし請求項２のいずれか１項記載の撮像装置。The sensitivity of the imaging unit is set in a wavelength band in which a difference in reflectance of the subject is equal to or less than the predetermined value in a visible light wavelength range. An imaging apparatus according to claim 1.
前記撮像部の感度は、前記撮像素子の感度特性および前記レンズの透過特性のうちの少なくとも１つを調整することにより設定されていること
を特徴とする請求項１ないし請求項２のいずれか１項記載の撮像装置。The imaging unit has an imaging element and a lens,
The sensitivity of the imaging unit is set by adjusting at least one of a sensitivity characteristic of the imaging element and a transmission characteristic of the lens. The imaging device according to item.
前記撮像部の感度は、前記撮像素子の感度特性、前記光学フィルタの透過特性および前記レンズの透過特性のうちの少なくとも１つを調整することにより設定されていること
を特徴とする請求項１ないし請求項２のいずれか１項記載の撮像装置。The imaging unit includes an imaging element, an optical filter, and a lens,
The sensitivity of the imaging unit is set by adjusting at least one of sensitivity characteristics of the imaging device, transmission characteristics of the optical filter, and transmission characteristics of the lens. The imaging device according to claim 2.
前記撮像装置から受けるデータに基づいて、被写体の情報を認識する認識装置と、
前記認識装置により認識された情報を記憶するデータ管理部と
を備えていることを特徴とする画像認識システム。An imaging device according to any one of claims 1 to 5,
A recognition device for recognizing subject information based on data received from the imaging device;
An image recognition system comprising: a data management unit that stores information recognized by the recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011259050AJP2013115558A (en) | 2011-11-28 | 2011-11-28 | Imaging apparatus and image recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011259050AJP2013115558A (en) | 2011-11-28 | 2011-11-28 | Imaging apparatus and image recognition system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013115558Atrue JP2013115558A (en) | 2013-06-10 |
Family
ID=48710738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011259050APendingJP2013115558A (en) | 2011-11-28 | 2011-11-28 | Imaging apparatus and image recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013115558A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5633770A (en)* | 1979-08-28 | 1981-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Optical character reading device |
| JPH0823473A (en)* | 1994-07-05 | 1996-01-23 | Canon Inc | Imaging device |
| JPH09259196A (en)* | 1996-03-22 | 1997-10-03 | Oki Inf Syst | Optical character reader and its control method |
| JP2007193364A (en)* | 2000-10-26 | 2007-08-02 | Datalogig Spa | Laser module for reading optical codes |
| WO2008149709A1 (en)* | 2007-06-04 | 2008-12-11 | Sharp Kabushiki Kaisha | Portable terminal, control method for portable terminal, control program for portable terminal, and computer readable recording medium having recorded the program therein |
- 2011
- 2011-11-28JPJP2011259050Apatent/JP2013115558A/enactivePending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5633770A (en)* | 1979-08-28 | 1981-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Optical character reading device |
| JPH0823473A (en)* | 1994-07-05 | 1996-01-23 | Canon Inc | Imaging device |
| JPH09259196A (en)* | 1996-03-22 | 1997-10-03 | Oki Inf Syst | Optical character reader and its control method |
| JP2007193364A (en)* | 2000-10-26 | 2007-08-02 | Datalogig Spa | Laser module for reading optical codes |
| WO2008149709A1 (en)* | 2007-06-04 | 2008-12-11 | Sharp Kabushiki Kaisha | Portable terminal, control method for portable terminal, control program for portable terminal, and computer readable recording medium having recorded the program therein |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10230873B2 (en) | Vehicle vision system with color correction | |
| US9906766B2 (en) | Imaging device | |
| CN102428700B (en) | Surveillance device | |
| US8018509B2 (en) | Image input processing apparatus and method | |
| US8357899B2 (en) | Color correction circuitry and methods for dual-band imaging systems | |
| JP6029954B2 (en) | Imaging device | |
| US20120002045A1 (en) | Non-retro-reflective license plate imaging system | |
| US11430251B2 (en) | Optical fingerprint identification assembly and terminal | |
| CN105868753B (en) | Method and device for recognizing blue license plate color | |
| US10372139B2 (en) | Color filter array for machine vision system | |
| US11272086B2 (en) | Camera system, vehicle and method for configuring light source of camera system | |
| JP2013162339A (en) | Imaging device | |
| JP2010272934A (en) | Color balance adjustment device | |
| US8854501B2 (en) | Image processing apparatus and image processing method for processing spectral image data | |
| JP2013115558A (en) | Imaging apparatus and image recognition system | |
| JP2012008845A (en) | Image processor | |
| JPWO2019008936A1 (en) | Image processing device, computer program, and image processing system | |
| GB2527091A (en) | Anti-glare mirror | |
| WO2020121626A1 (en) | Image processing device, computer program, and image processing system | |
| CN112135012B (en) | Image acquisition device and image acquisition method | |
| EP4408010A1 (en) | Method and apparatus for controlling the exposure time of an imaging device | |
| JP6906084B2 (en) | Color camera device and optical parts | |
| JP2012015834A (en) | Imaging device | |
| JP2022114260A (en) | image forming device | |
| JP6512806B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20140805 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20150423 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20150526 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20150715 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20160126 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20160531 |