WO2020121626A1 - Image processing device, computer program, and image processing system - Google Patents

Abstract

An image processing device which detects a label attached to a detection subject is provided with: an image acquisition unit for acquiring a color image captured by a camera; a brightness determination unit for determining brightness within a capturing range by the camera; a detection subject color decision unit for deciding, on the basis of a result of the determination by the brightness determination unit, one or more detection subject colors from among colors given to a label including a predetermined number or more of color areas; and a label detection unit for detecting the label by extracting, from the image acquired by the image acquisition unit, an area of the detection subject color decided by the detection subject color decision unit.

Description

Translated fromJapanese

画像処理装置、コンピュータプログラム、および画像処理システムImage processing device, computer program, and image processing system

　本開示は、画像処理装置、コンピュータプログラム、および画像処理システムに関する。
　本出願は、２０１８年１２月１２日出願の日本出願第２０１８－２３２１１７号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。The present disclosure relates to an image processing device, a computer program, and an image processing system.
This application claims the priority right based on Japanese application No. 2018-232117 filed on December 12, 2018, and incorporates all the contents described in the Japanese application.

　従来、複数の色領域を含むラベルが物体を認識するために用いられている。例えば、特許文献１には、ラベルの一例として、マークと呼ばれる色領域を複数含む二次元コードが開示されている。二次元コードに含まれるマークの色およびマークの位置により、所定の情報がエンコードされる。つまり、二次元コードは、所定の情報を表す。このため、カメラで二次元コードを撮影した画像から、複数のマークを検出し、検出したマークの色およびマークの位置に基づいて、情報をデコードすることができる。Conventionally, labels containing multiple color areas have been used to recognize objects. For example, Patent Document 1 discloses, as an example of a label, a two-dimensional code including a plurality of color regions called marks. Predetermined information is encoded by the color of the mark and the position of the mark included in the two-dimensional code. That is, the two-dimensional code represents predetermined information. Therefore, it is possible to detect a plurality of marks from an image obtained by capturing a two-dimensional code with a camera and decode the information based on the detected mark color and the mark position.

特開２０１１－０７６３９５号公報JP, 2011-076395, A

　本開示の一実施態様に係る画像処理装置は、検出対象に取り付けられるラベルを検出する画像処理装置であって、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。
　本開示の他の実施態様に係るコンピュータプログラムは、コンピュータを、検出対象に取り付けられるラベルを検出する画像処理装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。
　本開示の他の実施態様に係る画像処理システムは、検出対象に取り付けられる、所定数以上の色の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。An image processing apparatus according to an embodiment of the present disclosure is an image processing apparatus that detects a label attached to a detection target, and includes an image acquisition unit that acquires a color image captured by a camera and an imaging range of the camera. A brightness determination unit that determines the brightness of the label, and based on the determination result of the brightness determination unit, one or more detection targets from among the colors attached to the label that include a predetermined number or more of color regions. A detection target color determination unit that determines a color, and a label detection that detects the label by extracting the region of the detection target color determined by the detection target color determination unit from the image acquired by the image acquisition unit. And a section.
A computer program according to another embodiment of the present disclosure is a computer program for causing a computer to function as an image processing device that detects a label attached to a detection target, and the computer program includes a color image captured by a camera. An image acquisition unit that acquires an image, a brightness determination unit that determines the brightness of the imaging range of the camera, and based on the determination result of the brightness determination unit, the label including a region of a predetermined number or more The detection target color determination unit that determines one or more detection target colors from the colors to be attached, and the detection target color determined by the detection target color determination unit from the image acquired by the image acquisition unit. By extracting the region, it functions as a label detection unit that detects the label.
An image processing system according to another embodiment of the present disclosure includes a label that is attached to a detection target and that includes a predetermined number or more of color regions, a camera that captures a color image, and the above-described image processing device.

　なお、本開示は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとして含む画像処理方法として実現することができる。また、上述のコンピュータプログラムを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像処理装置の一部又は全部を実現する半導体集積回路として実現することもできる。The present disclosure can be realized not only as an image processing apparatus including such a characteristic processing unit, but also as an image processing method including steps executed by a characteristic processing unit included in the image processing apparatus. Can be realized as It goes without saying that the above computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet. .. Further, the present disclosure can also be realized as a semiconductor integrated circuit that realizes part or all of an image processing device.

図１は、実施の形態１に係る画像処理システムの取付例を示す図である。FIG. 1 is a diagram showing an attachment example of the image processing system according to the first embodiment.図２は、実施の形態１に係る画像処理システムの構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of the image processing system according to the first embodiment.図３Ａは、人物が被るヘルメットを側方から見た図である。FIG. 3A is a side view of a helmet worn by a person.図３Ｂは、人物が被るヘルメットを上方から見た図である。FIG. 3B is a view of a helmet worn by a person viewed from above.図４は、各色ラベルのマンセル表色系（ＪＩＳ　Ｚ８７２１）における表現を示す図である。FIG. 4 is a diagram showing an expression in the Munsell color system (JIS Z8721) of each color label.図５は、各色ラベルの分光反射率を示す図である。FIG. 5 is a diagram showing the spectral reflectance of each color label.図６は、太陽光の分光分布を示す図である。FIG. 6 is a diagram showing a spectral distribution of sunlight.図７は、太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。FIG. 7: is a figure which shows typically the label image|photographed in the bright environment under sunlight.図８は、白熱電球の光の分光分布を示す図である。FIG. 8: is a figure which shows the spectral distribution of the light of an incandescent lamp.図９は、白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。FIG. 9: is a figure which shows typically the label image|photographed in the dark environment under the light of an incandescent lamp.図１０は、明暗基準ＤＢの一例を示す図である。FIG. 10 is a diagram showing an example of the brightness/darkness reference DB.図１１Ａは、画像上の緑色領域と赤色領域との一例を示す図である。FIG. 11A is a diagram showing an example of a green region and a red region on an image.図１１Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。FIG. 11B is a diagram showing an example of a green region and a red region on the image.図１２は、実施の形態１に係る画像処理装置が実行する処理の手順を示すフローチャートである。FIG. 12 is a flowchart showing a procedure of processing executed by the image processing apparatus according to the first embodiment.図１３は、ヘルメットに貼り付けられたラベルの一例を示す図である。FIG. 13 is a diagram showing an example of a label attached to a helmet.図１４は、実施の形態２に係る画像処理装置が実行する処理の手順を示すフローチャートである。FIG. 14 is a flowchart showing a procedure of processing executed by the image processing apparatus according to the second embodiment.図１５は、実施の形態２の変形例に係る画像処理装置が実行する処理の手順を示すフローチャートである。FIG. 15 is a flowchart showing a procedure of processing executed by the image processing apparatus according to the modified example of the second embodiment.図１６は、実施の形態３に係る画像処理システムの構成を示すブロック図である。FIG. 16 is a block diagram showing the configuration of the image processing system according to the third embodiment.図１７は、明暗基準ＤＢの一例を示す図である。FIG. 17 is a diagram showing an example of the brightness/darkness reference DB.図１８は、実施の形態４に係る画像処理システムの構成を示すブロック図である。FIG. 18 is a block diagram showing the configuration of the image processing system according to the fourth embodiment.図１９は、明暗基準ＤＢの一例を示す図である。FIG. 19 is a diagram showing an example of the brightness/darkness reference DB.図２０は、明暗基準ＤＢの一例を示す図である。FIG. 20 is a diagram showing an example of the brightness/darkness reference DB.図２１は、人物を正面から見た図である。FIG. 21 is a diagram of a person viewed from the front.図２２は、段ボール箱の外観図である。FIG. 22 is an external view of a cardboard box.図２３は、フォークリフトが走行する道路を模式的に示す図である。FIG. 23 is a diagram schematically showing a road on which a forklift truck travels.

　［本開示が解決しようとする課題］
　マークの色は、照明の影響を受けやすく、同じ色のマークであっても、照明が異なると、異なる色のマークとしてカメラに撮影される場合がある。具体的には、日中の屋外のように太陽光下で赤色マークを撮影した場合には、赤色マークが黄色く映る場合がある。また、屋内の白熱電球光下で青色マークを撮影した場合には、青色マークが黒く映る場合がある。マークが本来の色とは異なる色の領域として撮影された場合には、二次元コードの誤検出や、情報の誤認識を起こしてしまう。[Problems to be solved by the present disclosure]
The color of the mark is easily influenced by the illumination, and even if the mark has the same color, the mark may be captured by the camera as a mark of a different color when the illumination is different. Specifically, when the red mark is photographed under sunlight like outdoors in the daytime, the red mark may appear yellow. Further, when the blue mark is photographed under the light of an incandescent lamp indoors, the blue mark may appear black. If the mark is photographed as an area having a color different from the original color, the two-dimensional code may be erroneously detected or the information may be erroneously recognized.

　本開示はこのような事情に鑑みてなされたものであり、照明の影響を受けずに、所定数以上の色領域を含むラベルを検出することのできる画像処理装置、コンピュータプログラム、および画像処理システムを提供することを目的とする。The present disclosure has been made in view of such circumstances, and an image processing device, a computer program, and an image processing system capable of detecting a label including a predetermined number or more of color regions without being affected by illumination. The purpose is to provide.

  ［本開示の効果］　　　
　本開示によると、照明の影響を受けずに、所定数以上の色領域を含むラベルを検出することができる。[Effect of the present disclosure]
According to the present disclosure, a label including a predetermined number or more of color regions can be detected without being affected by illumination.

　［本開示の実施形態の概要］
　最初に本開示の実施形態の概要を列記して説明する。
　（１）本開示の一実施形態に係る画像処理装置は、検出対象に取り付けられるラベルを検出する画像処理装置であって、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。[Outline of Embodiment of Present Disclosure]
First, the outline of the embodiments of the present disclosure will be listed and described.
(1) An image processing device according to an embodiment of the present disclosure is an image processing device that detects a label attached to a detection target, and an image acquisition unit that acquires a color image captured by a camera, and the camera. Based on the determination result of the brightness determination unit and the brightness determination unit, one or more colors among colors attached to the label including a predetermined number of color regions or more. The detection target color determination unit that determines the detection target color, and the label is detected by extracting the region of the detection target color determined by the detection target color determination unit from the image acquired by the image acquisition unit. And a label detection unit for

　この構成によると、所定数以上の色の領域を含むラベルの色の中から、カメラの撮像範囲の明るさに基づいて、１色以上の検出対象色が決定される。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。According to this configuration, one or more detection target colors are determined from the colors of the label including the predetermined number or more of color areas, based on the brightness of the imaging range of the camera. As a result, it is possible to determine the detection target color by excluding the color whose color appearance changes depending on the brightness. Therefore, by extracting the area of the detection target color, the label can be detected without being affected by the illumination.

　（２）好ましくは、前記ラベルは、前記領域に再帰性反射材を含む。(2) Preferably, the label includes a retroreflective material in the area.

　再帰性反射材は、光の入射角と出射角が等しくなる性質を有している。このため、ラベルがいずれかの方向に傾いていたとしても、カメラの光軸方向に沿った光をラベルに照射することにより、カメラは当該光のラベルでの反射光を受光することができる。これにより、夜間でもラベルを高精度に検出することができる。▽Retroreflective material has the property that the incident angle of light is equal to the outgoing angle. Therefore, even if the label is inclined in either direction, the camera can receive the reflected light of the light by irradiating the label with light along the optical axis direction of the camera. As a result, the label can be detected with high accuracy even at night.

　（３）また、前記明るさ判定部は、前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定してもよい。(3) Further, the brightness determination unit is configured such that the image acquired by the image acquisition unit, imaging parameter information regarding brightness adjustment acquired from the camera, and illuminance at a position included in an imaging range of the camera. The brightness may be determined based on at least one piece of illuminance information acquired from an illuminance sensor that measures.

　この構成によると、カメラの撮像範囲の明るさを容易に判定することができる。特に、画像または撮像パラメータに基づいて明るさを判定する場合には、明るさ判定のための特別な装置を設ける必要がないため、低コストで明るさを判定することができる。With this configuration, it is possible to easily determine the brightness of the imaging range of the camera. In particular, when determining the brightness based on an image or an imaging parameter, it is not necessary to provide a special device for determining the brightness, and thus the brightness can be determined at low cost.

　（４）また、前記検出対象色決定部は、前記所定数以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定してもよい。(4) In addition, the detection target color determination unit determines, as the detection target color, an intermediate wavelength color that is at least a color other than the color having the longest wavelength and the color having the shortest wavelength among the predetermined number of colors or more. You may.

　カメラの撮像範囲が明るい場合には、波長の長い色が本来の色とは異なる色として撮影され、カメラの撮像範囲が暗い場合には、波長の短い色が本来の色とは異なる色として撮影される。このため、少なくともこれらの色を除く中間波長色は、照明の影響を受けにくい。よって、この構成によると、照明の影響を受けずに、ラベルを検出することができる。When the image pickup range of the camera is bright, the color with a long wavelength is taken as a color different from the original color, and when the image pickup range of the camera is dark, the color with a short wavelength is taken as a color different from the original color. To be done. Therefore, at least the intermediate wavelength colors other than these colors are not easily affected by the illumination. Therefore, according to this configuration, the label can be detected without being affected by the illumination.

　（５）また、前記ラベル検出部は、前記中間波長色の領域から順に前記検出対象色の領域を抽出してもよい。(5) Further, the label detection unit may extract the regions of the detection target color in order from the region of the intermediate wavelength color.

　この構成によると、最も照明の影響を受けにくい中間波長色の領域から優先して、領域抽出を行うことができる。よって、中間波長色の領域が抽出できなかった場合には、他の検出対象色の領域を抽出する必要がなく、処理時間を短縮することができる。According to this configuration, it is possible to preferentially perform the area extraction from the area of the intermediate wavelength color that is least affected by the illumination. Therefore, when the region of the intermediate wavelength color cannot be extracted, it is not necessary to extract the region of another detection target color, and the processing time can be shortened.

　（６）また、前記ラベルは、赤色領域、青色領域および緑色領域を含んでもよい。(6) Further, the label may include a red area, a blue area, and a green area.

　光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。-The three primary colors of light, red, blue, and green, are colors with wavelengths that are appropriately separated. For this reason, even if one of the areas of one color is photographed as a color area different from the original color due to the influence of the illumination, the other two colors are not affected by the illumination and the Taken as a color area. Therefore, by using the other two colors as the detection target colors, the label can be detected without being affected by the illumination.

　（７）また、上述の画像処理装置は、さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備えてもよい。(7) Further, the above image processing apparatus may further include an output unit that outputs information according to the detection result of the label detection unit.

　この構成によると、例えば、ラベルを検出した際に、ラベルを検出したことを示す音声、アラーム音等の音をスピーカーから出力させたり、ラベルの検出結果を示す画像をディスプレイ装置に表示させたりできる。これにより、ユーザに、ラベルの検出結果を通知することができる。With this configuration, for example, when a label is detected, a sound indicating that the label is detected, a sound such as an alarm sound, can be output from the speaker, and an image indicating the detection result of the label can be displayed on the display device. .. This allows the user to be notified of the label detection result.

　（８）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、検出対象に取り付けられるラベルを検出する画像処理装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。(8) A computer program according to another embodiment of the present disclosure is a computer program for causing a computer to function as an image processing device that detects a label attached to a detection target, and the computer is imaged by a camera. An image acquisition unit that acquires a color image, a brightness determination unit that determines the brightness of the imaging range of the camera, and a predetermined number or more of color regions based on the determination result of the brightness determination unit The detection target color determination unit that determines one or more detection target colors from the colors attached to the label, and the detection that the detection target color determination unit determines from the image acquired by the image acquisition unit By extracting the region of the target color, it functions as a label detection unit that detects the label.

　この構成によると、コンピュータを、上述の画像処理装置として実現することができる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。With this configuration, the computer can be realized as the image processing device described above. Therefore, the same operation and effect as those of the image processing apparatus described above can be obtained.

　（９）本開示の他の実施形態に係る画像処理システムは、検出対象に取り付けられる、所定数以上の色の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。(9) An image processing system according to another embodiment of the present disclosure includes a label that is attached to a detection target and includes a predetermined number or more of color regions, a camera that captures a color image, and the image processing device described above. Equipped with.

　この構成には、上述の画像処理装置が含まれる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。This configuration includes the image processing device described above. Therefore, the same operation and effect as those of the image processing apparatus described above can be obtained.

　［本開示の実施形態の詳細］
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。[Details of the embodiment of the present disclosure]
Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings. It should be noted that each of the embodiments described below shows a preferred specific example of the present invention. Numerical values, shapes, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are examples, and are not intended to limit the present invention. The invention is defined by the claims. Therefore, among the constituent elements in the following embodiments, the constituent elements not described in the independent claims showing the highest concept of the present invention are not necessarily required to achieve the object of the present invention, but It is described as constituting the preferred form.

　また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。Also, the same components will be assigned the same reference numerals. Since their functions and names are also the same, description thereof will be omitted as appropriate.

　（実施の形態１）
　以下、実施の形態１に係る画像処理システムについて説明する。
　［画像処理システムの構成］
　図１は、実施の形態１に係る画像処理システムの取付例を示す図である。図２は、実施の形態１に係る画像処理システムの構成を示すブロック図である。(Embodiment 1)
The image processing system according to the first embodiment will be described below.
[Image processing system configuration]
FIG. 1 is a diagram showing an attachment example of the image processing system according to the first embodiment. FIG. 2 is a block diagram showing the configuration of the image processing system according to the first embodiment.

　以下では、フォークリフトにカメラおよび画像処理装置を設置した画像処理システムについて説明するが、カメラおよび画像処理装置の設置される場所はフォークリフトに限定されるものではない。例えば、自動車にこれらが取り付けられていてもよいし、カメラを所定エリアの監視用途に用いる場合には、当該エリアを撮像可能な場所にカメラを設置してもよい。The following describes an image processing system in which a camera and an image processing device are installed on a forklift, but the location where the camera and the image processing device are installed is not limited to the forklift. For example, these may be attached to the automobile, or when the camera is used for monitoring a predetermined area, the camera may be installed at a place where the area can be imaged.

　画像処理システム１は、フォークリフト２５の周囲を監視するためのシステムであり、カメラ２０と、照度センサ２６と、画像処理装置１０と、音出力装置３０と、表示装置４０と、端末装置５０とを備える。なお、図１および図２に示す画像処理システム１の構成は一例であり、例えば、音出力装置３０、表示装置４０および端末装置５０のいずれかが備えられていなくてもよい。The image processing system 1 is a system for monitoring the periphery of theforklift 25, and includes acamera 20, anilluminance sensor 26, animage processing device 10, asound output device 30, adisplay device 40, and aterminal device 50. Prepare The configuration of the image processing system 1 illustrated in FIGS. 1 and 2 is an example, and any one of thesound output device 30, thedisplay device 40, and theterminal device 50 may not be provided.

　カメラ２０は、例えば、フォークリフト２５の後方を撮像可能な位置（例えば、フォークリフト２５のヘッドガード後端位置など）に取り付けられ、フォークリフト２５の後方のカラー画像を撮像する。カメラ２０のカメラレンズは、例えば、画角１２０°以上の超広角レンズである。なお、カメラ２０での夜間撮影のために、フォークリフト２５にヘッドライトなどの光源を備えるのが望ましい。また、光源は、カメラ２０の光軸方向に光を照射するのが望ましい。Thecamera 20 is attached, for example, at a position where the rear of theforklift 25 can be imaged (for example, the rear end position of the head guard of the forklift 25) and captures a color image of the rear of theforklift 25. The camera lens of thecamera 20 is, for example, an ultra wide-angle lens having an angle of view of 120° or more. In addition, it is desirable that theforklift 25 be provided with a light source such as a headlight so that thecamera 20 can shoot at night. Further, it is desirable that the light source emits light in the optical axis direction of thecamera 20.

　フォークリフト２５の後方には、フォークリフト２５の撮像領域２１から外れる死角領域２２が生じる場合がある。なお、図１では、撮像領域２１と死角領域２２との境界２３を破線で示している。この死角領域２２をカバーするために、フォークリフト２５の撮像領域２１内にミラー６０が設置されている。つまり、カメラ２０がミラー６０越しに撮像した場合の撮像領域６１が死角領域２２をカバーするようにミラー６０を配置することにより、カメラ２０が、死角領域２２に存在する人物７２を撮像することができる。なお、死角領域２２を撮像するために、ミラー６０の代わりに、カメラ２０とは異なる他のカメラをフォークリフト２５に配置してもよい。In the rear of theforklift 25, there may be ablind spot region 22 that deviates from theimaging region 21 of theforklift 25. In FIG. 1, theboundary 23 between theimaging area 21 and theblind spot area 22 is indicated by a broken line. In order to cover theblind spot area 22, amirror 60 is installed in theimage pickup area 21 of theforklift 25. That is, by disposing themirror 60 so that theimage pickup area 61 covers theblind spot area 22 when thecamera 20 picks up the image through themirror 60, thecamera 20 can pick up theperson 72 existing in theblind spot area 22. it can. Instead of themirror 60, another camera different from thecamera 20 may be arranged on theforklift 25 in order to image theblind spot area 22.

　照度センサ２６は、受光素子に入射した光を電流に変換して照度を測定するセンサである。照度センサ２６は、例えば、フォークリフト２５の天井部分等に配置され、カメラ２０の撮像範囲に含まれる位置の照度を測定する。なお、照度センサ２６は、カメラ２０の近傍または撮像領域２１内に設けられるのが望ましい。また、照度センサ２６は、カメラ２０の光軸方向の照度を測定可能なように、照度センサ２６のセンサ面が該光軸方向と垂直となる位置に取り付けられるのが望ましい。Illuminance sensor 26 is a sensor that measures the illuminance by converting the light incident on the light receiving element into an electric current. Theilluminance sensor 26 is arranged, for example, on the ceiling portion of theforklift 25 and measures the illuminance at a position included in the imaging range of thecamera 20. Theilluminance sensor 26 is preferably provided near thecamera 20 or in theimaging area 21. Further, it is desirable that theilluminance sensor 26 is attached at a position where the sensor surface of theilluminance sensor 26 is perpendicular to the optical axis direction so that the illuminance of thecamera 20 in the optical axis direction can be measured.

　なお、照度センサ２６は、必ずしもフォークリフト２５に設置されていなくてもよい。例えば、照度センサ２６Ａが、フォークリフト２５の走行可能範囲内に予め設置されていてもよい。つまり、照度センサ２６Ａが、フォークリフト２５の走行経路上や走行経路の近傍に設置されていてもよい。ここで、照度センサ２６Ａは、照度センサ２６と同様に周囲の照度を測定するセンサである。Note that theilluminance sensor 26 does not necessarily have to be installed on theforklift 25. For example, theilluminance sensor 26A may be installed in advance within the travelable range of theforklift 25. That is, theilluminance sensor 26A may be installed on the traveling route of theforklift 25 or in the vicinity of the traveling route. Here, theilluminance sensor 26A is a sensor that measures the illuminance of the surroundings, like theilluminance sensor 26.

　また、照度センサ２６または２６Ａによる照度の測定範囲は、カメラ２０の撮影範囲に含まれていることが望ましいが、数ｍ程度であれば、測定範囲および撮影範囲が多少ずれていても良い。多少の位置ずれにより照度が急激に変化することは考えにくいため、この程度のずれであれば、画像処理の結果に影響を及ぼさないと考えられるからである。Also, the measurement range of the illuminance by theilluminance sensor 26 or 26A is preferably included in the shooting range of thecamera 20, but the measurement range and the shooting range may be slightly different as long as they are about several meters. This is because it is unlikely that the illuminance will change abruptly due to a slight positional shift, and it is considered that such a shift will not affect the result of image processing.

　画像処理装置１０は、フォークリフト２５に設置されたコンピュータである。画像処理装置１０は、カメラ２０に接続され、カメラ２０が撮像した撮像領域２１および６１の画像から、人物７１および７２を検出する。なお、本実施の形態では、人物７１および７２には、所定数の色の領域が所定の位置関係で配置されているラベルを付けているものとする。なお、以下では所定数を３として説明を行うが、所定数は３に限定されるものではなく１以上の自然数であればそれ以外の数であってもよい。つまり、ラベルには予め定められた１色以上の領域が配置されていればよい。Theimage processing device 10 is a computer installed in theforklift 25. Theimage processing device 10 is connected to thecamera 20 and detects thepersons 71 and 72 from the images of theimaging regions 21 and 61 captured by thecamera 20. In addition, in the present embodiment, it is assumed that thepersons 71 and 72 are labeled with a predetermined number of color areas arranged in a predetermined positional relationship. Although the following description will be given with the predetermined number being 3, the predetermined number is not limited to 3 and may be any other number as long as it is a natural number of 1 or more. That is, it is sufficient that the label has at least one predetermined color region.

　また、ラベルは、色の領域に再帰性反射材を含むのが好ましい。再帰性反射材は、例えば、ガラスビーズをラベルの表面に配置したものであり、光源からの光をガラスビーズ内で反射させ、反射光を光源方向に戻す性質を有する。Also, the label preferably includes a retroreflective material in the color area. The retroreflective material is, for example, glass beads arranged on the surface of the label, and has a property of reflecting the light from the light source in the glass beads and returning the reflected light to the light source direction.

　図３Ａは、人物が被るヘルメットを側方から見た図であり、図３Ｂは、そのヘルメットを上方から見た図である。3A is a side view of a helmet worn by a person, and FIG. 3B is a top view of the helmet.

　図３Ａおよび図３Ｂに示すように、ヘルメット８０には、ラベル９０Ａがそれぞれ貼り付けられている。ラベル９０Ａは、平行に配置された青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成される。図３Ａに示すように、ヘルメット８０の幅が２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ａの幅は約６０ｍｍ、長さは約１８０～２５０ｍｍとすることができる。As shown in FIGS. 3A and 3B, alabel 90A is attached to thehelmet 80. Thelabel 90A includes ablue label 91B, ared label 91R and agreen label 91G which are arranged in parallel. As shown in FIG. 3A, when thehelmet 80 has a width of 283 mm and a height of 148 mm, thelabel 90A can have a width of about 60 mm and a length of about 180 to 250 mm.

　なお、青ラベル９１Ｂおよび赤ラベル９１Ｒとの間、および赤ラベル９１Ｒと緑ラベル９１Ｇとの間には、それぞれ間隙領域９２が設けられている。間隙領域９２は、例えば黒色の領域であり、２～３ｍｍの幅を有する。間隙領域９２を設けることにより、フォークリフト２５の走行時の振動などによりカメラ２０で撮像された画像に乱れが生じている場合であっても、ある色ラベルの色が隣接する色ラベルの色と混じり合って撮像されるのを防止することができる。Agap area 92 is provided between theblue label 91B and thered label 91R and between thered label 91R and thegreen label 91G. Thegap area 92 is, for example, a black area and has a width of 2 to 3 mm. By providing thegap area 92, even when the image captured by thecamera 20 is disturbed due to vibration during traveling of theforklift 25, the color of a certain color label is mixed with the color of the adjacent color label. It is possible to prevent the image from being captured in conformity.

　図３Ｂに示すように、図３Ａに示したラベル９０Ａと同様のラベル９０Ａがヘルメット８０の上方にも貼り付けられている。また、ラベル９０Ａは、ヘルメット８０の反対側の側面および前後にも貼り付けられている。なお、図３Ａでは、図示の関係上、ヘルメット８０の左側面のラベル９０Ａのみを示している。このように、あらゆる箇所にラベル９０Ａを貼り付けることで、人物がどのような姿勢（直立、しゃがみ込み等）を行っても、いずれかのラベル９０Ａがカメラ２０に撮像されるようにすることができる。As shown in FIG. 3B, alabel 90A similar to thelabel 90A shown in FIG. 3A is also attached above thehelmet 80. Thelabel 90A is also attached to the opposite side surface of thehelmet 80 and to the front and back. 3A, only thelabel 90A on the left side surface of thehelmet 80 is shown for the sake of illustration. In this way, by attaching thelabel 90A to every place, it is possible to cause thecamera 20 to capture an image of anylabel 90A regardless of the posture of the person (upright, crouching, etc.). it can.

　ラベル９０Ａは、光の３原色のラベルである赤ラベル９１Ｒ、緑ラベル９１Ｇおよび青ラベル９１Ｂから構成されている。Thelabel 90A is composed of ared label 91R, agreen label 91G, and ablue label 91B, which are labels of the three primary colors of light.

　図４は、各色ラベルのマンセル表色系（ＪＩＳ（Japanese Industrial Standards）　Ｚ８７２１）における表現を示す図である。FIG. 4 is a diagram showing an expression in the Munsell color system (JIS (Japanese Industrial Standards) Z8721) of each color label.

　図４において、Ｈ、Ｖ、Ｃは、それぞれマンセル表色系における色相、明度、彩度を示す。つまり、赤ラベル９１Ｒの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ～７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。緑ラベル９１Ｇの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ～２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。青ラベル９１Ｂの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ～５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。ただし、ラベル９０Ａは、光の３原色のラベルから構成されるものには限定されず、それ以外の色のラベルから構成されていてもよい。In FIG. 4, H, V, and C respectively indicate the hue, lightness, and saturation in the Munsell color system. That is, the color of thered label 91R includes the Munsell color system hue (H) in the range of 10P to 7.5YR, the lightness (V) of 3 or more, and the saturation (C) of 2 or more. .. The color of thegreen label 91G includes the Munsell color system hue (H) in the range of 2.5 GY to 2.5 BG, the lightness (V) of 3 or more, and the saturation (C) of 2 or more. .. The color of theblue label 91B includes the Munsell color system hue (H) in the range of 5BG to 5P, the lightness (V) of 1 or more, and the saturation (C) of 1 or more. However, thelabel 90A is not limited to the label composed of the three primary colors of light, and may be composed of the label of other colors.

　図５は、各色ラベルの分光反射率を示す図である。横軸は波長（ｎｍ）を示し、縦軸は分光反射率（％）を示す。FIG. 5 is a diagram showing the spectral reflectance of each color label. The horizontal axis represents wavelength (nm) and the vertical axis represents spectral reflectance (%).

　図５に示すように、赤ラベル９１Ｒが示す赤色は、波長７００ｎｍ付近に分光反射率のピークを有する。緑ラベル９１Ｇが示す緑色は、波長５４６．１ｎｍ付近に分光反射率のピークを有する。青ラベル９１Ｂが示す青色は、波長４３５．８ｎｍ付近に分光反射率のピークを有する。なお、各色の分光反射率のピークは上記した値に限定されるものではない。例えば、赤色は、波長７００±３０ｎｍに分光反射率のピークを有していればよい。緑色は、波長５４６．１±３０ｎｍに分光反射率のピークを有していればよい。青色は、波長４３５．８±３０ｎｍに分光反射率のピークを有していればよい。As shown in FIG. 5, the red color indicated by thered label 91R has a spectral reflectance peak near a wavelength of 700 nm. The green color indicated by thegreen label 91G has a spectral reflectance peak near a wavelength of 546.1 nm. The blue color indicated by theblue label 91B has a spectral reflectance peak near the wavelength of 435.8 nm. The peak of the spectral reflectance of each color is not limited to the above value. For example, red may have a spectral reflectance peak at a wavelength of 700±30 nm. Green may have a peak of spectral reflectance at a wavelength of 546.1±30 nm. Blue may have a peak of spectral reflectance at a wavelength of 435.8±30 nm.

　また、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇは、蛍光テープにより構成されていたり、これらのラベルに蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。Also, it is preferable that theblue label 91B, thered label 91R, and thegreen label 91G are made of fluorescent tape or that these labels are coated with fluorescent paint. As a result, the label can be easily recognized even in an environment where the illuminance is low, such as at night or in cloudy weather. Further, the label can be recognized without using a special camera such as an infrared camera.

　図１を参照して、画像処理装置１０は、カメラ２０が撮像した画像からラベル９０Ａを検出することにより、人物の検出を行う。なお、画像処理装置１０の詳細な構成については後述する。Referring to FIG. 1, theimage processing apparatus 10 detects a person by detecting thelabel 90A from the image captured by thecamera 20. The detailed configuration of theimage processing apparatus 10 will be described later.

　音出力装置３０は、例えば、フォークリフト２５のドライバーの座席付近に設置され、スピーカーを含んで構成される。音出力装置３０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことをドライバーに通知するメッセージ音声やアラーム音などの通知音を出力する。Thesound output device 30 is installed, for example, near the driver's seat of theforklift 25 and includes a speaker. Thesound output device 30 is connected to theimage processing device 10 and outputs a notification sound such as a message sound or an alarm sound that notifies the driver that theimage processing device 10 has detected theperson 71 or theperson 72.

　表示装置４０は、例えば、フォークリフト２５のドライバーが視認可能な位置に設置され、液晶ディスプレイなどを含んで構成される。表示装置４０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像を表示する。Thedisplay device 40 is installed, for example, at a position where the driver of theforklift 25 can visually recognize, and is configured to include a liquid crystal display and the like. Thedisplay device 40 is connected to theimage processing device 10 and displays an image informing that theimage processing device 10 has detected theperson 71 or theperson 72.

　端末装置５０は、例えば、フォークリフト２５を管理する管理室などフォークリフト２５と離れた場所に設置されるコンピュータである。端末装置５０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像または音を出力したり、人物７１または人物７２を検出したことを時刻情報とともにログ情報として記録したりする。なお、端末装置５０と画像処理装置１０との間は、４Ｇまたは５Ｇなどの通信規格に従った携帯電話回線や、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）により接続されていてもよい。Theterminal device 50 is, for example, a computer installed in a place apart from theforklift 25, such as a management room that manages theforklift 25. Theterminal device 50 is connected to theimage processing device 10 and outputs an image or a sound notifying that theimage processing device 10 has detected theperson 71 or theperson 72, or detects that theperson 71 or theperson 72 has been detected together with time information. It is recorded as log information. It should be noted that theterminal device 50 and theimage processing device 10 are connected by a mobile phone line according to a communication standard such as 4G or 5G, or a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark). May be.

　なお、端末装置５０は、人物７１または７２が携帯するスマートフォンなどであってもよい。これにより、端末装置５０は、画像処理装置１０により人物７１または７２自身が検出されたこと、つまり、人物７１または７２の近くにフォークリフト２５が存在することを、人物７１または７２に通知することができる。Note that theterminal device 50 may be a smartphone or the like carried by theperson 71 or 72. Thereby, theterminal device 50 can notify theperson 71 or 72 that theperson 71 or 72 itself has been detected by theimage processing apparatus 10, that is, that theforklift 25 exists near theperson 71 or 72. it can.

　なお、画像処理装置１０、カメラ２０、音出力装置３０および表示装置４０の機能が、スマートフォンやカメラ付のコンピュータなどに備えられていてもよい。例えば、図１に示したカメラ２０の位置に、スマートフォンを取り付けることにより、スマートフォンが撮像した画像を、スマートフォンが処理して、人物７１および７２を検出する。また、スマートフォンが検出結果を音または画像により通知する。ただし、スマートフォンがカメラ２０の位置に取り付けられている場合には、ドライバーは画像を見ることができない。このため、別のタブレット装置などをドライバーが視認可能な位置に設置し、タブレット装置がスマートフォンから送信された画像を表示するようにしてもよい。タブレット装置とスマートフォンとの間は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信規格に従い無線接続されていてもよい。The functions of theimage processing device 10, thecamera 20, thesound output device 30, and thedisplay device 40 may be provided in a smartphone, a computer with a camera, or the like. For example, by attaching the smartphone to the position of thecamera 20 shown in FIG. 1, the smartphone processes the image captured by the smartphone and detects thepersons 71 and 72. In addition, the smartphone notifies the detection result by sound or image. However, when the smartphone is attached to the position of thecamera 20, the driver cannot see the image. Therefore, another tablet device or the like may be installed at a position visible to the driver, and the tablet device may display the image transmitted from the smartphone. The tablet device and the smartphone may be wirelessly connected according to a wireless communication standard such as Wi-Fi (registered trademark), Bluetooth (registered trademark), Zigbee (registered trademark).

　［照明環境によるラベルの色の見え方の変化について］
　次に、照明環境によって、ラベル９０Ａの色の見え方が変化する現象について説明する。[Regarding changes in label color appearance due to lighting environment]
Next, a phenomenon in which the color appearance of thelabel 90A changes depending on the illumination environment will be described.

　図６は、太陽光の分光分布を示す図である。横軸が波長を示し、縦軸が放射エネルギーを示す。FIG. 6 is a diagram showing the spectral distribution of sunlight. The horizontal axis represents wavelength and the vertical axis represents radiant energy.

　太陽光に含まれる赤色、緑色および青色の光の成分を比較すると、赤色の光の成分が、緑色および青色の光の成分よりも少ない。このため、太陽を光源とする屋外でカメラ２０が赤色領域を撮影した場合には、カメラ２０が受光する赤色成分の光が相対的に弱くなる。よって、画像上では赤色領域が黄色領域として映る場合がある。Comparing the red, green, and blue light components contained in sunlight, the red light component is smaller than the green and blue light components. For this reason, when thecamera 20 photographs the red region outdoors using the sun as the light source, the light of the red component received by thecamera 20 becomes relatively weak. Therefore, the red area may appear as a yellow area on the image.

　図７は、太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。
　図７に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、太陽光の影響により、赤色成分の光の強度が弱い。このため、画像上では赤ラベル９１Ｒが、黄色いラベルとして映ってしまう。FIG. 7: is a figure which shows typically the label image|photographed in the bright environment under sunlight.
Thelabel 90A shown in FIG. 7 is the same as thelabel 90A shown in FIG. 3A. However, the intensity of the red component light is weak due to the effect of sunlight. Therefore, thered label 91R appears as a yellow label on the image.

　図８は、白熱電球の光の分光分布を示す図である。横軸が波長を示し、縦軸が比エネルギーを示す。比エネルギーは、測定した波長範囲での発光強度の最大値を１００％とした場合の相対的な強度を示す。FIG. 8 is a diagram showing a spectral distribution of light from an incandescent lamp. The horizontal axis represents wavelength and the vertical axis represents specific energy. The specific energy is a relative intensity when the maximum value of the emission intensity in the measured wavelength range is 100%.

　白熱電球光に含まれる赤色、緑色および青色の光の成分を比較すると、青色の成分が赤色および緑色の成分よりも少ない。このため、白熱電球を光源とする屋内でカメラ２０が青色領域を撮影した場合には、カメラ２０が受光する青色成分の光が相対的に弱くなる。よって、画像上では青色領域が黒色領域として映る場合がある。Comparing the red, green, and blue light components contained in incandescent light bulbs, the blue component is less than the red and green components. For this reason, when thecamera 20 shoots a blue region indoors using an incandescent lamp as a light source, the blue component light received by thecamera 20 becomes relatively weak. Therefore, the blue area may appear as a black area on the image.

　図９は、白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。
　図９に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、白熱電球光の影響により、青色成分の光の強度が弱い。このため、画像上では青ラベル９１Ｂが、黒色のラベルとして映ってしまう。FIG. 9: is a figure which shows typically the label image|photographed in the dark environment under the light of an incandescent lamp.
Thelabel 90A shown in FIG. 9 is the same as thelabel 90A shown in FIG. 3A. However, the intensity of the blue component light is weak due to the effect of the light from the incandescent lamp. Therefore, theblue label 91B appears as a black label on the image.

　なお、暗い環境で用いられる照明は、白熱電球に限定されるものではなく、その他の色の電球であってもよいし、蛍光灯やＬＥＤ（Light Emitting Diode）照明等であってもよい。Note that the lighting used in a dark environment is not limited to incandescent light bulbs, and may be light bulbs of other colors, fluorescent lights or LED (Light Emitting Diode) lighting.

　このように、照明の影響により各色ラベルの色の見え方が変化する場合がある。本実施の形態では、照明の影響を受けずに、ラベル９０Ａを検出することのできる画像処理装置１０について、以下説明する。In this way, the appearance of the color of each color label may change due to the influence of lighting. In the present embodiment, animage processing device 10 that can detect thelabel 90A without being affected by illumination will be described below.

　［画像処理装置１０の構成］
　図２を参照して、画像処理装置１０の機能的な構成についてより詳細に説明する。[Configuration of Image Processing Device 10]
The functional configuration of theimage processing apparatus 10 will be described in more detail with reference to FIG.

　画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信Ｉ／Ｆ（インタフェース）、タイマーなどを備える一般的なコンピュータにより構成される。画像処理装置１０は、ＨＤＤまたはＲＯＭからＲＡＭに読み出したコンピュータプログラムを実行することにより実現される機能的な構成として、画像取得部１１と、明るさ判定部１２と、検出対象色決定部１３と、ラベル検出部１４と、出力部１５とを備える。また、画像処理装置１０は、記憶装置１６を備える。Theimage processing device 10 is a general computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), a communication I/F (interface), a timer, and the like. It is composed of Theimage processing apparatus 10 has animage acquisition unit 11, abrightness determination unit 12, a detection targetcolor determination unit 13 as a functional configuration realized by executing a computer program read from a HDD or a ROM into a RAM. Thelabel detection unit 14 and theoutput unit 15 are provided. Theimage processing apparatus 10 also includes a storage device 16.

　画像取得部１１は、通信Ｉ／Ｆを介して、カメラ２０が撮像したカラーの画像を取得する。つまり、図１に示した撮像領域２１および６１をカメラ２０が撮像した画像を取得する。Theimage acquisition unit 11 acquires a color image captured by thecamera 20 via the communication I/F. That is, an image obtained by thecamera 20 capturing theimage capturing areas 21 and 61 shown in FIG. 1 is acquired.

　明るさ判定部１２は、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度情報に基づいて、後述する記憶装置１６に記憶されている明暗基準ＤＢ（データベース）を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する。Thebrightness determination unit 12 determines the brightness of the imaging range of thecamera 20. In other words, thebrightness determination unit 12 refers to the brightness/darkness reference DB (database) stored in the storage device 16 described later on the basis of the illuminance information of the imaging range of thecamera 20 measured by theilluminance sensor 26 and refers to thecamera 20. It is determined whether the imaging range of is a bright environment, a dark environment, or an environment of medium brightness.

　なお、明るさ判定部１２は、フォークリフト２５以外に設置された照度センサ２６Ａから照度情報を取得する場合には、無線通信により照度センサ２６Ａから照度情報を直接受信してもよいし、端末装置５０を経由して照度センサ２６Ａから照度情報を受信してもよい。その際、明るさ判定部１２は、フォークリフト２５の位置とカメラ２０のカメラパラメータ（光軸方向、ズーム倍率等）とから、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定し、特定した照度センサ２６Ａから照度情報を取得する。なお、明るさ判定部１２は、照度センサ２６Ａから照度情報とともに位置情報を取得可能な場合には、取得した位置情報が示す照度センサ２６Ａの位置と、フォークリフト２５の位置とを比較することにより、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定してもよい。Note that thebrightness determination unit 12 may directly receive the illuminance information from theilluminance sensor 26A by wireless communication when acquiring the illuminance information from theilluminance sensor 26A installed other than theforklift 25, or theterminal device 50. The illuminance information may be received from theilluminance sensor 26A via the. At that time, thebrightness determination unit 12 specifies theilluminance sensor 26A included in the imaging range of thecamera 20 from the position of theforklift 25 and the camera parameters (optical axis direction, zoom magnification, etc.) of thecamera 20, and specifies the specified illuminance. The illuminance information is acquired from thesensor 26A. In addition, thebrightness determination unit 12 compares the position of theilluminance sensor 26A indicated by the acquired position information with the position of theforklift 25 when the position information can be acquired together with the illuminance information from theilluminance sensor 26A. Theilluminance sensor 26A included in the imaging range of thecamera 20 may be specified.

　図１０は、明暗基準ＤＢ１７の一例を示す図である。
　明暗基準ＤＢ１７は、照度（ＩＬ）に基づいて、当該照度を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘの環境は、暗い環境である。照度が５００≦ＩＬ＜１００００の環境は、中程度の明るさの環境である。照度がＩＬ≧１００００の環境は、明るい環境である。FIG. 10 is a diagram showing an example of the brightness/darkness reference DB 17.
The brightness/darkness reference DB 17 indicates a reference for determining whether the environment having the illuminance is a bright environment, a dark environment, or a medium brightness environment based on the illuminance (IL). For example, according to the brightness/darkness reference DB 17 shown in FIG. 10, the environment where the illuminance is IL<500 lx is a dark environment. The environment where the illuminance is 500≦IL<10000 is a medium brightness environment. The environment in which the illuminance is IL≧10000 is a bright environment.

　つまり、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ＜５００ｌｘであれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬが５００≦ＩＬ＜１００００であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ≧１００００であれば、カメラ２０の撮像範囲は明るい環境であると判定する。なお、明暗基準ＤＢ１７が示す数値は一例であり、これ以外の数値であってもよいのは言うまでもない。以降の図においても同様である。That is, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is a dark environment if the illuminance IL measured by theilluminance sensor 26 is IL<500 lx. If the illuminance IL measured by theilluminance sensor 26 is 500≦IL<10000, thebrightness determination unit 12 determines that the image capturing range of thecamera 20 is an environment of medium brightness. Furthermore, if the illuminance IL measured by theilluminance sensor 26 is IL≧10000, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is a bright environment. It is needless to say that the numerical values indicated by the brightness/darkness reference DB 17 are examples, and other numerical values may be used. The same applies to subsequent figures.

　検出対象色決定部１３は、明るさ判定部１２の判定結果に基づいて、ラベル９０Ａに付された色の中から１色以上の検出対象色を決定する。以下では、検出対象色決定部１３は、ラベル９０Ａに付された３色の中から２色以上の検出対象色を決定するものとする。つまり、検出対象色決定部１３は、照明環境によって見え方が変化する色を除く色を検出対象色として決定する。The detection targetcolor determination unit 13 determines one or more detection target colors from the colors attached to thelabel 90A based on the determination result of thebrightness determination unit 12. Hereinafter, it is assumed that the detection targetcolor determination unit 13 determines two or more detection target colors from the three colors attached to thelabel 90A. That is, the detection targetcolor determination unit 13 determines, as a detection target color, a color excluding a color whose appearance changes depending on the illumination environment.

　具体的には、明るい環境では、赤色領域が黄色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が明るい環境と判定した場合には、赤色を除く、緑色および青色の２色を検出対象色として決定する。Specifically, in a bright environment, red areas may appear as yellow areas in the image. Therefore, when thebrightness determination unit 12 determines that the environment is bright, the detection targetcolor determination unit 13 determines two colors, green and blue, excluding red, as detection target colors.

　また、暗い環境では、青色領域が黒色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が暗い環境と判定した場合には、青色を除く、赤色および緑色の２色を検出対象色として決定する。Also, in a dark environment, the blue area may appear as a black area in the image. Therefore, when thebrightness determination unit 12 determines that the environment is dark, the detection targetcolor determination unit 13 determines two colors, red and green, excluding blue, as detection target colors.

　ただし、ここで言う暗い環境は白熱電球光下の環境を示している。このため、蛍光灯やＬＥＤ照明などの他の人工光源下では、見え方が変化する色が青色とは限らない。このため、人工光源が白熱電球以外の場合には、検出対象色決定部１３は、人工光源の種類に応じて、見え方が変化する色を除いた色を、検出対象色として決定する。However, the dark environment referred to here indicates the environment under the light of an incandescent light bulb. Therefore, under other artificial light sources such as fluorescent lamps and LED lighting, the color in which the appearance changes is not always blue. Therefore, when the artificial light source is other than an incandescent light bulb, the detection targetcolor determination unit 13 determines a color excluding a color whose appearance changes according to the type of the artificial light source as the detection target color.

　中程度の明るさの環境で、赤色領域、緑色領域および青色領域をカメラ２０で撮影した場合には、カメラ２０が受光する光の強度は各領域間で大差がないと考えられる。このため、検出対象色決定部１３は、明るさ判定部１２が中程度の明るさの環境と判定した場合には、赤色、緑色および青色の３色を検出対象色として決定する。When the red, green, and blue areas are photographed by thecamera 20 in a moderately bright environment, it is considered that the light intensity received by thecamera 20 does not differ much between the areas. For this reason, the detection targetcolor determination unit 13 determines three colors of red, green, and blue as the detection target colors when thebrightness determination unit 12 determines that the environment has medium brightness.

　ラベル検出部１４は、画像取得部１１が取得した画像から、検出対象色決定部１３が決定した検出対象色の領域を抽出することにより、ラベル９０Ａを検出する。Thelabel detection unit 14 detects thelabel 90A by extracting the area of the detection target color determined by the detection targetcolor determination unit 13 from the image acquired by theimage acquisition unit 11.

　具体的には、ラベル検出部１４は、画像取得部１１が取得した画像を構成する各画素の色空間上の画素値と所定の閾値とに基づいて、検出対象色の領域を抽出する。ここでは、色空間としてＨＳＶ色空間を想定する。また、ＨＳＶ色空間上の画素値として、色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を想定する。Specifically, thelabel detection unit 14 extracts the region of the detection target color based on the pixel value in the color space of each pixel forming the image acquired by theimage acquisition unit 11 and a predetermined threshold value. Here, the HSV color space is assumed as the color space. Further, hue (H), saturation (S), and lightness (V) are assumed as pixel values in the HSV color space.

　なお、画像取得部１１が取得した画像がＲＧＢ色空間の画素値から構成される場合には、ラベル検出部１４は、ＲＧＢ色空間の画素値をＨＳＶ色空間の画素値に変換した上で、領域抽出処理を行う。ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は例えば、以下の式１～式３に従い実行される。When the image acquired by theimage acquisition unit 11 is composed of pixel values in the RGB color space, thelabel detection unit 14 converts the pixel value in the RGB color space into the pixel value in the HSV color space, and then Region extraction processing is performed. The conversion from the pixel value of the RGB color space to the pixel value of the HSV color space is executed according to the following Expressions 1 to 3, for example.

　　　

　　　

　ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。また、MAXは、変換前の画素の赤色成分、緑色成分および青色成分の最大値を表す。MINは、変換前の画素の赤色成分、緑色成分および青色成分の最小値を表す。Here, R, G, and B represent the red component, green component, and blue component of the pixel before conversion, respectively. Further, MAX represents the maximum value of the red component, green component, and blue component of the pixel before conversion. MIN represents the minimum value of the red component, green component, and blue component of the pixel before conversion.

　ラベル検出部１４には、例えば、緑色の色相（Ｈ）の閾値として、９５および１４５が設定され、緑色の彩度（Ｓ）の閾値として７０および１００が設定され、緑色の明度（Ｖ）の閾値として７０および１００が設定されているものとする。緑色が検出対象色の場合には、ラベル検出部１４は、ある画素の色相（Ｈ）が９５以上かつ１４５以下で、彩度（Ｓ）が７０以上かつ１００以下で、明度（Ｖ）が７０以上かつ１００以下である場合に、当該画素を緑色画素として抽出する。In thelabel detection unit 14, for example, 95 and 145 are set as the threshold value of the green hue (H), 70 and 100 are set as the threshold value of the green saturation (S), and the green lightness (V) is set. It is assumed that 70 and 100 are set as the threshold values. When green is the detection target color, thelabel detection unit 14 has a hue (H) of a pixel of 95 or more and 145 or less, a saturation (S) of 70 or more and 100 or less, and a lightness (V) of 70. When it is equal to or more than 100 and equal to or less than 100, the pixel is extracted as a green pixel.

　ラベル検出部１４には、同様に、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値と、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値とが設定されているものとする。赤色が検出対象色の場合には、ラベル検出部１４は、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から赤色画素を抽出する。青色が検出対象色の場合には、ラベル検出部１４は、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から青色画素を抽出する。Similarly, thelabel detection unit 14 has red (H), saturation (S) and lightness (V) thresholds and blue (H), saturation (S) and lightness (V) thresholds. It is assumed that and are set. When red is the detection target color, thelabel detection unit 14 extracts red pixels from the image using the threshold values of the hue (H), saturation (S), and lightness (V) of red. When blue is the detection target color, thelabel detection unit 14 extracts blue pixels from the image using the threshold values of blue hue (H), saturation (S), and lightness (V).

　ラベル検出部１４は、検出対象色の画素である緑色画素、赤色画素または青色画素に対してそれぞれラベリング処理を施し、ラベリング処理により同一のラベル（符号）が付された画素同士を１つの領域として、緑色領域、赤色領域または青色領域を抽出する。なお、ラベル検出部１４は、抽出した緑色領域、赤色領域または青色領域の各々に対して膨張収縮処理や領域サイズによるフィルタリング処理を施すことによりノイズ領域を除去してもよい。Thelabel detection unit 14 performs labeling processing on green pixels, red pixels, or blue pixels, which are pixels of the color to be detected, and sets pixels having the same label (code) by the labeling processing as one area. , Green area, red area or blue area is extracted. Thelabel detection unit 14 may remove the noise area by performing expansion/contraction processing or area size filtering processing on each of the extracted green area, red area, or blue area.

　ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有している場合には、画像取得部１１が取得した画像に検出対象色の領域が含まれると判定する。例えば、検出対象色が赤色、緑色および青色の場合には、ラベル検出部１４は、画像上で緑色領域の中心位置から所定距離範囲内に赤色領域が存在し、かつ赤色領域の中心位置から所定距離範囲内に青色領域が存在する場合に、画像に緑色領域、赤色領域および青色領域が含まれると判定する。ラベル検出部１４は、画像に検出対象色の領域が含まれると判定した場合には、画像中でラベル９０Ａを検出したこととする。これにより、ラベル検出部１４は、フォークリフト２５の周囲に人物が存在すると判定することができる。Thelabel detection unit 14 determines that the image acquired by theimage acquisition unit 11 includes the detection target color region when the extracted detection target color regions have a predetermined positional relationship. For example, when the detection target colors are red, green, and blue, thelabel detection unit 14 determines that a red area exists within a predetermined distance range from the center position of the green area on the image and the center position of the red area is predetermined. When the blue area exists within the distance range, it is determined that the image includes the green area, the red area, and the blue area. When thelabel detection unit 14 determines that the image includes the region of the detection target color, it is determined that thelabel 90A is detected in the image. Thereby, thelabel detection unit 14 can determine that a person is present around theforklift 25.

　なお、ラベル検出部１４は、明るさ判定部１２の判定結果に応じて、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を変更してもよい。カメラ２０の撮像範囲の明るさに応じて閾値を変更することで、ラベル検出部１４は、より正確に領域抽出を行うことができる。例えば、ラベル検出部１４は、撮像範囲が明るいほど、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値が大きくなるように、各閾値を変更してもよい。具体的には、ラベル検出部１４は、撮像範囲の明るさと、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値との対応関係を示したテーブル情報を参照して、各閾値を変更してもよい。Thelabel detection unit 14 may change the threshold values of the hue (H), saturation (S), and lightness (V) of each color according to the determination result of thebrightness determination unit 12. By changing the threshold value according to the brightness of the imaging range of thecamera 20, thelabel detection unit 14 can more accurately extract the area. For example, thelabel detection unit 14 may change each threshold so that the hue (H), the saturation (S), and the brightness (V) of each color become larger as the imaging range becomes brighter. Specifically, thelabel detection unit 14 refers to the table information indicating the correspondence relationship between the brightness of the imaging range and the threshold values of the hue (H), the saturation (S), and the brightness (V) of each color, Each threshold may be changed.

　図１１Ａおよび図１１Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。図１１Ａに示すように、緑色領域８２Ｇの中心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていれば、画像上で緑色領域８２Ｇの中心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在すると判定される。11A and 11B are diagrams showing an example of a green region and a red region on the image. As shown in FIG. 11A, if thered region 82R is included in apredetermined distance range 84 indicated by a circle centered on thecenter position 83 of thegreen region 82G, thecenter position 83 of thegreen region 82G is displayed on the image. It is determined that thered area 82R exists within thepredetermined distance range 84.

　一方、図１１Ｂに示すように、緑色領域８２Ｇの中心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていなければ、画像上で緑色領域８２Ｇの中心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在しないと判定される。On the other hand, as shown in FIG. 11B, if thered region 82R is not included in thepredetermined distance range 84 indicated by a circle centered on thecenter position 83 of thegreen region 82G, the center position of thegreen region 82G on the image. It is determined that thered region 82R does not exist within thepredetermined distance range 84 from 83.

　ここで、所定距離範囲８４の円の直径は、例えば、緑色領域８２Ｇの最も長い辺の長さとしてもよい。緑色領域８２Ｇが矩形以外の領域の場合には、緑色領域８２Ｇの外接矩形の最も長い辺の長さを、所定距離範囲８４の円の直径としてもよい。ただし、当該直径は、これら以外の値でもよい。Here, the diameter of the circle in thepredetermined distance range 84 may be the length of the longest side of thegreen region 82G, for example. When thegreen region 82G is a region other than a rectangle, the length of the longest side of the circumscribed rectangle of thegreen region 82G may be the diameter of the circle of thepredetermined distance range 84. However, the diameter may be a value other than these.

　なお、検出対象色の組み合わせが、赤色、緑色および青色以外の場合であっても、同様の処理により、ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有するか否かを判定する。Even when the combination of the detection target colors is other than red, green, and blue, thelabel detection unit 14 performs similar processing to determine whether the extracted detection target color regions have a predetermined positional relationship. To determine.

　出力部１５は、ラベル検出部１４の検出結果に応じた情報を出力する。例えば、ラベル検出部１４がラベル９０Ａを検出した場合には、出力部１５は、通信Ｉ／Ｆを介して音出力装置３０に対して所定の音信号を送信すること、音出力装置３０に通知音を出力させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。Theoutput unit 15 outputs information according to the detection result of thelabel detection unit 14. For example, when thelabel detection unit 14 detects thelabel 90A, theoutput unit 15 notifies thesound output device 30 of transmitting a predetermined sound signal to thesound output device 30 via the communication I/F. Output sound. This notifies the driver that there is a person around theforklift 25.

　また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して表示装置４０に所定の画像信号を送信することで、表示装置４０に人物を検出したことを知らせる画像を表示させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。When thelabel detecting unit 14 detects thelabel 90A, theoutput unit 15 detects a person on thedisplay device 40 by transmitting a predetermined image signal to thedisplay device 40 via the communication I/F. Display an image to inform you. This notifies the driver that there is a person around theforklift 25.

　また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して端末装置５０に対して、人物を検出したことを示す情報を送信することで、端末装置５０に音や画像の出力処理をさせたり、ログ情報の記録処理をさせたりする。出力部１５は、その際に、検出時刻の情報を送信してもよい。Further, when thelabel detection unit 14 detects thelabel 90A, theoutput unit 15 transmits information indicating that a person is detected to theterminal device 50 via the communication I/F, so that the terminal device Thecontrol unit 50 causes the sound and image to be output and the log information to be recorded. At that time, theoutput unit 15 may transmit information on the detection time.

　記憶装置１６は、明暗基準ＤＢ１７を含む各種情報を記憶するための記憶装置であり、磁気ディスクや半導体メモリなどにより構成される。The storage device 16 is a storage device for storing various information including the brightness/darkness reference DB 17, and is configured by a magnetic disk, a semiconductor memory, or the like.

　［画像処理装置１０の処理の流れ］
　次に、画像処理装置１０が実行する処理の流れについて説明する。[Process Flow of Image Processing Device 10]
Next, the flow of processing executed by theimage processing apparatus 10 will be described.

　図１２は、実施の形態１に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。FIG. 12 is a flowchart showing a procedure of processing executed by theimage processing apparatus 10 according to the first embodiment.

　図１２を参照して、画像取得部１１は、カメラ２０が撮像した画像を取得する（Ｓ１）。Referring to FIG. 12, theimage acquisition unit 11 acquires an image captured by the camera 20 (S1).

　ラベル検出部１４は、画像取得部１１が取得した画像から、緑色領域を抽出する（Ｓ２）。なお、緑色領域は、照明環境に影響されずに抽出可能であるため、緑色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６、Ｓ９およびＳ１２）を行うことなく、緑色領域の抽出処理が実行される。Thelabel detection unit 14 extracts a green area from the image acquired by the image acquisition unit 11 (S2). Since the green region can be extracted without being affected by the illumination environment, green is an essential detection target color. Therefore, the extraction process of the green region is executed without performing the detection target color determination process (steps S6, S9, and S12 described later) by the detection targetcolor determination unit 13.

　緑色領域が抽出されなかった場合には（Ｓ３でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the green region is not extracted (NO in S3), it can be determined that the image does not include thelabel 90A, and theimage processing apparatus 10 ends the process.

　緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する明るさ判定処理を実行する（Ｓ４）。When the green area is extracted (YES in S3), thebrightness determination unit 12 refers to the brightness/darkness reference DB 17 based on the illuminance of the imaging range of thecamera 20 measured by theilluminance sensor 26, and the brightness of thecamera 20 is determined. Brightness determination processing is performed to determine whether the imaging range is a bright environment, a dark environment, or an environment of medium brightness (S4).

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色および青色を検出対象色として決定する（Ｓ６）As a result of the brightness determination processing (step S4), when it is determined that the imaging range of thecamera 20 is a bright environment (bright in S5), the detection targetcolor determination unit 13 sets green and blue as the detection target colors. Determine (S6)

　ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。Thelabel detection unit 14 extracts a blue area that is an unextracted detection target color area (S7).

　ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８）。Thelabel detection unit 14 determines whether a blue area having a predetermined positional relationship with the green area is extracted from the image (S8).

　所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the blue region having the predetermined positional relationship has not been extracted (NO in S8), it can be determined that thelabel 90A is not included in the image, and theimage processing device 10 ends the process.

　所定の位置関係を有する青色領域が抽出された場合には（Ｓ８でＹＥＳ）、ラベル検出部１４は、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。例えば、出力部１５は、音出力装置３０に対して所定の音信号を送信することにより、音出力装置３０に通知音を出力させる。When the blue area having the predetermined positional relationship is extracted (YES in S8), thelabel detection unit 14 detects the green area and the blue area as thelabel 90A, and theoutput unit 15 detects the detection result of thelabel 90A. Output (S15). For example, theoutput unit 15 causes thesound output device 30 to output a notification sound by transmitting a predetermined sound signal to thesound output device 30.

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色および緑色を検出対象色として決定する（Ｓ９）。As a result of the brightness determination process (step S4), when it is determined that the imaging range of thecamera 20 is a dark environment (dark in S5), the detection targetcolor determination unit 13 sets red and green as the detection target colors. It is determined (S9).

　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。Thelabel detection unit 14 extracts a red area which is an unextracted detection target color area (S10).

　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１）。Thelabel detection unit 14 determines whether or not a red area having a predetermined positional relationship with the green area is extracted from the image (S11).

　所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the red area having the predetermined positional relationship is not extracted (NO in S11), it can be determined that the image does not include thelabel 90A, and theimage processing apparatus 10 ends the process.

　所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１でＹＥＳ）、ラベル検出部１４は、赤色領域および緑色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。When the red area having the predetermined positional relationship is extracted (YES in S11), thelabel detection unit 14 detects the red area and the green area as thelabel 90A, and theoutput unit 15 detects the detection result of thelabel 90A. Output (S15).

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色および青色を検出対象色として決定する（Ｓ１２）。As a result of the brightness determination processing (step S4), when it is determined that the image capturing range of thecamera 20 is the environment of the medium brightness (medium in S5), the detection targetcolor determination unit 13 determines that the red, Green and blue are determined as detection target colors (S12).

　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３）。Thelabel detection unit 14 extracts a red area and a blue area, which are unextracted detection target color areas (S13).

　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４）。Thelabel detection unit 14 determines whether or not a red area and a blue area having a predetermined positional relationship with the green area are extracted from the image (S14).

　所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the red area and the blue area having the predetermined positional relationship are not extracted (NO in S14), it can be determined that thelabel 90A is not included in the image, and thus theimage processing apparatus 10 ends the process. To do.

　所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４でＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。When the red area and the blue area having the predetermined positional relationship are extracted (YES in S14), thelabel detection unit 14 detects the red area, the green area, and the blue area as thelabel 90A, and theoutput unit 15 The detection result of thelabel 90A is output (S15).

　なお、ステップＳ１４において、赤色領域および青色領域のうちの少なくとも一方の領域が緑色領域と所定の位置関係を有していれば、画像中にラベル９０Ａが含まれると判定してもよい。In step S14, if at least one of the red area and the blue area has a predetermined positional relationship with the green area, it may be determined that the image includes thelabel 90A.

　また、ラベル検出結果出力処理（ステップＳ１５）は、ラベル９０Ａが検出されなかった場合にも行うことにしてもよい。つまり、出力部１５は、ラベル９０Ａが検出されなかったことを示す通知音を音出力装置３０に出力させてもよいし、ラベル９０Ａが検出されなかったことを示す画像を表示装置４０に表示させてもよい。また、出力部１５は、ラベル９０Ａが検出されなかったことを示す情報を端末装置５０に送信してもよい。The label detection result output process (step S15) may be performed even when thelabel 90A is not detected. That is, theoutput unit 15 may cause thesound output device 30 to output a notification sound indicating that thelabel 90A has not been detected, or may cause thedisplay device 40 to display an image indicating that thelabel 90A has not been detected. May be. Further, theoutput unit 15 may transmit information indicating that thelabel 90A has not been detected to theterminal device 50.

　画像処理装置１０は、図１２に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ａを検出することができる。Theimage processing apparatus 10 repeatedly executes the processing shown in FIG. 12 at a predetermined cycle (for example, every 100 msec). Thereby, thelabel 90A can be detected in real time.

　［実施の形態１の効果］
　以上説明したように、本開示の実施の形態１によると、検出対象色決定部１３は、所定数以上の色の領域を含むラベル９０Ａの色の中から、カメラ２０の撮像範囲の明るさに基づいて、１色以上の検出対象色を決定する。具体的には、検出対象色決定部１３は、３色以上の領域を含むラベル９０Ａの色の中から、カメラ２０の撮像範囲の明るさに基づいて、２色以上の検出対象色を決定する。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、ラベル検出部１４が検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。[Effect of Embodiment 1]
As described above, according to the first embodiment of the present disclosure, the detection targetcolor determining unit 13 sets the brightness of the image capturing range of thecamera 20 to the brightness of the image capturing range of thelabel 90A that includes a predetermined number or more of color regions. Based on this, one or more colors to be detected are determined. Specifically, the detection targetcolor determination unit 13 determines two or more detection target colors from the colors of thelabel 90A including the areas of three or more colors, based on the brightness of the imaging range of thecamera 20. .. As a result, it is possible to determine the detection target color by excluding the color whose color appearance changes depending on the brightness. Therefore, thelabel detection unit 14 can detect the label without being affected by the illumination by extracting the region of the detection target color.

　また、ラベル９０Ａは、色の領域に再帰性反射材を含んでいる。再帰性反射材は、光の入射角と出射角が等しくなる性質を有している。このため、ラベル９０Ａがいずれかの方向に傾いていたとしても、カメラ２０の光軸方向に沿った光をラベル９０Ａに照射することにより、カメラ２０は当該光のラベル９０Ａでの反射光を受光することができる。これにより、ラベル検出部１４は、夜間でもラベル９０Ａを高精度に検出することができる。Also, thelabel 90A includes a retroreflective material in the color area. The retroreflective material has a property that the incident angle of light and the outgoing angle of light become equal. Therefore, even if thelabel 90A is inclined in any direction, thecamera 20 receives the reflected light of thelabel 90A by irradiating thelabel 90A with light along the optical axis direction of thecamera 20. can do. Accordingly, thelabel detection unit 14 can detect thelabel 90A with high accuracy even at night.

　また、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、カメラ２０の撮像範囲の明るさを容易に判定することができる。Also, thebrightness determination unit 12 can determine the brightness of the imaging range of thecamera 20 based on the illuminance of the imaging range of thecamera 20 measured by theilluminance sensor 26. Therefore, the brightness of the imaging range of thecamera 20 can be easily determined.

　また、検出対象色決定部１３は、赤色、緑色および青色のうち、最も波長の長い赤色と最も波長の短い青色以外の色である中間波長色の緑色を、照明環境によらずに必須の検出対象色と決定する。緑色は照明の影響を受けにくい色であることより、ラベル検出部１４は、照明の影響を受けずに、ラベル９０Ａを検出することができる。In addition, the detection targetcolor determination unit 13 indispensably detects green of an intermediate wavelength color, which is a color other than red having the longest wavelength and blue having the shortest wavelength, among red, green, and blue, regardless of the illumination environment. Determined as the target color. Since green is a color that is not easily affected by illumination, thelabel detection unit 14 can detect thelabel 90A without being affected by illumination.

　また、ラベル検出部１４は、必須の検出対象色である中間波長色の緑色の領域から優先して、領域抽出処理を行っている（図１２のＳ２）。これにより、緑色領域が抽出できなかった場合には、ラベル検出部１４は、他の検出対象色である赤色領域または青色領域を抽出する必要がなく、処理時間を短縮することができる。Further, thelabel detection unit 14 performs the area extraction processing by giving priority to the green area of the intermediate wavelength color which is an essential detection target color (S2 in FIG. 12). As a result, when the green region cannot be extracted, thelabel detection unit 14 does not need to extract the red region or the blue region, which is another detection target color, and the processing time can be shortened.

　また、ラベル９０Ａは、赤ラベル９１Ｒ、緑ラベル９１Ｇおよび青ラベル９１Ｂから構成される。光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色（赤色または青色）の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、中間波長色ある緑色を含む他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。Thelabel 90A is composed of ared label 91R, agreen label 91G and ablue label 91B. The three primary colors of light, red, blue and green, are colors whose wavelengths are appropriately separated. For this reason, even if one of the areas (red or blue) is photographed as a color area different from the original color due to the influence of illumination, the other two colors including the intermediate wavelength color green are The image is captured as a color region of the original color without being affected by lighting. Therefore, by using the other two colors as the detection target colors, the label can be detected without being affected by the illumination.

　また、出力部１５は、ラベル検出部１４がラベル９０Ａを検出した際に、ラベル９０Ａを検出したことを示す音声、アラーム音等の音を音出力装置３０から出力させたり、ラベル９０Ａの検出結果を示す画像を表示装置４０に表示させたりできる。また、出力部１５は、ラベル９０Ａの検出結果を示す情報を端末装置５０に送信することもできる。これにより、ユーザに、ラベル９０Ａの検出結果を通知することができる。When thelabel detection unit 14 detects thelabel 90A, theoutput unit 15 causes thesound output device 30 to output a sound indicating that thelabel 90A has been detected, a sound such as an alarm sound, or a detection result of thelabel 90A. It is possible to display an image showing “” on thedisplay device 40. Theoutput unit 15 can also send information indicating the detection result of thelabel 90A to theterminal device 50. This allows the user to be notified of the detection result of thelabel 90A.

　（実施の形態２）
　実施の形態１では、ラベルは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成されるものとしたが、ラベルの色はこれらに限定されるものではない。実施の形態２では、４色の色ラベルから構成されるラベルを用いた例を説明する。(Embodiment 2)
In the first embodiment, the label is composed of theblue label 91B, thered label 91R and thegreen label 91G, but the color of the label is not limited to these. In the second embodiment, an example using a label composed of four color labels will be described.

　図１３は、ヘルメットに貼り付けられたラベルの一例を示す図である。
　図１３に示すように、ヘルメット８０には、ラベル９０Ｃが貼り付けられている。ラベル９０Ｃは、平行に配置された青ラベル９１Ｂ、赤ラベル９１Ｒ、緑ラベル９１Ｇおよび白ラベル９１Ｗから構成される。また、青ラベル９１Ｂおよび赤ラベル９１Ｒとの間、赤ラベル９１Ｒと緑ラベル９１Ｇとの間、および緑ラベル９１Ｇと白ラベル９１Ｗとの間には、それぞれ間隙領域９２が設けられている。FIG. 13 is a diagram showing an example of a label attached to a helmet.
As shown in FIG. 13, alabel 90C is attached to thehelmet 80. Thelabel 90C is composed of ablue label 91B, ared label 91R, agreen label 91G and awhite label 91W which are arranged in parallel. Further,gap regions 92 are provided between theblue label 91B and thered label 91R, between thered label 91R and thegreen label 91G, and between thegreen label 91G and thewhite label 91W.

　白色は、彩度が０の無彩色であり、様々な波長を含む。このため、白ラベル９１Ｗは、明るさに影響されずに検出可能なラベルである。White is an achromatic color with zero saturation and contains various wavelengths. Therefore, thewhite label 91W is a label that can be detected without being affected by the brightness.

　なお、白色は無彩色であることより、ラベル検出部１４が画像中の白色画素を抽出する際には、各画素の彩度（Ｓ）および明度（Ｖ）と、それぞれの閾値との比較を行い、色相（Ｈ）と閾値との比較は行わない。これにより、ラベル検出部１４は、画像中から、白色の彩度閾値および明度閾値をそれぞれ超える彩度（Ｓ）および明度（Ｖ）を有する画素を、白色画素として抽出し、抽出した白色画素をラベリング処理することにより、白色領域を抽出する。Since white is an achromatic color, when thelabel detection unit 14 extracts a white pixel in an image, the saturation (S) and the brightness (V) of each pixel are compared with their respective thresholds. The hue (H) is not compared with the threshold value. As a result, thelabel detection unit 14 extracts from the image the pixels having the saturation (S) and the brightness (V) that exceed the saturation threshold and the brightness threshold of white, respectively, as white pixels, and extracts the extracted white pixels. A white area is extracted by performing labeling processing.

　実施の形態２に係る画像処理装置の構成は、図２に示したものと同様である。ただし、検出対象色決定部１３およびラベル検出部１４の処理が一部異なる。以下、図１４に示すフローチャートを参照しながら、実施の形態１と異なる処理について説明する。The configuration of the image processing apparatus according to the second embodiment is similar to that shown in FIG. However, the processes of the detection targetcolor determination unit 13 and thelabel detection unit 14 are partially different. Hereinafter, the processing different from that of the first embodiment will be described with reference to the flowchart shown in FIG.

　図１４は、実施の形態２に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。FIG. 14 is a flowchart showing a procedure of processing executed by theimage processing apparatus 10 according to the second embodiment.

　画像処理装置１０は、ステップＳ１～Ｓ４の処理を実行する。ステップＳ１～Ｓ４の処理は、図１２に示したものと同様である。Theimage processing device 10 executes the processes of steps S1 to S4. The processing of steps S1 to S4 is the same as that shown in FIG.

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。When it is determined as a result of the brightness determination process (step S4) that the imaging range of thecamera 20 is a bright environment (bright in S5), the detection targetcolor determination unit 13 detects green, blue, and white as detection targets. The color is determined (S6A).

　ラベル検出部１４は、未抽出の検出対象色領域である青色領域および白色領域を抽出する（Ｓ７Ａ）。Thelabel detection unit 14 extracts a blue area and a white area, which are unextracted detection target color areas (S7A).

　ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ８Ａ）。Thelabel detecting unit 14 determines whether or not a blue area and a white area having a predetermined positional relationship with the green area are extracted from the image (S8A).

　所定の位置関係を有する青色領域および白色領域が抽出されなかった場合には（Ｓ８ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the blue region and the white region having the predetermined positional relationship are not extracted (NO in S8A), it can be determined that thelabel 90C is not included in the image, and thus theimage processing apparatus 10 ends the process. To do.

　所定の位置関係を有する青色領域および白色領域が抽出された場合には（Ｓ８ＡでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。When the blue region and the white region having the predetermined positional relationship are extracted (YES in S8A), thelabel detection unit 14 detects the green region, the blue region, and the white region as thelabel 90C, and theoutput unit 15 The detection result of thelabel 90C is output (S15).

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。As a result of the brightness determination process (step S4), when it is determined that the imaging range of thecamera 20 is a dark environment (dark in S5), the detection targetcolor determination unit 13 detects red, green, and white as detection targets. The color is determined (S9A).

　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および白色領域を抽出する（Ｓ１０Ａ）。Thelabel detection unit 14 extracts a red area and a white area which are unextracted detection target color areas (S10A).

　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１１Ａ）。Thelabel detection unit 14 determines whether or not a red area and a white area having a predetermined positional relationship with the green area are extracted from the image (S11A).

　所定の位置関係を有する赤色領域および白色領域が抽出されなかった場合には（Ｓ１１ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the red region and the white region having the predetermined positional relationship are not extracted (NO in S11A), it can be determined that thelabel 90C is not included in the image, and thus theimage processing apparatus 10 ends the process. To do.

　所定の位置関係を有する赤色領域および白色領域が抽出された場合には（Ｓ１１ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。When the red area and the white area having the predetermined positional relationship are extracted (YES in S11A), thelabel detection unit 14 detects the red area, the green area, and the white area as thelabel 90C, and theoutput unit 15 The detection result of thelabel 90C is output (S15).

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。As a result of the brightness determination processing (step S4), when it is determined that the image capturing range of thecamera 20 is the environment of the medium brightness (medium in S5), the detection targetcolor determination unit 13 determines that the red, Green, blue and white are determined as detection target colors (S12A).

　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域、青色領域および白色領域を抽出する（Ｓ１３Ａ）。Thelabel detection unit 14 extracts a red area, a blue area, and a white area, which are unextracted detection target color areas (S13A).

　ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域、青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１４Ａ）。Thelabel detection unit 14 determines whether a red area, a blue area, and a white area having a predetermined positional relationship with the green area are extracted from the image (S14A).

　所定の位置関係を有する赤色領域、青色領域および白色領域が抽出されなかった場合には（Ｓ１４ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。When the red area, the blue area, and the white area having the predetermined positional relationship are not extracted (NO in S14A), it can be determined that thelabel 90C is not included in the image, and thus theimage processing apparatus 10 The process ends.

　所定の位置関係を有する赤色領域、青色領域および白色領域が抽出された場合には（Ｓ１４ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。When the red area, the blue area, and the white area having the predetermined positional relationship are extracted (YES in S14A), thelabel detection unit 14 detects the red area, the green area, the blue area, and the white area as thelabel 90C. Theoutput unit 15 outputs the detection result of thelabel 90C (S15).

　画像処理装置１０は、図１４に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。Theimage processing apparatus 10 repeatedly executes the processing shown in FIG. 14 at a predetermined cycle (for example, 100 msec intervals). Thereby, thelabel 90C can be detected in real time.

　本開示の実施の形態２によると、実施の形態１に比べて、より多くの色の色ラベルを用いて、ラベル検出を行うことができる。このため、より照明の影響を受けずに、ラベルを検出することができる。なお、ラベルに含まれる色ラベルの色は、上記したものには限定されず、例えば、白ラベル９１Ｗの代わりに、黒ラベルを用いてもよい。According to the second embodiment of the present disclosure, label detection can be performed using color labels of more colors than in the first embodiment. Therefore, the label can be detected without being affected by the illumination. The color of the color label included in the label is not limited to the above, and for example, a black label may be used instead of thewhite label 91W.

　（実施の形態２の変形例）
　本変形例では、実施の形態２と同様に、ラベルは４色の色ラベルから構成されるものとする。ただし、画像処理装置１０が実行する処理の手順が実施の形態２とは異なる。(Modification of Embodiment 2)
In this modification, the label is composed of four color labels, as in the second embodiment. However, the procedure of the processing executed by theimage processing apparatus 10 is different from that in the second embodiment.

　図１５は、実施の形態２の変形例に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。FIG. 15 is a flowchart showing a procedure of processing executed by theimage processing apparatus 10 according to the modified example of the second embodiment.

　画像処理装置１０は、ステップＳ１～Ｓ３の処理を実行する。ステップＳ１～Ｓ３の処理は、図１２に示したものと同様である。Theimage processing device 10 executes the processes of steps S1 to S3. The processing of steps S1 to S3 is the same as that shown in FIG.

　緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、ラベル検出部１４は、画像取得部１１が取得した画像から、白色領域を抽出する（Ｓ２１）。なお、白色領域は、照明環境に影響されずに抽出可能であるため、白色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６Ａ、Ｓ９ＡおよびＳ１２Ａ）を行うことなく、白色領域の抽出処理が実行される。When the green area is extracted (YES in S3), thelabel detection unit 14 extracts the white area from the image acquired by the image acquisition unit 11 (S21). Since the white area can be extracted without being affected by the illumination environment, white is an essential detection target color. Therefore, the white region extraction process is executed without performing the detection target color determination process (steps S6A, S9A, and S12A described later) by the detection targetcolor determination unit 13.

　白色領域が抽出されなかった場合には（Ｓ２２でＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the white area is not extracted (NO in S22), it can be determined that thelabel 90C is not included in the image, and theimage processing apparatus 10 ends the process.

　白色領域が抽出された場合には（Ｓ２２でＹＥＳ）、明るさ判定処理（ステップＳ４）を実行する。明るさ判定処理（ステップＳ４）は、図１２に示したものと同様である。If the white area is extracted (YES in S22), the brightness determination process (step S4) is executed. The brightness determination process (step S4) is the same as that shown in FIG.

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。When it is determined as a result of the brightness determination process (step S4) that the imaging range of thecamera 20 is a bright environment (bright in S5), the detection targetcolor determination unit 13 detects green, blue, and white as detection targets. The color is determined (S6A).

　ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。Thelabel detection unit 14 extracts a blue area that is an unextracted detection target color area (S7).

　ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８Ｂ）。Thelabel detecting unit 14 determines whether a blue area having a predetermined positional relationship with the green area and the white area is extracted from the image (S8B).

　所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the blue region having the predetermined positional relationship is not extracted (NO in S8B), it can be determined that thelabel 90C is not included in the image, and theimage processing apparatus 10 ends the process.

　所定の位置関係を有する青色領域が抽出された場合には（Ｓ８ＢでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。When the blue area having the predetermined positional relationship is extracted (YES in S8B), thelabel detection unit 14 detects the green area, the blue area, and the white area as thelabel 90C, and theoutput unit 15 outputs thelabel 90C. The detection result is output (S15).

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。As a result of the brightness determination process (step S4), when it is determined that the imaging range of thecamera 20 is a dark environment (dark in S5), the detection targetcolor determination unit 13 detects red, green, and white as detection targets. The color is determined (S9A).

　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。Thelabel detection unit 14 extracts a red area which is an unextracted detection target color area (S10).

　ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１Ｂ）。Thelabel detection unit 14 determines whether or not a red area having a predetermined positional relationship with the green area and the white area is extracted from the image (S11B).

　所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。If the red area having the predetermined positional relationship is not extracted (NO in S11B), it can be determined that thelabel 90C is not included in the image, and theimage processing apparatus 10 ends the process.

　所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。When the red area having the predetermined positional relationship is extracted (YES in S11B), thelabel detection unit 14 detects the red area, the green area, and the white area as thelabel 90C, and theoutput unit 15 outputs thelabel 90C. The detection result is output (S15).

　明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。As a result of the brightness determination processing (step S4), when it is determined that the image capturing range of thecamera 20 is the environment of the medium brightness (medium in S5), the detection targetcolor determination unit 13 determines that the red, Green, blue and white are determined as detection target colors (S12A).

　ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３Ａ）。Thelabel detection unit 14 extracts a red area and a blue area, which are unextracted detection target color areas (S13A).

　ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４Ｂ）。Thelabel detection unit 14 determines whether or not a red area and a blue area having a predetermined positional relationship with the green area and the white area are extracted from the image (S14B).

　所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。When the red area and the blue area having the predetermined positional relationship are not extracted (NO in S14B), it can be determined that thelabel 90C is not included in the image, and thus theimage processing apparatus 10 ends the process. To do.

　所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。When the red area and the blue area having the predetermined positional relationship are extracted (YES in S14B), thelabel detection unit 14 detects the red area, the green area, the blue area, and the white area as thelabel 90C, and theoutput unit 15 outputs the detection result of thelabel 90C (S15).

　画像処理装置１０は、図１５に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。Theimage processing apparatus 10 repeatedly executes the processing shown in FIG. 15 at a predetermined cycle (for example, 100 msec intervals). Thereby, thelabel 90C can be detected in real time.

　（実施の形態３）
　実施の形態１および２では、照度センサの測定結果に基づいて、カメラ２０の撮像範囲の明るさを判定した。実施の形態３では、照度センサを用いずに明るさ判定を行う例について説明する。(Embodiment 3)
In the first and second embodiments, the brightness of the imaging range of thecamera 20 is determined based on the measurement result of the illuminance sensor. In the third embodiment, an example of performing brightness determination without using an illuminance sensor will be described.

　図１６は、実施の形態３に係る画像処理システムの構成を示すブロック図である。
　図１６に示す画像処理システム１Ａは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ａを備える。FIG. 16 is a block diagram showing the configuration of the image processing system according to the third embodiment.
An image processing system 1A shown in FIG. 16 includes animage processing apparatus 10A instead of theimage processing apparatus 10 in the configuration of the image processing system 1 shown in FIG.

　画像処理装置１０Ａは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ａは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ａを備える。Theimage processing device 10A is configured by a computer like theimage processing device 10. Theimage processing apparatus 10A includes abrightness determination unit 12A instead of thebrightness determination unit 12 as a functional configuration.

　明るさ判定部１２Ａは、画像取得部１１に接続され、画像取得部１１が取得した画像に基づいて、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２Ａは、画像取得部１１が取得した画像に含まれる画素の輝度の平均を算出し、算出した輝度平均に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。Thebrightness determination unit 12A is connected to theimage acquisition unit 11 and determines the brightness of the imaging range of thecamera 20 based on the image acquired by theimage acquisition unit 11. That is, thebrightness determination unit 12A calculates the average of the brightness of the pixels included in the image acquired by theimage acquisition unit 11, and refers to the brightness/darkness reference DB 17 stored in the storage device 16 based on the calculated brightness average. And determine the brightness.

　図１７は、明暗基準ＤＢ１７の一例を示す図である。
　明暗基準ＤＢ１７は、輝度平均（Ｍ）に基づいて、当該輝度平均を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１７に示す明暗基準ＤＢ１７によると、輝度平均がＭ＜５０の環境は、暗い環境である。輝度平均が５０≦Ｍ＜１３０の環境は、中程度の明るさの環境である。輝度平均がＭ≧１３０の環境は、明るい環境である。なお、一例として輝度は２５６階調を有するものとする。FIG. 17 is a diagram showing an example of the light/dark reference DB 17.
The brightness/darkness reference DB 17 shows a reference for determining whether the environment having the brightness average is a bright environment, a dark environment, or an environment of medium brightness based on the brightness average (M). For example, according to the brightness/darkness reference DB 17 shown in FIG. 17, the environment in which the average brightness is M<50 is a dark environment. The environment where the average luminance is 50≦M<130 is a medium brightness environment. The environment in which the average brightness is M≧130 is a bright environment. Note that the luminance has 256 gradations as an example.

　つまり、明るさ判定部１２は、算出した輝度平均ＭがＭ＜５０であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、輝度平均Ｍが５０≦Ｍ＜１３０であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、輝度平均ＭがＭ≧１３０であれば、カメラ２０の撮像範囲は明るい環境であると判定する。
　画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。That is, if the calculated brightness average M is M<50, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is a dark environment. If the average brightness M is 50≦M<130, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is an environment of medium brightness. Furthermore, if the average brightness M is M≧130, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is a bright environment.
The procedure of the processing executed by theimage processing apparatus 10 is the same as in the first or second embodiment.

　本開示の実施の形態３によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。According to the third embodiment of the present disclosure, the brightness can be determined without using theilluminance sensor 26. Therefore, the brightness can be determined at low cost.

　また、フォークリフト２５が屋内に位置し、カメラ２０が屋外の明るい環境を撮影しているような場合には、照度センサ２６を用いて明るさ判定を行うと、暗い環境と判定されてしまい、撮影対象の環境と異なる結果となる場合がある。しかし、画像の輝度平均を用いて明るさを判定した場合には、カメラ２０が撮像対象とする環境と同様に明るい環境と判定される。このため、ラベルをより正しく検出することができる。Further, when theforklift 25 is located indoors and thecamera 20 is photographing a bright environment outdoors, if the brightness determination is performed using theilluminance sensor 26, it is determined to be a dark environment, and the photographing is performed. The result may differ from the target environment. However, when the brightness is determined by using the average luminance of the images, it is determined that the environment is bright as in the environment in which thecamera 20 is an imaging target. Therefore, the label can be detected more accurately.

　（実施の形態４）
　実施の形態３では、照度センサを用いずにカメラ２０の撮像範囲の明るさ判定を行う例について説明した。実施の形態４では、照度センサを用いずに明るさ判定を行う他の例について説明する。(Embodiment 4)
In the third embodiment, an example has been described in which the brightness of the imaging range of thecamera 20 is determined without using the illuminance sensor. In the fourth embodiment, another example of performing brightness determination without using an illuminance sensor will be described.

　図１８は、実施の形態４に係る画像処理システムの構成を示すブロック図である。
　図１８に示す画像処理システム１Ｂは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ｂを備える。FIG. 18 is a block diagram showing the configuration of the image processing system according to the fourth embodiment.
Animage processing system 1B shown in FIG. 18 includes animage processing device 10B instead of theimage processing device 10 in the configuration of the image processing system 1 shown in FIG.

　画像処理装置１０Ｂは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ｂは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ｂを備える。Theimage processing device 10B is configured by a computer like theimage processing device 10. Theimage processing apparatus 10B includes abrightness determination unit 12B instead of thebrightness determination unit 12 as a functional configuration.

　明るさ判定部１２Ｂは、カメラ２０に接続され、カメラ２０から取得される明るさの調整に関する撮像パラメータ情報に基づいて、カメラ２０の撮像範囲の明るさを判定する。カメラ２０が撮像範囲の明るさに応じて露光時間を自動調整する機能を備えている場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として露光時間（シャッター速度）の情報を取得する。明るさ判定部１２Ｂは、取得した露光時間に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。Thebrightness determination unit 12B is connected to thecamera 20 and determines the brightness of the imaging range of thecamera 20 based on the imaging parameter information regarding the adjustment of the brightness acquired from thecamera 20. When thecamera 20 has a function of automatically adjusting the exposure time according to the brightness of the imaging range, thebrightness determination unit 12B acquires information on the exposure time (shutter speed) from thecamera 20 as the imaging parameter information. To do. Thebrightness determination unit 12B determines brightness based on the acquired exposure time with reference to the brightness/darkness reference DB 17 stored in the storage device 16.

　図１９は、明暗基準ＤＢ１７の一例を示す図である。
　明暗基準ＤＢ１７は、露光時間（ＥＴ）に基づいて、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１９に示す明暗基準ＤＢ１７によると、露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。露光時間が１／１００秒＜ＥＴ≦１／３０秒となる環境は、中程度の明るさの環境である。露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。FIG. 19 is a diagram showing an example of the light/dark reference DB 17.
The lightness/darkness reference DB 17 indicates a reference for determining, based on the exposure time (ET), whether the environment imaged by thecamera 20 at the exposure time is a bright environment, a dark environment, or a medium brightness environment. Has been done. For example, according to the light/dark reference DB 17 shown in FIG. 19, the environment in which the exposure time is ET>1/30 seconds is a dark environment. The environment where the exposure time is 1/100 seconds<ET≦1/30 seconds is a medium brightness environment. The environment where the exposure time is ET≦1/100 seconds is a bright environment.

　つまり、明るさ判定部１２は、カメラ２０から取得した露光時間（ＥＴ）がＥＴ＞１／３０秒であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、露光時間（ＥＴ）が１／１００秒＜ＥＴ≦１／３０秒であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、露光時間（ＥＴ）がＥＴ≦１／１００秒であれば、カメラ２０の撮像範囲は明るい環境であると判定する。
　画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。That is, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is a dark environment if the exposure time (ET) acquired from thecamera 20 is ET>1/30 seconds. If the exposure time (ET) is 1/100 seconds<ET≦1/30 seconds, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is an environment of medium brightness. Furthermore, thebrightness determination unit 12 determines that the imaging range of thecamera 20 is a bright environment if the exposure time (ET) is ET≦1/100 seconds.
The procedure of the processing executed by theimage processing apparatus 10 is the same as in the first or second embodiment.

　なお、撮像パラメータ情報として、その他の情報を用いることもできる。例えば、カメラ２０が自動絞り機構を備える場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として絞り値（Ｆ値）を取得する。明るさ判定部１２Ｂは、取得した絞り値に基づいて、絞り値と明るさとの対応関係を示した明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。なお、明るい環境ではレンズを通過する光を少なくするために絞り値が大きくなり、暗い環境ではレンズを通過する光を多くするために絞り値が小さくなる。Note that other information can be used as the imaging parameter information. For example, when thecamera 20 includes an automatic diaphragm mechanism, thebrightness determination unit 12B acquires the diaphragm value (F value) from thecamera 20 as the imaging parameter information. Thebrightness determination unit 12B determines the brightness of the imaging range of thecamera 20 with reference to the brightness/darkness reference DB 17 indicating the correspondence between the aperture value and the brightness, based on the acquired aperture value. In a bright environment, the aperture value is increased to reduce the light passing through the lens, and in a dark environment, the aperture value is decreased to increase the light passing through the lens.

　本開示の実施の形態４によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。According to the fourth embodiment of the present disclosure, the brightness can be determined without using theilluminance sensor 26. Therefore, the brightness can be determined at low cost.

　（変形例１）
　上述の実施の形態１～４では、照度、輝度平均および露光時間などのうち、１つの項目に基づいて、カメラ２０の撮像範囲の明るさを判定していた。しかし、２つ以上の項目に基づいて、明るさを判定するようにしてもよい。(Modification 1)
In the above-described first to fourth embodiments, the brightness of the imaging range of thecamera 20 is determined based on one item among the illuminance, the average brightness, the exposure time, and the like. However, the brightness may be determined based on two or more items.

　例えば、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度と、カメラ２０の露光時間とに基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定してもよい。For example, thebrightness determination unit 12 refers to the brightness/darkness reference DB 17 based on the illuminance of the imaging range of thecamera 20 measured by theilluminance sensor 26 and the exposure time of thecamera 20, and the brightness of the imaging range of thecamera 20. May be determined.

　図２０は、明暗基準ＤＢ１７の一例を示す図である。
　明暗基準ＤＢ１７は、照度（ＩＬ）および露光時間（ＥＴ）に基づいて、当該照度を有し、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図２０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘかつ露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。照度がＩＬ≧１００００かつ露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。それ以外の場合には、中程度の明るさの環境である。FIG. 20 is a diagram showing an example of the brightness/darkness reference DB 17.
The light-dark reference DB 17 has the illuminance based on the illuminance (IL) and the exposure time (ET), and the environment captured by thecamera 20 at the exposure time is a bright environment, a dark environment, or a medium brightness. Criteria for determining whether or not the environment is shown. For example, according to the light-dark reference DB 17 shown in FIG. 20, the environment in which the illuminance is IL<500 lx and the exposure time is ET>1/30 seconds is a dark environment. The environment in which the illuminance is IL≧10000 and the exposure time is ET≦1/100 seconds is a bright environment. Otherwise, the environment is of medium brightness.

　明るさ判定部１２は、照度センサ２６が測定した（ＩＬ）とカメラ２０から取得した露光時間（ＥＴ）に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。Thebrightness determination unit 12 refers to the brightness/darkness reference DB 17 and determines the brightness of the imaging range of thecamera 20, based on the (IL) measured by theilluminance sensor 26 and the exposure time (ET) acquired from thecamera 20. ..

　本変形例によると、複数の項目に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、より正確に明るさを判定することができる。According to this modification, the brightness of the imaging range of thecamera 20 can be determined based on a plurality of items. Therefore, the brightness can be determined more accurately.

　（変形例２）
　上述の実施の形態１～４では、ラベルをヘルメット８０に取り付ける例を説明したが、ラベルの取り付け位置はヘルメット８０に限定されるものではない。(Modification 2)
In the above-described first to fourth embodiments, an example of attaching the label to thehelmet 80 has been described, but the attaching position of the label is not limited to thehelmet 80.

　例えば、ラベルは、人物が身に着ける衣類や腕章などに取り付けられていてもよい。❖ For example, the label may be attached to clothing or armbands worn by a person.

　図２１は、人物を正面から見た図である。人物は、ラベル９０Ｆが取り付けられた腕章を両腕にはめている。ラベル９０Ｆは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成され、各ラベル間には間隙領域９２が設けられている。FIG. 21 is a view of a person as seen from the front. The person wears the armband attached with thelabel 90F on both arms. Thelabel 90F includes ablue label 91B, ared label 91R, and agreen label 91G, and agap region 92 is provided between the labels.

　また、ラベルの取り付けられる対象は人物に限定されるものではない。例えば、対象物を検出するための画像処理装置１０を用いる場合には、検出対象物にラベルが取り付けられていてもよい。Also, the target to which the label is attached is not limited to a person. For example, when using theimage processing device 10 for detecting an object, a label may be attached to the object to be detected.

　図２２は、段ボール箱の外観図である。検出対象物が段ボール箱である場合には、段ボール箱にラベル９０Ｄが取り付けられる。ラベル９０Ｄは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成され、各ラベル間には間隙領域９２が設けられている。FIG. 22 is an external view of a cardboard box. When the detection target is a cardboard box, thelabel 90D is attached to the cardboard box. Thelabel 90D includes ablue label 91B, ared label 91R, and agreen label 91G, and agap region 92 is provided between the labels.

　また、車両の進入禁止場所を検出するために画像処理装置１０を用いる場合には、検出対象としての進入禁止場所にラベルが取り付けられていてもよい。Further, when theimage processing apparatus 10 is used to detect a prohibited place for entering a vehicle, a label may be attached to the prohibited place for detection.

　図２３は、フォークリフト２５が走行する道路を模式的に示す図である。フォークリフト２５が走行する道路１００には、例えば、フォークリフト２５の進入が禁止された進入禁止道路１０１、進入禁止道路１０２および進入禁止エリア１０３が設けられている。進入禁止道路１０１および進入禁止道路１０２の入口付近には、ラベル９０Ｊおよびラベル９０Ｋが貼り付けられている。また、進入禁止エリア１０３の周囲にはラベル９０Ｌが貼り付けられている。なお、ラベル９０Ｊ、９０Ｋおよび９０Ｌのそれぞれは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成される。このような構成により、画像処理装置１０は、フォークリフト２５が進入禁止場所（進入禁止道路１０１、進入禁止道路１０２または進入禁止エリア１０３）に接近したことを検知することができる。画像処理装置１０は、フォークリフト２５が進入禁止場所に接近したことをフォークリフト２５のドライバーやフォークリフト２５の周囲にいるユーザに通知するために、音出力装置３０から通知音を出力したり、表示装置４０にメッセージを表示させたり、端末装置５０に進入禁止場所に接近したことを示す情報を送信する。FIG. 23 is a diagram schematically showing a road on which theforklift 25 travels. Theroad 100 on which theforklift 25 travels is provided with, for example, an entry prohibitedroad 101, an entry prohibitedroad 102, and an entry prohibitedarea 103 where entry of theforklift 25 is prohibited.Labels 90J and 90K are attached near the entrances of the prohibitedroads 101 and 102. Further, alabel 90L is attached around the entry prohibitedarea 103. Each of thelabels 90J, 90K and 90L is composed of ablue label 91B, ared label 91R and agreen label 91G. With such a configuration, theimage processing apparatus 10 can detect that theforklift 25 has approached the entry prohibited place (the entry prohibitedroad 101, the entry prohibitedroad 102, or the entry prohibited area 103). Theimage processing device 10 outputs a notification sound from thesound output device 30 or notifies thedisplay device 40 in order to notify the driver of theforklift 25 or a user around theforklift 25 that theforklift 25 has approached the prohibited area. A message is displayed, or information indicating that the vehicle is approaching the prohibited area is transmitted to theterminal device 50.

　このように、進入禁止場所にラベルを取り付けることにより、フォークリフト２５のドライバーに対して、進入禁止場所に近づかないように注意喚起を行うことができる。In this way, by attaching a label to the prohibited area, the driver of theforklift truck 25 can be alerted so as not to approach the prohibited area.

　このように、検出したい対象にラベルを取り付けることにより、対象を正確に検出することができる。In this way, by attaching a label to the target you want to detect, you can accurately detect the target.

　（付記）
　上述の実施の形態および変形例では、ヘルメットにラベルを貼り付けたり、衣類または腕章などにラベルを取り付けることにより、検出対象物にラベルを取り付けることとしたが、ラベルの取り付け方法はこれに限定されるものではない。例えば、検出対象物にラベルを構成する各色の塗料を直接塗布することによりラベルを取り付けてもよい。具体的には、ヘルメットに赤色、緑色および青色の塗料と、間隙領域としての黒色の塗料とを直接塗布することにより、ヘルメットにラベルを取り付けてもよい。(Appendix)
In the above-described embodiment and modification, the label is attached to the helmet or the label is attached to the clothing or the armband to attach the label to the detection target, but the method of attaching the label is not limited to this. Not something. For example, the label may be attached by directly applying the paint of each color forming the label to the detection target. Specifically, the label may be attached to the helmet by directly applying the red, green and blue paint and the black paint as the gap area to the helmet.

　上記の画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。A part or all of the constituent elements of theimage processing apparatus 10 may be composed of one system LSI. The system LSI is a super-multifunctional LSI manufactured by integrating a plurality of constituent parts on one chip, and specifically, is a computer system including a microprocessor, ROM, RAM and the like. .. A computer program is stored in the RAM. The system LSI achieves its function by the microprocessor operating in accordance with the computer program.

　また、本開示は、上記に示す方法をコンピュータにより実現するコンピュータプログラムとして実現することもできる。このようなコンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させることもできるし、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送させることもできる。
　また、画像処理装置１０は、複数のコンピュータにより実現されてもよい。The present disclosure can also be realized as a computer program that realizes the method described above by a computer. Such a computer program can be recorded in a computer-readable non-transitory recording medium, for example, an HDD, a CD-ROM, a semiconductor memory or the like for distribution, and can be distributed by an electric communication line, a wireless or wired communication line, It can also be transmitted via a network represented by the Internet, data broadcasting, or the like.
Further, theimage processing device 10 may be realized by a plurality of computers.

　また、画像処理装置１０の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、画像処理装置１０の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、画像処理装置１０において、ラベル検出部１４の機能がクラウドサーバにより実現され、画像処理装置１０は、クラウドサーバに対して画像および検出対象色の情報を送信し、クラウドサーバからラベルの検出結果を取得する構成であってもよい。
　さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。Further, some or all of the functions of theimage processing device 10 may be provided by cloud computing. That is, some or all of the functions of theimage processing apparatus 10 may be realized by the cloud server. For example, in theimage processing apparatus 10, the function of thelabel detection unit 14 is realized by the cloud server, theimage processing apparatus 10 transmits the information of the image and the detection target color to the cloud server, and the cloud server detects the label detection result. May be obtained.
Further, the above embodiment and the above modifications may be combined.

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。The embodiments disclosed this time are to be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the meanings described above but by the claims, and is intended to include meanings equivalent to the claims and all modifications within the scope.

１、１Ａ、１Ｂ　　画像処理システム
１０、１０Ａ、１０Ｂ　画像処理装置
１１　　画像取得部
１２、１２Ａ、１２Ｂ　明るさ判定部
１３　　検出対象色決定部
１４　　ラベル検出部
１５　　出力部
１６　　記憶装置
１７　　明暗基準ＤＢ
２０　　カメラ
２１　　撮像領域
２２　　死角領域
２３　　境界
２５　　フォークリフト
２６、２６Ａ　　照度センサ
３０　　音出力装置
４０　　表示装置
５０　　端末装置
６０　　ミラー
６１　　撮像領域
７１、７２　　人物
８０　　ヘルメット
８２Ｇ　緑色領域
８２Ｒ　赤色領域
８３　　中心位置
８４　　所定距離範囲
９０Ａ、９０Ｃ、９０Ｄ、９０Ｆ、９０Ｊ、９０Ｋ、９０Ｌ　ラベル
９１Ｂ　青ラベル
９１Ｇ　緑ラベル
９１Ｒ　赤ラベル
９１Ｗ　白ラベル
９２　間隙領域
１００　道路
１０１　進入禁止道路
１０２　進入禁止道路
１０３　進入禁止エリア1, 1A, 1BImage processing system 10, 10A, 10BImage processing device 11Image acquisition unit 12, 12A, 12BBrightness determination unit 13 Detection targetcolor determination unit 14Label detection unit 15 Output unit 16Storage device 17 Brightness/darkness reference DB
20camera 21imaging area 22blind spot area 23boundary 25forklift 26,26A illuminance sensor 30sound output device 40display device 50terminal device 60mirror 61imaging area 71, 72person 80helmet 82Ggreen area 82Rred area 83center position 84predetermined distance Range 90A, 90C, 90D, 90F, 90J, 90K,90L Label91B Blue label91G Green label91R Red label91W White label 92Gap area 100Road 101 Road forbiddenroad 102 Road forbidden 103 Road forbidden area

Claims (9)

Translated fromJapanese

　検出対象に取り付けられるラベルを検出する画像処理装置であって、
　カメラで撮像されたカラーの画像を取得する画像取得部と、
　前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
　前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、
　前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
　を備える画像処理装置。An image processing device for detecting a label attached to a detection target,
An image acquisition unit that acquires a color image captured by a camera,
A brightness determination unit that determines the brightness of the imaging range of the camera,
A detection target color determination unit that determines one or more detection target colors from among the colors attached to the label that includes a predetermined number or more of color regions based on the determination result of the brightness determination unit;
An image processing apparatus comprising: a label detection unit that detects the label by extracting a region of the detection target color determined by the detection target color determination unit from the image acquired by the image acquisition unit.　前記ラベルは、前記領域に再帰性反射材を含む
　請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the label includes a retroreflective material in the area.　前記明るさ判定部は、前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定する
　請求項１または請求項２に記載の画像処理装置。The brightness determining unit measures the image acquired by the image acquiring unit, image capturing parameter information regarding brightness adjustment acquired from the camera, and an illuminance sensor that measures illuminance at a position included in an image capturing range of the camera. The image processing apparatus according to claim 1, wherein the brightness is determined based on at least one of the illuminance information acquired from the.　前記検出対象色決定部は、前記所定数以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定する
　請求項１から請求項３のいずれか１項に記載の画像処理装置。The detection target color determination unit determines, as the detection target color, an intermediate wavelength color that is at least a color other than the color having the longest wavelength and the color having the shortest wavelength among the predetermined number of colors or more. The image processing apparatus according to claim 3.　前記ラベル検出部は、前記中間波長色の領域から順に前記検出対象色の領域を抽出する
　請求項４に記載の画像処理装置。The image processing apparatus according to claim 4, wherein the label detection unit sequentially extracts the region of the detection target color from the region of the intermediate wavelength color.　前記ラベルは、赤色領域、青色領域および緑色領域を含む
　請求項１から請求項５のいずれか１項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the label includes a red area, a blue area, and a green area.　さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備える
　請求項１から請求項６のいずれか１項に記載の画像処理装置。The image processing apparatus according to any one of claims 1 to 6, further comprising an output unit that outputs information according to a detection result of the label detection unit.　コンピュータを、検出対象に取り付けられるラベルを検出する画像処理装置として機能させるためのコンピュータプログラムであって、
　前記コンピュータを、
　カメラで撮像されたカラーの画像を取得する画像取得部と、
　前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
　前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、
　前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
　して機能させるためのコンピュータプログラム。A computer program for causing a computer to function as an image processing device that detects a label attached to a detection target,
The computer,
An image acquisition unit that acquires a color image captured by a camera,
A brightness determination unit that determines the brightness of the imaging range of the camera,
A detection target color determination unit that determines one or more detection target colors from among the colors attached to the label that includes a predetermined number or more of color regions based on the determination result of the brightness determination unit;
A computer program for causing a region of the detection target color determined by the detection target color determination unit to be extracted from the image acquired by the image acquisition unit to function as a label detection unit that detects the label.　検出対象に取り付けられる、所定数以上の色の領域を含むラベルと、
　カラーの画像を撮影するカメラと、
　請求項１から請求項７のいずれか１項に記載の画像処理装置と
　を備える画像処理システム。A label that is attached to the detection target and includes a predetermined number or more of color areas,
A camera that captures color images,
An image processing system comprising: the image processing device according to claim 1.

Images