JP2014104527A - ロボットシステム、プログラム、生産システム及びロボット - Google Patents

Abstract

【課題】 作業者がジェスチャーによりロボットに動作指示を出すことができるロボットシステム、プログラム、生産システム及びロボット等の提供。
【解決手段】 ロボットシステム３００は、生産システムにおいて作業者と混在して生産作業を行うロボット２００と、作業者を撮像する撮像部４００から撮像情報を取得する撮像情報取得部１１０と、撮像情報に基づいてロボット２００を制御するロボット制御部１３０と、表示画像を表示する表示部５００の表示制御を行う表示制御部１５０と、を含む。まず、ロボット制御部１３０は、取得された撮像情報に基づいて作業者のジェスチャーを検出し、検出したジェスチャーに関連付けられたロボット制御コマンドを特定する。そして、表示制御部１５０は、ロボット制御部１３０が特定したロボット制御コマンドを作業者へ通知する通知画像を表示部５００に表示する。
【選択図】 図１

Description

本発明は、ロボットシステム、プログラム、生産システム及びロボット等に関係する。

近年、消費者ニーズの変動や多様化の高まりに対応する必要性から、大量生産向きのいわゆるライン生産方式のシステムに代わって、多くの機種を少量ずつ生産して生産量の増減や多機種少量生産に柔軟に対応する生産システムとして、いわゆるセル生産システムが採用されることが多くなってきた。

セル生産システムは、１人の作業者が生産用のセル、つまり生産セルと呼ばれる所定の作業場所で複数の作業工程を処理して最終製品、または複数工程毎の完成品を作り上げる自己完結性の高いシステムである。セル生産システムやこのシステムを用いた生産方式は、作業者の多能工化を推進でき、製品仕様変更への対応が容易であり、設備投資が少なくて済むという利点がある。

また、生産システムにおいて、作業者によるワークへの部品組付けなどの作業をロボットに代替させることも行われる。さらに、生産システムにおいては、１つのセルにおける作業者が１人である場合の他に、数人でチームを編成して１つのセルで作業を行う場合もある。そして、人とロボットとの混合によってそのチームを構成することも行われる。

例えば特許文献１では、このような生産システムにおいて、生産増減に応じて生産セル内のロボットの稼働率を低下させることなく、生産セルに設定付与する作業者の数をより少なくできるような生産指示方法が開示されている。

特開２００９−１５７５２８号公報

前述したような、人とロボットとの混合による生産システムにおいては、例えば製造予定の変更があった場合や作業者の離席時などには、現在のロボットの動作を変更したり又は中断したりする必要が生じることがある。

しかし、従来の生産システムにおいて用いられているロボットは、プログラムに従ってあらかじめ決められた動作を行うに過ぎず、客観的な事象の変化等に動的に対応することができなかった。そのため、ロボットの動作を変更又は中断させる際には、作業者が直接ロボットを操作する必要があり、非常に手間がかかっていた。

本発明の幾つかの態様によれば、作業者がジェスチャーによりロボットに動作指示を出すことができるロボットシステム、プログラム、生産システム及びロボット等を提供することができる。

また、本発明の幾つかの態様によれば、作業者のジェスチャーを認識して、認識したジェスチャーに関連付けられた動作をロボットが行うことができるロボットシステム、プログラム、生産システム及びロボット等を提供することができる。

本発明の一態様は、生産システムにおいて作業者と混在して生産作業を行うロボットと、前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、表示画像を表示する表示部の表示制御を行う表示制御部と、を含み、前記ロボット制御部は、取得された前記撮像情報に基づいて前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、前記表示制御部は、前記ロボット制御部が特定した前記ロボット制御コマンドを前記作業者へ通知する通知画像を前記表示部に表示する制御を行うロボットシステムに関係する。

本発明の一態様では、ロボット制御部が、作業者のジェスチャーを検出して、検出したジェスチャーに関連付けられたロボット制御コマンドに従って、ロボットを動作させる。

これにより、作業者は、ジェスチャーによりロボットに動作指示を出すことが可能となる。さらに、作業者に対して通知画像を表示するため、ジェスチャーによりロボットシステムに正しく指示が伝わったか否かを作業者が確認することが可能となる。

また、本発明の一態様では、前記表示制御部は、前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表す記号画像を含む前記通知画像を、前記表示部に表示する制御を行ってもよい。

これにより、ジェスチャーによりロボットシステムに正しく指示が伝わったかどうかを作業者がより容易に確認すること等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、取得された前記撮像情報に基づいて前記作業者のハンドパターンを検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定してもよい。

これにより、作業者は、ハンドパターンによりロボットに動作指示を出すこと等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、取得された前記撮像情報に基づいて前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを前記ハンドパターンとして検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定してもよい。

これにより、手の形状パターン若しくは位置、動き又はこれらの組み合わせ毎に、ロボット制御コマンドを関連付けること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表示する記号画像が、前記作業者の手に対応する位置に配置された前記通知画像を、前記表示部に表示する制御を行ってもよい。

これにより、ロボットシステムが作業者の手を認識できているか否かを作業者が確認すること等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、取得された前記撮像情報に基づいて、前記作業者の肩の上方領域に設定された検出領域内から前記作業者の前記ジェスチャーを検出してもよい。

これにより、ロボットへ指示を出すジェスチャーと同じジェスチャーを作業者が検出領域外で偶然にしてしまった場合でも、ロボットシステムによるジェスチャーの誤検出を防ぐこと等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、前記作業者と混在して生産作業を行う第１のロボットを第１のロボット制御コマンドにより制御し、前記第１のロボットと異なる第２のロボットを第２のロボット制御コマンドにより制御し、前記ロボット制御部は、取得された前記撮像情報に基づいて、前記作業者の肩の前記上方領域に設定された第１の検出領域内から前記作業者の前記ジェスチャーを検出した場合には、検出した前記ジェスチャーが前記第１の検出領域に関連付けられているか否かを判定し、検出した前記ジェスチャーが前記第１の検出領域に関連付けられていると判定した場合に、検出した前記ジェスチャーに関連付けられた前記第１のロボット制御コマンドにより前記第１のロボットを制御し、取得された前記撮像情報に基づいて、前記作業者の肩の前記上方領域に設定され、前記第１の検出領域と異なる第２の検出領域内から前記作業者の前記ジェスチャーを検出した場合には、検出した前記ジェスチャーが前記第２の検出領域に関連付けられているか否かを判定し、検出した前記ジェスチャーが前記第２の検出領域に関連付けられていると判定した場合に、検出した前記ジェスチャーに関連付けられた前記第２のロボット制御コマンドにより前記第２のロボットを制御してもよい。

これにより、作業者は、同じジェスチャーでも、そのジェスチャーを行う領域を変えることによって、複数のロボットに動作指示を出すこと等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、検出した前記ジェスチャーが緊急時用ジェスチャーであると判定した場合には、前記ジェスチャーを検出した前記検出領域が前記第１の検出領域及び前記第２の検出領域のいずれの前記検出領域であっても、検出した前記ジェスチャーに関連付けられた緊急ロボット制御コマンドに従って、前記第１のロボット及び前記第２のロボットを制御してもよい。

これにより、第１のロボットと第２のロボットの両方に緊急の動作指示を出したい場合に、位置に関わりなく、第１のロボットと第２のロボットの両方に動作指示を出すこと等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、取得された前記撮像情報に基づいて、前記作業者の前記ジェスチャーを検出しない検出除外領域を設定し、前記検出除外領域以外の領域に前記検出領域を設定してもよい。

これにより、例えば肩の上方領域であっても、ジェスチャーの検出が失敗しやすい領域では、ジェスチャーの検出処理を行わないようにして、ジェスチャーの誤検出を防ぐこと等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、少なくとも前記作業者の顔領域を含む領域を前記検出除外領域として設定してもよい。

これにより、作業者の顔領域でハンドパターンの検出処理を行わないようにして、ジェスチャーの誤検出を防ぐこと等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、検出した前記ジェスチャーに基づいて命令開始時間を特定し、特定した前記命令開始時間に、前記ジェスチャーに関連付けられた前記ロボット制御コマンドに従って、前記ロボットを制御してもよい。

これにより、作業者がジェスチャーにより、ロボットが実際に命令を実行する時間を指定すること等が可能になる。

また、本発明の一態様では、前記ロボット制御部は、取得された前記撮像情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行ってもよい。

これにより、例えば未登録者によるロボットの不正操作を防止すること等が可能になる。

本発明の他の態様では、生産システムにおいて作業者と混在して生産作業を行うロボットと、前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、を含み、前記ロボット制御部は、取得された前記撮像情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボットを制御するために用いるロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うロボットシステムに関係する。

また、本発明の一態様では、前記ロボット制御部は、手の甲の形状パターン又は前記作業者の手の甲に設けられた記号情報に基づいて、前記作業者の手の甲の前記認識処理を行ってもよい。

これにより、作業者の手の甲の情報をあらかじめ登録していない場合であっても、手の甲に記号情報が設けられていない不正な人物により、ロボットが操作されるのを防止すること等が可能になる。

また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。

また、本発明の他の態様では、作業者と混在して生産作業を行うロボットと、前記作業者を撮像する撮像部と、前記撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、表示画像を表示する表示部と、前記表示部の表示制御を行う表示制御部と、を含み、前記ロボット制御部は、取得された前記撮像情報に基づいて前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、前記表示制御部は、前記ロボット制御部が特定した前記ロボット制御コマンドを前記作業者へ通知する通知画像を前記表示部に表示する制御を行う生産システムに関係する。

また、本発明の他の態様は、作業者からの指示を含むロボット制御コマンドに基づいて動作するロボットであって、前記作業者を撮像して撮像情報を取得し、取得された前記撮像情報を前記ロボット制御コマンドに変換して動作し、前記作業者が前記ロボット制御コマンドの内容を確認できる通知画像を表示部に表示するロボットに関係する。

また、本発明の他の態様では、取得された前記撮像情報から前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを検出したパターンをハンドパターンとし、前記ハンドパターンを前記ロボット制御コマンドに変換してもよい。

また、本発明の他の態様では、取得された前記撮像情報から、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボット制御コマンドへの変換及び前記作業者の識別のうちの少なくとも一方を行ってもよい。

また、本発明の他の態様では、前記通知画像は、前記ロボット制御コマンドの内容を表す記号画像を含んでもよい。

また、本発明の他の態様では、前記ロボット制御コマンドの内容を表示する前記記号画像が、前記作業者の手に対応する位置に配置された前記通知画像を、前記表示部に表示してもよい。

本実施形態のシステム構成例。図２（Ａ）、図２（Ｂ）は、ロボットシステムの一例。本実施形態のロボットシステムを用いた生産システムの一例。作業者の手の形に関連付けられたロボット制御コマンドと記号画像の説明図。図５（Ａ）〜図５（Ｆ）は、表示画面内における記号画像の表示位置の説明図。作業者の手の位置に関連付けられたロボット制御コマンドと記号画像の説明図。図７（Ａ）〜図７（Ｆ）は、作業者の手の位置に記号画像を表示する手法の説明図。図８（Ａ）、図８（Ｂ）は、検出領域と検出除外領域の説明図。本実施形態の処理の流れを説明するフローチャート。作業者の手の位置及び手までの距離を計算する処理の流れを説明するフローチャート。作業者の手の検出処理の流れを説明するフローチャート。人物識別処理の流れを説明するフローチャート。

以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の手法について具体例を交えつつ詳細に説明し、最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．概要
近年、消費者ニーズの変動や多様化の高まりに対応する必要性から、大量生産向きのいわゆるライン生産方式のシステムに代わって、多くの機種を少量ずつ生産して生産量の増減や多機種少量生産に柔軟に対応する、いわゆるセル生産システムが採用されることが多くなってきた。

セル生産システムは、１人の作業者が生産用のセル、つまり生産セルと呼ばれる所定の作業場所で複数の作業工程を処理して最終製品、または複数工程毎の完成品を作り上げる自己完結性の高いシステムである。セル生産システムやこのシステムを用いたセル生産方式は、作業者の多能工化を推進でき、製品仕様変更への対応が容易であり、設備投資が少なくて済むという利点がある。

また、セル生産システムにおいて、作業者によるワークへの部品組付けなどの作業をロボットに代替させることも行われる。すなわち、作業者である人が生産セルに配置された人セルに代えて、作業者としてロボットが生産セルに配置されたロボットセルによってセル生産システムが構成される。

さらに、セル生産システムにおいては、１つのセルにおける作業者が１人である場合の他に、数人でチームを編成して１つのセルで作業を行う場合もある。そして、人とロボットとの混合によってそのチームを構成することも行われる。

例えば前述した特許文献１では、このようなセル生産システムにおいて、生産増減に応じて生産セル内のロボットの稼働率を低下させることなく、生産セルに設定付与する作業者の数をより少なくできるような生産指示方法が開示されている。このようなセル生産システムは、従来のライン生産方式のシステムに比べて、製品機種変更や生産数増減などに対して、より柔軟に対応することができる。

さて、前述したような、人とロボットとの混合によるセル生産システムにおいては、例えば製造予定の変更があった場合や作業者の離席時などには、現在のロボットの動作を変更したり又は中断したりする必要が生じることがある。

しかし、従来の生産システムにおいて用いられているロボットは、プログラムに従ってあらかじめ決められた動作を行うに過ぎず、客観的な事象の変化等に動的に対応することができなかった。そのため、ロボットの動作を変更又は中断させる際には、作業者が直接ロボットを操作する必要があり、非常に手間がかかっていた。

そこで、本実施形態のロボットシステム、プログラム、生産システム及びロボット等では、作業者がジェスチャーによりロボットに動作指示を出すことができる。言い換えれば、本実施形態のロボットシステム等では、作業者のジェスチャーを認識して、認識したジェスチャーに関連付けられた動作をロボットが行うことができる。

２．システム構成例
次に、図１に本実施形態のロボットシステム３００及びこれを含む生産システム６００の構成例を示す。

ロボットシステム３００は、ロボット制御装置１００と、ロボット２００と、を含む。そして、ロボット制御装置１００は、撮像情報取得部１１０と、ロボット制御部１３０と、表示制御部１５０と、を含む。また、生産システム６００は、ロボットシステム３００の他に、撮像部４００や表示部５００をさらに含む。なお、ロボットシステム３００及びこれを含む生産システム６００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

次に各部で行われる処理について説明する。

ロボット２００は、作業者と混在して生産作業を行う。ロボット２００は、例えば後述する図２（Ａ）及び図２（Ｂ）に示すようなアーム２１０及びハンド２２０を有し、ロボット制御部１３０から取得されるロボット制御コマンドに従って動作する。ここで、アーム２１０とは、ロボット２００のパーツであって、一つ以上の関節を含む可動パーツのことをいう。さらに、ハンド２２０とは、ワークを把持したり、ワークに加工を施したりするためにアーム２１０のエンドポイントに取り付ける部品のことをいう。また、アーム２１０のエンドポイントとは、アーム２１０の先端部分のポイントであって、ロボット２００のハンド２２０以外の他の部分と接続されていない部分のことをいう。

次に、撮像情報取得部１１０は、撮像部４００から撮像情報を取得する。撮像情報取得部１１０は、例えば撮像部４００と有線又は無線により通信を行う通信部（インターフェース部）であってもよい。

そして、ロボット制御部１３０は、撮像情報に基づいてロボット２００を制御するために用いるロボット制御コマンドを特定し、特定したロボット制御コマンドをロボット２００に出力する。

また、表示制御部１５０は、表示画像を表示する表示部５００の表示制御を行う。なお、ロボット制御部１３０及び表示制御部１５０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

そして、撮像部４００は、作業現場及び作業現場で作業を行う作業者等を撮像し、撮像情報を撮像情報取得部１１０に出力する。例えば撮像部４００は、赤外線カメラであってもよい。赤外線カメラは、赤外線画像を撮像するものであってもよく、赤外線画像は、遠赤外線画像及び中赤外線画像、近赤外線画像を含む。また、赤外線カメラは、人体を検出対象とするため、８〜１２μｍの遠赤外線波長域において感度を有するものであっても良い。

さらに、撮像部４００として、焦電型赤外線センサーカメラを用いてもよい。焦電型赤外線センサーカメラを使うことにより、遠距離から近距離までの熱画像（赤外線画像、温度画像）を１つのセンサー膜で取得可能であり、人体の体温と他の静止物の境界線が明確に表示可能である。そのため、人体抽出には最適であり、さらに他の赤外線センサーより大幅にコストが低い。

他にも、撮像部４００として可視カメラを用いて、撮像した画像に対して画像処理を行い、人体と他の静止物の境界線を特定し、人体の形状を特定することも可能である。例えば可視カメラは、撮像素子としてＣＣＤやＣＭＯＳを用いるカメラであっても良く、また、白黒カメラであっても、カラーカメラであっても良い。白黒カメラを使う場合には、可視画像として濃淡画像が撮像され、カラーカメラを使う場合には、可視画像として色画像が撮像される。

なお、赤外線カメラ及び可視カメラは、画像処理用等に用いられるデバイス（プロセッサー）を含んでもよい。本実施形態においては、赤外線画像データまたは可視画像データを、そのまま撮像情報取得部１１０に出力するが、これに限定されるものではない。例えば、ロボット制御部１３０において行う画像処理の一部を、撮像部４００が行っても良い。その場合、赤外線画像又は可視画像に対して、画像処理が施された後の撮像情報が撮像情報取得部１１０に出力されることになる。

表示部５００は、取得した表示画像を表示する。表示部５００は、例えば液晶である。その他にも表示部５００は、有機ＥＬパネルや、電子ペーパーなどであってもよい。

次に、ロボットシステム３００の一例を図２（Ａ）及び図２（Ｂ）に示す。例えば図２（Ａ）のロボットシステム３００では、ロボット本体２００（ロボット）とロボット制御装置１００とが別体に構成されている。しかし、本実施形態のロボットシステム３００は図２（Ａ）の構成に限定されず、図２（Ｂ）のようにロボット本体２００とロボット制御装置１００とが一体に構成されていてもよい。具体的には図２（Ｂ）に示したように、ロボット２００は、ロボット本体（アーム２１０及びハンド２２０を有する）及びロボット本体を支えるベースユニット部を有し、当該ベースユニット部にロボット制御装置１００が格納されるものであってもよい。図２（Ｂ）のロボット２００には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。なお、図２（Ａ）は単腕型の例であるが、ロボット２００は図２（Ｂ）に示すように双腕型等の多腕型のロボットであってもよい。なお、ロボット２００は、人手により移動させられるものであってもよいし、車輪を駆動するモーターを設け、当該モーターをロボット制御装置１００により制御することにより、移動させられるものであってもよい。また、ロボット制御装置１００は、図２（Ｂ）のようにロボット２００の下に設けられたベースユニット部に設けられるとは限られない。

さらに、本実施形態の生産システムの具体例として、セルの様子を上から見た図を図３に示す。本実施形態の生産システムでは、図３に示すように直列に接続された３つ以上の作業台（ＤＳＫ１〜ＤＳＫ３）が配置され、中央の作業台ＤＳＫ２には作業者ＷＫが配置される。そして、その両側の作業台（ＤＳＫ１及びＤＳＫ３）には、それぞれ多関節双腕ロボット（ＲＢ１及びＲＢ２）が配置され、作業者ＷＫと共存、協調組立てセル生産ラインが組まれている。

また、作業者ＷＫの正面の作業台ＤＳＫ２とロボット（ＲＢ１及びＲＢ２）の正面の作業台（ＤＳＫ１及びＤＳＫ３）の間には、互いの活動領域を分離し、互いの活動領域内の侵害を防止するために、ラインセンサー（ＳＥ１及びＳＥ２）が配置されている。さらに、中央の作業台ＤＳＫ２には、赤外線カメラＣＡＭ及び表示モニターＤＩＳが設置されている。赤外線カメラＣＡＭ及び表示モニターＤＩＳの設置理由については後に詳述する。

双腕ロボット（ＲＢ１及びＲＢ２）は、前述した図２（Ｂ）と同様に、台車の上端部にロボットの胴体下部が支持されており、ロボット側からの指示又は作業者の手動により左右、前後に台車が移動可能である。双腕ロボットの胴体先端は、ワークを把持し、所定の作業を行う２本のアーム及びハンドを供えている。さらに、胴体背面に、ロボット及び台車を制御するロボット制御装置（ＣＰ１及びＣＰＵ２）が設置されている。なお、ロボットの駆動用電源は、作業台からの配線接合により、電源が供給される。

３．本実施形態の手法
次に、本実施形態の手法について説明する。

以上の本実施形態のロボットシステム３００は、生産システムにおいて作業者と混在して生産作業を行うロボット２００と、作業者を撮像する撮像部４００から撮像情報を取得する撮像情報取得部１１０と、撮像情報に基づいてロボット２００を制御するロボット制御部１３０と、表示画像を表示する表示部５００の表示制御を行う表示制御部１５０と、を含む。まず、ロボット制御部１３０は、取得された撮像情報に基づいて作業者のジェスチャーを検出し、検出したジェスチャーに関連付けられたロボット制御コマンドを特定する。そして、表示制御部１５０は、ロボット制御部１３０が特定したロボット制御コマンドを作業者へ通知する通知画像を表示部５００に表示する。

ここで、撮像情報とは、撮像部４００により撮像された撮像画像を表す情報のことをいう。撮像情報は、撮像画像そのものであってもよいし、撮像画像に対して画像処理を行った画像の情報であってもよい。また、撮像情報は、特徴量等の撮像画像から検出した情報であってもよい。さらに、撮像情報は、撮像画像が記憶されている場所へのリンク情報等であってもよい。

また、ジェスチャーとは、作業者の身振りのことをいう。ジェスチャーの具体例については、後述する。

そして、ロボット制御コマンドとは、ロボット２００を制御するために用いる制御コマンドのことをいう。ロボット制御コマンドは、作業者のジェスチャーに関連付けられている。

さらに、通知画像とは、ロボット制御部１３０が特定したロボット制御コマンドを作業者へ通知する画像である。具体的には、通知画像は、作業者がジェスチャーにより指示したロボット制御コマンドが、ロボット制御部１３０により正しく特定されたか否かを、作業者が確認するために用いる画像のことをいう。通知画像の具体例については、後述する。

よって、作業者は、ジェスチャーによりロボットに動作指示を出すことができる。一方で、本実施形態のロボットシステム３００では、作業者のジェスチャーを認識して、認識したジェスチャーに関連付けられた動作をロボット２００が行うことが可能となる。さらに、作業者に対して通知画像を表示するため、ジェスチャーによりロボットシステム３００に正しく指示が伝わったか否かを作業者が確認することができる。

また、作業者は生産作業を行っており、じっくりと表示部５００に表示される通知画像を見ている暇がないため、ジェスチャーによりロボットシステム３００に正しく指示が伝わったかどうかを即座に判断できるようにすることが望ましい。

そこで、表示制御部１５０は、ロボット制御部１３０により特定されたロボット制御コマンドの内容を表す記号画像を含む通知画像を、表示部５００に表示する制御を行ってもよい。

ここで、記号画像とは、ロボット制御コマンドの内容を表す画像であって、通知画像の中に配置される画像のことをいう。具体例については、図４及び図５を用いて後述する。

これにより、ジェスチャーによりロボットシステム３００に正しく指示が伝わったかどうかを作業者がより容易に確認すること等が可能になる。

また、ロボット制御部１３０は、取得された撮像情報に基づいて作業者のハンドパターンを検出し、検出したハンドパターンに関連付けられたロボット制御コマンドを特定してもよい。

これにより、作業者は、ハンドパターンによりロボット２００に動作指示を出すこと等が可能になる。

具体的には、ロボット制御部１３０は、撮像領域内で取得された撮像情報に基づいて作業者の手の形状パターン及び位置、動きのうちの少なくとも一つをハンドパターンとして検出し、検出したハンドパターンに関連付けられたロボット制御コマンドを特定してもよい。

すなわち、ハンドパターンとは、作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つにより特定されるジェスチャーのことをいう。ハンドパターンは、作業者の手の形状パターン及び位置、動きの組み合わせであってもよい。なお、手の形状パターンを検出する場合には、例えば手の外郭の形状等の特徴量を検出することにより、手の形状パターンを検出する。

これにより、手の形状パターン若しくは位置、動き又はこれらの組み合わせ毎に、ロボット制御コマンドを関連付けること等が可能になる。すなわち、規定したハンドパターンの数だけ、異なるロボット制御コマンドを用意すること等が可能になる。

また、ロボット制御部１３０は、検出したジェスチャーに基づいて命令開始時間を特定し、特定した命令開始時間に、ジェスチャーに関連付けられたロボット制御コマンドに従って、ロボット２００を制御してもよい。

これにより、作業者がジェスチャーにより、ロボット２００が実際に命令を実行する時間を指定すること等が可能になる。

ここで、図４を用いて８つの具体例を説明する。まず、一つ目のケース１では、作業者のハンドパターンとして、握りこぶしの形状パターンが検出されたものとする。なお、この際に、検出する握りこぶしは左右どちらの手であっても構わない。

そして、検出した握りこぶしの形状パターンに関連付けられている通知画像と、命令開始時間と、ロボット制御コマンドとを特定する。ここでは、ロボット制御コマンドとして、現在ロボット２００が実行中の命令をリセットするコマンドと、命令開始時間として「即時（今すぐ実行する）」が特定される。そして、ロボット２００は、現在実行中の命令を即時にリセットする。そして、そのロボット制御コマンドの内容を表す「ＲＥＳＥＴ」という文字を含む通知画像が表示部５００に表示される。

ケース２〜４もケース１と同様である。ケース２では、ハンドパターンとして平手の形状パターンが検出された場合に、ロボット２００を即時停止する。ケース３では、ハンドパターンとして親指のみを立てた手の形状パターンが検出された場合には、ロボット２００に対して作業者が退席することを通知し、ロボット２００の動作を作業者不在時の動作へと変更する。作業者不在時の動作としては、例えば、これまで作業者が行っていた作業をロボット２００（又は他のロボット）が行うようにしたり、作業を一時停止にしたりする。さらに、ケース４では、ハンドパターンとして親指と人差し指を立てた手の形状パターンが検出された場合には、ロボット２００に対して作業者が入場することを通知し、作業者在籍時の動作に変更する。例えば、これまでロボット２００が行っていた作業を作業者が行うようにする。

また、ケース５では、ハンドパターンとして人差し指のみを立てた右手の形状パターンが検出された場合に、加工済みのワークを作業者に受け渡すことを指示するロボット制御コマンドが特定される。この場合には、あるワークに対してロボット２００に割り当てられた作業工程が終了した際に、ロボット２００がそのワークを把持し、境界ラインセンサー（図３のＳＥ１及びＳＥ２）を一時的に解除して、作業者の机（図３ではＤＳＫ２）にワークを運ぶ処理が行われる。

さらに、ケース６では、ハンドパターンとして人差し指と中指を立てた右手の形状パターンを検出した場合に、例えばケース５の命令実行後に元の作業へ戻ることを指示するロボット制御コマンドが特定される。また、この際には、命令開始時間が３秒後と特定される。したがって、この場合には、ハンドパターンを検出してから３秒後に、ロボット２００のハンド（把持部）を開放し、元の作業工程に戻り、境界ラインセンサーを稼働状態に戻す処理が行われる。ケース７及びケース８も同様である。

また、ロボットシステム３００がハンドパターンによる指示を正しく判別できていない場合には、そもそもロボットシステム３００が作業者の手を認識できていない可能性が高い。そのため、ハンドパターンによる指示が正しくロボットシステム３００に伝わっているか否かを作業者が確認する際には、ロボットシステム３００が作業者の手を認識できているか否かも確認できればより良い。

そこで、表示制御部１５０は、ロボット制御部１３０により特定されたロボット制御コマンドの内容を表す記号画像が、作業者の手に対応する位置に配置された通知画像を、表示部５００に表示する制御を行ってもよい。

具体例を図５（Ａ）〜図５（Ｆ）に示す熱画像（撮像画像）を用いて説明する。例えば、撮像情報に基づいて、図５（Ａ）のようなハンドパターンＴＭＰ１を検出した場合には、表示制御部１５０は、図５（Ａ）の撮像画像を鏡像反転して、ハンドパターンＴＭＰ１の位置に記号画像ＰＩＣ１が配置された図５（Ｄ）のような通知画像を表示部５００に表示する。

同様に、表示制御部１５０は、図５（Ｂ）のようなハンドパターンＴＭＰ２を検出した場合には、図５（Ｂ）の撮像画像を鏡像反転して、ハンドパターンＴＭＰ２の位置に記号画像ＰＩＣ２が配置された図５（Ｅ）のような通知画像を表示し、図５（Ｃ）のようなハンドパターンＴＭＰ３を検出した場合には、図５（Ｃ）の撮像画像を鏡像反転して、ハンドパターンＴＭＰ３の位置に記号画像ＰＩＣ３が配置された図５（Ｆ）のような通知画像を表示する。なお、ここで鏡像反転を行う理由は、自分の姿が鏡に映っているような通知画像を作業者に見せて、より視認性と判別性を向上させるためである。

また、作業者の手に対応する位置とは、元の撮像画像に映る手の位置と同じ位置であってもよいし、前述したように、鏡像反転後の手の位置などであってもよい。

これにより、ロボットシステム３００が作業者の手を認識できているか否かを作業者が確認すること等が可能になる。その結果、ハンドパターンによりロボットシステムに正しく指示が伝わったかどうかを作業者がさらに容易に確認すること等が可能になる。

また、前述したように、図４及び図５の例のように手の形状パターンからハンドパターンを検出するだけでなく、図６のように手の位置からジェスチャーを検出してもよい。

例えば、図６のケース１のように、作業者の手を首の正面に位置させるジェスチャーを検出した場合には、図５のケース１と同様に、即時、現在実行中の命令をリセットする。ケース２〜ケース８も、図５のケース２〜ケース８と同様であり、図示した手の位置によってジェスチャーを検出する点のみが異なる。

そして、図５（Ａ）〜図５（Ｆ）と同様に、図７（Ａ）のジェスチャーを検出した場合には、図７（Ｄ）に示すように、作業者の手に対応する位置に記号画像ＰＩＣ１を配置した通知画像を表示する。同様に、図７（Ｂ）のジェスチャーを検出した場合には、図７（Ｅ）のように、記号画像ＰＩＣ２を配置した通知画像を表示し、図７（Ｃ）のジェスチャーを検出した場合には、図７（Ｆ）のように、記号画像ＰＩＣ３を配置した通知画像を表示する。

また、図８（Ａ）のように、作業者ＷＫが作業台ＤＳＫの上で通常の生産作業を行っている際には、ロボットシステム３００が、ロボット２００へ指示を出す作業者のジェスチャーまたはハンドパターンを誤検出してしまう可能性がある。一方で、作業者が通常の生産作業を行う際には、主に肩より下の領域で手を動かしていることが多い。

そこで、ロボット制御部１３０は、取得された撮像情報に基づいて、作業者の肩の上方領域に設定された検出領域内から作業者のジェスチャーを検出してもよい。

ここで、肩の上方領域とは、肩を基準として設定された領域であり、肩の一部の領域を含む領域であってもよい。例えば、図８（Ａ）の例では、領域ＤＡＲのことを指す。

また、検出領域とは、作業者のジェスチャーの検出処理を行う領域のことをいう。言い換えれば、ロボットシステム３００は、検出領域内で行われたジェスチャーのみを検出し、検出領域外で行われたジェスチャーを検出しない。

これにより、ロボット２００へ指示を出すジェスチャーと同じジェスチャーを作業者が検出領域外で偶然にしてしまった場合でも、ロボットシステム３００によるジェスチャーの誤検出を防ぐこと等が可能になる。

また、ロボット制御部１３０は、取得された撮像情報に基づいて、作業者のジェスチャーを検出しない検出除外領域を設定し、検出除外領域以外の領域に検出領域を設定してもよい。

これにより、例えば肩の上方領域であっても、ジェスチャーの検出が失敗しやすい領域では、ジェスチャーの検出処理を行わないようにして、ジェスチャーの誤検出を防ぐこと等が可能になる。

実際に、作業者ＷＫが生産作業を行う場合には、図８（Ｂ）に示すようにマスクＭＳＫを着用している場合が多い。そのため、ロボットシステム３００が撮像画像の温度情報等に基づいて、作業者ＷＫの顔を認識できないことが多く、作業者ＷＫの顔と手を混同してしまう可能性もある。

そこで、ロボット制御部１３０は、少なくとも作業者の顔領域を含む領域を検出除外領域として設定してもよい。なお、検出除外領域は、作業者の顔領域の一部を含む領域であっても良い。

図８（Ｂ）の例では、検出除外領域ＵＤＡＲを作業者ＷＫの顔領域を含む領域に設定しており、検出除外領域ＵＤＡＲの外の領域に検出領域ＤＡＲを設定している。

これにより、作業者の顔領域でジェスチャーまたはハンドパターンの検出処理を行わないようにして、ジェスチャーまたはハンドパターンの誤検出を防ぐこと等が可能になる。

また、ロボット制御部１３０は、作業者と混在して生産作業を行う第１のロボットを第１のロボット制御コマンドにより制御し、第１のロボットと異なる第２のロボットを第２のロボット制御コマンドにより制御してもよい。

しかし、第１のロボット制御コマンド群と第２のロボット制御コマンド群の中に、同一のジェスチャーに関連付けられているロボット制御コマンドがある場合には、例えば、作業者が第１のロボットにだけ動作指示を出そうと思い、そのジェスチャーを行った場合でも、そのジェスチャーにより第２のロボットにも動作指示を出してしまう場合もある。

そこで、ロボット制御部１３０は、取得された撮像情報に基づいて、作業者の肩の上方領域に設定された第１の検出領域内から作業者のジェスチャーを検出した場合には、検出したジェスチャーが第１の検出領域に関連付けられているか否かを判定し、検出したジェスチャーが第１の検出領域に関連付けられていると判定した場合に、検出したジェスチャーに関連付けられた第１のロボット制御コマンドにより第１のロボットを制御してもよい。

一方、ロボット制御部１３０は、取得された撮像情報に基づいて、作業者の肩の上方領域に設定され、第１の検出領域と異なる第２の検出領域内から作業者のジェスチャーを検出した場合には、検出したジェスチャーが第２の検出領域に関連付けられているか否かを判定し、検出したジェスチャーが第２の検出領域に関連付けられていると判定した場合に、検出したジェスチャーに関連付けられた第２のロボット制御コマンドにより第２のロボットを制御してもよい。

例えば、前述した図６のケース５及びケース６のように、作業者の右側領域において行われたジェスチャーは、作業者の右側に配置された第１のロボット（例えば図３のＲＢ２）へ動作を指示するものとして扱い、図６のケース７及びケース８のように、作業者の左側領域におけるジェスチャーは、作業者の左側に配置された第２のロボット（例えば図３のＲＢ１）へ動作を指示するものとして扱う。

これにより、作業者は、同じジェスチャーでも、そのジェスチャーを行う領域を変えることによって、複数のロボットに動作指示を出すこと等が可能になる。

一方で、第１のロボットへ動作指示を出す領域と、第２のロボットへ動作指示を出す領域が分かれていると、緊急時などに両方のロボットへ同時に指示を出すのが難しい場合がある。

そこで、ロボット制御部１３０は、検出したジェスチャーが緊急時用ジェスチャーであると判定した場合には、ジェスチャーを検出した検出領域が第１の検出領域及び第２の検出領域のいずれの検出領域であっても、検出したジェスチャーに関連付けられた緊急ロボット制御コマンドに従って、第１のロボット及び第２のロボットを制御してもよい。

ここで、緊急時用ジェスチャーとは、緊急ロボット制御コマンドが関連付けられたジェスチャーのことをいう。

そして、緊急ロボット制御コマンドとは、例えば非常停止コマンドなど、他のロボット制御コマンドに比べて即時実施する必要性が高いロボット制御コマンドのことをいう。例えば、図５のケース１〜ケース４のロボット制御コマンドは、緊急ロボット制御コマンドであると言える。

図５のケース１〜ケース４のように、緊急時用ジェスチャーを検出した場合には、ジェスチャーの検出位置が第１の検出領域であっても、第２の検出領域であっても関わりなく、緊急時用ジェスチャーに関連付けられた緊急ロボット制御コマンドを特定し、第１のロボット及び第２のロボットがこれを実行する。

これにより、第１のロボットと第２のロボットの両方に緊急の動作指示を出したい場合には、位置に関わりなく、第１のロボットと第２のロボットの両方に動作指示を出すこと等が可能になる。

また、上記の各種処理は、前述したように、ロボット２００の外部のロボット制御装置１００が行ってもよいし、ロボット２００が行ってもよい。

すなわち、ロボット２００は、作業者を撮像して撮像情報を取得し、取得された撮像情報を、作業者からの指示を含むロボット制御コマンドに変換して動作し、作業者がロボット制御コマンドの内容を確認できる通知画像を表示部に表示してもよい。

また、ロボット２００は、取得された撮像情報から作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを検出したパターンをハンドパターンとし、ハンドパターンをロボット制御コマンドに変換してもよい。

また、ロボット２００は、取得された撮像情報から、作業者の手の甲の認識処理を行い、認識処理の結果に基づいて、ロボット制御コマンドへの変換及び作業者の識別のうちの少なくとも一方を行ってもよい。

また、ロボット２００は、ロボット制御コマンドの内容を表示する記号画像が、作業者の手に対応する位置に配置された通知画像を、表示部に表示してもよい。

なお、本実施形態のロボットシステム３００、生産システム及びロボット２００等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態のロボットシステム３００、生産システム及びロボット２００等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

４．処理の詳細
以下では、図３の生産システムの構成例及び図９のフローチャートを用いて、本実施形態の処理の流れについて説明する。

まず、赤外線カメラＣＡＭ及び表示モニターＤＩＳ、ロボット制御装置（ＣＰ１及びＣＰ２）、ロボット（ＲＢ１及びＲＢ２）を起動状態にし、以下の処理において必要となるパラメーターの初期設定を行う（Ｓ１）。次に、赤外線カメラＣＡＭにより作業者ＷＫを撮像して、熱画像を取得する（Ｓ２）。

次に、ステップＳ２で得られた熱画像から検出対象物の候補領域を抽出する（Ｓ３）。具体的には、検出対象物と同様の温度特徴を有する領域を候補領域として抽出する。例えば、検出対象物が作業者ＷＫ（人）の手である場合には、肌を露出している顔及び首、手の表面温度が３０℃程度の中温になることを利用して、熱画像中から例えば３０℃程度の温度を有する候補領域を探索し、その候補領域の位置情報と温度情報を検出する。この際に、位置情報としては例えばその候補領域の重心座標位置を検出すればよく、温度情報としては例えばその候補領域の平均温度を検出すればよい。また重心座標位置以外にも、縦横比、充足率、実面積などの条件を満たす部位の存在を調べてもよい。なお、検出対象物が人以外のものである場合には、その検出対象物が有する温度特徴に基づいて抽出処理を行えばよい。

そして、ステップＳ３で得られた各候補領域の位置情報と温度情報とを対応付けた位置‐温度リストを作成する（Ｓ４）。

次に、ステップＳ４で作成した位置‐温度リストに基づいて、ステップＳ３において候補領域が一つでも抽出されているか否かを判定する（Ｓ５）。

候補領域が一つも抽出されていないと判定した場合には、今回撮像した熱画像の中には作業者ＷＫの手が映っていないものと判定して、ステップＳ２に戻る。

一方、候補領域が一つ以上抽出されていると判定した場合には、位置‐温度リストに基づいて、次のパターンマッチング処理の処理対象にする候補領域を選択し、選択した候補領域を実際に熱画像上に設定し（Ｓ６）、今回のパターンマッチング処理で用いるテンプレート画像を選択する（Ｓ７）。

ここで、テンプレート画像とは、例えば作業者ＷＫの手の形状パターンの画像や、作業者ＷＫの手の温度分布を示す熱画像など、検出対象物の典型的な特徴を表す画像のことを指す。言い換えれば、テンプレート画像は、検出対象物を表す画像の一例である。テンプレート画像は、ロボットシステムがあらかじめ撮像して記憶しておく等してもよい。

そして、パターンマッチング処理を行い、位置‐温度リストにリストアップされている各候補領域内に作業者ＷＫの手が存在するか否かを特定し、候補領域内に作業者ＷＫの手が存在すると判定した場合には、作業者ＷＫの手の位置を検出する（Ｓ８）。

ここで、パターンマッチング処理とは、熱画像から抽出した温度情報等に基づいて、検出対象物の候補領域とテンプレート画像との比較処理を行い、検出対象物の候補領域内にテンプレート画像と一致する領域があると判断した場合に、検出対象物がその候補領域内に存在すると判断し、検出対象物の候補領域内にテンプレート画像と一致する領域がないと判断した場合に、検出対象物がその候補領域内に存在しないと判断する処理のことをいう。

具体的に、作業者ＷＫの手を検出する場合には、作業者ＷＫの手の候補領域と人の手のテンプレート画像に対して濃度値の相関演算を行うことによって、作業者ＷＫの手の有無とその詳細な位置を検出する。ただし、本発明はこれに限定されるものではなく、他にもエッジ画像をテンプレート画像として記憶しておき、エッジ画像と候補領域との相関値を計算することにより最終的な対象物の有無とその位置を検出してもよい。

次に、ステップＳ４で作成された位置‐温度リストにリストアップされている全ての候補領域に対してパターンマッチング処理が行われたか否かを判定する（Ｓ９）。位置‐温度リストの全ての候補領域に対して、パターンマッチング処理が終了していなければ、処理対象となる候補領域を切り替えるために、ステップＳ６に戻り、次の候補領域の設定処理を行う。

一方、位置‐温度リストにリストアップされている全ての候補領域についてパターンマッチング処理が終了している場合には、図６の例に示すように、検出した作業者ＷＫの手の位置に関連付けられたロボット制御コマンド及び命令開始時間、記号画像の特定処理を行う（Ｓ１０）。

そして、通知画像の生成処理を行い（Ｓ１１）、生成した通知画像を表示部に表示する（Ｓ１２）。ここで、通知画像の生成処理では、まず撮像した熱画像の中心を通る縦軸に対して線対称になるように、熱画像を鏡像反転し、次に、鏡像反転後の熱画像において作業者ＷＫの手が映る位置に、ステップＳ１０において特定した記号画像を配置設定（重畳）した通知画像を生成する処理を行う。具体的には、図７（Ｄ）、図７（Ｅ）、図７（Ｆ）のような通知画像を生成する。なお、通知画像を表示する際には、警告音を発したり、回転警告燈を点灯させたり、記号画像に色彩を付けて表示したり、記号画像の点滅表示を行ったりしてもよい。

最後に、ステップＳ１０において特定した命令開始時間に、ロボット制御コマンドを実行し、ロボットを動作させ（Ｓ１３）、ステップＳ２に戻る。

５．第１の変形例
また、ステレオカメラを用いて、作業者ＷＫの手の位置を検出する処理の流れを、図１０のフローチャートを用いて説明する。なお、この処理は、図９のフローチャートのステップＳ２〜ステップＳ８に相当する。

まず、左カメラから得られる左カメラ画像に映る作業者ＷＫの手を検出する（Ｓ２０）。作業者ＷＫの手の検出処理の具体的な流れは、図１１のフローチャートのようになる。

すなわち、まず左カメラ画像から肌色領域を抽出し（Ｓ３０）、肌色領域が抽出されたか否かを判定する（Ｓ３１）。肌色領域が抽出されなかった場合には、抽出エラーが発生したとして、手の検出処理を途中終了する。

一方、肌色領域が抽出された場合には、抽出された肌色領域に対して、手の形状のパターンマッチング処理を行う（Ｓ３２）。なお、このパターンマッチング処理は、前述したパターンマッチング処理と同様の処理である。ただし、ここでは手が検出できさえすればよいので、複数の形状パターンとパターンマッチング処理を行ってもよい。

次に、手を検出したか否かを判定し（Ｓ３３）、手を検出した場合には、正常に手の検出処理を終了する。一方、手を検出できなかった場合には、検出エラーが発生したとして、手の検出処理を途中終了する。

次に、図１０のフローチャートへ戻り、右カメラから得られる右カメラ画像に対しても、前述した図１１の手の検出処理を行う（Ｓ２１）。

そして、左カメラ画像において検出した手の位置と、右カメラ画像において検出した手の位置とのマッチング処理を行い、実空間での手の位置を特定する（Ｓ２２）。さらに、特定した手の位置に基づいて、カメラから手までの距離を算出する（Ｓ２３）。

その後は、特定した手の位置又は距離に関連付けられたロボット制御プログラム及び命令開始時間、記号画像を特定し、特定した命令開始時間に、特定したロボット制御プログラムに従ってロボットを動作させる。また、特定した記号画像に基づいて、通知画像を生成し、表示部にこれを表示する。

６．第２の変形例
また、ロボット制御部１３０は、取得された撮像情報に基づいて、作業者の手の甲の認識処理を行い、認識処理の結果に基づいて、ロボット制御コマンドの特定処理及び作業者の識別処理のうちの少なくとも一方を行ってもよい。

ここで、作業者の識別処理とは、あらかじめ手の甲の情報が登録されている複数の作業者の中から、現在生産作業を行っている作業者を特定する処理のことをいう。

これにより、例えば未登録者によるロボットの不正操作を防止すること等が可能になる。

また、ロボット制御部１３０は、手の甲の形状パターン又は作業者の手の甲に設けられた記号情報に基づいて、作業者の手の甲の認識処理を行ってもよい。

ここで、作業者の手の甲に設けられた記号情報とは、例えば作業者が装着する手袋に描かれた又は切り抜かれた任意の記号や図形に関する情報のことをいう。

これにより、作業者の手の甲の情報をあらかじめ登録していない場合であっても、手の甲に記号情報が設けられていない不正な人物により、ロボットが操作されるのを防止すること等が可能になる。

ここで、カラーカメラと赤外線カメラを用いた作業者の認識処理の具体的な流れについて、図１２のフローチャートを用いて説明する。

まず、カラーカメラにより生産現場を撮像し、取得したカラー画像から肌色領域を抽出する（Ｓ４０）。そして、肌色領域が抽出できなかった場合には（Ｓ４１）、作業者が存在しないとして判定して、処理を終了する。

一方、カラー画像から肌色領域が抽出できた場合には（Ｓ４１）、手の甲の形状のテンプレート画像を用いて、パターンマッチング処理を行い、手の甲の検出処理を行う（Ｓ４２）。なお、このパターンマッチング処理は、図１１のステップＳ３２のパターンマッチング処理と同様であるが、前述したように作業者の手の甲に設けられた記号情報に基づいて行ってもよい。

そして、手の甲が検出されたか否かを判定し（Ｓ４３）、手の甲が検出されていないと判定した場合には、ステップＳ４０の処理に戻る。

一方、手の甲が検出されたと判定した場合には、赤外線カメラから取得された熱画像において手の甲の領域を特定する（Ｓ４４）。

そして、不図示のデータベースＤＢ内に記憶されている最初の人物の特徴情報を取得する（Ｓ４５）。ここで、人物の特徴情報とは、例えば、血管パターンや手の形状パターン、手の甲の温度分布パターン等のその人物固有の特徴を表す情報のことを指す。人物の特徴情報の取得処理が失敗した場合には（Ｓ４６）、ステップＳ４０に戻る。

一方、人物の特徴情報の取得処理が成功した場合には（Ｓ４６）、赤外画像における手の甲の領域の特徴を抽出し（Ｓ４７）、データベースＤＢから取得した人物の特徴情報と、赤外画像において抽出した手の甲の領域の特徴情報とを比較する特徴照合処理を行い（Ｓ４８）、特徴が一致していると判断する場合には（Ｓ４９）、カラー画像及び赤外画像に映る作業者は、今回の特徴照合処理で用いた特徴情報に対応する人物であると判定し、処理を終了する。

一方、特徴が合致しなかった場合には（Ｓ４９）、データベースＤＢ内における次の人物の特徴を取得し（Ｓ５０）、ステップＳ４６に戻る。

以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、ロボットシステム、プログラム、生産システム及びロボットの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ ロボット制御装置、１１０ 撮像情報取得部、１３０ ロボット制御部、１５０ 表示制御部、
２００ ロボット、２１０ アーム、２２０ ハンド、３００ ロボットシステム、４００ 撮像部、
５００ 表示部、６００ 生産システム

Claims (22)

1. 生産システムにおいて作業者と混在して生産作業を行うロボットと、
   前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
   前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
   表示画像を表示する表示部の表示制御を行う表示制御部と、
   を含み、
   前記ロボット制御部は、
   取得された前記撮像情報に基づいて前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
   前記表示制御部は、
   前記ロボット制御部が特定した前記ロボット制御コマンドを前記作業者へ通知する通知画像を前記表示部に表示する制御を行うことを特徴とするロボットシステム。
2. 請求項１において、
   前記表示制御部は、
   前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表す記号画像を含む前記通知画像を、前記表示部に表示する制御を行うことを特徴とするロボットシステム。
3. 請求項１又は２において、
   前記ロボット制御部は、
   取得された前記撮像情報に基づいて前記作業者のハンドパターンを検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定することを特徴とするロボットシステム。
4. 請求項３において、
   前記ロボット制御部は、
   取得された前記撮像情報に基づいて前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを前記ハンドパターンとして検出し、検出した前記ハンドパターンに関連付けられた前記ロボット制御コマンドを特定することを特徴とするロボットシステム。
5. 請求項３又は４において、
   前記表示制御部は、
   前記ロボット制御部が特定した前記ロボット制御コマンドの内容を表示する記号画像が、前記作業者の手に対応する位置に配置された前記通知画像を、前記表示部に表示する制御を行うことを特徴とするロボットシステム。
6. 請求項１乃至５のいずれかにおいて、
   前記ロボット制御部は、
   取得された前記撮像情報に基づいて、前記作業者の肩の上方領域に設定された検出領域内から前記作業者の前記ジェスチャーを検出することを特徴とするロボットシステム。
7. 請求項６において、
   前記ロボット制御部は、
   前記作業者と混在して生産作業を行う第１のロボットを第１のロボット制御コマンドにより制御し、前記第１のロボットと異なる第２のロボットを第２のロボット制御コマンドにより制御し、
   前記ロボット制御部は、
   取得された前記撮像情報に基づいて、前記作業者の肩の前記上方領域に設定された第１の検出領域内から前記作業者の前記ジェスチャーを検出した場合には、検出した前記ジェスチャーが前記第１の検出領域に関連付けられているか否かを判定し、検出した前記ジェスチャーが前記第１の検出領域に関連付けられていると判定した場合に、検出した前記ジェスチャーに関連付けられた前記第１のロボット制御コマンドにより前記第１のロボットを制御し、
   取得された前記撮像情報に基づいて、前記作業者の肩の前記上方領域に設定され、前記第１の検出領域と異なる第２の検出領域内から前記作業者の前記ジェスチャーを検出した場合には、検出した前記ジェスチャーが前記第２の検出領域に関連付けられているか否かを判定し、検出した前記ジェスチャーが前記第２の検出領域に関連付けられていると判定した場合に、検出した前記ジェスチャーに関連付けられた前記第２のロボット制御コマンドにより前記第２のロボットを制御することを特徴とするロボットシステム。
8. 請求項７において、
   前記ロボット制御部は、
   検出した前記ジェスチャーが緊急時用ジェスチャーであると判定した場合には、前記ジェスチャーを検出した前記検出領域が前記第１の検出領域及び前記第２の検出領域のいずれの前記検出領域であっても、検出した前記ジェスチャーに関連付けられた緊急ロボット制御コマンドに従って、前記第１のロボット及び前記第２のロボットを制御することを特徴とするロボットシステム。
9. 請求項６乃至８のいずれかにおいて、
   前記ロボット制御部は、
   取得された前記撮像情報に基づいて、前記作業者の前記ジェスチャーを検出しない検出除外領域を設定し、前記検出除外領域以外の領域に前記検出領域を設定することを特徴とするロボットシステム。
10. 請求項９において、
    前記ロボット制御部は、
    少なくとも前記作業者の顔領域を含む領域を前記検出除外領域として設定することを特徴とするロボットシステム。
11. 請求項１乃至１０のいずれかにおいて、
    前記ロボット制御部は、
    検出した前記ジェスチャーに基づいて命令開始時間を特定し、特定した前記命令開始時間に、前記ジェスチャーに関連付けられた前記ロボット制御コマンドに従って、前記ロボットを制御することを特徴とするロボットシステム。
12. 請求項１乃至１１のいずれかにおいて、
    前記ロボット制御部は、
    取得された前記撮像情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うことを特徴とするロボットシステム。
13. 生産システムにおいて作業者と混在して生産作業を行うロボットと、
    前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
    前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
    を含み、
    前記ロボット制御部は、
    取得された前記撮像情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボットを制御するために用いるロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うことを特徴とするロボットシステム。
14. 請求項１２又は１３において、
    前記ロボット制御部は、
    手の甲の形状パターン又は前記作業者の手の甲に設けられた記号情報に基づいて、前記作業者の手の甲の前記認識処理を行うことを特徴とするロボットシステム。
15. 生産システムにおいて作業者と混在して生産作業を行うロボットと、
    前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
    前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
    表示画像を表示する表示部の表示制御を行う表示制御部として、
    コンピューターを機能させ、
    前記ロボット制御部は、
    取得された前記撮像情報に基づいて前記作業者のジェスチャーを特定し、特定した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
    前記表示制御部は、
    前記ロボット制御部が特定した前記ロボット制御コマンドを前記作業者へ通知する通知画像を前記表示部に表示する制御を行うことを特徴とするプログラム。
16. 生産システムにおいて作業者と混在して生産作業を行うロボットと、
    前記作業者を撮像する撮像部から撮像情報を取得する撮像情報取得部と、
    前記撮像情報に基づいて前記ロボットを制御するロボット制御部として、
    コンピューターを機能させ、
    前記ロボット制御部は、
    取得された前記撮像情報に基づいて、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボットを制御するために用いるロボット制御コマンドの特定処理及び前記作業者の識別処理のうちの少なくとも一方を行うことを特徴とするプログラム。
17. 作業者と混在して生産作業を行うロボットと、
    前記作業者を撮像する撮像部と、
    前記撮像部から撮像情報を取得する撮像情報取得部と、
    前記撮像情報に基づいて前記ロボットを制御するロボット制御部と、
    表示画像を表示する表示部と、
    前記表示部の表示制御を行う表示制御部と、
    を含み、
    前記ロボット制御部は、
    取得された前記撮像情報に基づいて前記作業者のジェスチャーを検出し、検出した前記ジェスチャーに関連付けられたロボット制御コマンドを特定し、
    前記表示制御部は、
    前記ロボット制御部が特定した前記ロボット制御コマンドを前記作業者へ通知する通知画像を前記表示部に表示する制御を行うことを特徴とする生産システム。
18. 作業者からの指示を含むロボット制御コマンドに基づいて動作するロボットであって、
    前記作業者を撮像して撮像情報を取得し、
    取得された前記撮像情報を前記ロボット制御コマンドに変換して動作し、
    前記作業者が前記ロボット制御コマンドの内容を確認できる通知画像を表示部に表示することを特徴とするロボット。
19. 請求項１８において、
    取得された前記撮像情報から前記作業者の手の形状パターン、手の位置及び手の動きのうちの少なくとも一つを検出したパターンをハンドパターンとし、前記ハンドパターンを前記ロボット制御コマンドに変換することを特徴とするロボット。
20. 請求項１８又は１９のいずれかにおいて、
    取得された前記撮像情報から、前記作業者の手の甲の認識処理を行い、前記認識処理の結果に基づいて、前記ロボット制御コマンドへの変換及び前記作業者の識別のうちの少なくとも一方を行うことを特徴とするロボット。
21. 請求項１８乃至２０のいずれかにおいて、
    前記通知画像は、
    前記ロボット制御コマンドの内容を表す記号画像を含むことを特徴とするロボット。
22. 請求項２１において、
    前記ロボット制御コマンドの内容を表示する前記記号画像が、前記作業者の手に対応する位置に配置された前記通知画像を、前記表示部に表示することを特徴とするロボット。