本発明は、ジェスチャによって種々の機器（例えば、車載器）を操作するジェスチャ操作装置及びジェスチャ操作プログラムに関する。 The present invention relates to a gesture operation device and a gesture operation program for operating various devices (for example, on-vehicle devices) using gestures.
ジェスチャによって操作を行う技術としては、例えば、特許文献１に記載の技術が提案されている。 As a technique for performing an operation using a gesture, for example, a technique described in Patent Document 1 has been proposed.
特許文献１には、ステレオカメラによりユーザの画像を撮像するユーザ撮像手段と、ユーザのジェスチャを検出するジェスチャ検出手段と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段と、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、選択ジェスチャで選択された制御機器とユーザの視線の方向にある制御機器とが一致する場合に制御機器を選択する制御機器選択手段と、選択された制御機器に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段とを備えた制御機器操作ジェスチャ認識装置（ＰＣ）が提案されている。 Patent Document 1 discloses a user imaging unit that captures a user's image with a stereo camera, a gesture detection unit that detects a user's gesture, a gesture determination unit that determines whether the gesture is a selection gesture or an operation gesture, Select the control device when the gaze direction determination means for determining whether or not the control device is in the direction of the user's line of sight and the control device selected by the selection gesture match the control device in the direction of the user's line of sight There has been proposed a control device operation gesture recognition device (PC) including a control device selection unit for performing control and a control device operation unit for performing an operation corresponding to an operation gesture on the selected control device.
しかしながら、特許文献１に記載の技術では、選択された制御機器が意図する制御機器であるか否かを確認するためには、表示部等に表示する必要があるが、表示部に表示したのでは、確認するために、表示部を注視する必要があり、車載機器へ適用するためには改善の余地がある。 However, in the technique described in Patent Document 1, in order to confirm whether or not the selected control device is the intended control device, it is necessary to display on the display unit or the like. Then, in order to confirm, it is necessary to pay attention to the display unit, and there is room for improvement in order to apply it to in-vehicle devices.
本発明は、上記事実を考慮して成されたもので、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。 The present invention has been made in consideration of the above facts, and provides a gesture operation device and a gesture operation program capable of safely and easily confirming whether an operation target device to be gesture-operated is an intended device. For the purpose.
上記目的を達成するために請求項１に記載のジェスチャ操作装置は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化を付与する付与手段と、前記複数のジェスチャ領域を撮影する撮影手段と、前記撮影手段の撮影結果から、ジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する検出手段と、前記検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、前記検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する制御手段と、を備えている。 In order to achieve the above object, the gesture operating device according to claim 1 is configured to irradiate different types of light, supply wind, respectively, to a plurality of gesture regions provided corresponding to a plurality of predetermined operation target devices. And a means for applying at least one environmental change of the supply of heat, a photographing means for photographing the plurality of gesture regions, and a gesture region for detecting a gesture operation from the photographing results of the photographing means and performing the gesture operation. And a control means for controlling the operation target device corresponding to the gesture region detected by the detection means to perform a predetermined operation corresponding to the gesture operation detected by the detection means. And.
請求項１に記載の発明によれば、付与手段では、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化が付与される。付与手段は、例えば、請求項２に記載の発明のように、環境変化として光を照射する場合に、ジェスチャ領域毎に異なる色の光を照射するようにしてもよいし、請求項３に記載の発明のように、環境変化として熱を供給する場合に、ジェスチャ領域毎に異なる温度の熱を供給するようにしてもよいし、請求項４に記載の発明のように、環境変化として風を供給する場合に、ジェスチャ領域毎に異なる強さの風を供給するようにしてもよい。 According to the first aspect of the present invention, in the applying unit, different types of light irradiation, wind supply, and heat are respectively applied to a plurality of gesture regions provided corresponding to a plurality of predetermined operation target devices. At least one environmental change of supply is provided. For example, in the case of irradiating light as an environmental change as in the invention described in claim 2, the applying unit may irradiate light of a different color for each gesture region. When heat is supplied as an environmental change as in the present invention, heat at a different temperature may be supplied for each gesture region, and wind as an environmental change as in the invention described in claim 4. When supplying, you may make it supply the wind of different intensity | strength for every gesture area | region.
また、撮影手段では、複数のジェスチャ領域が撮影され、検出手段では、撮影手段の撮影結果から、ジェスチャ操作が検出されると共に当該ジェスチャ操作されたジェスチャ領域が検出される。 In addition, a plurality of gesture regions are photographed by the photographing unit, and a gesture operation is detected and a gesture region subjected to the gesture manipulation is detected from the photographing result of the photographing unit.
そして、制御手段では、検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御される。 Then, the control unit is controlled to perform a predetermined operation corresponding to the gesture operation detected by the detection unit with respect to the operation target device corresponding to the gesture region detected by the detection unit.
すなわち、操作対象機器に対応して設けたジェスチャ領域に光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化が付与されるので、付与された環境変化を確認することにより、意図する操作対象機器であるかを確認することができる。従って、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することができる。 That is, since at least one environmental change of light irradiation, wind supply, and heat supply is given to the gesture area provided corresponding to the operation target device, the intentional change is confirmed by confirming the given environmental change. It is possible to confirm whether the device is an operation target device. Therefore, it is possible to confirm safely and easily whether the operation target device to be gesture-operated is an intended device.
例えば、請求項３に記載の発明のように、ジェスチャ領域毎に異なる色の光を照射する場合には、光の色をちら見、或いは前方注視の視界内で確認すればよいので、操作対象機器が意図する機器であるか容易且つ安全に確認することができる。 For example, as in the invention described in claim 3, when irradiating light of a different color for each gesture region, it is only necessary to check the color of the light or confirm it in the field of view of the front. It is possible to easily and safely confirm whether the device is an intended device.
また、請求項４に記載の発明のように、ジェスチャ領域毎に異なる温度の熱を供給する場合には、温度の違いで操作対象機器を認識することができるので、操作対象機器が意図する機器であるか容易且つ安全に確認することができる。 Further, as in the invention described in claim 4, when supplying heat at different temperatures for each gesture region, the operation target device can be recognized by the difference in temperature. It can be easily and safely confirmed.
さらに、請求項５に記載の発明のように、ジェスチャ領域毎に異なる強さの風を供給する場合には、風の強さで操作対象機器を認識することができるので、操作対象機器が意図する機器であるか容易且つ安全に確認することができる。 Furthermore, as in the fifth aspect of the invention, when supplying winds having different strengths for each gesture region, the operation target device can be recognized by the wind strength, so that the operation target device is intended. It is possible to easily and safely confirm whether the device is a device to be used.
なお、制御手段は、請求項２に記載の発明のように、検出手段によって検出されたジェスチャ領域のみに環境変化を付与するように、付与手段を更に制御するようにしてもよい。 Note that, as in the invention described in claim 2, the control unit may further control the applying unit so as to apply the environmental change only to the gesture region detected by the detecting unit.
請求項６に記載のジェスチャ操作装置は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域のうち、ジェスチャ操作されたジェスチャ領域を表す情報を前方注視中の乗員の視界内に表示する表示手段と、前記複数のジェスチャ領域を撮影する撮影手段と、前記撮影手段の撮影結果から、ジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する検出手段と、前記検出手段によって検出されたジェスチャ領域を表す情報を表示するように前記表示手段を制御すると共に、前記検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、前記検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する制御手段と、を備えている。 The gesture operation device according to claim 6 is a field of view of an occupant who is gazing forward at information indicating a gesture region that has been gesture-operated among a plurality of gesture regions provided corresponding to a plurality of predetermined operation target devices. Display means for displaying the image, photographing means for photographing the plurality of gesture regions, detection means for detecting a gesture operation and detecting the gesture region operated by the gesture from the photographing result of the photographing means, and the detection The display means is controlled to display information representing the gesture area detected by the means, and the gesture detected by the detection means for the operation target device corresponding to the gesture area detected by the detection means. Control means for controlling to perform a predetermined operation corresponding to the operation.
請求項６に記載の発明は、表示手段では、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域のうち、ジェスチャ操作されたジェスチャ領域を表す情報が前方注視中の乗員の視界内に表示される。表示手段は、例えば、フロントウインドガラスに画像を投影する、所謂ヘッドアップディスプレイを適用することができる。 According to a sixth aspect of the present invention, in the display means, the information indicating the gesture region in which the gesture operation is performed among the plurality of gesture regions provided corresponding to the plurality of predetermined operation target devices is an occupant who is gazing forward Displayed in the field of view. As the display means, for example, a so-called head-up display that projects an image on a front window glass can be applied.
また、撮影手段では、複数のジェスチャ領域が撮影され、検出手段では、撮影手段の撮影結果から、ジェスチャ操作が検出される共に当該ジェスチャ操作されたジェスチャ領域が検出される。 In addition, a plurality of gesture regions are photographed by the photographing unit, and a gesture operation is detected and a gesture region subjected to the gesture manipulation is detected from the photographing result of the photographing unit.
そして、制御手段では、検出手段によって検出されたジェスチャ領域を表す情報を表示するように表示手段が制御されると共に、検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御される。 In the control means, the display means is controlled so as to display information representing the gesture area detected by the detection means, and the operation means corresponding to the gesture area detected by the detection means is detected by the detection means. Control is performed to perform a predetermined operation corresponding to the gesture operation detected by.
すなわち、前方注視中の乗員の視界内に操作対象機器を表す情報が表示されるので、前方注視中の視界内で表示を確認するだけで、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することができる。 In other words, since the information representing the operation target device is displayed in the field of view of the occupant during the forward gaze, whether the operation target device for performing the gesture operation is the intended device simply by confirming the display in the field of view during the forward gaze. Can be confirmed safely and easily.
なお、本発明は、請求項７に記載の発明のように、コンピュータを、請求項１〜６の何れか１項に記載のジェスチャ操作装置の前記検出手段及び前記制御手段として機能させるためのジェスチャ操作プログラムとしてもよい。 The present invention provides a gesture for causing a computer to function as the detection means and the control means of the gesture operating device according to any one of claims 1 to 6, as in the invention according to claim 7. It may be an operation program.
以上説明したように本発明によれば、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することができる、という効果がある。 As described above, according to the present invention, it is possible to provide a gesture operation device and a gesture operation program capable of safely and easily confirming whether an operation target device to be gesture-operated is an intended device. effective.
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係るジェスチャ操作装置の概略を示す図であり、図２は、本発明の第１実施形態に係るジェスチャ操作装置の構成を示すブロック図である。Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing an outline of a gesture operating device according to the first embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of the gesture operating device according to the first embodiment of the present invention.
本実施形態に係るジェスチャ操作装置１０は、ジェスチャ操作によって自動車に搭載された各種機器を操作するものである。ジェスチャ操作装置１０のジェスチャ操作の操作対象機器２２としては、例えば、ディスプレイ２２Ａや、インストルメントパネルに設けられたインパネスイッチ（例えば、ヒータコントローラ、ミラースイッチ、エアコンスイッチ、オーディオの操作スイッチ等の各種スイッチ）２２Ｂを適用することができる。 The gesture operation device 10 according to the present embodiment is for operating various devices mounted on a vehicle by a gesture operation. Examples of the operation target device 22 for the gesture operation of the gesture operation device 10 include various switches such as a display 22A and an instrument panel switch (for example, a heater controller, a mirror switch, an air conditioner switch, an audio operation switch) provided on the instrument panel. ) 22B can be applied.
ジェスチャ操作装置１０は、乗員（運転者）のジェスチャ操作を検出するためのジェスチャ操作検出用カメラ１４を備えている。 The gesture operation device 10 includes a gesture operation detection camera 14 for detecting a gesture operation of an occupant (driver).
ジェスチャ操作検出用カメラ１４は、ジェスチャ操作を検出すると共に、手の位置を検出するために、ステレオカメラによって撮影が行われる。ジェスチャ操作検出用カメラ１４は、例えば、図１に示すように、ルームミラーのベース部分に設けられ、インストルメントパネルに設けられたインパネスイッチ２２Ｂやディスプレイ２２Ａ等の操作対象機器２２の方向を撮影するように、車両のルーフ側から下方向に向けて配置されている。なお、ジェスチャ操作検出用カメラ１４は、本実施形態では、ステレオカメラを適用して３次元撮影が可能なものを適用するが、これに限るものではなく、例えば、単眼カメラと距離センサ等を併用して、ジェスチャ操作及び手の位置を検出するようにしてもよい。また、ジェスチャ操作の検出や視線検出は、周知の各種技術を適用して検出することができる。 The gesture operation detection camera 14 is photographed by a stereo camera in order to detect the gesture operation and to detect the position of the hand. For example, as shown in FIG. 1, the gesture operation detection camera 14 is provided at a base portion of a rearview mirror, and photographs the direction of an operation target device 22 such as an instrument panel switch 22B or a display 22A provided on an instrument panel. Thus, it arrange | positions toward the downward direction from the roof side of a vehicle. In this embodiment, the gesture operation detection camera 14 is a camera that can perform three-dimensional imaging using a stereo camera. However, the present invention is not limited to this. For example, a monocular camera and a distance sensor are used in combination. Then, the gesture operation and the position of the hand may be detected. In addition, detection of gesture operation and gaze detection can be detected by applying various known techniques.
また、本実施形態では、ジェスチャ操作検出用カメラ１４の近傍に、複数の光源（図１では３つの光源）１６が設けられており、ジェスチャ操作する手の方向に光が照射可能とされている。光源１６は、ジェスチャ操作対象機器２２を表す情報を報知するためのものであり、操作対象機器２２毎に異なる種類の光を照射するようになっている。具体的には、複数の光源１６からそれぞれ異なる色の光をそれぞれ異なる領域（ジェスチャ操作領域）に照射するようになっており、操作対象機器２２毎に定めたジェスチャ操作の領域毎に異なる色の光を照射する。これにより、ジェスチャ操作する手に照射された光の色をちら見或いは前方注視の視界内で確認することで、決定した操作対象機器２２を確認することができる。 Further, in the present embodiment, a plurality of light sources (three light sources in FIG. 1) 16 are provided in the vicinity of the gesture operation detection camera 14 so that light can be emitted in the direction of the hand that performs the gesture operation. . The light source 16 is for informing information representing the gesture operation target device 22, and emits different types of light for each operation target device 22. Specifically, light of different colors is emitted from a plurality of light sources 16 to different regions (gesture operation regions), and different colors are used for each region of the gesture operation determined for each operation target device 22. Irradiate light. Thereby, the determined operation target device 22 can be confirmed by confirming the color of the light applied to the hand performing the gesture operation within the field of view of glance or forward gaze.
ジェスチャ操作装置１０は、ジェスチャ操作ＥＣＵ（Electronic Control Unit）１２を備えており、乗員のジェスチャ操作に応じてジェスチャ操作ＥＣＵ１２が操作対象機器２２の操作を制御するようになっている。 The gesture operation device 10 includes a gesture operation ECU (Electronic Control Unit) 12, and the gesture operation ECU 12 controls the operation of the operation target device 22 in accordance with the gesture operation of the occupant.
ジェスチャ操作ＥＣＵ１２は、ＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ、及びＩ／Ｏ（入出力インターフェース）１２Ｄがバス１２Ｅに接続されたマイクロコンピュータで構成されている。 The gesture operation ECU 12 includes a microcomputer in which a CPU 12A, a ROM 12B, a RAM 12C, and an I / O (input / output interface) 12D are connected to a bus 12E.
Ｉ／Ｏ１２Ｄには、ジェスチャ操作検出用カメラ１４、光源ドライバ１８、及び複数の操作対象機器２２（２２Ａ、２２Ｂ・・・）が接続されている。 A gesture operation detection camera 14, a light source driver 18, and a plurality of operation target devices 22 (22A, 22B...) Are connected to the I / O 12D.
ジェスチャ操作検出用カメラ１４は、上述したように、インストルメントパネルに設けられたインパネスイッチ２２Ｂやディスプレイ２２Ａ等の操作対象機器２２の方向を撮影し、撮影結果をジェスチャ操作ＥＣＵ１２に出力する。これにより、ジェスチャ操作ＥＣＵ１２が、撮影結果から乗員の手の位置を検出すると共に、予め定めたジェスチャ操作を検出する。ジェスチャ操作としては、操作内容毎にジェスチャ操作を予め定めて記憶しておくことにより、対応するジェスチャ操作をパターンマッチング等によって検出する。なお、ジェスチャ操作としては、例えば、手振りや、サイン、手形状など手で行うことができる動作全般とすることができる。 As described above, the gesture operation detection camera 14 captures the direction of the operation target device 22 such as the instrument panel switch 22B or the display 22A provided on the instrument panel, and outputs the captured result to the gesture operation ECU 12. Thereby, gesture operation ECU12 detects the position of a passenger | crew's hand from an imaging result, and detects predetermined gesture operation. As a gesture operation, a corresponding gesture operation is detected by pattern matching or the like by preliminarily storing a gesture operation for each operation content. In addition, as gesture operation, it can be general operation | movement which can be performed by hand, such as a hand gesture, a sign, and a hand shape, for example.
光源ドライバ１８は、上述の光源１６が接続されており、ジェスチャ操作ＥＣＵ１２の指示に従って光源１６の点灯を制御するようになっている。本実施形態では、操作対象機器２２毎にジェスチャ操作領域を予め定めて、各ジェスチャ操作領域にそれぞれ異なる色の光を光源１６から照射する。なお、本実施形態では、一例として光の色によって操作対象機器２２を表す情報を報知するが、光の色ではなく、点灯や点滅、点滅の早さ、或いは、光の強さ等によって光を種類を異ならせて、操作対象機器２２を表す情報を報知するようにしてもよい。 The light source driver 18 is connected to the light source 16 described above, and controls lighting of the light source 16 in accordance with an instruction from the gesture operation ECU 12. In the present embodiment, a gesture operation area is predetermined for each operation target device 22, and light of a different color is emitted from the light source 16 to each gesture operation area. In the present embodiment, information representing the operation target device 22 is notified by the color of light as an example. However, the light is not turned on by the color of light, but is turned on, blinking, flashing fast, or the intensity of light. Different types may be notified of information representing the operation target device 22.
本実施形態では、ジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂにジェスチャ操作用プログラムや、操作対象機器２２毎に予め定めたジェスチャ操作領域の位置等が予め記憶されており、ＲＯＭ１２Ｂに記憶されたジェスチャ操作用プログラムをＲＡＭ１２Ｃに展開してＣＰＵ１２Ａが実行することにより、ジェスチャ操作に対応する動作を行うように操作対象機器２２を制御する。具体的には、操作対象機器２２毎にジェスチャ操作領域を予め定めて、ジェスチャ操作された領域（乗員の手が検出された領域）を検出することにより、検出したジェスチャ操作領域に対応する操作対象機器２２を操作対象に決定して、決定した操作対象機器２２に対応して、ジェスチャ操作に対応する操作を行うように制御する。 In the present embodiment, the gesture operation program, the position of the gesture operation area predetermined for each operation target device 22, and the like are stored in advance in the ROM 12B of the gesture operation ECU 12, and the gesture operation program stored in the ROM 12B is stored in the RAM 12C. And the operation target device 22 is controlled to perform an operation corresponding to the gesture operation. Specifically, a gesture operation area is determined in advance for each operation target device 22, and an operation target corresponding to the detected gesture operation area is detected by detecting a gesture operated area (an area in which an occupant's hand is detected). The device 22 is determined as an operation target, and control is performed so as to perform an operation corresponding to the gesture operation corresponding to the determined operation target device 22.
本実施形態では、図３（Ａ）に示すように、乗員がジェスチャ操作領域に手を伸ばすと、操作対象機器２２毎に予め定めた領域にそれぞれ異なる色の光が照射され、図３（Ｂ）に示すように、乗員の手には、操作対象機器２２を表す色の光が投影されることになる。従って、乗員は手に投影された光の色をちら見、或いは前方注視の視界内で確認することにより、ジェスチャ操作しようとしている操作対象機器２２が意図する機器であるかを容易かつ安全に確認することができる。 In this embodiment, as shown in FIG. 3 (A), when the occupant reaches his / her gesture operation area, different colors of light are emitted to areas predetermined for each operation target device 22, and FIG. ), The color of the light representing the operation target device 22 is projected onto the passenger's hand. Therefore, the occupant can easily and safely confirm whether the operation target device 22 to be gesture-operated is the intended device by looking at the color of the light projected on the hand or confirming it in the field of view of the front gaze. be able to.
そして、手に照射された光の色が意図する操作対象機器２２を表す色である場合には、ジェスチャ操作を行って、これをジェスチャ操作検出用カメラ１４で撮影してジェスチャ操作ＥＣＵ１２がジェスチャ操作を検出することにより、ジェスチャ操作に対応する操作を行うように操作対象機器２２を制御する。一方、手に照射された光の色が意図する操作対象機器２２を表す色でない場合には、意図する操作対象機器２２を表す色が手に照射されるジェスチャ操作領域へ手を移動してジェスチャ操作を行えばよい。 If the light emitted to the hand is a color representing the intended operation target device 22, a gesture operation is performed, and this is photographed by the gesture operation detection camera 14, and the gesture operation ECU 12 performs the gesture operation. By detecting this, the operation target device 22 is controlled to perform an operation corresponding to the gesture operation. On the other hand, if the color of the light emitted to the hand is not a color representing the intended operation target device 22, the hand is moved to the gesture operation area where the color representing the intended operation target device 22 is irradiated to the hand and the gesture is performed. You just have to do the operation.
続いて、上述のように構成された本発明の第１実施形態に係るジェスチャ操作装置１０で行われる具体的な処理例について説明する。図４は、本発明の第１実施形態に係るジェスチャ操作装置１０におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図４の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。 Next, a specific processing example performed by the gesture operating device 10 according to the first embodiment of the present invention configured as described above will be described. FIG. 4 is a flowchart illustrating an example of a flow of processing performed by executing a gesture operation program stored in the ROM 12B of the gesture operation ECU 12 in the gesture operation device 10 according to the first embodiment of the present invention. Note that the processing in FIG. 4 starts when, for example, the ignition switch is turned on or the accessory switch is turned on, and ends when the ignition switch is turned off.
ステップ１００では、ジェスチャ操作領域に手が伸ばされたか否か判定される。該判定は、ジェスチャ操作検出用カメラ１４の撮影結果に基づいて、操作対象機器２２毎に予め定めたジェスチャ操作領域に乗員の手を検出したか否かを検出し、該判定が肯定された場合にはステップ１０２へ移行し、否定された場合には一連の処理がリターンされて始めから処理が行われる。 In step 100, it is determined whether or not a hand has been reached in the gesture operation area. The determination is based on the result of photographing by the gesture operation detection camera 14, by detecting whether or not an occupant's hand is detected in a predetermined gesture operation area for each operation target device 22, and the determination is affirmed In step 102, if the result is negative, a series of processing is returned and processing is performed from the beginning.
ステップ１０２では、光源１６から光が照射されてステップ１０４へ移行する。本実施形態では、操作対象機器２２毎に予め定めたジェスチャ操作領域の各々にそれぞれ異なる色の光を光源１６から照射する。すなわち、乗員の手には、操作対象機器２２を表す色の光が投影されるので、手に投影された光の色をちら見、或いは前方注視の視界内で確認することにより、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。このとき、意図した操作対象機器２２を表す色の光が手に投影されていない場合には、意図した操作対象機器２２が表す色の光が投影されるジェスチャ操作領域に手を移動すればよい。 In step 102, light is emitted from the light source 16 and the process proceeds to step 104. In the present embodiment, light of a different color is emitted from the light source 16 to each of the gesture operation areas predetermined for each operation target device 22. That is, since the light of the color representing the operation target device 22 is projected onto the occupant's hand, the operation target device 22 can be checked by looking at the color of the light projected on the hand or confirming it in the field of gaze. It is possible to easily and safely confirm whether the device is an intended device. At this time, if the light of the color representing the intended operation target device 22 is not projected onto the hand, the hand may be moved to the gesture operation region where the light of the color represented by the intended operation target device 22 is projected. .
ステップ１０４では、ジェスチャ操作領域が検出されてステップ１０６へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置を検出することにより、ジェスチャ操作領域を検出する。 In step 104, the gesture operation area is detected, and the process proceeds to step 106. That is, the gesture operation area is detected by detecting the position of the occupant's hand from the image taken by the gesture operation detection camera 14.
ステップ１０６では、ジェスチャ操作領域に対応する操作対象機器２２が決定されてステップ１０８へ移行する。すなわち、操作対象機器２２毎に予め定めたジェスチャ操作領域の何れに乗員の手が存在するかを特定することにより、手が存在するジェスチャ操作領域に対応する操作対象機器２２を操作対象に決定する。 In step 106, the operation target device 22 corresponding to the gesture operation area is determined, and the process proceeds to step 108. That is, the operation target device 22 corresponding to the gesture operation region where the hand is present is determined as the operation target by specifying in which of the gesture operation regions predetermined for each operation target device 22 the occupant's hand exists. .
ステップ１０８では、ジェスチャ操作が検出されてステップ１１０へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果からジェスチャ操作を検出する。 In step 108, a gesture operation is detected, and the routine proceeds to step 110. That is, the gesture operation is detected from the photographing result of the gesture operation detection camera 14.
ステップ１１０では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ１０８において検出したジェスチャ操作が、予め定めたジェスチャ操作であるか否かを判定し、該判定が肯定された場合にはステップ１１２へ移行し、否定された場合には、ステップ１１４へ移行する。 In step 110, it is determined by the gesture operation ECU 12 whether or not the gesture operation has been recognized. The determination determines whether the gesture operation detected in step 108 is a predetermined gesture operation. If the determination is affirmative, the process proceeds to step 112. If the determination is negative, the determination is step. 114.
ステップ１１２では、ステップ１０６で決定した操作対象機器２２に対してステップ１０８で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器２２を操作することができる。 In step 112, the gesture operation ECU 12 gives an operation instruction corresponding to the gesture operation detected in step 108 to the operation target device 22 determined in step 106. Accordingly, the operation target device 22 can be operated by a gesture operation.
また、ステップ１１４では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。 In step 114, a predetermined gesture operation error process is performed, and a series of processes is returned. As the gesture operation error process, for example, an alarm output indicating that the gesture operation could not be recognized, an audio output, a display, or the like is performed.
このように、本実施形態では、ジェスチャ操作する手に投影された光をちら見、或いは前方注視の視界内で確認することで、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。
（第２実施形態）
続いて、第２実施形態に係るジェスチャ操作装置について説明する。なお、第２実施形態は第１実施形態の変形例であり、基本的な構成は第１実施形態と同一であるため、詳細な説明を省略し、差異のみを説明する。As described above, in the present embodiment, it is easy and safe to check whether the operation target device 22 is the intended device by looking at the light projected on the gesture-operating hand or confirming it in the field of view of the front gaze. Can be confirmed.
(Second Embodiment)
Next, the gesture operation device according to the second embodiment will be described. The second embodiment is a modification of the first embodiment, and the basic configuration is the same as that of the first embodiment. Therefore, detailed description will be omitted, and only the differences will be described.
第１実施形態では、それぞれ異なる種類の光を複数の光源１６の各々から各ジェスチャ操作領域に照射するようにしたが、本実施形態では、手を検出したジェスチャ操作領域を検出してジェスチャ操作の操作対象機器２２が決定されたところで、決定した操作対象機器２２に対応する光源１６のみを点灯するように制御するものである。すなわち、操作対象機器２２以外に対応するジェスチャ操作領域に光を照射する光源１６は点灯しないようになっている。 In the first embodiment, each of the plurality of light sources 16 emits different types of light to each gesture operation area. However, in this embodiment, the gesture operation area in which the hand is detected is detected and the gesture operation area is detected. When the operation target device 22 is determined, only the light source 16 corresponding to the determined operation target device 22 is controlled to be turned on. In other words, the light source 16 that irradiates light to the gesture operation area corresponding to other than the operation target device 22 is not turned on.
本実施形態では、ジェスチャ操作ＥＣＵ１２が、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手を検出することでジェスチャ操作領域を検出して検出した領域に対応する操作対象機器２２に応じた光を光源１６から照射するように光源ドライバ１８を制御することにより、操作対象機器２２に応じて予め定めた光を光源１６から照射して乗員の手に光を投影する。これにより、第１実施形態と同様に、手に投影された光をちら見、或いは前方注視の視界内で確認することによって操作対象機器２２が意図する操作対象機器２２であるか否かを容易且つ安全に確認することができる。 In the present embodiment, the gesture operation ECU 12 detects the occupant's hand from the photographing result of the gesture operation detection camera 14, detects the gesture operation region, and emits light corresponding to the operation target device 22 corresponding to the detected region. By controlling the light source driver 18 to irradiate from the light source 16, the light that is predetermined according to the operation target device 22 is irradiated from the light source 16 to project the light onto the passenger's hand. Accordingly, as in the first embodiment, it is easy to check whether the operation target device 22 is the intended operation target device 22 by looking at the light projected on the hand or confirming it in the field of front gaze. It can be confirmed safely.
具体的には、乗員がジェスチャ操作の領域に手を伸ばし、これをジェスチャ操作検出用カメラ１４で撮影して、ジェスチャ操作ＥＣＵ１２が乗員の手の位置からジェスチャ操作領域を検出する。ジェスチャ操作領域は、操作対象機器２２毎に予め定められているので、検出したジェスチャ操作領域から操作対象機器２２を決定することができる。そして、このとき、ジェスチャ操作領域に対応する操作対象機器２２を表す色の光を、ジェスチャ操作する手に照射するように光源１６を制御する。これにより、乗員は、手に照射された光の色をちら見、或いは前方注視の視界内で確認することにより、ジェスチャ操作しようとしている操作対象機器２２が意図する機器であるかを容易且つ安全に確認することができる。 Specifically, the occupant reaches his / her hand to the gesture operation area, photographs this with the gesture operation detection camera 14, and the gesture operation ECU 12 detects the gesture operation area from the position of the occupant's hand. Since the gesture operation region is predetermined for each operation target device 22, the operation target device 22 can be determined from the detected gesture operation region. At this time, the light source 16 is controlled so as to irradiate the hand performing the gesture operation with the light of the color representing the operation target device 22 corresponding to the gesture operation region. Thereby, the occupant can easily and safely check whether the operation target device 22 to be gesture-operated is an intended device by looking at the color of the light emitted to the hand or confirming it in the field of view of the front gaze. Can be confirmed.
また、手に照射された光の色が意図する操作対象機器２２を表す色である場合には、第１実施形態と同様に、ジェスチャ操作を行って、これをジェスチャ操作検出用カメラ１４で撮影してジェスチャ操作ＥＣＵ１２がジェスチャ操作を検出することにより、ジェスチャ操作に対応する操作を行うように操作対象機器２２を制御する。 Further, when the color of the light emitted to the hand is a color representing the intended operation target device 22, a gesture operation is performed as in the first embodiment, and this is photographed by the gesture operation detection camera 14. Then, when the gesture operation ECU 12 detects the gesture operation, the operation target device 22 is controlled to perform an operation corresponding to the gesture operation.
一方、手に照射された光の色が意図する操作対象機器２２を表す色でない場合には、意図する操作対象機器２２を表す色の光が照射されるようにジェスチャ操作領域を移動すればよい。 On the other hand, if the color of the light emitted to the hand is not the color representing the intended operation target device 22, the gesture operation area may be moved so that the light of the color representing the intended operation target device 22 is emitted. .
続いて、上述のように構成された本発明の第２実施形態に係るジェスチャ操作装置１０で行われる具体的な処理例について説明する。図５は、本発明の第２実施形態に係るジェスチャ操作装置１０におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図５の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。 Next, a specific processing example performed by the gesture operating device 10 according to the second embodiment of the present invention configured as described above will be described. FIG. 5 is a flowchart illustrating an example of a flow of processing performed by executing a gesture operation program stored in the ROM 12B of the gesture operation ECU 12 in the gesture operation device 10 according to the second embodiment of the present invention. 5 starts, for example, when the ignition switch is turned on or the ignition switch is turned on as an accessory, and ends when the ignition switch is turned off.
ステップ２００では、ジェスチャ操作領域に手が伸ばされたか否か判定される。該判定は、ジェスチャ操作検出用カメラ１４の撮影結果に基づいて、操作対象機器２２毎に予め定めた操作領域に乗員の手を検出したか否かを検出し、該判定が肯定された場合にはステップ２０２へ移行し、否定された場合には一連の処理がリターンされて始めから処理が行われる。 In step 200, it is determined whether or not a hand has been reached in the gesture operation area. The determination is based on the result of photographing by the gesture operation detection camera 14 based on whether or not the occupant's hand is detected in a predetermined operation area for each operation target device 22, and the determination is affirmed. Shifts to step 202. If the result is NO, a series of processing is returned and processing is performed from the beginning.
ステップ２０２では、手を検出したジェスチャ操作領域が検出されてステップ２０４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置を検出することにより、ジェスチャ操作領域を検出する。 In step 202, the gesture operation area in which the hand is detected is detected, and the process proceeds to step 204. That is, the gesture operation area is detected by detecting the position of the occupant's hand from the image taken by the gesture operation detection camera 14.
ステップ２０４では、ジェスチャ操作領域に対応する操作対象機器２２が決定されてステップ２０６へ移行する。すなわち、操作対象機器２２毎に予め定めたジェスチャ操作領域の何れに乗員の手が存在するかを特定することにより、手が存在するジェスチャ操作領域に対応する操作対象機器２２を操作対象として決定する。 In step 204, the operation target device 22 corresponding to the gesture operation area is determined, and the process proceeds to step 206. That is, by specifying which of the gesture operation areas predetermined for each operation target device 22 the occupant's hand is present, the operation target device 22 corresponding to the gesture operation area where the hand is present is determined as the operation target. .
ステップ２０６では、決定した操作対象機器２２に対応する光が光源１６から乗員のジェスチャ操作する手に照射されてステップ２０８へ移行する。このように決定した操作対象機器２２を表す色の光が乗員の手に照射されるので、手に照射された光をちら見、或いは前方注視の視野内で確認することで、意図する操作対象機器２２であるかを容易且つ安全に確認することができる。 In step 206, the light corresponding to the determined operation target device 22 is irradiated from the light source 16 to the hand of the occupant's gesture operation, and the process proceeds to step 208. Since the light of the color representing the operation target device 22 determined in this way is irradiated to the occupant's hand, the intended operation target device can be obtained by looking at the light irradiated on the hand or confirming it in the visual field of front gaze. 22 can be easily and safely confirmed.
ステップ２０８では、操作領域が変更されたか否か判定される。該判定は、乗員の手の位置が他のジェスチャ操作領域に変更されたか否かを撮影結果から判定し、該判定が肯定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が否定された場合にはステップ２１０へ移行する。 In step 208, it is determined whether or not the operation area has been changed. In this determination, whether or not the position of the occupant's hand has been changed to another gesture operation area is determined from the photographing result. If the determination is affirmative, the process returns to step 100 and the above-described processing is repeated. If NO is determined, the process proceeds to step 210.
ステップ２１０では、ジェスチャ操作が検出されてステップ２１２へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果からジェスチャ操作を検出する。 In step 210, a gesture operation is detected, and the process proceeds to step 212. That is, the gesture operation is detected from the photographing result of the gesture operation detection camera 14.
ステップ２１２では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ２１０において検出したジェスチャ操作が、予め定めたジェスチャ操作であるか否かを判定し、該判定が肯定された場合にはステップ２１４へ移行し、否定された場合には、ステップ２１６へ移行する。 In step 212, it is determined by the gesture operation ECU 12 whether or not the gesture operation has been recognized. The determination determines whether the gesture operation detected in step 210 is a predetermined gesture operation. If the determination is affirmative, the process proceeds to step 214; 216.
ステップ２１４では、ステップ２０４で決定した操作対象機器２２に対してステップ２１０で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器２２を操作することができる。 In step 214, the gesture operation ECU 12 gives an operation instruction corresponding to the gesture operation detected in step 210 to the operation target device 22 determined in step 204. Accordingly, the operation target device 22 can be operated by a gesture operation.
また、ステップ２１６では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。 In step 216, a predetermined gesture operation error process is performed, and a series of processes is returned. As the gesture operation error process, for example, an alarm output indicating that the gesture operation could not be recognized, an audio output, a display, or the like is performed.
このようにしても、第１実施形態と同様に、ジェスチャ操作する手に投影された光をちら見、或いは前方注視の視界内で確認することで、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。 Even in this case, similarly to the first embodiment, whether or not the operation target device 22 is the intended device by looking at the light projected on the gesture-operating hand or confirming it in the field of view of the front gaze. Can be confirmed easily and safely.
なお、第１実施形態及び第２実施形態では、ジェスチャ操作領域毎に異なる色の光を照射する例を説明したが、光の照射以外の環境変化をジェスチャ操作領域に付与するようにしてもよい。例えば、ジェスチャ領域毎にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化を付与するようにしてもよい。ジェスチャ操作領域毎に異なる種類の風を供給する場合には、例えば、各ジェスチャ操作領域へ供給する送風口を設けて、各送風口の大きさを変えるなどしてジェスチャ操作領域毎に異なる強さの風を供給するようにしてもよい。また、ジェスチャ操作領域毎に異なる種類の熱を供給する場合には、例えば、ジェスチャ操作領域毎に異なる温度の熱を供給するためのヒータや送風口等を設けて、ジェスチャ操作領域毎に異なる温度の熱を供給するようにしてもよい。
（第３実施形態）
続いて、本発明の第３実施形態に係るジェスチャ操作装置について説明する。図６は、本発明の第３実施形態に係るジェスチャ操作装置の構成を示すブロック図である。なお、第１及び第２実施形態と同一構成については同一符号を付して詳細な説明を省略する。In the first embodiment and the second embodiment, an example in which light of a different color is irradiated for each gesture operation area has been described. However, an environmental change other than light irradiation may be applied to the gesture operation area. . For example, at least one environmental change of different types of light irradiation, wind supply, and heat supply may be given to each gesture region. When supplying different types of wind for each gesture operation area, for example, by providing an air outlet to be supplied to each gesture operation area and changing the size of each air outlet, for example, different strengths for each gesture operation area The wind may be supplied. In addition, when supplying different types of heat for each gesture operation area, for example, a heater or an air outlet for supplying heat at different temperatures for each gesture operation area is provided, and different temperatures are provided for each gesture operation area. The heat may be supplied.
(Third embodiment)
Subsequently, a gesture operating device according to a third embodiment of the present invention will be described. FIG. 6 is a block diagram showing the configuration of the gesture operating device according to the third embodiment of the present invention. In addition, about the same structure as 1st and 2nd embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
第１及び第２実施形態では、光源１６から照射する光の色によって操作対象機器２２を表す情報を報知するようにしたが、本実施形態のジェスチャ操作装置１１では、光源１６の代わりに、フロントウインドガラス等に画像を投影する投影部を有して当該投影部に画像を投影する、所謂ヘッドアップディスプレイ２０を用いて、決定した操作対象機器２２を表す情報を表示する。 In the first and second embodiments, information representing the operation target device 22 is notified by the color of light emitted from the light source 16, but in the gesture operation device 11 of the present embodiment, the front is replaced by the front. Information representing the determined operation target device 22 is displayed using a so-called head-up display 20 that has a projection unit that projects an image on a window glass or the like and projects the image onto the projection unit.
すなわち、第１及び第２実施形態の光源ドライバ１８の代わりに、図６に示すように、ジェスチャ操作ＥＣＵ１２のＩ／Ｏ１２Ｄにディスプレイドライバ２４が接続されている。その他の構成については、第１及び第２実施形態と共通とされている。 That is, instead of the light source driver 18 of the first and second embodiments, a display driver 24 is connected to the I / O 12D of the gesture operation ECU 12 as shown in FIG. Other configurations are the same as those in the first and second embodiments.
ヘッドアップディスプレイ２０に表示する決定した操作対象機器２２を表す情報としては、第１実施形態や第２実施形態のように操作対象機器２２毎に予め定めた色を表示するようにしてもよいし、操作対象機器２２毎に予め定めた図形を表示するようにしてもよいし、操作対象機器２２を表すテキストを表示するようにしてもよい。本実施形態では、ヘッドアップディスプレイ２０に表示するので、脇見運転になることなく、決定した操作対象機器２２が意図する機器であるかを安全かつ容易に確認することができる。 As information representing the determined operation target device 22 displayed on the head-up display 20, a predetermined color may be displayed for each operation target device 22 as in the first embodiment or the second embodiment. A predetermined graphic may be displayed for each operation target device 22, or text representing the operation target device 22 may be displayed. In this embodiment, since it displays on the head-up display 20, it can be confirmed safely and easily whether the determined operation target device 22 is an intended device without a side-viewing operation.
本実施形態では、第２実施形態と類似する制御を行う。すなわち、図７に示すように、ジェスチャ操作検出用カメラ１４によってジェスチャ操作領域を撮影して、乗員の手が存在するジェスチャ操作領域を撮影画像から検出することによって操作対象機器２２を決定し、決定した操作対象機器２２を表す情報をヘッドアップディスプレイ２０に表示するように制御するようになっている。そして、意図する操作対象機器２２である場合には、ジェスチャ操作を当該ジェスチャ操作領域で行うことにより、対応する操作対象機器２２に対してジェスチャ操作に対応する操作を行うようにジェスチャ操作ＥＣＵ１２が制御する。 In the present embodiment, control similar to that in the second embodiment is performed. That is, as shown in FIG. 7, the gesture operation region is photographed by the gesture manipulation detection camera 14, and the manipulation target device 22 is determined by detecting the gesture manipulation region where the occupant's hand is present from the photographed image. Control is performed so that information representing the operated device 22 is displayed on the head-up display 20. When the operation target device 22 is intended, the gesture operation ECU 12 controls the corresponding operation target device 22 to perform the operation corresponding to the gesture operation by performing the gesture operation in the gesture operation region. To do.
続いて、本発明の第３実施形態に係るジェスチャ操作装置１１で行われる具体的な処理例について説明する。図８は、本発明の第３実施形態に係るジェスチャ操作装置１１におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図８の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。また、第２実施形態と同一処理については同一符号を付して説明する。 Next, a specific processing example performed by the gesture operating device 11 according to the third embodiment of the present invention will be described. FIG. 8 is a flowchart illustrating an example of a flow of processing performed by executing a gesture operation program stored in the ROM 12B of the gesture operation ECU 12 in the gesture operation device 11 according to the third embodiment of the present invention. Note that the processing in FIG. 8 starts when, for example, the ignition switch is turned on or when the ignition switch is turned on, and ends when the ignition switch is turned off. Further, the same processes as those in the second embodiment will be described with the same reference numerals.
ステップ２００では、ジェスチャ操作領域に手が伸ばされたか否か判定される。該判定は、ジェスチャ操作検出用カメラ１４の撮影結果に基づいて、操作対象機器２２毎に予め定めた操作領域に乗員の手を検出したか否かを検出し、該判定が肯定された場合にはステップ２０２へ移行し、否定された場合には一連の処理がリターンされて始めから処理が行われる。 In step 200, it is determined whether or not a hand has been reached in the gesture operation area. The determination is based on the result of photographing by the gesture operation detection camera 14 based on whether or not the occupant's hand is detected in a predetermined operation area for each operation target device 22, and the determination is affirmed. Shifts to step 202. If the result is NO, a series of processing is returned and processing is performed from the beginning.
ステップ２０２では、手を検出したジェスチャ操作領域が検出されてステップ２０４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置を検出することにより、ジェスチャ操作領域を検出する。 In step 202, the gesture operation area in which the hand is detected is detected, and the process proceeds to step 204. That is, the gesture operation area is detected by detecting the position of the occupant's hand from the image taken by the gesture operation detection camera 14.
ステップ２０４では、ジェスチャ操作領域に対応する操作対象機器２２が決定されてステップ２０５へ移行する。すなわち、操作対象機器２２毎に予め定めたジェスチャ操作領域の何れに乗員の手が存在するかを特定することにより、手が存在するジェスチャ操作領域に対応する操作対象機器２２を操作対象として決定する。 In step 204, the operation target device 22 corresponding to the gesture operation area is determined, and the process proceeds to step 205. That is, by specifying which of the gesture operation areas predetermined for each operation target device 22 the occupant's hand is present, the operation target device 22 corresponding to the gesture operation area where the hand is present is determined as the operation target. .
ステップ２０５では、決定した操作対象機器２２を表す情報がヘッドアップディスプレイ２０に表示されてステップ２０８へ移行する。このように決定した操作対象機器２２を表す情報がヘッドアップディスプレイ２０に表示されるので、これを前方注視の視界内で確認することにより、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。 In step 205, information representing the determined operation target device 22 is displayed on the head-up display 20, and the process proceeds to step 208. Since the information representing the operation target device 22 determined in this way is displayed on the head-up display 20, by confirming this in the field of front gaze, it is determined whether or not the operation target device 22 is the intended device. It can be confirmed easily and safely.
ステップ２０８では、操作領域が変更されたか否か判定される。該判定は、乗員の手の位置が他のジェスチャ操作領域に変更されたか否かを撮影結果から判定し、該判定が肯定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が否定された場合にはステップ２１０へ移行する。 In step 208, it is determined whether or not the operation area has been changed. In this determination, whether or not the position of the occupant's hand has been changed to another gesture operation area is determined from the photographing result. If the determination is affirmative, the process returns to step 100 and the above-described processing is repeated. If NO is determined, the process proceeds to step 210.
ステップ２１０では、ジェスチャ操作が検出されてステップ２１２へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果からジェスチャ操作を検出する。 In step 210, a gesture operation is detected, and the process proceeds to step 212. That is, the gesture operation is detected from the photographing result of the gesture operation detection camera 14.
ステップ２１２では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ２１０において検出したジェスチャ操作が、予め定めたジェスチャ操作であるか否かを判定し、該判定が肯定された場合にはステップ２１４へ移行し、否定された場合には、ステップ２１６へ移行する。 In step 212, it is determined by the gesture operation ECU 12 whether or not the gesture operation has been recognized. The determination determines whether the gesture operation detected in step 210 is a predetermined gesture operation. If the determination is affirmative, the process proceeds to step 214; 216.
ステップ２１４では、ステップ２０４で決定した操作対象機器２２に対してステップ２１０で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器２２を操作することができる。 In step 214, the gesture operation ECU 12 gives an operation instruction corresponding to the gesture operation detected in step 210 to the operation target device 22 determined in step 204. Accordingly, the operation target device 22 can be operated by a gesture operation.
また、ステップ２１６では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。 In step 216, a predetermined gesture operation error process is performed, and a series of processes is returned. As the gesture operation error process, for example, an alarm output indicating that the gesture operation could not be recognized, an audio output, a display, or the like is performed.
このようにしても、ヘッドアップディスプレイ２０に表示された情報を前方注視の視界内で確認することで、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。 Even in this case, it is possible to easily and safely confirm whether or not the operation target device 22 is the intended device by confirming the information displayed on the head-up display 20 in the forward gaze field of view. .
なお、上記の実施の形態では、ジェスチャ操作の操作対象機器２２として、インストルメントパネルに設けられたディスプレイ２２Ａや、インパネスイッチ２２Ｂを一例として挙げたが、操作対象装置は、これに限るものではなく、例えば、ドアトリムに設けたパワーウインドスイッチや、ドアミラースイッチ等を操作対象機器２２として適用するようにしてもよい。 In the above-described embodiment, the display 22A provided on the instrument panel and the instrument panel switch 22B are given as examples of the operation target device 22 for the gesture operation. However, the operation target device is not limited to this. For example, a power window switch provided on a door trim, a door mirror switch, or the like may be applied as the operation target device 22.
また、上記の実施の形態では、運転者によるジェスチャ操作を対象として説明したが、助手席等の乗員によるジェスチャ操作についても同様に制御するようにしてもよい。 In the above embodiment, the gesture operation by the driver has been described as an object. However, the gesture operation by a passenger such as a passenger seat may be similarly controlled.
１０、１１ ジェスチャ操作装置
１２ ジェスチャ操作ＥＣＵ
１４ ジェスチャ操作検出用カメラ
１６ 光源
１８ 光源ドライバ
２０ ヘッドアップディスプレイ
２２ 操作対象機器
２４ ディスプレイドライバ10, 11 Gesture operation device 12 Gesture operation ECU
14 Gesture operation detection camera 16 Light source 18 Light source driver 20 Head-up display 22 Operation target device 24 Display driver
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013023781AJP6057755B2 (en) | 2013-02-08 | 2013-02-08 | Gesture operation device and gesture operation program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013023781AJP6057755B2 (en) | 2013-02-08 | 2013-02-08 | Gesture operation device and gesture operation program |
| Publication Number | Publication Date |
|---|---|
| JP2014153954Atrue JP2014153954A (en) | 2014-08-25 |
| JP6057755B2 JP6057755B2 (en) | 2017-01-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013023781AExpired - Fee RelatedJP6057755B2 (en) | 2013-02-08 | 2013-02-08 | Gesture operation device and gesture operation program |
| Country | Link |
|---|---|
| JP (1) | JP6057755B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101556521B1 (en) | 2014-10-06 | 2015-10-13 | 현대자동차주식회사 | Human Machine Interface apparatus, vehicle having the same and method for controlling the same |
| JP2016088513A (en)* | 2014-11-07 | 2016-05-23 | ビステオン グローバル テクノロジーズ インコーポレイテッド | System for information transmission in motor vehicle |
| JP2017026230A (en)* | 2015-07-23 | 2017-02-02 | パナソニックＩｐマネジメント株式会社 | Air conditioning control device, air conditioning device, air conditioning control method, air conditioning control system, air conditioning control program, and recording medium |
| US10156909B2 (en) | 2015-04-17 | 2018-12-18 | Mitsubishi Electric Corporation | Gesture recognition device, gesture recognition method, and information processing device |
| JP2021135841A (en)* | 2020-02-28 | 2021-09-13 | 日本精機株式会社 | Operating device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09190278A (en)* | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | Equipment operation system selection device |
| JP2005254851A (en)* | 2004-03-09 | 2005-09-22 | Nissan Motor Co Ltd | Command input device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09190278A (en)* | 1996-01-09 | 1997-07-22 | Mitsubishi Motors Corp | Equipment operation system selection device |
| JP2005254851A (en)* | 2004-03-09 | 2005-09-22 | Nissan Motor Co Ltd | Command input device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101556521B1 (en) | 2014-10-06 | 2015-10-13 | 현대자동차주식회사 | Human Machine Interface apparatus, vehicle having the same and method for controlling the same |
| US10180729B2 (en) | 2014-10-06 | 2019-01-15 | Hyundai Motor Company | Human machine interface apparatus for vehicle and methods of controlling the same |
| JP2016088513A (en)* | 2014-11-07 | 2016-05-23 | ビステオン グローバル テクノロジーズ インコーポレイテッド | System for information transmission in motor vehicle |
| US10156909B2 (en) | 2015-04-17 | 2018-12-18 | Mitsubishi Electric Corporation | Gesture recognition device, gesture recognition method, and information processing device |
| JP2017026230A (en)* | 2015-07-23 | 2017-02-02 | パナソニックＩｐマネジメント株式会社 | Air conditioning control device, air conditioning device, air conditioning control method, air conditioning control system, air conditioning control program, and recording medium |
| JP2021135841A (en)* | 2020-02-28 | 2021-09-13 | 日本精機株式会社 | Operating device |
| JP7375611B2 (en) | 2020-02-28 | 2023-11-08 | 日本精機株式会社 | operating device |
| Publication number | Publication date |
|---|---|
| JP6057755B2 (en) | 2017-01-11 |
| Publication | Publication Date | Title |
|---|---|---|
| JP6057755B2 (en) | Gesture operation device and gesture operation program | |
| JP6214752B2 (en) | Display control device, display control method for display control device, gaze direction detection system, and calibration control method for gaze direction detection system | |
| US9346358B2 (en) | Vehicle control apparatus | |
| JP4941760B2 (en) | Vehicle periphery monitoring device | |
| JP6338695B2 (en) | Dynamic lighting apparatus and dynamic lighting method | |
| JP2014149640A (en) | Gesture operation device and gesture operation program | |
| JP6413207B2 (en) | Vehicle display device | |
| JP5761119B2 (en) | In-vehicle lighting system | |
| US20160144785A1 (en) | Information display apparatus | |
| US20190080605A1 (en) | Drive assist device | |
| CN105722716B (en) | Internal display system and method | |
| JP2018157403A (en) | On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device | |
| CN103359118B (en) | Vehicle casts a glance at light device and the method for controlling this vehicle to cast a glance at light device | |
| KR20130063911A (en) | Eye breakaway prevention system during vehicle's driving | |
| JP2017097759A (en) | Gaze direction detection device and gaze direction detection system | |
| US20160111005A1 (en) | Lane departure warning system and method for controlling the same | |
| KR20180053712A (en) | Vehicle display device and vehicle display method | |
| EP3457254A1 (en) | Method and system for displaying virtual reality information in a vehicle | |
| US20150274176A1 (en) | Moving amount derivation apparatus | |
| JP5383142B2 (en) | Vehicle position warning method and vehicle position warning device | |
| JP2016199208A (en) | Seat belt warning device | |
| JP2009190675A (en) | Operating device for vehicle | |
| JP2018199399A (en) | Driving support device and driving support method | |
| JP2017084136A (en) | Gesture input device | |
| JP6720902B2 (en) | In-vehicle equipment control device and application software for in-vehicle equipment control |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20150827 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20160614 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20160615 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20160715 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20161129 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20161206 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6057755 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| LAPS | Cancellation because of no payment of annual fees |