JP5789771B2 - Operation input device, program - Google Patents

Description

Translated fromJapanese

本発明は、対象物までの距離を画素値に持つ距離画像を用いることにより対象物の位置および向きの変化を検出し、対象物の位置および向きに応じて制御対象に指示する操作量を決定する操作入力装置、およびこの操作入力装置を実現するためのプログラムに関するものである。  The present invention detects a change in the position and orientation of an object by using a distance image having a distance to the object as a pixel value, and determines an operation amount instructed to a control object according to the position and orientation of the object. The present invention relates to an operation input device to be operated and a program for realizing the operation input device.

従来から、対象物までの距離を画素値に持つ距離画像を用いて対象物の動作を検出し、対象物の動作に応じて制御対象の対応制御を行うようにした入力装置が提案されている（たとえば、特許文献１参照）。特許文献１に記載された技術は、距離画像の中で距離の極小点を求め、極小点の位置変化に応じて制御対象に指示を与えている。すなわち、特許文献１に記載された技術は、距離の極小点を前方に差し出した指先の位置として認識し、指先の位置を追跡することによって、リモコン装置などを持つことなく、機器（制御対象）から離れた場所から機器の操作を可能にしている。  Conventionally, an input device has been proposed in which a motion of a target is detected using a distance image having a pixel value as a distance to the target, and corresponding control of the control target is performed according to the motion of the target. (For example, refer to Patent Document 1). The technique described in Patent Document 1 obtains a minimum point of distance in a distance image, and gives an instruction to a control object according to a change in position of the minimum point. That is, the technique described in Patent Document 1 recognizes the minimum point of the distance as the position of the fingertip that is forwarded, and tracks the position of the fingertip, so that the device (control target) can be provided without having a remote control device or the like. The device can be operated from a remote location.

特許第３５４４７３９号公報Japanese Patent No. 3544739

ところで、特許文献１に記載された技術を採用すれば、制御対象に対する指示を対話的に行うことは可能であるが、距離画像の中で距離の極小点を指先として認識するから、指先を認識させるには指先を入力装置に向ける必要がある。しかしながら、特許文献１に記載の技術は、距離の極小点を指先として認識しているだけであるから、入力装置と人体との位置関係によっては、他の部位を指先と誤認する可能性がある。また、上述のような誤認を避けようとすると、入力装置と人体との位置関係や手の形に制約が多くなる。  By the way, if the technique described in Patent Document 1 is adopted, it is possible to interactively give an instruction to the controlled object. However, since the minimum point of the distance is recognized as the fingertip in the distance image, the fingertip is recognized. To do so, it is necessary to point the fingertip toward the input device. However, since the technique described in Patent Document 1 only recognizes the minimum point of the distance as the fingertip, there is a possibility of misidentifying other parts as the fingertip depending on the positional relationship between the input device and the human body. . Moreover, if it is going to avoid the above misidentification, restrictions will increase in the positional relationship between the input device and the human body and the shape of the hand.

本発明は、誤認の可能性を低減し、また利用者との位置関係の制約を低減させた操作入力装置、およびこの操作入力装置を実現するためのプログラムを提供することを目的とする。  It is an object of the present invention to provide an operation input device that reduces the possibility of misidentification and reduces the positional relationship with the user, and a program for realizing the operation input device.

本発明に係る操作入力装置は、少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、距離画像から対象物に対応する領域を抽出する対象物抽出手段と、対象物の位置変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が抽出した対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、動作抽出手段は、対象物抽出手段が抽出した対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、特徴量が規定の開始条件を満たしてから特徴量が規定の終了条件を満たすまでの間における対象物の移動に伴う特徴量の変化量から制御対象に指示する操作量を決定する操作量決定部とを備える。The operation input device according to the present invention includes a distance image generating means for generating a moving image of a distance image having a pixel value as a distance to the object at least for an object corresponding to a hand, and an area corresponding to the object from the distance image An object extracting means for extracting the object, a motion extracting means for extracting the position change of the object from the moving image of the distance image, and an operation amount instructing the control object based on the position change of the object extracted by the action extracting means. A control unit for changing, and the motion extraction unit extracts a feature amount indicating a position and orientation of a target surface corresponding to a palm from the object extracted by the object extraction unit; An operation amount determination unit that determines an operation amount to be instructed to the control target from a change amount of the feature amount accompanying the movement of the target object after the specified start condition is satisfied until the feature amount satisfies the specified end condition;Yeah.

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角を抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が規定の角度範囲内である状態が保たれたままで対象面が基準面に沿って移動したとき、対象面の移動量および移動の向きから１種類の操作量を決定することが好ましい。  In this operation input device, the feature amount extraction unit extracts an intersection angle that is an angle at which the target surface intersects a specified reference surface as the direction of the target surface, and the operation amount determination unit determines that the start condition is satisfied When the target surface moves along the reference plane while the state where the crossing angle is within the prescribed angle range is maintained from when the target surface is satisfied until the end condition is satisfied, 1 is calculated from the amount of movement and the direction of movement of the target surface. It is preferable to determine the type of operation amount.

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に交差する方向に規定される軸周りでの対象面の回転角を抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、回転角が変化したとき、回転角の変化量および変化の向きから１種類の操作量を決定することが好ましい。  In this operation input device, the feature amount extraction unit extracts the rotation angle of the target surface around the axis defined in the direction intersecting the specified reference plane as the direction of the target surface, and the operation amount determination unit determines the start condition When the rotation angle changes between when the condition is satisfied and when the end condition is satisfied, it is preferable to determine one type of operation amount from the change amount and the direction of the change of the rotation angle.

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角と、基準面に交差する方向に規定される軸周りでの対象面の回転角とを抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が規定の角度範囲内で交差している状態が保たれたままで対象面が基準面に沿って移動したとき、回転角の変化量および変化の向きと対象面の移動量および移動の向きとから２種類の操作量を決定することが好ましい。  In this operation input device, the feature amount extraction unit includes an intersection angle that is an angle at which the target surface intersects a predetermined reference surface as an orientation of the target surface, and an axis that is defined in a direction that intersects the reference surface. The rotation amount of the target surface is extracted, and the operation amount determination unit keeps the state where the intersection angle intersects within the specified angle range from when the start condition is satisfied until the end condition is satisfied. When the target surface is moved along the reference surface without change, it is preferable to determine two types of operation amounts from the amount and direction of change in the rotation angle and the amount and direction of movement of the target surface.

この操作入力装置において、特徴量抽出部は、対象面の向きとして規定の基準面に対して対象面が交差する角度である交差角と、基準面に交差する方向に規定される軸周りでの対象面の回転角とを抽出し、操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、交差角が変化したとき、回転角の変化量および変化の向きと交差角の変化量と変化の向きとから２種類の操作量を決定することが好ましい。  In this operation input device, the feature amount extraction unit includes an intersection angle that is an angle at which the target surface intersects a predetermined reference surface as an orientation of the target surface, and an axis that is defined in a direction that intersects the reference surface. The rotation amount of the target surface is extracted, and the operation amount determination unit determines the amount of change in the rotation angle and the direction of the change when the crossing angle changes between the start condition and the end condition. It is preferable to determine two types of operation amounts from the amount of change in the crossing angle and the direction of the change.

この操作入力装置において、操作量決定部は、操作量を複数段階の離散値から選択することが好ましい。  In this operation input device, the operation amount determination unit preferably selects the operation amount from a plurality of discrete values.

本発明に係るプログラムは、前記操作入力装置において、コンピュータを、演算処理装置として機能させるためのプログラムであって、前記演算処理装置は、前記対象物抽出手段と前記動作抽出手段と前記制御手段とを備えており、前記距離画像生成手段が生成した前記距離画像の動画像から前記制御対象に指示する操作量を生成するものである。Program according to the present invention,in the operation input device,the computer, a program for functioning as acomputation processing device,the arithmetic processing unit, the object extracting unit and the operation extracting means and said control means And generating an operation amount instructing the control target from the moving image of the distance image generated by the distance image generating means .

本発明の構成によれば、手に相当する対象物の距離画像が得られるように配置すればよいから、利用者との位置関係の制約が少ないという利点があり、また、対象物から手のひらに相当する対象面を抽出し、対象面の位置および向きを特徴量として、開始条件から終了条件までの間における当該特徴量の変化量によって操作量を決定するから、手のひらという比較的面積の大きい領域を抽出することにより、距離の極小点を指先とみなして指先の位置を操作入力に用いる従来構成に比較すると、誤認の可能性が低減される。  According to the configuration of the present invention, since the distance image of the object corresponding to the hand may be obtained, there is an advantage that there are few restrictions on the positional relationship with the user, and from the object to the palm. Since the corresponding target surface is extracted and the operation amount is determined by the amount of change in the feature amount from the start condition to the end condition using the position and orientation of the target surface as the feature amount, the palm is a relatively large area As compared with the conventional configuration in which the minimum point of the distance is regarded as the fingertip and the position of the fingertip is used for operation input, the possibility of misidentification is reduced.

実施形態を示すブロック図である。It is a block diagram which shows embodiment.同上の動作説明図である。It is operation | movement explanatory drawing same as the above.同上における対象物抽出部の動作説明図である。It is operation | movement explanatory drawing of the target object extraction part in the same as the above.同上の動作説明図である。It is operation | movement explanatory drawing same as the above.同上の動作説明図である。It is operation | movement explanatory drawing same as the above.同上の動作説明図である。It is operation | movement explanatory drawing same as the above.

以下に説明する操作入力装置は、図１に示すように、距離画像の動画像を生成する距離画像生成手段１０と、距離画像生成手段１０から距離画像を取得するとともに対象物の規定の動作を検出したときに制御対象５への対応制御を行う演算処理装置２０とを備える。演算処理装置２０は、ハードウェア要素としてのコンピュータを備え、適宜のプログラムをコンピュータで実行することにより以下に説明する機能を実現する。  As shown in FIG. 1, the operation input device described below is a distanceimage generation unit 10 that generates a moving image of a distance image, acquires a distance image from the distanceimage generation unit 10, and performs a prescribed operation of an object. And anarithmetic processing unit 20 that performs control corresponding to thecontrol target 5 when detected. Thearithmetic processing unit 20 includes a computer as a hardware element, and implements the functions described below by executing an appropriate program on the computer.

本実施形態では、距離画像生成手段１０は、少なくとも人体の手に相当する対象物に関する距離を画素値に持つ距離画像を生成する。ただし、対象物は人型のロボットや人形であってもよく、手のひらに相当する対象面を抽出する可能な形状であれば、対象物が人体か否かは問わない。たとえば、手は露出していることが望ましいが、手に手袋が装着されている場合でも、手のひらの位置および向きを認識することが可能である。したがって、屋内で使用する場合だけでなく、屋外であっても季節を問わずに動作を認識することが可能である。  In the present embodiment, the distance image generating means 10 generates a distance image having a pixel value that is a distance related to an object corresponding to at least the hand of the human body. However, the target object may be a humanoid robot or a doll, and it does not matter whether the target object is a human body as long as the target surface corresponding to the palm can be extracted. For example, it is desirable that the hand is exposed, but it is possible to recognize the position and orientation of the palm even when gloves are worn on the hand. Therefore, it is possible to recognize the operation regardless of the season, not only when used indoors but also outdoors.

距離画像生成手段１０は、実空間における対象物までの距離を計測するセンサ部１１と、センサ部１１が計測した対象物までの距離を画素値に持つ距離画像を生成する距離演算部１２とを備える。  The distance image generation means 10 includes asensor unit 11 that measures a distance to a target object in real space, and adistance calculation unit 12 that generates a distance image whose pixel value is the distance to the target object measured by thesensor unit 11. Prepare.

センサ部１１は、アクティブ型の構成とパッシブ型の構成とのいずれでも採用可能である。本実施形態のセンサ部１１は、対象物が存在する空間に投光するとともに、空間に存在する物体からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出するアクティブ型の構成を備える。すなわち、センサ部１１は、飛行時間（ＴＯＦ＝Time Of Flight）法により対象物までの距離を計測する。  Thesensor unit 11 can employ either an active configuration or a passive configuration. Thesensor unit 11 of the present embodiment projects light into a space where an object exists, receives reflected light from an object existing in the space, and uses information corresponding to a time difference from light projection to light reception to the object. It has an active configuration for detecting the distance. That is, thesensor unit 11 measures the distance to the object by the time of flight (TOF = Time Of Flight) method.

以下では、センサ部１１の一例として、発光源から空間に投光し、空間に存在する対象物からの反射光を撮像素子で受光するアクティブ型の構成を想定する。  In the following, as an example of thesensor unit 11, an active configuration is assumed in which light is emitted from a light emitting source into a space, and reflected light from an object existing in the space is received by an image sensor.

発光源は、時間とともに強度が変化する強度変調光を投光し、対象物で反射され撮像素子で受光された強度変調光（反射光）と投光した強度変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波が望ましいが、三角波、鋸歯状波、方形波などから選択することも可能である。また、変調光の周期は一定とする。  The light source emits intensity-modulated light whose intensity changes with time, and projects the phase difference between the intensity-modulated light (reflected light) reflected by the object and received by the image sensor and the intensity-modulated light thus projected. It is used as information corresponding to the time difference from light to light reception. The modulation waveform of the modulated light is preferably a sine wave, but can also be selected from a triangular wave, a sawtooth wave, a square wave, and the like. The period of the modulated light is assumed to be constant.

一方、撮像素子は、複数個の受光領域（画素）が２次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサのような周知の構成のものが用いられる。ただし、撮像素子は、センサ部１１に適する特別な構造を有するように設計されていてもよい。撮像素子の受光のタイミングは、発光源が投光する強度変調光の周期に同期させて設定され、たとえば、強度変調光の周期内において９０度ずつ異なる位相に相当するタイミングの受光量を個別に取り出す。強度変調光の強度変化の周波数は、実用上は数ＭＨｚ〜数十ＭＨｚに設定され、撮像素子が受光する受光量は、強度変調光の１周期分の反射光の光量では不十分である。したがって、撮像素子では複数周期分（たとえば、１００００周期分）の受光量に相当する電荷を蓄積した後、蓄積した電荷を前記位相の受光量に相当する電荷として出力する。  On the other hand, an image pickup device having a known configuration such as a CCD image sensor or a CMOS image sensor in which a plurality of light receiving regions (pixels) are two-dimensionally arranged is used. However, the imaging element may be designed to have a special structure suitable for thesensor unit 11. The light receiving timing of the image sensor is set in synchronization with the period of the intensity modulated light emitted by the light source. For example, the amount of light received at a timing corresponding to a phase different by 90 degrees within the period of the intensity modulated light is individually set. Take out. The intensity change frequency of the intensity-modulated light is practically set to several MHz to several tens of MHz, and the amount of received light received by the image sensor is insufficient with the amount of reflected light for one period of the intensity-modulated light. Accordingly, the image sensor accumulates charges corresponding to the amount of light received for a plurality of periods (for example, 10,000 periods), and then outputs the accumulated charge as charges corresponding to the amount of light received in the phase.

ところで、発光源が強度変調光を投光し撮像素子が反射光を受光する構成のセンサ部１１は、撮像素子の視野全体において対象物までの距離を一括して計測することができるから、比較的短い時間で１枚の距離画像に相当する情報が得られる。したがって、通常の濃淡画像やカラー画像と同様に、１秒間に３０フレーム以上を得ることが可能である。  By the way, thesensor unit 11 having a configuration in which the light source emits intensity-modulated light and the image sensor receives reflected light can collectively measure the distance to the object in the entire field of view of the image sensor. Information corresponding to one distance image can be obtained in a short time. Therefore, it is possible to obtain 30 frames or more per second, as in a normal gray image or color image.

センサ部１１では強度変調光の各位相に対応する複数種類（たとえば、４種類）の電荷量が得られ、これらの電荷量は、強度変調光の位相を示す信号とともに距離演算部１２に入力される。  Thesensor unit 11 obtains a plurality of types (for example, four types) of charge amounts corresponding to each phase of the intensity-modulated light, and these charge amounts are input to thedistance calculation unit 12 together with a signal indicating the phase of the intensity-modulated light. The

いま、強度変調光が正弦波であって、センサ部１１からは９０度ずつ異なる４位相に対応する電荷量が得られるとする。各電荷量をＡ０，Ａ１，Ａ２，Ａ３とすると、投受光の位相差φ［ｒａｄ］は下式で表される。
φ＝ｔａｎ^−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
強度変調光の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表される。すなわち、４種類の電荷量Ａ０，Ａ１，Ａ２，Ａ３により対象物までの距離を求めることができる。Now, it is assumed that the intensity-modulated light is a sine wave, and thesensor unit 11 can obtain charge amounts corresponding to four phases that differ by 90 degrees. When each charge amount is A0, A1, A2, and A3, the phase difference φ [rad] of light transmission / reception is expressed by the following equation.
φ = tan⁻¹ {(A0−A2) / (A1−A3)}
If the frequency of intensity-modulated light is f [Hz], the time difference Δt from light projection to light reception is expressed as Δt = φ / 2π · f using the phase difference φ, so the speed of light is c [m / s. ], The distance to the object is expressed as c · φ / 4π · f. That is, the distance to the object can be obtained from the four types of charge amounts A0, A1, A2, and A3.

距離演算部１２は、センサ部１１から得られた情報を用いて、各画素ごとに上述した計算を行うことにより、各画素の画素値として距離を対応付けた距離画像を生成する。ただし、得られた距離画像は、センサ部１１から対象物を見込む方向における距離であって、画素の位置が角度に対応している。画素の位置に対応する角度は既知であるから、距離演算部１２は、画素の位置と画素値である距離とを用いることにより、対象物の位置が実空間に対応する３次元の直交座標系で表されるように座標変換を行う。したがって、距離演算部１２からは、対象物の位置が直交座標系で表された距離画像の動画像が得られる。言い換えると、撮像素子の画素に距離を対応付けた距離画像を、直交座標系で表される３次元の仮想空間にマッピングした距離画像が得られる。なお、上述した距離画像生成手段１０の構成は周知であるから詳述しない。  Thedistance calculation unit 12 generates the distance image in which the distance is associated as the pixel value of each pixel by performing the above-described calculation for each pixel using the information obtained from thesensor unit 11. However, the obtained distance image is a distance in the direction in which the object is viewed from thesensor unit 11, and the pixel position corresponds to the angle. Since the angle corresponding to the position of the pixel is known, thedistance calculation unit 12 uses the position of the pixel and the distance that is the pixel value to thereby obtain a three-dimensional orthogonal coordinate system in which the position of the object corresponds to the real space. Coordinate transformation is performed as represented by Therefore, thedistance calculation unit 12 can obtain a moving image of a distance image in which the position of the object is represented in an orthogonal coordinate system. In other words, a distance image obtained by mapping a distance image in which a distance is associated with a pixel of an image sensor in a three-dimensional virtual space represented by an orthogonal coordinate system is obtained. The configuration of the distance image generation means 10 described above is well known and will not be described in detail.

距離画像生成手段１０は、距離画像の動画像を対象物抽出手段２に与える。対象物抽出手段２は、図２のように、距離画像の視野内において手に相当する対象物Ｏｂを抽出する機能を有する。すなわち、距離画像は少なくとも手に相当する領域を含んでいる必要がある。  The distance image generation means 10 gives a moving image of the distance image to the object extraction means 2. The object extraction means 2 has a function of extracting the object Ob corresponding to the hand in the field of view of the distance image as shown in FIG. That is, the distance image needs to include at least an area corresponding to the hand.

対象物抽出手段２は、手に相当する対象物Ｏｂを距離画像から抽出するために、距離の分布を求めるとともに、距離画像から対象物Ｏｂの輪郭の抽出を行う。つまり、対象物抽出手段２は、距離の分布においてクラスタを形成する画素群であって、画素に連続性がある場合に当該画素群を対象物Ｏｂの領域と認識する。ここに、距離画像において、隣接する各一対の画素の間の距離が規定した範囲内であるときに両画素は連続していると判断され、連続している画素からなる領域について形状および他の領域との接続関係を用いて対象物Ｏｂと判断される。また、抽出された領域の包絡線が対象物Ｏｂの輪郭になる。  In order to extract the object Ob corresponding to the hand from the distance image, theobject extraction unit 2 obtains a distribution of distances and extracts the outline of the object Ob from the distance image. That is, theobject extraction unit 2 recognizes the pixel group as a region of the object Ob when the pixel group forms a cluster in the distribution of distances and the pixel has continuity. Here, in the distance image, when the distance between each pair of adjacent pixels is within a specified range, it is determined that both pixels are continuous, and the shape and other areas of the region composed of continuous pixels are determined. The object Ob is determined using the connection relationship with the region. Further, the envelope of the extracted region becomes the contour of the object Ob.

ここに、対象物抽出手段２は、対象物Ｏｂを抽出するにあたって手以外の部位の画素群との関係を評価しているから、手に相当する領域だけではなく、前腕部に相当する領域も対象物Ｏｂとして併せて抽出するようにしてもよい。前腕部に相当する領域を併せて抽出している場合には、前腕部に相当する領域との位置関係を用いることにより、手に相当する領域の位置や向きを求める精度を高めることができる。  Here, since the object extraction means 2 evaluates the relationship with the pixel group of the part other than the hand when extracting the object Ob, not only the area corresponding to the hand but also the area corresponding to the forearm portion is included. You may make it extract collectively as target object Ob. When the region corresponding to the forearm portion is extracted together, the positional relationship with the region corresponding to the forearm portion can be used to improve the accuracy of obtaining the position and orientation of the region corresponding to the hand.

対象物抽出手段２は、常時動作させることが可能であるが、センサ部１１の視野内に設定された規定の空間領域において物体が検出されるようになるまでは、対象物抽出手段２を動作させないようにするのが望ましい。すなわち、演算処理装置２０は、対象物抽出手段２の機能を停止させている動作モードと、対象物抽出手段２を作動させる動作モードとの２段階の動作モードを切り替えるのが好ましい。  The object extraction means 2 can be operated at all times, but the object extraction means 2 is operated until an object is detected in a specified spatial region set in the field of view of thesensor unit 11. It is desirable not to let it. That is, it is preferable that thearithmetic processing unit 20 switches between two operation modes: an operation mode in which the function of theobject extraction unit 2 is stopped and an operation mode in which theobject extraction unit 2 is operated.

対象物抽出手段２は、距離画像の１フレーム毎に対象物Ｏｂの有無を検出する。対象物抽出手段２で求められた対象物Ｏｂの情報は動作抽出手段３に入力される。動作抽出手段３は、対象物Ｏｂについて後述する特徴量を抽出し、特徴量の変化を距離画像の動画像から抽出する。すなわち、動作抽出手段３は、距離画像の動画像から対象物Ｏｂの位置変化を抽出する。動作抽出手段３が抽出した対象物Ｏｂの位置変化の情報は制御手段４に与えられ、制御手段４は、対象物Ｏｂの位置変化の情報に基づいて制御対象５に指示する操作量を変化させる。  The object extraction means 2 detects the presence / absence of the object Ob for each frame of the distance image. Information on the object Ob obtained by the object extraction means 2 is input to the action extraction means 3. Themotion extraction unit 3 extracts a feature amount described later with respect to the object Ob, and extracts a change in the feature amount from the moving image of the distance image. That is, themotion extraction unit 3 extracts a change in the position of the object Ob from the moving image of the distance image. Information on the position change of the object Ob extracted by the motion extraction means 3 is given to the control means 4, and the control means 4 changes the operation amount instructed to thecontrol object 5 based on the information on the position change of the object Ob. .

動作抽出手段３は、対象物抽出手段２が抽出した対象物Ｏｂの位置と向きとを示す特徴量を抽出する特徴量抽出部３１を備える。さらに、動作抽出手段３は、特徴量抽出部３１が抽出した特徴量が規定の開始条件を満たしてから特徴量が規定の終了条件を満たすまでの間において、対象物Ｏｂの移動に伴う特徴量の変化量を求める操作量決定部３２を備える。操作量決定部３２は特徴量の変化量に基づいて操作量を決定し、制御手段４は操作量決定部３２が決定した操作量を制御対象５に指示する。  Themotion extraction unit 3 includes a featureamount extraction unit 31 that extracts a feature amount indicating the position and orientation of the object Ob extracted by theobject extraction unit 2. Furthermore, themotion extraction unit 3 performs the feature amount accompanying the movement of the object Ob during the period from when the feature amount extracted by the featureamount extraction unit 31 satisfies the specified start condition to when the feature amount satisfies the specified end condition. Is provided with an operationamount determination unit 32 for obtaining the change amount. The operationamount determination unit 32 determines the operation amount based on the change amount of the feature amount, and thecontrol unit 4 instructs thecontrol target 5 on the operation amount determined by the operationamount determination unit 32.

特徴量抽出部３１は、対象物Ｏｂから手のひらに相当する対象面Ｓｂを抽出する機能を有し、対象面Ｓｂの位置と向きとを特徴量として抽出する。対象面Ｓｂを抽出するには、手において前腕と連続する部位を求め、手を前腕とは反対側から見た形状に対して外接矩形Ｒｂを設定し、外接矩形Ｒｂの縦横比（＝Ｗ１／Ｗ２）を求める。縦横比が規定の閾値よりも大きい場合、手のひらに相当する対象面Ｓｂを外接矩形Ｒｂの縦方向（長手方向）に沿った平面とみなし、横方向に相当する方向を対象面Ｓｂの法線方向と推定する。  The featureamount extraction unit 31 has a function of extracting the target surface Sb corresponding to the palm from the object Ob, and extracts the position and orientation of the target surface Sb as feature amounts. In order to extract the target surface Sb, a part of the hand that is continuous with the forearm is obtained, a circumscribed rectangle Rb is set with respect to the shape of the hand viewed from the opposite side of the forearm, and the aspect ratio of the circumscribed rectangle Rb (= W1 / W2) is obtained. When the aspect ratio is larger than a predetermined threshold, the target surface Sb corresponding to the palm is regarded as a plane along the vertical direction (longitudinal direction) of the circumscribed rectangle Rb, and the direction corresponding to the horizontal direction is the normal direction of the target surface Sb. Estimated.

特徴量抽出部３１は、上述のようにして対象面Ｓｂに関する情報を抽出すると、図３のように、センサ部１１の視野において規定した３次元の座標系（ｏ−ｘｙｚ）において、対象面Ｓｂの位置および向きを特定する。対象面Ｓｂの向きは、前記座標系に規定されている基準面Ｓｃに基づいて交差角θと回転角ρとの２種類の角度のうち少なくとも交差角θにより表される。交差角θは基準面（ｘｙ平面）Ｓｃと対象面Ｓｂとがなす角度（基準面Ｓｃに対する対象面Ｓｂの向き）であり、回転角ρは基準面Ｓｃに交差する方向に規定される軸（ｚ軸）周りの角度である。  When the featurequantity extraction unit 31 extracts the information about the target surface Sb as described above, the target surface Sb is extracted in the three-dimensional coordinate system (o-xyz) defined in the field of view of thesensor unit 11 as shown in FIG. Identify the position and orientation of The direction of the target surface Sb is represented by at least the crossing angle θ among the two types of angles of the crossing angle θ and the rotation angle ρ based on the reference surface Sc defined in the coordinate system. The intersection angle θ is an angle formed by the reference plane (xy plane) Sc and the target plane Sb (the direction of the target plane Sb with respect to the reference plane Sc), and the rotation angle ρ is an axis defined in a direction intersecting the reference plane Sc ( z-axis).

ところで、対象物Ｏｂの移動に伴う特徴量の変化量を求めるには、変化量の起点と終点とを定めることが必要である。そこで、操作量決定部３２では、特徴量の変化量を求めるための開始条件と終了条件とが規定される。開始条件は、たとえば、特徴量抽出部３１が対象面Ｓｂを検出した後に、対象面Ｓｂが基準面Ｓｃに対して略直交している状態で規定時間静止するという条件が用いられる。また、終了条件は、たとえば、開始条件の成立後に対象面Ｓｂの位置あるいは向きが変化し、次に、対象面Ｓｂが規定時間静止するという条件が用いられる。開始条件において対象面Ｓｂが基準面Ｓｃに対してなす角度は、たとえば、（９０±５）度などに設定され、対象面Ｓｂが静止する規定時間は、たとえば、０．５秒などに設定される。  By the way, in order to obtain the change amount of the feature amount accompanying the movement of the object Ob, it is necessary to determine the starting point and the end point of the change amount. Therefore, the operationamount determination unit 32 defines a start condition and an end condition for obtaining a change amount of the feature amount. As the start condition, for example, after the featureamount extraction unit 31 detects the target surface Sb, a condition that the target surface Sb is stationary for a specified time while being substantially orthogonal to the reference surface Sc is used. As the end condition, for example, a condition that the position or orientation of the target surface Sb changes after the start condition is satisfied, and then the target surface Sb is stationary for a specified time is used. The angle formed by the target surface Sb with respect to the reference surface Sc in the start condition is set to, for example, (90 ± 5) degrees, and the specified time for which the target surface Sb is stationary is set to, for example, 0.5 seconds. The

開始条件および終了条件は、他に規定してもよい。たとえば、制御対象５がモニタ装置を備えている場合には、モニタ装置の画面に平行な平面を基準面Ｓｃとし、基準面Ｓｃからの距離範囲に対象物Ｏｂが存在するか否かを開始条件および終了条件に用いることも可能である。  Other start conditions and end conditions may be defined. For example, when thecontrol target 5 includes a monitor device, a plane parallel to the screen of the monitor device is set as the reference surface Sc, and whether or not the object Ob exists in the distance range from the reference surface Sc is a start condition. It can also be used for termination conditions.

操作量決定部３２は、開始条件の成立から終了条件の成立までの間において、対象物Ｏｂの移動に伴う特徴量の変化量を求める。さらに、操作量決定部３２は、求めた変化量に対応する操作量を決定し、制御手段４に引き渡すのである。操作量決定部３２における特徴量の変化量と操作量との関係は、データテーブルや関数によってあらかじめ定められている。  The operationamount determination unit 32 obtains a change amount of the feature amount accompanying the movement of the object Ob during the period from when the start condition is satisfied to when the end condition is satisfied. Further, the operationamount determination unit 32 determines an operation amount corresponding to the obtained change amount and delivers it to the control means 4. The relationship between the change amount of the feature amount and the operation amount in the operationamount determination unit 32 is determined in advance by a data table or a function.

データテーブルを用いる場合は、特徴量の変化量に対して制御対象５に指示する操作量が離散的に設定されるから、特徴量の変化量を複数区間に分け、各区間ごとに操作量を割り当てることが好ましい。この構成では、操作量決定部３２から操作量を段階的に発生させることができる。また、変化量を制御対象５の状態に対応付けておけば、ロータリスイッチやデジタルサムホイールスイッチのように、複数の状態を選択するスイッチとして用いることも可能になる。  When using the data table, the operation amount instructed to thecontrol target 5 is set discretely with respect to the change amount of the feature amount. Therefore, the change amount of the feature amount is divided into a plurality of sections, and the operation amount is set for each section. It is preferable to assign. In this configuration, the operation amount can be generated stepwise from the operationamount determination unit 32. Further, if the amount of change is associated with the state of the controlledobject 5, it can be used as a switch for selecting a plurality of states, such as a rotary switch or a digital thumbwheel switch.

操作量決定部３２は、制御対象５に与える操作量の種類に応じて以下に説明する動作を行う。本実施形態では、制御対象５に指示する操作量の変量が１種類の場合と、制御対象５に指示する操作量の変量が２種類の場合とがある。操作量の変量が１種類の場合は、音量の増減を行う場合、モニタ装置の画面を一方向にのみスクロールさせる場合、オンオフを行う場合のように、可変抵抗器やオンオフを行うスイッチのような入力装置を用いて指示する操作量に相当する。また、操作量が２種類の場合は、音量と光量との増減を行う場合、光量と光色とを調節する場合、モニタ装置の画面を２方向にスクロールさせる場合など、ジョイスティックのような入力装置を用いて指示する操作量に相当する。  The operationamount determination unit 32 performs the operation described below according to the type of operation amount given to thecontrol target 5. In the present embodiment, there are a case where the variable of the operation amount instructed to thecontrol target 5 is one type and a case where the variable of the operation amount instructed to thecontrol target 5 is two types. When the amount of manipulated variable is one type, when changing the volume, scrolling the screen of the monitor device only in one direction, turning on / off, such as a variable resistor or an on / off switch This corresponds to the operation amount instructed using the input device. In addition, when there are two types of operation amounts, an input device such as a joystick is used to increase / decrease the volume and light amount, adjust the light amount and light color, scroll the monitor screen in two directions, etc. This corresponds to the operation amount instructed using.

操作量決定部３２が１種類の操作量を決定する場合は、対象物Ｏｂに関して以下の３種類のいずれかの特徴量に操作量を対応付ける。  When the operationamount determination unit 32 determines one type of operation amount, the operation amount is associated with one of the following three types of feature amounts regarding the object Ob.

第１の例では、図４のように、対象面Ｓｂが基準面Ｓｃに対して規定の角度範囲内で交差する状態が保たれたままで対象面Ｓｂを基準面Ｓｃに沿って移動させたときに、対象面Ｓｂの移動量Ｌと移動の向きとが操作量に対応付けられる。対象面Ｓｂが基準面Ｓｃに対して交差する交差角θは、たとえば、（９０±５）度に設定される。この動作は、制御対象５がモニタ装置を備える場合であれば、指先をモニタ装置の画面に向け、対象物Ｏｂをモニタ装置の画面に沿って平行移動させる動作に相当する。この動作によって操作量を変化させると、対象物Ｏｂの移動量Ｌに応じた操作量を発生させることができ、また、対象物Ｏｂの移動の向きに応じて操作量の増減が可能になる。つまり、つまみが平行移動するスライドボリュームの操作を模擬した操作が可能になる。  In the first example, as shown in FIG. 4, when the target surface Sb is moved along the reference surface Sc while maintaining a state in which the target surface Sb intersects the reference surface Sc within a specified angle range. Further, the movement amount L and the movement direction of the target surface Sb are associated with the operation amount. The intersection angle θ at which the target surface Sb intersects the reference surface Sc is set to (90 ± 5) degrees, for example. If thecontrol object 5 includes a monitor device, this operation corresponds to an operation in which the fingertip is directed toward the screen of the monitor device and the object Ob is translated along the screen of the monitor device. When the operation amount is changed by this operation, an operation amount corresponding to the movement amount L of the object Ob can be generated, and the operation amount can be increased or decreased according to the direction of movement of the object Ob. That is, an operation simulating the operation of the slide volume in which the knob moves in parallel can be performed.

第２の例では、図５のように、対象面Ｓｂが基準面Ｓｃに対してなす交差角θ（対象面Ｓｂの基準面Ｓｃに対する向き）を変化させたときに、対象面Ｓｂの交差角θの変化量と変化の向きとが操作量に対応付けられる。この動作は、制御対象５がモニタ装置を備える場合であれば、モニタ装置の画面のほうに指先を向け手首を中心にして手のひらの向きを変える動作に相当する。この動作によって操作量を変化させると、対象物Ｏｂの交差角θに応じた操作量を発生させることができる。また、手首関節の掌屈と背屈とに応じて操作量の増減が可能になる。つまり、つまみを倒す角度に操作量を対応付けるからレバーを倒す操作を模擬した操作が可能になる。  In the second example, as shown in FIG. 5, when the intersection angle θ (the direction of the target surface Sb with respect to the reference surface Sc) formed by the target surface Sb with respect to the reference surface Sc is changed, the intersection angle of the target surface Sb is changed. The change amount of θ and the direction of change are associated with the operation amount. This operation corresponds to an operation of changing the direction of the palm around the wrist with the fingertip pointing toward the screen of the monitor device if thecontrol object 5 includes the monitor device. When the operation amount is changed by this operation, an operation amount corresponding to the intersection angle θ of the object Ob can be generated. Further, the amount of operation can be increased or decreased according to palm flexion and dorsiflexion of the wrist joint. That is, since the operation amount is associated with the angle at which the knob is tilted, an operation simulating the operation of tilting the lever can be performed.

第３の例では、図６のように、基準面Ｓｃに交差する方向に規定される軸（ｚ軸）周りでの対象面Ｓｂの回転角ρを変化させたときに、対象面Ｓｂの回転角ρの変化量と変化の向きとが操作量に対応付けられる。この動作は、制御対象５がモニタ装置を備える場合であれば、モニタ装置の画面に指先を向けた状態で肘関節を回転させる動作に相当する。この動作によって操作量を変化させると、対象物Ｏｂの回転角ρに応じて操作量を発生させることができる。また、肘関節が回転する向きに応じて操作量を増減させることができる。つまり、回転式の可変抵抗器やロータリスイッチを模擬した操作が可能になる。  In the third example, as shown in FIG. 6, when the rotation angle ρ of the target surface Sb around the axis (z axis) defined in the direction intersecting the reference surface Sc is changed, the rotation of the target surface Sb is performed. The amount of change in the angle ρ and the direction of change are associated with the operation amount. This operation corresponds to an operation of rotating the elbow joint with the fingertip facing the screen of the monitor device if thecontrol object 5 includes the monitor device. When the operation amount is changed by this operation, the operation amount can be generated according to the rotation angle ρ of the object Ob. Further, the operation amount can be increased or decreased according to the direction in which the elbow joint rotates. That is, an operation simulating a rotary variable resistor or a rotary switch is possible.

操作量決定部３２が２種類の操作量を決定する場合は、対象物Ｏｂに関して以下の２種類のいずれかの特徴量に操作量を対応付ける。これらの操作は、上述した第１の例と第２の例との一方に、第３の例を組み合わせた操作になり、操作量決定部３２は、ジョイスティックのような２種類の操作量を発生させる。  When the operationamount determination unit 32 determines two types of operation amounts, the operation amount is associated with one of the following two types of feature amounts regarding the object Ob. These operations are operations in which the third example is combined with one of the first example and the second example described above, and the operationamount determination unit 32 generates two types of operation amounts such as a joystick. Let

すなわち、上述した第１の例と第３の例とを組み合わせると、対象面Ｓｂを基準面Ｓｃに沿って移動させる移動量Ｌおよび移動の向きだけではなく、基準面Ｓｃに交差する方向に規定される軸（ｚ軸）周りでの対象面Ｓｂの回転角ρおよび回転角ρの変化の向きも考慮される。つまり、移動量Ｌと回転角ρとがそれぞれ異なる操作量に対応付けられる。たとえば、調光と調色とを指示可能な照明装置を制御対象５とする場合、移動量Ｌを光出力に対応付け、回転角ρを光色に対応付けることができる。  That is, when the first example and the third example described above are combined, not only the amount of movement L and the direction of movement of the target surface Sb along the reference surface Sc but also the direction that intersects the reference surface Sc is specified. The rotation angle ρ of the target surface Sb and the direction of change of the rotation angle ρ around the axis (z axis) to be performed are also considered. That is, the movement amount L and the rotation angle ρ are associated with different operation amounts. For example, when the lighting device capable of instructing light adjustment and color adjustment is thecontrol target 5, the movement amount L can be associated with the light output, and the rotation angle ρ can be associated with the light color.

一方、上述した第２の例と第３の例とを組み合わせると、対象面Ｓｂが基準面Ｓｃに対してなす交差角θの変化量および変化の向きだけではなく、ｚ軸周りでの対象面Ｓｂの回転角ρおよび回転角ρの変化の向きも考慮される。したがって、交差角θと回転角ρとがそれぞれ異なる操作量に対応付けられる。この場合、手首関節と肘関節との２種類の角度の組み合わせにより２種類の操作量を指示することができる。たとえば、制御対象５がモニタ装置を備えている場合、モニタ装置の画面上でのポインタの移動量を指示する場合、ポインタの移動方向を回転角ρに対応付け、ポインタの移動量を交差角θに対応付けることができる。  On the other hand, when the second example and the third example described above are combined, not only the change amount and change direction of the crossing angle θ made by the target surface Sb with respect to the reference surface Sc, but also the target surface around the z axis. The rotation angle ρ of Sb and the direction of change of the rotation angle ρ are also considered. Therefore, the intersection angle θ and the rotation angle ρ are associated with different operation amounts. In this case, two kinds of operation amounts can be instructed by a combination of two kinds of angles of the wrist joint and the elbow joint. For example, when thecontrol object 5 includes a monitor device, when the movement amount of the pointer on the screen of the monitor device is instructed, the movement direction of the pointer is associated with the rotation angle ρ, and the movement amount of the pointer is set to the intersection angle θ. Can be associated.

なお、上述した動作は、説明を簡単にするために指先を伸ばした状態を想定して説明しているが、手を握った状態であっても同様の動作が可能である。  In addition, although the operation | movement mentioned above was demonstrated supposing the state which extended the fingertip in order to simplify description, the same operation | movement is possible even in the state which grasped the hand.

２ 対象物抽出手段
３ 動作抽出手段
４ 制御手段
１０ 距離画像生成手段
２０ 演算処理装置
３１ 特徴量抽出部
３２ 操作量決定部
Ｏｂ 対象物
Ｓｃ 基準面
Ｓｂ 対象面DESCRIPTION OFSYMBOLS 2 Object extraction means 3 Motion extraction means 4 Control means 10 Distance image generation means 20Arithmetic processing device 31 Featurequantity extraction part 32 Operation amount determination part Ob Object Sc Reference plane Sb Target plane

Claims (6)

Translated fromJapanese

少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出する対象物抽出手段と、前記対象物の位置変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が抽出した前記対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、前記動作抽出手段は、前記対象物抽出手段が抽出した前記対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、前記特徴量が規定の開始条件を満たしてから前記特徴量が規定の終了条件を満たすまでの間における前記対象物の移動に伴う前記特徴量の変化量から前記制御対象に指示する操作量を決定する操作量決定部とを備え、前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角を抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が規定の角度範囲内である状態が保たれたままで前記対象面が前記基準面に沿って移動したとき、前記対象面の移動量および移動の向きから１種類の前記操作量を決定することを特徴とする操作入力装置。Distance image generating means for generating a moving image of a distance image having a pixel value as a distance to the object for at least an object corresponding to a hand, and object extracting means for extracting an area corresponding to the object from the distance image And a motion extracting means for extracting a position change of the object from the moving image of the distance image, and a control for changing an operation amount instructed to the control object based on the position change of the object extracted by the action extracting means. A feature quantity extraction unit that extracts a feature quantity indicating a position and orientation of a target surface corresponding to a palm from the object extracted by the object extraction means; and the feature quantity The operation amount to be instructed to the control target is determined from the amount of change in the feature amount accompanying the movement of the object from when the feature amount satisfies the prescribed start condition until the feature amount satisfies the prescribed end condition. That an operation amount determiningunit, the feature amount extracting unit extracts a crossing angle the target surface is an angle which intersects the reference plane defined as the orientation of the target surface, the operation amount determination unit When the target surface moves along the reference plane while the state where the crossing angle is within a specified angle range from when the start condition is satisfied to when the end condition is satisfied, One type of said operation amount is determined from the movement amount and movement direction of a target surface, The operation input device characterizedby the above-mentioned .少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出する対象物抽出手段と、前記対象物の位置変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が抽出した前記対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、前記動作抽出手段は、前記対象物抽出手段が抽出した前記対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、前記特徴量が規定の開始条件を満たしてから前記特徴量が規定の終了条件を満たすまでの間における前記対象物の移動に伴う前記特徴量の変化量から前記制御対象に指示する操作量を決定する操作量決定部とを備え、前記特徴量抽出部は、前記対象面の向きとして規定の基準面に交差する方向に規定される軸周りでの前記対象面の回転角を抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記回転角が変化したとき、前記回転角の変化量および変化の向きから１種類の前記操作量を決定することを特徴とする操作入力装置。Distance image generating means for generating a moving image of a distance image having a pixel value as a distance to the object for at least an object corresponding to a hand, and object extracting means for extracting an area corresponding to the object from the distance image And a motion extracting means for extracting a position change of the object from the moving image of the distance image, and a control for changing an operation amount instructed to the control object based on the position change of the object extracted by the action extracting means. A feature quantity extraction unit that extracts a feature quantity indicating a position and orientation of a target surface corresponding to a palm from the object extracted by the object extraction means; and the feature quantity The operation amount to be instructed to the control target is determined from the amount of change in the feature amount accompanying the movement of the object from when the feature amount satisfies the prescribed start condition until the feature amount satisfies the prescribed end condition. An that the operation amount determination unit, the feature extraction unit extractsthe rotation angle of the object plane of the axis about which is defined in a direction intersecting the reference surface defined as the orientation of the target surface, the operationWhen the rotation angle changes between when the start condition is satisfied and when the end condition is satisfied, the amount determination unit determines one type of the operation amount fromthe change amount and the change direction of therotation angle.operation input devicethat be characterized in that.少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出する対象物抽出手段と、前記対象物の位置変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が抽出した前記対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、前記動作抽出手段は、前記対象物抽出手段が抽出した前記対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、前記特徴量が規定の開始条件を満たしてから前記特徴量が規定の終了条件を満たすまでの間における前記対象物の移動に伴う前記特徴量の変化量から前記制御対象に指示する操作量を決定する操作量決定部とを備え、前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角と、前記基準面に交差する方向に規定される軸周りでの前記対象面の回転角とを抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が規定の角度範囲内で交差している状態が保たれたままで前記対象面が前記基準面に沿って移動したとき、前記回転角の変化量および変化の向きと前記対象面の移動量および移動の向きとから２種類の前記操作量を決定することを特徴とする操作入力装置。Distance image generating means for generating a moving image of a distance image having a pixel value as a distance to the object for at least an object corresponding to a hand, and object extracting means for extracting an area corresponding to the object from the distance image And a motion extracting means for extracting a position change of the object from the moving image of the distance image, and a control for changing an operation amount instructed to the control object based on the position change of the object extracted by the action extracting means. A feature quantity extraction unit that extracts a feature quantity indicating a position and orientation of a target surface corresponding to a palm from the object extracted by the object extraction means; and the feature quantity The operation amount to be instructed to the control target is determined from the amount of change in the feature amount accompanying the movement of the object from when the feature amount satisfies the prescribed start condition until the feature amount satisfies the prescribed end condition. An that the operation amount determination unit, the feature extraction unit comprises:a crossing angle the object surface with respect to a reference plane defined as the orientation of the target surface is an angle thatintersects, in a direction intersecting the reference plane The rotation amount of thetarget surface around a specified axis is extracted, and the operation amount determination unit determines that the intersection angle iswithin a specified angle range from when the start condition is satisfied to when the end condition is satisfied.When the object plane moves along the reference plane while maintaining the state of crossing within the range, theamount of change of the rotation angle and the direction of the change and the amount of movement of the object plane and the direction of movement are 2operation input deviceshall be the determining means determines the manipulated variabletype.少なくとも手に相当する対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記対象物に対応する領域を抽出する対象物抽出手段と、前記対象物の位置変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が抽出した前記対象物の位置変化に基づいて制御対象に指示する操作量を変化させる制御手段とを備え、前記動作抽出手段は、前記対象物抽出手段が抽出した前記対象物から手のひらに相当する対象面の位置と向きとを示す特徴量を抽出する特徴量抽出部と、前記特徴量が規定の開始条件を満たしてから前記特徴量が規定の終了条件を満たすまでの間における前記対象物の移動に伴う前記特徴量の変化量から前記制御対象に指示する操作量を決定する操作量決定部とを備え、前記特徴量抽出部は、前記対象面の向きとして規定の基準面に対して前記対象面が交差する角度である交差角と、前記基準面に交差する方向に規定される軸周りでの前記対象面の回転角とを抽出し、前記操作量決定部は、開始条件が成立してから終了条件が成立するまでの間に、前記交差角が変化したとき、前記回転角の変化量および変化の向きと前記交差角の変化量と変化の向きとから２種類の前記操作量を決定することを特徴とする操作入力装置。Distance image generating means for generating a moving image of a distance image having a pixel value as a distance to the object for at least an object corresponding to a hand, and object extracting means for extracting an area corresponding to the object from the distance image And a motion extracting means for extracting a position change of the object from the moving image of the distance image, and a control for changing an operation amount instructed to the control object based on the position change of the object extracted by the action extracting means. A feature quantity extraction unit that extracts a feature quantity indicating a position and orientation of a target surface corresponding to a palm from the object extracted by the object extraction means; and the feature quantity The operation amount to be instructed to the control target is determined from the amount of change in the feature amount accompanying the movement of the object from when the feature amount satisfies the prescribed start condition until the feature amount satisfies the prescribed end condition. An that the operation amount determination unit, the feature extraction unit comprises:a crossing angle the object surface with respect to a reference plane defined as the orientation of the target surfaceis an angle that intersects, in a direction intersectingthe reference plane The rotationangle of the target surface around a specified axisis extracted, and the operation amount determination unit,when the crossing angle changes between the start condition is satisfied and the end condition is satisfied, the rotational angle of the change amount and theoperation input deviceshall be the determining means determines the directionand amount of change of the crossing angle of thechange of the manipulated variableorientation fromtwochanges.前記操作量決定部は、前記操作量を複数段階の離散値から選択することを特徴とする請求項１〜４のいずれか１項に記載の操作入力装置。The operation input device according to claim1,wherein the operation amount determination unit selects the operation amount from a plurality of discrete values .請求項１〜５のいずれか１項に記載の操作入力装置において、コンピュータを、演算処理装置として機能させるためのプログラムであって、前記演算処理装置は、前記対象物抽出手段と前記動作抽出手段と前記制御手段とを備えており、前記距離画像生成手段が生成した前記距離画像の動画像から前記制御対象に指示する操作量を生成することを特徴とするプログラム。6. The operation input device according to claim 1, wherein the operation processing device is a program for causing a computer to function as an arithmetic processing device, wherein the arithmetic processing device includes the object extraction unit and the motion extraction unit. And a control means for generating an operation amount instructing the control target from a moving image of the distance image generated by the distance image generation means.

Images