【０００１】[0001]
【発明の属する技術分野】本発明は、たとえばリアルタ
イム・インタラクティブ・エンターテインメント(Real-
time Interactive Entertainment）の分野で利用される
コンピュータ−ヒューマン・インタフェース(Computer-
Human Interface)技術に関し、詳細には、ビデオゲーム
システムのためのジェスチャー認識に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to, for example, real-time interactive entertainment (Real-
Time Interactive Entertainment)-Computer-Human Interface (Computer-
In particular, the present invention relates to gesture recognition for a video game system.
【０００２】[0002]
【従来の技術】パーソナルコンピュータや家庭用のビデ
オゲーム機においては、キーパッド等の入力操作デバイ
スを用いてモニタ上のキャラクタ動作やコマンド入力等
を操作することが一般的である。2. Description of the Related Art In personal computers and video game machines for home use, it is common to operate an input operation device such as a keypad to operate a character or a command on a monitor.
【０００３】ゲームの種類には、ロールプレイングゲー
ム（ＲＰＧ）、シューティングゲーム、バトルゲームな
どがある。各ゲームには、操作上、ゲームを進行させる
ための各種コマンドが用意されている。入力操作デバイ
スの各キーには、コマンドが割り当てられている。ただ
し、複数のキーを組み合わせてそのキー操作でコマンド
を発生させる場合もある。[0003] Types of games include a role playing game (RPG), a shooting game, and a battle game. Various commands for operating the game are prepared for each game. A command is assigned to each key of the input operation device. However, a command may be generated by a combination of a plurality of keys and the key operation.
【０００４】シューティングゲームやバトルゲームのよ
うに戦闘を主とするゲームにおいては、たとえば攻撃技
とコマンドとの対応付けなどがなされている。ＲＰＧの
ように主人公となるキャラクタがプレイヤに代わって冒
険するようなゲームにおいては、たとえばキャラクタの
様々な行動を指示するためのコマンドが各行動に対応付
けて用意されている。In a game such as a shooting game or a battle game that mainly involves a battle, for example, an attack technique is associated with a command. In a game such as an RPG in which a main character performs an adventure on behalf of a player, for example, a command for instructing various actions of the character is prepared in association with each action.
【０００５】このように、各コマンドとキーとの対応付
けがなされているので、ゲーム中、プレイヤのキー操作
により所望のコマンドを発令することが可能となる。As described above, since each command is associated with a key, a desired command can be issued by a key operation of the player during the game.
【０００６】[0006]
【発明が解決しようとする課題】ところが、近年、プレ
イヤの人体あるいは手のように人体の一部をＣＣＤカメ
ラで撮像してジェスチャー認識を行うシステムが開発さ
れている。特に、手の形状の変化やその動きからジェス
チャー入力するためのハンドジェスチャー認識は、入力
操作デバイスを必要としないことから、将来ゲーム分野
で期待される技術である。However, in recent years, a system has been developed in which a part of a human body, such as a human body or a hand of a player, is imaged by a CCD camera to perform gesture recognition. In particular, hand gesture recognition for inputting a gesture based on a change in the shape of a hand or its movement does not require an input operation device, and is a technology expected in the game field in the future.
【０００７】ビデオゲームには、コマンド入力にリアル
タイム性が要求される。このため、入力操作デバイスに
代わってハンドジェスチャー入力を行う場合、入力操作
デバイスを用いてコマンド入力した場合と同等のリアル
タイム性を備えたインタラクティブゲームを進行させる
ことが可能なハンドジェスチャー認識技術が要求されて
いる。[0007] Video games require real-time command input. For this reason, when performing a hand gesture input in place of an input operation device, a hand gesture recognition technology capable of progressing an interactive game having the same real-time property as a case where a command is input using the input operation device is required. ing.
【０００８】すなわち、ゲームはスピーディーに展開さ
れ、ゲーム中のコマンド入力はそのときに発令されなけ
れば意味をなさない。このため、ジェスチャーによるコ
マンド入力の場合には、許容できる範囲内の誤認やジェ
スチャーの制約は認めざるを得ない。That is, the game is developed quickly, and a command input during the game has no meaning unless it is issued at that time. For this reason, in the case of a command input by a gesture, an erroneous recognition and a restriction on the gesture must be allowed within an allowable range.
【０００９】さて、ハンドジェスチャー認識の分野にお
いては、たとえば米国特許第５，４５４，０４３号公報
のように、ＣＣＤカメラで手の形状や動きを動的に撮像
し、パターンマッチング処理でハンドジェスチャー認識
を行う手法が開示されている。In the field of hand gesture recognition, for example, as in US Pat. No. 5,454,043, the shape and movement of a hand are dynamically imaged by a CCD camera, and hand gesture recognition is performed by pattern matching processing. Is disclosed.
【００１０】また、特開平１０−３１５５１号公報に
は、人工網膜チップを利用してハンドジェスチャー認識
を行う手法が開示されている。Japanese Patent Laid-Open Publication No. Hei 10-31551 discloses a technique for performing hand gesture recognition using an artificial retinal chip.
【００１１】本発明の目的は、ジェスチャー入力であっ
ても、入力操作デバイスを用いてコマンド入力した場合
と同等のリアルタイム性を備えたインタラクティブゲー
ムを進行させることが可能な、ジェスチャー認識技術を
用いたゲーム装置およびその方法、ならびにその方法を
実現するプログラムを記憶した記録媒体を提供すること
にある。An object of the present invention is to use a gesture recognition technology capable of progressing an interactive game having a real-time property equivalent to that of a command input using an input operation device, even with gesture input. It is an object of the present invention to provide a game device and a method thereof, and a recording medium storing a program for realizing the method.
【００１２】[0012]
【課題を解決するための手段】上述した課題を解決する
ため、本発明の第１の態様によれば、入力コマンドに応
答してゲームを進行させるゲーム装置は以下の構成を備
える。すなわち、人体の少なくとも一部の形状が入力対
象であり、当該入力対象の動的なジェスチャーによる入
力ビデオ信号から二値画像データを取得する画像入力手
段と、前記画像入力手段で取得された二値画像データに
基づいて前記入力対象のオリエンテーション情報を検出
するオリエンテーション検出手段と、前記画像入力手段
で取得された二値画像データに基づいて前記入力対象の
シェイプ情報を検出するシェイプ検出手段と、前記オリ
エンテーション検出手段で検出されたオリエンテーショ
ン情報と前記シェイプ検出手段で検出されたシェイプ情
報との組み合わせに応じて、ゲームを進行させるための
入力コマンドを生成するコマンド生成手段と、を備え
る。According to a first aspect of the present invention, there is provided a game apparatus for proceeding a game in response to an input command. That is, at least a part of the shape of a human body is an input target, image input means for obtaining binary image data from an input video signal by a dynamic gesture of the input target, and a binary image obtained by the image input means. Orientation detection means for detecting the orientation information of the input target based on image data, shape detection means for detecting the shape information of the input target based on binary image data obtained by the image input means, and the orientation Command generation means for generating an input command for advancing the game in accordance with a combination of the orientation information detected by the detection means and the shape information detected by the shape detection means.
【００１３】また、上記第１の態様によれば、前記コマ
ンド生成手段は、入力対象のオリエンテーション情報と
同入力対象のシェイプ情報との組み合わせとゲームを進
行させるためのコマンドとの対応関係を示す情報をあら
かじめ用意しておき、前記あらかじめ用意された情報を
参照して、前記オリエンテーション検出手段で検出され
たオリエンテーション情報と前記シェイプ検出手段で検
出されたシェイプ情報との組み合わせに対応付けられた
コマンドを前記入力コマンドとして決定するようにして
もよい。[0013] According to the first aspect, the command generation means includes information indicating a correspondence relationship between a combination of the orientation information of the input target and the shape information of the input target and a command for proceeding the game. Prepared in advance, referring to the previously prepared information, the command associated with the combination of the orientation information detected by the orientation detection means and the shape information detected by the shape detection means, It may be determined as an input command.
【００１４】また、上記第１の態様によれば、入力対象
の動的なジェスチャーを撮像して前記入力ビデオ信号を
得る撮像手段をさらに備えるようにしてもよい。Further, according to the first aspect, an image pickup means for picking up a dynamic gesture of an input object to obtain the input video signal may be further provided.
【００１５】また、上記第１の態様によれば、前記撮像
手段は、あらかじめ用意された、二値画像データ取得の
ためのシートに対向配置され、前記シート上に配置され
る入力対象のジェスチャーを撮像するようにしてもよ
い。[0015] According to the first aspect, the imaging means is arranged to face a prepared sheet for obtaining binary image data, and performs a gesture of an input object arranged on the sheet. An image may be taken.
【００１６】また、上記第１の態様によれば、前記コマ
ンド生成手段は、あらかじめ用意した人間特有の動きを
参照して前記組み合わせを補正する処理を含むようにし
てもよい。Further, according to the first aspect, the command generation means may include a process of correcting the combination by referring to a human-specific motion prepared in advance.
【００１７】また、上記第１の態様によれば、前記画像
入力手段は、前記二値画像に対して加重平均を施し、そ
の加重平均から前記オリエンテーション検出手段、前記
シェイプ検出手段でそれぞれ処理するための二値画像デ
ータを得るようにしてもよい。According to the first aspect, the image input means applies a weighted average to the binary image and processes the weighted average with the orientation detection means and the shape detection means. May be obtained.
【００１８】また、上記第１の態様によれば、前記シェ
イプ判定手段は、前記画像入力手段で取得された二値画
像データに基づいてセントロイダル・プロファイル（Ce
ntroidal Profile）を抽出し、当該抽出されたセントロ
イダル・プロファイルのピークから前記入力対象のシェ
イプ情報を検出するようにしてもよい。Further, according to the first aspect, the shape judging means includes a centroidal profile (Ce) based on the binary image data acquired by the image inputting means.
ntroidal Profile), and the shape information of the input target may be detected from the peak of the extracted centroidal profile.
【００１９】また、上記第１の態様によれば、前記シェ
イプ検出手段は、前記入力対象が手の場合、指の本数と
指の角度をシェイプ情報として検出するようにしてもよ
い。According to the first aspect, when the input object is a hand, the shape detection means may detect the number of fingers and the angle of the finger as shape information.
【００２０】また、上記第１の態様によれば、前記オリ
エンテーション検出手段は、前記画像入力手段で取得さ
れた二値画像データに対するハフ・トランスフォーメー
ション（Hough Transformation）から前記入力対象のオ
リエンテーション情報を検出するようにしてもよい。According to the first aspect, the orientation detecting means detects the orientation information of the input target from Hough Transformation (Hough Transformation) on the binary image data acquired by the image input means. You may make it.
【００２１】本発明の第２の態様によれば、入力コマン
ドに応答してゲームを進行させるジェスチャー認識方法
は以下の構成を備える。すなわち、人体の少なくとも一
部の形状が入力対象であり、当該入力対象の動的なジェ
スチャーによる入力ビデオ信号から二値画像データを取
得する画像入力ステップと、前記画像入力ステップで取
得された二値画像データに基づいて前記入力対象のオリ
エンテーション情報を検出するオリエンテーション検出
ステップと、前記画像入力ステップで取得された二値画
像データに基づいて前記入力対象のシェイプ情報を検出
するシェイプ検出ステップと、前記オリエンテーション
検出ステップで検出されたオリエンテーション情報と前
記シェイプ検出ステップで検出されたシェイプ情報との
組み合わせに応じて、ゲームを進行させるための入力コ
マンドを生成するコマンド生成ステップと、を含む。According to a second aspect of the present invention, a gesture recognition method for proceeding a game in response to an input command has the following configuration. That is, at least a part of the shape of the human body is an input target, an image input step of obtaining binary image data from an input video signal by a dynamic gesture of the input target, and the binary image obtained in the image input step An orientation detection step of detecting the orientation information of the input target based on image data; a shape detection step of detecting the shape information of the input target based on the binary image data obtained in the image input step; A command generating step of generating an input command for causing the game to proceed according to a combination of the orientation information detected in the detecting step and the shape information detected in the shape detecting step.
【００２２】また、上記第２の態様によれば、前記コマ
ンド生成ステップは、入力対象のオリエンテーション情
報と同入力対象のシェイプ情報との組み合わせとゲーム
を進行させるためのコマンドとの対応関係を示す情報を
あらかじめ用意しておき、前記あらかじめ用意された情
報を参照して、前記オリエンテーション検出ステップで
検出されたオリエンテーション情報と前記シェイプ検出
ステップで検出されたシェイプ情報との組み合わせに対
応付けられたコマンドを前記入力コマンドとして決定す
るようにしてもよい。According to the second aspect, the command generating step includes the step of displaying information indicating a correspondence relationship between a combination of the orientation information of the input target and the shape information of the input target and a command for proceeding the game. Prepared in advance, referring to the information prepared in advance, the command associated with a combination of the orientation information detected in the orientation detection step and the shape information detected in the shape detection step, It may be determined as an input command.
【００２３】また、上記第２の態様によれば、入力対象
の動的なジェスチャーを撮像して前記入力ビデオ信号を
得る撮像ステップをさらに備えるようにしてもよい。Further, according to the second aspect, an image capturing step of capturing a dynamic gesture of an input object to obtain the input video signal may be further provided.
【００２４】また、上記第２の態様によれば、前記コマ
ンド生成ステップは、あらかじめ用意した人間特有の動
きを参照して前記組み合わせを補正する処理を含むよう
にしてもよい。According to the second aspect, the command generation step may include a process of correcting the combination by referring to a motion peculiar to a person prepared in advance.
【００２５】また、上記第２の態様によれば、前記画像
入力ステップは、前記二値画像に対して加重平均を施
し、その加重平均から前記オリエンテーション検出ステ
ップ、前記シェイプ検出ステップでそれぞれ処理するた
めの二値画像データを得るようにしてもよい。According to the second aspect, in the image input step, a weighted average is applied to the binary image, and the orientation detection step and the shape detection step are performed based on the weighted average. May be obtained.
【００２６】また、上記第２の態様によれば、前記シェ
イプ判定ステップは、前記画像入力ステップで取得され
た二値画像データに基づいてセントロイダル・プロファ
イル（Centroidal Profile）を抽出し、当該抽出された
セントロイダル・プロファイルのピークから前記入力対
象のシェイプ情報を検出するようにしてもよい。According to the second aspect, in the shape determining step, a centroidal profile (Centroidal Profile) is extracted based on the binary image data acquired in the image input step. The shape information of the input object may be detected from the peak of the centroidal profile.
【００２７】また、上記第２の態様によれば、前記シェ
イプ検出ステップは、前記入力対象が手の場合、指の本
数と指の角度をシェイプ情報として検出するようにして
もよい。According to the second aspect, in the case where the input object is a hand, the number of fingers and the angle of the finger may be detected as shape information.
【００２８】また、上記第２の態様によれば、前記オリ
エンテーション検出ステップは、前記画像入力ステップ
で取得された二値画像データに対するハフ・トランスフ
ォーメーション（Hough Transformation）から前記入力
対象のオリエンテーション情報を検出するようにしても
よい。According to the second aspect, in the orientation detecting step, the orientation information of the input object is detected from Hough Transformation (Hough Transformation) on the binary image data acquired in the image input step. You may make it.
【００２９】本発明の第３の態様によれば、入力コマン
ドに応答してゲームを進行させる方法をコンピュータに
実行させるプログラムを記録した記録媒体は以下の構成
を備える。すなわち、コンピュータに、人体の少なくと
も一部の形状が入力対象であり、当該入力対象の動的な
ジェスチャーによる入力ビデオ信号から二値画像データ
を取得する画像入力ステップと、前記画像入力ステップ
で取得された二値画像データに基づいて前記入力対象の
オリエンテーション情報を検出するオリエンテーション
検出ステップと、前記画像入力ステップで取得された二
値画像データに基づいて前記入力対象のシェイプ情報を
検出するシェイプ検出ステップと、前記オリエンテーシ
ョン検出ステップで検出されたオリエンテーション情報
と前記シェイプ検出ステップで検出されたシェイプ情報
との組み合わせに応じて、ゲームを進行させるための入
力コマンドを生成するコマンド生成ステップと、を実行
させるものである。According to a third aspect of the present invention, a recording medium storing a program for causing a computer to execute a method of causing a computer to advance a game in response to an input command has the following configuration. That is, in the computer, at least a part of the shape of a human body is an input target, an image input step of obtaining binary image data from an input video signal by a dynamic gesture of the input target, and the image input step An orientation detection step of detecting the orientation information of the input target based on the binary image data, and a shape detection step of detecting the shape information of the input target based on the binary image data acquired in the image input step. A command generating step of generating an input command for advancing a game in accordance with a combination of the orientation information detected in the orientation detecting step and the shape information detected in the shape detecting step. is there.
【００３０】また、上記第３の態様によれば、前記コマ
ンド生成ステップは、入力対象のオリエンテーション情
報と同入力対象のシェイプ情報との組み合わせとゲーム
を進行させるためのコマンドとの対応関係を示す情報を
あらかじめ用意しておき、前記あらかじめ用意された情
報を参照して、前記オリエンテーション検出ステップで
検出されたオリエンテーション情報と前記シェイプ検出
ステップで検出されたシェイプ情報との組み合わせに対
応付けられたコマンドを前記入力コマンドとして決定す
るようにしてもよい。[0030] According to the third aspect, the command generation step includes information indicating a correspondence relationship between a combination of the orientation information of the input target and the shape information of the input target and a command for advancing the game. Prepared in advance, referring to the information prepared in advance, the command associated with a combination of the orientation information detected in the orientation detection step and the shape information detected in the shape detection step, It may be determined as an input command.
【００３１】また、上記第３の態様によれば、入力対象
の動的なジェスチャーを撮像して前記入力ビデオ信号を
得る撮像ステップをさらに備えるようにしてもよい。According to the third aspect, the method may further include an image capturing step of capturing a dynamic gesture of an input object to obtain the input video signal.
【００３２】また、上記第３の態様によれば、前記コマ
ンド生成ステップは、あらかじめ用意した人間特有の動
きを参照して前記組み合わせを補正する処理を含むよう
にしてもよい。Further, according to the third aspect, the command generation step may include a process of correcting the combination by referring to a motion peculiar to a person prepared in advance.
【００３３】また、上記第３の態様によれば、前記画像
入力ステップは、前記二値画像に対して加重平均を施
し、その加重平均から前記オリエンテーション検出ステ
ップ、前記シェイプ検出ステップでそれぞれ処理するた
めの二値画像データを得るようにしてもよい。According to the third aspect, the image input step performs a weighted average on the binary image, and processes the orientation detection step and the shape detection step based on the weighted average. May be obtained.
【００３４】また、上記第３の態様によれば、前記シェ
イプ判定ステップは、前記画像入力ステップで取得され
た二値画像データに基づいてセントロイダル・プロファ
イル（Centroidal Profile）を抽出し、当該抽出された
セントロイダル・プロファイルのピークから前記入力対
象のシェイプ情報を検出するようにしてもよい。According to the third aspect, in the shape determining step, a centroidal profile (Centroidal Profile) is extracted based on the binary image data acquired in the image input step. The shape information of the input object may be detected from the peak of the centroidal profile.
【００３５】また、上記第３の態様によれば、前記シェ
イプ検出ステップは、前記入力対象が手の場合、指の本
数と指の角度をシェイプ情報として検出するようにして
もよい。According to the third aspect, when the input object is a hand, the shape detecting step may detect the number of fingers and the angle of the finger as shape information.
【００３６】また、上記第３の態様によれば、前記オリ
エンテーション検出ステップは、前記画像入力ステップ
で取得された二値画像データに対するハフ・トランスフ
ォーメーション（Hough Transformation）から前記入力
対象のオリエンテーション情報を検出するようにしても
よい。According to the third aspect, in the orientation detecting step, the orientation information of the input object is detected from Hough Transformation (Hough Transformation) on the binary image data acquired in the image input step. You may make it.
【００３７】[0037]
【発明の実施の形態】以下、添付図面を参照して本発明
に係る一実施の形態を詳細に説明する。なお、以下に説
明する実施例は、キーパッド、キーボードなどの入力操
作デバイスを用いずに、ハンドジェスチャーによりコマ
ンドを入力してゲームを進行させるゲーム装置およびそ
の方法、ならびにその方法を実現するためのプログラム
を記録した記録媒体に関するものである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment according to the present invention will be described below in detail with reference to the accompanying drawings. The embodiment described below is a game apparatus and method for inputting a command with a hand gesture to advance a game without using an input operation device such as a keypad and a keyboard, and a method for realizing the method. The present invention relates to a recording medium on which a program is recorded.
【００３８】まず、構成について説明する。図１は、本
発明の一実施の形態によるシステム構成図であり、図２
は、ゲームプログラムの記録場所を説明する図である。First, the configuration will be described. FIG. 1 is a system configuration diagram according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining a recording location of a game program.
【００３９】本発明のゲーム装置を備えるゲームシステ
ムは、たとえば図１に示したように、パーソナルコンピ
ュータ１とＣＣＤカメラ６とをケーブル９で接続し、ス
タンド７に取付けられたＣＣＤカメラ６によりマット５
上で行われるハンドジェスチャーを撮像できるようにし
た構成である。In the game system provided with the game apparatus of the present invention, for example, as shown in FIG. 1, a personal computer 1 and a CCD camera 6 are connected by a cable 9 and a mat 5 is attached to the CCD camera 6 attached to a stand 7.
This is a configuration in which the hand gesture performed above can be imaged.
【００４０】パーソナルコンピュータ１は、たとえばラ
ップトップタイプのノートブックであり、液晶のディス
プレイ２とキーボード３とを備えている。パーソナルコ
ンピュータ１本体は、ＣＤ−ＲＯＭ４を着脱自在に構成
される。なお、本実施例では、コンピュータをラップト
ップタイプとしたが、本発明はこれに限定されず、デス
クトップタイプのコンピュータ、ビデオゲーム専用機な
どにも適用可能である。The personal computer 1 is, for example, a laptop type notebook and includes a liquid crystal display 2 and a keyboard 3. The main body of the personal computer 1 is configured so that the CD-ROM 4 can be freely attached and detached. In the present embodiment, the computer is a laptop type. However, the present invention is not limited to this, and can be applied to a desktop type computer, a video game machine, and the like.
【００４１】なお、マット５の配置については、ハンド
ジェスチャーを行う際に、ディスプレイ２に対するプレ
イヤの視野を遮らない場所とすることが好ましい。The position of the mat 5 is preferably set so as not to obstruct the player's view of the display 2 when performing a hand gesture.
【００４２】マット５は、たとえば５０×５０ｃｍサイ
ズを有し、ＣＣＤカメラ６で撮像されたビデオ信号から
クロマキーイングするためにブルーバックグラウンドと
なっている。なお、マット５のサイズは、５０×５０ｃ
ｍに限定されず、ハンドジェスチャーの種類や動作範囲
に応じて種々変形可能である。The mat 5 has a size of, for example, 50 × 50 cm, and has a blue background for chroma keying from a video signal picked up by the CCD camera 6. The size of the mat 5 is 50 × 50c.
The shape is not limited to m, and can be variously modified according to the type of hand gesture and the operation range.
【００４３】スタンド７の所要の高さに取付けられたＣ
ＣＤカメラ６はその撮像面をマット５に対して対向配置
される。これにより、所要の高さから手８のハンドジェ
スチャーを捉えることができる。なお、このＣＣＤカメ
ラ６の撮像範囲もハンドジェスチャーの種類や動作範囲
に応じて種々変形可能であり、これに追随してスタンド
７に取付ける位置を調整するとよい。C attached to the required height of the stand 7
The CD camera 6 has its imaging surface facing the mat 5. Thereby, the hand gesture of the hand 8 can be captured from the required height. Note that the imaging range of the CCD camera 6 can also be variously changed according to the type and operation range of the hand gesture, and the position at which the CCD camera 6 is attached to the stand 7 may be adjusted accordingly.
【００４４】なお、スタンド７の配置について、ＣＣＤ
カメラ６の位置を調整する際に、ディスプレイ２に対す
るプレイヤの視野を遮らない場所とすることが好まし
い。Note that the arrangement of the stand 7 is based on the CCD
When the position of the camera 6 is adjusted, it is preferable that the position is such that the field of view of the player with respect to the display 2 is not blocked.
【００４５】ＣＤ−ＲＯＭ４には、図２に示したよう
に、ゲームアルゴリズム（Game Algorithm）がプログラ
ムの形態で記録されている。本実施例では、ＣＤ−ＲＯ
Ｍ４からゲームプログラムを読み出してゲームを実行さ
せることができる。なお、ゲームプログラムはすべてを
メモリにロードしてもよく、メモリ容量の関係から適宜
読み出す形態としてもよい。As shown in FIG. 2, a game algorithm (Game Algorithm) is recorded on the CD-ROM 4 in the form of a program. In this embodiment, the CD-RO
The game program can be read from M4 to execute the game. The entire game program may be loaded into the memory, or may be appropriately read out from the relationship of the memory capacity.
【００４６】図３は、本発明のゲーム装置の内部構成例
を示すブロック図である。本発明のゲーム装置は、たと
えば図３に示したように、内部バス１００に、ＣＰＵ１
０２、画像処理（Image Processing）１０３、メモリ１
０６、ディスクドライバ（Disk Driver）１０９、およ
び、各種インタフェース（Ｉ／Ｆ）１０１，１０４，１
０５，１１０を接続させている。FIG. 3 is a block diagram showing an example of the internal configuration of the game device of the present invention. For example, as shown in FIG. 3, the game device of the present invention
02, Image Processing 103, Memory 1
06, a disk driver (Disk Driver) 109, and various interfaces (I / F) 101, 104, 1
05 and 110 are connected.
【００４７】ＣＰＵ１０２は、ゲームプログラムなどを
実行する制御ユニットであり、図示せぬＲＯＭ、ＲＡＭ
を備え、これらと協働して処理全体の制御を司る。この
ＣＰＵ１０２は、後述するゲームアルゴリズムに従って
ハンドジェスチャー認識を利用したゲームなどの処理を
制御する。画像処理１０３は、ＣＰＵ１０２により実行
されるゲームの進行で、画像処理部分（ジェスチャー認
識、グラフィック処理など）を支援するユニットであ
る。The CPU 102 is a control unit for executing a game program and the like, and includes a ROM (not shown) and a RAM (not shown).
And cooperates with them to control the overall processing. The CPU 102 controls processes such as a game using hand gesture recognition according to a game algorithm described later. The image processing 103 is a unit that supports an image processing part (gesture recognition, graphic processing, etc.) in the progress of the game executed by the CPU 102.
【００４８】メモリ１０６は、メイン処理１０７、ジェ
スチャー認識１０８などの処理を含むゲームアルゴリズ
ムなどを記憶可能な媒体である。このメモリ１０６は、
たとえばハードディスクであり、ＣＤ−ＲＯＭ４から読
み出されたプログラムの一部もしくは全部をロードして
利用される。The memory 106 is a medium capable of storing a game algorithm including processes such as a main process 107 and a gesture recognition 108. This memory 106
For example, a hard disk is used by loading a part or all of the program read from the CD-ROM 4.
【００４９】ディスクドライバ１０９は、ＣＰＵ１０２
の制御に従ってＣＤ−ＲＯＭ４を駆動させる。たとえば
ゲームプログラムの一部をメモリ１０６へロードしてゲ
ームを実行する場合には、ゲーム実行時に、ディスクド
ライバ１０９はインタラクティブにＣＤ−ＲＯＭをアク
セスする。一方、ゲームプログラムをすべてメモリ１０
６へロードしてゲームを実行する場合には、ＣＰＵ１０
２はメモリ１０６にロードされたゲームアルゴリズムに
従ってゲームを制御するため、ディスクドライバ１０９
でＣＤ−ＲＯＭ４を駆動させる必要はなくなる。The disk driver 109 is the CPU 102
The CD-ROM 4 is driven according to the control of. For example, when loading a part of the game program into the memory 106 and executing the game, the disk driver 109 accesses the CD-ROM interactively during the execution of the game. On the other hand, all game programs are stored in the memory 10
6 and execute the game, the CPU 10
2 controls the game according to the game algorithm loaded into the memory 106,
Thus, there is no need to drive the CD-ROM 4.
【００５０】なお、本実施例では、記録媒体の一例とし
てＣＤ−ＲＯＭ４を例に挙げたが、ＤＶＤ（デジタルビ
デオディスク）などの他の媒体でもよいことはいうまで
もない。ディスクドライバ１０９についても、扱われる
記録媒体に応じて構造を替えればよい。In this embodiment, the CD-ROM 4 is taken as an example of the recording medium, but it goes without saying that another medium such as a DVD (digital video disc) may be used. The structure of the disk driver 109 may be changed according to the recording medium to be handled.
【００５１】Ｉ／Ｆ１０１には、ケーブル９を介してＣ
ＣＤカメラ６が接続されている。ＣＣＤカメラ（CCD Ca
mera）６の撮像で得られたビデオ信号は、ケーブル９を
通じてＩ／Ｆ１０１から取込まれる。この入力ビデオ信
号は、ゲームアルゴリズムに従って画像処理され、ジェ
スチャー認識に利用される。The I / F 101 is connected to the C
A CD camera 6 is connected. CCD camera (CCD Ca
The video signal obtained by the imaging of the mera 6 is taken in from the I / F 101 through the cable 9. This input video signal is subjected to image processing according to a game algorithm, and is used for gesture recognition.
【００５２】Ｉ／Ｆ１０４には、キーボード（Keyboar
d）３が接続されている。通常のキーボード３から入力
されるキー検出信号がＩ／Ｆ１０４を介してＣＰＵ１０
２へ送られる。なお、本発明では、キーボード３に代わ
ってハンドジェスチャー認識によりゲームを進行させる
ためのコマンドが入力される。The I / F 104 includes a keyboard (Keyboar
d) 3 is connected. A key detection signal input from the normal keyboard 3 is transmitted to the CPU 10 via the I / F 104.
Sent to 2. In the present invention, a command for proceeding the game by hand gesture recognition is input instead of the keyboard 3.
【００５３】Ｉ／Ｆ１０５には、ディスプレイ（Displa
y）２が接続されている。ゲームの進行に応じて変化す
るゲーム画像がＩ／Ｆ１０５を介してディスプレイ２へ
送られ、ゲーム画面が形成される。The I / F 105 has a display (Displa)
y) 2 is connected. A game image that changes according to the progress of the game is sent to the display 2 via the I / F 105, and a game screen is formed.
【００５４】Ｉ／Ｆ１１０には、通信回線１１１が着脱
自在に接続される。本実施例では、ＣＤ−ＲＯＭ４から
ゲームプログラムを供給するシステムを例に挙げたが、
本発明はこれに限定されず、通信回線１１１を介してゲ
ームプログラムの供給を受けるようにしてもよい。もち
ろん、通信回線１１１に限らず、無線回線を介してゲー
ムプログラムの供給を受けることも可能である。なお、
無線回線を適用する場合には、Ｉ／Ｆ１１０に通信機能
を付加すればよい。A communication line 111 is detachably connected to the I / F 110. In the present embodiment, a system for supplying a game program from the CD-ROM 4 has been described as an example.
The present invention is not limited to this, and the game program may be supplied via the communication line 111. Of course, it is also possible to receive the supply of the game program not only through the communication line 111 but also through a wireless line. In addition,
When a wireless line is applied, a communication function may be added to the I / F 110.
【００５５】また、上述のように、通信回線１１１や無
線回線を利用する場合には、ゲームプログラムの配信以
外に、オンラインでゲームを実現することが可能であ
る。この場合、クライアント−サーバによるゲームシス
テムを構築することが可能である。本パーソナルコンピ
ュータ１がクライアントになれば、クライアント側でジ
ェスチャー認識された結果を図示せぬサーバへ送り、そ
こでコマンドを生成してクライアントへ送り返すように
すればよい。As described above, when the communication line 111 or the wireless line is used, it is possible to realize a game online in addition to the distribution of the game program. In this case, a client-server game system can be constructed. When the personal computer 1 becomes a client, the result of gesture recognition on the client side may be sent to a server (not shown), where a command may be generated and sent back to the client.
【００５６】つぎに全体の動作について説明する。図４
は、本発明の動作手順の一例を説明するフローチャート
である。図４に示したフローチャートはゲームアルゴリ
ズムのメイン処理１０７に相当する部分である。このメ
イン処理１０７は、ＣＰＵ１０２により全体の制御が行
われ、個々の処理は図３に示した他のユニットと協働し
て実行される。Next, the overall operation will be described. FIG.
5 is a flowchart illustrating an example of an operation procedure according to the present invention. The flowchart shown in FIG. 4 is a portion corresponding to the main process 107 of the game algorithm. The main process 107 is entirely controlled by the CPU 102, and each process is executed in cooperation with the other units shown in FIG.
【００５７】まず、図１に示したゲームシステムのセッ
ティングが完了すると、所定の手順に従ってゲームアル
ゴリズムの実行が開始され（ステップＳ１１）。つづい
てジェスチャー認識１０８が開始される（ステップＳ１
２）。ジェスチャー認識１０８では、ＣＣＤカメラ６に
よる撮像で得られたビデオ信号が画像処理１０３でクロ
マキーイングおよびその量子化を通じて二値画像データ
に変換される。この二値画像データに基づいてジェスチ
ャー認識が行われる。First, when the setting of the game system shown in FIG. 1 is completed, the execution of the game algorithm is started according to a predetermined procedure (step S11). Subsequently, gesture recognition 108 is started (step S1).
2). In the gesture recognition 108, the video signal obtained by the imaging by the CCD camera 6 is converted into binary image data through chroma keying and quantization in the image processing 103. Gesture recognition is performed based on the binary image data.
【００５８】キーボード、ビデオゲーム機のキーパッド
などの入力操作デバイスの場合には、キー操作からキー
信号が得られ、そのキー信号に基づいて入力コマンドが
判定される。本発明においては、ハンドジェスチャーの
認識結果をキー信号に変換して、通常の入力操作デバイ
スと同様のキー入力を得るものである。In the case of an input operation device such as a keyboard or a keypad of a video game machine, a key signal is obtained from a key operation, and an input command is determined based on the key signal. In the present invention, the recognition result of the hand gesture is converted into a key signal to obtain a key input similar to that of a normal input operation device.
【００５９】したがって、ステップＳ１３では、ステッ
プＳ１２のジェスチャー認識結果からあらかじめ用意さ
れたキー信号が検出されたか否かの判定がなされる。そ
の結果、ステップＳ１３においてキー信号が検出された
場合には（Ｙｅｓルート）、その検出キー信号からあら
かじめ対応付けられたコマンドが入力コマンドとして決
定され、その決定コマンドが生成される（ステップＳ１
４）。つづいてその生成された入力コマンドに基づく処
理が実行される(ステップＳ１５)。Therefore, in step S13, it is determined whether or not a key signal prepared in advance has been detected from the gesture recognition result in step S12. As a result, if a key signal is detected in step S13 (Yes route), a command associated in advance is determined from the detected key signal as an input command, and the determined command is generated (step S1).
4). Subsequently, processing based on the generated input command is executed (step S15).
【００６０】一方、ステップＳ１３においてキー信号が
検出されなかった場合には（Ｎｏルート）、プレイヤの
操作がなかったか、あるいは、あらかじめ決められたハ
ンドジェスチャー外のジェスチャーが認識されたことに
なる。その結果、コマンド入力がなかったものとしてス
テップＳ１２のジェスチャー認識が再度実施される。On the other hand, if no key signal is detected in step S13 (No route), it means that there has been no operation of the player or that a gesture other than the predetermined hand gesture has been recognized. As a result, the gesture recognition in step S12 is performed again assuming that there is no command input.
【００６１】ステップＳ１５のコマンド処理が終了を指
示した場合には（ステップＳ１６：Ｙｅｓルート）、ゲ
ームは終了し、さらにゲームが続行される場合には処理
はステップＳ１２に戻る(ステップＳ１６：Ｎｏルー
ト)。If the command processing in step S15 is instructed to end (step S16: Yes route), the game ends, and if the game is to be continued, the process returns to step S12 (step S16: No route). ).
【００６２】本発明のジェスチャー認識についてさらに
詳述する。この処理はジェスチャー認識１０８（図３参
照）に相当し、フローでは図４のステップＳ１２に相当
する。The gesture recognition of the present invention will be described in more detail. This processing corresponds to the gesture recognition 108 (see FIG. 3), and in the flow, corresponds to step S12 in FIG.
【００６３】図５は、本発明のジェスチャー認識手順の
一例を説明するフローチャートである。図５において、
実線の矢印は画像データ（Image Data）の流れを示し、
破線の矢印はパラメータ（Parameter）を示し、一点鎖
線の矢印はサンプル画像（Example Image）を示す。FIG. 5 is a flowchart illustrating an example of a gesture recognition procedure according to the present invention. In FIG.
Solid arrows indicate the flow of image data.
Dashed arrows indicate parameters, and dashed-dotted arrows indicate sample images.
【００６４】ジェスチャー認識１０８は、たとえば図５
に示したように、クロマキー取得および量子化（Ｃｈｒ
ｏｍａ−Ｋｅｙｉｎｇ ａｎｄ Ｑｕａｎｔｉｚａｔｉ
ｏｎ）２０１、ハンドポジション検出（Ｈａｎｄ Ｐｏ
ｓｉｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ）２０２、クリップ
（Ｃｌｉｐ）２０３、中間フィルタ（ＭｅｄｉａｎＦｉ
ｌｔｅｒ）２０４、ハフ・トランスフォーメーション
（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）２０
５、セントロイダル・プロファイル抽出（Ｃｅｎｔｒｏ
ｉｄａｌ Ｐｒｏｆｉｌｅ Ｅｘｔｒａｃｔｉｏｎ）２
０６、ピーク検出（Ｐｅａｋ Ｄｅｔｅｃｔｉｏｎ）２
０７、パラメータ調整（Ｐａｒａｍｅｔｅｒ Ａｄｊｕ
ｓｔｍｅｎｔ）２０８、状態遷移管理（Ｓｔａｔｅ Ｔ
ｒａｎｓｉｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ）２０９な
どにより構成される。The gesture recognition 108 is performed, for example, as shown in FIG.
, The chroma key acquisition and quantization (Chr
oma-Keying and Quantizati
on) 201, hand position detection (Hand Po)
position Detection 202, Clip 203, Intermediate Filter (MediaFi)
liter) 204, Hough Transformation 20
5. Centroidal profile extraction (Centro
idal Profile Extraction 2
06, peak detection (Peak Detection) 2
07, Parameter adjustment (Parameter Adju)
statement) 208, state transition management (State T)
transition management) 209 and the like.
【００６５】クロマキー取得および量子化２０１は、Ｃ
ＣＤカメラ６の撮像で得られたビデオ信号（Video Sign
al）をクロマキーイングおよび量子化することにより二
値画像データ３０１を得る。このとき、手の背景はブル
ーバックグラウンドであり、手の二値画像データ３０１
が得られる。The chroma key acquisition and quantization 201
A video signal (Video Sign) obtained by the imaging of the CD camera 6
al) is chroma-keyed and quantized to obtain binary image data 301. At this time, the background of the hand is the blue background, and the binary image data 301 of the hand is displayed.
Is obtained.
【００６６】ハンドポジション検出２０２は、クロマキ
ー取得および量子化２０１により得られた二値画像デー
タ３０１に基づいてハンドポジションを得て、そのハン
ドポジションをパラメータとして出力する。このとき、
二値画像データ３０１はあらかじめ決められた手順でス
キャンされる。すなわち、プレイヤとＣＣＤカメラ６の
配置から、手は所定の方向から伸びてくることをあらか
じめルール決めしておく。Hand position detection 202 obtains a hand position based on the binary image data 301 obtained by chroma key acquisition and quantization 201, and outputs the hand position as a parameter. At this time,
The binary image data 301 is scanned according to a predetermined procedure. That is, it is determined in advance that the hand extends from a predetermined direction based on the arrangement of the player and the CCD camera 6.
【００６７】したがって、上記のルールに従えば、矢印
Ｓで示す方向に手が伸びてくることになる。３０２は二
値画像３０１に基づいてハンドポジションを検出する工
程を説明する二値画像データを示し、二値画像データ３
０１と同様のデータである。この二値画像データ３０２
は矢印Ｓに向かって下端から順次水平スキャンされ、ピ
クセルの重量中心から手の位置が検出される。人間の手
の大きさが人により極端に相違しないことに着目すると
ともに、本実施例において手首よりも下側（腕側）のジ
ェスチャーすなわち二値画像データが不要なことから、
ＣＣＤカメラ６で取込まれた画像に対してスキャンすべ
き範囲をスキャンに応じて絞り込む処理が含まれてい
る。Therefore, according to the above rule, the hand extends in the direction indicated by the arrow S. Reference numeral 302 denotes binary image data for explaining a process of detecting a hand position based on the binary image 301;
This is the same data as 01. This binary image data 302
Is sequentially scanned horizontally from the lower end toward the arrow S, and the position of the hand is detected from the center of the weight of the pixel. Focusing on the fact that the size of a human hand is not extremely different from person to person, and in this embodiment, a gesture lower than the wrist (arm side), that is, binary image data is unnecessary,
The processing includes narrowing down the area to be scanned for the image captured by the CCD camera 6 according to the scan.
【００６８】たとえば、ハンドスポット画像３０２ａが
検出され、つづいてハンドスポット画像３０２ｂが検出
され、最後にハンドスポット画像３０２ｃが検出され
る。このハンドスポット画像３０２ｃのハンドポジショ
ンはパラメータとしてパラメータ補正２０８に供給され
る。For example, a hand spot image 302a is detected, a hand spot image 302b is detected, and finally, a hand spot image 302c is detected. The hand position of the hand spot image 302c is supplied to the parameter correction 208 as a parameter.
【００６９】クリップ２０３は、ハンドポジション検出
２０２で最終的に得られたハンドスポット画像３０２ｃ
の二値画像データをクリッピングする。中間フィルタ２
０４は、クリップ２０３でクリッピングされたハンドポ
ジション画像３０２ｃの二値画像データをノイズ除去
し、ハフ・トランスフォーメーション２０５、セントロ
イダル・プロファイル抽出２０６へそれぞれ供給する。The clip 203 is a hand spot image 302c finally obtained by the hand position detection 202.
Is clipped. Intermediate filter 2
In step 04, noise is removed from the binary image data of the hand position image 302 c clipped by the clip 203, and the resulting data is supplied to the Huff transformation 205 and the centroidal profile extraction 206.
【００７０】ハフ・トランスフォーメーション２０５
は、ノイズ除去された二値画像データ（たとえばハンド
スポット画像３０２ｃ）から直線成分を抽出する。この
場合、ＣＣＤカメラ６によって捕捉された手の直線成分
が抽出され、ハンドオリエンテーション（Ｈａｎｄ Ｏ
ｒｉｅｎｔａｔｉｏｎ）を示すパラメータがパラメータ
補正２０８へ供給される。たとえば４０１で示した直線
成分が取得される。Huff Transformation 205
Extracts a linear component from binary image data from which noise has been removed (for example, the hand spot image 302c). In this case, the linear component of the hand captured by the CCD camera 6 is extracted, and the hand orientation (Hand O)
The parameter indicating the reentnation is supplied to the parameter correction 208. For example, a straight line component indicated by 401 is obtained.
【００７１】セントロイダル・プロファイル抽出２０６
は、ノイズ除去された二値画像データ（たとえばハンド
スポット３０２ｃ）からセントロイダル・プロファイル
を抽出する。ハンドスポット画像３０２ｃに対応するセ
ントロイダル・プロファイルは３０３のようになる。上
記セントロイダル・プロファイル抽出２０６は、高速検
出アルゴリズムである。Centroidal Profile Extraction 206
Extracts the centroidal profile from the noise-removed binary image data (for example, the hand spot 302c). The centroid profile corresponding to the hand spot image 302c is as shown in 303. The centroidal profile extraction 206 is a high-speed detection algorithm.
【００７２】このアルゴリズムは、エッジ検出が不要で
あるとともに、特定のジェスチャによるローカルな重心
座標の変動に対してジェスチャ認識結果からフィードバ
ックをかけることになる。なお、重心座標の変動とは、
たとえば、シューティングアクション時、一瞬手がプレ
イヤのボディ側に動いたり、急速なターン時に重心座標
の動きがスムーズな動きとは異なる動きを示すことを指
す。This algorithm does not require edge detection, and gives feedback from the gesture recognition result to local fluctuations in the center of gravity due to a specific gesture. In addition, the fluctuation of the center of gravity coordinate is
For example, during a shooting action, the hand may move to the player's body for a moment, or during a rapid turn, the movement of the center of gravity coordinate may indicate a movement different from a smooth movement.
【００７３】ピーク検出２０７は、セントロイダル・プ
ロファイル抽出２０６で抽出されたセントロイダル・プ
ロファイルの平均値から指の数および指の角度を示す部
分（手のシェイプ（Ｓｈａｐｅ））を検出し、そのシェ
イプをパラメータとしてパラメータ補正２０８へ供給す
る。The peak detection 207 detects a portion (shape of a hand) indicating the number of fingers and the angle of the finger from the average value of the centroid profile extracted by the centroid profile extraction 206, and detects the shape. Is supplied to the parameter correction 208 as a parameter.
【００７４】パラメータ補正２０８は、状態遷移管理２
０９のルールに従ってハンドポジション、ハンドオリエ
ンテーション、シェイプの各パラメータに基づく制御パ
ラメータ（ｃｏｎｔｒｏｌ ｐａｒａｍｅｔｅｒ）を生
成する。この制御パラメータは、入力操作デバイスで入
力されるキー信号と同様の情報である。The parameter correction 208 is a state transition management 2
A control parameter based on each parameter of the hand position, the hand orientation, and the shape is generated in accordance with the rule 09. This control parameter is the same information as the key signal input by the input operation device.
【００７５】状態遷移管理２０９は、ＣＣＤカメラ６の
撮像画面に対してあらかじめ人為的に決められたハンド
ジェスチャーのパターンを登録しており、パラメータ補
正２０８に入力されたハンドポジション、ハンドオリエ
ンテーション、シェイプの各パラメータの組み合わせが
どれに該当するかを支援する。The state transition management 209 registers an artificially determined hand gesture pattern on the imaging screen of the CCD camera 6, and registers the hand position, hand orientation, and shape input to the parameter correction 208. Supports which combination of each parameter is applicable.
【００７６】つづいて上述したジェスチャー認識の個々
の動作をさらに詳細に説明する。Subsequently, each operation of the gesture recognition described above will be described in more detail.
【００７７】まず、図６（Ａ），（Ｂ），（Ｃ）および
（Ｄ）を参照して、ハンドスポッティングの手順を説明
する。図６（Ａ）〜（Ｄ）には、ハンドスポッティング
されたフレーム画像の状態遷移が示されている。プレイ
ヤは、右手の親指側を上方に向けた状態から（図６
（Ａ））、右手の甲を反らし（同図（Ｂ））、右下方へ
徐々に移行させ（同図（Ｃ）および（Ｄ））ている。First, the procedure of hand spotting will be described with reference to FIGS. 6 (A), (B), (C) and (D). FIGS. 6A to 6D show the state transition of the frame image subjected to the hand spotting. The player starts with the right thumb side facing upward (FIG. 6).
(A)), the back of the right hand is deflected (FIG. (B)), and is gradually shifted to the lower right (FIGS. (C) and (D)).
【００７８】ハンドポジションを得る際には、図６
（Ａ）から（Ｄ）のように手のポジションやシェイプの
遷移に対して、手の動きにリアルタイムに追従できるこ
とが必要である。これは、手の重量中心を得ることによ
り実現可能となる。When obtaining the hand position, FIG.
It is necessary to be able to follow hand movements in real time with respect to hand position and shape transitions as in (A) to (D). This can be achieved by obtaining the center of weight of the hand.
【００７９】もしこのリアルタイムの追従が遅れるとコ
マンド入力にも遅れが生じる。たとえばキャラクタ間の
戦闘時、敵キャラクタよりも先に攻撃すべき場面で一呼
吸コマンドの発令が遅れると、敵キャラクタに先手を打
たれることになる。あるいは、レースゲームなどでコマ
ンド入力が遅れると、キャラクタのジャンプ、車のハン
ドル操作などをリアルタイムに制御することができなく
なる。以上の意味でもリアルタイムのハンドスポッティ
ングは重要である。If the real-time tracking is delayed, a command input is also delayed. For example, in a battle between characters, if the issuance of the one-breath command is delayed in a scene to attack before the enemy character, the enemy character will be attacked first. Alternatively, if a command input is delayed in a racing game or the like, it becomes impossible to control a character's jump, car steering operation, and the like in real time. In this sense, real-time hand spotting is important.
【００８０】つづいて図７（Ａ）および（Ｂ）を参照し
て、セントロイダル・プロファイルの抽出方法を説明す
る。図７（Ａ）には、一例として左手のオリジナルイメ
ージが示されている。ｒは、オリジナルイメージの中心
から手のエッジポイントまでの距離を示している。θ
（ｔｈｅｔａ）は、手の中心から下方への垂線に対して
左周りで得られる中心とエッジポイントを結ぶ線に対す
るベクトルの角度を示している。Next, a method of extracting a centroidal profile will be described with reference to FIGS. 7A and 7B. FIG. 7A shows an original image of the left hand as an example. r indicates the distance from the center of the original image to the edge point of the hand. θ
(Theta) indicates the angle of a vector with respect to a line connecting the center and the edge point, which is obtained counterclockwise with respect to a perpendicular downward from the center of the hand.
【００８１】セントロイダル・プロファイルは、図７
（Ｂ）に示したように、（θ，ｒ）プレーンにおいてエ
ッジの形状の各ポイントをプロットしたものである。こ
れにより、指の本数と各指の向き（指の角度）とを同時
に得ることができる。すなわち、このセントロイダル・
プロファイルでは、あらかじめ用意された指の形状など
をパターン化して記憶しておく必要がなく、直接指の本
数とその角度を検出することができるので、高速処理を
実現することができる。これはコマンド入力にリアルタ
イム性が必要なことから、ハンドジェスチャーを認識す
る上で有利に機能する。The centroid profile is shown in FIG.
As shown in (B), each point of the edge shape in the (θ, r) plane is plotted. Thereby, the number of fingers and the direction of each finger (the angle of the finger) can be obtained at the same time. That is, this centroidal
In the profile, it is not necessary to pattern and store the prepared finger shape and the like, and the number of fingers and the angle thereof can be directly detected, so that high-speed processing can be realized. This is advantageous for recognizing hand gestures because command input requires real-time processing.
【００８２】さらにこのセントロイダル・プロファイル
では、すでに説明したハンドスポットのクリッピングで
重量中心が常に追従されていることから、ＣＣＤカメラ
６で捕捉可能な画像であればリアルタイムに指の本数と
その角度を取得することが可能である。すなわち、指の
本数とその角度の変化についてもリアルタイムかつ直接
的に検出することが可能である。Further, in this centroidal profile, since the center of weight is always followed by the clipping of the hand spot already described, if the image can be captured by the CCD camera 6, the number of fingers and the angle thereof can be determined in real time. It is possible to get. That is, it is possible to directly detect the change in the number of fingers and the angle thereof in real time and directly.
【００８３】セントロイダル・プロファイルをそのまま
実行するためには、エッジ・トラッキングが必要とな
る。このエッジ・トラッキングのための所要計算時間
は、入力画像の形状、エッジのノイズ等により、大きく
変動する。また、アルゴリズムの結果は、余分なコード
処理を必要とする多値関数となることもある。そのため
入力画像によっては、エッジ・トラッキングに、かなり
の時間を要する場合がある。To execute the centroidal profile as it is, edge tracking is required. The required calculation time for the edge tracking greatly varies depending on the shape of the input image, edge noise, and the like. Also, the result of the algorithm may be a multi-valued function that requires extra code processing. Therefore, depending on the input image, it may take a considerable time for edge tracking.
【００８４】ここで、リアルタイム処理を実行するた
め、同じθから複数のｒが発生する場合には、より大き
な値を示すｒの方を採用するという規定を設ける。これ
により、高速化アルゴリズムが可能となる。Here, in order to execute real-time processing, when a plurality of r occur from the same θ, there is a provision that r having a larger value is adopted. This enables a speed-up algorithm.
【００８５】なお、ｒのピーク値検出に関して、この規
定を設けることによる影響はない。従って、この規定を
設けることにより、エッジ・トラッキング処理の代わり
として、簡単な参照テーブルを用いることも可能とな
る。Note that the provision of this rule has no effect on the detection of the peak value of r. Therefore, by providing this rule, a simple reference table can be used instead of the edge tracking processing.
【００８６】以下に、この簡略化されたセントロイダル
・プロファイル・アルゴリズムを示す。ここで、変数を
それぞれ、 （Ｘ，Ｙ）： 入力イメージサイズ ｉｘ，ｙ： 入力イメージ（２値） Ｒｘ，ｙ Ｔｘ，ｙ：（予備計算された表） ｒｉ： 出力値 とする。The simplified centroidal profile algorithm is shown below. Here, each of the variables (X, Y): Input image size ix, y: the input image(binary) R x, y T x, y :( pre computed tables)r i: the output value .
【００８７】ここで、事前計算として、テーブルＲにつ
いては、要素Ｒｘ，ｙが、点（Ｘ，Ｙ）と、イメージの
中心（Ｘ／２，Ｙ／２）との間の距離を保つように、規
定しておく。Here, as a pre-calculation, for the table R, the elements Rx, y maintain the distance between the point (X, Y) and the center of the image (X / 2, Y / 2). Stipulates.
【００８８】一方、テーブルＴについては、Ｔｘ，ｙが
初期ベクトルとイメージの中心（Ｘ／２，Ｙ／２）から
点（Ｘ，Ｙ）までのベクトルとの間に角度を保持するよ
うに規定しておく。On the other hand, for the table T, Tx, y is set so that the angle between the initial vector and the vector from the center (X / 2, Y / 2) of the image to the point (X, Y) is maintained. Stipulate.
【００８９】そして、各フレームに対して以下に示す手
順に従い計算を実行することにより、高速化が可能とな
る。 １．全てのｉに対してｒｉをゼロにクリア ２．入力されたｉｘ，ｙの各画素（ピクセル）に対し
て：ｉｘ，ｙがゼロでない場合は、ｒｘ，ｙを最大値
（ｒＴｘ，ｙ、Ｒｘ，ｙ）に置き換える。Then, by performing the calculation for each frame in accordance with the following procedure, the speed can be increased. 1. 1. Clearri to zero for all i. Inputi x, for each pixely(pixels): Ifi x, y is notzero, replacer x, ay maximum value(r Tx,y, R x, y) on.
【００９０】さらに図８に示したように、ジェスチャー
（入力）に対応するプロファイル（ｐｒｏｆｉｌｅ）に
対してローパスフィルターがかけられ、ノイズが除去さ
れる。さらに、図８のフィルター処理には、後のピーク
検出を簡略化させる手法が盛り込まれている。すなわ
ち、セントロイダル・プロファイルには、手首のデータ
が含まれているが、このデータは不要である。Further, as shown in FIG. 8, a low-pass filter is applied to a profile corresponding to a gesture (input) to remove noise. Further, the filter processing of FIG. 8 incorporates a technique for simplifying later peak detection. That is, wrist data is included in the centroidal profile, but this data is unnecessary.
【００９１】そこで、θのとる範囲に対してウインドウ
が設定される。このウィンドウは、θのとる範囲のう
ち、たとえば、π／４よりも小さく、かつ、７／４πよ
り大きい領域を除去するものである。この除去は、つぎ
のピーク検出に有効に機能する。Thus, a window is set for the range of θ. This window removes, for example, a region smaller than π / 4 and larger than 7 / 4π in the range taken by θ. This removal functions effectively for the next peak detection.
【００９２】続いて、フィルターリングされたプロフィ
ールに対してピークが検出される。すなわち、ピーク検
出では、手の大きさによる変化の影響を排除する必要が
ある。そこで、まずｒの平均値が求められ、その平均値
を基準にしてピークの検出が行われる。このピーク検出
により、手のシェイプすなわち、指の本数とその角度が
直接的に求められ、このシェイプはパラメータとして取
得される。Subsequently, peaks are detected for the filtered profile. That is, in the peak detection, it is necessary to eliminate the influence of the change due to the size of the hand. Therefore, first, an average value of r is obtained, and peak detection is performed based on the average value. By this peak detection, the shape of the hand, that is, the number of fingers and the angle thereof are directly obtained, and the shape is obtained as a parameter.
【００９３】一方、手の動きに対してオリエンテーショ
ンの情報が必要となる。このハンドオリエンテーション
もまたシェイプと同様にパラメータとして取得される。
このハンドオリエンテーションには、ハフ・トランスフ
ォーメーションが適用される。このハフ・トランスフォ
ーメーションにより、クリッピングされ、中間フィルタ
ーリング処理された二値画像データに対して直線成分の
抽出が行われ、その直線成分に基づいてハンドオリエン
テーションのパラメータが取得される。On the other hand, orientation information is required for hand movements. This hand orientation is also obtained as a parameter similarly to the shape.
The Huff transformation is applied to this hand orientation. With this Huff transformation, a linear component is extracted from the binary image data that has been clipped and subjected to the intermediate filtering, and a hand orientation parameter is obtained based on the linear component.
【００９４】このようにして得られたハンドオリエンテ
ーションのパラメータはハンドジェスチャーによるオリ
エンテーションだけを得るために有用である。したがっ
て、どのようなハンドオリエンテーションのなかで、ど
のようなハンドシェイプの遷移があったのかを検出すれ
ば、リアルタイムかつ的確なハンドジェスチャーの認識
を実現することができる。The hand orientation parameters obtained in this way are useful for obtaining only the orientation by hand gesture. Therefore, by detecting what kind of hand shape transition has occurred in what kind of hand orientation, real-time and accurate hand gesture recognition can be realized.
【００９５】ただし、プレイヤがゲーム画面を見ながら
興奮状態でハンドジェスチャーによるコマンド入力を行
う場合、あらかじめ決められたハンドジェスチャーとは
異なる動きをする場合がある。すなわち、無意識のうち
に一連のハンドジェスチャーには含まれていない動きが
追加される。[0095] However, when the player inputs a command by hand gesture in an excited state while looking at the game screen, the player may make a motion different from a predetermined hand gesture. That is, a motion that is not included in the series of hand gestures is unknowingly added.
【００９６】たとえば、図９（Ａ）に示したように、右
肘を軸にして右手を円弧を描くように中央位置から左方
向へ移動させるハンドジェスチャーのパターンをあらか
じめ決めたとする。ところが、実際には、図９（Ｂ）に
示したように、プレイヤは肘を軸にして回転させること
はなく、手前に引き付ける動作をとることが往々にして
起る。このように、プレイヤ、すなわち人間の反射的、
本能的な動きをデータとして盛り込む必要がある。For example, as shown in FIG. 9A, it is assumed that a hand gesture pattern for moving the right hand from the center position to the left so as to draw an arc with the right elbow as an axis is determined in advance. However, in practice, as shown in FIG. 9B, the player does not rotate around the elbow and often takes an action of pulling toward the user. Thus, the reflexive,
It is necessary to incorporate instinctual movements as data.
【００９７】本実施例では、上述したような俊敏な動き
で起こり得る人間の反射的、本能的な動きは補正情報と
して状態遷移管理２０９に登録されている。パラメータ
補正２０８では、ハンドポジション、ハンドオリエンテ
ーションおよびシェイプの組み合わせに対して状態遷移
管理２０９が補正情報を与え、これにより制御パラメー
タ（キー信号）が生成される。In this embodiment, the reflexive and instinctive movements of a person that can occur due to the agile movements described above are registered in the state transition management 209 as correction information. In the parameter correction 208, the state transition management 209 gives correction information to a combination of the hand position, the hand orientation, and the shape, thereby generating a control parameter (key signal).
【００９８】以上の補正をフィードバック処理として位
置付けることができる。図１０には、ハンドポジション
に対するマッピング機能が示されている。プレイヤの体
により近いとき、プレーヤーは広く左右に手を動かすた
めに心地悪く感じる。図１０によれば、Ｘ軸方向を向く
弧は同心円とはならず、手がプレーヤーの体により近づ
くにつれ、弧の半径がより大きくなる傾向に設定されて
いる。一方、Ｙ軸方向を向く弧は、プレイヤーの体から
離れるにつれ、Ｘ軸の正、負の各方向は絶対値を大きく
とる傾向に設定されている。The above correction can be regarded as feedback processing. FIG. 10 shows a mapping function for the hand position. When closer to the player's body, the player feels uncomfortable to move his hand widely. According to FIG. 10, the arc pointing in the X-axis direction is not concentric, and the radius of the arc is set to increase as the hand approaches the player's body. On the other hand, the arcs pointing in the Y-axis direction are set to tend to take larger absolute values in the positive and negative directions of the X-axis as they move away from the player's body.
【００９９】マッピング機能を、キャラクタのヘッディ
ングスピードをコントロールするために使われるハンド
ポジション（xｉｎ、yｉｎ）のインプット座標とアウト
プット座標（ｘｏｕｔ、yｏｕｔ）より説明することが
できる。パラメータＡ，ＢとＲは経験的に決定されるも
のである。入出力の関係は以下の式に示す通りである。 ｘｏｕｔ＝ xｉｎ /（ Ａ×yｉｎ＋（１−Ａ）） yｏｕｔ＝ yｉｎ＋（１＋ Ｂ×yｉｎ２ ）（Ｒ−sqrt
（ Ｒ２−ｘｉｎ２））The mapping function can be described by the input coordinates and the output coordinates (xout , yout ) of the hand position (xin, yin ) used to control the heading speed of the character. The parameters A, B and R are empirically determined. The relationship between the input and output is as shown in the following equation.x out = x in / (A × y in + (1-A)) y out = y in + (1+ B × y in 2) (R-sqrt
(R2 -xin2))
【０１００】ハンドジェスチャーのなかで「急なター
ン」，「射撃前の行動」などの動きは通常少数のフレー
ムの中で起こる。これらの動きに共通した特徴は、−ｙ
方向に向けての速い手の動き方である。このような動き
を正確に認識するため、ハンドポジションのｙ座標があ
まりにも速く動くとき、マッピング機能を用いて機能を
落とすことで対処することができる。In the hand gesture, movements such as "sudden turn" and "action before shooting" usually occur in a small number of frames. A feature common to these movements is -y
It is a fast hand movement in the direction. In order to accurately recognize such a movement, when the y-coordinate of the hand position moves too fast, it can be dealt with by reducing the function using the mapping function.
【０１０１】以上説明したように、本実施の形態によれ
ば、セントロイダル・プロファイルの高速検出と指の本
数や角度のピーク検出だけによるジェスチャーの直接認
識を行い、とっさの人間特有の動き（反射神経など）を
フィードバックさせることで、ジェスチャー認識の精度
についてある程度の許容をもたせ、入力操作デバイスを
用いてコマンド入力した場合と同等のリアルタイム性を
簡単に確保することが可能である。このようにして、よ
り高いヒューマンインタフェースを実現することが可能
である。As described above, according to the present embodiment, high-speed detection of a centroidal profile and direct recognition of a gesture only by detecting the number of fingers and the peak of an angle are performed, and a human-specific movement (reflection) is performed. By giving feedback on nerves, etc., it is possible to give a certain degree of tolerance to the accuracy of gesture recognition, and to easily secure the same real-time property as when a command is input using an input operation device. In this way, a higher human interface can be realized.
【０１０２】つづいて、図１１を参照して、コマンドと
ハンドジェスチャーとの関係について説明する。コマン
ドの種類には、たとえば図１１に示したように、ゲーム
モード、メニューモード、そして、プレイヤセレクショ
ンモードがある。Next, the relationship between the command and the hand gesture will be described with reference to FIG. The command types include, for example, a game mode, a menu mode, and a player selection mode as shown in FIG.
【０１０３】ゲームモードは、実際のゲームのなかで使
用されるコマンドで構成される。ゲームモードには、一
例として、7つのコマンドが用意されている。7つのコマ
ンドとは、“チョコボスピード”（Ｃｈｏｃｏｂｏ Ｓ
ｐｅｅｄ）、“チョコボヘディング”（Ｃｈｏｃｏｂｏ
Ｈｅａｄｉｎｇ）、“小弾発射”（Ｓｈｏｏｔ Ｓｍ
ａｌｌ Ｂｕｌｌｅｔ）、“大弾発射”（Ｓｈｏｏｔ
Ｌａｒｇｅ Ｂｕｌｌｅｔ）、“マジッククリスタル発
射”（Ｓｈｏｏｔ Ｍａｇｉｃ Ｃｒｙｓｔａｌ）、
“ジャンプ”（Ｊｕｎｐ） 、そして、“メニュー／ポ
ーズ”（Ｍｅｎｕ／Ｐａｕｓｅ）である。The game mode is composed of commands used in an actual game. In the game mode, for example, seven commands are prepared. The seven commands are “Chocobo Speed” (Chocobo S)
speed), "Chocobo Heading" (Chocobo
Heading), “Small ammunition” (Shoot Sm
all Bullet), “Bombard Fire” (Shoot
Large Bullet), "Magical Crystal Fire" (Shoot Magic Crystal),
“Jump” and “Menu / Pause” (Menu / Pause).
【０１０４】“チョコボスピード”コマンドとは、Ｙ軸
（プレイヤから見て前後方向）に沿っての絶対位置（Ｃ
ＣＤカメラ6の画面内）でのハンドポジションがスピー
ドをコントロールするコマンドである。ここでは、手を
素早く前方へ突き出し、中央で停止し、その手を後方へ
引き戻すハンドジェスチャーが必要となる。The "chocobo speed" command refers to the absolute position (C
The hand position on the screen of the CD camera 6) is a command for controlling the speed. Here, a hand gesture is needed in which the hand is quickly pushed forward, stopped at the center, and pulled back.
【０１０５】“チョコボヘディング”コマンドとは、Ｘ
軸（プレイヤから見て左右方向）に沿っての絶対位置
（ＣＣＤカメラ6の画面内）でのハンドポジションがキ
ャラクタ（一例として、キャラクタ名をチョコボ（Ｃｈ
ｏｃｏｂｏ）と称する）の角速度をコントロールするコ
マンドである。オプションとして、ハンドオリエンテー
ションは同じく角速度に影響を与える。The "chocobo heading" command is X
The hand position at the absolute position (in the screen of the CCD camera 6) along the axis (the left-right direction as viewed from the player) is the character (for example, the character name is chocobo (Ch).
ocbo)). Optionally, hand orientation also affects angular velocity.
【０１０６】“チョコボスピード”コマンド、“チョコ
ボヘディング”コマンドは、図１２（Ａ）に示したよう
に、前方、後方、左右へのハンドポジションの移動によ
りコマンドが発令される。図１２（Ｂ）に示したよう
に、画面上では、キャラクタ“チョコボ”をあらかじめ
決められたＡ１，Ａ２，Ａ３，Ａ４のいずれかの方向へ
移動させることができる。As shown in FIG. 12A, the "chocobo speed" command and the "chocobo heading" command are issued by moving the hand position forward, backward, or left and right. As shown in FIG. 12B, on the screen, the character “chocobo” can be moved in any of the predetermined directions A1, A2, A3, and A4.
【０１０７】“小弾発射”とは、一連の動作によって発
令され、小弾を打ち込むためのコマンドである。その一
連の動作とは、図１３（Ａ）に示した動作で、握りこぶ
しを作り（１）、次いで、画面に向かって一本の指（た
とえば人差し指）を突き出す（２）ようなハンドジェス
チャーが必要となる。ここでは、図１３（Ｂ）に示した
ように、人差し指が“小弾発射”のコマンドを特定す
る。図１３（Ｅ）に示したように、画面上では、キャラ
クタ“チョコボ”から小弾が撃ち放たれることになる。"Shooting a bullet" is a command issued by a series of operations and for firing a bullet. The series of operations is the operation shown in FIG. 13A, in which a fist is made (1), and then a hand gesture such as protruding one finger (for example, the index finger) toward the screen is necessary (2). Becomes Here, as shown in FIG. 13B, the index finger specifies the command of “firing a small bullet”. As shown in FIG. 13E, a small bullet is shot from the character “chocobo” on the screen.
【０１０８】“大弾発射”とは、一連の動作によって発
令され、大弾を打ち込むためのコマンドである。その一
連の動作とは、握りこぶしを作り、次いで、画面に向か
って二本の指を突き出すハンドジェスチャーが必要とな
る。ここでは、図１３（Ｃ）に示したように、二本の指
が“大弾発射”のコマンドを特定する。The "fire large bullet" is a command issued by a series of operations and for firing a large bullet. The sequence involves a hand gesture of making a fist and then sticking out two fingers toward the screen. Here, as shown in FIG. 13 (C), two fingers specify the command of “fire large bullet”.
【０１０９】“マジッククリスタル発射”コマンドと
は、一連の動作によって発令され、「魔法のクリスタ
ル」と言う対象を発射するためのコマンドである。その
一連の動作とは、握りこぶしを作り、次いで、手から何
かを落とすように手のひらを広げるハンドジェスチャー
が必要となる。ここでは、図１３（Ｄ）に示したよう
に、手のひらの開きが“マジッククリスタル発射”のコ
マンドを特定する。The “magic crystal firing” command is issued by a series of operations and is a command for firing an object called “magic crystal”. The sequence involves a hand gesture of making a fist and then spreading the palm of the hand to drop something from the hand. Here, as shown in FIG. 13D, the opening of the palm specifies the command of “magic crystal firing”.
【０１１０】“ジャンプ”コマンドとは、一連の動作に
よって発令され、キャラクタをジャンプさせるためのコ
マンドである。その一連の動作とは、図１４（Ａ）に示
したように親指が側面に突き出る状態で握りこぶしをつ
くり、次いで、矢印の方向へ素早く握りこぶしを引き戻
すハンドジェスチャーが必要である。The "jump" command is a command issued by a series of operations to jump a character. The series of operations requires a hand gesture in which a fist is formed with the thumb protruding to the side as shown in FIG. 14A, and then the fist is quickly pulled back in the direction of the arrow.
【０１１１】画面上では、図１４（Ｂ）に示したよう
に、矢印Ｂ１の方向へ降りてきたキャラクタ“チョコ
ボ”はハンドジェスチャーのタイミングで矢印Ｂ１の方
向へジャンプする。On the screen, as shown in FIG. 14B, the character "chocobo" that has descended in the direction of arrow B1 jumps in the direction of arrow B1 at the timing of the hand gesture.
【０１１２】“メニュー／ポーズ”コマンドとは、ゲー
ムをポーズさせ、メニューモード（Ｍｅｎｕ ｍｏｄ
ｅ）へ移行するためのコマンドである。親指、人差し
指、および、小指を突き出してハンドシェイプをつくる
ハンドジェスチャーが必要である。The "menu / pause" command is used to pause the game and enter a menu mode (Menu mod).
This is a command for shifting to e). There is a need for a hand gesture that protrudes the thumb, index finger, and little finger to create a hand shape.
【０１１３】つづいてメニューモードについて説明す
る。メニューモードには、一例として、2種類のコマン
ドが用意されている。2種類のコマンドとは、“メニュ
ー項目選択”（Ｓｅｌｅｃｔ Ｍｅｎｕ Ｉｔｅｍ）、
および、“キャンセル／ゲームへ戻る”（Ｃａｎｃｅｌ
／Ｒｅｔｕｒｎ ｔｏ Ｇａｍｅ）である。Next, the menu mode will be described. In the menu mode, for example, two types of commands are prepared. The two types of commands are “menu item selection” (Select Menu Item),
And "cancel / return to game" (Cancel
/ Return to Game).
【０１１４】“メニュー項目選択”コマンドとは、ゲー
ムに関する複数のアイテムから所要のアイテムを選択す
るためのコマンドである。たとえば第1から５番目まで
のメニュー項目を選択するために、プレーヤーが指の本
数を提示するハンドジェスチャーが必要である。The “menu item selection” command is a command for selecting a required item from a plurality of items related to the game. For example, in order to select the first to fifth menu items, a hand gesture in which the player indicates the number of fingers is required.
【０１１５】“キャンセル／ゲームへ戻る”コマンドと
は、ゲームのキャンセルまたはゲームに戻るためのコマ
ンドである。メニューモード時に、あたかも「いいえ、
私は中止する」と言う具合に、2度左右に手をスウィン
グするハンドジェスチャーが必要である。The "cancel / return to game" command is a command for canceling the game or returning to the game. In menu mode, as if "No,
I need to do a hand gesture to swing my hand left and right twice.
【０１１６】つづいてプレイヤ選択モード（Ｐｌａｙｅ
ｒ ｓｅｌｅｃｔｉｏｎ ｍｏｄｅ）について説明す
る。プレイヤ選択モードには、一例として、2種類のコ
マンドが用意されている。2種類のコマンドとは、“プ
レイヤ交代”（ＣｈａｎｇｅＰｌａｙｅｒ）、および、
“ゲーム開始”（Ｓｔａｒｔ Ｇａｍｅ）である。Subsequently, the player selection mode (Play
(r selection mode) will be described. In the player selection mode, for example, two types of commands are prepared. The two types of commands are “change of player” (ChangePlayer), and
This is “Start Game”.
【０１１７】“プレイヤ交代”とは、プレイヤをチェン
ジするためのコマンドである。プレイ時に、あたかも
「いいえ、私は中止する」と言う具合に、2度左右に手
を振るハンドジェスチャーが必要である。The "change of player" is a command for changing the player. When playing, you need a hand gesture that shakes your hand twice, right and left, as if to say "No, I will stop."
【０１１８】“ゲーム開始”とは、ゲームの開始を指示
するためのコマンドである。ゲーム開始前に、親指、人
差し指、および、小指を突き出したハンドシェイプをつ
くるハンドジェスチャーが必要である。The "game start" is a command for instructing the start of the game. Before starting the game, a hand gesture is required to create a hand shape protruding the thumb, index finger and little finger.
【０１１９】なお、上述した実施例では、図１１に示し
た種類のコマンドを例に挙げて説明したが、本発明はこ
れに限定されず、コマンドはゲームの種別に応じて種々
変形可能である。In the above-described embodiment, the command of the type shown in FIG. 11 has been described as an example. However, the present invention is not limited to this, and the command can be variously modified according to the type of game. .
【０１２０】また、本発明によるジェスチャー認識手法
は、ネットワークを介してマルチプレイヤで実施するオ
ンラインゲームにも適用可能であることは言うまでもな
い。Further, it goes without saying that the gesture recognition method according to the present invention can also be applied to an online game executed by a multiplayer via a network.
【０１２１】[0121]
【発明の効果】以上説明したように本発明によれば、ジ
ェスチャー認識の精度についてある程度の許容をもたせ
ることで、入力操作デバイスを用いてコマンド入力した
場合と同等のリアルタイム性が簡単に確保される。これ
により、インタラクティブゲームの進行に必要な高い応
答性を実現することが可能である。また、人間特有の動
き（反射神経など）を考慮することで、より高いヒュー
マンインタフェースを実現することが可能である。As described above, according to the present invention, by giving a certain degree of tolerance to the accuracy of gesture recognition, it is possible to easily secure the same real-time property as when a command is input using an input operation device. . Thereby, it is possible to realize a high responsiveness required for the progress of the interactive game. In addition, it is possible to realize a higher human interface by taking into account human-specific movements (such as reflexes).
【図１】本発明のゲーム装置の一実施の形態によるシス
テム構成図である。FIG. 1 is a system configuration diagram according to an embodiment of a game device of the present invention.
【図２】ゲームプログラムの記録場所を説明する図であ
る。FIG. 2 is a diagram illustrating a recording location of a game program.
【図３】本発明のゲーム装置の内部構成例を示すブロッ
ク図である。FIG. 3 is a block diagram showing an example of the internal configuration of the game device of the present invention.
【図４】本発明の動作手順の一例を説明するフローチャ
ートである。FIG. 4 is a flowchart illustrating an example of an operation procedure of the present invention.
【図５】本発明のジェスチャー認識手順の一例を説明す
るフローチャートである。FIG. 5 is a flowchart illustrating an example of a gesture recognition procedure according to the present invention.
【図６】（Ａ），（Ｂ），（Ｃ）および（Ｄ）は、ハン
ドスポッティングの手順を示す図である。FIGS. 6A, 6B, 6C, and 6D are diagrams showing a procedure of hand spotting.
【図７】（Ａ）および（Ｂ）は、セントロイダル・プロ
ファイルの抽出方法を説明する図である。FIGS. 7A and 7B are diagrams illustrating a method of extracting a centroidal profile; FIGS.
【図８】ジェスチャーとプロファイルとの関係を説明す
る図である。FIG. 8 is a diagram illustrating a relationship between a gesture and a profile.
【図９】（Ａ）および（Ｂ）は、ハンドジェスチャーの
自然な動き、実際の動きとの違いを説明する図である。FIGS. 9A and 9B are diagrams illustrating a difference between a natural movement of a hand gesture and an actual movement.
【図１０】マッピングファンクションを説明する図であ
る。FIG. 10 is a diagram illustrating a mapping function.
【図１１】コマンドとジェスチャーとの関係を示すテー
ブルの一例を説明する図である。FIG. 11 is a diagram illustrating an example of a table indicating a relationship between a command and a gesture.
【図１２】（Ａ）および（Ｂ）は、ハンドジェスチャー
とキャラクター動作との対応関係の一例を説明する図で
ある。FIGS. 12A and 12B are diagrams illustrating an example of a correspondence relationship between a hand gesture and a character motion.
【図１３】（Ａ），（Ｂ）および（Ｃ）は、ハンドジェ
スチャーとキャラクター動作との対応関係の他の例を説
明する図である。FIGS. 13A, 13B, and 13C are diagrams illustrating another example of the correspondence between a hand gesture and a character motion.
【図１４】（Ａ）および（Ｂ）は、ハンドジェスチャー
とキャラクター動作との対応関係のさらに他の例を説明
する図である。FIGS. 14A and 14B are diagrams illustrating still another example of a correspondence relationship between a hand gesture and a character motion.
１ パーソナルコンピュータ ２ ディスプレイ ３ キーボード ４ ＣＤ−ＲＯＭ ５ マット ６ カメラ １０３ 画像処理 １０６ メモリ １０７ メイン処理 １０８ ジェスチャー認識 １０９ ディスクドライバ １１１ 通信回線 ２０１ クロマキーイング及び量子化 ２０２ ハンドポジション検出 ２０３ クリップ ２０４ 中間フィルタ ２０５ ハフ・トランスフォーメーション ２０６ セントロイダル・プロファイル抽出 ２０７ ピーク検出 ２０８ パラメータ補正 ２０９ 状態遷移管理 DESCRIPTION OF SYMBOLS 1 Personal computer 2 Display 3 Keyboard 4 CD-ROM 5 Mat 6 Camera 103 Image processing 106 Memory 107 Main processing 108 Gesture recognition 109 Disk driver 111 Communication line 201 Chroma keying and quantization 202 Hand position detection 203 Clip 204 Intermediate filter 205 Huff Transformation 206 Centroidal profile extraction 207 Peak detection 208 Parameter correction 209 State transition management
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000398372AJP2001246161A (en) | 1999-12-31 | 2000-12-27 | GAME DEVICE USING GESTURE RECOGNITION TECHNOLOGY, METHOD THEREOF, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMPLEMENTING THE METHOD |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-377234 | 1999-12-31 | ||
| JP37723499 | 1999-12-31 | ||
| JP2000398372AJP2001246161A (en) | 1999-12-31 | 2000-12-27 | GAME DEVICE USING GESTURE RECOGNITION TECHNOLOGY, METHOD THEREOF, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMPLEMENTING THE METHOD |
| Publication Number | Publication Date |
|---|---|
| JP2001246161Atrue JP2001246161A (en) | 2001-09-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000398372APendingJP2001246161A (en) | 1999-12-31 | 2000-12-27 | GAME DEVICE USING GESTURE RECOGNITION TECHNOLOGY, METHOD THEREOF, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMPLEMENTING THE METHOD |
| Country | Link |
|---|---|
| JP (1) | JP2001246161A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005047331A (en)* | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Control device |
| JP2005063090A (en)* | 2003-08-11 | 2005-03-10 | Keio Gijuku | Hand pattern switch device |
| JP2006039917A (en)* | 2004-07-27 | 2006-02-09 | Sony Corp | Information processing apparatus and method, recording medium, and program |
| JP2009535172A (en)* | 2006-05-04 | 2009-10-01 | ソニー・コンピュータ・エンタテインメント・アメリカ・インク | Multi-input game control mixer |
| EP2204760A1 (en)* | 2008-12-30 | 2010-07-07 | Topseed Technology Corp. | Method for recognizing and tracing gesture |
| WO2011093317A1 (en)* | 2010-01-29 | 2011-08-04 | 新世代株式会社 | Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus |
| JP2012502344A (en)* | 2008-09-04 | 2012-01-26 | エクストリーム リアリティー エルティーディー． | Method system and software for providing an image sensor based human machine interface |
| US8270670B2 (en) | 2008-12-25 | 2012-09-18 | Topseed Technology Corp. | Method for recognizing and tracing gesture |
| JP2012531652A (en)* | 2009-06-25 | 2012-12-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Gesture recognition using chroma key |
| JP2013500771A (en)* | 2009-07-29 | 2013-01-10 | マイクロソフト コーポレーション | Method and system for automatically generating visual display |
| WO2014002803A1 (en)* | 2012-06-25 | 2014-01-03 | オムロン株式会社 | Motion sensor, method for detecting object action, and game device |
| JP2014004154A (en)* | 2012-06-25 | 2014-01-16 | Omron Corp | Game machine |
| JP2014006727A (en)* | 2012-06-25 | 2014-01-16 | Omron Corp | Motion sensor and object action detection method |
| US8675915B2 (en) | 2002-07-27 | 2014-03-18 | Sony Computer Entertainment America Llc | System for tracking user manipulations within an environment |
| US8681100B2 (en) | 2004-07-30 | 2014-03-25 | Extreme Realty Ltd. | Apparatus system and method for human-machine-interface |
| US8823817B2 (en) | 2010-09-17 | 2014-09-02 | Hitachi, Ltd. | Camera management device and network camera system |
| US8872899B2 (en) | 2004-07-30 | 2014-10-28 | Extreme Reality Ltd. | Method circuit and system for human to machine interfacing by hand gestures |
| US8878779B2 (en) | 2009-09-21 | 2014-11-04 | Extreme Reality Ltd. | Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen |
| US8878896B2 (en) | 2005-10-31 | 2014-11-04 | Extreme Reality Ltd. | Apparatus method and system for imaging |
| US8928654B2 (en) | 2004-07-30 | 2015-01-06 | Extreme Reality Ltd. | Methods, systems, devices and associated processing logic for generating stereoscopic images and video |
| US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US9046962B2 (en) | 2005-10-31 | 2015-06-02 | Extreme Reality Ltd. | Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region |
| US9177220B2 (en) | 2004-07-30 | 2015-11-03 | Extreme Reality Ltd. | System and method for 3D space-dimension based image processing |
| US9218126B2 (en) | 2009-09-21 | 2015-12-22 | Extreme Reality Ltd. | Methods circuits apparatus and systems for human machine interfacing with an electronic appliance |
| US9682320B2 (en) | 2002-07-22 | 2017-06-20 | Sony Interactive Entertainment Inc. | Inertially trackable hand-held controller |
| US10283120B2 (en) | 2014-09-16 | 2019-05-07 | The University Of Hull | Method and apparatus for producing output indicative of the content of speech or mouthed speech from movement of speech articulators |
| WO2023071640A1 (en)* | 2021-10-29 | 2023-05-04 | 海信视像科技股份有限公司 | Display device and display method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59132079A (en)* | 1983-01-17 | 1984-07-30 | Nippon Telegr & Teleph Corp <Ntt> | Manual operation input device |
| JPH06309463A (en)* | 1993-04-21 | 1994-11-04 | A T R Tsushin Syst Kenkyusho:Kk | Real time shape recognizing device |
| JPH0844490A (en)* | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | Interface device |
| JPH10171831A (en)* | 1996-12-11 | 1998-06-26 | Toshiba Eng Co Ltd | Image file search device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59132079A (en)* | 1983-01-17 | 1984-07-30 | Nippon Telegr & Teleph Corp <Ntt> | Manual operation input device |
| JPH06309463A (en)* | 1993-04-21 | 1994-11-04 | A T R Tsushin Syst Kenkyusho:Kk | Real time shape recognizing device |
| JPH0844490A (en)* | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | Interface device |
| JPH10171831A (en)* | 1996-12-11 | 1998-06-26 | Toshiba Eng Co Ltd | Image file search device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9682320B2 (en) | 2002-07-22 | 2017-06-20 | Sony Interactive Entertainment Inc. | Inertially trackable hand-held controller |
| US8675915B2 (en) | 2002-07-27 | 2014-03-18 | Sony Computer Entertainment America Llc | System for tracking user manipulations within an environment |
| JP2005047331A (en)* | 2003-07-31 | 2005-02-24 | Nissan Motor Co Ltd | Control device |
| JP2005063090A (en)* | 2003-08-11 | 2005-03-10 | Keio Gijuku | Hand pattern switch device |
| US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| JP2006039917A (en)* | 2004-07-27 | 2006-02-09 | Sony Corp | Information processing apparatus and method, recording medium, and program |
| US9177220B2 (en) | 2004-07-30 | 2015-11-03 | Extreme Reality Ltd. | System and method for 3D space-dimension based image processing |
| US8928654B2 (en) | 2004-07-30 | 2015-01-06 | Extreme Reality Ltd. | Methods, systems, devices and associated processing logic for generating stereoscopic images and video |
| US8872899B2 (en) | 2004-07-30 | 2014-10-28 | Extreme Reality Ltd. | Method circuit and system for human to machine interfacing by hand gestures |
| US8681100B2 (en) | 2004-07-30 | 2014-03-25 | Extreme Realty Ltd. | Apparatus system and method for human-machine-interface |
| US9046962B2 (en) | 2005-10-31 | 2015-06-02 | Extreme Reality Ltd. | Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region |
| US8878896B2 (en) | 2005-10-31 | 2014-11-04 | Extreme Reality Ltd. | Apparatus method and system for imaging |
| US9131220B2 (en) | 2005-10-31 | 2015-09-08 | Extreme Reality Ltd. | Apparatus method and system for imaging |
| JP2009535172A (en)* | 2006-05-04 | 2009-10-01 | ソニー・コンピュータ・エンタテインメント・アメリカ・インク | Multi-input game control mixer |
| JP2013084281A (en)* | 2006-05-04 | 2013-05-09 | Sony Computer Entertainment America Llc | System and method for analyzing game control input data |
| JP2012166036A (en)* | 2006-05-04 | 2012-09-06 | Sony Computer Entertainment America Llc | System and method for analyzing game control input data |
| KR101511819B1 (en) | 2008-09-04 | 2015-04-13 | 익스트림 리얼리티 엘티디. | Method system and software for providing image sensor based human machine interfacing |
| JP2012502344A (en)* | 2008-09-04 | 2012-01-26 | エクストリーム リアリティー エルティーディー． | Method system and software for providing an image sensor based human machine interface |
| US8270670B2 (en) | 2008-12-25 | 2012-09-18 | Topseed Technology Corp. | Method for recognizing and tracing gesture |
| EP2204760A1 (en)* | 2008-12-30 | 2010-07-07 | Topseed Technology Corp. | Method for recognizing and tracing gesture |
| JP2012531652A (en)* | 2009-06-25 | 2012-12-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Gesture recognition using chroma key |
| JP2013500771A (en)* | 2009-07-29 | 2013-01-10 | マイクロソフト コーポレーション | Method and system for automatically generating visual display |
| US8878779B2 (en) | 2009-09-21 | 2014-11-04 | Extreme Reality Ltd. | Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen |
| US9218126B2 (en) | 2009-09-21 | 2015-12-22 | Extreme Reality Ltd. | Methods circuits apparatus and systems for human machine interfacing with an electronic appliance |
| WO2011093317A1 (en)* | 2010-01-29 | 2011-08-04 | 新世代株式会社 | Image processing apparatus, image processing method, computer program, recording medium, image processing module, and electronic apparatus |
| US8823817B2 (en) | 2010-09-17 | 2014-09-02 | Hitachi, Ltd. | Camera management device and network camera system |
| JP2014006727A (en)* | 2012-06-25 | 2014-01-16 | Omron Corp | Motion sensor and object action detection method |
| JP2014004154A (en)* | 2012-06-25 | 2014-01-16 | Omron Corp | Game machine |
| WO2014002803A1 (en)* | 2012-06-25 | 2014-01-03 | オムロン株式会社 | Motion sensor, method for detecting object action, and game device |
| US9789393B2 (en) | 2012-06-25 | 2017-10-17 | Omron Corporation | Motion sensor, object-motion detection method, and game machine |
| US10283120B2 (en) | 2014-09-16 | 2019-05-07 | The University Of Hull | Method and apparatus for producing output indicative of the content of speech or mouthed speech from movement of speech articulators |
| WO2023071640A1 (en)* | 2021-10-29 | 2023-05-04 | 海信视像科技股份有限公司 | Display device and display method |
| Publication | Publication Date | Title |
|---|---|---|
| JP2001246161A (en) | GAME DEVICE USING GESTURE RECOGNITION TECHNOLOGY, METHOD THEREOF, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMPLEMENTING THE METHOD | |
| KR101084030B1 (en) | Game device, game processing method and information recording medium | |
| US10421013B2 (en) | Gesture-based user interface | |
| CN116600866B (en) | Selecting an anchor offset aiming position | |
| EP2701816B1 (en) | Manual and camera-based avatar control | |
| US11644893B2 (en) | Application processing system, method of processing application, and storage medium storing program for processing application | |
| JP5373876B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
| EP1760571B1 (en) | Input data processing program and information processing apparatus | |
| US20230293984A1 (en) | Game processing system, method of processing game, and storage medium storing program for processing game | |
| US20110098111A1 (en) | Game apparatus, storage medium storing a game program, and game controlling method | |
| JP5509227B2 (en) | Movement control device, movement control device control method, and program | |
| EP2394710A2 (en) | Image generation system, image generation method, and information storage medium | |
| CN109224437A (en) | The exchange method and terminal and storage medium of a kind of application scenarios | |
| JP2011258158A (en) | Program, information storage medium and image generation system | |
| US20070097116A1 (en) | Information display apparatus | |
| JP4433579B2 (en) | GAME SYSTEM AND INFORMATION STORAGE MEDIUM | |
| CN113260426A (en) | Game system, processing method, and information storage medium | |
| JP7248720B2 (en) | GAME PROGRAM, GAME DEVICE, GAME SYSTEM, AND GAME PROCESSING METHOD | |
| US20220351446A1 (en) | Animation production method | |
| JP7052128B1 (en) | Information processing system, program and information processing method | |
| JP5213913B2 (en) | Program and image generation system | |
| JP6957712B1 (en) | Program and field of view control method | |
| JP3768223B1 (en) | GAME SYSTEM, PROGRAM, AND INFORMATION STORAGE MEDIUM | |
| JP6919050B1 (en) | Game system, program and information processing method | |
| JP7154258B2 (en) | Program, terminal and game control method |
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20040511 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20040708 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20060320 |