本発明は、プログラム及び画像生成システム等に関する。The present invention relates to a program及 beauty image generation system or the like.
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。 In recent years, game devices capable of performing game operations using a game controller with a built-in motion sensor have been gaining popularity in place of game controllers having conventional operation buttons and direction keys. According to the game device having such an operation interface, an intuitive operation input by the player is possible, and the game operation can be simplified. As a conventional technique of a game apparatus that enables such an intuitive interface, there is a technique disclosed in Patent Document 1, for example.
しかしながら、このようなモーションセンサを内蔵するゲームコントローラでは、プレーヤが手を振る動作については検知できるが、プレーヤが物をつかむ動作を検知することは難しい。 However, in a game controller that incorporates such a motion sensor, it is possible to detect the motion of the player shaking hands, but it is difficult to detect the motion of the player grabbing an object.
また、プレーヤに対応するキャラクタが、相手キャラクタの方に手を伸ばす動作を行った場合に、その手の動作が、単に相手キャラクタに対して手を伸ばしただけなのか、或いは手を伸ばして相手キャラクタをつかむ動作なのかを判定することは容易ではない。 In addition, when the character corresponding to the player performs an action of reaching out to the opponent character, the action of the hand is simply reaching out to the opponent character or reaching out to the opponent character. It is not easy to determine whether the action is to grab a character.
本発明の幾つかの態様によれば、プレーヤのつかみ動作を検出してつかみ動作を反映した画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。 According to some aspects of the present invention, it is possible to provide a program, an information storage medium, an image generation system, and the like that can detect a player's gripping motion and generate an image that reflects the gripping motion.
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、前記つかみ動作の判定結果に基づいて画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。 One aspect of the present invention is an image information acquisition unit that acquires image information from an image sensor, a grip preparation operation determination unit that determines whether a player is performing a grip preparation operation based on the image information, When it is determined that a grasp preparation operation is being performed, image processing is performed on an image corresponding to the hand of the player that is performing the grasp preparation operation, and the player performs the image processing based on the result of the image processing. The present invention relates to an image generation system including a gripping motion determination unit that determines whether or not a gripping operation following a gripping preparation operation is performed, and an image generation unit that generates an image based on the determination result of the gripping motion. The present invention also relates to a program that causes a computer to function as each of the above-described units, or a computer-readable information storage medium that stores the program.
本発明の一態様によれば、プレーヤがつかみ準備動作を行っているか否かが、画像センサからの画像情報に基づき判定される。そしてつかみ準備動作が行われていると判定されると、つかみ準備動作を行っている手についての画像に対して画像処理が行われ、この画像処理により、プレーヤがつかみ動作を行っているか否かが判定され、その判定結果に応じた画像が生成される。このように本発明の一態様によれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。また、プレーヤの動作がそのまま画像に反映するため、プレーヤの仮想現実感等を向上できる。 According to one aspect of the present invention, it is determined based on image information from the image sensor whether or not the player is performing a grip preparation operation. If it is determined that the grasp preparation operation is being performed, image processing is performed on the image of the hand that is performing the grasp preparation operation, and whether or not the player is performing the grasp operation by this image processing. Is determined, and an image corresponding to the determination result is generated. As described above, according to one aspect of the present invention, it is possible to determine the player's grasp preparation operation and the subsequent grasp operation based on the image information from the image sensor. Accordingly, the movement of the player is intuitively reflected in the generated image, and an image that has never been possible can be generated. Further, since the player's operation is directly reflected in the image, the player's virtual reality can be improved.
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。 Further, in one aspect of the present invention, the gripping motion determination unit performs the gripping motion by the player based on information of an image area corresponding to the hand portion of the player that is determined to be performing the gripping preparation motion. It may be determined whether or not.
このようにすれば、プレーヤがつかみ動作を行っているか否かを、つかみ準備動作を行っている手の部分に対応する画像領域の情報を有効利用して判定できるようになる。 In this way, it is possible to determine whether or not the player is performing a grabbing operation by effectively using information on the image area corresponding to the hand portion that is performing the grabbing preparation operation.
また本発明の一態様では、前記つかみ動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。 In the aspect of the invention, the gripping motion determination unit may determine whether the player is performing a gripping motion based on information on the image area in a given period or a given timing. Good.
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。 If the determination is made using the information on the image area in a given period in this way, for example, when the information on the image area changes instantaneously, it is possible to prevent a situation in which it is erroneously determined as a grabbing operation. In addition, if the determination is made using the information of the image area at a given timing, for example, it is possible to determine at that timing whether or not the grabbing operation has succeeded. Provision etc. become possible.
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。 In the aspect of the invention, the gripping motion determination unit may determine whether or not the player is performing a gripping motion based on the area of the image area.
このようにすれば、プレーヤがつかみ動作を行っているか否かを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ動作の判定処理を実現できる
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、前記つかみ動作判定部は、前記カラー画像情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。In this way, whether or not the player is performing a grabbing motion can be realized by image processing for obtaining the area of the image area, and the grabbing motion determination processing can be achieved by simple image processing. In one aspect, the image information acquisition unit acquires, as the image information, color image information in which a color value is set at each pixel position, and the grasping motion determination unit includes the image area of the color image information. Based on the area, it may be determined whether or not the player is performing a grabbing motion.
このようにすれば、画像センサにより得られたカラー画像情報を利用した画像処理により、プレーヤのつかみ動作の判定処理を実現できる。 In this way, determination processing of the player's gripping operation can be realized by image processing using color image information obtained by the image sensor.
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記つかみ動作判定部は、前記デプス情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。 In one aspect of the present invention, the image information acquisition unit acquires depth information in which a depth value is set at each pixel position as the image information, and the grasping motion determination unit includes the image region in the depth information. It may be determined whether or not the player is performing a grabbing motion based on the area.
このようにすれば、画像センサにより得られたデプス情報を利用した画像処理により、プレーヤのつかみ動作の判定処理を実現できる。 In this way, the player's grasping motion determination process can be realized by image processing using depth information obtained by the image sensor.
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。 In the aspect of the invention, the grasping motion determination unit may use a threshold value for determining the area of the image region as distance information between the display unit on which the generated image is displayed and the player. You may change according to.
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。 In this way, even when the distance between the display unit and the player changes, it is possible to realize a gripping motion determination process with high accuracy.
また本発明の一態様では、前記つかみ動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。 In the aspect of the invention, the gripping motion determination unit may determine whether or not the player is performing a gripping motion based on image information of a recognition member worn by the player on a hand.
このようにすれば、認識部材の画像情報を用いてプレーヤのつかみ動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。 In this way, the determination processing of the player's grasping motion can be realized using the image information of the recognition member, so that the accuracy of the determination processing can be improved as compared with the method using only the player's hand image.
また本発明の一態様では、前記認識用部材は、手のひら側が第１の色に設定され、前記つかみ動作判定部は、前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が減少した場合に、前記プレーヤがつかみ動作を行っていると判定してもよい。 In one aspect of the present invention, the recognition member has the palm side set to the first color, and the gripping motion determination unit determines that the player is performing a gripping preparation motion, It may be determined that the player is performing a grabbing operation when the area of the image area of the color of the color decreases.
このようにすれば、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積の減少を検出するという簡素な処理で、プレーヤのつかみ動作の判定処理を実現できるようになる。 In this way, after determining that the player is performing the grip preparation operation, the player can perform the grip motion determination process with a simple process of detecting a decrease in the area of the image area of the first color. become able to.
また本発明の一態様では、前記認識用部材は、手の甲側が第２の色に設定され、前記つかみ動作判定部は、前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、前記第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、前記プレーヤがつかみ動作を行っていると判定してもよい。 In the aspect of the present invention, the recognition member is set to the second color on the back side of the hand, and the gripping motion determination unit determines that the player is performing a gripping preliminary motion after the first motion is performed. When the area of the image area of the second color is smaller than the first determination threshold value and the area of the image area of the second color is smaller than the second determination threshold value, the player grasps It may be determined that the operation is being performed.
このようにすれば、例えば単に手が回転した場合と手がつかみ動作を行った場合とを判別することが可能になり、つかみ動作の判定精度等を向上できる。 In this way, for example, it is possible to discriminate between a case where the hand simply rotates and a case where the hand performs a grasping operation, and the determination accuracy of the grasping operation can be improved.
また本発明の一態様では、前記つかみ動作判定部は、前記第１の判定しきい値及び前記第２の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。 In the aspect of the invention, the gripping motion determination unit may determine the first determination threshold value and the second determination threshold value between the display unit on which the generated image is displayed and the player. It may be changed according to the distance information.
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。 In this way, even when the distance between the display unit and the player changes, it is possible to realize a gripping motion determination process with high accuracy.
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。 In one aspect of the present invention, the grasping motion determination unit determines whether the player is performing a gripping motion by shape recognition processing for image information of the hand portion of the player that is determined to be performing the gripping preparation motion. It may be determined whether or not.
このようにすれば、例えばプレーヤの手のひらが開いている状態から閉じた状態になることを形状認識処理により検出することで、プレーヤのつかみ動作の判定処理を実現できるようになる。 In this way, for example, by detecting that the player's palm is in the closed state from the open state by the shape recognition processing, it is possible to realize the determination processing of the player's gripping motion.
また本発明の一態様では、前記つかみ準備動作判定部は、前記プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定してもよい。 In one aspect of the present invention, the grip preparation movement determination unit determines which of the plurality of first to Nth grip preparation movements (M is an integer equal to or greater than 2). May be determined based on the image information from the image sensor.
このようにすれば、第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行ったかを判定して、その後に続くつかみ動作の判定や、その判定結果による画像を生成できるため、多様なつかみ動作画像の生成が可能になる。 In this way, it is possible to determine which of the first to Nth grasp preparation operations has been performed and to determine the subsequent grasp operation or to generate an image based on the determination result. Various grabbing motion images can be generated.
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ準備動作判定部は、前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定してもよい。 According to another aspect of the present invention, the information acquisition unit includes an information acquisition unit that acquires skeleton information that identifies an action of the player that can be seen from the image sensor based on the image information from the image sensor (the computer functions as the information acquisition unit). And the grip preparation movement determination unit determines, based on the skeleton information of the player, which one of the first to Nth grip preparation movements is being performed. Also good.
このようにすれば、スケルトン情報を有効活用して、第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作をプレーヤが行ったのかを判定できるようになる。 In this way, it becomes possible to determine which of the first to Nth grasp preparation actions the player has performed by using the skeleton information effectively.
また本発明の一態様では、前記つかみ準備動作判定部は、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、前記スケルトン情報の関節位置情報に基づいて判定してもよい。 In the aspect of the present invention, the grip preparation movement determination unit may determine which of the first to Nth grip preparation movements the player is performing in the joint position information of the skeleton information. You may determine based on.
このようにすれば、プレーヤが第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行ったのかを、スケルトン情報の関節位置情報の変化等を検出することで判定できるようになる。 In this way, it is possible to determine which of the first to Nth grip preparation actions the player has performed by detecting a change in joint position information of the skeleton information or the like. .
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ準備動作判定部は、前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤがつかみ準備動作を行っているか否かを判定してもよい。 According to another aspect of the present invention, the information acquisition unit includes an information acquisition unit that acquires skeleton information that identifies an action of the player that can be seen from the image sensor based on the image information from the image sensor (the computer functions as the information acquisition unit). The grip preparation movement determination unit may determine whether or not the player is performing a grip preparation movement based on the skeleton information of the player.
このようにすれば、スケルトン情報を有効活用して、プレーヤのつかみ準備動作の判定処理を実現できるようになる。 In this way, it is possible to realize the determination process of the player's grasp preparation operation by effectively utilizing the skeleton information.
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作を判定するための前記画像処理の処理領域を設定する情報取得部を含んでもよい（情報取得部としてコンピュータを機能させてもよい）。 In one embodiment of the present invention, skeleton information that identifies the player's movement visible from the image sensor is acquired based on the image information from the image sensor, and a grabbing movement is performed based on the acquired skeleton information. An information acquisition unit that sets a processing area of the image processing for determining whether or not the computer is functioning may be included (the computer may function as the information acquisition unit).
このようにすれば、設定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でつかみ動作の判定処理を実現できるようになる。 By doing this, it is only necessary to perform image processing in the set processing region, so that the processing load of the image processing can be reduced, and the grasping motion determination processing can be realized with a small processing load.
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてコンピュータを機能させ）、前記画像生成部は、前記プレーヤがつかみ動作を行っていると判定された場合には、前記キャラクタがつかみ動作を行う画像を生成してもよい。 According to another aspect of the present invention, the image control unit includes a character control unit that controls a character corresponding to the player (the computer functions as the character control unit), and the image generation unit performs the grabbing operation. If determined, an image in which the character performs a grabbing motion may be generated.
このようにすれば、プレーヤがつかみ動作を行うと、それに対応してゲーム空間内のキャラクタもつかみ動作を行うようになるため、プレーヤの仮想現実感を向上できる。 In this way, when the player performs a grabbing motion, a character grabbing motion in the game space is performed correspondingly, so that the player's virtual reality can be improved.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。1. Configuration FIG. 1 shows an example of a block diagram of an image generation system (game device) of the present embodiment. Note that the configuration of the image generation system of the present embodiment is not limited to that shown in FIG. 1, and various modifications may be made such as omitting some of the components (each unit) or adding other components. .
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。 The operation unit 160 is for a player to input operation data, and functions thereof are direction instruction keys, operation buttons, analog sticks, levers, various sensors (such as an angular velocity sensor and an acceleration sensor), a microphone, or a touch panel type. This can be realized with a display.
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。 The operation unit 160 includes an image sensor realized by, for example, a color image sensor or a depth sensor. Note that the function of the operation unit 160 may be realized only by the image sensor.
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。 The storage unit 170 serves as a work area for the processing unit 100, the communication unit 196, and the like, and its function can be realized by a RAM (DRAM, VRAM) or the like. Then, the game program and game data necessary for executing the game program are held in the storage unit 170.
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。 An information storage medium 180 (a computer-readable medium) stores programs, data, and the like, and functions thereof by an optical disk (CD, DVD), HDD (hard disk drive), memory (ROM, etc.), and the like. realizable. The processing unit 100 performs various processes of the present embodiment based on a program (data) stored in the information storage medium 180. That is, in the information storage medium 180, a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit). Is memorized.
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。 The display unit 190 outputs an image generated according to the present embodiment, and its function can be realized by an LCD, an organic EL display, a CRT, a touch panel display, an HMD (head mounted display), or the like. The sound output unit 192 outputs the sound generated by the present embodiment, and its function can be realized by a speaker, headphones, or the like.
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。 The auxiliary storage device 194 (auxiliary memory, secondary memory) is a storage device used to supplement the capacity of the storage unit 170, and can be realized by a memory card such as an SD memory card or a multimedia card.
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。 The communication unit 196 communicates with the outside (for example, another image generation system, a server, or a host device) via a wired or wireless network, and functions as a communication ASIC, a communication processor, or the like. It can be realized by hardware and communication firmware.
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。 Note that a program (data) for causing a computer to function as each unit of the present embodiment is obtained from an information storage medium of a server (host device) via an information storage medium 180 (or storage unit 170, auxiliary storage) via a network and communication unit 196. May be distributed to the device 194). Use of an information storage medium by such a server (host device) can also be included in the scope of the present invention.
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。 The processing unit 100 (processor) performs game processing, image generation processing, sound generation processing, and the like based on operation data from the operation unit 160, a program, and the like. The processing unit 100 performs various processes using the storage unit 170 as a work area. The functions of the processing unit 100 can be realized by hardware such as various processors (CPU, GPU, etc.), ASIC (gate array, etc.), and programs.
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０６、つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９、攻撃演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。 The processing unit 100 includes an image information acquisition unit 102, an information acquisition unit 104, a game calculation unit 106, a grasp preparation operation determination unit 107, a grasp movement determination unit 108, a grasp interlocking operation determination unit 109, an attack calculation unit 110, and an object space setting unit. 112, a character control unit 114, a virtual camera control unit 118, an image generation unit 120, and a sound generation unit 130. The information acquisition unit 104 includes a skeleton information acquisition unit 105, and the character control unit 114 includes a movement processing unit 115 and a motion processing unit 116. Various modifications may be made such as omitting some of these components or adding other components.
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。 The image information acquisition unit 102 acquires image information from the image sensor. For example, information on an image captured by the image sensor is stored in the image information storage unit 171 of the storage unit 170. Specifically, information on the color image captured by the color image sensor of the image sensor is stored in the color image information storage unit 172, and information on the depth image captured by the depth sensor of the image sensor is stored in the depth information storage unit 173. Is done. The image information acquisition unit 102 reads the image information from the image information storage unit 171 to acquire the image information.
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、スケルトン情報を取得する。そして、取得されたスケルトン情報に基づいて、プレーヤの動作を特定する。またスケルトン情報に基づいて、例えば画像処理の処理領域などを設定する。 The information acquisition unit 104 acquires skeleton information based on the image information acquired by the image information acquisition unit 102. Then, the player's action is specified based on the acquired skeleton information. Further, based on the skeleton information, for example, a processing area for image processing is set.
ゲーム演算部１０６はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。 The game calculation unit 106 performs game calculation processing. Here, as a game calculation, a process for starting a game when a game start condition is satisfied, a process for advancing the game, a process for calculating a game result, or a process for ending a game when a game end condition is satisfied and so on.
つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９は、各々、つかみ準備動作、つかみ動作、つかみ連動動作の判定処理を行う。攻撃演算部１１０は、プレーヤに対応するキャラクタの攻撃演算処理を行う。これらの詳細については後述する。 The grip preparation motion determination unit 107, the grip motion determination unit 108, and the grip interlocking motion determination unit 109 perform determination processing of the grip preparation motion, the grip motion, and the grip interlocking motion, respectively. The attack calculation unit 110 performs attack calculation processing for the character corresponding to the player. Details of these will be described later.
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。 The object space setting unit 112 performs an object space setting process in which a plurality of objects are arranged. For example, various objects (polygon, free-form surface or subdivision surface) representing display objects such as characters (people, animals, robots, cars, ships, airplanes, etc.), maps (terrain), buildings, courses (roads), trees, walls, etc. The object is configured to place and set in the object space. In other words, the position and rotation angle of the object in the world coordinate system (synonymous with direction and direction) are determined, and the rotation angle (rotation angle around the X, Y, and Z axes) is determined at that position (X, Y, Z). Arrange objects. Specifically, the object data storage unit 175 of the storage unit 170 stores object data that is data such as the position, rotation angle, moving speed, and moving direction of the object (part object) in association with the object number. . The object space setting unit 112 performs a process of updating the object data for each frame, for example.
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。 The character control unit 114 controls a character that moves (moves) in the object space. For example, the movement processing unit 115 included in the character control unit 114 performs a process of moving a character (model object, moving object). For example, the character is moved in the object space based on operation information input by the player through the operation unit 160, a program (movement algorithm), various data, and the like. Specifically, a simulation process for sequentially obtaining character movement information (position, rotation angle, speed, or acceleration) every frame (for example, 1/60 second) is performed. Note that a frame is a unit of time for performing a movement process, a motion process, and an image generation process.
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。 The motion processing unit 116 included in the character control unit 114 performs motion processing (motion reproduction, motion generation) that causes the character to perform motion (animation). This motion processing can be realized by reproducing the motion of the character based on the motion data stored in the motion data storage unit 176.
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。 Specifically, the motion data storage unit 176 stores the position or rotation angle of each bone (each part object constituting the character) constituting the skeleton of the character (model object) around the three axes of the child bone relative to the parent bone. Motion data including the rotation angle). The model data storage unit 177 stores model data of a model object representing a character. The motion processing unit 116 reads this motion data from the motion data storage unit 176 and moves each bone (part object) constituting the skeleton based on the read motion data (by deforming the skeleton shape). Play the character's motion.
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。 The virtual camera control unit 118 performs control processing of a virtual camera (viewpoint, reference virtual camera) for generating an image that can be seen from a given (arbitrary) viewpoint in the object space. Specifically, processing for controlling the position (X, Y, Z) or rotation angle (rotation angle about the X, Y, Z axis) of the virtual camera (processing for controlling the viewpoint position, the line-of-sight direction or the angle of view) I do.
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。 For example, when a character is photographed from behind using a virtual camera, the position or rotation angle (the direction of the virtual camera) of the virtual camera is controlled so that the virtual camera follows changes in the position or rotation of the character. In this case, the virtual camera can be controlled based on information such as the character position, rotation angle, or speed obtained by the movement processing unit 115. Alternatively, the virtual camera may be controlled to rotate at a predetermined rotation angle or to move along a predetermined movement path. In this case, the virtual camera is controlled based on the virtual camera data for specifying the position (movement path) or rotation angle of the virtual camera.
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。 The image generation unit 120 performs drawing processing based on the results of various processing (game processing and simulation processing) performed by the processing unit 100, thereby generating an image and outputting the image to the display unit 190. Specifically, geometric processing such as coordinate transformation (world coordinate transformation, camera coordinate transformation), clipping processing, perspective transformation, or light source processing is performed. Based on the processing result, drawing data (the position of the vertex of the primitive surface) Coordinates, texture coordinates, color data, normal vector, α value, etc.) are created. Then, based on this drawing data (primitive surface data), the object (one or a plurality of primitive surfaces) after perspective transformation (after geometry processing) is converted into image information in units of pixels such as a drawing buffer 179 (frame buffer, work buffer, etc.). Draw in a buffer that can be stored. Thereby, an image that can be seen from the virtual camera (given viewpoint) in the object space is generated. Note that the rendering process can be realized by a vertex shader process or a pixel shader process.
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。 Note that the image generation unit 120 may generate a so-called stereoscopic image. In this case, the left-eye virtual camera and the right-eye virtual camera are arranged and set using the position of the reference virtual camera and the inter-camera distance. The image generation unit 120 generates a left-eye image that can be seen from the left-eye virtual camera in the object space and a right-eye image that can be seen from the right-eye virtual camera in the object space. Then, using these left-eye image and right-eye image, stereoscopic vision may be realized by an eye separation spectacle method, a naked eye method using a lenticular lens, or the like.
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。 The sound generation unit 130 performs sound processing based on the results of various processes performed by the processing unit 100, generates game sounds such as BGM, sound effects, or sounds, and outputs the game sounds to the sound output unit 192.
そして本実施形態では、画像情報取得部１０２が画像センサからの画像情報を取得すると、つかみ準備動作判定部１０７は、取得された画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。ここで、つかみ準備動作は、プレーヤの手がつかむ動作を行う前に行われる一連の動作であり、つかみ動作の前提となる動作である。具体的には、相手キャラクタやアイテムなどを手でつかむために、プレーヤが腕を伸ばしたり、曲げたり、或いは手首を曲げたりするなどの準備動作である。 In this embodiment, when the image information acquisition unit 102 acquires image information from the image sensor, the grasp preparation operation determination unit 107 determines whether the player is performing a grasp preparation operation based on the acquired image information. Determine. Here, the grip preparation operation is a series of operations performed before the player's hand grasps, and is a premise of the grasp operation. Specifically, in order to grasp the opponent character or item with a hand, the player performs a preparatory operation such as extending an arm, bending, or bending a wrist.
そしてつかみ準備動作判定部１０７により、つかみ準備動作が行われていると判定されると、つかみ動作判定部１０８は、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定する。 When the grip preparation motion determination unit 107 determines that the grip preparation motion is being performed, the grip motion determination unit 108 performs image processing on the image corresponding to the hand of the player performing the grip preparation motion. Do. Then, based on the result of the image processing, it is determined whether or not the player is performing a grasping operation following the grasp preparation operation.
例えば、プレーヤの左手（左腕）がつかみ準備動作（例えば左腕を伸ばしたり曲げる動作）を行っていると判定された場合には、左手に対応する画像（例えば左手を内包する画像領域の画像）に対して画像処理を行う。またプレーヤの右手（右腕）がつかみ準備動作（例えば右腕を伸ばしたり曲げる動作）を行っていると判定された場合には、右手に対応する画像（例えば右手を内包する画像領域の画像）に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤの左手や右手がつかみ動作を行っているか否かを判定する。すると画像生成部１２０は、つかみ動作の判定結果に基づいて画像を生成する。例えばつかみ動作を行っていると判定された場合には、プレーヤに対応するキャラクタ（キャラクタの手）がつかみ動作を行う画像を生成する。 For example, when it is determined that the player's left hand (left arm) is performing a holding preparation operation (for example, an operation to extend or bend the left arm), an image corresponding to the left hand (for example, an image area image including the left hand) is displayed. Then, image processing is performed. Also, if it is determined that the player's right hand (right arm) is performing a holding preparation operation (for example, an operation to extend or bend the right arm), an image corresponding to the right hand (for example, an image area image containing the right hand) Image processing. Then, based on the result of the image processing, it is determined whether or not the player's left hand or right hand is performing a grabbing operation. Then, the image generation unit 120 generates an image based on the determination result of the grasping operation. For example, when it is determined that a grabbing motion is being performed, an image in which the character (character hand) corresponding to the player performs the grabbing motion is generated.
またつかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分に対応する画像領域の情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。具体的には、当該画像領域の面積に基づいて、つかみ動作を行っているか否かを判定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手がつかみ動作を行っているか否かを判定する。 In addition, the gripping motion determination unit 108 determines whether or not the player is performing a gripping motion based on the information on the image area corresponding to the hand portion of the player that is determined to be performing the gripping preparation motion. Specifically, based on the area of the image area, it is determined whether or not a grasping operation is being performed. For example, if it is determined that the player's left hand is performing a grab preparation operation, the area of the image area occupied by the image of the left hand is obtained to determine whether the left hand is performing a grabbing operation. If it is determined that the player's right hand is performing a grab preparation operation, the area of the image area occupied by the right hand image is obtained to determine whether the right hand is performing a grabbing operation.
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ動作判定部１０８は、カラー画像情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。例えば手の色（肌色等）の画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。ここでカラー画像情報は、例えば各画素位置にカラー値が設定された画像情報である。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ動作判定部１０８は、デプス情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば手のデプス値に対応する画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。ここでデプス情報は、各画素位置にデプス値が設定された画像情報である。 When the image information acquisition unit 102 acquires color image information as image information, the grasping motion determination unit 108 determines whether or not the player is performing a grabbing motion based on the area of the image area in the color image information. judge. For example, the area of the image area of the hand color (skin color, etc.) is obtained to determine whether or not the player is performing a grabbing operation. Here, the color image information is image information in which a color value is set at each pixel position, for example. When the image information acquisition unit 102 acquires depth information as image information, the gripping motion determination unit 108 determines whether or not the player is performing a gripping motion based on the area of the image area in the depth information. May be. For example, the area of the image area corresponding to the depth value of the hand is obtained, and it is determined whether or not the player is performing a grabbing operation. Here, the depth information is image information in which a depth value is set at each pixel position.
また、つかみ動作判定部１０８は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。例えば表示部１９０とプレーヤとの距離が近いと判断された場合には、画像領域の面積を判定する際の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、画像領域の面積を判定する際の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、判定しきい値を設定できる。なお、表示部１９０とプレーヤとの距離情報は、表示部１９０とプレーヤとの距離そのものであってもよいし、その距離と同等な情報であってもよい。例えば、プレーヤの代表位置やプレーヤの手の位置でのデプス値を、表示部１９０とプレーヤとの距離情報として、判定しきい値を変化させてもよい。 In addition, the grasping motion determination unit 108 may change the determination threshold for determining the area of the image region according to distance information between the display unit 190 on which the generated image is displayed and the player. For example, when it is determined that the distance between the display unit 190 and the player is close, the determination threshold value for determining the area of the image region is set to a large value. On the other hand, if it is determined that the distance between the display unit 190 and the player is long, the determination threshold for determining the area of the image region is set to a small value. In this way, the determination threshold can be set to an appropriate value according to the distance between the display unit 190 and the player. It should be noted that the distance information between the display unit 190 and the player may be the distance between the display unit 190 and the player itself, or may be information equivalent to the distance. For example, the determination threshold value may be changed using the depth value at the representative position of the player or the position of the player's hand as distance information between the display unit 190 and the player.
なお、つかみ動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ動作を行っているか否かを判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ動作を判定してもよい。 Note that the image area information used when determining the gripping motion is not limited to the area of the image region, and it is determined whether the gripping motion is being performed based on the information of the image region other than the area. May be. For example, the grasping operation may be determined based on the color image information itself or the depth information itself in the image area.
また、つかみ動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ準備動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ動作を行っているか否かを判定する。即ち、画像領域の面積等の情報が瞬間的に変化した場合には、この瞬間的に変化した情報については判定処理の対象にはせずに、所与の期間だけ維持された画像領域の情報を判定処理の対象にする。このようにすれば、ノイズ等により画像領域の情報が瞬間的に変化した場合に、プレーヤがつかみ動作を行っていないのにつかみ動作を行っていると誤判定してしまう事態を防止できるようになる。 Further, when determining the grabbing motion, it is desirable to determine the grabbing motion based on information on the image area in a given period. For example, after it is determined that the holding operation is being performed, it is determined whether or not the holding operation is being performed using information on image areas for a plurality of frames. That is, when the information such as the area of the image area changes instantaneously, the information of the image area maintained only for a given period is not subjected to the determination processing for the information that changed instantaneously. Is the target of the judgment process. In this way, it is possible to prevent a situation in which a player erroneously determines that a grabbing motion is being performed when the information of the image area is instantaneously changed due to noise or the like but the grabbing motion is not being performed. Become.
また、つかみ動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えば、つかみ動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、音楽ゲーム、アクションゲーム、スポーツゲーム等の分野において、これまでにないタイプのゲームを提供することが可能になる。 Further, when determining the gripping motion, it is desirable to determine the gripping motion based on the information of the image area at a given timing. For example, the player is instructed to use the image or sound to determine the timing at which the grasping operation should be performed, and the grasping operation is determined based on the image area information at the instruction timing (given timing). Then, when it is determined from the information of the image area at the instruction timing that the player has succeeded in performing the grabbing operation at the instruction timing, a score is given to the player. By doing in this way, it becomes possible to provide a game of an unprecedented type in fields, such as a music game, an action game, and a sports game.
また、つかみ動作判定部１０８は、プレーヤが手に装着する認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば認識用部材として、後述するような手袋等をプレーヤに装着させる。そして、手袋等の認識用部材のカラー画像情報等に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。 In addition, the gripping motion determination unit 108 may determine whether or not the player is performing a gripping motion based on the image information of the recognition member that the player wears on the hand. For example, the player wears a glove or the like as will be described later as a recognition member. Then, based on the color image information of a recognition member such as a glove, it is determined whether or not the player is performing a grabbing operation.
具体的には、認識用部材の手のひら側を第１の色に設定する。そしてつかみ動作判定部１０８は、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積が減少した場合に、プレーヤがつかみ動作を行っていると判定する。例えばカラー画像情報から、第１の色の画素を抽出し、その画素数等から第１の色の画像領域の面積を求める。そしてこの面積が所定の判定しきい値よりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。 Specifically, the palm side of the recognition member is set to the first color. The gripping motion determination unit 108 determines that the player is performing a gripping motion when the area of the first color image area decreases after it is determined that the player is performing the gripping preliminary motion. For example, the first color pixel is extracted from the color image information, and the area of the first color image region is obtained from the number of pixels. When the area becomes smaller than a predetermined determination threshold value, it is determined that the player is performing a grabbing operation.
また認識用部材の手の甲側を第２の色に設定してもよい。この場合にはつかみ動作判定部１０８は、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、プレーヤがつかみ動作を行っていると判定すればよい。 The back side of the recognition member may be set to the second color. In this case, the gripping motion determination unit 108 determines that the area of the first color image area is smaller than the first determination threshold value after it is determined that the player is performing the gripping preparation motion, and If the area of the image area of the second color is smaller than the second determination threshold value, it may be determined that the player is performing a grabbing operation.
この場合に、つかみ動作判定部１０８は、第１の判定しきい値及び第２の判定しきい値を、表示部１９０とプレーヤとの間の距離情報に応じて変化させてもよい。例えば、表示部１９０とプレーヤとの距離が近いと判断された場合には、第１、第２の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、第１、第２の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、第１、第２の判定しきい値を設定できる。 In this case, the grasping motion determination unit 108 may change the first determination threshold value and the second determination threshold value according to distance information between the display unit 190 and the player. For example, when it is determined that the distance between the display unit 190 and the player is short, the first and second determination thresholds are set to large values. On the other hand, when it is determined that the distance between the display unit 190 and the player is long, the first and second determination threshold values are set to small values. In this way, the first and second determination threshold values can be set to appropriate values according to the distance between the display unit 190 and the player.
なお、つかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば左手がつかみ準備動作を行っていると判定された場合には、つかみ動作判定部１０８は、左手に対応する画像情報に対して形状認識処理を行う。そして形状認識処理により、左手の手のひらが開いた状態（パーの状態）から閉じた状態（グーの状態）に変化したと判断された場合には、左手のつかみ動作が行われたと判定する。また右手がつかみ準備動作を行っていると判定された場合には、つかみ動作判定部１０８は、右手に対応する画像情報に対して形状認識処理を行う。そして形状認識処理により、右手の手のひらが開いた状態から閉じた状態に変化したと判断された場合には、右手のつかみ動作が行われたと判定する。この場合の形状認識処理は、手のひらが開いた状態や閉じた状態での手の形状を表すテンプレート画像を用意し、このテンプレート画像とのマッチング処理を行うことなどで実現できる。 Note that the gripping motion determination unit 108 may determine whether or not the player is performing a gripping motion by performing shape recognition processing on the image information of the hand portion of the player that is determined to be performing the gripping preparation motion. . For example, when it is determined that the left hand is performing a holding preparation operation, the holding operation determination unit 108 performs shape recognition processing on image information corresponding to the left hand. If the shape recognition process determines that the palm of the left hand has changed from an open state (par state) to a closed state (goo state), it is determined that the left hand grasping operation has been performed. If it is determined that the right hand is performing a grip preparation operation, the gripping motion determination unit 108 performs shape recognition processing on the image information corresponding to the right hand. If it is determined by the shape recognition process that the palm of the right hand has changed from the open state to the closed state, it is determined that the right hand grasping operation has been performed. The shape recognition process in this case can be realized by preparing a template image representing the shape of the hand with the palm open or closed, and performing a matching process with this template image.
また、つかみ準備動作判定部１０７は、プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、画像センサからの画像情報に基づいて判定してもよい。例えば腕を下方向から伸ばして相手キャラクタの胸ぐらをつかむためのつかみ準備動作を行っているのか、或いは腕を上方向から伸ばして相手キャラクタの頭部をつかむためのつかみ準備動作を行っているのかを、画像センサからの画像情報に基づいて判定する。 In addition, the grip preparation movement determination unit 107 determines which of the plurality of first to Nth grip preparation movements (M is an integer equal to or greater than 2) is being performed. You may determine based on information. For example, are you preparing to hold the opponent character's chest by extending the arm from below, or are you preparing to hold the opponent character's head by extending the arm from above? Is determined based on image information from the image sensor.
また情報取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見えるプレーヤの動作を特定するスケルトン情報を取得する。この取得されたスケルトン情報はスケルトン情報記憶部１７４に保存される。 In addition, the information acquisition unit 104 acquires skeleton information that identifies the operation of the player as seen from the image sensor based on the image information from the image sensor. The acquired skeleton information is stored in the skeleton information storage unit 174.
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。 Here, the skeleton information is information for specifying, for example, the action of the player as seen from the image sensor. Specifically, this skeleton information has a plurality of joint position information corresponding to a plurality of joints of the player, and each joint position information is constituted by three-dimensional coordinate information. What connects each joint becomes a bone, and a skeleton is formed by connecting a plurality of bones.
そして、つかみ準備動作判定部１０７は、プレーヤのスケルトン情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。また、スケルトン情報に基づいてプレーヤが第１〜第Ｎのつかみ準備動作のいずれのつかみ準備動作を行っているかを判定する。具体的には、プレーヤが第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、スケルトン情報の関節位置情報に基づいて判定する。例えば第１〜第Ｎのつかみ準備動作でのスケルトン情報を表すテンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そしてマッチング処理の評価関数の結果を用いて、プレーヤが第１〜第Ｎのつかみ準備動作のいずれのつかみ準備動作を行っているのかを判定する。この場合のマッチング処理は例えば複数フレームに亘って行ってもよい。 Then, the grab preparation operation determination unit 107 determines whether the player is performing a grab preparation operation based on the player's skeleton information. In addition, it is determined based on the skeleton information which of the first to Nth grasp preparation operations is being performed. Specifically, it is determined based on the joint position information of the skeleton information which of the first to Nth grip preparation actions is being performed. For example, first to Nth reference skeleton information serving as templates representing the skeleton information in the first to Nth grasp preparation operations are prepared. Then, a matching process between the skeleton information of the player detected from the image information and the first to Nth reference skeleton information is performed. Then, by using the result of the evaluation function of the matching process, it is determined which of the first to Nth grasp preparing operations the grasp preparing operation is being performed. The matching process in this case may be performed over a plurality of frames, for example.
また、情報取得部１０４は、このようなスケルトン情報が取得されると、このスケルトン情報に基づいて、つかみ動作を判定するための画像処理の処理領域を設定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて左手の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報（カラー画像情報、デプス情報）に対して画像処理を行って、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて右手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報に対して画像処理を行って、右手がつかみ動作を行っているか否かを判定する。 In addition, when such skeleton information is acquired, the information acquisition unit 104 sets a processing area for image processing for determining a gripping operation based on the skeleton information. For example, when it is determined that the player's left hand is performing a grabbing preparation operation, the information acquisition unit 104 specifies the position of the left hand based on the skeleton information, and an area (screen) of a predetermined size including the specified position. Smaller area) is set as the processing area. Then, the grasping movement determination unit 108 performs image processing on the image information (color image information, depth information) of the set processing area, and determines whether or not the left hand is performing a grasping movement. If it is determined that the player's right hand is performing a grab preparation operation, the information acquisition unit 104 identifies the position of the right hand based on the skeleton information, and processes an area of a predetermined size including the identified position. Set to area. Then, the grasping motion determination unit 108 performs image processing on the image information of the set processing area, and determines whether or not the right hand is performing the gripping motion.
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。 The character control unit 114 controls a character corresponding to the player. Here, the character becomes an object that is actually displayed in the third person viewpoint, but becomes a virtual object that is not displayed on the display unit 190 in the first person viewpoint.
そして画像生成部１２０は、プレーヤがつかみ動作を行っていると判定された場合には、キャラクタがつかみ動作を行う画像を生成する。例えば、キャラクタがつかみ準備動作を行い、その後につかみ動作を行う画像を生成する。この場合のキャラクタの一連の動作は、画像センサからの画像情報により取得されたプレーヤのスケルトン情報を用いてモーション再生することで実現してもよい。 When it is determined that the player is performing a grabbing motion, the image generation unit 120 generates an image in which the character performs the grabbing motion. For example, an image is generated in which the character performs a grabbing preparation operation and then performs the grabbing operation. A series of actions of the character in this case may be realized by performing motion reproduction using the skeleton information of the player acquired from the image information from the image sensor.
また本実施形態では、つかみ連動動作判定部１０９が、プレーヤが、つかみ動作に続くつかみ連動動作を行ったか否かを判定する。例えばつかみ動作判定部１０８は、画像センサからの画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定する。そして、つかみ連動動作判定部１０９は、一方の手がつかみ動作を行っていると判定された場合には、画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。例えばプレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である右手がつかみ連動動作を行っているか否かを判定する。またプレーヤの一方の手である右手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である左手がつかみ連動動作を行っているか否かを判定する。 In the present embodiment, the grasping interlocking operation determination unit 109 determines whether or not the player has performed a grasping interlocking operation following the grasping operation. For example, the gripping motion determination unit 108 determines whether one of the player's right hand and left hand is performing a gripping motion based on image information from the image sensor. Then, when it is determined that one hand is performing a grasping operation, the grasping interlocking operation determining unit 109 determines that the other hand different from the one hand follows the grasping operation based on the image information. It is determined whether or not an interlocking operation is being performed. For example, if it is determined that the left hand, which is one hand of the player, is performing a grabbing motion, the grab interlocking motion determination unit 109 determines whether the right hand, which is the other hand, is performing the grabbing motion. To do. When it is determined that the right hand, which is one hand of the player, is performing a grabbing motion, the grab interlocking motion determination unit 109 determines whether the left hand, which is the other hand, is performing the grabbing motion. To do.
そして画像生成部１２０は、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する。例えばプレーヤに対応するキャラクタがつかみ動作を行った後、それに続くつかみ連動動作を行う画像を生成する。 Then, the image generation unit 120 generates an image based on the determination result of the grasping operation and the grasp interlocking operation. For example, after a character corresponding to the player performs a grabbing motion, an image that performs a grabbing interlocking motion is generated.
ここで、つかみ連動動作（つかみ連携動作）は、つかみ動作の後に、そのつかみ動作に連動（連携）して行われる動作である。例えば、つかみ動作に続いて行われることが予定されている動作であり、つかみ動作に連動（連携）して行われることが予め関連づけられている動作である。このつかみ連動動作としては、例えば攻撃動作（殴る動作、投げる動作等）、撫でる動作、叩く動作、調べる動作、持つ動作、或いは他方の手で更につかむ動作（両手でつかむ動作）などがある。 Here, the grabbing interlocking operation (grasping cooperative operation) is an operation performed in conjunction with (in cooperation with) the grabbing operation after the grabbing operation. For example, it is an operation that is scheduled to be performed following the grasping operation, and an operation that is performed in conjunction with the grasping operation is associated in advance. Examples of the grabbing interlocking operation include an attacking motion (spinning motion, throwing motion, etc.), a stroking motion, a striking motion, a checking motion, a holding motion, or a gripping motion with the other hand (grabbing motion with both hands).
また、つかみ連動動作判定部１０９は、他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、画像センサからの画像情報に基づいて判定する。ここで、第１〜第Ｍのつかみ連動動作は、上述した攻撃動作、撫でる動作、叩く動作、調べる動作、持つ動作、他方の手で更につかむ動作などである。例えばプレーヤの一方の手（例えば左手）が相手キャラクタ等をつかむ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手（例えば右手）が、これらの攻撃動作、撫でる動作、叩く動作等である第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、画像センサからの画像情報に基づいてつかみ連動動作を判定する。そして、第１〜第Ｍのつかみ連動動作のうちの第Ｋのつかみ連動動作（１≦Ｋ≦Ｍ）を行っていると判定された場合には、画像生成部１２０は、プレーヤに対応するキャラクタが、一方の手によるつかみ動作の後に、他方の手による第Ｋのつかみ連動動作を行っている画像を生成する。 Further, the grasping interlocking operation determining unit 109 determines from the image sensor which one of the plurality of first to Mth grasping interlocking operations (M is an integer of 2 or more) is performing the grasping interlocking operation. The determination is made based on the image information. Here, the first to M-th grabbing interlocking operations include the above-described attacking operation, stroking operation, tapping operation, examining operation, holding operation, and further grasping operation with the other hand. For example, when it is determined that one hand (for example, the left hand) of the player is performing an action of grabbing the opponent character or the like, the grasping interlocking movement determination unit 109 determines that the other hand (for example, the right hand) performs these attack actions. It is determined which of the first to M-th grabbing interlocking operations, such as a stroking motion and a hitting motion, is being performed. Specifically, the grasp interlocking operation is determined based on the image information from the image sensor. If it is determined that the Kth grasp interlocking operation (1 ≦ K ≦ M) among the first to Mth grasp interlocking operations is performed, the image generating unit 120 determines that the character corresponding to the player is used. However, after the grasping operation by one hand, an image is generated in which the K-th grasp interlocking operation by the other hand is performed.
この場合に、つかみ連動動作判定部１０９は、他方の手の部分に対応する画像領域の面積に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば、他方の手の部分に対応するカラー画像情報における画像領域の面積、或いは他方の手の部分に対応するデプス情報における画像領域の面積に基づいて、他方の手（他方の腕）が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。この場合に画像領域の面積を判定する際の判定しきい値を、他方の手の部分でのデプス値に基づいて変化させてもよい。 In this case, based on the area of the image area corresponding to the other hand portion, the grasping interlocking operation determining unit 109 performs any grasping interlocking operation among the first to Mth grasp interlocking operations. Determine if you are going. For example, based on the area of the image area in the color image information corresponding to the other hand part or the area of the image area in the depth information corresponding to the other hand part, the other hand (the other arm) is It is determined which of the 1st to Mth grasp interlocking operations is being performed. In this case, the determination threshold value for determining the area of the image region may be changed based on the depth value in the other hand.
またつかみ連動動作判定部１０９は、他方の手の部分の画像情報に対する形状認識処理により、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。或いは他方の手の部分の画像情報における動きベクトル情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。また他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、スケルトン情報に基づいて判定してもよい。具体的にはスケルトン情報の関節位置情報に基づいて判定する。 Further, the grasping interlocking movement determining unit 109 determines which one of the first to Mth grasping interlocking actions is being performed by the shape recognition process for the image information of the other hand part. May be. Alternatively, based on the motion vector information in the image information of the other hand portion, it may be determined which one of the first to M-th grasp interlocking operations is being performed by the other hand. Moreover, you may determine based on skeleton information whether the other hand is performing the holding | grip interlocking | linkage operation | movement among the 1st-Mth holding | grip interlocking movements. Specifically, the determination is made based on the joint position information of the skeleton information.
またつかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。この場合に攻撃演算部１１０は、画像センサからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータ（攻撃力や、相手キャラクタの硬直時間等のパラメータ）を設定する。そして攻撃演算用パラメータに基づいて攻撃演算処理を行う。 Further, the grab interlocking motion determination unit 109 determines whether the other hand is performing an attack motion as the grab interlocking motion based on the image information from the image sensor. In this case, the attack calculation unit 110 sets attack calculation parameters (parameters such as the attack power and the stiffness time of the opponent character) of the attack action by the other hand based on the image information from the image sensor. Then, attack calculation processing is performed based on the attack calculation parameters.
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。2. Next, the method of this embodiment will be described in detail.
２．１ つかみ動作の判定
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。2.1 Determination of Grasping Operation Generally, in a game device, a game operation is performed by operating a button or lever of a game controller. There is also a game apparatus in which a motion controller (six-axis sensor) is provided in the game controller, and a player performs a game operation by moving the game controller itself.
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。 However, such a game device with an operation interface requires a game controller for the game operation, and cannot implement a game operation that directly reflects a gesture such as a player's hand movement. I can not improve one more.
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。 Therefore, in this embodiment, an operation interface that allows a player to input an operation based on image information captured by the image sensor is employed.
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。 For example, in FIG. 2A, an image sensor ISE realized by a depth sensor (infrared sensor or the like) or a color image sensor (RGB sensor such as a CCD or CMOS sensor) is installed at a position corresponding to the display unit 190. The image sensor ISE is installed so that, for example, its imaging direction (optical axis direction) is a direction from the display unit 190 toward the player PL, and color image information of the player PL viewed from the display unit 190 side, Image depth information. The image sensor ISE may be built in the display unit 190 or may be prepared as an external component.
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。 Then, using the image sensor ISE in FIG. 2A, color image information and depth information as shown in FIG. 2B are acquired. For example, with color image information, color information of the player PL and the surrounding landscape can be obtained. On the other hand, in the depth information, the depth values (depth values) of the player PL and the surrounding scenery are obtained as gray scale values, for example. For example, the color image information is image information in which a color value (RGB) is set at each pixel position, and the depth information is image information in which a depth value (depth value) is set at each pixel position. The image sensor ISE may be a sensor in which a depth sensor and a color image sensor are provided separately, or may be a sensor in which a depth sensor and a color image sensor are combined.
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。 Various methods can be assumed as publicly known depth information acquisition methods. For example, by projecting light such as infrared rays from an image sensor ISE (depth sensor), the depth information is obtained by detecting the reflection intensity of the projected light and the time (Time Of Flight) until the projected light returns, The shape of an object such as the player PL viewed from the position of the image sensor ISE is detected. Specifically, the depth information is expressed as grayscale data that becomes brighter for an object close to the image sensor ISE and darker for an object far from the image sensor ISE, for example. The depth information acquisition method can be variously modified. For example, an image sensor such as a CMOS sensor may be used to acquire depth information (distance information to the subject) simultaneously with color image information. . Further, the depth information may be acquired by a distance measuring sensor using ultrasonic waves or the like.
そして本実施形態では、画像センサＩＳＥからの画像情報に基づきプレーヤＰＬがつかみ準備動作を行っていると判定された場合に、つかみ準備動作を行っている手に対応する画像に対して画像処理行い、つかみ準備動作に続くつかみ動作を行っているか否かを判定する。 In this embodiment, when it is determined that the player PL is performing a grip preparation operation based on image information from the image sensor ISE, image processing is performed on an image corresponding to the hand performing the grip preparation operation. Then, it is determined whether or not a grasping operation following the grasp preparation operation is being performed.
例えば図３（Ａ）、図３（Ｂ）では、プレーヤＰＬは、つかみ動作を行うために、左手ＨＤＬを徐々に上げるつかみ準備動作を行っている。この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作のためのつかみ準備動作を行っているか否かを判定する。 For example, in FIG. 3 (A) and FIG. 3 (B), the player PL performs a grip preparation operation that gradually raises the left hand HDL in order to perform the grip operation. In this case, in the present embodiment, image information such as color image information and depth information as shown in FIG. 2B is acquired by the image sensor ISE. Then, based on the acquired image information, it is determined whether or not the player PL is performing a holding preparation operation for the holding operation.
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ準備動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｎのつかみ準備動作に対応する、テンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｎの基準スケルトン情報のうちの第Ｌの基準スケルトン情報（１≦Ｌ≦Ｎ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｌの基準スケルトン情報に対応する第Ｌのつかみ準備動作をプレーヤＰＬが行っていると判定する。 For example, based on color image information and depth information as shown in FIG. 2B, the operation of the player PL is detected to determine whether or not a grasp preparation operation is being performed. Specifically, as will be described later, the player PL's skeleton information is detected based on the depth information of FIG. 2 (B), the movement of the joint in the skeleton information is analyzed, and the player PL performs a grasping preparation operation. It is determined whether or not. For example, first to N-th reference skeleton information serving as templates corresponding to a plurality of first to N-th holding preparation operations considered to be performed by the player PL are prepared. Then, a matching process is performed between the skeleton information of the player PL obtained from the depth information and the first to Nth reference skeleton information. Then, for example, the value of the evaluation function for matching between the Lth reference skeleton information (1 ≦ L ≦ N) of the first to Nth reference skeleton information and the skeleton information of the player PL is equal to or less than a predetermined value. In this case, it is determined that matching has occurred. Then, it is determined that the player PL is performing the Lth grasp preparation operation corresponding to the Lth reference skeleton information.
なお、画像情報に基づくつかみ準備動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。 Note that the determination method of the grasp preparation operation based on the image information is not limited to the method using the skeleton information, and various known operation determination methods can be employed. For example, the matching process may be performed using the color image information or the depth information itself to determine whether or not the player PL is performing a grip preparation operation. Alternatively, for example, only changes in information on joint positions such as wrists and elbows in the skeleton information may be monitored to determine whether or not the player PL is performing a holding operation.
そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行っていると判定された場合には、つかみ準備動作を行っている手の付近の画像に対して画像処理を行う。例えば手の付近の画像領域でのカラー画像情報やデプス情報に対して画像処理を行い、その画像処理の結果に基づいて、プレーヤがつかみ準備動作に続いてつかみ動作を行っているか否かを判定する。 If it is determined that the player PL is performing a grip preparation operation as shown in FIGS. 3A and 3B, an image near the hand performing the grip preparation operation is used. Perform image processing. For example, image processing is performed on color image information and depth information in an image area near the hand, and based on the result of the image processing, it is determined whether or not the player is performing a gripping operation following the gripping preparation operation. To do.
例えば図４（Ａ）、図４（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。図４（Ａ）では、プレーヤＰＬの左手ＨＤＬの手のひらが開いた状態（パーの状態）になっている。一方、図４（Ｂ）では、左手ＨＤＬの手のひらが閉じた状態（グーの状態）になっている。このように、手のひらが開いた状態から閉じた状態に変化した場合には、プレーヤＰＬがつかみ準備動作に続いてつかみ動作を行っていると判定する。 For example, FIGS. 4A and 4B show examples of color image information (depth information) captured by the image sensor ISE. In FIG. 4A, the palm of the left hand HDL of the player PL is in an open state (par state). On the other hand, in FIG. 4B, the palm of the left hand HDL is in a closed state (goo state). As described above, when the palm changes from the open state to the closed state, it is determined that the player PL is performing the grasping operation following the grasp preparation operation.
そして、このようにつかみ動作が行われたと判定されると、例えば図５に示すような画像を生成して表示部１９０に表示する。図５では、プレーヤＰＬに対応するキャラクタの手ＨＬＯＢ（手のオブジェクト）が、相手キャラクタ（ターゲットオブジェクトＴＯＢ）の肩をつかんでいる画像が生成されている。即ち、本実施形態では、プレーヤＰＬの操作により、オブジェクト空間（ゲーム空間）において、プレーヤＰＬに対応するキャラクタを動作させる。この場合のプレーヤＰＬの操作は、例えばプレーヤＰＬの動作を画像センサＩＳＥにより検出することなどにより実現される。そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行った後、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行うと、図５に示すような画像が生成される。 If it is determined that the gripping operation has been performed in this manner, for example, an image as shown in FIG. 5 is generated and displayed on the display unit 190. In FIG. 5, an image is generated in which the hand HLOB (hand object) of the character corresponding to the player PL is grasping the shoulder of the opponent character (target object TOB). That is, in the present embodiment, a character corresponding to the player PL is moved in the object space (game space) by the operation of the player PL. The operation of the player PL in this case is realized, for example, by detecting the operation of the player PL by the image sensor ISE. Then, after the player PL performs a grip preparation operation as shown in FIGS. 3 (A) and 3 (B) and then performs a gripping operation as shown in FIGS. 4 (A) and 4 (B), FIG. An image as shown in FIG. 5 is generated.
なお、図５は、一人称視点の画像の例であるが、三人称視点の画像を生成してもよい。三人称視点の画像では、キャラクタの全身（或いは少なくともキャラクタの頭部）が表示されるのに対して、一人称視点の画像では、キャラクタの全身（頭部）は表示されず、例えば図５に示すようにキャラクタの手などの部位の一部だけが表示される。 FIG. 5 is an example of a first-person viewpoint image, but a third-person viewpoint image may be generated. In the third-person viewpoint image, the whole body of the character (or at least the head of the character) is displayed, whereas in the first-person viewpoint image, the whole body of the character (head) is not displayed. For example, as shown in FIG. Only a part of the character's hand or the like is displayed.
以上の本実施形態の手法によれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づいて判定できる。従って、ゲームコントローラを用いたゲーム操作によっては検出することが難しいプレーヤのつかみ動作を検知して、プレーヤがつかみ動作を行ったか否かを判定できるようになる。従って、プレーヤに対応するキャラクタがゲーム空間（オブジェクト空間）内を移動して、相手キャラクタやアイテム等をつかむことでゲームが進行するようなゲームを実現できる。また、プレーヤは、現実世界と同様なつかみ動作を行うことで、自身に対応するキャラクタもつかみ動作を行うようになる。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。また、プレーヤの動作がそのままゲーム画像に反映するため、プレーヤの仮想現実感を向上できる。 According to the method of the present embodiment described above, the player's grasp preparation operation and the subsequent grasp operation can be determined based on the image information from the image sensor. Therefore, it becomes possible to detect whether or not the player has performed the grasping motion by detecting the grasping motion of the player that is difficult to detect depending on the game operation using the game controller. Therefore, it is possible to realize a game in which the game progresses when the character corresponding to the player moves in the game space (object space) and grabs the opponent character or item. In addition, the player performs a grabbing motion corresponding to the player by performing a grabbing motion similar to that in the real world. Accordingly, the movement of the player is intuitively reflected in the game image, and a game image that has never been possible can be generated. Further, since the player's operation is directly reflected in the game image, the player's virtual reality can be improved.
また本実施形態では、プレーヤがつかみ準備動作を行ったと判定された場合に、つかみ準備動作を行っているプレーヤの手の画像に対して画像処理が行われて、プレーヤがつかみ動作を行っているか否かが判定される。従って、プレーヤのつかみ動作を、適切且つ確実に検出することが可能になる。 In this embodiment, when it is determined that the player has performed the grip preparation operation, whether the player performs the grip operation by performing image processing on the image of the hand of the player who is performing the grip preparation operation. It is determined whether or not. Therefore, it is possible to detect the player's gripping motion appropriately and reliably.
即ち、図４（Ａ）、図４（Ｂ）に示すように、プレーヤの手のひらが開いた状態から閉じた状態に変化したことだけを検知して、つかみ動作を判定してしまうと、つかみ動作ではない動作を誤ってつかみ動作と判定してしまうおそれがある。また、プレーヤの手のひらが開いた状態から閉じた状態に変化したことを検出するつかみ動作検出用の画像処理を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。特に、このようなつかみ動作検出用の画像処理を、全てのフレームにおいて実行すると、処理負荷が過大になってしまう。 That is, as shown in FIGS. 4A and 4B, if the gripping motion is determined by detecting only that the palm of the player has changed from the open state to the closed state, There is a possibility that a non-negative motion is erroneously determined as a grabbing motion. In addition, it is necessary to perform image processing for gripping motion detection that detects that the palm of the player has changed from an open state to a closed state, for example, on an image of the entire screen, which increases the processing load. . In particular, when such image processing for detecting a grasping operation is executed in all frames, the processing load becomes excessive.
この点、本実施形態では、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作が行われたと判定されたことを条件に、図４（Ａ）、図４（Ｂ）で説明したつかみ動作検出用の画像処理が実行される。従って、例えば全てのフレームにおいてつかみ動作検出用の画像処理を実行する必要はなくなるため、処理負荷を軽減できる。また、つかみ動作の判定の前に、つかみ準備動作を判定すれば、つかみ動作検出用の画像処理を行う範囲を限定することが可能になる。例えば左手がつかみ準備動作を行っていると判定された場合には、左手に対応する画像領域の画像に対してだけ、つかみ動作検出用の画像処理を行えば済むようになる。また右手がつかみ準備動作を行っていると判定された場合には、右手に対応する画像領域の画像に対してだけ、つかみ動作検出用の画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減できる。特に、後述するように、スケルトン情報を有効活用して画像処理を行う処理領域を設定すれば、画像処理を行う処理領域を更に限定することが可能になり、画像処理の処理負荷を更に軽減することが可能になる。 In this regard, in the present embodiment, on the condition that it is determined that the grip preparation operation as shown in FIGS. 3 (A) and 3 (B) has been performed, in FIGS. 4 (A) and 4 (B). The image processing for detecting the grasping motion described is executed. Therefore, for example, it is not necessary to execute the image processing for detecting the grabbing motion in every frame, so that the processing load can be reduced. Further, if the grip preparation operation is determined before the determination of the gripping operation, it is possible to limit the range in which image processing for detecting the gripping operation is performed. For example, when it is determined that the left hand is performing a grip preparation operation, it is only necessary to perform image processing for gripping motion detection only for the image in the image area corresponding to the left hand. When it is determined that the right hand is performing the holding preparation operation, only the image processing for detecting the holding operation needs to be performed on the image in the image area corresponding to the right hand. Therefore, the processing load of image processing can be reduced. In particular, as will be described later, if a processing area for performing image processing by effectively utilizing skeleton information is set, it becomes possible to further limit the processing area for performing image processing, further reducing the processing load of image processing. It becomes possible.
２．２ 画像領域の面積に基づく判定処理
次に、図４（Ａ）、図４（Ｂ）のつかみ動作を判定する具体的な手法の例について説明する。例えば本実施形態では、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定している。2.2 Determination Process Based on Area of Image Region Next, an example of a specific method for determining the gripping operation in FIGS. 4 (A) and 4 (B) will be described. For example, in the present embodiment, it is determined whether or not the player is performing a grasping operation based on the area of the image area of the player's hand portion that is determined to be performing the grasping preparation operation.
例えば図６（Ａ）は、プレーヤの手のひらが開いた時の状態（パーの状態）を示し、図６（Ｂ）は、プレーヤの手のひらが閉じた時の状態（グーの状態）を示している。図６（Ａ）、図６（Ｂ）に示すように、プレーヤの手の画像領域の面積Ｓは、図６（Ａ）の手のひらが開いた状態よりも、図６（Ｂ）の手のひらが閉じた状態の方が小さくなる。従って、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも大きい場合には、手のひらが開いた状態であると判定でき、面積ＳがＶＴよりも小さい場合には、手のひらが閉じた状態であると判定できる。 For example, FIG. 6A shows a state when the player's palm is opened (par state), and FIG. 6B shows a state when the player's palm is closed (goo state). . As shown in FIGS. 6 (A) and 6 (B), the area S of the image region of the player's hand is more closed in the palm of FIG. 6B than in the state in which the palm of FIG. 6 (A) is opened. The state is smaller. Therefore, when the area S of the image area of the hand is larger than the determination threshold value VT, it can be determined that the palm is in an open state, and when the area S is smaller than VT, the palm is closed. Can be determined.
従って、図６（Ｃ）に示すように、プレーヤのつかみ準備動作が行われたと判定された後に、対応する手の画像領域の面積Ｓが減少し、面積Ｓが判定しきい値ＶＴよりも小さくなった場合に、プレーヤがつかみ動作を行ったと判定できる。一方、つかみ準備動作が行われたと判定された後、所定時間が経過しても、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも小さくならなかった場合には、つかみ動作は行われなかったと判定できる。 Accordingly, as shown in FIG. 6C, after determining that the player's grasping preparation operation has been performed, the area S of the image region of the corresponding hand decreases, and the area S is smaller than the determination threshold value VT. When it becomes, it can be determined that the player has performed a grabbing operation. On the other hand, if the area S of the image area of the hand does not become smaller than the determination threshold value VT even after a predetermined time has elapsed after it is determined that the grasp preparation operation has been performed, the grasp operation is performed. It can be determined that it was not missed.
なお、面積Ｓは、図２（Ｂ）に示すカラー画像情報における画像領域の面積であってもよいし、デプス情報における画像領域の面積であってもよい。例えばカラー画像情報を用いる場合には、手の色（肌の色）に対応する色相範囲を設定し、カラー画像情報の各画素位置の色が、この色相範囲に入るか否かを判断する。そして色相値が色相範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。またデプス情報を用いる場合には、手のデプス値に対応するデプス範囲を設定し、デプス情報の各画素位置のデプス値が、このデプス範囲に入るか否かを判断する。そしてデプス値がデプス範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。 The area S may be the area of the image area in the color image information shown in FIG. 2B or the area of the image area in the depth information. For example, when color image information is used, a hue range corresponding to the hand color (skin color) is set, and it is determined whether or not the color at each pixel position in the color image information falls within this hue range. Then, the area S may be obtained by calculating the number of pixels whose hue value falls within the hue range. When depth information is used, a depth range corresponding to the depth value of the hand is set, and it is determined whether or not the depth value at each pixel position in the depth information falls within this depth range. Then, the area S may be obtained by calculating the number of pixels whose depth value falls within the depth range.
また、図７（Ａ）に示すように表示部１９０にプレーヤＰＬが近づいた場合と、図７（Ｂ）に示すように表示部１９０からプレーヤＰＬが遠ざかった場合とでは、手の画像領域の面積Ｓは異なった面積になってしまう。例えば図７（Ａ）のように表示部１９０とプレーヤＰＬとの間の距離が短い距離ＬＤＮである場合には、面積Ｓは大きな値になり、図７（Ｂ）のように長い距離ＬＤＦである場合には、面積Ｓは小さな値になる。 In addition, when the player PL approaches the display unit 190 as shown in FIG. 7A and when the player PL moves away from the display unit 190 as shown in FIG. The area S becomes a different area. For example, when the distance between the display unit 190 and the player PL is a short distance LDN as shown in FIG. 7A, the area S is a large value, and as shown in FIG. 7B, a long distance LDF is used. In some cases, the area S is a small value.
そこで本実施形態では、画像領域の面積Ｓを判定する際の判定しきい値ＶＴを、表示部１９０とプレーヤＰＬとの距離情報に応じて変化させる。例えば図７（Ｃ）に示すように、表示部１９０とプレーヤＰＬとの距離Ｌが短い距離ＬＤＮである場合には、判定しきい値ＶＴを大きなしきい値ＶＴＮに設定する。一方、距離Ｌが長い距離ＬＤＦである場合には、判定しきい値ＶＴを小さなしきい値ＶＴＦに設定する。即ち、距離Ｌが長くなるにつれて、判定しきい値ＶＴを小さくする。 Therefore, in the present embodiment, the determination threshold value VT for determining the area S of the image region is changed according to the distance information between the display unit 190 and the player PL. For example, as shown in FIG. 7C, when the distance L between the display unit 190 and the player PL is a short distance LDN, the determination threshold value VT is set to a large threshold value VTN. On the other hand, when the distance L is the long distance LDF, the determination threshold value VT is set to a small threshold value VTF. That is, the determination threshold value VT is reduced as the distance L increases.
このようにすることで、図７（Ａ）のように表示部１９０にプレーヤＰＬが近づいた場合にも、図７（Ｂ）のように遠ざかった場合にも、適切な判定しきい値ＶＴを用いて、画像領域の面積Ｓを判定できるようになる。従って、面積Ｓに基づくつかみ動作の判定処理の精度を向上できる。 In this way, even when the player PL approaches the display unit 190 as shown in FIG. 7A, or when the player PL moves away as shown in FIG. 7B, an appropriate determination threshold value VT is set. By using this, the area S of the image region can be determined. Therefore, it is possible to improve the accuracy of the grasping motion determination process based on the area S.
なお図７（Ｃ）では、表示部１９０とプレーヤＰＬとの距離Ｌそのものを用いて、判定しきい値ＶＴを設定しているが、本実施形態はこれに限定されない。例えば、キャラクタＣＨやキャラクタＣＨの手ＨＤＬのデプス値により、判定しきい値ＶＴを設定してもよい。この場合には、このデプス値が、表示部１９０とプレーヤＰＬの距離を表す距離情報に相当することになる。 In FIG. 7C, the determination threshold value VT is set using the distance L itself between the display unit 190 and the player PL, but the present embodiment is not limited to this. For example, the determination threshold value VT may be set according to the depth value of the character CH or the hand HDL of the character CH. In this case, the depth value corresponds to distance information indicating the distance between the display unit 190 and the player PL.
また画像処理の精度や正確性を高めるためには、プレーヤに、つかみ動作の判定のための認識用部材を装着させ、その認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定することが望ましい。 Also, in order to improve the accuracy and accuracy of image processing, whether or not the player carries a grasping operation based on the image information of the recognition member by attaching a recognition member for determination of the grasping operation. It is desirable to determine whether or not.
例えば図８（Ａ）、図８（Ｂ）に、このような認識用部材の一例である手袋ＥＴＨを示す。図８（Ａ）に示すように、この手袋ＥＴＨ（広義には認識用部材）は、その手のひら側が赤（広義には第１の色）に設定されている。また図８（Ｂ）に示すように、その手の甲側が青（広義には第２の色）に設定されている。このように、手のひらと手の甲とで色を異ならせることで、プレーヤが手のひらの方を表示部１９０に向けているのか手の甲の方を向けているのかを、容易に判定できるようになる。 For example, FIGS. 8A and 8B show a glove ETH which is an example of such a recognition member. As shown in FIG. 8A, the glove ETH (recognition member in a broad sense) has its palm side set to red (first color in a broad sense). As shown in FIG. 8B, the back side of the hand is set to blue (second color in a broad sense). Thus, by making the colors different between the palm and the back of the hand, it is possible to easily determine whether the player is pointing the palm toward the display unit 190 or the back of the hand.
そして図９（Ａ）は、手袋ＥＴＨを装着した手のひらが開いた状態（パーの状態）を示している。この場合には、手の画像領域の大部分において、手袋ＥＴＨの手のひら側の色である赤が占めるようになる。一方、図９（Ｂ）は、手袋ＥＴＨを装着した手のひらが閉じた状態（グーの状態）を示している。この場合には、手の画像領域の第１の領域では、手のひら側の色である赤が占め、第２の領域では、手の甲側の色である青が占めるようになる。 FIG. 9A shows a state where the palm with the glove ETH is opened (par state). In this case, red, which is the color of the palm side of the glove ETH, occupies most of the image area of the hand. On the other hand, FIG. 9B shows a state where the palm on which the gloves ETH are worn is closed (goo state). In this case, red, which is the color on the palm side, occupies the first area of the image area of the hand, and blue, which is the color on the back side of the hand, occupies the second area.
そこで本実施形態では、図９（Ｃ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、手のひら側の色である赤（第１の色）の画像領域の面積ＳＲが減少した場合に、プレーヤがつかみ動作を行っていると判定する。具体的には、赤の色の面積ＳＲが、判定しきい値ＶＴＲよりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。 Therefore, in this embodiment, as shown in FIG. 9C, after it is determined that the player's hand is performing a grab preparation operation, an image region of red (first color) which is the color of the palm side is displayed. When the area SR decreases, it is determined that the player is performing a grabbing operation. Specifically, when the red color area SR is smaller than the determination threshold value VTR, it is determined that the player is performing a grabbing operation.
なお図９（Ｄ）に示すように、手の甲側の色である青（第２の色）の画像領域の面積ＳＢが増加した場合に、プレーヤがつかみ動作を行っていると判定してもよい。具体的には、青の色の面積ＳＢが、判定しきい値ＶＴＢよりも大きくなった場合に、プレーヤがつかみ動作を行っていると判定する。 As shown in FIG. 9D, when the area SB of the blue (second color) image area which is the color on the back side of the hand increases, it may be determined that the player is performing a grabbing operation. . Specifically, when the area SB of the blue color is larger than the determination threshold value VTB, it is determined that the player is performing a grabbing operation.
さて、図９（Ａ）〜図９（Ｄ）で説明した判定手法では、以下に説明する問題が生じるおそれがある。 Now, with the determination method described with reference to FIGS. 9A to 9D, there may be a problem described below.
例えばプレーヤの手が図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）のように回転した場合を考える。図１０（Ａ）では、手のひら側が表示部１９０（画像センサ）の方に向いており、その後の図１０（Ｂ）では、例えば手の親指側が表示部１９０の方に向いている。また、その後の図１０（Ｃ）では、手の甲側が表示部１９０の方に向いている。 For example, consider the case where the player's hand rotates as shown in FIGS. 10 (A), 10 (B), and 10 (C). 10A, the palm side is directed toward the display unit 190 (image sensor), and in FIG. 10B thereafter, for example, the thumb side of the hand is directed toward the display unit 190. Further, in FIG. 10C thereafter, the back side of the hand faces the display unit 190.
そして図１０（Ａ）から図１０（Ｂ）に変化した時に、赤の面積ＳＲは減少する。従って、このような手の回転により図９（Ｃ）のように赤の面積ＳＲが判定しきい値ＶＴＲよりも小さくなってしまうと、誤判定が生じる。即ち、図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合においても、図９（Ａ）、図９（Ｂ）に示すつかみ動作が行われていると誤判定してしまう。図９（Ｄ）に示すように青の面積ＳＢの増加を検出した場合にも、同様の誤判定が生じる。 When changing from FIG. 10A to FIG. 10B, the red area SR decreases. Therefore, if the red area SR becomes smaller than the determination threshold value VTR as shown in FIG. That is, even when the hand rotates as shown in FIGS. 10A to 10C, it is erroneously determined that the gripping operation shown in FIGS. 9A and 9B is being performed. . A similar erroneous determination occurs when an increase in the blue area SB is detected as shown in FIG.
そこで本実施形態では図１１（Ａ）、図１１（Ｂ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、赤（第１の色）の画像領域ＳＢの面積が第１の判定しきい値ＶＴＲよりも小さくなり、且つ、青（第２の色）の画像領域の面積ＳＢが第２の判定しきい値ＶＴＢ２よりも小さい場合に、プレーヤがつかみ動作を行っていると判定する。このようにすれば図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合と、図９（Ａ）、図９（Ｂ）に示すようにつかみ動作が行われた場合とを、区別して判定することが可能になる。 Therefore, in the present embodiment, as shown in FIGS. 11A and 11B, after it is determined that the player's hand is performing the holding operation, the red (first color) image area SB is displayed. When the area is smaller than the first determination threshold value VTR and the area SB of the blue (second color) image area is smaller than the second determination threshold value VTB2, the player performs a grabbing operation. Determine that you are doing. In this way, the case where the hand rotates as shown in FIGS. 10A to 10C and the case where the gripping operation is performed as shown in FIGS. 9A and 9B are performed. , It becomes possible to distinguish and determine.
即ち図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合には、図１１（Ａ）に示すように赤の面積ＳＲは減少するが、図１１（Ｃ）に示すように、青の面積ＳＢも第２の判定しきい値ＶＴＢ２を超えるようになる。従って、赤の面積ＳＲが減少し、且つ、青の面積ＳＢが第２の判定しきい値ＶＴＢ２を超えないことを検出すれば、図９（Ａ）、図９（Ｂ）のつかみ動作を、誤判定が生じることなく判定することが可能になる。 That is, when the hand rotates as shown in FIGS. 10A to 10C, the red area SR decreases as shown in FIG. 11A, but as shown in FIG. 11C. The blue area SB also exceeds the second determination threshold value VTB2. Therefore, if it is detected that the red area SR decreases and the blue area SB does not exceed the second determination threshold value VTB2, the grasping operation of FIGS. 9A and 9B is performed. It is possible to make a determination without erroneous determination.
なお図１１（Ａ）、図１１（Ｂ）の第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２についても、図７（Ｃ）の場合と同様に、表示部１９０とプレーヤとの間の距離情報に応じて変化させることが望ましい。即ち、表示部１９０とプレーヤとの距離Ｌが長くなるにつれて、第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２を小さくする。 Note that the first determination threshold value VTR and the second determination threshold value VTB2 in FIGS. 11A and 11B are similar to those in the case of FIG. It is desirable to change according to the distance information between. That is, as the distance L between the display unit 190 and the player becomes longer, the first determination threshold value VTR and the second determination threshold value VTB2 are decreased.
このようにすれば、表示部１９０とプレーヤとの間の距離が変化した場合にも、適切な判定しきい値ＶＴＲ、ＶＴＢ２を用いて、画像領域の面積ＳＲ、ＳＢを判定できるようになり、つかみ動作の判定処理の精度を向上できる。 In this way, even when the distance between the display unit 190 and the player changes, the areas SR and SB of the image region can be determined using the appropriate determination threshold values VTR and VTB2. The accuracy of the grasping motion determination process can be improved.
なお、認識用部材である手袋の色の設定は図８（Ａ）、図８（Ｂ）のような設定に限定されず、種々の変形実施が可能である。また色自体ではなくて、手袋に描かれた模様等の特定のパターンの画像情報に基づいて、プレーヤのつかみ動作を判定してもよい。また、認識用部材は手袋には限定されない。例えばプレーヤの指に装着した指輪等を認識用部材とし、その指輪等の画像情報に基づいて、プレーヤのつかみ動作を判定してもよい。 In addition, the setting of the color of the glove which is a recognition member is not limited to a setting like FIG. 8 (A) and FIG. 8 (B), A various deformation | transformation implementation is possible. Also, the player's gripping action may be determined based on image information of a specific pattern such as a pattern drawn on a glove instead of the color itself. The recognition member is not limited to a glove. For example, a ring attached to the player's finger may be used as a recognition member, and the player's gripping motion may be determined based on image information of the ring.
また、手の形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。具体的には、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理を行うことで、プレーヤがつかみ動作を行っているか否かを判定する。例えば画像認識された手の形状が、図６（Ａ）の形状から図６（Ｂ）の形状に変化した場合に、プレーヤがつかみ動作を行っていると判定する。この場合の形状認識処理としては、公知の様々な画像認識処理を採用できる。 Further, it may be determined whether or not the player is performing a grabbing operation by hand shape recognition processing. Specifically, it is determined whether or not the player is performing a grasping operation by performing shape recognition processing on the image information of the part of the player's hand that is determined to be performing the grasping operation. For example, when the image-recognized hand shape changes from the shape shown in FIG. 6A to the shape shown in FIG. 6B, it is determined that the player is performing a grabbing operation. Various known image recognition processes can be employed as the shape recognition process in this case.
２．３ つかみ準備動作の判定
さて、プレーヤのつかみ準備動作やつかみ動作としては種々の動作が考えられる。例えば図１２（Ａ）では、プレーヤＰＬは、左腕を伸ばしながら左手ＨＤＬを下から上に上げるつかみ準備動作を行っている。そして、この場合には、図１３（Ａ）に示すように、ゲーム空間内のキャラクタは、例えば相手キャラクタ（ターゲットオブジェクトＴＯＢ）の胸ぐらを左手ＨＬＯＢでつかむ動作を行う。2.3 Determination of Grasp Preparation Operation Now, various operations are conceivable as the player's grip preparation operation and grip operation. For example, in FIG. 12A, the player PL is performing a holding preparation operation for raising the left hand HDL from the bottom up while extending the left arm. In this case, as shown in FIG. 13A, the character in the game space performs an operation of grasping the chest of the opponent character (target object TOB) with the left hand HLOB, for example.
一方、図１２（Ｂ）では、プレーヤＰＬは、左腕を伸ばしながら左手ＨＤＬを上から下に下げるつかみ準備動作を行っている。そして、この場合には、図１３（Ｂ）に示すように、ゲーム空間内のキャラクタは、例えば相手キャラクタの頭部を左手ＨＬＯＢでつかむ動作を行う。 On the other hand, in FIG. 12B, the player PL performs a holding preparation operation for lowering the left hand HDL from the top to the bottom while extending the left arm. In this case, as shown in FIG. 13B, the character in the game space performs, for example, an action of grasping the head of the opponent character with the left hand HLOB.
このように、プレーヤＰＬが行うつかみ準備動作としては、複数のつかみ準備動作（第１〜第Ｎのつかみ準備動作）を想定できる。例えば図１２（Ａ）、図１２（Ｂ）に示すような異なる形態のつかみ準備動作である。 As described above, a plurality of grasp preparation operations (first to Nth grasp preparation operations) can be assumed as the grasp preparation operations performed by the player PL. For example, different types of gripping preparation operations as shown in FIGS. 12A and 12B are possible.
そこで本実施形態では、このような複数のつかみ準備動作のうちのいずれのつかみ準備動作をプレーヤＰＬが行っているかを、画像センサＩＳＥからの画像情報に基づいて判定する。即ち、図１２（Ａ）に示すようなつかみ準備動作が行われたのか、図１２（Ｂ）に示すようなつかみ準備動作が行われたのかを、プレーヤＰＬを撮像する画像センサＩＳＥからの画像情報に基づき判定する。 Therefore, in the present embodiment, it is determined based on the image information from the image sensor ISE which of the plurality of grip preparation operations is being performed by the player PL. That is, an image from the image sensor ISE that captures the player PL indicates whether the grasp preparation operation as shown in FIG. 12A or the grasp preparation operation as shown in FIG. Judge based on information.
このようにすれば、例えば図１２（Ａ）のつかみ準備動作が行われた場合には、このつかみ準備動作に関連づけられたつかみ動作をキャラクタに行わせることで、図１３（Ａ）に示すような画像を生成できるようになる。また図１２（Ｂ）のつかみ準備動作が行われた場合には、このつかみ準備動作に関連づけられたつかみ動作をキャラクタに行わせることで、図１３（Ｂ）に示すような画像を生成できるようになる。 In this way, for example, when the grasp preparation operation of FIG. 12A is performed, the character performs the grasp operation associated with the grasp preparation operation as shown in FIG. 13A. It becomes possible to generate a simple image. In addition, when the grasp preparation operation shown in FIG. 12B is performed, the image shown in FIG. 13B can be generated by causing the character to perform the grasp operation associated with the grasp preparation operation. become.
従って、プレーヤＰＬの動きに応じて、様々なつかみ動作画像が生成されるようになり、生成される画像の多様性を増すことができる。また、プレーヤＰＬの動きに忠実なつかみ動作画像を生成できるため、プレーヤＰＬの仮想現実感を向上できる。 Accordingly, various grabbing motion images are generated according to the movement of the player PL, and the diversity of the generated images can be increased. Further, since it is possible to generate a grasping motion image that is faithful to the movement of the player PL, it is possible to improve the virtual reality of the player PL.
この場合に本実施形態では、プレーヤＰＬがつかみ準備動作を行っているか否かを、プレーヤＰＬのスケルトン情報に基づいて判定してもよい。例えば、図１２（Ａ）、図１２（Ｂ）で説明したような複数のつかみ準備動作（第１〜第Ｎのつかみ準備動作）のいずれのつかみ準備動作を行っているかを、プレーヤＰＬのスケルトン情報に基づいて判定する。 In this case, in the present embodiment, whether or not the player PL is performing a holding operation may be determined based on the skeleton information of the player PL. For example, the skeleton of the player PL indicates which of the plurality of grip preparation operations (first to Nth grip preparation operations) described in FIGS. 12A and 12B is being performed. Determine based on information.
即ち本実施形態では図１４に示すように、図２（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図１４ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。 That is, in this embodiment, as shown in FIG. 14, skeleton information for specifying the operation of the player PL is acquired based on the image information such as the depth information in FIG. In FIG. 14, position information (three-dimensional coordinates) of the skeleton joints C0 to C19 is acquired as the skeleton information. These joints C0 to C10 correspond to the joints of the player PL reflected on the image sensor ISE. When the whole body of the player PL is not reflected on the image sensor ISE, skeleton information having position information on joints only for the reflected portion may be generated.
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１４に示すようなスケルトン情報を取得する。 For example, if the depth information in FIG. 2B is used, the three-dimensional shape of the player PL or the like viewed from the image sensor ISE side can be specified. Further, by combining color image information, a region of a part such as the face of the player PL can be specified by face image recognition or the like. Therefore, each part of the player PL is estimated based on the information on the three-dimensional shape and the joint position of each part is estimated. Then, based on the two-dimensional coordinates of the pixel position of the depth information corresponding to the estimated joint position and the depth information set to the pixel position, the three-dimensional coordinate information of the joint position of the skeleton is obtained, as shown in FIG. Get skeleton information.
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタを動作させることも可能になる。 By using such skeleton information, the operation of the player PL gesture and the like can be specified in real time, and an unprecedented operation interface environment can be realized. Further, this skeleton information has a high affinity with the motion data of the character arranged in the object space. Therefore, it is possible to move the character in the object space using this skeleton information as, for example, motion data.
そして本実施形態では、プレーヤＰＬのつかみ準備動作を、図１４のスケルトン情報を用いて判断する。 In the present embodiment, the grasp preparation operation of the player PL is determined using the skeleton information of FIG.
例えば図１５（Ａ）は、図１２（Ａ）のようなつかみ準備動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。一方、図１５（Ｂ）は、図１２（Ｂ）のようなつかみ準備動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。 For example, FIG. 15A shows an example of skeleton information obtained by capturing an image of the player PL performing the holding preparation operation as shown in FIG. On the other hand, FIG. 15B is an example of skeleton information obtained by capturing an image of the player PL performing the holding preparation operation as shown in FIG. 12B with the image sensor ISE.
図１５（Ａ）、図１５（Ｂ）に示すように、スケルトン情報の関節位置Ｃ０〜Ｃ１９の情報を用いることで、プレーヤＰＬが、図１２（Ａ）、図１２（Ｂ）のいずれのつかみ準備動作を行ったのかを判定できる。 As shown in FIGS. 15A and 15B, the player PL can grasp either of FIGS. 12A and 12B by using the information on the joint positions C0 to C19 of the skeleton information. It is possible to determine whether the preparatory operation has been performed.
例えば図１２（Ａ）の左手ＨＤＬに対応する図１５（Ａ）の関節Ｃ１１、Ｃ１０の位置の変化を検出することで、左腕を伸ばしながら左手ＨＤＬを下から上に上げる図１２（Ａ）のつかみ準備動作を判別できる。また図１２（Ｂ）の左手ＨＤＬに対応する図１５（Ｂ）の関節Ｃ１１、Ｃ１０の位置の変化を検出することで、左腕を伸ばしながら左手ＨＤＬを上から下に下げる図１２（Ｂ）のつかみ準備動作を判別できる。 For example, by detecting a change in position of the joints C11 and C10 in FIG. 15A corresponding to the left hand HDL in FIG. 12A, the left hand HDL is raised from the bottom to the top while extending the left arm. Grasp preparation operation can be determined. Further, by detecting a change in the positions of the joints C11 and C10 in FIG. 15B corresponding to the left hand HDL in FIG. 12B, the left hand HDL is lowered from the top to the bottom while extending the left arm. Grasp preparation operation can be determined.
そして図１５（Ａ）に示すようなスケルトン情報が検出された場合には、図１２（Ａ）のつかみ準備動作に対応するつかみ動作の画像として、図１３（Ａ）に示すような画像を生成する。また図１５（Ｂ）に示すようなスケルトン情報が検出された場合には、図１２（Ｂ）のつかみ準備動作に対応するつかみ動作の画像として、図１３（Ｂ）に示すような画像を生成する。 When the skeleton information as shown in FIG. 15A is detected, an image as shown in FIG. 13A is generated as an image of the holding operation corresponding to the holding preparation operation shown in FIG. To do. In addition, when skeleton information as shown in FIG. 15B is detected, an image as shown in FIG. 13B is generated as an image of the holding operation corresponding to the holding preparation operation shown in FIG. To do.
このように、デプス情報から得られるスケルトン情報を用いて、つかみ準備動作を判定すれば、より正確で適切な判定処理を実現できる。また例えばキャラクタのモーションを再生するために使用されるスケルトン情報を有効活用して、つかみ準備動作の判定処理を実現できるようになる。 In this way, more accurate and appropriate determination processing can be realized by determining the grip preparation operation using the skeleton information obtained from the depth information. In addition, for example, the skeleton information used for reproducing the motion of the character can be effectively used to realize the determination process of the grasp preparation action.
また本実施形態では、図１４に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を設定してもよい。 In the present embodiment, a processing area for image processing may be set using skeleton information acquired as shown in FIG.
例えば図１２（Ａ）、図１２（Ｂ）に示すようなつかみ準備動作が行われたことが、図１５（Ａ）、図１５（Ｂ）に示すスケルトン情報に基づいて判定されたとする。この場合には、つかみ準備動作を行っている手が左手ＨＤＬであることが、スケルトン情報に基づき判別されている。従って、この場合には、図１６（Ａ）、図１６（Ｂ）に示すように、プレーヤＰＬの左手ＨＤＬに対応する関節Ｃ１１、Ｃ１０の位置を含む画像領域を、画像処理の処理領域ＲＰＣに設定する。そして、設定された処理領域ＲＰＣでのデプス情報やカラー画像情報に対して、つかみ動作の判定のための画像処理を行う。 For example, it is assumed that it is determined based on the skeleton information shown in FIGS. 15A and 15B that the grip preparation operation as shown in FIGS. 12A and 12B has been performed. In this case, it is determined based on the skeleton information that the hand performing the grip preparation operation is the left hand HDL. Therefore, in this case, as shown in FIGS. 16A and 16B, the image area including the positions of the joints C11 and C10 corresponding to the left hand HDL of the player PL is set as the processing area RPC of the image processing. Set. Then, image processing for determining the gripping operation is performed on the depth information and color image information in the set processing region RPC.
例えば、図４（Ａ）、図４（Ｂ）に示すつかみ動作を判定する際に、設定された処理領域ＲＰＣでのカラー画像情報やデプス情報に対して画像処理を行う。具体的には、この処理領域ＲＰＣにおいて、図６（Ａ）〜図１１（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣにおいて、つかみ動作を判定するための手の形状認識処理を行う。 For example, when the gripping operation shown in FIGS. 4A and 4B is determined, image processing is performed on color image information and depth information in the set processing region RPC. Specifically, image processing for determining the area of the image region as described with reference to FIGS. 6A to 11C is performed in the processing region RPC. Alternatively, a hand shape recognition process is performed in this processing area RPC to determine the gripping motion.
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣにおいて画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で、つかみ動作の判定のための画像処理を実行できるようになる。 In this way, it is not necessary to perform image processing in all areas, and image processing can be performed in a processing area RPC smaller than the screen size. Therefore, the processing load of image processing can be reduced, and image processing for determination of the gripping operation can be executed with a small processing load.
２．４ 詳細な処理例
次に本実施形態の詳細な処理例について図１７〜図１９のフローチャートを用いて説明する。図１７は、本実施形態の全体的な処理を示すフローチャートである。2.4 Detailed Processing Example Next, a detailed processing example of the present embodiment will be described with reference to flowcharts of FIGS. FIG. 17 is a flowchart showing the overall processing of this embodiment.
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサからの画像情報を取得する（ステップＳ１）。そして、取得された画像情報に基づいて、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作をプレーヤが行っているか否かを判定する（ステップＳ２）。 First, as described in FIG. 2A and FIG. 2B, image information from the image sensor is acquired (step S1). Then, based on the acquired image information, it is determined whether or not the player is performing a grip preparation operation as shown in FIGS. 3A and 3B (step S2).
そして、つかみ準備動作を行っていると判定された場合には（ステップＳ３）、つかみ準備動作を行っている手に対応する画像に対する画像処理を行って、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作をプレーヤが行っているか否かを判定する（ステップＳ４）。そして、つかみ動作を行っていると判定された場合には（ステップＳ５）、図５に示すように、プレーヤに対応するキャラクタがつかみ動作を行う画像を生成する（ステップＳ６）。 If it is determined that the holding operation is being performed (step S3), image processing is performed on the image corresponding to the hand that is performing the holding operation, and FIGS. 4A and 4B are performed. It is determined whether or not the player is performing a grabbing motion as shown in FIG. If it is determined that the grabbing motion is being performed (step S5), an image in which the character corresponding to the player performs the grabbing motion is generated as shown in FIG. 5 (step S6).
図１８は、プレーヤのスケルトン情報を用いて、プレーヤがつかみ準備動作やつかみ動作を行っているか否かを判定する処理のフローチャートである。 FIG. 18 is a flowchart of processing for determining whether or not the player is performing a grip preparation operation or a gripping operation using the skeleton information of the player.
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサによりカラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１１）。次に、取得されたデプス情報等を用いて、図１４で説明したプレーヤのスケルトン情報を求める（ステップＳ１２）。そして、求められたスケルトン情報に基づいて、図１５（Ａ）、図１５（Ｂ）で説明したように、プレーヤがつかみ準備動作を行っているか否かを判定する（ステップＳ１３）。 First, as described in FIGS. 2A and 2B, image information such as color image information and depth information is acquired by the image sensor (step S11). Next, the player's skeleton information described with reference to FIG. 14 is obtained using the acquired depth information and the like (step S12). Then, based on the obtained skeleton information, as described with reference to FIGS. 15A and 15B, it is determined whether or not the player is performing a grip preparation operation (step S13).
そして、つかみ準備動作を行っていると判定された場合には（ステップＳ１４）、図１６（Ａ）、図１６（Ｂ）で説明したように、スケルトン情報に基づき、つかみ準備動作を行っている手の位置を特定し、特定された位置を含む画像領域を、画像処理の処理領域に設定する（ステップＳ１５）。次に、設定された処理領域での画像情報に基づき画像処理を行って、プレーヤがつかみ動作を行っているか否かを判定する（ステップＳ１６）。 If it is determined that the grip preparation operation is being performed (step S14), the grip preparation operation is performed based on the skeleton information as described with reference to FIGS. 16A and 16B. The position of the hand is specified, and an image area including the specified position is set as a processing area for image processing (step S15). Next, image processing is performed based on the image information in the set processing area, and it is determined whether or not the player is performing a grabbing operation (step S16).
そして、つかみ動作を行っていると判定された場合には（ステップＳ１７）、図５に示すように、プレーヤに対応するキャラクタがつかみ動作を行う画像を生成する（ステップＳ１８）。 If it is determined that the grabbing motion is being performed (step S17), as shown in FIG. 5, an image in which the character corresponding to the player performs the grabbing motion is generated (step S18).
図１９は、画像領域の面積に基づく判定処理のフローチャートである。 FIG. 19 is a flowchart of the determination process based on the area of the image region.
まず、図８（Ａ）〜図９（Ｄ）で説明したように、つかみ準備動作を行っている手の部分に対応する第１の色（例えば赤）の画像領域の面積ＳＲを求める（ステップＳ２１）。また、つかみ準備動作を行っている手の部分に対応する第２の色（例えば青）の画像領域の面積ＳＢを求める（ステップＳ２２）。 First, as described with reference to FIGS. 8A to 9D, the area SR of the image region of the first color (for example, red) corresponding to the hand portion that is performing the grip preparation operation is determined (step). S21). Further, the area SB of the image area of the second color (for example, blue) corresponding to the hand portion that is performing the holding preparation operation is obtained (step S22).
次に、図１１（Ａ）で説明したように、第１の色の画像領域の面積ＳＲと第１の判定しきい値ＶＴＲとの間に、ＳＲ＜ＶＴＲの関係が成り立つか否かを判定する（ステップＳ２３）。そしてＳＲ＜ＶＴＲである場合には、第２の色の画像領域の面積ＳＲと第２の判定しきい値ＶＴＢ２との間に、ＳＢ＜ＶＴＢ２の関係が成り立つか否かを判定する（ステップＳ２４）。そして、ＳＲ＜ＶＴＲ、且つ、ＳＢ＜ＶＴＢ２である場合には、プレーヤがつかみ動作を行っていると判断する（ステップＳ２５）。 Next, as described with reference to FIG. 11A, it is determined whether or not a relationship of SR <VTR is established between the area SR of the first color image region and the first determination threshold value VTR. (Step S23). If SR <VTR, it is determined whether or not the relationship of SB <VTB2 is established between the area SR of the image area of the second color and the second determination threshold value VTB2 (step S24). ). If SR <VTR and SB <VTB2, it is determined that the player is performing a grabbing operation (step S25).
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像情報に基づくプレーヤのつかみ準備動作やつかみ動作やつかみ連動動作の判定手法、画像領域の面積に基づく判定手法、スケルトン情報の取得手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。 Although the present embodiment has been described in detail as described above, it will be easily understood by those skilled in the art that many modifications can be made without departing from the novel matters and effects of the present invention. Accordingly, all such modifications are intended to be included in the scope of the present invention. For example, a term described at least once together with a different term having a broader meaning or the same meaning in the specification or the drawings can be replaced with the different term in any part of the specification or the drawings. Further, the determination method of the player's grasp preparation operation based on the image information, the grasp operation and the grasp interlock operation, the determination method based on the area of the image region, the acquisition method of the skeleton information, and the like are not limited to those described in this embodiment, Techniques equivalent to these are also included in the scope of the present invention. The present invention can be applied to various games. Further, the present invention is applied to various image generation systems such as a business game system, a home game system, a large attraction system in which a large number of players participate, a simulator, a multimedia terminal, a system board for generating a game image, and a mobile phone. it can.
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＨＤＬ 左手、ＨＤＲ 右手、
ＨＬＯＢ キャラクタの左手、ＴＯＢ ターゲットオブジェクト（相手キャラクタ）、
ＲＰＣ 処理領域、ＥＴＨ 手袋（認識用部材）、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０６ ゲーム演算部、１０７ つかみ準備動作判定部、
１０９ つかみ動作判定部、１０９ つかみ連動動作判定部、１１０ 攻撃動作判定部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部ISE image sensor, PL player, SC screen, HDL left hand, HDR right hand,
The left hand of the HLOB character, the TOB target object (the opponent character),
RPC treatment area, ETH gloves (recognition member),
100 processing unit, 102 image information acquisition unit, 104 information acquisition unit,
105 Skeleton information acquisition unit, 106 Game calculation unit, 107 Grasp preparation operation determination unit,
109 Grasping motion determination unit, 109 Grasping interlocking motion determination unit, 110 Attack motion determination unit,
112 object space setting unit, 114 character control unit, 115 movement processing unit,
116 motion processing unit, 118 virtual camera control unit, 120 image generation unit,
130 sound generation unit, 160 operation unit, 170 storage unit, 171 image information storage unit,
172 color image information storage unit, 173 depth information storage unit,
174 Skeleton information storage unit, 175 Object data storage unit,
176 motion data storage unit, 177 model data storage unit, 179 drawing buffer,
180 information storage medium, 190 display unit, 192 sound output unit, 194 auxiliary storage device,
196 Communication Department
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010083893AJP5536510B2 (en) | 2010-03-31 | 2010-03-31 | Program and image generation system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010083893AJP5536510B2 (en) | 2010-03-31 | 2010-03-31 | Program and image generation system |
| Publication Number | Publication Date |
|---|---|
| JP2011215921A JP2011215921A (en) | 2011-10-27 |
| JP5536510B2true JP5536510B2 (en) | 2014-07-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010083893AActiveJP5536510B2 (en) | 2010-03-31 | 2010-03-31 | Program and image generation system |
| Country | Link |
|---|---|
| JP (1) | JP5536510B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5456817B2 (en)* | 2012-03-23 | 2014-04-02 | ヤフー株式会社 | Display control apparatus, display control method, information display system, and program |
| JP2013200784A (en)* | 2012-03-26 | 2013-10-03 | Yahoo Japan Corp | Operation input device, operation input method, and program |
| CN103926999B (en)* | 2013-01-16 | 2017-03-01 | 株式会社理光 | Palm folding gesture identification method and device, man-machine interaction method and equipment |
| JP6194777B2 (en) | 2013-11-29 | 2017-09-13 | 富士通株式会社 | Operation determination method, operation determination apparatus, and operation determination program |
| CN103645806B (en)* | 2013-12-24 | 2016-09-14 | 惠州Tcl移动通信有限公司 | A kind of goods browse method and system based on eyeball tracking |
| JP7586429B2 (en) | 2021-06-08 | 2024-11-19 | 株式会社アスコ | Sensor device, sensor system, and method for controlling sensor device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2779448B2 (en)* | 1988-11-25 | 1998-07-23 | 株式会社エイ・ティ・アール通信システム研究所 | Sign language converter |
| JPH09206470A (en)* | 1996-02-02 | 1997-08-12 | Ricoh Elemex Corp | Game fighting device |
| JPH1153563A (en)* | 1997-07-31 | 1999-02-26 | Sony Corp | Device and method for attitude detection game |
| JP2001005974A (en)* | 1999-06-17 | 2001-01-12 | Matsushita Electric Ind Co Ltd | Object recognition method and object recognition device |
| JP4790113B2 (en)* | 2000-12-04 | 2011-10-12 | ソニー株式会社 | Image processing apparatus and method, and recording medium |
| JP2003131785A (en)* | 2001-10-22 | 2003-05-09 | Toshiba Corp | Interface device, operation control method and program product |
| JP4035610B2 (en)* | 2002-12-18 | 2008-01-23 | 独立行政法人産業技術総合研究所 | Interface device |
| US8005263B2 (en)* | 2007-10-26 | 2011-08-23 | Honda Motor Co., Ltd. | Hand sign recognition using label assignment |
| Publication number | Publication date |
|---|---|
| JP2011215921A (en) | 2011-10-27 |
| Publication | Publication Date | Title |
|---|---|---|
| JP5087101B2 (en) | Program, information storage medium, and image generation system | |
| JP5439367B2 (en) | How to change game gearing | |
| JP6276882B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP5256269B2 (en) | Data generation apparatus, data generation apparatus control method, and program | |
| JP5996138B1 (en) | GAME PROGRAM, METHOD, AND GAME SYSTEM | |
| US11644893B2 (en) | Application processing system, method of processing application, and storage medium storing program for processing application | |
| JP5300777B2 (en) | Program and image generation system | |
| JP5081964B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
| JP5148660B2 (en) | Program, information storage medium, and image generation system | |
| EP2394711A1 (en) | Image generation system, image generation method, and information storage medium | |
| US20110305398A1 (en) | Image generation system, shape recognition method, and information storage medium | |
| JP2008136694A (en) | PROGRAM, INFORMATION STORAGE MEDIUM, AND GAME DEVICE | |
| JP5536510B2 (en) | Program and image generation system | |
| EP2394710A2 (en) | Image generation system, image generation method, and information storage medium | |
| JP2011258158A (en) | Program, information storage medium and image generation system | |
| JP2011258160A (en) | Program, information storage medium and image generation system | |
| WO2016056317A1 (en) | Information processor and information-processing method | |
| JP5425940B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
| JP2013154125A (en) | Game apparatus, method of controlling the game apparatus, and program | |
| JP2019020836A (en) | Information processing method, device, and program for causing computer to execute the method | |
| JP2018190196A (en) | Information processing method, information processing device, program causing computer to execute information processing method | |
| JP6458179B1 (en) | Program, information processing apparatus, and method | |
| JP2012196286A (en) | Game device, control method for game device, and program | |
| WO2021059363A1 (en) | Animation creation method | |
| JP2021068405A (en) | Virtual object operating system and virtual object operating method |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20130123 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20131107 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20131119 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20140120 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20140415 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20140424 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:5536510 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| S533 | Written request for registration of change of name | Free format text:JAPANESE INTERMEDIATE CODE: R313533 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |