【０００１】[0001]
【発明の属する技術分野】本発明は３次元コンピュータ
グラフィックス（以下ＣＧという）上に構築された人間
又は動物モデルにおける感情表現をより簡単に、明確に
実現するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention more easily and clearly realizes emotion expression in a human or animal model constructed on three-dimensional computer graphics (hereinafter referred to as CG).
【０００２】[0002]
【従来の技術】３次元ＣＧアニメーションでは人間モデ
ルを扱うものが増えてきている。これはコンピュータの
計算性能が向上してより複雑なモデルも描画対象になっ
てきたこと、人間又は動物モデルアニメーションが、従
来のような単なるエンターテイメント映像制作に利用さ
れるだけでなく、コンピュータと人間、またはネットワ
ーク上での利用者同士の対話において、初心者でも違和
感のない手段として利用できることが再認識されたこと
に起因している。2. Description of the Related Art In three-dimensional CG animation, more and more human models are handled. This is because the computational performance of computers has improved and more complex models have been drawn, and human or animal model animation is not only used for conventional entertainment video production, but also computer and human, Or, it is due to the fact that it has been re-recognized that even beginners can use it as a means without any discomfort in the interaction between users on the network.
【０００３】ところでこれらの人間モデルを利用した３
次元ＣＧでは、より現実感あふれた親しみ易いものにす
るために、手足を動かすアニメーションを実現させるだ
けでなく、モデルがあたかも人間と同じような感情を持
っているかのように振舞わせることが重要となってきて
おり、その研究が行われている。この３次元ＣＧモデル
の感情表現では、特に顔が感情をもっとも如実に表現す
るものとして重要視されている。By the way, 3 using these human models
In dimensional CG, in order to make it more realistic and familiar, it is important not only to realize animation of moving limbs, but also to make the model behave as if it had human-like emotions. It is becoming a reality and the research is being conducted. In the emotional expression of this three-dimensional CG model, the face is especially emphasized as the most realistic expression of emotion.
【０００４】従来は、３次元ＣＧの顔モデルにおける感
情表現は、顔形状に密接したいくつかの特徴点を設定し
ておき、それらの位置関係を喜怒哀楽等の感情によって
変更する方法により実現していた。Conventionally, emotion expression in a three-dimensional CG face model is realized by a method in which some feature points close to the face shape are set and the positional relationship between them is changed by emotion such as emotions. Was.
【０００５】すなわち感情に応じて特徴点を変化させ、
顔を構成するポリゴンをそれらの特徴点から自動計算し
て顔モデルの変形を行っていた。従来の顔モデルのポリ
ゴン構成の例を図６（Ａ）、（Ｂ）に示す。図６（Ａ）
は顔モデルの正面図、同（Ｂ）は側面図である。That is, the feature points are changed according to emotions,
The face model was deformed by automatically calculating the polygons forming the face from those feature points. An example of a polygon structure of a conventional face model is shown in FIGS. FIG. 6 (A)
Is a front view of the face model, and FIG.
【０００６】また図６（Ｃ）は、従来の方法のうち、実
際に設定する特徴点と顔モデルの関係づけの例として、
口の部分を示したものである。図６（Ｃ）において、特
徴点ａ〜ｆが実際の口モデルを構成する上で特徴となる
６点であり、ポリゴンの頂点は、これらの特徴点同士を
つなぐように自動算出される。[0006] FIG. 6C shows an example of the relation between the feature points actually set and the face model in the conventional method.
It shows the mouth part. In FIG. 6 (C), the feature points a to f are the six features that make up the actual mouth model, and the vertices of the polygon are automatically calculated so as to connect these feature points.
【０００７】このように、従来の方法は、実際の人間の
顔の筋肉の動きをそのまま表現し、現実性を追求した手
法であった。ところでアニメーションでは、現実通りの
表現よりもある程度強調された表現が好まれる傾向にあ
る。これは、例えば弾んだボールの動きを表現する場
合、膨大な物理シミュレーション計算を施して完全に現
実通りの動きを実現するより、ある程度現実からかけ離
れていても、動きを強調した表現の方が好まれることか
らも明らかである。As described above, the conventional method is a method for expressing the actual movement of the human facial muscles as they are and pursuing reality. By the way, in animation, expressions that are emphasized to some extent tend to be preferred over expressions that are realistic. For example, when expressing the movement of a bounced ball, it is preferable to express the movement even if it is far from reality, rather than performing a huge amount of physical simulation calculation to realize the movement as it is. It is also clear from what is said.
【０００８】しかし、前記の如く、従来の方法は、この
点に関して何も考慮されておらず、顔の感情表現を現実
通りに表現する場合には有用であるものの、より強調さ
れた感情表現を行うには不向きであった。However, as described above, the conventional method does not consider anything in this respect, and although it is useful for expressing the emotional expression of the face as it is, a more emphasized emotional expression is required. It was unsuitable to do.
【０００９】またモデルの顔が、ディスプレイの前を向
いて拡大表示されている場合はともかく、モデルを動か
して少し遠くに表示する場合や横向きの場合など、その
モデルの細かい表情まで読み取るのは非常に困難であ
り、感情表現を実現することができなかった。In addition to the case where the face of the model is enlarged and displayed in front of the display, it is very difficult to read the detailed facial expression of the model such as when the model is moved and displayed a little farther or when the face is sideways. It was very difficult and I could not realize the emotional expression.
【００１０】このためより簡単な手法で、読み取り易
い、強調された動きをも実現できる感情表現が望まれて
いた。For this reason, there is a demand for an emotional expression which can be easily read and can realize an emphasized movement by a simpler method.
【００１１】[0011]
【発明が解決しようとする課題】従来では、前記のよう
に、顔モデルの感情を、現実の顔の筋肉の動きを参考と
した特徴点の移動により、鼻、目、口などを形状変形し
て表情を作成し、実現していた。しかし現実性を追求す
るモデルであるため、３次元ＣＧアニメーションで好ま
れる強調表現には不向きであった。また感情を細かな口
の動きなどの表現で実現していたため、小さく表示され
たモデルや、動くモデルに対して感情表現を行うことが
困難であった。Conventionally, as described above, the emotion of the face model is deformed by moving the feature points with reference to the movements of the actual facial muscles. I created a facial expression and realized it. However, since it is a model that pursues reality, it is not suitable for the emphasis expression that is preferred in three-dimensional CG animation. In addition, since the emotions are realized by the expression of small movements of the mouth, it is difficult to express the emotions to the model displayed in a small size or the moving model.
【００１２】このため、従来の手法とは異なり、もっと
簡単に感情表現を実現することが望まれていた。従っ
て、本発明では、この課題を克服して、３次元画像表現
あるいは３次元ＣＧアニメーションにおいて顔の感情表
現を実現することを目的とする。Therefore, unlike the conventional methods, it has been desired to realize emotion expression more easily. Therefore, it is an object of the present invention to overcome this problem and realize a facial emotion expression in a three-dimensional image expression or a three-dimensional CG animation.
【００１３】[0013]
【課題を解決するための手段】前記目的を達成するた
め、本発明の３次元ＣＧにおけるモデル感情表現装置で
は、図１に示す如く、強調オブジェクトデータ部１、感
情選択部２、強調オブジェクト選択部３、表示・非表示
制御部４、描画表示部５、システム使用中データ部６等
を具備する。In order to achieve the above-mentioned object, in the model emotion expression device for three-dimensional CG of the present invention, as shown in FIG. 1, an emphasis object data section 1, an emotion selection section 2, an emphasis object selection section. 3, a display / non-display control unit 4, a drawing display unit 5, a system in-use data unit 6, and the like.
【００１４】強調オブジェクトデータ部１は、本発明で
使用する強調オブジェクトデータつまり強調オブジェク
トの形状、質感、アニメーション表示するときはアニメ
ーション方法のデータを保持するものである。強調オブ
ジェクトデータは、例えば漫画等で顔に付随して感情表
現に使用される表現手法を付随するためのデータが使用
されるものであり、例えば焦り又は困惑を表現するとき
に汗を付加表示したり、頭の冴えていることを表現する
ときに立体電球を頭部付近に表示させるものであり、こ
れらの感情表現に使用される強調オブジェクトを３次元
ＣＧ化したものを、予めファイルに保持しておき、これ
から必要なものを強調オブジェクトデータ部１に読み込
み、用意するもである。The emphasized object data unit 1 holds the emphasized object data used in the present invention, that is, the shape, texture, and animation method data of the emphasized object when displaying an animation. The emphasizing object data is, for example, data for accommodating an expression technique used for emotional expression in association with a face in comics, for example, and additionally displays sweat when expressing impatience or confusion. Or, it is to display a three-dimensional light bulb near the head when expressing a sharp head. The three-dimensional CG representation of the emphasized objects used for expressing these emotions is stored in a file in advance. It is also possible to read necessary items in the emphasized object data unit 1 and prepare them.
【００１５】感情選択部２は、表示ずみの人間モデルま
たはそれに準じた動物モデルに対して、表現したい感情
種類やその感情の強さなどのパラメータを判断し、表現
すべき感情を選択する。この場合、ユーザが例えば「怒
る」などのコマンドを直接入力してもよいし、ユーザと
の対話状況から自動的に判定してもよい。The emotion selection unit 2 determines parameters such as the kind of emotion to be expressed and the strength of the emotion with respect to the displayed human model or an animal model corresponding thereto, and selects the emotion to be expressed. In this case, the user may directly input a command such as "get angry", or the command may be automatically determined based on the dialog situation with the user.
【００１６】強調オブジェクト選択部３は、感情選択部
２で選択された感情に対応する強調オブジェクトを、強
調オブジェクトデータ部１から自動的に選択するもので
ある。The emphasized object selecting section 3 is for automatically selecting an emphasized object corresponding to the emotion selected by the emotion selecting section 2 from the emphasized object data section 1.
【００１７】表示・非表示制御部４は、選択された強調
オブジェクトを現在のタイムステップに従い表示・非表
示指示を行う。初めて選択された場合は表示開始命令を
出す。またすでに表示中のものは表示を終了すべきか否
かを判定し、必要なら表示終了命令を出す。The display / non-display control unit 4 gives a display / non-display instruction to the selected highlighted object according to the current time step. When it is selected for the first time, a display start command is issued. Also, if the display is already in progress, it is determined whether or not the display should be terminated, and if necessary, a display termination command is issued.
【００１８】描画表示部５は、人間モデルまたは動物モ
デル自身に強調オブジェクトを付加し、例えば正面から
見たものにするのか、４５度斜めより見た図に表示する
のか、真横より見た図に表示するのか等の視線位置に応
じた処理計算、色付け等の描画計算を行い、ディスプレ
イに表示する。The drawing display unit 5 adds a highlighting object to the human model or the animal model itself, for example, whether it is viewed from the front, is displayed in a 45-degree oblique view, or is viewed from a side view. Processing calculation according to the line-of-sight position such as display, drawing calculation such as coloring is performed and displayed on the display.
【００１９】システム使用中データ部６は、現在システ
ムで描画表示に用いている全てのデータ、即ち人間モデ
ルまたはそれに準じた動物モデルや現在の視点、光源の
データ、使用中の強調オブジェクトのデータ等を保持す
るものである。The system-in-use data section 6 contains all data currently used for drawing and displaying in the system, that is, a human model or an animal model based on it, a current viewpoint, light source data, data of an emphasized object in use, etc. Is to hold.
【００２０】例えば感情表現として「焦り」を表現する
場合、オペレータは図示省略したディスプレイ上に表示
されたメニュー画面より、例えばマウスにより「焦り」
を選択し、表示対象として現在表示中のモデルの中から
「人間」を選択する。For example, when expressing "impairment" as an emotional expression, the operator uses, for example, a mouse to "improve" from a menu screen displayed on a display (not shown).
Is selected, and “human” is selected from the models currently displayed as the display target.
【００２１】この選択信号は、図１に示す感情選択部２
に伝達されて解読され、人間モデルに対し「焦り」を表
現することが認識され、強調オブジェクト選択部３に伝
達される。This selection signal is sent to the emotion selection unit 2 shown in FIG.
Is transmitted and decoded to the human object, recognized to express "impulsiveness" for the human model, and transmitted to the emphasized object selection unit 3.
【００２２】これにより、強調オブジェクト選択部３
は、「焦り」を強調表現すべき強調オブジェクトとして
汗オブジェクトを認識し、実際に強調オブジェクトデー
タを格納してある強調オブジェクトデータ部１から、汗
オブジェクトの形状例である立体水滴データを読み出
す。このデータと、表示対象が「人間」であることから
システム使用中データ部６から探索した、対応する人間
モデルデータ（形状や質感、現在の位置など）のアドレ
ス、さらに感情表現が「焦り」であるというデータを、
表示・非表示制御部４へ送出する。As a result, the emphasized object selection unit 3
Recognizes a sweat object as an emphasized object for which "impulsiveness" should be emphasized, and reads three-dimensional water droplet data, which is an example of the shape of the sweat object, from the emphasized object data unit 1 in which the emphasized object data is actually stored. This data, the address of the corresponding human model data (shape, texture, current position, etc.) searched from the system in-use data section 6 because the display target is “human”, and the emotional expression is “impulsive” The data that there is,
It is sent to the display / non-display control unit 4.
【００２３】すなわちこのようにして、強調オブジェク
ト選択部３は、汗オブジェクトである立体水滴データを
読み出し、システム使用中データ部６内の表示対象の人
間モデルデータへのアドレスを探索し、汗オブジェクト
の表示位置データを算出し、それらを表示・非表示制御
部４へ送る。That is, in this way, the emphasized object selection unit 3 reads the three-dimensional water drop data which is the sweat object, searches the address of the human model data to be displayed in the system in-use data unit 6, and searches for the sweat object. The display position data is calculated and sent to the display / non-display control unit 4.
【００２４】表示・非表示制御部４では、送られたデー
タを見て、感情表現が「焦り」であることから、汗オブ
ジェクトを表示する位置が取得した人間モデルの額のあ
たりであることを解釈し、その位置データを計算する。
そして、汗オブジェクトの水滴モデルデータとともに、
計算された表示位置データをシステム使用中データ部６
に登録し、描画表示部５に描画を指示する。The display / non-display control section 4 looks at the sent data, and since the emotional expression is "impulsive", it is determined that the position where the sweat object is displayed is around the forehead of the acquired human model. Interpret and calculate its position data.
And with the water drop model data of the sweat object,
The calculated display position data is used by the system in-use data section 6
, And the drawing display unit 5 is instructed to draw.
【００２５】描画表示部５では、更新されたシステム使
用中データ部６を参照し、その中の現在の視線位置に応
じた処理計算及び色付け等の描画計算を行い、図示省略
したディスプレイにこれを表示する。The drawing display section 5 refers to the updated system in-use data section 6 to perform processing calculations and drawing calculations such as coloring in accordance with the current line-of-sight position in the system-in-use data section 6 and display it on a display (not shown). indicate.
【００２６】このようにして、強調オブジェクトを人間
モデルや動物モデルに簡単に付加することができ、表示
したい感情表現を明確にディスプレイを見ている側に伝
達することができる。In this way, the emphasized object can be easily added to the human model or the animal model, and the emotional expression desired to be displayed can be clearly transmitted to the side viewing the display.
【００２７】[0027]
【発明の実施の形態】本発明の一実施の形態を図２及び
図３にもとづき説明する。図２は本発明の一実施の形態
構成図、図３は強調オブジェクト例説明図である。BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described with reference to FIGS. FIG. 2 is a configuration diagram of an embodiment of the present invention, and FIG. 3 is an explanatory diagram of an emphasized object example.
【００２８】図２において、図１と同記号は同一部を示
し、７はアニメーション制御部である。アニメーション
制御部７は、表示・非表示制御部４において表示を続行
すると判別された強調オブジェクトに対して処理を行う
ものである。表示を終了すると判別されたときは、アニ
メーション制御部７を経由せずに直接描画表示部５に伝
達される。このアニメーション制御部７は、現在のタイ
ムステップつまり表示画面をみて選択された強調オブジ
ェクトに実際の時刻に合致したアニメーション更新計算
を行う。In FIG. 2, the same symbols as in FIG. 1 indicate the same parts, and 7 is the animation control part. The animation control unit 7 processes the emphasized object that the display / non-display control unit 4 has determined to continue the display. When it is determined that the display is to be ended, it is directly transmitted to the drawing display unit 5 without passing through the animation control unit 7. The animation control unit 7 performs an animation update calculation that matches the actual time of the highlighted object selected at the current time step, that is, the display screen.
【００２９】本発明において強調オブジェクトデータ部
１に保持されている強調オブジェクトの例を図３により
説明する。ただし、図３において、概要は説明事項であ
り、データとしては不要のため保持する必要はない。An example of the emphasized objects held in the emphasized object data section 1 in the present invention will be described with reference to FIG. However, in FIG. 3, the outline is an explanatory matter, and it is not necessary to retain it because it is unnecessary as data.
【００３０】図３では、強調オブジェクト例として汗オ
ブジェクト、怒り皺オブジェクト、アイデアオブジェク
ト、スポットライトオブジェクトの場合を示す。汗オブ
ジェクトは、感情表現として「焦り」、「困惑」等を示
す場合に対応するものであって、汗を表現するものであ
り、額の付近に汗を表示するものである。汗は立体水滴
の形状で表され、アニメーションで表現するとき、顔の
ラインに沿って上から下へ流すものであり、これを示す
アニメーション用のデータが保持される。FIG. 3 shows the case of a sweat object, an anger wrinkle object, an idea object, and a spotlight object as the emphasized objects. The sweat object corresponds to a case where “emotion”, “confusion”, and the like are shown as an emotional expression, expresses sweat, and displays sweat near the forehead. Sweat is represented by the shape of three-dimensional water drops, and when expressed in animation, it flows down from the top along the line of the face, and the animation data indicating this is held.
【００３１】怒り皺オブジェクトは、感情表現として
「怒り」を示す場合に対応するものであって、額の脇に
張り付けて皺を表現するものである。怒り皺は一部透明
な領域に逆配置した略「八」の字状の図形により表現さ
れる。The anger wrinkle object corresponds to the case where "anger" is shown as an emotional expression, and is attached to the side of the forehead to express wrinkles. Anger wrinkles are represented by an approximately eight-shaped figure that is reversely arranged in a partially transparent area.
【００３２】アイデアオブジェクトは、感情表現として
「頭の冴え」、「喜び」を示す場合に対応するものであ
って、良い考えが浮かんだ時を表現するものであり、形
状としては立体電球を頭部の側部付近に表示させるもの
である。アニメーションで表現するときは、この電球内
部の色を点灯しているかのように色変更するものであ
る。The idea object corresponds to the case where "sliminess of the head" and "joy" are shown as emotional expressions, and expresses the time when a good idea appears, and its shape is a three-dimensional light bulb. It is displayed near the side of the section. When expressing with animation, the color inside the light bulb is changed as if it were lit.
【００３３】スポットライトオブジェクトは、感情表現
として「絶望」、「喜び」を示す場合に対応するもので
あって、顔の照度、色、明るさ等を変更するものであ
り、光源の種類を選択する。またアニメーションで表現
するときは、スポットライトの向きを顔の方向として顔
の移動に応じて制御する。The spotlight object corresponds to the case of expressing "despair" and "joy" as emotional expressions, and is for changing the illuminance, color, brightness, etc. of the face, and selects the type of light source. To do. Also, when expressing in animation, the direction of the spotlight is set as the direction of the face and controlled according to the movement of the face.
【００３４】例えば感情表現として「焦り」を表現する
場合、オペレータは図示省略したディスプレイ上に表示
されたメニュー画面より、例えばマウスにより、あるい
はキーボード等により「焦り」を選択し、表示対象とし
て「人間」を選択し、視線位置として正面を選択する。For example, when expressing "frustration" as an emotional expression, the operator selects "frustration" from a menu screen displayed on a display (not shown), for example, with a mouse or a keyboard, and displays "human" as a display target. , And select the front as the line-of-sight position.
【００３５】この選択信号は、図２に示す感情選択部２
に伝達されて解読され、「人間」に対し「焦り」を表現
するものであることが認識され、これが強調オブジェク
ト選択部３に伝達される。This selection signal is sent to the emotion selection unit 2 shown in FIG.
Is recognized and expressed as “impairment” with respect to “human”, and this is transmitted to the emphasized object selection unit 3.
【００３６】これにより、強調オブジェクト選択部３
は、図示省略した対応感情表現・強調オブジェクトテー
ブルを参照して、「焦り」を強調表現すべき強調オブジ
ェクトとして汗オブジェクトとして認識し、強調オブジ
ェクトデータ部１から汗オブジェクトの形状例である立
体水滴データを探索して読み出す。さらに表示対象が
「人間」であることから、実際に対応する人間モデルデ
ータと現在の表示位置をシステム使用中データ部６から
探索して読み出す。これら読み出した立体水滴データ、
人間モデルデータ、人間モデルの位置データの各ポイン
タと、強調表現したい感情が「焦り」であるというデー
タを、表示・非表示制御部４へ送る。As a result, the emphasized object selection unit 3
Refers to a corresponding emotion expression / emphasis object table (not shown), recognizes “impulsiveness” as a sweat object as an emphasis object to be emphasized, and recognizes from the emphasis object data unit 1 three-dimensional water droplet data as a shape example of the sweat object. Search and read. Further, since the display target is a “human”, the actually corresponding human model data and the current display position are searched and read from the system in-use data section 6. These read three-dimensional water drop data,
The pointers of the human model data and the position data of the human model and the data indicating that the emotion to be emphasized is “impulsive” are sent to the display / non-display control unit 4.
【００３７】表示・非表示制御４は、送られたデータを
見て、感情表現が「焦り」であることから、汗オブジェ
クトを表示する位置が取得した人間モデルの額のあたり
であることを解釈し、その位置データを計算する。そし
て汗オブジェクトの水滴モデルデータと共に、計算され
た表示位置データを新たにシステム使用中データ部６に
登録する。同時に「汗オブジェクト」のように、アニメ
ーションを必要とする強調オブジェクトの場合は、送ら
れたデータすべてを、更にアニメーション制御部７に送
り、新規に「汗オブジェクト」のアニメーションを行う
ことを要求する。「怒り皺オブジェクト」のようにアニ
メーションを必要としないと判断する場合は、アニメー
ション制御部７にはデータを送らず、既存のアニメーシ
ョンの更新のみを要求する。更に、既存のアニメーショ
ンを行う強調オブジェクトがそれ以外にも１つもない場
合は、アニメーション制御部７を経由せず、直接描画表
示部５に描画を命令する。The display / non-display control 4 interprets that the position at which the sweat object is displayed is around the forehead of the acquired human model because the sentiment expression is "impulsive" by looking at the transmitted data. And calculate the position data. Then, the calculated display position data is newly registered in the system in-use data section 6 together with the water drop model data of the sweat object. At the same time, in the case of an emphasized object such as a "sweat object" that requires animation, all the sent data is further sent to the animation control unit 7 and a new animation of the "sweat object" is requested. When it is determined that the animation is not required like the "angry wrinkle object", no data is sent to the animation control unit 7 and only the update of the existing animation is requested. Furthermore, if there is no other emphasized object that performs an existing animation, the drawing display unit 5 is directly instructed to draw without passing through the animation control unit 7.
【００３８】アニメーション制御部７は、表示・非表示
制御部４でアニメーションを行うと判断された場合、図
示省略した前回までに送付済の現在アニメーションを必
要とする強調オブジェクトのリストに、送付された「汗
オブジェクト」を追加する。その後、このリストに現在
登録されているすべてのアニメーションを要する強調オ
ブジェクトに対し、そのアニメーション状態を更新させ
ることを行う。即ち、汗を表す水滴モデルを、顔のライ
ンに沿って現在の時刻に合致する位置へ移動させるため
に、水滴モデルが流れている人間モデルの形状を、保持
しているポインタからシステム使用中データ部６から探
索参照し、水滴モデルの新規移動先位置を計算し、水滴
モデルの位置データ（実体はシステム使用中データ部６
に保持している）を更新する。When the display / non-display control unit 4 determines that the animation is to be performed, the animation control unit 7 sends the animation to the list of emphasized objects requiring the current animation that has been sent up to the previous time and is not shown. Add a "sweat object". Then, the animation state is updated for all the emphasized objects requiring animation currently registered in this list. That is, in order to move the water drop model representing sweat to the position matching the current time along the line of the face, the shape of the human model in which the water drop model is flowing is displayed from the pointer holding the system in-use data. The new destination position of the water drop model is calculated by referring to the search from the part 6, and the position data of the water drop model (the entity is the system in-use data part 6
Held in).
【００３９】描画表示部５は、システム使用中オブジェ
クトデータ部６に保持されたすべてのモデルデータの描
画計算を行う。即ち、例えば保持する視線情報から、現
在のシーンの見え方を計算し、各モデルの色データを参
照して色付け等の描画計算を行い、図示省略したディス
プレイに表示する。このようにしてシーン（画面）を１
タイムステップ分だけ時間更新させたということは、表
示・非表示制御部４及びアニメーション制御部７に伝達
される。The drawing display unit 5 performs drawing calculation of all model data held in the system-in-use object data unit 6. That is, for example, the appearance of the current scene is calculated from the held line-of-sight information, drawing calculation such as coloring is performed with reference to the color data of each model, and the result is displayed on a display (not shown). In this way, the scene (screen) 1
The fact that the time is updated by the time step is transmitted to the display / non-display control unit 4 and the animation control unit 7.
【００４０】表示・非表示制御部４は、これにより強調
オブジェクトデータ部１をアクセスし、次に表示すべき
アニメーションデータの存在を認識し、表示処理を行う
ことをアニメーション制御部７に通知する。The display / non-display control unit 4 thereby accesses the emphasized object data unit 1, recognizes the existence of the animation data to be displayed next, and notifies the animation control unit 7 that the display process will be performed.
【００４１】これによりアニメーション制御部７は、強
調オブジェクトデータ部１から「焦り」を表示する２コ
マ目のアニメーション用の形状位置のデータを読み出
し、システム使用中データ部６より読み出した人間モデ
ルの指定された位置にこの２コマ目の形状データを付加
した２コマ目用の画像データを作成する。描画表示部５
は、この伝達された画像に対して、同様に現在の視線位
置情報に応じた処理計算、色付け等の描画計算を行い、
ディスプレイに２コマ目を表示する。このようにして２
コマ目の画面が表示されたことが表示・非表示制御部４
及びアニメーション制御部７に伝達される。As a result, the animation control unit 7 reads out the data of the shape position for the animation of the second frame for displaying "impulsiveness" from the emphasized object data unit 1 and specifies the human model read out from the system in-use data unit 6. Image data for the second frame is created by adding the shape data of the second frame to the designated position. Drawing display unit 5
Performs processing calculation according to the current line-of-sight position information, drawing calculation such as coloring on the transmitted image,
Display the second frame on the display. In this way 2
Display / non-display control unit 4 that the screen of the frame is displayed
And transmitted to the animation control unit 7.
【００４２】このようにして強調オブジェクトデータ部
１からアニメーション用の形状位置のデータを順次読み
出し、アニメーション制御部７は、現在のタイムステッ
プをみて、選択された強調オブジェクトに対し実際に現
在の時刻に合致したアニメーション更新演算を行う。In this way, the data of the shape position for animation is sequentially read out from the emphasized object data section 1, and the animation control section 7 looks at the current time step and confirms the actual time of the selected emphasized object. Perform the matching animation update calculation.
【００４３】このようなことが繰り返されたのち、表示
・非表示制御部４が強調オブジェクトデータ部１にもは
やアニメーション用に表示すべきデータが存在しないこ
とを認識したとき、表示・非表示制御部４は表示終了命
令をアニメーション制御部７及び描画表示部５に出力す
る。これにより強調オブジェクトデータにもとづくアニ
メーション表示が終了される。After this is repeated, when the display / non-display control unit 4 recognizes that there is no data to be displayed for animation in the highlighted object data unit 1, the display / non-display control unit 4 Reference numeral 4 outputs a display end command to the animation control unit 7 and the drawing display unit 5. This ends the animation display based on the emphasized object data.
【００４４】勿論、アニメーション表示を一定の回数繰
り返すようにすることもできる。このように強調オブジ
ェクトをアニメーション動作により動かせるので、より
豊かな感情表現を実現することができる。Of course, the animation display can be repeated a fixed number of times. Since the emphasized object can be moved by the animation operation in this way, richer emotional expression can be realized.
【００４５】本発明の第２の実施の形態を図４、図５に
基づき、他図を参照して説明する。本発明の第２の実施
の形態ではモデルに表現したい感情だけでなく、その感
情の強度により、使用する強調オブジェクトの種類、
数、アニメーションの早さ、大きさ等を変更するもので
ある。図４は本発明の第２の実施の形態構成図、図５は
第２の実施の形態の動作説明図である。A second embodiment of the present invention will be described based on FIGS. 4 and 5 with reference to other drawings. In the second embodiment of the present invention, not only the emotion to be expressed in the model but also the type of the emphasized object to be used according to the intensity of the emotion,
The number, the speed of animation, the size, etc. are changed. FIG. 4 is a configuration diagram of a second embodiment of the present invention, and FIG. 5 is an operation explanatory diagram of the second embodiment.
【００４６】図４において図２と同記号は同一部を示
し、１１は強調オブジェクトデータ部、１２は感情強度
設定部、１３は強調オブジェクトデータ補足部である。
強調オブジェクトデータ部１１は、例えば図３で示す如
き汗オブジェクト、怒り皺オブジェクト、アイデアオブ
ジェクト、スポットライトオブジェクト等の項目の強調
オブジェクトデータを保持するものであるが、表現すべ
き感情の強度に応じて使用する強調オブジェクトの種
類、数、アニメーションの早さ、大きさ等を変更するた
めに、例えば図３の強調オブジェクトの項目に、図５に
示す如き、強度大、強度小の強調オブジェクトデータを
追加したものが保持されている。In FIG. 4, the same symbols as those in FIG. 2 indicate the same parts, 11 is an emphasized object data part, 12 is an emotional strength setting part, and 13 is an emphasized object data supplementing part.
The emphasized object data unit 11 holds emphasized object data of items such as a sweat object, an angry wrinkle object, an idea object, and a spotlight object as shown in FIG. In order to change the type and number of emphasized objects to be used, the speed of animation, the size, etc., for example, emphasized object data of high strength and low strength as shown in FIG. 5 is added to the item of emphasized objects of FIG. What you have is retained.
【００４７】汗オブジェクトを感情強度大で表現すると
き、汗の形状である立体水滴を拡大したりアニメーショ
ン速度つまり流れる速度を速めて表現する。逆に感情強
度小で表現するとき、立体水滴の形状を縮小したりアニ
メーション速度つまり流れる速度を遅めて表現する。When a sweat object is expressed with a high emotional strength, three-dimensional water droplets, which are the shape of sweat, are enlarged or the animation speed, that is, the flowing speed is increased. On the contrary, when expressing with a small emotional strength, the shape of the solid water droplet is reduced or the animation speed, that is, the flowing speed is delayed.
【００４８】怒り皺オブジェクトを感情強度大で表現す
るとき、図３に示すテクスチャつまり逆配置した略
「八」の字状の図形を拡大する。逆に感情強度小で表現
するとき、このテクスチャを縮小して表現する。When expressing an angry wrinkle object with a high emotional strength, the texture shown in FIG. 3, that is, the inverted "8" -shaped figure is enlarged. Conversely, when expressing with a small emotional strength, this texture is reduced and expressed.
【００４９】アイデアオブジェクトを感情強度大で表現
するとき、立体電球の形状を拡大したり、その数を増加
したり、アニメーション速度つまり点滅速度を速める。
逆に感情強度小で表現するとき立体電球の形状を縮小し
たり、その数を減らしたり、アニメーション速度つまり
点滅速度を遅くして表現する。When the idea object is expressed with a high emotional strength, the shape of the three-dimensional light bulb is enlarged, the number thereof is increased, and the animation speed, that is, the blinking speed is increased.
On the other hand, when expressing with a small emotional strength, the shape of the three-dimensional light bulb is reduced, the number thereof is reduced, or the animation speed, that is, the blinking speed is slowed down.
【００５０】スポットライトオブジェクトを感情強度大
で表現するとき、顔の照度、光源の強度を高めたり、光
源の数を増やしたり、光の当たり方を強調（他の光源の
照度、強度を弱める）したり、色を明るくし質感を高め
たり、光源を回転させる。逆に感情強度小で表現すると
き、他の光源の顔の照度や光源の強度を低めたり、光源
の数を減らしたり、光の当たり加減を減らしたり、スポ
ットライトの色を暗くしたり、またはスポットライトの
使用を中止する。When a spotlight object is expressed with a high emotional intensity, the illuminance of the face and the intensity of the light sources are increased, the number of light sources is increased, and the way the light hits is emphasized (the illuminance and intensity of other light sources are weakened). Or brighten the color to enhance the texture and rotate the light source. On the contrary, when expressing with a small emotional intensity, the illuminance of the face of another light source or the intensity of the light source is decreased, the number of light sources is reduced, the amount of light hitting is reduced, the color of the spotlight is darkened, or Stop using the spotlight.
【００５１】感情強度設定部１２は表現したい感情の強
度を増大または減少することを設定するものであり、例
えば６０％増しで感情の強度を増大表現するとか、４０
％減で減少表現するとかを設定する。この感情強度の設
定はメニューによるユーザとの対話で行ったり、あるい
は動作しているプログラムにより自動的に設定するもの
である。また強調オブジェクトデータ部１１には、感情
強度の増大、減少に応じて形状等をどのようにすべきか
記載されている。例えば汗オブジェクトの場合には感情
強度の増大、減少に比例して形状を拡大縮小表現する。The emotion intensity setting unit 12 sets to increase or decrease the intensity of the emotion to be expressed. For example, the emotion intensity is increased by 60%, or the emotion intensity is increased by 40%.
Set whether to express decrease with% decrease. This emotion intensity setting is performed by a dialog with the user through a menu, or is automatically set by an operating program. Further, the emphasized object data section 11 describes how the shape and the like should be changed according to the increase and decrease in emotional strength. For example, in the case of a sweat object, the shape is enlarged / reduced in proportion to the increase / decrease of emotion intensity.
【００５２】強調オブジェクトデータ補足部１３は、感
情強度設定部１２において設定した感情強度にもとづ
き、強調オブジェクトデータ部１１に保持されている事
項に対して強度の変更を施すものである。例えば汗オブ
ジェクトについて感情強度設定部１２から汗オブジェク
トの立体水滴を６０％増大する設定指示が伝達されたと
き、強調オブジェクトデータ補足部１３は強調オブジェ
クトデータ部１１に保持された立体水滴を６０％大きく
した立体水滴を作成する。またスポットライトオブジェ
クトで感情強度設定部１２から特定の色の当たり方を例
えば３０％強調すべき設定指示が伝達されたとき、指示
された特定の色を３０％強調すると同時に、他の光源の
強度を例えば３０％弱める等、他の影響も考えた演算を
行う。The emphasized object data supplementing unit 13 changes the strength of the items held in the emphasized object data unit 11 based on the emotion strength set by the emotion strength setting unit 12. For example, when a setting instruction to increase the solid water droplet of the sweat object by 60% is transmitted from the emotion strength setting unit 12 for the sweat object, the emphasized object data supplement unit 13 increases the solid water droplet held in the emphasized object data unit 11 by 60%. Create a solid water drop. Further, when the emotion intensity setting unit 12 transmits a setting instruction to emphasize a particular color by, for example, 30% in the spotlight object, the specified specific color is emphasized by 30% and at the same time the intensity of another light source is increased. Is calculated by taking other influences into consideration, for example, weakening by 30%.
【００５３】本発明の第２の実施の形態の動作を簡単に
説明する。例えば感情表現として「焦り」を感情強度を
用いて強調表現するときに感情強度を自動設定でなく、
ユーザとの対話により設定する場合について説明する。The operation of the second embodiment of the present invention will be briefly described. For example, when expressing "impairment" as an emotional expression using emotional strength, the emotional strength is not set automatically,
The case where the setting is performed by the dialog with the user will be described.
【００５４】この場合、オペレータは図示省略したディ
スプレイ上に表示されたメニュー画面より、「焦り」、
を選択し、表示対象として「人間」を選択し、視線位置
として正面を選択し、感情強度として６０％増大を選択
する。In this case, the operator selects "Irritation" from the menu screen displayed on the display (not shown).
Is selected, “human” is selected as the display target, the front is selected as the line-of-sight position, and 60% increase is selected as the emotion intensity.
【００５５】これらの選択信号は、図４に示す感情選択
部２に伝達され、感情強度は、感情強度設定部１２に伝
達される。感情選択部２は、前記伝達された選択信号を
解読して、「人間」に対し「焦り」を表現することを認
識し、これを強調オブジェクト選択部３に伝達する。These selection signals are transmitted to the emotion selection unit 2 shown in FIG. 4, and the emotion intensity is transmitted to the emotion intensity setting unit 12. The emotion selection unit 2 decodes the transmitted selection signal, recognizes that “humanity” is expressed with respect to “human”, and transmits this to the emphasized object selection unit 3.
【００５６】これにより強調オブジェクト選択部３は、
図示省略した対応感情表現・強調オブジェクトテーブル
を参照して、「焦り」を強調表現すべき強調オブジェク
トとして汗オブジェクトを認識し、強調オブジェクトデ
ータ部１から汗オブジェクトのデータの保持されている
アドレス及び付加される感情強度データの保持されてい
るアドレスを認識して出す。さらに表示対象が「人間」
であることから、システム使用中データ部６内より対応
する人間モデルデータ（形状や質感、現在の位置など）
のを探索し、そのアドレスに前述データ、そして感情表
現が「焦り」であるというデータを併せて、感情強度設
定部１２に伝達する。As a result, the emphasized object selection unit 3
By referring to the corresponding emotion expression / emphasis object table (not shown), the sweat object is recognized as an emphasis object for which “impulsiveness” should be emphasized, and the address and the addition of the data of the sweat object are added from the emphasis object data unit 1. Recognize and output the address that holds the emotion strength data. Furthermore, the display target is "human"
Therefore, the corresponding human model data (shape, texture, current position, etc.) from the system in-use data section 6
Is transmitted to the emotion intensity setting unit 12 together with the above-mentioned data and the data indicating that the emotional expression is “impulsive”.
【００５７】感情強度設定部１２は、前記伝達された強
調オブジェクトの強度の指定信号を解読して、「汗オブ
ジェクト」に対して６０％感情を増大付加することを認
識し、強調オブジェクト選択部３から送られた各データ
と共に、強調オブジェクト補足部１３に伝達する。The emotion strength setting unit 12 decodes the transmitted designation signal of the strength of the emphasized object, recognizes that the emotion is increased by 60% to the "sweat object", and the emphasized object selecting unit 3 It is transmitted to the emphasized object supplementing unit 13 together with each data sent from.
【００５８】強調オブジェクト補足部１３は、感情強度
に合致するように強調オブジェクトを変更することを行
う。例えば、汗オブジェクトの場合、感情強度を６０％
増大させるために、立体水滴形状を６０％拡大して表現
すること、アニメーション速度は変更しない（例えば、
感情強度が８０％以上増大するときに、アニメーション
速度を増大するものと規定されている）こと等の感情強
度データの認識を行う。この認識したデータは感情強度
設定部１２から伝達されたデータを併せ、表示・非表示
制御部４に送られる。The emphasized object supplementing unit 13 changes the emphasized object so as to match the emotional strength. For example, in the case of a sweat object, the emotional strength is 60%.
In order to increase the size, the three-dimensional water drop shape should be enlarged by 60%, and the animation speed should not be changed (for example,
When the emotional strength increases by 80% or more, it is specified that the animation speed is increased) and the emotional strength data is recognized. The recognized data is sent to the display / non-display control unit 4 together with the data transmitted from the emotion strength setting unit 12.
【００５９】表示・非表示制御部４は、送られたデータ
を見て、感情表現が「焦り」であることから、人間モデ
ルの額のあたりに汗オブジェクトを表示することを認識
し、その位置を計算し、強調オブジェクトである水滴モ
デルの位置データとする。さらに、感情強度により判定
済の６０％拡大表示することを併せて、これらの水滴モ
デルデータをシステム使用中データ部６に登録し、描画
表示部５に描画を指示する。The display / non-display control unit 4 sees the sent data and recognizes that the sweat object is displayed around the forehead of the human model because the emotional expression is "impulsive", and the position thereof is recognized. Is calculated and used as the position data of the water drop model which is the emphasized object. Further, the water drop model data is registered in the system-in-use data section 6 together with the 60% enlarged display determined by the emotion intensity, and the drawing display section 5 is instructed to draw.
【００６０】描画表示部５は、この伝達された画像に対
して、視線位置に応じた処理計算、色付け等の描画計算
を行ない、図示省略したディスプレイに表示する。この
ようにして１コマ目の画面が表示されたことがアニメー
ション制御部７等に伝達され、以後の処理は前述図２の
場合と同様であり、これにより感情強度データの付加さ
れた強調オブジェクトに基づくアニメーションを実現す
る。The drawing display unit 5 performs processing calculations and drawing calculations such as coloring according to the line-of-sight position on the transmitted image and displays it on a display (not shown). In this way, the fact that the screen of the first frame is displayed is transmitted to the animation control unit 7, etc., and the subsequent processing is the same as in the case of FIG. 2 described above. Realize animation based on.
【００６１】このように、本発明では、３次元ＣＧアニ
メーションにおける人物やそれに準ずる動物の顔の感情
表現の方法として、従来のように現実の顔の筋肉の動き
に合わせた顔形状の変形ではなく、顔形状とは別の２次
元絵画でよく使用される強調オブジェクトを３次元化さ
せて表示することで実現する。As described above, according to the present invention, as a method of expressing emotions of a face of a person or an animal corresponding thereto in a three-dimensional CG animation, it is not the conventional method of deforming the face shape according to the movement of facial muscles. , Which is often used in a two-dimensional painting different from the face shape, is realized by displaying the emphasized object in a three-dimensional manner.
【００６２】この結果、アニメーションに特有な感情の
強度表現等を簡単に実現することができる。また、従来
の感情表現では、現実の筋肉の動きを基にした顔形状変
形を用いているため、モデルが遠方にある場合など、表
示される顔の大きさや形によっては口や目などの動きが
小さくなってしまい、表情の読み取りが難しく、あいま
いに感じられることがあったが、本発明では強調オブジ
ェトの適用により、より表示したい感情表現を明確に見
ている側に伝えることができる。As a result, it is possible to easily realize the emotional strength expression peculiar to animation. In addition, conventional emotion expression uses facial shape deformation based on the actual movement of muscles, so movements such as mouth and eyes may change depending on the size and shape of the displayed face, such as when the model is distant. However, in the present invention, by applying the emphasis object, it is possible to clearly convey the emotional expression desired to be displayed to the viewer.
【００６３】本発明において使用される強調オブジェク
トは、勿論図３に示したものに限定されるものではな
い。例えば一般に２次元の絵や漫画などで感情を補足表
現するのに使用される、様々な記号を３次元化したオブ
ジェクトや背景オブジェクト、形はなく直接描画はされ
ないが、雰囲気のあるシーンを作成するのに重要な光源
や視野オブジェクト等を使用することができる。The emphasis object used in the present invention is of course not limited to the one shown in FIG. For example, it is generally used to supplement emotions in two-dimensional pictures and cartoons, and various symbols are made into three-dimensional objects, background objects, and there is no shape and they are not drawn directly, but create an atmosphere scene. It is possible to use a light source, a visual field object, etc.
【００６４】これらは、形状、質感とアニメーションの
内容のデータとして保持され、実際に人間や動物のモデ
ルの感情を表現する際に選択使用することができる。な
お本発明において感情強度データの付加は、アニメーシ
ョン表示のみに付加されるものではなく、図１に示す如
き、アニメーション表示を行なうものに対しても付加す
ることができる。These are stored as data of the shape, texture and animation contents, and can be selected and used when actually expressing the emotion of a human or animal model. In the present invention, the emotion strength data is not only added to the animation display, but can be added to the animation display as shown in FIG.
【００６５】前記説明では、汗オブジェクト、怒り皺オ
ブジェクト、アイデアオブジェクト、スポットライトオ
ブジェクトの例について説明したが、本発明における強
調オブジェクト側は勿論これらに限定されるものではな
い。In the above description, the sweat object, the anger wrinkle object, the idea object, and the spotlight object have been described, but the emphasized object side in the present invention is not limited to these.
【００６６】[0066]
【発明の効果】求項１に記載された本発明によれば、モ
デルに強調オブジェクトを付加することにより、その感
情表現を簡単な手法で、しかも遠くからでもわかり易い
表現で、読み取り易い、強調された表現として実現する
ことができる。According to the present invention described in claim 1, by adding an emphasizing object to a model, the emotional expression can be easily read and emphasized by a simple method and an expression that is easy to understand even from a distance. It can be realized as an expression.
【００６７】請求項２に記載された本発明によれば、さ
らにアニメーション表現を付加できるので前記メリット
に加え感情表現を一層強く、かつ細かな表現として実現
できる。According to the second aspect of the present invention, since the animation expression can be further added, the emotion expression can be realized as a stronger and more detailed expression in addition to the above merit.
【００６８】請求項３に記載された本発明によれば、さ
らに感情強度表現を付加できるので、更に感情表現を強
く、かつ細かな表現として実現できる。According to the third aspect of the present invention, since the emotion strength expression can be further added, the emotion expression can be realized as a strong and detailed expression.
【図１】本発明の原理構成図である。FIG. 1 is a principle configuration diagram of the present invention.
【図２】本発明の一実施の形態構成図である。FIG. 2 is a configuration diagram of an embodiment of the present invention.
【図３】本発明における強調オブジェクト例説明図であ
る。FIG. 3 is a diagram illustrating an example of an emphasized object according to the present invention.
【図４】本発明の第２の実施の形態構成図である。FIG. 4 is a configuration diagram of a second embodiment of the present invention.
【図５】本発明の第２の実施の形態の動作説明図であ
る。FIG. 5 is an operation explanatory diagram of the second embodiment of the present invention.
【図６】従来例説明図である。FIG. 6 is an explanatory diagram of a conventional example.
１ 強調オブジェクトデータ部 ２ 感情選択部 ３ 強調オブジェクト選択部 ４ 表示・非表示制御部 ５ 描画表示部 ６ システム使用中データ部 ７ アニメーション制御部 1 emphasized object data part 2 emotion selection part 3 emphasized object selection part 4 display / non-display control part 5 drawing display part 6 system in-use data part 7 animation control part
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12690196AJP3863216B2 (en) | 1996-05-22 | 1996-05-22 | Emotion expression device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12690196AJP3863216B2 (en) | 1996-05-22 | 1996-05-22 | Emotion expression device |
| Publication Number | Publication Date |
|---|---|
| JPH09311945Atrue JPH09311945A (en) | 1997-12-02 |
| JP3863216B2 JP3863216B2 (en) | 2006-12-27 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12690196AExpired - Fee RelatedJP3863216B2 (en) | 1996-05-22 | 1996-05-22 | Emotion expression device |
| Country | Link |
|---|---|
| JP (1) | JP3863216B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11242751A (en)* | 1998-02-24 | 1999-09-07 | Canon Inc | Animation control apparatus and method, and text-to-speech apparatus |
| JP2007193824A (en)* | 2000-04-13 | 2007-08-02 | Fujifilm Corp | Image processing method |
| JP2018530017A (en)* | 2015-07-30 | 2018-10-11 | インテル・コーポレーション | Emotion expansion avatar animation |
| JP2020516099A (en)* | 2017-03-28 | 2020-05-28 | Ｌｉｎｅ株式会社 | Communication device, method thereof, and computer program thereof |
| US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
| US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
| US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966429B (en)* | 2020-08-11 | 2024-10-18 | 中国矿业大学 | WGANs data enhancement-based nonlinear industrial process modeling method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11242751A (en)* | 1998-02-24 | 1999-09-07 | Canon Inc | Animation control apparatus and method, and text-to-speech apparatus |
| JP2007193824A (en)* | 2000-04-13 | 2007-08-02 | Fujifilm Corp | Image processing method |
| US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
| US11595617B2 (en) | 2012-04-09 | 2023-02-28 | Intel Corporation | Communication using interactive avatars |
| US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
| JP2018530017A (en)* | 2015-07-30 | 2018-10-11 | インテル・コーポレーション | Emotion expansion avatar animation |
| US10776980B2 (en) | 2015-07-30 | 2020-09-15 | Intel Corporation | Emotion augmented avatar animation |
| US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
| JP2020516099A (en)* | 2017-03-28 | 2020-05-28 | Ｌｉｎｅ株式会社 | Communication device, method thereof, and computer program thereof |
| Publication number | Publication date |
|---|---|
| JP3863216B2 (en) | 2006-12-27 |
| Publication | Publication Date | Title |
|---|---|---|
| US11619989B2 (en) | Gaze and saccade based graphical manipulation | |
| CN107154069B (en) | Data processing method and system based on virtual roles | |
| US20190347865A1 (en) | Three-dimensional drawing inside virtual reality environment | |
| US20130335405A1 (en) | Virtual object generation within a virtual environment | |
| US11710310B2 (en) | Virtual content positioned based on detected object | |
| TW201539305A (en) | Controlling a computing-based device using gestures | |
| US20160350957A1 (en) | Multitrack Virtual Puppeteering | |
| CN116958344A (en) | Animation generation method and device for virtual image, computer equipment and storage medium | |
| US20220245874A1 (en) | Method of converting and replaying styles of vector images | |
| JPH09311945A (en) | Model emotion expression device in 3D CG | |
| Jennings et al. | Requirements for a signing avatar | |
| CN112435316B (en) | Method and device for preventing mold penetration in game, electronic equipment and storage medium | |
| US12417574B2 (en) | Animation processing method and apparatus, electronic device and storage medium | |
| JP2003115055A (en) | Image generation device | |
| JP4824514B2 (en) | Program, information storage medium, and image generation system | |
| WO2020042442A1 (en) | Expression package generating method and device | |
| JP2007272356A (en) | Program, information storage medium, and image generation system | |
| CN116778114B (en) | Method for operating component, electronic device, storage medium and program product | |
| JP2017016439A (en) | Program, information processing apparatus, depth definition method, and recording medium | |
| JP2007026112A (en) | Program, information storage medium, and image generation system | |
| CN115686202A (en) | Three-dimensional model interactive rendering method across Unity/Optix platform | |
| KR20230170485A (en) | An electronic device for obtaining image data regarding hand gesture and a method for operating the same | |
| CN114332365A (en) | Virtual character image generation method, device, electronic device and storage medium | |
| Hasegawa et al. | Real-time synthesis of a humanlike agent in response to the user's moving image | |
| EP4567565A1 (en) | Interaction method and apparatus, storage medium, device, and program product |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Effective date:20060307 Free format text:JAPANESE INTERMEDIATE CODE: A971007 | |
| A131 | Notification of reasons for refusal | Effective date:20060328 Free format text:JAPANESE INTERMEDIATE CODE: A131 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20060523 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20060620 | |
| A521 | Written amendment | Effective date:20060810 Free format text:JAPANESE INTERMEDIATE CODE: A523 | |
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) | Effective date:20060828 Free format text:JAPANESE INTERMEDIATE CODE: A911 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Effective date:20060926 Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20060928 | |
| R150 | Certificate of patent (=grant) or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Year of fee payment:3 Free format text:PAYMENT UNTIL: 20091006 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Free format text:PAYMENT UNTIL: 20101006 Year of fee payment:4 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Year of fee payment:4 Free format text:PAYMENT UNTIL: 20101006 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Year of fee payment:5 Free format text:PAYMENT UNTIL: 20111006 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Free format text:PAYMENT UNTIL: 20111006 Year of fee payment:5 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Free format text:PAYMENT UNTIL: 20121006 Year of fee payment:6 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Year of fee payment:6 Free format text:PAYMENT UNTIL: 20121006 | |
| FPAY | Renewal fee payment (prs date is renewal date of database) | Year of fee payment:7 Free format text:PAYMENT UNTIL: 20131006 | |
| LAPS | Cancellation because of no payment of annual fees |