【０００１】[0001]
【発明の属する技術分野】本発明は、画像作成装置およ
び装置に関し、電子的な映像生成、コンピュータグラフ
ィクス、またはＣＡＤ（Computer Aided Design）など
において用いて好適な、画像作成装置および方法に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image forming apparatus and apparatus, and more particularly to an image forming apparatus and method suitable for use in electronic image generation, computer graphics, CAD (Computer Aided Design) and the like.
【０００２】[0002]
【従来の技術】近年、コンピュータグラフィクスの分野
において、表現力豊かな映像を作成するため、形状の微
細な凹凸を表現できるレンダリング方法が要求されてい
る。また、微細な凹凸までをも表現した映像を、バーチ
ャルリアリティーやゲームなどのリアルタイムアプリケ
ーションに適用したいという要求も高まっている。2. Description of the Related Art In recent years, in the field of computer graphics, a rendering method capable of expressing fine irregularities in shape has been required in order to create an image with rich expressiveness. In addition, there is an increasing demand to apply images representing even minute irregularities to real-time applications such as virtual reality and games.
【０００３】これらの要求を満たすため、ディスプレー
スメントマッピング法が提案されている。このディスプ
レースメントマッピング法は、モデル表面に距離画像と
して表現した凹凸を張り付けることによってレンダリン
グを行う技術であり、この技術を用いることにより、比
較的少ないパッチデータによって微細な凹凸のある形状
をレンダリングすることが可能である。In order to meet these requirements, a displacement mapping method has been proposed. This displacement mapping method is a technique for rendering by attaching irregularities expressed as a range image to the model surface, and by using this technique, a shape with fine irregularities is rendered with relatively few patch data. It is possible.
【０００４】従来のディスプレースメントマッピング法
は、微小ポリゴン分割法によって行われていた。これ
は、距離画像をマッピングしたパッチの表面上の点の座
標を適切な間隔で計算し、表面上の点を辺で結んで多数
の微小なポリゴン（パッチ）を作成し、これらを塗りつ
ぶすことによってレンダリングを行う方法である。その
場合、ポリゴンソーティング法などのように、手前のポ
リゴンを時間的に後から描くアルゴリズムが適用され
る。The conventional displacement mapping method is performed by the minute polygon division method. This is to calculate the coordinates of the points on the surface of the patch where the distance image is mapped at appropriate intervals, connect the points on the surface with edges to create many minute polygons (patches), and fill them. This is a method of rendering. In that case, an algorithm such as the polygon sorting method that draws the front polygon in time later is applied.
【０００５】[0005]
【発明が解決しようとする課題】レンダリングに使うこ
とができる時間が決まっているリアルタイムアプリケー
ションにおいては、 処理時間の予測は重要である。な
ぜならば、処理時間を正確に予測することにより、作成
した映像に及ぼす悪影響が最も少ない方法によるレンダ
リングの省略が可能だからである。逆に、処理時間の予
測が不正確であれば、レンダリングにおいて、時間の余
剰によるシステムのストールや、時間の不足によるレン
ダリングの打ち切りの原因となる。Prediction of processing time is important in real-time applications where the time available for rendering is fixed. This is because by accurately predicting the processing time, rendering can be omitted by a method that has the least adverse effect on the created video. On the other hand, if the prediction of the processing time is inaccurate, it will cause a system stall due to the surplus time in the rendering and a rendering abort due to the lack of the time.
【０００６】しかしながら、従来の微小ポリゴン分割法
によるディスプレースメントマッピング法においては、
所要時間の正確な予測は困難である。なぜならばレンダ
リングの最終段階における微小ポリゴンの塗りつぶしの
所要時間は、画面上における画素数に支配されるが、微
小ポリゴン分割によって生じる極めて多数のポリゴンに
ついて、画面上における画素数をレンダリングの初期段
階であらかじめ求めておくことは困難だからである。However, in the displacement mapping method using the conventional minute polygon division method,
Accurate prediction of the time required is difficult. This is because the time required to fill the minute polygons in the final stage of rendering is governed by the number of pixels on the screen. Because it is difficult to ask for it.
【０００７】特に、ポリゴンソーティング法などのよう
に、手前のモデル（ポリゴン）を時間的に後から描くア
ルゴリズムをリアルタイムレンダリングに適用する場
合、時間の不足による描画の打ち切りは、視点に最も近
いパッチの欠損を引き起こし、最も目立つ部分において
画像を著しく損なう原因となる。すなわち、リアルタイ
ム用途でソーティング法を用いた従来の方法は、制限時
間切れでレンダリングを打ち切っていた。このため、最
後に処理される視点に近く、視覚上最も重要なパッチ
が、レンダリングされない場合があった。In particular, when applying an algorithm for drawing a front model (polygon) from a later point in time, such as the polygon sorting method, to real-time rendering, the cutoff of drawing due to lack of time is caused by the patch closest to the viewpoint. It causes a defect and causes a significant loss of the image in the most conspicuous part. That is, in the conventional method that uses the sorting method for real-time use, rendering is terminated after the time limit expires. Therefore, the visually most important patch close to the last processed viewpoint may not be rendered.
【０００８】以上のことから、ディスプレースメントマ
ッピング法によって、正確な時間予測に基づいた高品質
の映像を作成するために、処理時間の予測が容易なレン
ダリング方法が望まれていた。From the above, there has been a demand for a rendering method in which the processing time can be easily predicted in order to create a high quality image based on the accurate time prediction by the displacement mapping method.
【０００９】本発明はこのような状況に鑑みてなされた
ものであり、ディスプレースメントマッピング法を用い
た、処理時間の予測が容易なレンダリング方法を実現す
るとともに、予測した処理時間に対応して、レンダリン
グ品質を制御し、欠損の目立たない画像を作成すること
ができるようにするものである。The present invention has been made in view of the above circumstances, and realizes a rendering method that uses the displacement mapping method and that can easily predict the processing time. It controls the rendering quality and makes it possible to create an image in which defects are inconspicuous.
【００１０】[0010]
【課題を解決するための手段】請求項１に記載の画像作
成装置は、平面パッチの座標を、テクスチャ座標上の座
標に変換する座標変換手段と、画像を構成する画素をス
クリーン座標上へ描画する描画手段と、距離画像に対応
して、描画手段による画素のスクリーン座標上への描画
位置を制御する描画位置制御手段とを備えることを特徴
とする。According to a first aspect of the present invention, there is provided an image forming apparatus, wherein coordinate conversion means for converting coordinates of a plane patch into coordinates on texture coordinates, and pixels forming an image on screen coordinates. And a drawing position control unit for controlling the drawing position of the pixel on the screen coordinates by the drawing unit in correspondence with the distance image.
【００１１】請求項１４に記載の画像作成方法は、平面
パッチの座標を、テクスチャ座標上の座標に変換し、画
像を構成する画素をスクリーン座標上へ描画するとき
に、距離画像に対応して、画素のスクリーン座標上への
描画位置を制御することを特徴とする。According to a fourteenth aspect of the present invention, in the image forming method, the coordinates of the plane patch are converted into the coordinates on the texture coordinates, and when the pixels forming the image are drawn on the screen coordinates, the distance images are corresponded. , And the drawing position of the pixel on the screen coordinates is controlled.
【００１２】請求項１に記載の画像作成装置において
は、座標変換手段により、平面パッチの座標がテクスチ
ャ座標上の座標に変換され、描画手段により、画像を構
成する画素がスクリーン座標上へ描画され、描画位置制
御手段により、距離画像に対応して、描画手段による画
素のスクリーン座標上への描画位置が制御される。従っ
て、描画処理時間の予測を容易に行うことができる。In the image creating apparatus according to the first aspect, the coordinate conversion means converts the coordinates of the plane patch into the coordinates on the texture coordinates, and the drawing means draws the pixels forming the image on the screen coordinates. The drawing position control means controls the drawing position of the pixel on the screen coordinates by the drawing means in correspondence with the distance image. Therefore, it is possible to easily predict the drawing processing time.
【００１３】請求項１４に記載の画像作成方法において
は、平面パッチの座標を、テクスチャ座標上の座標に変
換し、画像を構成する画素をスクリーン座標上へ描画す
るときに、距離画像に対応して、画素のスクリーン座標
上への描画位置を制御する。従って、描画処理時間の予
測を容易に行うことができる。In the image forming method according to the fourteenth aspect, the coordinates of the plane patch are converted into the coordinates on the texture coordinates, and when the pixels forming the image are drawn on the screen coordinates, they correspond to the distance image. Then, the drawing position of the pixel on the screen coordinate is controlled. Therefore, it is possible to easily predict the drawing processing time.
【００１４】[0014]
【発明の実施の形態】図１は、距離画像の組合せから成
るデータによるレンダリング方法の処理概要を示してい
る。図１に示したように、まず、距離画像などのテクス
チャ画像の並び３０７と概略パッチの並び３０５に対し
て、視点６３０、光源６３２、および投影面６１９が決
定される。次に、視点６３０から見える概略パッチ上の
テクスチャ画素の補間やライティング計算などによっ
て、描画する画素６４１が計算される。最後に、この画
素６４１が画像データ８としてスクリーン座標上に描画
されることによってレンダリングが行われる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows the outline of processing of a rendering method using data composed of a combination of range images. As shown in FIG. 1, first, the viewpoint 630, the light source 632, and the projection plane 619 are determined for the texture image array 307 such as a distance image and the schematic patch array 305. Next, the pixel 641 to be drawn is calculated by interpolation of the texture pixel on the rough patch seen from the viewpoint 630, lighting calculation, or the like. Finally, rendering is performed by drawing the pixel 641 as the image data 8 on the screen coordinates.
【００１５】図２は、図１に示した処理が実行されると
きのデータの流れを示している。モデルデータ３および
変換行列データ６は、レンダリング部５に入力され、レ
ンダリング処理が施された後、画像データとして出力さ
れる。レンダリング部５は、後述する中央処理装置（Ｃ
ＰＵ）１２において実行される所定のアプリケーション
プログラムによって構成される。FIG. 2 shows the flow of data when the processing shown in FIG. 1 is executed. The model data 3 and the conversion matrix data 6 are input to the rendering unit 5, subjected to rendering processing, and then output as image data. The rendering unit 5 includes a central processing unit (C
PU) 12 is configured by a predetermined application program.
【００１６】図３は、本発明の画像作成装置の構成例を
示している。この画像作成装置において、ディスク１１
は、モデルデータ３、変換行列データ６、およびアプリ
ケーションプログラム等を記憶する。ＣＰＵ１２は、デ
ィスク１１から主記憶１３にロードされたアプリケーシ
ョンプログラムに従って動作し、ディスク１１より供給
されたデータに基づいて、レンダリング処理等を行うよ
うになされている。FIG. 3 shows an example of the structure of the image forming apparatus of the present invention. In this image creating apparatus, the disk 11
Stores model data 3, conversion matrix data 6, and application programs. The CPU 12 operates according to an application program loaded from the disk 11 to the main memory 13, and performs a rendering process and the like based on the data supplied from the disk 11.
【００１７】ディスク１４は、ＣＰＵ１２より供給され
たレンダリング処理された結果を記録する。表示装置１
５は、ＣＰＵ１２より供給されたレンダリング処理され
た結果に対応する画像を表示するようになされている。The disk 14 records the rendering processing result supplied from the CPU 12. Display device 1
Reference numeral 5 is adapted to display an image corresponding to the result of the rendering processing supplied from the CPU 12.
【００１８】モデルデータ３および変換行列データ６は
ＣＰＵ１２に入力される。ＣＰＵ１２に供給されたモデ
ルデータ３は、変換行列データ６を用いてレンダリング
部５によりレンダリング処理が行われる。レンダリング
部５において作成された画像データ８は、ディスク装置
１４に保存されるか、または表示装置１５に供給されて
表示される。レンダリング部５における処理の中間結果
や入出力データは、必要に応じて主記憶装置１３に一時
的に保存され、ＣＰＵ１２により適宜読み出される。The model data 3 and the conversion matrix data 6 are input to the CPU 12. The model data 3 supplied to the CPU 12 is subjected to rendering processing by the rendering unit 5 using the conversion matrix data 6. The image data 8 created in the rendering unit 5 is stored in the disk device 14 or supplied to the display device 15 for display. The intermediate result of the processing in the rendering unit 5 and the input / output data are temporarily stored in the main storage device 13 as needed, and are appropriately read by the CPU 12.
【００１９】次に、モデルデータ３について説明する。
上記実施例に入力されるデータは、例えば図４に示した
ような構成のモデルデータ３を、一枚の画像データをレ
ンダリングするために必要なモデル全体について組み合
わせたものである。モデルデータ３は、概略パッチデー
タ３４の並び３０４、物体の形状と表面の状態を表すテ
クスチャ画像データ３６の並び３０６、および補間制御
データ３０の並び３００から構成されている。１個の概
略パッチデータ３４は、テクスチャ画像データ３６、お
よび補間制御データ３０を１個ずつ参照している。Next, the model data 3 will be described.
The data input to the above-described embodiment is, for example, the model data 3 having the configuration shown in FIG. 4 combined for all the models necessary for rendering one image data. The model data 3 is composed of an array 304 of schematic patch data 34, an array 306 of texture image data 36 representing the shape and surface state of an object, and an array 300 of interpolation control data 30. Each piece of the rough patch data 34 refers to the texture image data 36 and the interpolation control data 30 one by one.
【００２０】概略パッチデータ３４の並び３０４は、図
１において、モデルの概略の形状を表す複数の概略パッ
チの並び３０５を表すデータであり、テクスチャ画像デ
ータ３６の並び３０６は、物体の形状と表面の状態を表
すテクスチャ画像の並び３０７を表すデータである。こ
れらのデータはディスク装置１１に記憶される。A row 304 of the rough patch data 34 is data representing a row 305 of a plurality of rough patches representing the rough shape of the model in FIG. 1, and a row 306 of the texture image data 36 is a shape and surface of the object. This is data representing an array 307 of texture images representing the state of. These data are stored in the disk device 11.
【００２１】テクスチャ画像データ３６は、後述するよ
うに、テクスチャ画素データ３８を２次元状に並べたも
のであり、テクスチャ画素データ３８は、オリジナルモ
デルの凹凸や表面の状態を表すデータから成る。テクス
チャ画像の中の距離画像同士が接触するか、または重な
ることによって、所定のモデルの形状を表すモデルデー
タ３が構成される。As will be described later, the texture image data 36 is formed by arranging the texture pixel data 38 in a two-dimensional form, and the texture pixel data 38 is composed of data representing the irregularities and the surface condition of the original model. The model data 3 representing the shape of a predetermined model is configured by contacting or overlapping of distance images in the texture image.
【００２２】次に、概略パッチデータ３４について説明
する。図５は、上記実施例に入力される概略パッチデー
タ３４の構成例を示している。概略パッチデータ３４
は、モデル全体を取り囲むポリゴンのひとつを表してい
る。Next, the outline patch data 34 will be described. FIG. 5 shows a configuration example of the general patch data 34 input to the above-mentioned embodiment. Outline patch data 34
Represents one of the polygons surrounding the entire model.
【００２３】ＭＣ頂点座標３４０は、モデルを記述する
モデリング座標系（ＭＣ：Model Coordinate）における
パッチの形状や大きさを表すデータである。ここでは、
上記実施例におけるパッチは、オリジナルモデルを包囲
する直方体の各面に対応しており、ＭＣ頂点座標３４０
は、その形状および大きさを表すものとされている。Ｔ
Ｃ頂点座標３４２は、テクスチャ画像データの格子に対
応したテクスチャ座標系（ＴＣ：Texture Coordinate）
において、パッチの各頂点に対応づけるテクスチャデー
タの位置や倍率を決定する。The MC vertex coordinates 340 are data representing the shape and size of a patch in a modeling coordinate system (MC: Model Coordinate) that describes a model. here,
The patch in the above embodiment corresponds to each surface of the rectangular parallelepiped surrounding the original model, and the MC vertex coordinates 340
Is to represent its shape and size. T
The C vertex coordinate 342 is a texture coordinate system (TC: Texture Coordinate) corresponding to the lattice of the texture image data.
At, the position and scale factor of the texture data associated with each vertex of the patch are determined.
【００２４】また、テクスチャ座標系からモデリング座
標系への変換を行うための変換行列３４４は、モデリン
グ座標系におけるパッチの頂点のモデリング座標と、こ
のパッチ上にマッピングするテクスチャの分解能に基づ
く画素数から求められるテクスチャ座標系におけるパッ
チの頂点に対応するテクスチャ座標との間の変換行列で
ある。この行列は、４頂点のモデリング座標系およびテ
クスチャ座標系のそれぞれの座標から求められる。ま
た、テクスチャ画像データへの参照３４６は、概略パッ
チにマッピングするテクスチャ画像データ３６を参照す
るためのポインタなどからなる。The transformation matrix 344 for transforming from the texture coordinate system to the modeling coordinate system is calculated from the modeling coordinates of the vertices of the patch in the modeling coordinate system and the number of pixels based on the resolution of the texture to be mapped on this patch. It is a transformation matrix with the texture coordinates corresponding to the vertices of the patch in the obtained texture coordinate system. This matrix is obtained from the coordinates of the four-vertex modeling coordinate system and the texture coordinate system. Further, the reference 346 to the texture image data is composed of a pointer or the like for referring to the texture image data 36 to be mapped to the rough patch.
【００２５】次に、テクスチャ画像データ３６について
説明する。図６は、上記実施例に入力されるテクスチャ
画像データ３６の例を示しており、図７は、上記実施例
に入力されるテクスチャ画素データ３８の例を示してい
る。テクスチャ画像データ３６は、テクスチャ座標をテ
クスチャ画素アドレスに変換するためのテクスチャ画素
アドレス変換係数３６２と、テクスチャ画素データ３８
の２次元配列との組である。２次元配列テクスチャ画素
アドレスｓおよびテクスチャ画素アドレスｔを要素番号
としてアクセスすることができる。Next, the texture image data 36 will be described. FIG. 6 shows an example of the texture image data 36 input to the above embodiment, and FIG. 7 shows an example of the texture pixel data 38 input to the above embodiment. The texture image data 36 includes texture pixel address conversion coefficients 362 for converting texture coordinates into texture pixel addresses, and texture pixel data 38.
And a two-dimensional array of The two-dimensional array texture pixel address s and the texture pixel address t can be accessed as element numbers.
【００２６】テクスチャ画素データ３８は、テクスチャ
画像を構成する画素データであり、以下の内容を含んで
いる。すなわち、テクスチャ画素距離データ３８１は、
パッチから垂直（パッチの法線方向に）にサンプリング
した、パッチからオリジナルモデルまでの距離を表して
いる。テクスチャ画素色データ３８３は、パッチ上のテ
クスチャ画素に投影したオリジナルモデル上の色を表し
ている。また、テクスチャ画素法線データ３８５は、パ
ッチ上のテクスチャ画素に投影したオリジナルモデル上
の法線ベクトルを表している。テクスチャ画素アルファ
データ３８７は、オリジナルモデルからパッチ上のテク
スチャ画素に投影されたオリジナルモデルの有無を表し
ている。The texture pixel data 38 is pixel data forming a texture image and includes the following contents. That is, the texture pixel distance data 381 is
It represents the distance from the patch to the original model, which is sampled vertically from the patch (in the normal direction of the patch). The texture pixel color data 383 represents the color on the original model projected on the texture pixel on the patch. Further, the texture pixel normal data 385 represents a normal vector on the original model projected on the texture pixels on the patch. The texture pixel alpha data 387 represents the presence or absence of the original model projected from the original model onto the texture pixels on the patch.
【００２７】次に、補間制御データ３０について説明す
る。図８は、補間制御データ３０の例を示しており、図
９は、補間制御データ３０を構成する画素間補間制御デ
ータ３２の例を示している。補間制御データ３０は、画
素間補間制御データ３２の２次元配列からなり、パッチ
上の距離画像データの連続性を表している。Next, the interpolation control data 30 will be described. FIG. 8 shows an example of the interpolation control data 30, and FIG. 9 shows an example of the inter-pixel interpolation control data 32 forming the interpolation control data 30. The interpolation control data 30 is composed of a two-dimensional array of inter-pixel interpolation control data 32 and represents the continuity of the distance image data on the patch.
【００２８】画素間補間制御データ３２は、ｓ方向補間
制御データ３２１およびｔ方向補間制御データ３２３か
ら成る。ｓ方向補間制御データ３２１およびｔ方向補間
制御データ３２３は、パッチ上の隣接テクスチャ画素間
において、モデルが連続しているかどうかを規定する。
これらの画素間補間制御データ３２は、テクスチャ画素
に対応しており、テクスチャ画素アドレスｓおよびｔに
よりアクセスが可能である。The inter-pixel interpolation control data 32 is composed of s-direction interpolation control data 321 and t-direction interpolation control data 323. The s-direction interpolation control data 321 and the t-direction interpolation control data 323 define whether or not the model is continuous between adjacent texture pixels on the patch.
These inter-pixel interpolation control data 32 correspond to texture pixels and can be accessed by texture pixel addresses s and t.
【００２９】テクスチャ画素アドレスが（ｓ，ｔ）の画
素のｓ方向補間制御データ３２１が１であれば、テクス
チャ画素アドレスが（ｓ，ｔ）および（ｓ＋１，ｔ）の
間において、モデルは不連続であることを意味し、０で
あれば連続であることを意味している。また、テクスチ
ャ画素アドレスが（ｓ，ｔ）の画素のｔ方向補間制御デ
ータ３２３が１であれば、テクスチャ画素アドレスが
（ｓ，ｔ）および（ｓ，ｔ＋１）の間において、モデル
が不連続であることを意味し、０であれば連続であるこ
とを意味している。If the s-direction interpolation control data 321 of the pixel having the texture pixel address (s, t) is 1, the model is discontinuous between the texture pixel addresses (s, t) and (s + 1, t). And 0 means continuous. If the t direction interpolation control data 323 of the pixel having the texture pixel address (s, t) is 1, the model is discontinuous between the texture pixel addresses (s, t) and (s, t + 1). It means that there is, and 0 means that it is continuous.
【００３０】次に、変換行列データ６について説明す
る。図１０は、レンダリング部５に入力される変換行列
データ６の例を示している。変換行列データ６は、例え
ばモデリング座標系（ＭＣ）から視点座標系（ＶＣ）へ
の変換行列、およびその逆行列などの座標変換データ６
１、並びにライティングに関連するライティングデータ
６３からなる。Next, the conversion matrix data 6 will be described. FIG. 10 shows an example of the conversion matrix data 6 input to the rendering unit 5. The transformation matrix data 6 is, for example, the transformation matrix from the modeling coordinate system (MC) to the viewpoint coordinate system (VC), and its inverse matrix.
1 and writing data 63 related to writing.
【００３１】座標変換データ６１は、例えばモデリング
座標系から視点座標系への変換行列６１１、視点座標系
からモデリング座標系への変換行列６１２、およびモデ
リング座標系からスクリーン同次座標系（ＨＳＣ）への
変換行列６１３から成る。さらに、ライティングデータ
６３は、図１に示した視点６３０の位置を表す視点座標
データ６３１、および光源６３２の位置を表す光源座標
データ６３３から成る。The coordinate transformation data 61 is, for example, a transformation matrix 611 from a modeling coordinate system to a viewpoint coordinate system, a transformation matrix 612 from a viewpoint coordinate system to a modeling coordinate system, and a modeling coordinate system to a screen homogeneous coordinate system (HSC). Of the transformation matrix 613. Further, the lighting data 63 includes viewpoint coordinate data 631 indicating the position of the viewpoint 630 shown in FIG. 1 and light source coordinate data 633 indicating the position of the light source 632.
【００３２】上記実施例によりレンダリング処理された
結果としての画像データ８は、画像を構成するＲ
（赤），Ｇ（緑），Ｂ（青）の各画素値の２次元配列よ
りなる。The image data 8 as a result of the rendering process according to the above-described embodiment is R constituting an image.
It consists of a two-dimensional array of pixel values of (red), G (green), and B (blue).
【００３３】図１１は、ＣＰＵ１２が所定のアプリケー
ションプログラムを実行することにより構成されるレン
ダリング部５の構成およびデータの流れを示している。
レンダリング部５を構成するモデルデータソーティング
部５１は、まず、モデルデータ３の中の概略パッチデー
タの並び３０４に対してソーティングを行い、視点から
遠い順に、概略パッチデータ３４ｐをひとつずつ取り出
すようになされている。FIG. 11 shows the configuration and data flow of the rendering unit 5 which is formed by the CPU 12 executing a predetermined application program.
The model data sorting unit 51 that constitutes the rendering unit 5 first sorts the rough patch data array 304 in the model data 3 so as to take out the rough patch data 34p one by one in the order distant from the viewpoint. ing.
【００３４】座標変換部５３は、モデルデータソーティ
ング部５１より供給された概略パッチデータ３４ｐに含
まれる変換行列と、座標変換データ６１に含まれる変換
行列を乗じることにより、視点や視線に依存した変換行
列群６５を作成する。次に、視点座標や光源座標のテク
スチャ座標系への座標変換を行う。テクスチャ座標計算
部５５（座標変換手段）は、概略パッチデータ３４ｐの
各頂点座標をテクスチャ座標系に変換し、テクスチャ座
標系における概略パッチ上のテクスチャ座標を２次元的
にスキャンすることにより、パッチ上でのテクスチャ座
標データ６４を一定の間隔で求め、出力するようになさ
れている。The coordinate transformation unit 53 multiplies the transformation matrix included in the rough patch data 34p supplied from the model data sorting unit 51 by the transformation matrix included in the coordinate transformation data 61 to transform depending on the viewpoint or line of sight. The matrix group 65 is created. Next, coordinate conversion of the viewpoint coordinates and the light source coordinates into the texture coordinate system is performed. The texture coordinate calculation unit 55 (coordinate transformation means) transforms each vertex coordinate of the rough patch data 34p into a texture coordinate system, and two-dimensionally scans the texture coordinates on the rough patch in the texture coordinate system, thereby performing a two-dimensional scan on the patch. The texture coordinate data 64 is obtained at a constant interval and output.
【００３５】テクスチャ画素計算部５７は、概略パッチ
データ３４ｐとテクスチャ座標データ６４から、テクス
チャ画素データ３８の読み出しと補間を行い、補間済み
テクスチャ画素データ３９ｐを作成する。最後に、画像
描画部５９（描画手段、描画位置制御手段、精度調整手
段）は、補間済みテクスチャ画素データ３９ｐ、テクス
チャ座標データ６４、および変換行列群６５から、画素
値データ６６と画素値データ６６のそれぞれに対応する
スクリーン座標データ６８を計算し、レンダリング結果
としての画像データ８を出力する。レンダリング部５よ
り出力された画像データ８に対応する画像は、ディスク
装置１４に記録されたり、表示装置１５に表示されるよ
うになされている。The texture pixel calculator 57 reads out and interpolates the texture pixel data 38 from the rough patch data 34p and the texture coordinate data 64 to create interpolated texture pixel data 39p. Finally, the image drawing unit 59 (drawing means, drawing position control means, precision adjusting means) uses the interpolated texture pixel data 39p, the texture coordinate data 64, and the conversion matrix group 65 to determine pixel value data 66 and pixel value data 66. The screen coordinate data 68 corresponding to each of these are calculated, and the image data 8 as the rendering result is output. The image corresponding to the image data 8 output from the rendering unit 5 is recorded on the disk device 14 or displayed on the display device 15.
【００３６】以下、図１１に示したレンダリング部５の
動作について説明する。モデルデータソーティング部５
１には、モデルデータ３および変換行列データ６が入力
される。次に、視点からパッチの重心までの視線方向に
計った距離に基づき、モデルデータ３が含む概略パッチ
全体に対してソーティングが行われる。最後に、ソート
結果に基づいて、視点から遠い順に概略パッチデータ３
４ｐが１つずつ出力される。The operation of the rendering section 5 shown in FIG. 11 will be described below. Model data sorting section 5
The model data 3 and the conversion matrix data 6 are input to 1. Next, based on the distance measured from the viewpoint to the center of gravity of the patch in the line-of-sight direction, sorting is performed on the entire schematic patch included in the model data 3. Finally, based on the sorting result, the rough patch data 3
4p is output one by one.
【００３７】座標変換部５３においては、モデルデータ
ソーティング５１より供給された概略パッチデータ３４
ｐに含まれる変換行列３４４と、座標変換データ６１か
ら取り出された変換行列を乗じることによって、視点や
視線に依存した変換行列群６５が作成されるとともに、
視点座標データや光源座標データのテクスチャ座標系へ
の座標変換が行われる。In the coordinate conversion unit 53, the rough patch data 34 supplied from the model data sorting 51.
By multiplying the conversion matrix 344 included in p by the conversion matrix extracted from the coordinate conversion data 61, the conversion matrix group 65 depending on the viewpoint and the line of sight is created, and
Coordinate conversion of the viewpoint coordinate data and the light source coordinate data to the texture coordinate system is performed.
【００３８】変換行列群６５は、視点座標系からテクス
チャ座標系への変換行列、テクスチャ座標系から視点座
標系への変換行列、テクスチャ座標系からスクリーン同
次座標系への変換行列、さらには視点座標データ６３１
および光源座標データ６３３を、テクスチャ座標系に変
換したテクスチャ座標系（ＴＣ）視点データ６３１ｔお
よびテクスチャ座標系（ＴＣ）光源データ６３３ｔから
成る。The transformation matrix group 65 is a transformation matrix from the viewpoint coordinate system to the texture coordinate system, a transformation matrix from the texture coordinate system to the viewpoint coordinate system, a transformation matrix from the texture coordinate system to the screen homogeneous coordinate system, and further the viewpoint. Coordinate data 631
And texture coordinate system (TC) viewpoint data 631t obtained by converting the light source coordinate data 633 into a texture coordinate system and texture coordinate system (TC) light source data 633t.
【００３９】図１２は、図１に示した概略パッチの並び
３０５から、モデルデータソーティング部５１でソート
したパッチのひとつ（概略パッチ３５ａ）が取り出さ
れ、座標変換部５３において視点座標データ６３１と光
源座標データ６３３がテクスチャ座標系の視点座標デー
タ６３１ｔと光源座標データ６３３ｔに変換された状態
を示している。In FIG. 12, one of the patches (general patch 35a) sorted by the model data sorting section 51 is extracted from the schematic patch arrangement 305 shown in FIG. 1, and the coordinate conversion section 53 extracts the viewpoint coordinate data 631 and the light source. The coordinate data 633 is shown as being converted into the viewpoint coordinate data 631t and the light source coordinate data 633t in the texture coordinate system.
【００４０】図１３は、図１２に示した概略パッチ３５
ａに、テクスチャ座標計算部５５における処理が施され
たものである。テクスチャ座標計算部５５は、図１２に
おけるモデリング座標系の概略パッチ３５ａをテクスチ
ャ座標系の概略パッチ３５ａｔに変換し、概略パッチ３
５ａｔ上のテクスチャ座標を２次元的にスキャンするこ
とにより、概略パッチ３５ａｔ上でのテクスチャ座標６
４ｐを一定の間隔で求め、順次出力する。FIG. 13 is a schematic patch 35 shown in FIG.
a is processed by the texture coordinate calculation unit 55. The texture coordinate calculation unit 55 converts the rough patch 35a of the modeling coordinate system in FIG. 12 into the rough patch 35at of the texture coordinate system, and the rough patch 3
By scanning the texture coordinates on 5at two-dimensionally, the texture coordinates on the rough patch 35at 6
4p is obtained at regular intervals and sequentially output.
【００４１】まず、テクスチャ座標計算部５５では、テ
クスチャ座標のスキャン単位が求められる。概略パッチ
３５ａｔ上の１テクスチャ画素に対応するスクリーン
（投影面）６１９上における大きさの最小値を求め、こ
の最小値に係数を乗じたものをスキャン単位とする。上
記実施例における係数は、例えばｓ方向およびｔ方向に
ついてそれぞれ１テクスチャ画素に対応するスクリーン
画素上における大きさの０．５画素分としている。First, the texture coordinate calculation unit 55 obtains a scan unit of texture coordinates. The minimum value of the size on the screen (projection surface) 619 corresponding to one texture pixel on the rough patch 35at is obtained, and the minimum value is multiplied by a coefficient to be the scan unit. The coefficient in the above-described embodiment is, for example, 0.5 pixel of the size on the screen pixel corresponding to one texture pixel in each of the s direction and the t direction.
【００４２】次に、テクスチャ座標のスキャン単位と、
テクスチャ画像の面積比から、スキャン単位が計算され
た後の処理コストが求められる。その結果、制限時間以
内にレンダリングが終了する見通しが立たない場合、例
えばレンダリング品質を犠牲にしても制限時間内でのレ
ンダリングを可能とするために、スキャン単位を大きく
するなどの処理が行われる。Next, the scan unit of texture coordinates,
The processing cost after the scan unit is calculated is obtained from the area ratio of the texture image. As a result, when it is not possible to finish the rendering within the time limit, for example, a process such as increasing the scan unit is performed in order to enable the rendering within the time limit even if the rendering quality is sacrificed.
【００４３】次に、スキャンの初期値（スキャン開始
点）、およびメジャースキャンの方向および増分、並び
にマイナースキャンの方向および増分が決定される。ま
ず、スキャン初期値６４１は、視点座標データ６３１ｔ
で表される視点６３０から最も遠いところに定められ
る。次に、スキャン初期値６４１から始まってパッチ３
５ａｔ全体をスキャンする方向を２種類定め、１単位の
スキャンで視点に近づく距離が大きい方の方向をメジャ
ースキャンとし、１単位のスキャンで視点に近づく距離
が小さい方の方向をマイナースキャンとする。Next, the initial value of the scan (scan start point), the direction and increment of the major scan, and the direction and increment of the minor scan are determined. First, the scan initial value 641 is the viewpoint coordinate data 631t.
Is determined at the position farthest from the viewpoint 630 represented by. Next, starting from the scan initial value 641, patch 3
Two types of directions for scanning the entire 5 at are defined, and a direction in which one unit scan has a larger distance to the viewpoint is a major scan, and a direction in which one unit scan has a smaller distance to the viewpoint is a minor scan.
【００４４】例えば図１３においては、スキャン初期値
６４１から始まってパッチ３５ａｔ全体をスキャンする
方向は、−ｔ方向６４３、および−ｓ方向６４５の２種
類である。このうち、視点に近づく距離が大きい方の−
ｔ方向６４３をメジャースキャン、小さい方の−ｓ方向
６４５をマイナースキャンとする。For example, in FIG. 13, there are two directions in which the entire patch 35at is scanned starting from the scan initial value 641: the -t direction 643 and the -s direction 645. Of these, the one that comes closer to the viewpoint-
The t direction 643 is a major scan, and the smaller -s direction 645 is a minor scan.
【００４５】最後に、テクスチャ座標のスキャン初期値
６４１に、マイナー方向の増分（マイナー増分）を加え
ることで、テクスチャ座標６４ｐを一定の間隔で順次求
め、出力する。テクスチャ座標が概略パッチ３５ａｔを
はみ出した場合、メジャー方向の増分（メジャー増分）
をスキャン初期値５４１に加え、マイナー方向を初期化
する（マイナー方向の座標をスキャン初期値６４１と同
一の座標にする）。Finally, by adding an increment in the minor direction (minor increment) to the scan initial value 641 of the texture coordinate, the texture coordinate 64p is sequentially obtained at constant intervals and output. When the texture coordinates exceed the outline patch 35at, the increment in the major direction (major increment)
Is added to the scan initial value 541 to initialize the minor direction (coordinates in the minor direction are the same as the scan initial value 641).
【００４６】図１４は、テクスチャ画素計算部５７にお
ける画素の読み出しと補間の作用を示している。まず、
テクスチャ座標データ６４の整数部と、現在レンダリン
グ中のパッチのテクスチャ画素アドレス変換係数３６２
が、テクスチャ画素計算部５７のテクスチャ画素読み出
し部（図示せず）を介して入力され、テクスチャ画素の
アドレスとテクスチャ座標の端数（小数部）が得られ
る。FIG. 14 shows the operation of pixel reading and interpolation in the texture pixel calculator 57. First,
The integer part of the texture coordinate data 64 and the texture pixel address conversion coefficient 362 of the patch currently being rendered.
Is input via a texture pixel reading unit (not shown) of the texture pixel calculation unit 57, and the address of the texture pixel and the fraction (decimal part) of the texture coordinate are obtained.
【００４７】次に、テクスチャ画像データ３６からテク
スャ画素のアドレスで指示されるテクスチャ画素データ
３８と、その４連結のテクスチャ画素データ３８が読み
出され、テクスチャ画素補間部５７３に入力される。ま
た、補間制御データ３０から、テクスチャ画素のアドレ
スで指示される画素間補間制御データ３２が読み出さ
れ、同様にテクスチャ画素補間部５７３に入力される。
ここで、４連結のデータのうち、前回のマイナー増分を
加える前に読み出されたものがあればそれを使うことも
できる。Next, from the texture image data 36, the texture pixel data 38 designated by the address of the texturer pixel and the 4-connected texture pixel data 38 are read out and input to the texture pixel interpolation unit 573. Further, the inter-pixel interpolation control data 32 designated by the texture pixel address is read from the interpolation control data 30 and similarly input to the texture pixel interpolating unit 573.
Here, of the 4-connected data, if there is data read before adding the previous minor increment, it can be used.
【００４８】読み込んだテクスチャ画素データ３８と画
素間補間制御データ３２、およびテクスチャ座標の端数
は、テクスチャ画素補間部５７３に入力され、距離画素
値のバイリニア補間、色画素値のバイリニア補間、法線
値のバイリニア補間および長さ１への正規化が行われ
る。その結果として、補間済み距離データ３９１ｐ、補
間済み色データ３９３ｐ、補間・正規化済み法線データ
３９５ｐ、および補間済みアルファデータ３９７ｐなど
からなる補間済みテクスチャ画素データ３９ｐが得られ
る。The read texture pixel data 38, the inter-pixel interpolation control data 32, and the fraction of the texture coordinates are input to the texture pixel interpolation unit 573, and the distance pixel value bilinear interpolation, the color pixel value bilinear interpolation, and the normal line value are input. Bilinear interpolation and normalization to length 1 are performed. As a result, interpolated texture pixel data 39p including interpolated distance data 391p, interpolated color data 393p, interpolated / normalized normal data 395p, and interpolated alpha data 397p is obtained.
【００４９】ここで、読み出した画素のアルファデータ
が「０」、つまりモデルの不存在を指示している場合は
描画を行わない。また、ｓ方向補間制御データ３２１ｐ
が「１」、つまり不連続を指示している場合は、ｓ方向
に近い整数に丸められたｓテクスチャ座標に対応するテ
クスチャ画素を使用してｔ方向だけのリニア補間が行わ
れる。一方、ｔ方向補間制御データ３２３ｐが「１」、
つまり不連続を指示している場合は、ｔ方向の近い整数
に丸められたｔテクスチャ座標に対応するテクスチャ画
素を使用してｓ方向だけのリニア補間が行われる。Here, when the read alpha data of the pixel is "0", that is, when the model does not exist, drawing is not performed. Also, the s-direction interpolation control data 321p
Is “1”, that is, discontinuity is instructed, linear interpolation is performed only in the t direction using texture pixels corresponding to s texture coordinates rounded to an integer close to the s direction. On the other hand, the t direction interpolation control data 323p is "1",
That is, when discontinuity is instructed, linear interpolation is performed only in the s direction using texture pixels corresponding to the t texture coordinates rounded to the nearest integer in the t direction.
【００５０】図１５は、図１１に示した画像描画部５９
の動作を表している。画像描画部５９においては、補間
済みテクスチャ画素データ３９ｐ、テクスチャ座標６４
ｐ、および変換行列群６５から、ライティング計算部５
９１（ライティング手段）を介して、表示する画素の画
素値６６とスクリーン座標６８が計算され、レンダリン
グ結果としての画像データ８が作成される。FIG. 15 shows the image drawing section 59 shown in FIG.
Represents the operation of. In the image drawing unit 59, the interpolated texture pixel data 39p, the texture coordinates 64
From p and the conversion matrix group 65, the lighting calculation unit 5
The pixel value 66 and the screen coordinate 68 of the pixel to be displayed are calculated via 91 (writing means), and the image data 8 as a rendering result is created.
【００５１】まず、ライティング計算部５９１におい
て、補間・正規化済み法線データ３９５ｐと補間済み色
データ３９３ｐに対して、ＴＣ視点データ６３１ｔおよ
びＴＣ光源データ６３３ｔを使用したライティング計算
が行われ、画素値６６が求められる。このとき、ライテ
ィング計算部５９１においては、コンピュータグラフィ
クスで通常用いられる拡散反射、鏡面反射、またはこれ
らの組合せなどの任意のライティング計算アルゴリズム
が使用可能である。First, in the lighting calculation unit 591, lighting calculation using the TC viewpoint data 631t and the TC light source data 633t is performed on the interpolated / normalized normal data 395p and the interpolated color data 393p, and the pixel value is calculated. 66 is required. At this time, the lighting calculation unit 591 can use any lighting calculation algorithm that is normally used in computer graphics, such as diffuse reflection, specular reflection, or a combination thereof.
【００５２】次に、テクスチャ座標６４ｐによって表さ
れる概略パッチ３５上の点に、補間済み距離データ３９
１ｐによって表される差分が、テクスチャ座標系６９ｔ
におけるｕ方向に加えられることにより、距離画像でず
らしたテクスチャ座標６４ａが求められる。さらに、距
離画像でずらしたテクスチャ座標６４ａにテクスチャ座
標からスクリーン同次座標系への変換行列を乗じること
により、スクリーン同次座標が求められる。このスクリ
ーン同次座標に対して、遠近を表す値ｗ＝１となるよう
に正規化処理が施されることにより、視点に対して投影
した投影スクリーン座標６８ｓが求められ、これに適切
な丸めを行うことにより整数スクリーン座標６８が求め
られる。Next, the interpolated distance data 39 is added to the point on the rough patch 35 represented by the texture coordinate 64p.
The difference represented by 1p is the texture coordinate system 69t.
, The texture coordinate 64a shifted in the range image is obtained. Further, the screen homogeneous coordinates are obtained by multiplying the texture coordinates 64a shifted in the distance image by the transformation matrix from the texture coordinates to the screen homogeneous coordinate system. By performing normalization processing on the screen homogeneous coordinates so that the value w = 1 representing perspective is obtained, the projection screen coordinates 68s projected onto the viewpoint are obtained, and appropriate rounding is performed for this. By doing so, integer screen coordinates 68 are determined.
【００５３】最後に、画素値の２次元配列で表される画
像データ８の整数スクリーン座標６８に対応する画素
に、ピクセル値６６を書き込むことにより、１画素の描
画を行う。以上の操作をすべての入力に対して行うこと
により、画像データ８の全体を生成する。Finally, one pixel is drawn by writing the pixel value 66 into the pixel corresponding to the integer screen coordinate 68 of the image data 8 represented by the two-dimensional array of pixel values. By performing the above operation for all inputs, the entire image data 8 is generated.
【００５４】以上のようにして、レンダリングを行うこ
とができる。Rendering can be performed as described above.
【００５５】図１６および図１７は、スクリーン座標ス
キャン法によってレンダリングを行う場合の例を示して
いる。16 and 17 show an example in which rendering is performed by the screen coordinate scanning method.
【００５６】上記実施例におけるディスプレースメント
マッピング法によるパッチのレンダリングアルゴリズム
は、スクリーン座標をスキャンしていく場合にも適用す
ることができる。この方法は、図１１に示した上記実施
例のテクスチャ座標計算部５５における処理を、以下の
通りに変更することにより実現可能である。The patch rendering algorithm by the displacement mapping method in the above embodiment can be applied to the case of scanning screen coordinates. This method can be realized by changing the processing in the texture coordinate calculation unit 55 of the above-described embodiment shown in FIG. 11 as follows.
【００５７】すなわち、図１６において、図１２におけ
るモデリング座標の概略パッチ３５ａを、テクスチャ座
標系のパッチ３５ａｔに変換し、パッチ３５ａｔを投影
面に投影して投影パッチ３５ｐｒｏｊを作成する。次
に、投影パッチ３５ｐｒｏｊ上のスクリーン座標を一定
の間隔でスキャンし、スキャンしたスクリーン座標をパ
ッチ３５ａｔに逆投影して、逆投影した場所に対応する
テクスチャ座標を求めるようにする。That is, in FIG. 16, the rough patch 35a of the modeling coordinates in FIG. 12 is converted into the patch 35at of the texture coordinate system, and the patch 35at is projected on the projection surface to create the projection patch 35proj. Next, the screen coordinates on the projection patch 35proj are scanned at regular intervals, the scanned screen coordinates are backprojected to the patch 35at, and the texture coordinates corresponding to the backprojected location are obtained.
【００５８】そのために、まず、テクスチャ座標のスキ
ャン単位が求められる。概略パッチ３５ａｔ上の１テク
スチャ画素のスクリーン上における大きさの最小値が求
められ、最小値に所定の係数を乗じたものがスキャン単
位とされる。本実施例における係数は、ｘ方向およびｙ
方向（スクリーン座標系）についてそれぞれ０．５画素
とされている。次に、テクスチャ座標のスキャン単位
と、テクスチャ画像の面積比から、スキャン単位を計算
した後の処理コストが求められる。その結果、制限時間
以内にレンダリング処理が終了する見通しが立たない場
合、例えばレンダリング品質を犠牲にしても制限時間内
にレンダリング処理が終了するように、スキャン単位を
大きくするなどの処理が行われる。Therefore, first, the scan unit of the texture coordinates is obtained. The minimum value of the size of one texture pixel on the rough patch 35at on the screen is obtained, and the minimum value multiplied by a predetermined coefficient is set as the scan unit. The coefficients in this embodiment are x-direction and y-direction.
It is set to 0.5 pixels for each direction (screen coordinate system). Next, the processing cost after calculating the scan unit is obtained from the scan unit of the texture coordinates and the area ratio of the texture image. As a result, when it is not possible to finish the rendering process within the time limit, for example, a process such as increasing the scan unit is performed so that the rendering process ends within the time limit even if the rendering quality is sacrificed.
【００５９】次に、スキャン初期値６４１−２は、例え
ばｙ座標の値が最も大きい頂点とされ、メジャースキャ
ンの方向はｙ方向、増分６４３−２は０．５画素、マイ
ナースキャンの方向はｘ方向、増分６４５−２は０．５
画素とされる。Next, the scan initial value 641-2 is, for example, the vertex with the largest y coordinate value, the major scan direction is the y direction, the increment 643-2 is 0.5 pixels, and the minor scan direction is x. Direction, increment 645-2 is 0.5
It is considered as a pixel.
【００６０】最後に、スクリーン座標のスキャン初期値
にマイナー増分を加えることにより、スクリーン座標６
４ｓが順次求められる。スクリーン座標６４ｓに対応す
るテクスチャ座標６４ｐが概略パッチ３５ａｔをはみ出
した場合、スクリーン座標上においてメジャー増分が加
えられ、マイナー方向が初期化される。さらにそれぞれ
のスクリーン座標６４ｓについて逆投影が行われ、テク
スチャ座標６４ｐが求められる。Finally, by adding a minor increment to the scan initial value of the screen coordinate, the screen coordinate 6
4s are sequentially requested. When the texture coordinate 64p corresponding to the screen coordinate 64s protrudes from the rough patch 35at, a major increment is added on the screen coordinate and the minor direction is initialized. Further, back projection is performed for each screen coordinate 64s to obtain texture coordinate 64p.
【００６１】次に、陰面消去にＺバッファ法を使用する
場合について説明する。以上の実施例においては、パッ
チのソーティング、メジャスーキャン、およびマイナー
スキャンの描画方法を選ぶことによって、視点に対して
奥の方から手前に向かって描画する方法を用いている
が、モデルデータソーティング部５１におけるソーティ
ング処理を省略し、画像描画部５９において奥行き比較
を行うＺバッファ法によっても、同様に陰線消去を行う
ことができる。Next, the case of using the Z buffer method for hidden surface removal will be described. In the above embodiment, the method of drawing from the back to the front with respect to the viewpoint is used by selecting the drawing method of patch sorting, measure scan, and minor scan. The hidden line can be similarly removed by the Z buffer method in which the sorting process in the unit 51 is omitted and the depth comparison is performed in the image drawing unit 59.
【００６２】次に、スキャン単位を変更した場合につい
て説明する。以上の実施例で述べた、テクスチャ座標計
算部５５において求められるスキャン単位は一定である
が、例えば１次関数などによって動的に変化させること
もできる。すなわち、例えば、プリミティブが視点に対
して比較的遠い位置にある場合、スキャン単位を大きく
し、プリミティブが視点に対して比較的近い位置にある
場合、スキャン単位を小さくする。これにより、同一の
プリミティブの遠近によるレンダリング品質のばらつき
を小さくすることができる。Next, the case where the scan unit is changed will be described. The scan unit calculated by the texture coordinate calculation unit 55 described in the above embodiments is constant, but can be dynamically changed by, for example, a linear function. That is, for example, when the primitive is located relatively far from the viewpoint, the scan unit is made large, and when the primitive is located relatively close to the viewpoint, the scan unit is made small. As a result, it is possible to reduce variations in rendering quality due to the perspective of the same primitive.
【００６３】次に、時間切れの際のレンダリングの他の
省略方法について説明する。テクスチャ座標計算部５５
における処理コストの見積り結果によって、制限時間以
内にレンダリングが終了する見通しが立たない場合、上
記実施例において上述したように、スキャン単位を大き
くする上記方法の他に、結果の品質を下げて高速化を行
うための他の異なる処理を行うようにしても同等の効果
が得られることは明らかである。Next, another method of omitting the rendering at the time out will be described. Texture coordinate calculation unit 55
When it is not possible to render the rendering within the time limit according to the estimation result of the processing cost in the above, as described in the above embodiment, in addition to the above method in which the scan unit is increased, the quality of the result is reduced and the speed is increased. It is obvious that the same effect can be obtained by performing other different processing for performing.
【００６４】例えば、現在レンダリングしようとしてい
るパッチの重要度が低い場合、そのパッチ全体の描画を
省略し、レンダリングの品質を下げることにより、描画
処理を高速化する。あるいは、さらにパッチ数の少ない
粗いモデルと交換することにより、レンダリングの品質
を下げ、描画処理を高速化する。For example, when the importance of the patch to be currently rendered is low, the rendering process is speeded up by omitting the rendering of the entire patch and lowering the rendering quality. Alternatively, the quality of rendering is reduced and the rendering process is speeded up by replacing the model with a rough model having a smaller number of patches.
【００６５】このようにして、レンダリングの品質を下
げることにより、制限時間以内にレンダリングが終了す
るようにすることができる。By thus reducing the rendering quality, rendering can be completed within the time limit.
【００６６】以上のように、上記実施例においては、パ
ッチ数を大幅に削減したモデルをレンダリングすること
により、パッチの座標変換に必要な高精度の浮動小数点
演算の回数を大幅に削減することができる。また、パッ
チ数の減少に伴って、ソーティング法によるレンダリン
グにおいて必要とされるパッチ処理段階でのソーティン
グのコストをきわめて小さくすることができる。As described above, in the above-described embodiment, by rendering the model in which the number of patches is greatly reduced, the number of high-precision floating-point operations required for patch coordinate conversion can be significantly reduced. it can. Also, as the number of patches decreases, the cost of sorting at the patch processing stage, which is required in rendering by the sorting method, can be made extremely small.
【００６７】また、パッチ数の削減により、パッチのス
クリーン上での面積を計算することによってレンダリン
グにかかる時間を予測することが極めて安価に可能とな
る。このため、リアルタイムでレンダリングを行うよう
なリアルタイム用途において、レンダリングの制限時間
を越えないように、レンダリング品質とレンダリング時
間のトレードオフを動的に変えることができる。Further, by reducing the number of patches, it is possible to extremely inexpensively predict the time required for rendering by calculating the area of the patch on the screen. Therefore, in a real-time application in which rendering is performed in real time, the trade-off between the rendering quality and the rendering time can be dynamically changed so as not to exceed the rendering time limit.
【００６８】ライティングは、視点から見える照明され
たパッチの色を求める演算であるが、この演算は、視点
とパッチ上の点を結ぶ視線と法線のなす角および光源と
パッチ上の点を結ぶ光線と法線のなす角に基づいて行わ
れる。これらの角を求めるためには、視線、光線、およ
び法線の座標系を一致させる必要があり、座標系の一致
は、テクスチャ座標系へ視点および光源の座標を変換す
る方法、またはテクスチャ法線データを視点および光源
が定義されているグローバル座標系へ変換する方法によ
り行われる。Lighting is an operation for obtaining the color of an illuminated patch seen from the viewpoint. This operation connects the angle formed by the line of sight and the normal line connecting the viewpoint and the point on the patch, and the light source and the point on the patch. It is performed based on the angle between the ray and the normal. In order to find these angles, it is necessary to match the coordinate system of the line of sight, the ray, and the normal. The matching of the coordinate systems is the method of converting the coordinates of the viewpoint and the light source to the texture coordinate system, or the texture normal. It is done by a method that transforms the data into a global coordinate system in which viewpoints and light sources are defined.
【００６９】従来のマッピング法においては、１枚のテ
クスチャ画像およびテクスチャ法線データが、多数の平
面パッチや曲面パッチにマッピングされる。このような
マッピング法においては、グローバル座標系からテクス
チャ座標系への変換はパッチ毎に異なる。このため、テ
クスチャ法線データを使用したライティングにおいて、
視線および光線をテクスチャ座標系に変換する方法によ
って座標系を一致させるためには、多数のパッチの全て
について異なる視線および光源の座標変換を行う必要が
ある。また、テクスチャ法線をグローバル座標系に変換
する方法で座標系を一致させるためには、テクスチャ画
像法線の全ての画素について、座標変換を行う必要があ
る。これらの方法は、いずれも座標変換に伴う計算コス
トを大量に要している。In the conventional mapping method, one texture image and texture normal data are mapped to many plane patches and curved surface patches. In such a mapping method, the conversion from the global coordinate system to the texture coordinate system differs for each patch. Therefore, in lighting using texture normal data,
In order to match the coordinate systems by the method of converting the line of sight and the light ray into the texture coordinate system, it is necessary to perform the coordinate transformation of different lines of sight and light sources for all of a large number of patches. Further, in order to match the coordinate systems by the method of converting the texture normal line into the global coordinate system, it is necessary to perform the coordinate conversion for all the pixels of the texture image normal line. Each of these methods requires a large amount of calculation cost associated with coordinate conversion.
【００７０】これに対して、上記実施例においては、１
枚のテクスチャ画像を平面パッチにマッピングしている
ため、視線および光源と法線の座標系を揃えるために
は、テクスチャ画像データ１枚に対して、視線および光
源の座標をテクスチャ座標系に変換する座標変換を１回
だけ行えば充分である。以上のことから、上記実施例に
おいては、ライティングに伴う座標変換のコストを大幅
に削減することができる。On the other hand, in the above embodiment, 1
Since the texture images of one sheet are mapped to the plane patch, the coordinates of the line of sight and the light source are converted to the texture coordinate system for one piece of texture image data in order to align the coordinate system of the line of sight and the light source with the normal line. It is sufficient to perform the coordinate conversion only once. From the above, in the above embodiment, the cost of coordinate conversion associated with lighting can be significantly reduced.
【００７１】さらに、上記実施例においては、パッチに
対応づけられた距離画像の分解能はほぼ一定であるた
め、モデルにおける不必要に細かい分解能の部分が自動
的に省略される。このため、レンダリング結果として得
られる画像において、モデルエリアシング（不自然さ）
を生じ難くさせることができる。Further, in the above-described embodiment, the resolution of the range image associated with the patch is substantially constant, so that the unnecessary fine resolution portion of the model is automatically omitted. Therefore, model aliasing (unnaturalness) in the image obtained as a result of rendering
Can be made less likely to occur.
【００７２】また、上記実施例においては、レンダリン
グにおいて、距離画像、法線、およびテクスチャ画像の
３つが同じデータ構造をとるモデルデータを用いること
により、アドレス計算の回数の減少、アドレス出力のハ
ードウエアのコストダウン、およびレンダリングにおけ
るデータフローの単純化などを行うことができる。特
に、スクリーン座標スキャンによるディスプレースメン
トマッピング法は、スクリーン座標スキャンによる塗り
つぶしを行う従来のグラフィクスシステムに容易に付加
できる。したがって、ごく少数のパッチの接続によるモ
デル表現が、ディスプレースメントマッピング法の付加
により、低コストで可能となる。Further, in the above-described embodiment, by using the model data in which three of the distance image, the normal line and the texture image have the same data structure in rendering, the number of times of address calculation is reduced and the hardware of address output is reduced. Cost reduction and simplification of data flow in rendering. In particular, the displacement mapping method by screen coordinate scanning can be easily added to the conventional graphics system that performs filling by screen coordinate scanning. Therefore, the model representation by connecting a very small number of patches is possible at low cost by adding the displacement mapping method.
【００７３】また、上記実施例における、テクスチャ座
標スキャンによるディスプレースメントマッピング法で
は、テクスチャ画像の読み出しがシーケンシャルに行わ
れる。このため、テクスチャデータを格納するために従
来使われていたランダム読み出し性能の高い高価な記憶
装置を使わずに高性能を実現できる。Further, in the displacement mapping method based on the texture coordinate scanning in the above embodiment, the texture images are read out sequentially. Therefore, high performance can be realized without using an expensive storage device having a high random read performance which has been conventionally used for storing texture data.
【００７４】さらに、上記実施例における、テクスチャ
座標スキャンによるパッチの描画においては、同一パッ
チ内のスキャン順序および方向が、視点とパッチ頂点と
の前後関係に依存して動的に決定される。これにより、
スキャン方向を固定する場合と比較して、レンダリング
における演算コストが同じで、同一パッチ上の凹凸同士
の前後関係がより正しく再現されるようにすることがで
きる。Further, in the patch drawing by the texture coordinate scanning in the above-mentioned embodiment, the scanning order and the direction within the same patch are dynamically determined depending on the anteroposterior relationship between the viewpoint and the patch vertices. This allows
Compared with the case where the scan direction is fixed, the calculation cost in rendering is the same, and the front-rear relationship between the concavities and convexities on the same patch can be reproduced more correctly.
【００７５】なお、上記各実施例においては、概略パッ
チの並び３０５を直方体としたが、他の任意の形状とす
ることができる。In each of the above embodiments, the arrangement 305 of the general patches is a rectangular parallelepiped, but it can be any other shape.
【００７６】[0076]
【発明の効果】請求項１に記載の画像作成装置、および
請求項１４に記載の画像作成方法によれば、平面パッチ
の座標を、テクスチャ座標上の座標に変換し、画像を構
成する画素をスクリーン座標上へ描画するときに、距離
画像に対応して、画素のスクリーン座標上への描画位置
を制御するようにしたので、描画処理時間の予測を容易
に行うことができ、例えば、リアルタイム用途におい
て、レンダリング品質とレンダリング時間のトレードオ
フを動的に変えることが可能となる。According to the image creating apparatus and the image creating method of the fourteenth aspect, the coordinates of the plane patch are converted into the coordinates on the texture coordinates and the pixels forming the image are converted. When drawing on the screen coordinates, the drawing position of the pixel on the screen coordinates is controlled according to the distance image, so that it is possible to easily predict the drawing processing time. In, it is possible to dynamically change the trade-off between rendering quality and rendering time.
【図１】レンダリングの手順を説明するための図であ
る。FIG. 1 is a diagram for explaining a rendering procedure.
【図２】レンダリングを行う際のデータの流れを示す図
である。FIG. 2 is a diagram showing a data flow when rendering is performed.
【図３】本発明の画像作成装置の構成例を示すブロック
図である。FIG. 3 is a block diagram showing a configuration example of an image creating apparatus of the present invention.
【図４】モデルデータの例を示す図である。FIG. 4 is a diagram showing an example of model data.
【図５】概略パッチデータの例を示す図である。FIG. 5 is a diagram showing an example of schematic patch data.
【図６】テクスチャ画像データの例を示す図である。FIG. 6 is a diagram showing an example of texture image data.
【図７】テクスチャ画素データの例を示す図である。FIG. 7 is a diagram showing an example of texture pixel data.
【図８】補間制御データの例を示す図である。FIG. 8 is a diagram showing an example of interpolation control data.
【図９】画素間補間制御データの例を示す図である。FIG. 9 is a diagram showing an example of inter-pixel interpolation control data.
【図１０】変換行列データの例を示す図である。FIG. 10 is a diagram showing an example of conversion matrix data.
【図１１】レンダリング部の構成および動作を説明する
ための図である。FIG. 11 is a diagram for explaining the configuration and operation of a rendering unit.
【図１２】テクスチャ座標系に変換された視点座標およ
び光源座標を示す図である。FIG. 12 is a diagram showing viewpoint coordinates and light source coordinates converted into a texture coordinate system.
【図１３】テクスチャ座標系に変換されたパッチ３５ａ
ｔを示す図である。FIG. 13 is a patch 35a converted into a texture coordinate system.
It is a figure which shows t.
【図１４】図１１のテクスチャ画素計算部５７の動作を
説明するための図である。FIG. 14 is a diagram for explaining the operation of the texture pixel calculation unit 57 of FIG.
【図１５】図１１の画像描画部５９の動作を説明するた
めの図である。15 is a diagram for explaining the operation of the image drawing unit 59 in FIG.
【図１６】スクリーン座標スキャン法において、スクリ
ーン座標をスキャンしている状態を示す図である。FIG. 16 is a diagram showing a state in which screen coordinates are being scanned in the screen coordinate scanning method.
【図１７】スキャンしたスクリーン座標に対応するテク
スチャ座標を示す図である。FIG. 17 is a diagram showing texture coordinates corresponding to scanned screen coordinates.
３ モデルデータ ６ 変換行列データ ５ レンダリング部 ８ 画像データ １１，１４ ディスク装置 １２ ＣＰＵ １３ 主記憶装置 １５ 表示装置 ３０ 補間制御データ ３２ 画素間補間制御データ ３４，３４ｐ 概略パッチデータ ３５ａ 概略パッチ ３５ａｔ テクスチャ座標系の概略パッチ ３６ テクスチャ画像データ ３８ テクスチャ画素データ ３９ｐ 補間済みテクスチャ画素データ ５１ モデルデータソーティング部 ５３ 座標変換部 ５５ テクスチャ座標計算部（座標変換手段） ５７ テクスチャ画素計算部 ５９ 画像描画部（描画手段、描画位置制御手段、精度
調整手段） ６１ 座標変換データ ６３ ライティングデータ ６４ テクスチャ座標データ ６４ｐ テクスチャ座標 ６４ａ ずらしたテクスチャ座標 ６４ｓ スクリーン座標 ６５ 変換行列群 ６６ 画素値データ ６８ スクリーン座標データ ６８ｓ 投影スクリーン座標 ６９ｔ テクスチャ座標系 ３００ 補間制御データの並び ３０４ 概略パッチデータの並び ３０６ テクスチャ画像データの並び ３２１，３２１ｐ ｓ方向補間制御データ ３２３，３２３ｐ ｔ方向補間制御データ ３４０ ＭＣ頂点座標 ３４２ ＴＣ頂点座標 ３４４ ＭＣからＴＣへの変換行列 ３４６ テクスチャ画像データへの参照 ３４８ 補間制御データへの参照 ３６２ テクスチャ画素アドレス変換係数 ３８１ テクスチャ画素距離データ ３８３ テクスチャ画素色データ ３８５ テクスチャ画素法線データ ３８７ テクスチャ画素アルファデータ ３９１ｐ 補間済み距離データ ３９３ｐ 補間済み色データ ３９５ｐ 補間・正規化済み法線データ ３９７ｐ 補間済みアルファデータ ５７３ テクスチャ画素補間部 ５９１ ライティング計算部（ライティング手段） ６１１ ＭＣからＶＣへの変換行列 ６１２ ＶＣからＭＣへの変換行列 ６１３ ＭＣからＨＳＣへの変換行列 ６１９ 投影面 ６３１ 視点座標データ ６３１ｔ テクスチャ座標系の視点 ６３３ 光源座標データ ６３３ｔ テクスチャ座標系の光源 ６４１，６４１−２ スキャン初期値 ６４３，６４３−２ メジャー方向 ６４５，６４５−２ マイナー方向3 Model data 6 Conversion matrix data 5 Rendering unit 8 Image data 11, 14 Disk device 12 CPU 13 Main storage device 15 Display device 30 Interpolation control data 32 Inter-pixel interpolation control data 34, 34p General patch data 35a General patch 35at Texture coordinate system Outline patch of 36 Texture image data 38 Texture pixel data 39p Interpolated texture pixel data 51 Model data sorting section 53 Coordinate conversion section 55 Texture coordinate calculation section (coordinate conversion means) 57 Texture pixel calculation section 59 Image drawing section (drawing means, drawing) (Position control means, precision adjusting means) 61 coordinate conversion data 63 lighting data 64 texture coordinate data 64p texture coordinates 64a shifted texture coordinates 64s screen coordinates 65 conversion matrix Group 66 Pixel value data 68 Screen coordinate data 68s Projection screen coordinate 69t Texture coordinate system 300 Interpolation control data sequence 304 General patch data sequence 306 Texture image data sequence 321, 321p s direction interpolation control data 323, 323p t direction interpolation control Data 340 MC vertex coordinates 342 TC vertex coordinates 344 MC to TC conversion matrix 346 Reference to texture image data 348 Reference to interpolation control data 362 Texture pixel address conversion coefficient 381 Texture pixel distance data 383 Texture pixel color data 385 Texture pixels Normal data 387 Texture pixel alpha data 391p Interpolated distance data 393p Interpolated color data 395p Interpolated / normalized normal data 397p Interpolated al FData 573 Texture pixel interpolation unit 591 Lighting calculation unit (lighting means) 611 MC to VC conversion matrix 612 VC to MC conversion matrix 613 MC to HSC conversion matrix 619 Projection surface 631 Viewpoint coordinate data 631t texture coordinate system Viewpoint 633 Light source coordinate data 633t Texture coordinate system light source 641, 641-2 Scan initial value 643, 643-2 Major direction 645, 645-2 Minor direction
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27090695AJP3712015B2 (en) | 1995-10-19 | 1995-10-19 | Image creating apparatus and method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27090695AJP3712015B2 (en) | 1995-10-19 | 1995-10-19 | Image creating apparatus and method |
| Publication Number | Publication Date |
|---|---|
| JPH09114994Atrue JPH09114994A (en) | 1997-05-02 |
| JP3712015B2 JP3712015B2 (en) | 2005-11-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27090695AExpired - Fee RelatedJP3712015B2 (en) | 1995-10-19 | 1995-10-19 | Image creating apparatus and method |
| Country | Link |
|---|---|
| JP (1) | JP3712015B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999052077A1 (en)* | 1998-03-31 | 1999-10-14 | Sony Computer Entertainment Inc. | Image drawing device, image drawing method, and providing medium |
| JP2006285371A (en)* | 2005-03-31 | 2006-10-19 | S I Electron:Kk | Z-sorting processing circuit and three-dimensional image drawing device using the same |
| JP2006285372A (en)* | 2005-03-31 | 2006-10-19 | S I Electron:Kk | Z-sorting processing circuit and three-dimensional image drawing device using the same |
| CN105894566A (en)* | 2015-12-01 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | Model rendering method and device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999052077A1 (en)* | 1998-03-31 | 1999-10-14 | Sony Computer Entertainment Inc. | Image drawing device, image drawing method, and providing medium |
| JP2006285371A (en)* | 2005-03-31 | 2006-10-19 | S I Electron:Kk | Z-sorting processing circuit and three-dimensional image drawing device using the same |
| JP2006285372A (en)* | 2005-03-31 | 2006-10-19 | S I Electron:Kk | Z-sorting processing circuit and three-dimensional image drawing device using the same |
| CN105894566A (en)* | 2015-12-01 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | Model rendering method and device |
| WO2017092307A1 (en)* | 2015-12-01 | 2017-06-08 | 乐视控股（北京）有限公司 | Model rendering method and device |
| Publication number | Publication date |
|---|---|
| JP3712015B2 (en) | 2005-11-02 |
| Publication | Publication Date | Title |
|---|---|---|
| US5704024A (en) | Method and an apparatus for generating reflection vectors which can be unnormalized and for using these reflection vectors to index locations on an environment map | |
| US6016150A (en) | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers | |
| EP0875860B1 (en) | Precise gradient calculation system and method for a texture mapping system of a computer graphics system | |
| El-Hakim et al. | A multi-sensor approach to creating accurate virtual environments | |
| US4974177A (en) | Mapping circuit of a CRT display device | |
| US5357599A (en) | Method and apparatus for rendering polygons | |
| US5877769A (en) | Image processing apparatus and method | |
| US20040075655A1 (en) | 3D computer graphics processing apparatus and method | |
| US6469700B1 (en) | Per pixel MIP mapping and trilinear filtering using scanline gradients for selecting appropriate texture maps | |
| JPH04233672A (en) | Image generating apparatus | |
| US6552726B2 (en) | System and method for fast phong shading | |
| US20080198163A1 (en) | Drawing Method, Image Generating Device, And Electronic Information Apparatus | |
| US7158133B2 (en) | System and method for shadow rendering | |
| US6400370B1 (en) | Stochastic sampling with constant density in object space for anisotropic texture mapping | |
| US5793372A (en) | Methods and apparatus for rapidly rendering photo-realistic surfaces on 3-dimensional wire frames automatically using user defined points | |
| JP2692783B2 (en) | System and method for generating a two-dimensional representation of a three-dimensional object | |
| US20020089512A1 (en) | Reduced texture bandwidth method for providing filtering between texture mipmap levels | |
| JP3035571B2 (en) | Image processing device | |
| US6850244B2 (en) | Apparatus and method for gradient mapping in a graphics processing system | |
| KR100429092B1 (en) | Graphic image processing method and apparatus | |
| JPH096988A (en) | Apparatus for giving of depth instruction to color | |
| JP3712015B2 (en) | Image creating apparatus and method | |
| US7525551B1 (en) | Anisotropic texture prefiltering | |
| JP2003504697A (en) | Anti-aliasing of subsampled texture edges | |
| US5821942A (en) | Ray tracing through an ordered array |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20050427 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20050512 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20050629 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20050727 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20050809 | |
| LAPS | Cancellation because of no payment of annual fees |