【０００１】[0001]
【発明の属する技術分野】本発明は、計測対象物の部分
形状に対応する複数の部分形状計測データを基礎とした
三次元形状データに対してデータ処理が可能なデータ処
理技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a data processing technique capable of performing data processing on three-dimensional shape data based on a plurality of partial shape measurement data corresponding to partial shapes of an object to be measured.
【０００２】[0002]
【従来の技術】対象物の部分的な形状を計測する計測装
置を用い、異なる視点から計測された複数の三次元形状
データや二次元形状データに基づき、形状合成処理を行
って三次元形状モデルを生成するデータ処理技術があ
る。例えば、複数視点の二次元画像から生成したシルエ
ット群から三角ベジェパッチによって三次元形状モデル
を生成するモデリング技術が知られている。2. Description of the Related Art A three-dimensional shape model is obtained by performing shape synthesis processing based on a plurality of three-dimensional shape data and two-dimensional shape data measured from different viewpoints using a measuring device for measuring a partial shape of an object. There is a data processing technology to generate. For example, a modeling technique is known in which a three-dimensional shape model is generated by a triangular Bezier patch from a silhouette group generated from two-dimensional images from a plurality of viewpoints.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記の
モデリング技術では、対象物に対して異なる視点から順
次に取得した多数のシルエット画像が必要となるが、無
秩序に多数の視点からシルエット画像を取得するのは効
率的でない。この場合、少ないシルエット画像から三次
元形状モデルを形成するには、次の新たなシルエット画
像を取得するのに適した視点に導く有益な指標があると
便利である。However, in the above modeling technique, a large number of silhouette images sequentially acquired from different viewpoints are required for the object, but the silhouette images are randomly acquired from a large number of viewpoints. Is not efficient. In this case, in order to form a three-dimensional shape model from a few silhouette images, it is convenient to have a useful index that leads to a viewpoint suitable for acquiring the next new silhouette image.
【０００４】本発明は、上記課題に鑑みてなされたもの
であり、複数の部分形状計測データに基づき三次元形状
モデルを生成する際に、新たな部分形状計測データの取
得に有益な情報を提供できるデータ処理技術を提供する
ことを目的とする。The present invention has been made in view of the above problems, and provides information useful for acquiring new partial shape measurement data when a three-dimensional shape model is generated based on a plurality of partial shape measurement data. The purpose is to provide a data processing technology capable of processing.
【０００５】[0005]
【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明は、計測対象物の部分形状に対応す
る複数の部分形状計測データを基礎として形状合成処理
により生成された三次元形状データに対してデータ処理
が可能なデータ処理装置であって、(a)前記複数の部分
形状計測データそれぞれで表現される各部分形状と、前
記三次元形状データで表現される三次元形状モデルとの
適合度合いを表す数値情報を、前記三次元形状データを
構成する各要素に付与する付与手段と、(b)前記各要素
に前記適合度合いを反映させた前記三次元形状モデルを
可視的に表す表示用データを生成する生成手段とを備え
る。In order to solve the above-mentioned problems, the invention of claim 1 is a cubic generated by a shape synthesizing process based on a plurality of partial shape measurement data corresponding to a partial shape of a measuring object. A data processing device capable of performing data processing on original shape data, comprising: (a) each partial shape represented by each of the plurality of partial shape measurement data, and a three-dimensional shape represented by the three-dimensional shape data. Numerical information indicating the degree of conformity with the model, an imparting means for imparting to each element that constitutes the three-dimensional shape data, and (b) the three-dimensional shape model in which the degree of conformity is reflected in each element is visible. And a generation unit that generates the display data shown in FIG.
【０００６】また、請求項２の発明は、請求項１の発明
に係るデータ処理装置において、(c)画像表示が可能な
表示手段と、(d)前記複数の部分形状計測データを出力
可能な計測装置から、前記計測対象物の画像データを受
信する受信手段と、(e)前記計測対象物の画像データに
基づく画像に、前記表示用データに基づく画像を重ね合
わせて前記表示手段に表示する表示制御手段とをさらに
備える。According to a second aspect of the invention, in the data processing apparatus according to the first aspect of the invention, (c) an image display capable of displaying means, and (d) a plurality of partial shape measurement data can be outputted. From a measuring device, receiving means for receiving the image data of the measurement object, and (e) an image based on the image data of the measurement object, an image based on the display data is superimposed and displayed on the display means. Display control means is further provided.
【０００７】また、請求項３の発明は、請求項１または
請求項２の発明に係るデータ処理装置において、前記数
値情報は、前記各部分形状それぞれについて前記適合度
合いが積算される数値の情報である。Further, the invention of claim 3 is the data processing device according to the invention of claim 1 or 2, wherein the numerical value information is numerical value information by which the degree of conformity is integrated for each of the partial shapes. is there.
【０００８】また、請求項４の発明は、コンピュータ読
取り可能な記録媒体であって、データ処理装置に内蔵さ
れたコンピュータにインストールされることにより、当
該データ処理装置を請求項１ないし請求項３のいずれか
の発明に係るデータ処理装置として機能させるためのプ
ログラムを記録している。According to a fourth aspect of the present invention, there is provided a computer-readable recording medium, which is installed in a computer incorporated in a data processing apparatus, so that the data processing apparatus can be installed in any one of the first to third aspects. A program for causing the device to function as the data processing device according to any one of the inventions is recorded.
【０００９】また、請求項５の発明は、プログラムであ
って、データ処理装置に内蔵されたコンピュータにおい
て実行されることにより、当該データ処理装置を請求項
１ないし請求項３のいずれかの発明に係るデータ処理装
置として機能させる。Further, the invention of claim 5 is a program, which is executed by a computer built in the data processing device, thereby causing the data processing device to operate in accordance with any one of claims 1 to 3. It functions as such a data processing device.
【００１０】[0010]
【発明の実施の形態】＜三次元データ処理システムの構
成＞図１は、本発明の実施形態に係るデータ処理装置３
を利用する三次元データ処理システム１の要部構成を示
す図である。BEST MODE FOR CARRYING OUT THE INVENTION <Structure of Three-Dimensional Data Processing System> FIG. 1 shows a data processing apparatus 3 according to an embodiment of the present invention.
It is a figure which shows the principal part structure of the three-dimensional data processing system 1 which utilizes.
【００１１】三次元データ処理システム１は、計測対象
物である被写体ＳＢを撮影する撮影装置２と、撮影装置
２で取得した画像データを処理するデータ処理装置３と
を備えている。The three-dimensional data processing system 1 comprises a photographing device 2 for photographing a subject SB which is an object to be measured, and a data processing device 3 for processing the image data acquired by the photographing device 2.
【００１２】撮影装置２は、例えばデジタルカメラを利
用した装置で、三次元物体である被写体ＳＢの２次元カ
ラー画像を取得可能な装置である。この撮影装置２は、
被写体撮影用カメラ２ａと、被写体撮影用カメラ２ａの
上部に設けられる可動式カメラ２ｂとを備えている。The photographing device 2 is a device using a digital camera, for example, and is a device capable of acquiring a two-dimensional color image of a subject SB which is a three-dimensional object. This photographing device 2
It is provided with a camera 2a for photographing a subject and a movable camera 2b provided above the camera 2a for photographing a subject.
【００１３】被写体ＳＢが配置される空間内において、
被写体ＳＢの近傍には、撮影装置２の校正用の立体チャ
ートＴＣが配置されている。立体チャートＴＣは、略角
錐状の本体の各側面にチャートパターンＣＰが施された
立体物であり、チャート支持具から吊り下げられてい
る。好ましくは、立体チャートＴＣは被写体ＳＢの上方
に吊り下げられる。In the space where the subject SB is placed,
A three-dimensional chart TC for calibration of the image capturing device 2 is arranged near the subject SB. The three-dimensional chart TC is a three-dimensional object in which a chart pattern CP is applied to each side surface of a substantially pyramidal main body, and is suspended from a chart support. Preferably, the three-dimensional chart TC is hung above the subject SB.
【００１４】データ処理装置３は、例えばパーソナルコ
ンピュータとして構成されており、箱状の形状を有する
処理部３０と、操作部３１と、表示部３２とを有してい
る。The data processing device 3 is configured as, for example, a personal computer, and has a box-shaped processing unit 30, an operation unit 31, and a display unit 32.
【００１５】処理部３０の前面には、光ディスク９を挿
入するドライブ３０１が設けられている。A drive 301 for inserting the optical disk 9 is provided on the front surface of the processing section 30.
【００１６】操作部３１は、マウス３１１とキーボード
３１２とを有しており、ユーザからのデータ処理装置３
に対する入力操作を受付ける。The operation unit 31 has a mouse 311 and a keyboard 312, and the data processing device 3 from the user.
Accept input operation for.
【００１７】表示部３２は、例えばＣＲＴで構成され、
画像表示が可能な表示手段として機能する。The display unit 32 is composed of, for example, a CRT,
It functions as a display means capable of displaying an image.
【００１８】図２は、三次元データ処理システム１の機
能ブロックを示す図である。FIG. 2 is a diagram showing functional blocks of the three-dimensional data processing system 1.
【００１９】撮影装置２は、光学ユニット２１を介して
被写体ＳＢを撮像する撮像部２２と、撮像部２３を有す
る可動式カメラ２ｂに連結する駆動部２４と、これら各
部と電気的に接続する制御部２５とを備えている。ま
た、撮像装置２は、データ処理装置３と通信するための
通信Ｉ／Ｆ２６を備えている。The image pickup apparatus 2 has an image pickup section 22 for picking up an image of the subject SB through the optical unit 21, a drive section 24 connected to the movable camera 2b having an image pickup section 23, and a control electrically connected to these sections. And a section 25. The imaging device 2 also includes a communication I / F 26 for communicating with the data processing device 3.
【００２０】光学ユニット２１は、レンズ群とこれらの
レンズ群の配置を変更する駆動部とを有し、フォーカス
やズームを行って被写体ＳＢの光学像を撮像部２２に結
像させる。The optical unit 21 has a lens group and a drive section for changing the arrangement of these lens groups, and focuses and zooms to form an optical image of the subject SB on the image pickup section 22.
【００２１】撮像部２２、２３は、例えばＣＣＤなどの
撮像素子を有して構成されている。そして、撮影素子で
被写体ＳＢのアナログ画像信号を取得した後、Ａ／Ｄ変
換を行ってデジタル信号の画像データを生成する。The image pickup units 22 and 23 are constructed to have an image pickup device such as a CCD. Then, after the analog image signal of the subject SB is acquired by the image sensor, A / D conversion is performed to generate image data of a digital signal.
【００２２】駆動部２４は、例えばモータなどのアクチ
ュエータを有しており、可動式カメラ２ｂの撮影方向を
変更できる。この駆動部２４による可動式カメラ２ｂの
姿勢制御によって、立体チャートＴＣの追尾が可能とな
る。これにより、可動式カメラ２ｂは、立体チャートＴ
Ｃ上のパターンに含まれる複数の単位図形を撮影するこ
とで、立体チャートＴＣと可動式カメラ２ｂとの相対的
な位置・姿勢関係を特定する。すなわち立体チャートＴ
Ｃに対して相対的に固定された絶対座標系における、被
写体撮影用カメラ２ａの位置および姿勢を検出する位置
・姿勢センサとして機能することとなる。The drive unit 24 has an actuator such as a motor, and can change the shooting direction of the movable camera 2b. By controlling the attitude of the movable camera 2b by the drive unit 24, it is possible to track the stereo chart TC. This allows the movable camera 2b to move to the three-dimensional chart T.
By photographing a plurality of unit figures included in the pattern on C, the relative position / posture relationship between the three-dimensional chart TC and the movable camera 2b is specified. That is, the three-dimensional chart T
It functions as a position / orientation sensor that detects the position and orientation of the subject photographing camera 2a in the absolute coordinate system fixed relatively to C.
【００２３】制御部２５は、ＣＰＵ２５１およびメモリ
２５２を有しており、撮像装置２の動作を統括制御する
部位である。この制御部２５では、被写体撮影カメラ２
ａの撮像部２２で撮像した画像と、立体チャートＴＣを
追尾する可動式カメラ２ｂの撮像部２３で撮像した画像
との解析処理が行われ、被写体撮影用カメラ２ａの撮影
位置データおよび撮影姿勢データが算出される。そし
て、算出された撮影位置データおよび撮影姿勢データ
が、被写体ＳＢのカラー画像データと一組になってメモ
リ２５２に記録される。また、メモリ２５２には、光学
ユニット２１の光学ユニット制御データなどの撮影装置
２の内部パラメータも記録される。この内部パラメータ
には、被写体撮影用カメラ１０ａに関する焦点距離や光
軸中心の情報、またフォーカス、ズームなどの制御情報
が含まれる。The control section 25 has a CPU 251 and a memory 252, and is a part that controls the operation of the image pickup apparatus 2 in an integrated manner. In the control unit 25, the subject photographing camera 2
The image captured by the image capturing unit 22 of a and the image captured by the image capturing unit 23 of the movable camera 2b that tracks the three-dimensional chart TC are analyzed, and the image capturing position data and the image capturing attitude data of the camera 2a for capturing an object are captured. Is calculated. Then, the calculated photographing position data and photographing posture data are recorded in the memory 252 as a set with the color image data of the subject SB. Further, in the memory 252, internal parameters of the imaging device 2 such as optical unit control data of the optical unit 21 are also recorded. The internal parameters include information about the focal length and the center of the optical axis of the object photographing camera 10a, and control information such as focus and zoom.
【００２４】通信Ｉ／Ｆ２６は、例えばＩｒＤＡ(Infra
red Data Association)規格による赤外線通信などを利
用して、データ処理装置３とデータ伝送するためのイン
ターフェースである。この通信Ｉ／Ｆ２６により、撮像
部２２で撮像された被写体ＳＢの画像データと、制御部
２５で解析された撮影位置データおよび撮影姿勢データ
と、撮影装置２の内部パラメータとがデータ処理装置３
に伝送できることとなる。なお、以下では、撮影装置２
の内部パラメータ、撮影位置データおよび撮影姿勢デー
タを総称して環境データと呼ぶことにする。The communication I / F 26 is, for example, IrDA (Infra
This is an interface for transmitting data to and from the data processing device 3 using infrared communication or the like according to the red Data Association standard. By this communication I / F 26, the image data of the subject SB imaged by the imaging unit 22, the imaging position data and the imaging attitude data analyzed by the control unit 25, and the internal parameters of the imaging device 2 are stored in the data processing device 3
Can be transmitted to. In the following, the image capturing device 2
The internal parameters, shooting position data, and shooting posture data of are collectively referred to as environment data.
【００２５】データ処理装置３の処理部３０は、上記の
操作部３１および表示部３２に接続する入出力Ｉ／Ｆ３
３と、入出力Ｉ／Ｆ３３に電気的に接続する制御部３４
とを備えている。また、処理部３０は、制御部３４に電
気的に接続する記憶部３５と、入出力Ｉ／Ｆ３６と、通
信Ｉ／Ｆ３７とを備えている。The processing unit 30 of the data processing device 3 is an input / output I / F 3 connected to the operation unit 31 and the display unit 32.
3, and a control unit 34 electrically connected to the input / output I / F 33.
It has and. The processing unit 30 also includes a storage unit 35 electrically connected to the control unit 34, an input / output I / F 36, and a communication I / F 37.
【００２６】入出力Ｉ／Ｆ３３は、操作部３１および表
示部３２と制御部３４との間でデータの送受をコントロ
ールするためのインターフェースである。The input / output I / F 33 is an interface for controlling transmission / reception of data between the operation unit 31, the display unit 32 and the control unit 34.
【００２７】記憶部３５は、例えばハードディスクとし
て構成されており、データ処理プログラムＤＰを格納す
る。The storage unit 35 is configured as a hard disk, for example, and stores the data processing program DP.
【００２８】入出力Ｉ／Ｆ３６は、ドライブ３０１を介
して、記録媒体である光ディスク９に対するデータの入
出力を行うためのインターフェースである。The input / output I / F 36 is an interface for inputting / outputting data to / from the optical disk 9 as a recording medium via the drive 301.
【００２９】通信Ｉ／Ｆ３７は、撮影装置２の通信Ｉ／
Ｆ２６に対応する部位で、撮影装置２とデータ伝送する
ためのインターフェースである。The communication I / F 37 is a communication I / F of the photographing device 2.
The interface corresponding to F26 is an interface for data transmission with the imaging device 2.
【００３０】制御部３４は、ＣＰＵ３４１およびメモリ
３４２を有しており、データ処理装置３の動作を統括制
御する部位である。この制御部３４でデータ処理プログ
ラムＤＰが実行されることにより、後述のように寄与ポ
イントが付与された三次元形状モデルの表示を行うこと
ができる。The control unit 34 has a CPU 341 and a memory 342, and is a part that controls the operation of the data processing device 3 in an integrated manner. By executing the data processing program DP in the control unit 34, it is possible to display the three-dimensional geometric model to which the contribution points are added as described later.
【００３１】制御部３４のメモリ３４２には、光ディス
ク９に記録されているデータ処理プログラムＤＰなどの
プログラムデータを入出力Ｉ／Ｆ３６を介して格納する
ことができる。これにより、この格納したプログラムを
データ処理装置３の動作に反映できる。Program data such as the data processing program DP recorded on the optical disk 9 can be stored in the memory 342 of the control unit 34 via the input / output I / F 36. As a result, the stored program can be reflected in the operation of the data processing device 3.
【００３２】＜データ処理装置３の動作＞以下では、上
述の構成を有するデータ処理装置３の動作を説明する
が、まず、データ処理装置３で三次元形状モデルを生成
するための基礎データとなる二次元画像データの取得方
法を説明する。<Operation of Data Processing Device 3> The operation of the data processing device 3 having the above-described configuration will be described below. First, the data processing device 3 serves as basic data for generating a three-dimensional geometric model. A method of acquiring two-dimensional image data will be described.
【００３３】図３は、撮影装置２によって画像データの
取得する様子を説明するための図である。本図は、被写
体ＳＢを上方から見た場合の概念図である。FIG. 3 is a diagram for explaining how image data is acquired by the photographing device 2. This drawing is a conceptual diagram of the subject SB as viewed from above.
【００３４】被写体のカラー画像データについては、例
えば３つの視点Ｐ１〜Ｐ３に撮影装置２を移動させ、被
写体ＳＢを様々な角度から撮影することで取得する。こ
の撮影では、撮影装置２で撮影可能な画像範囲Ｇｔに被
写体ＳＢのシルエット領域Ｇｓが入るように撮影する。
なお、図３の例では、説明の便宜上、３つの視点を挙げ
ているが、実際にはもっと多数の視点から被写体ＳＢを
撮影することとなる。The color image data of the subject is acquired by, for example, moving the photographing device 2 to three viewpoints P1 to P3 and photographing the subject SB from various angles. In this shooting, shooting is performed such that the silhouette area Gs of the subject SB is included in the image range Gt that can be shot by the shooting device 2.
Note that, in the example of FIG. 3, three viewpoints are given for convenience of description, but in reality, the subject SB is photographed from a larger number of viewpoints.
【００３５】そして、取得した被写体の二次元画像デー
タは、上述した環境データとともに、撮影装置２内のメ
モリ２５２に格納される。Then, the acquired two-dimensional image data of the subject is stored in the memory 252 in the photographing device 2 together with the above-mentioned environment data.
【００３６】以上のように画像データが取得されると、
次にデータ処理装置３の記憶部３５に格納されるデータ
処理プログラムＤＰを起動し、以下で説明するデータ処
理装置３の動作を行う。When the image data is acquired as described above,
Next, the data processing program DP stored in the storage unit 35 of the data processing device 3 is activated, and the operation of the data processing device 3 described below is performed.
【００３７】図４は、データ処理装置３の基本的な動作
を説明するフローチャートである。本動作は、データ処
理装置の制御部３４で実行される。FIG. 4 is a flow chart for explaining the basic operation of the data processing device 3. This operation is executed by the control unit 34 of the data processing device.
【００３８】ステップＳ１では、被写体ＳＢを多視点か
ら撮影した画像データを、撮影装置２から受信する。こ
こでは、撮影装置２のメモリ２５２内に格納される二次
元画像データと環境データとが、通信Ｉ／Ｆ２６を介し
てデータ処理装置３に転送されることとなる。In step S1, image data of the subject SB photographed from multiple viewpoints is received from the photographing device 2. Here, the two-dimensional image data and environment data stored in the memory 252 of the image capturing device 2 are transferred to the data processing device 3 via the communication I / F 26.
【００３９】ステップＳ２では、ステップＳ１で受信し
た画像データから、被写体ＳＢの領域を抽出したシルエ
ット画像を生成する。このシルエット画像は、物体表面
と背景との色差に基づき被写体ＳＢの輪郭を抽出した
後、例えば輪郭の内部を「１」に、輪郭の外部を「０」
にする二値化された画像データとして作成される。すな
わち、シルエット画像は、ある視点(撮影位置)から見た
被写体ＳＢのシルエット、つまり視点を中心とした被写
体ＳＢの二次元空間への投影画像となり、被写体ＳＢの
部分形状に相当する輪郭を表す部分形状計測データとな
る。このシルエット画像を生成する際には、画像取得時
の撮影装置２の撮影位置データと撮影姿勢データとに基
づき透視変換行列Ｐを演算して、シルエット画像ととも
にメモリ３４２に記録する。In step S2, a silhouette image in which the area of the subject SB is extracted is generated from the image data received in step S1. In this silhouette image, after the outline of the subject SB is extracted based on the color difference between the object surface and the background, for example, the inside of the outline is set to "1" and the outside of the outline is set to "0".
Is created as binarized image data. That is, the silhouette image is a silhouette of the subject SB viewed from a certain viewpoint (shooting position), that is, a projected image of the subject SB centering on the viewpoint onto a two-dimensional space, and a portion representing a contour corresponding to a partial shape of the subject SB. It becomes the shape measurement data. When this silhouette image is generated, the perspective transformation matrix P is calculated based on the shooting position data and shooting posture data of the shooting device 2 at the time of image acquisition, and is stored in the memory 342 together with the silhouette image.
【００４０】ステップＳ３では、例えばShape From Shi
lhouette(ＳＦＳ)法、特にVolume Intersection法を利
用して、被写体ＳＢに関する多数のシルエット画像に基
づき、形状合成処理によって三次元形状モデルＭＢを生
成する。In step S3, for example, Shape From Shi
Using the lhouette (SFS) method, in particular the Volume Intersection method, a three-dimensional shape model MB is generated by shape synthesis processing based on a large number of silhouette images of the subject SB.
【００４１】このVolume Intersection法では、仮想３
次元空間中に多数のボクセルと呼ばれる立方体形状を配
置する。そして、各視点（撮影点）と、当該視点からの
撮影により取得されたシルエット画像の輪郭（外周部）
を結ぶ錐体状の領域外のボクセルを削除する。そして、
各錐体状の領域内の共通部分に存在するボクセルを連結
することにより被写体ＳＢの形状データが生成される。
つまり、Volume Intersection法により求められる被写
体ＳＢの形状データは、多数の立方格子の集合体として
仮想空間上に配置される。In this Volume Intersection method, virtual 3
A large number of cube shapes called voxels are arranged in a dimensional space. Then, each viewpoint (shooting point) and the outline (outer peripheral portion) of the silhouette image acquired by shooting from that viewpoint
Delete voxels outside the cone-shaped region connecting the. And
The shape data of the subject SB is generated by connecting the voxels existing in the common portion in each cone-shaped region.
That is, the shape data of the subject SB obtained by the Volume Intersection method is arranged in the virtual space as an aggregate of many cubic lattices.
【００４２】なお、このVolume Intersection法では、
シルエット画像に基づき、ボクセルを削除することによ
り三次元形状を形成するが、シルエット画像に表れない
箇所では削り残りが生じて実際の被写体ＳＢより形状が
膨らむ場合があり、形成された三次元形状と被写体ＳＢ
とが適合しない部分が生じる可能性がある。In this Volume Intersection method,
A three-dimensional shape is formed by deleting voxels based on the silhouette image. However, there is a case where uncut portions may occur at a portion that does not appear in the silhouette image and the shape bulges from the actual subject SB. Subject SB
There is a possibility that some parts of and do not match.
【００４３】Volume Intersection法により多数のボク
セルで表現される対象物の三次元形状が形成されると、
次に、その形状データからポリゴンメッシュ形式の曲面
データで構成される三次元形状モデルを生成する。この
三次元形状モデル生成の際には、データの補間やスムー
ジング処理などの各種の処理を行うため、ステップＳ２
で生成されたシルエット画像と、三次元形状モデルとの
整合が図れない部分、つまり完全に適合しない部分が発
生する場合がある。When the three-dimensional shape of the object represented by a large number of voxels is formed by the Volume Intersection method,
Next, a three-dimensional shape model composed of curved surface data in the polygon mesh format is generated from the shape data. At the time of generating the three-dimensional shape model, various processes such as data interpolation and smoothing process are performed.
There may be a portion where the silhouette image generated in step 3 and the three-dimensional shape model cannot be matched, that is, a portion which does not completely match.
【００４４】なお、生成された三次元形状モデルは、例
えば表示部３２で表示されるなどして、ユーザによる被
写体ＳＢの形状再現性などのチェックに供される。The generated three-dimensional shape model is displayed on the display unit 32, for example, so that the user can check the shape reproducibility of the subject SB.
【００４５】ステップＳ４では、三次元形状モデルの各
頂点に寄与ポイントが付与される(後で詳述)。At step S4, a contribution point is given to each vertex of the three-dimensional shape model (detailed later).
【００４６】ステップＳ５では、撮影装置２から転送さ
れる被写体ＳＢのプレビュー画像の処理を行う(後で詳
述)。In step S5, the preview image of the subject SB transferred from the photographing device 2 is processed (detailed later).
【００４７】ステップＳ６では、本撮影された画像デー
タを受信したかを判定する。すなわち、ユーザは、ステ
ップＳ５で表示部３２に表示されるプレビュー画像を視
認しつつ、適切な撮影装置２の位置・姿勢で本撮影(計
測)を行うこととなるが、この本撮影が行われてその画
像データがデータ処理装置３で受信されたかを判断す
る。ここで、本撮影された画像データを受信した場合に
は、ステップＳ２に戻り、受信していない場合には、ス
テップＳ５に戻る。ステップＳ２に戻る場合には、本撮
影された画像データに関するシルエット画像を生成し、
三次元形状モデルＭＢに反映する。これにより、適切な
視点から取得したシルエット画像で三次元形状モデルＭ
Ｂを修正できるため、被写体ＳＢを再現する三次元形状
モデルＭＢを効率良く生成できることとなる。In step S6, it is determined whether or not the image data of the main photographing has been received. That is, the user performs the main shooting (measurement) at the appropriate position / orientation of the shooting device 2 while visually checking the preview image displayed on the display unit 32 in step S5, but the main shooting is performed. Then, it is determined whether the image data is received by the data processing device 3. Here, when the image data of the main image is received, the process returns to step S2, and when not received, the process returns to step S5. In the case of returning to step S2, a silhouette image relating to the image data obtained by actual photographing is generated,
It is reflected in the three-dimensional shape model MB. As a result, the three-dimensional shape model M is obtained from the silhouette image acquired from an appropriate viewpoint.
Since B can be corrected, the three-dimensional shape model MB that reproduces the subject SB can be efficiently generated.
【００４８】図５は、上記のステップＳ４に対応する寄
与ポイントの付与の動作を説明するフローチャートであ
る。本動作は、上述したように三次元形状モデルとシル
エット画像とが正確に適合していないため、この適合度
合いを数値化して三次元形状モデルに反映するための動
作となる。なお、上記のステップＳ２ではＮｓ枚のシル
エット画像ＳＧｋ(ｋ＝１〜Ｎｓ)が生成されているもの
とする。FIG. 5 is a flow chart for explaining the operation of giving contribution points corresponding to the above step S4. Since this operation does not exactly match the three-dimensional shape model and the silhouette image as described above, this operation is an operation for digitizing the degree of matching and reflecting it in the three-dimensional shape model. It is assumed that Ns silhouette images SGk (k = 1 to Ns) have been generated in step S2.
【００４９】ステップＳ１１では、変数ｋに初期値１を
代入する。In step S11, the initial value 1 is assigned to the variable k.
【００５０】ステップＳ１２では、シルエット画像ＳＧ
ｋ上に三次元形状モデルＭＢを投影する。具体的には、
図６に示すように、ステップＳ３で生成された三次元形
状モデルＭＢのポリゴンメッシュに関する各頂点を、シ
ルエット画像ＳＧに投影する。ここでは、シルエット画
像ＳＧとともにメモリ３４２に記憶される透視変換行列
Ｐを用いて、例えば視点Ｐ１(図３参照)から視線方向Ｆ
１に撮影されたシルエット画像ＳＧ上に、三次元形状モ
デルＭＢの投影画像ＭＢｓが作成されることとなる。In step S12, the silhouette image SG
The three-dimensional shape model MB is projected on k. In particular,
As shown in FIG. 6, each vertex related to the polygon mesh of the three-dimensional shape model MB generated in step S3 is projected on the silhouette image SG. Here, using the perspective transformation matrix P stored in the memory 342 together with the silhouette image SG, for example, the line-of-sight direction F from the viewpoint P1 (see FIG. 3).
The projection image MBs of the three-dimensional shape model MB is created on the silhouette image SG captured in No. 1.
【００５１】一般的には、三次元形状モデルＭＢを構成
する各頂点の座標を、同次座標表現でＭi(ｘi,ｙi,ｚi,
１)：i＝１,２,・・・,Ｎと表現する場合、注目するシ
ルエット画像に関する透視変換行列をＰ、投影されたシ
ルエット画像上の点Ｍｉの座標を同次座標表現でｍi(ｕ
i,ｖi,ｗi,)と表現すると、次の式(１)が成立する。Generally, the coordinates of the vertices forming the three-dimensional shape model MB are expressed as Mi (xi, yi, zi,
1): When i = 1, 2, ..., N is expressed, P is the perspective transformation matrix for the silhouette image of interest, and the coordinates of the point Mi on the projected silhouette image are mi (u
When expressed as i, vi, wi,), the following expression (1) is established.
【００５２】[0052]
【数１】[Equation 1]
【００５３】ここで、ｍiは、同次座標表現であるた
め、二次元(シルエット)画像上の座標としては、ｍri
(ｕri,ｖri)＝(ｕi/ｗi,ｖi/ｗi)と表せることとなる。Since mi is a homogeneous coordinate expression, the coordinate on the two-dimensional (silhouette) image is mri.
It can be expressed as (uri, vri) = (ui / wi, vi / wi).
【００５４】ステップＳ１３では、三次元形状モデルＭ
Ｂに、シルエット画像との適合度合いを表す寄与ポイン
ト(数値情報)を付与する。以下では、この具体的な付与
方法を説明する。In step S13, the three-dimensional shape model M
A contribution point (numerical value information) indicating the degree of conformity with the silhouette image is given to B. Below, this specific application method will be described.
【００５５】シルエット画像ＳＧにおける被写体ＳＢの
対象領域ＳＢｆ(図６の平行斜線部)の輪郭(境界線)を形
成する各画素をｂj(ｒj,ｓj)：j＝１,２,・・・,Ｎbと
表すと、各画素ｂjに関して上記の各点ｍriのうち最も
距離の近いものとの距離ｄを、次の式(２)で求める。Each pixel forming the contour (boundary line) of the target area SBf (parallel hatched portion in FIG. 6) of the subject SB in the silhouette image SG is bj (rj, sj): j = 1,2 ,. Expressed as Nb, the distance d between each pixel bj and the point mri having the shortest distance among the above points mri is calculated by the following equation (2).
【００５６】[0056]
【数２】[Equation 2]
【００５７】ここで、輪郭の画素ｂjから最も近い点ま
での距離ｄが、予め定められた閾値αより小さい場合に
は、この点ｍriに対応する三次元形状モデルＭＢの頂点
Ｍi、つまり三次元形状モデルＭＢを構成する要素に、
寄与ポイント１を与える。この処理をシルエット画像Ｓ
Ｇｋの対象領域ＳＢｆの輪郭を形成する全画素について
行う。If the distance d from the contour pixel bj to the closest point is smaller than a predetermined threshold value α, the vertex Mi of the three-dimensional shape model MB corresponding to this point mri, that is, the three-dimensional shape. The elements that make up the shape model MB are
Give contribution point 1. This processing is performed on the silhouette image S
This is performed for all pixels forming the contour of the target area SBf of Gk.
【００５８】この処理により、撮影される三次元形状モ
デルＭＢの各頂点のうち、投影画像ＭＢｓの内部につい
ては、寄与ポイントが与えられず、輪郭に近い部分に寄
与ポイントが付与されることとなる。By this processing, of the vertices of the three-dimensional shape model MB to be photographed, the contribution point is not given to the inside of the projection image MBs, but the contribution point is given to the portion close to the contour. .
【００５９】ステップＳ１４では、変数ｋがＮｓである
か、すなわち全てのシルエット画像に基づいて三次元形
状モデルに寄与ポイントが付与されたかを判定する。こ
こで、ｋ＝Ｎｓである場合には、ステップＳ５に進み、
ｋ＝Ｎｓでない場合には、ステップＳ１５に進む。In step S14, it is determined whether the variable k is Ns, that is, whether the contributing points are given to the three-dimensional shape model based on all the silhouette images. Here, if k = Ns, the process proceeds to step S5,
If not k = Ns, the process proceeds to step S15.
【００６０】ステップＳ１５では、変数ｋにｋ＋１を代
入する。In step S15, k + 1 is substituted for the variable k.
【００６１】以上で説明した寄与ポイントの付与動作に
よって、図７に示すように、三次元形状モデルＭＢの各
頂点Ｍiに寄与ポイントが付与される。なお、図７は、
図３に対応するもので、寄与ポイントの付与を説明する
ための概念図である。By the contribution point giving operation described above, as shown in FIG. 7, a contribution point is given to each vertex Mi of the three-dimensional shape model MB. In addition, FIG.
FIG. 4 is a conceptual diagram corresponding to FIG. 3 and for explaining the giving of contribution points.
【００６２】三次元形状モデルＭＢを形成する各点Ｍ１
〜Ｍ10については、例えば付与される寄与ポイントが３
段階に分類される。すなわち、視点Ｐ１、Ｐ２またはＰ
３で取得されたシルエット画像に表れる点Ｍ２、Ｍ４、
Ｍ８およびＭ10には、寄与ポイント１が付与され、視点
Ｐ１および視点Ｐ３で取得されたシルエット画像に表れ
る点Ｍ６には、シルエット画像ごとに付与される寄与ポ
イント１が積算された寄与ポイント２が与えられる。そ
の他の点については、寄与ポイント０が与えられること
となる。Each point M1 forming the three-dimensional shape model MB
For M10, for example, the contribution points to be given are 3
It is classified into stages. That is, the viewpoint P1, P2 or P
Points M2, M4 appearing in the silhouette image acquired in 3
A contribution point 1 is given to M8 and M10, and a contribution point 2 obtained by accumulating the contribution point 1 given for each silhouette image is given to a point M6 appearing in the silhouette images acquired at the viewpoints P1 and P3. To be Contribution point 0 will be given to the other points.
【００６３】このように寄与ポイントで三次元形状モデ
ルＭＢを重み付けすることにより、寄与ポイントの高い
点Ｍiおよびその周辺は、シルエット画像の影響を強く
受けている部分と考えられ、寄与ポイントの低い点Ｍi
およびその周辺は、シルエット画像の影響を受けず、形
状が実際の被写体ＳＢと異なる可能性が高いと考えられ
る。As described above, by weighting the three-dimensional shape model MB with the contribution points, the point Mi having a high contribution point and its surroundings are considered to be strongly influenced by the silhouette image, and the points having a low contribution point are considered. Mi
It is considered that there is a high possibility that the shape and its surroundings are not affected by the silhouette image and the shape is different from the actual subject SB.
【００６４】図８は、上記のステップＳ５に対応するプ
レビュー画像の処理を説明するフローチャートである。FIG. 8 is a flow chart for explaining the processing of the preview image corresponding to the above step S5.
【００６５】ステップＳ２１では、撮影装置２で撮影さ
れるプレビュー画像を表示部３２に表示する。ここで
は、撮影装置２で撮影されているリアルタイムの画像デ
ータがデータ処理装置３に転送されて、表示部３２に表
示されることとなる。In step S21, the preview image photographed by the photographing device 2 is displayed on the display unit 32. Here, the real-time image data captured by the image capturing device 2 is transferred to the data processing device 3 and displayed on the display unit 32.
【００６６】ステップＳ２２では、プレビュー画像を撮
影する際の撮影装置２の位置・姿勢データ(パラメータ)
を取得する。そして、撮影装置２の位置・姿勢パラメー
タと内部パラメータとに基づき、透視変換行列Ｐを算出
する。In step S22, position / orientation data (parameters) of the photographing device 2 at the time of photographing the preview image.
To get. Then, the perspective transformation matrix P is calculated based on the position / orientation parameter of the image capturing apparatus 2 and the internal parameter.
【００６７】ステップＳ２３では、ステップＳ４で三次
元形状モデルＭＢの各頂点に付与された寄与ポイントを
視覚化し、被写体ＳＢのプレビュー画像に重ね合わせて
表示部３２に表示する。この際、ステップＳ２２で算出
した透視変換行列Ｐに基づき三次元形状モデルＭＢのプ
レビュー画像上への投影が行われることとなる。In step S23, the contribution points given to the respective vertices of the three-dimensional shape model MB in step S4 are visualized, and displayed on the display unit 32 so as to be superimposed on the preview image of the subject SB. At this time, the three-dimensional shape model MB is projected onto the preview image based on the perspective transformation matrix P calculated in step S22.
【００６８】ここでは、寄与ポイントの大きさに応じて
三次元形状モデルＭＢの表面の輝度(反射率)を変化させ
る、例えば寄与ポイントを表現した赤色の濃淡を変化さ
せることにより、三次元形状モデルＭＢに付与される寄
与ポイントの分布を表示する。この場合、寄与ポイント
で重み付けられた三次元形状モデルＭＢを可視的に表す
表示用データを生成し、この表示用データに基づく画像
が表示部３２に表示されることとなる。なお、寄与ポイ
ントの大きさに応じて三次元形状モデルＭＢに与える彩
色を変化させても良い。Here, the surface brightness (reflectance) of the three-dimensional shape model MB is changed according to the size of the contribution point, for example, the shade of red representing the contribution point is changed to change the three-dimensional shape model. The distribution of the contribution points given to the MB is displayed. In this case, display data that visually represents the three-dimensional shape model MB weighted with the contribution points is generated, and an image based on this display data is displayed on the display unit 32. Note that the coloring given to the three-dimensional shape model MB may be changed according to the size of the contributing points.
【００６９】これにより、例えば三次元形状モデルＭＢ
で寄与ポイントが高い部分を赤色で着色するようにすれ
ば、ユーザは、プレビュー画像において被写体ＳＢの輪
郭部分に赤色が少なくなる視点Ｐｍ(図７)に撮影装置２
を移動できる。このように視覚化された寄与ポイントは
次に撮影すべき位置・姿勢の指標として利用できるた
め、ユーザは、以前に取得したシルエット画像と異なる
視点Ｐｍから撮影でき、三次元形状モデルＭＢを補うの
に適切なシルエット画像を取得できることとなる。Thereby, for example, the three-dimensional shape model MB
By coloring the part with a high contribution point in red, the user can set the viewpoint Pm (FIG. 7) at which the red color is reduced in the outline part of the subject SB in the preview image to the imaging device 2
Can be moved. Since the contribution points visualized in this way can be used as an index of the position / posture to be photographed next, the user can photograph from a viewpoint Pm different from the previously acquired silhouette image, and supplement the three-dimensional shape model MB. Therefore, the appropriate silhouette image can be acquired.
【００７０】以上のデータ処理装置３の動作により、寄
与ポイントで重み付けした三次元形状モデルを視覚化す
るため、新たな部分形状計測データ(シルエット画像)の
取得に有益な情報を提供できる。By the above-described operation of the data processing device 3, the three-dimensional shape model weighted by the contribution points is visualized, so that information useful for acquiring new partial shape measurement data (silhouette image) can be provided.
【００７１】＜変形例＞◎上記の実施形態の寄与ポイントについては、シルエッ
ト画像の輪郭を形成する各画素ごとに三次元形状モデル
の１つの頂点に付与するのは必須でない。すなわち、シ
ルエット画像の輪郭を形成する各画素は、三次元形状モ
デルに対してある一定の範囲に影響を与えているとも考
えられるため、この範囲に伝播させるように寄与ポイン
トを付与しても良い。例えば、三次元形状モデルＭＢ上
の１の頂点ｐi(ｘi,ｙi,ｚi)に関して、三次元形状モデ
ルＭＢ上の各頂点ｐjとの距離を考慮し、次の式(３)、
(４)のように寄与ポイントｃiを演算する。<Modification> ◎ Contribution points of the above-described embodiment are not essential to be given to one vertex of the three-dimensional shape model for each pixel forming the outline of the silhouette image. That is, each pixel forming the outline of the silhouette image is considered to have an influence on a certain range with respect to the three-dimensional shape model. Therefore, a contribution point may be added so as to propagate to this range. . For example, regarding one vertex pi (xi, yi, zi) on the three-dimensional shape model MB, considering the distance from each vertex pj on the three-dimensional shape model MB, the following equation (3),
The contribution point ci is calculated as in (4).
【００７２】[0072]
【数３】[Equation 3]
【００７３】ただし、式(３)において、ｋdは影響範囲
を制御するための係数であり、ｋは影響の強度を示す。However, in the equation (3), kd is a coefficient for controlling the range of influence, and k represents the intensity of influence.
【００７４】このような寄与ポイントの付与によって、
より適切に三次元形状モデルに対する重み付けが行える
こととなる。By assigning such contribution points,
It becomes possible to weight the three-dimensional shape model more appropriately.
【００７５】◎上記の実施形態については、可動式カメ
ラ２ｂに代えて、撮影装置２に加速度センサ付ジャイロ
センサを搭載することにより、位置・姿勢データの検出
を行うようにしてもよいし、可動式カメラ２ｂとジャイ
ロセンサとを併用してもよい。In the above embodiment, instead of the movable camera 2b, a gyro sensor with an acceleration sensor may be mounted on the photographing device 2 to detect the position / orientation data. The expression camera 2b and the gyro sensor may be used together.
【００７６】◎上記の実施形態については、無線により
撮影装置２とデータ処理装置３との間のデータ伝送を行
っているが、これに限らず有線によりデータ伝送を行う
ようにしても良い。In the above embodiment, the data transmission between the photographing device 2 and the data processing device 3 is performed wirelessly, but the data transmission is not limited to this, and the data transmission may be performed by wire.
【００７７】◎上記の実施形態については、三次元形状
モデルの投影画像とシルエット画像との差分情報に基づ
き寄与ポイントを付与しているが、三次元形状モデルの
各頂点に関して異なる視点から撮影された画像における
画素値のばらつきに基づき、寄与ポイントを付与しても
良い。すなわち、画像間で画素値の相違量が大きいほ
ど、被写体の形状が正確に再現されていないため、０ま
たは低い寄与ポイントを付与するようにする。In the above embodiment, the contribution points are given based on the difference information between the projected image of the three-dimensional shape model and the silhouette image, but each vertex of the three-dimensional shape model is photographed from different viewpoints. Contribution points may be given based on variations in pixel values in an image. That is, the greater the difference in pixel value between images, the more accurately the shape of the subject is not reproduced, so 0 or a low contribution point is given.
【００７８】◎上記の実施形態については、寄与ポイン
トで重み付けられた三次元形状モデルの表示用データに
基づく画像をデータ処理装置の表示部に表示している
が、この表示用データに基づきプリンタや記録媒体に出
力するようにしても良い。In the above embodiment, the image based on the display data of the three-dimensional shape model weighted by the contribution points is displayed on the display unit of the data processing device. You may make it output to a recording medium.
【００７９】◎本発明については、複数の三次元の部分
形状計測データを基礎に生成された三次元形状モデルの
場合には、次のように寄与ポイントの付与を行う。With regard to the present invention, in the case of a three-dimensional shape model generated on the basis of a plurality of three-dimensional partial shape measurement data, contribution points are assigned as follows.
【００８０】二次元の部分形状計測データである複数の
シルエット画像を基礎に生成された三次元形状モデルに
寄与ポイントを付与する場合には、上述のように三次元
形状モデルを二次元平面に投影しシルエット画像との差
分値に応じて寄与ポイントを付与している。When assigning contribution points to a three-dimensional shape model generated based on a plurality of silhouette images which are two-dimensional partial shape measurement data, the three-dimensional shape model is projected onto a two-dimensional plane as described above. Contribution points are given according to the difference value from the silhouette image.
【００８１】これに対して、複数の三次元の部分形状デ
ータを基礎に生成された三次元形状モデルに寄与ポイン
トを付与する場合には、三次元形状モデルと三次元の部
分形状との差分値に応じて、三次元形状モデルの各頂点
に寄与ポイントを付与することとなる。On the other hand, when the contribution points are given to the three-dimensional shape model generated on the basis of a plurality of three-dimensional partial shape data, the difference value between the three-dimensional shape model and the three-dimensional partial shape is calculated. Depending on, the contribution points are given to the respective vertices of the three-dimensional shape model.
【００８２】◎本発明における「三次元形状データを構
成する各要素」とは、三次元形状モデルの各頂点のみで
なく、三次元形状モデルを構成する微小な線分や面をも
含む概念である。The "each element forming the three-dimensional shape data" in the present invention is a concept including not only each vertex of the three-dimensional shape model but also minute line segments and surfaces forming the three-dimensional shape model. is there.
【００８３】[0083]
【発明の効果】以上説明したように、請求項１ないし請
求項５の発明によれば、計測された各部分形状と三次元
形状モデルとの適合度合いを各要素に反映させた三次元
形状モデルを可視的に表す表示用データを生成する。そ
の結果、新たな部分形状計測データの取得に有益な情報
を提供できる。As described above, according to the first to fifth aspects of the present invention, the three-dimensional shape model in which the degree of conformity between each measured partial shape and the three-dimensional shape model is reflected in each element. Display data for visually representing is generated. As a result, useful information can be provided for acquiring new partial shape measurement data.
【００８４】特に、請求項２の発明においては、計測対
象物の画像データに基づく画像に、数値情報で重み付け
られた三次元形状モデルを可視的に表す表示用データに
基づく画像を重ね合わせて表示するため、ユーザは新た
な部分形状計測データの取得に有益な情報を容易に理解
できる。Particularly, in the second aspect of the invention, the image based on the image data of the object to be measured is overlaid with the image based on the display data which visually represents the three-dimensional shape model weighted by numerical information. Therefore, the user can easily understand information useful for acquiring new partial shape measurement data.
【００８５】また、請求項３の発明においては、数値情
報が各部分形状それぞれについて適合度合いが積算され
る数値の情報であるため、各部分形状と三次元形状モデ
ルとの適合度合いを精度良く表すことができる。According to the third aspect of the invention, since the numerical value information is the numerical value information in which the degree of conformity is accumulated for each partial shape, the degree of conformity between each partial shape and the three-dimensional shape model is accurately represented. be able to.
【図１】本発明の実施形態に係るデータ処理装置３を利
用する三次元データ処理システム１の要部構成を示す図
である。FIG. 1 is a diagram showing a main configuration of a three-dimensional data processing system 1 that uses a data processing device 3 according to an embodiment of the present invention.
【図２】三次元データ処理システム１の機能ブロックを
示す図である。FIG. 2 is a diagram showing functional blocks of a three-dimensional data processing system 1.
【図３】撮影装置２によって画像データの取得する様子
を説明するための図である。FIG. 3 is a diagram for explaining how image data is acquired by the photographing device 2.
【図４】データ処理装置３の基本的な動作を説明するフ
ローチャートである。FIG. 4 is a flowchart illustrating a basic operation of the data processing device 3.
【図５】寄与ポイントの付与の動作を説明するフローチ
ャートである。FIG. 5 is a flowchart illustrating an operation of giving contribution points.
【図６】三次元形状モデルＭＢのシルエット画像への投
影を説明するための観念図である。FIG. 6 is a conceptual diagram for explaining projection of a three-dimensional shape model MB onto a silhouette image.
【図７】三次元形状モデルＭＢ上に付与される寄与ポイ
ントを説明するための概念図である。FIG. 7 is a conceptual diagram for explaining contribution points given on a three-dimensional shape model MB.
【図８】プレビュー画像の処理を説明するフローチャー
トである。FIG. 8 is a flowchart illustrating processing of a preview image.
１ 三次元データ処理システム２ 撮影装置３ データ処理装置２５、３４ 制御部Ｐ１、Ｐ１、Ｐ３、Ｐｍ 視点Ｆ１ 視線方向ＭＢ 三次元形状モデルＭＢｓ 三次元形状モデルの投影画像ＳＢ 被写体ＳＧ シルエット画像ＴＣ 立体チャート1 three-dimensional data processing system2 Imaging device3 Data processing device25, 34 control unitP1, P1, P3, Pm viewpointsF1 line of sightMB 3D shape modelMBs Projection image of 3D modelSB subjectSG silhouette imageTC 3D chart
─────────────────────────────────────────────────────フロントページの続き Ｆターム(参考） 2F065 AA06 AA53 BB06 FF04 FF28 FF61 JJ03 JJ05 JJ07 JJ26 KK03 LL06 MM06 PP04 PP05 QQ03 QQ24 QQ25 QQ29 SS02 UU03 UU05 UU06 5B057 AA20 BA02 DA07 DB03 DB05 DB09 DC16 5C022 AA01 AB62 AC69 ─────────────────────────────────────────────────── ───Continued front page F term (reference) 2F065 AA06 AA53 BB06 FF04 FF28 FF61 JJ03 JJ05 JJ07 JJ26 KK03 LL06 MM06 PP04 PP05 QQ03 QQ24 QQ25 QQ29 SS02 UU03 UU05 UU06 5B057 AA20 BA02 DA07 DB03 DB05 DB09 DC16 5C022 AA01 AB62 AC69
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018534AJP2003216933A (en) | 2002-01-28 | 2002-01-28 | Data processing device, storage medium and program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018534AJP2003216933A (en) | 2002-01-28 | 2002-01-28 | Data processing device, storage medium and program |
| Publication Number | Publication Date |
|---|---|
| JP2003216933Atrue JP2003216933A (en) | 2003-07-31 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002018534APendingJP2003216933A (en) | 2002-01-28 | 2002-01-28 | Data processing device, storage medium and program |
| Country | Link |
|---|---|
| JP (1) | JP2003216933A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005031252A1 (en)* | 2003-09-25 | 2005-04-07 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape determining apparatus, three-dimensional shape determining system, and three-dimensional shape determining program |
| JP2005292027A (en)* | 2004-04-02 | 2005-10-20 | Miyazaki Tlo:Kk | Three-dimensional shape measurement / restoration processing apparatus and method |
| JP2014170388A (en)* | 2013-03-04 | 2014-09-18 | Mitsubishi Electric Corp | Image drawing device |
| JPWO2014171418A1 (en)* | 2013-04-19 | 2017-02-23 | 凸版印刷株式会社 | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program |
| WO2024048210A1 (en)* | 2022-09-02 | 2024-03-07 | 富士フイルム株式会社 | Viewpoint image generation device, viewpoint image generation method, and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005031252A1 (en)* | 2003-09-25 | 2005-04-07 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape determining apparatus, three-dimensional shape determining system, and three-dimensional shape determining program |
| US7372580B2 (en) | 2003-09-25 | 2008-05-13 | Brother Kogyo Kabushiki Kaisha | Three-dimensional shape detecting device, three-dimensional shape detecting system, and three-dimensional shape detecting program |
| JP2005292027A (en)* | 2004-04-02 | 2005-10-20 | Miyazaki Tlo:Kk | Three-dimensional shape measurement / restoration processing apparatus and method |
| JP2014170388A (en)* | 2013-03-04 | 2014-09-18 | Mitsubishi Electric Corp | Image drawing device |
| JPWO2014171418A1 (en)* | 2013-04-19 | 2017-02-23 | 凸版印刷株式会社 | 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program |
| WO2024048210A1 (en)* | 2022-09-02 | 2024-03-07 | 富士フイルム株式会社 | Viewpoint image generation device, viewpoint image generation method, and program |
| Publication | Publication Date | Title |
|---|---|---|
| CN110574076B (en) | Image generation device, image generation method, and computer-readable storage medium | |
| JP4804256B2 (en) | Information processing method | |
| JP5093053B2 (en) | Electronic camera | |
| JP6541920B1 (en) | INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING METHOD | |
| JP7006810B2 (en) | 3D measuring device, mobile robot, push wheel type moving device and 3D measurement processing method | |
| JP2008145431A (en) | Apparatus and method for 3-dimensional surface geometry reconstruction | |
| JP2000512790A (en) | Data processing system and method | |
| JP2006244387A (en) | 3D model generation apparatus, 3D model generation method, and 3D model generation program | |
| WO2010038693A1 (en) | Information processing device, information processing method, program, and information storage medium | |
| KR102467556B1 (en) | Precise 360 image production technique using measured depth information | |
| JP2001022936A (en) | 3D shape generator | |
| JP7500512B2 (en) | Image processing device, image processing method, and program | |
| JPWO2006049147A1 (en) | Three-dimensional shape estimation system and image generation system | |
| JP7392101B2 (en) | Point cloud data processing device, point cloud data processing method, and program | |
| JP2019144958A (en) | Image processing device, image processing method, and program | |
| WO2022102476A1 (en) | Three-dimensional point cloud densification device, three-dimensional point cloud densification method, and program | |
| CN1544883A (en) | Three-dimensional foot type measuring and modeling method based on specific grid pattern | |
| JP2004280776A (en) | Method for determining shape of object in image | |
| US20220180545A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2008017386A (en) | Key image generation device | |
| JP2003216933A (en) | Data processing device, storage medium and program | |
| JP2008204318A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6719168B1 (en) | Program, apparatus and method for assigning label to depth image as teacher data | |
| JP2003216970A (en) | Three-dimensional image processing device, three-dimensional image processing system, three-dimensional image processing method, and three-dimensional image processing program | |
| JP7595626B2 (en) | Information processing device, information processing method, and program |
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant | Free format text:JAPANESE INTERMEDIATE CODE: A712 Effective date:20050613 | |
| A072 | Dismissal of procedure [no reply to invitation to correct request for examination] | Free format text:JAPANESE INTERMEDIATE CODE: A072 Effective date:20050816 |