【０００１】[0001]
【発明の属する技術分野】本発明は、コンピュータグラ
フィックス、テレビゲーム、あるいはバーチャルリアリ
ティーなどの分野における映像表示技術に関し、さらに
詳しくは、ユーザの指示に従い任意方向の映像を表示す
ることができるインタラクティブ性を備えた、映像生成
技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image display technology in a field such as computer graphics, a video game, or virtual reality, and more particularly, to an interactive display capable of displaying an image in an arbitrary direction in accordance with a user's instruction. And a video generation technology comprising:
【０００２】[0002]
【従来の技術】テレビゲームやバーチャルリアリティー
における映像コンテンツでは、さまざまなインタラクシ
ョンの実現が要求される。ここで、映像におけるインタ
ラクションとは、ユーザの指示に従い表示映像が動的に
変化することである。これにはおおきく、(1)ユーザの
指示に従い表示オブジェクトの状態が変化する、(2)ユ
ーザが自由に視点位置および方向を変えることができ
る、の２つのタイプがある。本発明が対象とするのは
(2) のタイプである。さらにこれは (2.1)視点位置およ
び視線方向の両方を変えることができる、(2.2) 視線方
向のみ変えることができる、の２つのタイプに分けるこ
とができる。2. Description of the Related Art In video contents in video games and virtual reality, realization of various interactions is required. Here, the interaction in the video means that the displayed video dynamically changes according to a user's instruction. There are two main types of this: (1) the state of the display object changes according to the user's instruction, and (2) the user can freely change the viewpoint position and direction. The object of the present invention is
This is the type of (2). Furthermore, it can be divided into two types: (2.1) both the viewpoint position and the gaze direction can be changed, and (2.2) only the gaze direction can be changed.
【０００３】(2.1) のタイプの実現には、リアルタイム
３次元CGの利用が不可欠になる。なぜなら任意の視点パ
ラメータ（位置および方向）で見た映像を作成するため
には、被写体の３次元情報が不可欠となるからである。
これに対し、(2.2) のタイプでは、リアルタイム３次元
CGは必要無くなる。なぜなら、ある視線方向の２次元映
像が用意されていれば、任意の視線方向の映像はこの映
像を加工することで作成できるため、被写体の３次元情
報は利用しないからである。For realizing the type (2.1), the use of real-time three-dimensional CG is indispensable. This is because three-dimensional information of a subject is indispensable to create a video viewed with arbitrary viewpoint parameters (position and direction).
On the other hand, in the type of (2.2), real-time 3D
CG is no longer needed. This is because if a two-dimensional image in a certain line of sight is prepared, an image in an arbitrary line of sight can be created by processing this image, and thus three-dimensional information of the subject is not used.
【０００４】(2.1) のタイプにおいては、非常に複雑で
詳細な形状を持った３次元CGモデルをリアルタイムに表
示することが、実装する装置の演算処理能力の制限など
により困難であるため、表示映像の品質が限られたもの
になってしまっていた。これに対して、(2.2) のタイプ
では、あらかじめ時間をかけてレンダリングをした高品
位な２次元映像を用意することや、ビデオなどで撮影し
た実写映像を用意し、これを利用することが可能となる
ため、非常に品質の高い映像を表示することができる。In the type of (2.1), it is difficult to display a three-dimensional CG model having a very complicated and detailed shape in real time due to the limitation of the arithmetic processing capability of a device to be mounted. The quality of the video was limited. On the other hand, in the type of (2.2), it is possible to prepare high-quality two-dimensional video rendered in advance over time, or to prepare and use live-action video shot with video etc. Therefore, a very high-quality image can be displayed.
【０００５】本発明で対象とするのは、(2.2) のタイプ
である。(2.1) のタイプに比べて、実行できるインタラ
クションに制限が加わるものの、上述の理由により表示
映像の品質を向上させることができる。このタイプの映
像インタラクションを実現させたシステムとして 「S.
E. Chen, "QuickTime VR - an image based approachto
virtual environment navigation", ACM Proc. SIGGRA
PH, pp. 29-38, 1995.」 がある。広視野角画像をあら
かじめ用意しておき、ユーザの指示に従ってこの画像を
加工することで、任意方向の映像をリアルタイムに表示
することが可能になる。The object of the present invention is the type (2.2). Compared to the type (2.1), although the interaction that can be performed is restricted, the quality of the displayed video can be improved for the above-described reasons. As a system that realizes this type of video interaction, `` S.
E. Chen, "QuickTime VR-an image based approachto
virtual environment navigation ", ACM Proc. SIGGRA
PH, pp. 29-38, 1995. " By preparing a wide-viewing-angle image in advance and processing this image in accordance with a user's instruction, it is possible to display an image in an arbitrary direction in real time.
【０００６】このようなシステムを実現する上で重要と
なるのが、用意する２次元画像データの形式である。任
意方向の映像をこの画像データから作成するためには、
この画像データがすべての方向の映像情報を有していな
ければならない。すなわち、ある視点位置から見た水平
方向、垂直方向いずれも 360°すべての方向の情報をも
つ必要がある。非常に広い視野角の映像情報を表わすこ
とのできる画像データのフォーマットは、全周囲画像
（Omni-directional Image）と呼ばれている。その代表
的な形式は魚眼形式として知られており、その一つの形
式では、周囲180°の映像情報を表現することができ
る。よって反対方向を向いたこの 180°魚眼形式の画像
を２枚用意することで、全周囲360°をカバーする映像
情報を表現することが可能となる。What is important in realizing such a system is the format of the prepared two-dimensional image data. To create a video in any direction from this image data,
This image data must have video information in all directions. In other words, it is necessary to have information in all directions of 360 ° both in the horizontal and vertical directions as viewed from a certain viewpoint position. A format of image data capable of representing video information with a very wide viewing angle is called an omni-directional image. A typical format is known as a fish-eye format, and one of the formats is capable of expressing image information around 180 °. Therefore, by preparing two 180 ° fish-eye images facing in opposite directions, it is possible to represent video information covering 360 ° around the entire circumference.
【０００７】魚眼形式はこのような特殊な目的で用いら
れる特別な形式であるが、一般のカメラやビデオあるい
はCG（コンピュータグラフィックス）で最も多く使われ
る透視投影形式を用いることでも、360°すべての映像
情報を表現することができる。視野角90°の透視投影画
像を、正面、背面、左右面、上下面、合計６面分用意す
ることで、全周囲360°をカバーする映像情報を表現す
ることが可能になる。「特開 2000-092388 画像生成装
置、画像生成方法及び画像生成方法を記録したプログラ
ム記録媒体」では６面以上の冗長な情報を持つ複数の平
面からなる拡張平面群モデルを用いることで、任意方向
の画像を高速に作成する方法を提示している。The fish-eye format is a special format used for such a special purpose. However, even if a perspective projection format most frequently used in a general camera, video, or CG (computer graphics) is used, a 360 ° format can be used. All video information can be expressed. By preparing a total of six perspective projection images having a viewing angle of 90 °, namely, the front, rear, left and right, and upper and lower surfaces, it is possible to represent video information covering the entire circumference of 360 °. In “Japanese Patent Application Laid-Open No. 2000-092388, an image generation apparatus, an image generation method, and a program recording medium storing the image generation method”, an extended plane group model composed of a plurality of planes having redundant information of six or more planes is used, It proposes a method for creating images at high speed.
【０００８】[0008]
【発明が解決しようとする課題】まず透視投影形式を例
に、任意方向画像の作成方法について説明する。図７
は、ある方向を向いた90°の視野角を持つ透視投影形式
の元画像（画像データ）（７０２０）から、別の方向を
向いた 30°の視野角を持つ表示画像（７０３０）を作
成する原理を示したもので、これらを上からみたものと
して表示している。図に示すとおり、表示画像は、視点
（７０４０）と元画像上の点（７０５０）を結ぶ直線
が、表示画像の投影面と交差した点（７０６０）に元画
像の画素値を投影することで作成される。（x,y）さ
て、このような原理で表示映像が作成される場合、第１
に問題となる。First, a method of creating an image in an arbitrary direction will be described using a perspective projection format as an example. FIG.
Creates a display image (7030) with a 30 ° viewing angle in another direction from a perspective projection original image (image data) (7020) with a 90 ° viewing angle in a certain direction It shows the principle and shows them as viewed from above. As shown in the figure, the display image is obtained by projecting the pixel value of the original image at a point (7060) where a straight line connecting the viewpoint (7040) and the point (7050) on the original image intersects with the projection plane of the display image. Created. (X, y) Now, when a display image is created based on such a principle, the first
Is a problem.
【０００９】[0009]
【数１】ここで f は透視投影形式の焦点距離である。ディジタ
ル画像処理では、投影面は等間隔に区切られた画素（ピ
クセル）（７１１０）と呼ばれる単位の情報として扱わ
れる。図からわかるように、画像の中央付近において
は、１つのピクセルを見込む角度は dθ1°（７１７
０）となるが、画像の外側付近ではこれがdθ2°（７１
８０）となりそれぞれ異なる。このような不均一性は、
作成映像において、解像度という観点において次のよう
な問題を生じさせる。すなわち、元画像の外側付近を用
いて作成された表示画像は、元画像のきめが細かい（1
画素あたりの見込み角dθ2°が小さい）ために高い解像
度での表示が可能となるが、これに対して元画像の中心
付近を用いて作成された表示画像は、元画像のきめが粗
い（1画素あたりの見込み角dθ1°が大きい）ために表
示解像度が低くなってしまう。図９に透視投影形式の画
像において、立体角（見込み角）が一定となるような領
域をそれぞれ格子として表わしたものを示す。図からわ
かるように、画像の外側に近づくにしたがい各格子の大
きさが大きくなる。このように表示する映像の方向によ
って、表示できる解像度が異なり、品質的に均一性を保
たれなくなる問題が生じていた。画像全体に対してある
一定以上の品質を保証するためには、相対的に最もきめ
の粗い中央付近において必要となる解像度を確保しなけ
ればならず、この場合は元画像の外側付近において必要
以上の解像度が得られてしまうことになり、元画像のデ
ータサイズが膨大になってしまう問題が発生していた。
これに対して魚眼形式は、画像全体にわたり１画素あた
りの見込み角がほぼ均一になる。魚眼映像上のある点の
位置（ｘ，ｙ）と、視点からその点に向かう３次元方向
を示す3次元ベクトルｍとの関係は（数２）であらわさ
れる。(Equation 1)Where f is the focal length in perspective projection format. Digital
In image processing, the projection plane is composed of pixels (pixels) divided at equal intervals.
(Xell) (7110)
It is. As you can see, near the center of the image
Is the angle to see one pixel is dθ1° (717
0), but this is dθ near the outside of the image.Two° (71
80). Such non-uniformity is
In the created video, in terms of resolution,
Cause serious problems. That is, the area near the outside of the original image is used.
The created display image has the finer details of the original image (1
Estimated angle dθ per pixelTwo(Small °)
Degrees can be displayed at the center of the original image.
The display image created using the neighborhood has a rough texture of the original image.
(Estimated angle dθ per pixel1° is large)
The display resolution is low. FIG. 9 shows a perspective projection image.
Area where the solid angle (estimated angle) is constant in the image
The regions are shown as grids. From the figure
As you can see, as you approach the outside of the image,
The size increases. Depending on the direction of the displayed image,
Display resolution is different and uniformity in quality is maintained.
There was a problem of not being able to sag. For the entire image
In order to guarantee a certain level of quality, the relative
The required resolution should be secured near the coarse center.
In this case, it is necessary near the outside of the original image
The above resolution will be obtained, and the original image
There was a problem that the data size became enormous.
In contrast, the fish-eye format uses one pixel
Approximate angles are almost uniform. Of a point on the fisheye image
Position (x, y) and three-dimensional direction from the viewpoint to the point
The relationship with the three-dimensional vector m indicating is expressed by (Equation 2).
It is.
【００１０】[0010]
【数２】ここで、ｃは魚眼上の半径と視野角との関係を決める比
例定数である。図１０に、この関係式を用い、魚眼形式
の画像データ上で、立体角（見込み角）が一定となる領
域をそれぞれ格子として表わしたものを示す。図からわ
かるように、魚眼形式を用いたときは、魚眼画像上の位
置にかかわらず各格子の大きさはほぼ一定であり、これ
はすなわち解像度的な均一性が保たれることを意味し、
上述の透視投影形式を用いた場合の問題点は無くなって
いると考えることができる。(Equation 2) Here, c is a proportionality constant that determines the relationship between the radius on the fisheye and the viewing angle. FIG. 10 shows, using this relational expression, regions where the solid angle (expected angle) is constant on the fisheye image data as a grid. As can be seen from the figure, when the fisheye format is used, the size of each grid is almost constant regardless of the position on the fisheye image, which means that the uniformity of the resolution is maintained. And
It can be considered that the problem when the perspective projection format described above is used has been eliminated.
【００１１】次に別の問題を考える。これは実装時の計
算量の問題である。ユーザのインタラクションに応じ
て、リアルタイムに任意の方向の表示映像を作成するた
めには、その計算を画像全体のすべての画素について非
常に短い時間で行わなければならない。よって、各画素
の計算量がそれぞれなるべく少ないものであることが望
まれる。なぜならそれにより、装置性能が低いものでも
実装が可能となり、システムを構築する際のコストが抑
制できるし、あるいは同じ装置性能を用いた場合でも１
画素あたりの計算量が少なければ全体の画像サイズを大
きくすることが可能となり、表示映像の品質を高めるこ
とができるからである。Next, another problem will be considered. This is a matter of computational complexity during implementation. In order to generate a display image in an arbitrary direction in real time according to the user's interaction, the calculation must be performed in a very short time for all pixels of the entire image. Therefore, it is desired that the calculation amount of each pixel is as small as possible. Because of this, it is possible to implement even a device having a low device performance, and it is possible to suppress the cost when constructing a system, or to reduce the cost even if the same device performance is used.
This is because if the amount of calculation per pixel is small, the entire image size can be increased, and the quality of the displayed video can be improved.
【００１２】図１５に、透視投影形式を用いた場合と、
魚眼形式を用いた場合の１画素あたりの計算に必要な演
算量の比較を示す。表に示すとおり、透視画像形式を用
いた場合と、魚眼形式を用いた場合とでは、加減演算お
よび乗除演算量についてはほとんど変わらない。しか
し、後者では式(2)がベースとなるため、ルートを求め
る二乗根演算と、逆三角関数演算がそれぞれ１回ずつ行
われる。これらの演算のための計算機内部における処理
量は、一般に加減や乗除演算に比べ非常におおきくな
る。よって計算量の観点からは、魚眼形式は透視画像形
式に比べ非常に不利であると言える。FIG. 15 shows a case where a perspective projection format is used,
The comparison of the amount of calculation required for calculation per pixel when using the fisheye format is shown. As shown in the table, the amount of addition / subtraction operation and the amount of multiplication / division operation hardly change between the case where the perspective image format is used and the case where the fisheye format is used. However, since the latter is based on equation (2), the square root operation for finding the root and the inverse trigonometric function operation are each performed once. In general, the amount of processing performed inside the computer for these operations is very large compared to the addition, subtraction, and multiplication / division operations. Therefore, from the viewpoint of the amount of calculation, it can be said that the fisheye format is very disadvantageous compared to the fluoroscopic image format.
【００１３】以上述べたことをまとめると、次のように
なる。任意方向の映像生成のための元画像データ形式と
して、透視投影形式は演算量が少なくて済むという長所
があるが、解像度が不均一となることで、データサイズ
と表示映像の品質の関係において問題があった。これに
対して、魚眼形式はデータサイズならびに品質的には問
題が少ないが、表示映像を作成するための演算量が多く
なってしまうという問題があった。The above is summarized as follows. As an original image data format for generating video in an arbitrary direction, the perspective projection format has the advantage of requiring a small amount of calculation, but the uneven resolution causes a problem in the relationship between the data size and the quality of the displayed video. was there. On the other hand, the fisheye format has few problems in data size and quality, but has a problem in that the amount of calculation for creating a display image increases.
【００１４】また、従来の技術の項で述べた冗長な情報
量を持つ複数の平面からなる拡張平面群モデルを用いる
方法では、高速な処理が可能となるものの、データ量が
大きくなってしまう問題があった。In the method using the extended plane group model composed of a plurality of planes having a redundant information amount described in the section of the prior art, high-speed processing is possible, but the data amount is large. was there.
【００１５】本発明の目的は、少ないデータ量で、上述
の２つの問題を同時に解決させる方法を提供することで
ある。An object of the present invention is to provide a method for solving the above two problems simultaneously with a small amount of data.
【００１６】[0016]
【問題を解決するための手段】上記問題を解決するた
め、本発明による映像生成方法では、画像データ作成部
と表示画像作成部において、それぞれ以下のような手段
を提供する。Means for Solving the Problems In order to solve the above problems, in the video generating method according to the present invention, the following means are provided in the image data creating section and the display image creating section, respectively.
【００１７】画像データ作成部では、出力画像の指定さ
れた位置情報から、その位置に対応するオリジナル画像
上の位置を算出する算出手段を選択し、選択された算出
手段に基づきオリジナル画像上の位置を算出し、その位
置の色情報を出力画像の指定の位置に書き込む手段を備
える。以上の手段より、出力画像の画像上の位置に応じ
て、高い解像度を得ることができかつ表示画像作成部に
おいて少ない演算量で表示画像を得ることができる適切
な画像形式を選ぶことが可能となるため、出力される画
像データは、所定のデータサイズに対して高い解像度の
情報量を持ち、また以下に述べる表示画像作成のための
演算量を少なくすることができる。The image data creating section selects a calculating means for calculating a position on the original image corresponding to the position from the designated position information of the output image, and based on the selected calculating means, calculates a position on the original image. Is calculated, and the color information at that position is written to a specified position of the output image. According to the above-described means, it is possible to select an appropriate image format that can obtain a high resolution and obtain a display image with a small amount of calculation in the display image creation unit according to the position of the output image on the image. Therefore, the output image data has a high resolution information amount with respect to a predetermined data size, and the amount of calculation for creating a display image described below can be reduced.
【００１８】表示画像作成部では、出力画像の指定され
た位置情報から、その位置に対応する画像データ上の位
置を算出する算出手段を選択し、選択された算出手段に
基づき画像データ上の位置を算出し、その位置の色情報
を出力画像の指定の位置に書き込む手段を備える。上述
の画像データは、出力画像の画像上の位置に応じて、高
い解像度でかつ演算量が少なくなるような形式で作成さ
れているため、高速に高品位な表示画像を出力すること
ができる。The display image creation unit selects a calculation means for calculating a position on the image data corresponding to the position from the designated position information of the output image, and based on the selected calculation means, calculates a position on the image data. Is calculated, and the color information at that position is written to a specified position of the output image. Since the above-described image data is created in a format having a high resolution and a small amount of calculation according to the position on the image of the output image, a high-quality display image can be output at high speed.
【００１９】[0019]
【発明の実施の形態】以下本発明に関する実施の形態を
説明する。本発明の第１の実施の形態では上述の問題点
を解決するために、第１の形式のデータを作成する手
段、ならびにこの形式のデータからユーザの指示に従い
任意方向を向いた表示映像を作成する手段を備える。本
発明の第２の実施の形態では、同じく上述の問題点を解
決するために、第２の形式のデータを作成する手段、な
らびにこの形式のデータからユーザの指示に従い任意方
向を向いた表示映像を作成する手段を備える。Embodiments of the present invention will be described below. In the first embodiment of the present invention, in order to solve the above-mentioned problem, means for creating data in a first format, and creation of a display image oriented in an arbitrary direction from data in this format in accordance with a user's instruction Means for performing In a second embodiment of the present invention, in order to solve the above-mentioned problem, means for creating data in a second format, and a display image oriented in an arbitrary direction according to a user's instruction from the data in this format Is provided.
【００２０】本発明の実施の形態の説明を行う前に、上
述の第１の形式の画像データ、ならびに第２の形式の画
像データの作成原理の説明を行う。Before describing the embodiments of the present invention, the principle of creating the above-described first format image data and second format image data will be described.
【００２１】本実施の形態における第１の形式の画像デ
ータは、透視投影形式と魚眼形式の両方の形式を混合さ
せた形式である。従来の技術の項で述べた通り、360°
の全周囲映像情報は、6枚のそれぞれ異なる方向を向い
た90°の視野各を持つ透視投影形式の画像の集合として
表わすことができる。同じように、この全周囲映像情報
は、6枚のそれぞれ異なる方向を向いた90°の視野角を
持つ魚眼形式の画像の集合としても表わすことができ
る。ここでそれぞれの透視投影形式の画像と、魚眼形式
の画像が、３次元空間内で全く同じ方向の映像情報を表
わすようにそれぞれの方向を定義する。よって、各方向
の透視投影形式の画像と魚眼形式の画像のペアは全く同
じ映像情報を保有していることになる。今ここで、図１
１に示す通り、視点（７０４０）から透視投影形式の画
像（９０３３）を見たとき、画像の中央から見込み角
θ （９０３４）となる画像上の点 p（９０３２） の集
合を考える。図から容易にわかるようにこの点は透視投
影形式の画像上で円 II（９０３８） を生成する。この
円 II は、次の２つの特徴を持つ。まず第１に、透視投
影形式の画像上で１画素あたりの見込み角度 dθ を考
えたときに、この円の内側においてはそれがある値以下
dθ < θII になり、この円の外側においてはそれがあ
る値以上 dθ > θII になる。なぜなら、画像上の中心
とある点ｐをつくる見込み角θと、画像上での中心から
ある点 p までの距離 r（９０３９） との関係式ｒ＝ｆ
tan θから、両者の微分をとって（数３）が成り立
つ。The image data of the first format in the present embodiment is a format in which both the perspective projection format and the fisheye format are mixed. As mentioned in the section on conventional technology, 360 °
Can be represented as a set of perspective projection type images each having six 90 ° visual fields oriented in different directions. Similarly, this omnidirectional video information can be represented as a set of six fisheye images each having a viewing angle of 90 ° in different directions. Here, the respective directions are defined so that the respective images in the perspective projection format and the images in the fisheye format represent video information in exactly the same direction in the three-dimensional space. Therefore, a pair of a perspective projection image and a fisheye image in each direction has exactly the same video information. Now and here, Figure 1
As shown in FIG. 1, when a perspective projection type image (9033) is viewed from a viewpoint (7040), a prospective angle is set from the center of the image.
Consider a set of points p (9032) on the image that is θ (9034). As can be readily seen, this point creates a circle II (9038) on the image in perspective projection format. This circle II has the following two features. First, when considering the expected angle per pixel dθ on a perspective projection image, it is less than a certain value inside this circle.
d [theta] <becomes thetaII, in the outside of the circle that is greater than or equal d [theta]> becomes thetaII. This is because a relational expression r = f between a prospective angle θ for forming a point p with the center on the image and a distance r (9039) from the center on the image to the point p.
From tan θ, (Equation 3) is established by taking the derivative of both.
【００２２】[0022]
【数３】この（数3）が示すように、θが大きくなる（画像の外
側にいく）に従い dθは単調増加となるからである。な
おここで f （９０３５）は透視投影形式における焦点
距離である。よって、画像全体としてある一定の解像度
がどの場所においても保証されるような透視投影形式を
考えた場合、この円 II が境となり、その内側はデータ
量的に無駄がなくなり、逆にその外側はデータ量的に無
駄が多くなる。(Equation 3) This is because dθ monotonically increases as θ increases (goes outside the image) as shown by (Equation 3). Here, f (9035) is the focal length in the perspective projection format. Therefore, when considering a perspective projection format in which a certain resolution of the entire image is guaranteed at any place, this circle II is the boundary, the inside is no waste in terms of data amount, and conversely, the outside is The amount of data is wasted.
【００２３】第２に、透視投影形式の画像上で画像中心
を中心にもつ円は、これを魚眼形式であらわしても同じ
ように円になる、という特徴がある。このように透視投
影形式でも魚眼形式でも同じ形状となる図形は、この円
形が唯一である。図１２は、透視投影形式（９０００）
における円 II（９０４０） と、同じ映像を魚眼形式
（９０３０）であらわした場合の、対応する図形（円 I
I'（９０３０））を示したものである。Second, a circle having the center of the image on the perspective projection type image becomes a circle even when expressed in a fisheye format. Thus, the only figure that has the same shape in the perspective projection format and the fisheye format is the circular shape. FIG. 12 shows a perspective projection format (9000).
The corresponding figure (circle I) when the same video is represented in fisheye format (9030) as circle II (9040) in
I ′ (9030)).
【００２４】さて、以上の２つの特徴を考慮し、この円
を境に、透視投影形式ではその円の内側（９０６０）
を、魚眼形式ではその円の外側（９０８０）を選び出
し、それぞれを結合させる。図１２はこの結合の様子
と、その結合後の映像（９１００）示したものである。
この形式を、本発明における第１の形式と呼ぶ。この形
式によれば、データ量的に冗長となる透視投影形式の外
側の部分については、画像形式が魚眼形式におきかえら
れるためその無駄がなくなり、また、画像全体の半分近
くの面積は、透視投影形式のまま残るために、発明が解
決しようとする課題に述べたような、表示映像作成時の
演算量を、画像全体が魚眼形式の場合に比べて削減する
ことができる。さらに、上述の円 II の第1の特徴よ
り、その結合の境目は定量的に根拠のある形状であり、
また、上述の第2の特徴より、２つの形式は図１２に示
す通りなめらかに結合され、結果として１枚の画像デー
タが作成できるというメリットを持つ。１枚の内部的に
滑らかな（離散的な部分をもたない）画像が得られるこ
とは、一般に広く用いられる動画圧縮を考えるとき、例
えばDCTやフレーム間差分の原理が効果的に働くため、
圧縮率の点で有利である。なお、ここで θII の値は、
例えば作成するデータの画像中心から際外郭までの画角
の半分 （θII = 45°/2 ）などと設定することができ
るし、それ以外の値を設定することもできる。θII を
大きくすれば透視投影形式の部分が多くなるので演算量
の点で有利であるが、同じ解像度の表示映像を作成する
ためのデータ量が大きくなる。θII を小さくすると魚
眼形式の部分が多くなるので、その逆の結果が得られ
る。よってこの値は、利用する装置の処理性能や表示す
る映像に要求される品質に応じて決めてやればよい。Now, taking into account the above two features, the inside of the circle (9060)
In the fish-eye format, the outside (9080) of the circle is selected and connected to each other. FIG. 12 shows the state of this combination and the image (9100) after the combination.
This format is referred to as a first format in the present invention. According to this format, since the image format is switched to the fisheye format for the portion outside the perspective projection format, which becomes redundant in terms of data amount, there is no waste, and the area close to half of the whole image is Since the projection format remains, the amount of calculation at the time of creating a display image as described in the problem to be solved by the invention can be reduced as compared with the case where the entire image is in the fisheye format. Furthermore, from the first characteristic of the above-mentioned circle II, the boundary of the connection is a shape with a quantitative basis,
Further, from the second feature described above, the two formats are smoothly combined as shown in FIG. 12, and as a result, there is an advantage that one image data can be created. The ability to obtain one internally smooth (without discrete parts) image means that when considering moving picture compression, which is generally widely used, for example, the principle of DCT or inter-frame difference works effectively.
This is advantageous in terms of compression ratio. Here, the value of θII is
For example, it can be set to half the angle of view (θII = 45 ° / 2) from the center of the image to the outer edge of the data to be created, or can be set to any other value. Increasing θII is advantageous in terms of the amount of calculation because the perspective projection format is increased, but the amount of data for creating a display video with the same resolution increases. The smaller the value of θII , the larger the number of fish-eye parts, so the opposite result is obtained. Therefore, this value may be determined according to the processing performance of the device to be used and the quality required for the displayed video.
【００２５】次に、本発明における第2の形式による画
像データについて説明する。透視投影形式の問題は、画
像上の位置によって１画素あたりの見込み角が不均一に
なることであった。その不均一性は、画像上のある点 p
を考えたときに、画像の中心から点pまでの距離 r
と、画像中心と点 p によって見込まれる角度 θ の関
係は、（数4）によってあらわされる。Next, image data in the second format according to the present invention will be described. A problem with the perspective projection format is that the estimated angle per pixel becomes non-uniform depending on the position on the image. The non-uniformity is caused by a point p on the image
Given the distance r from the center of the image to the point p
And the relationship between the image center and the angle θ expected by the point p is expressed by (Equation 4).
【００２６】[0026]
【数４】図１３は、この式を式(5)に示されるとおりに定数倍し
たものをグラフ（９１８０）であらわしたものである。
もしこのグラフが直線であれば画像上のある微小距離 d
r とその見込み角 dθ の関係が常に一定になり、解像
度的な均一性が保証される。なぜなら微分値をあらわす
グラフ上の各点での傾きが一定になるからである。しか
し実際は図に示す通りこれが曲線となり、dr と dθ の
関係が一定で無くなる。そこで図１４に示すように、透
視投影形式の画像（９３００）を、式(4) の逆数に比例
するように縮小を画像の縦方向ならびに横方向に行う。
画像（９３３０）は、この縮小を行った結果である。こ
の縮小を行うことで、画像の中央付近においても、画像
の外側付近においても、各微小距離に対応する見込み角
度がほぼ一定になり、これにより各画素があらわす立体
角もほぼ一定になる。その結果としてある一定以上の解
像度を画像全体に対して保証する場合でも、データ量的
な無駄がなくなる。(Equation 4) FIG. 13 is a graph (9180) obtained by multiplying this equation by a constant as shown in equation (5).
If this graph is a straight line, a small distance d on the image
The relationship between r and its expected angle dθ is always constant, and uniformity in resolution is guaranteed. This is because the slope at each point on the graph representing the differential value becomes constant. However, in reality, this becomes a curve as shown in the figure, and the relationship between dr and dθ is not constant. Therefore, as shown in FIG. 14, the perspective projection image (9300) is reduced vertically and horizontally in proportion to the reciprocal of equation (4).
Image (9330) is the result of this reduction. By performing this reduction, the expected angle corresponding to each minute distance becomes substantially constant near the center of the image and also near the outer side of the image, whereby the solid angle represented by each pixel also becomes substantially constant. As a result, even when a resolution equal to or higher than a certain level is guaranteed for the entire image, data amount is not wasted.
【００２７】しかしながらこの方式を導入する場合に問
題となるのが、演算量である。式(4) には逆三角関数が
存在する。この演算は、魚眼形式の場合と同じように、
他の加減乗除の演算に比べて非常に時間がかかる演算で
ある。そこで本形式では、関数 atan (tan-1)を直接利
用する代わりに、これをより少ない加減乗除の計算で求
められる関数で近似する。このため（数５）を定義す
る。However, a problem when introducing this method is a calculation amount. Equation (4) has an inverse trigonometric function. This operation is similar to the fisheye format,
This operation takes much longer time than other addition, subtraction, multiplication, and division operations. Therefore, in this form, instead of directly using the function atan (tan-1 ), this function is approximated by a function that can be calculated with less addition, subtraction, multiplication, and division. Therefore, (Equation 5) is defined.
【００２８】[0028]
【数５】また、（数５）の近似式を（数６）とする。(Equation 5) The approximate expression of (Equation 5) is defined as (Equation 6).
【００２９】[0029]
【数６】（数５）（数６）の形式の近似式であらわすことができ
れば、（数４）（数３）の関係から、（数４）の近似式
を求めることができる。(Equation 6) If it can be represented by an approximate expression of the form (Equation 5) and (Equation 6), the approximate expression of (Equation 4) can be obtained from the relationship of (Equation 4) and (Equation 3).
【００３０】（数６）における未知係数 a, b, c を求
める。ｇ（０）＝０、ｇ（１）＝１の関係から a, b が
消去でき、（数７）の関係を得ることができる。The unknown coefficients a, b, c in (Equation 6) are obtained. a and b can be eliminated from the relationship of g (0) = 0 and g (1) = 1, and the relationship of (Expression 7) can be obtained.
【００３１】[0031]
【数７】次に、この c を下記の式に従い、数値的に求める。(Equation 7) Next, c is numerically obtained according to the following equation.
【００３２】[0032]
【数８】その結果として c = 2.372684 が得られる。以上より求
められた（数7）を用い、上述の画像縮小の操作を行
う。（数４）を用いた場合と比較すると若干異なる画像
が得られるが、この近似式を用いて作成した画像データ
を、この近似式を用いて表示画像に変換すれば、この違
いによる影響は全く無くなる。以上の原理を用いて作成
された画像データを、本発明における第２の形式の画像
データと呼ぶ。(Equation 8) As a result, c = 2.372684 is obtained. The above-described image reduction operation is performed using (Equation 7) obtained as described above. Although a slightly different image is obtained as compared with the case where (Equation 4) is used, if the image data created using this approximate expression is converted into a display image using this approximate expression, the effect of this difference is completely Disappears. Image data created using the above principle is referred to as image data of the second format in the present invention.
【００３３】以上述べた、第１の形式の画像データなら
びに第２の形式の画像データを用いた本発明の実施の形
態を説明する。An embodiment of the present invention using the above-described first format image data and second format image data will be described.
【００３４】まず第１の形式の画像データを用いた、第
１の実施の形態を説明する。図１は、本発明の第１の実
施の形態における全体の機能構成図である。まずこの図
を用いて本発明の第１の実施の形態の処理の流れを説明
する。処理は大きく、第１の形式の画像データ（１０８
０）を作成するための画像データ作成部（１３００）
と、その画像データを用いて、ユーザの操作に従い任意
の方向の表示画像を作成する表示画像作成部（１５０
０）に分かれる。First, a first embodiment using image data of the first format will be described. FIG. 1 is an overall functional configuration diagram according to the first embodiment of the present invention. First, the flow of processing according to the first embodiment of the present invention will be described with reference to FIG. The processing is large, and the image data of the first format (108
Image data creation unit (1300) for creating (0)
And a display image creation unit (150) that creates a display image in an arbitrary direction according to a user operation using the image data.
0).
【００３５】まず、画像データ作成部について説明す
る。本作成部では、実写画像やレンダリング済みのCG画
像などのオリジナル画像（１０５０）から第１の形式の
画像データを作成する。まず、作成する画像データのど
の画素を出力するか、その画素位置を、出力画像データ
位置設定手段（１０１０）で設定する。出力する画像の
形式は、前に述べたように透視投影形式と魚眼形式を混
合した形式である。またその選択は、画素位置によって
決まる。よってどちらの形式を用いるかを、オリジナル
画像位置算出方法選択手段（１０２０）によって決定す
る。オリジナル画像位置算出手段１（１０３０）では、
透視投影形式を出力画像に仮定した場合に、出力画像の
画素位置から対応するオリジナル画像の画素位置を求め
る。オリジナル画像位置算出手段２（１０４０）では、
魚眼形式を出力画像に仮定した場合に、出力画像の画素
位置から対応するオリジナル画像の画素位置を求める。
次に、どちらかの算出手段によって求められたオリジナ
ル画像の画素位置の色情報（例えば RGB 色値など）
を、画素値読み込み手段（１０６０）によって読み込
む。この値を、出力画像の指定の画素位置に、画素値書
き込み手段（１０７０）によって書き込む。以上の処理
を、出力画像のすべての画素に対して行うことで、第１
の形式の画像データ（１０８０）が作成される。First, the image data creating section will be described. The present creating unit creates image data in the first format from an original image (1050) such as a real image or a rendered CG image. First, the output image data position setting means (1010) sets which pixel of the image data to be output and the pixel position thereof. The format of the output image is a format in which the perspective projection format and the fisheye format are mixed as described above. The selection is determined by the pixel position. Therefore, which format is used is determined by the original image position calculation method selecting means (1020). In the original image position calculation means 1 (1030),
When the perspective projection format is assumed for the output image, the corresponding pixel position of the original image is obtained from the pixel position of the output image. In the original image position calculation means 2 (1040),
When the fisheye format is assumed for the output image, the corresponding pixel position of the original image is obtained from the pixel position of the output image.
Next, the color information (for example, RGB color value, etc.) of the pixel position of the original image obtained by either calculation means
Is read by the pixel value reading means (1060). This value is written to a designated pixel position of the output image by the pixel value writing means (1070). By performing the above processing for all pixels of the output image, the first
Image data (1080) is created.
【００３６】次に、表示画像作成部について説明する。
本作成部では、第１の形式の画像データ（１０８０）か
ら、ユーザの指定する方向を向いた表示画像（１１５
０）を作成する。まず、表示画像方向指定手段（１０８
５）により、ユーザからの任意方向の指定を受け付け
る。次にその方向を向いた表示画像のどの画素を表示す
るか、その画素位置を、表示画像位置指定手段（１０９
０）で設定する。入力画像として用いる画像データの形
式は、前に述べたように透視投影形式と魚眼形式を混合
した形式である。またその選択は、画素位置によって決
定されている。よってどちらの形式で作成されているか
を、画像データ位置算出方法選択手段（１１００）によ
って決定する。画像データ位置算出手段１（１１２０）
では、透視投影形式を入力画像に仮定した場合に、表示
画像の画素位置から対応する入力画像（第１の形式の画
像データ（１０８０））の画素位置を求める。画像デー
タ位置算出手段２（１１１０）では、魚眼形式を入力画
像に仮定した場合に、表示画像の画素位置から対応する
入力画像の画素位置を求める。次に、どちらかの算出手
段によって求められた、第１の形式の画像データの画素
位置の色情報を、画素値読み込み手段（１０３０）によ
って読み込む。この値を、表示画像の指定の画素位置
に、画素値書き込み手段（１１４０）によって書き込
む。以上の処理を、表示画像のすべての画素に対して行
うことで、表示画像が作成される。以上が本発明におけ
る第１の実施の形態における全体の処理の流れである。Next, the display image creating section will be described.
In the present creating unit, the display image (115) oriented in the direction designated by the user is converted from the first format image data (1080).
0) is created. First, the display image direction designation means (108
According to 5), designation in an arbitrary direction from the user is accepted. Next, which pixel of the display image oriented in that direction is to be displayed, the pixel position is determined by the display image position designation means (109
0). The format of the image data used as the input image is a format in which the perspective projection format and the fisheye format are mixed as described above. The selection is determined by the pixel position. Therefore, which format is created is determined by the image data position calculation method selecting means (1100). Image data position calculation means 1 (1120)
Then, when the perspective projection format is assumed for the input image, the pixel position of the corresponding input image (first format image data (1080)) is determined from the pixel position of the display image. The image data position calculating means 2 (1110) obtains the corresponding pixel position of the input image from the pixel position of the display image when the fisheye format is assumed for the input image. Next, the pixel value reading means (1030) reads the color information of the pixel position of the image data of the first format, which is obtained by either of the calculating means. This value is written to the designated pixel position of the display image by the pixel value writing means (1140). The display image is created by performing the above processing for all the pixels of the display image. The above is the overall processing flow in the first embodiment of the present invention.
【００３７】次に、図２を用いて、本発明の第１の実施
の形態における、画像データ作成の具体的方法について
説明する。なお、以下に述べる各処理については、後に
述べる本発明の装置例における各プログラムによって実
施される。Next, a specific method of creating image data in the first embodiment of the present invention will be described with reference to FIG. In addition, each process described below is performed by each program in the device example of the present invention described later.
【００３８】まず、出力画像上の、まだ計算されていな
い画素を選ぶ。そしてその２次元位置を p とあらわす
（２０００）。このステップが、図１における、出力画
像データ位置設定手段（１０１０）に相当する。First, an uncalculated pixel on the output image is selected. Then, the two-dimensional position is represented as p (2000). This step corresponds to the output image data position setting means (1010) in FIG.
【００３９】次に、出力画像のデータ形式を仮に透視投
影形式とし（２０１０）、点 p と画像中心を見込む角
度 θ を計算する（２０２０）。この値を、あらかじめ
決められている値 θII と比較し（２０３０）、それ以
下であれば透視投影形式を、それ以上であれば魚眼形式
を出力画像のデータ形式に選択する。なお、θII は、
前に述べた円 II を形成する見込み角度である。このス
テップが、図１における、オリジナル画像位置算出方法
選択手段（１０２０）に相当する。Next, the data format of the output image is tentatively assumed to be a perspective projection format (2010), and an angle θ for viewing the point p and the image center is calculated (2020). This value is compared with a predetermined value θII (2030), and if it is less than this, the perspective projection format is selected, and if it is more than that, the fisheye format is selected as the data format of the output image. Note that θII is
This is the expected angle to form the circle II mentioned earlier. This step corresponds to the original image position calculation method selection means (1020) in FIG.
【００４０】次に、もし透視投影形式が選択されれば
（２０４０）その形式に従い、視点から点 p に向かう
方向のワールド座標方向 m を算出する（２０６０）。
この方向は（数１）を用いて計算される。もし魚眼形式
が選択されれば（２０５０）その形式に従い、視点から
点 p に向かう方向のワールド座標方向 m を算出する
（２０６０）。この方向は式(2) を用いて計算される。
その方向 m が示すオリジナル画像上の位置 q を算出す
る。オリジナル画像とは、コンピュータグラフィックス
によって作成された映像や実写映像である。一般にこれ
らの映像は透視投影に基づき作成されるので、この計算
は（数１）によって行われる。このステップが、図１に
おける、オリジナル画像位置算出手段１（１０３０）あ
るいはオリジナル画像位置算出手段２（１０４０）に相
当する。Next, if the perspective projection format is selected (2040), the world coordinate direction m from the viewpoint to the point p is calculated according to the format (2060).
This direction is calculated using (Equation 1). If the fisheye format is selected (2050), the world coordinate direction m in the direction from the viewpoint to the point p is calculated according to the format (2060). This direction is calculated using equation (2).
The position q on the original image indicated by the direction m is calculated. The original image is an image or a real image created by computer graphics. Since these images are generally created based on perspective projection, this calculation is performed by (Equation 1). This step corresponds to the original image position calculation means 1 (1030) or the original image position calculation means 2 (1040) in FIG.
【００４１】次に、オリジナル画像上の位置 q の画素
値を読み込み、その値を出力画像の位置pの画素値とし
て書き込む（２０８０）。このステップが、図１におけ
る、画素値読み込み手段（１０６０）ならびに、画素値
書き込み手段（１０７０）に相当する。Next, the pixel value at the position q on the original image is read, and the value is written as the pixel value at the position p of the output image (2080). This step corresponds to the pixel value reading means (1060) and the pixel value writing means (1070) in FIG.
【００４２】以上の処理を、出力画像の各画素について
行い終了する（２０９０）。ここで、ステップ２０９０
では、出力画像の全ての画素について行ってもよい。こ
れにより出力される画像データが、本発明における第１
の形式による画像データである。The above processing is performed for each pixel of the output image, and the process ends (2090). Here, step 2090
Then, it may be performed for all the pixels of the output image. The output image data is the first image data of the present invention.
Is image data in the format.
【００４３】次に、図３を用いて、本発明の第１の実施
の形態における、表示データ作成の具体的方法について
説明する。なお、以下に述べる各処理については、後に
述べる本発明の装置例における各プログラムによって実
施される。Next, a specific method of creating display data in the first embodiment of the present invention will be described with reference to FIG. In addition, each process described below is performed by each program in the device example of the present invention described later.
【００４４】まず、ユーザから表示する映像の3次元方
向の指示を受け付ける（３０００）。これは従来の技術
の項で述べた、ユーザのインタラクションに相当する。
受け付ける手段には、例えばマウスやジョイスティクの
利用などが考えられる。このステップが、図１におけ
る、表示画像方向指定手段（１０８５）に相当する。First, an instruction in a three-dimensional direction of a video to be displayed is received from the user (3000). This corresponds to the user interaction described in the section of the related art.
As a means for accepting, for example, use of a mouse or a joystick can be considered. This step corresponds to the display image direction designation means (1085) in FIG.
【００４５】次に、出力画像上の、まだ計算されていな
い画素を選ぶ。そしてその２次元位置を w とあらわす
（３０１０）。このステップが、図１における、表示画
像位置指定手段（１０９０）に相当する。Next, a pixel which has not been calculated yet is selected on the output image. Then, the two-dimensional position is represented by w (3010). This step corresponds to the display image position designation means (1090) in FIG.
【００４６】次に、wの示す、3次元方向 m を求める
（３０２０）。一般に表示映像は透視投影形式で表示さ
れるので、この計算は式(1) に基づき算出される。次
に、その画像の画像中心方向と m が作る角度 θ を算
出する（３０４０）。この値が、あらかじめ決められた
値 θII より小さいか、あるいは大きいかを比較する
（３０５０）。もし小さい場合は、その画像データは透
視投影形式で作られているものとみなす（３０６０）。
もし大きい場合は、その画像データは魚眼形式で作られ
ているものとみなす（３０７０）。これらのステップ
が、図１における、画像データ位置算出方法選択手段
（１１００）に相当する。Next, a three-dimensional direction m indicated by w is obtained (3020). Generally, a display image is displayed in a perspective projection format, and therefore, this calculation is calculated based on Expression (1). Next, the angle θ between the image center direction of the image and m is calculated (3040). It is compared whether this value is smaller or larger than a predetermined value θII (3050). If it is smaller, it is assumed that the image data is created in a perspective projection format (3060).
If it is large, it is assumed that the image data is created in a fish-eye format (3070). These steps correspond to the image data position calculation method selection means (1100) in FIG.
【００４７】次に、もし透視投影形式が選択されれば
（３０６０）その形式に従い、ワールド座標方向mを示
す透視投影形式の画像上の位置 v を算出する（３０８
０）。この位置は（数１）を用いて計算される。もし魚
眼形式が選択されれば（３０７０）その形式に従い、ワ
ールド座標方向 m を示す魚眼形式の画像上の位置 v を
算出する（３０８０）。この位置は（数２）を用いて計
算される。これらのステップが、図１における、画像デ
ータ位置算出手段１（１１２０）あるいは、画像データ
位置算出手段２（１１１０）に相当する。Next, if the perspective projection format is selected (3060), a position v on the image in the perspective projection format indicating the world coordinate direction m is calculated according to the format (308).
0). This position is calculated using (Equation 1). If the fisheye format is selected (3070), the position v on the image in the fisheye format indicating the world coordinate direction m is calculated according to the format (3080). This position is calculated using (Equation 2). These steps correspond to the image data position calculating means 1 (1120) or the image data position calculating means 2 (1110) in FIG.
【００４８】次に、画像データ上の位置 v の画素値を
読み込み、その値を出力画像上の位置 w の画素値とし
て書き込む（３０９０）。このステップが、図１におけ
る、画素値読み込み手段（１０３０）、画素値書き込み
手段（１１４０）に相当する。Next, the pixel value at the position v on the image data is read, and the value is written as the pixel value at the position w on the output image (3090). This step corresponds to the pixel value reading means (1030) and the pixel value writing means (1140) in FIG.
【００４９】以上のステップを、出力画像全ての画素に
ついて行い終了する（３１００）。これにより出力され
る画像が、ユーザの指定する方向を向いた表示映像であ
る。The above steps are performed for all the pixels of the output image, and the process ends (3100). The output image is a display image oriented in the direction specified by the user.
【００５０】次に、本発明第２の実施の形態について説
明する。第２の実施の形態では、前に述べた第２の形式
の画像データを作成・利用する。まず、図４を用いて、
第２の実施の形態における、画像データ作成の具体的方
法について説明する。なお、以下に述べる各処理につい
ては、本発明第１の実施例と同様に、後に述べる装置例
における各プログラムによって実施される。Next, a second embodiment of the present invention will be described. In the second embodiment, image data in the second format described above is created and used. First, referring to FIG.
A specific method of creating image data according to the second embodiment will be described. Note that each processing described below is performed by each program in an apparatus example described later, as in the first embodiment of the present invention.
【００５１】まず、第２の形式の画像データを作成する
ための計算に用いられる近似関数を作成する。これは、
画像形式の算出式における基本関数（（数５）、図１
３）を定義するステップ（４０７０）、その近似関数を
求めるステップ（（数６）−（数８））（４０８０）、
その近似関数を記録するステップ（４０９０）からな
る。First, an approximation function used for calculation for generating image data of the second format is prepared. this is,
Basic function (Equation 5) in calculation formula of image format, FIG.
Step (4070) for defining 3), step ((Formula 6)-(Formula 8)) (4080) for obtaining an approximate function thereof,
Recording the approximate function (4090).
【００５２】一方、画像データを作成する処理として、
まず出力画像上のまだ計算されていない画素を選び、そ
の位置pを設定する（４００５）。On the other hand, as processing for creating image data,
First, a pixel that has not been calculated on the output image is selected, and its position p is set (4005).
【００５３】次に、位置 p から、上述の近似関数を用
いてその位置に対応する透視投影上の位置 p' を算出す
る（４０１０）。Next, a position p 'on the perspective projection corresponding to the position p is calculated from the position p using the above-described approximation function (4010).
【００５４】その位置が示すワールド座標方向 m' を算
出する（４０２０）。この計算には（数１）を用いる。The world coordinate direction m 'indicated by the position is calculated (4020). (Equation 1) is used for this calculation.
【００５５】次に、その方向 m' が示すオリジナル画像
上の位置 q を算出する（４０３０）。オリジナル画像
とは、コンピュータグラフィックスによって作成された
映像や実写映像である。一般にこれらの映像は透視投影
に基づき作成されるので、この計算は（数１）によって
行われる。Next, the position q on the original image indicated by the direction m 'is calculated (4030). The original image is an image or a real image created by computer graphics. Since these images are generally created based on perspective projection, this calculation is performed by (Equation 1).
【００５６】次に、オリジナル画像上の位置 q の画素
値を読み込み、その値を出力画像の位置 p の画素値と
して書き込む（４０４０）。Next, the pixel value at the position q on the original image is read, and the value is written as the pixel value at the position p of the output image (4040).
【００５７】以上の処理を、出力画像のすべての画素に
ついて行い終了する（４０５０）。これにより出力され
る画像データが、本発明における第２の形式による画像
データである。The above processing is performed for all the pixels of the output image, and the process ends (4050). The image data output in this way is the image data in the second format according to the present invention.
【００５８】次に図５を用いて、本発明の第２の実施の
形態における、表示データ作成の具体的方法について説
明する。なお、以下に述べる各処理については、本発明
第１の実施例と同様に、後に述べる装置例における各プ
ログラムによって実施される。Next, a specific method of creating display data in the second embodiment of the present invention will be described with reference to FIG. Note that each processing described below is performed by each program in an apparatus example described later, as in the first embodiment of the present invention.
【００５９】まず、画像データ作成時に定義された第２
の形式の画像データを算出する際に用いる近時関数を読
み込む（５０７５）。First, the second image defined when the image data is created
A recent function used to calculate the image data of the format is read (5075).
【００６０】一方、表示画像生成のために、ユーザから
表示する映像の3次元方向の指示を受け付ける（５００
０）。これは従来の技術の項で述べた、ユーザのインタ
ラクションに相当する。受け付ける手段には、例えばマ
ウスやジョイスティクの利用などが考えられる。次に、
出力画像上の、まだ計算されていない画素を選ぶ。そし
てその２次元位置を w とあらわす（５０１０）。On the other hand, in order to generate a display image, an instruction in a three-dimensional direction of a video to be displayed is received from the user (500).
0). This corresponds to the user interaction described in the section of the related art. As a means for accepting, for example, use of a mouse or a joystick can be considered. next,
Select an uncalculated pixel on the output image. Then, the two-dimensional position is represented as w (5010).
【００６１】次に、w の示す、ワールド座標3次元方向
m を求める（５０２０）。一般に表示映像は透視投影形
式で表示されるので、この計算は（数１）に基づき算出
される。Next, the world coordinate three-dimensional direction indicated by w
m is obtained (5020). Generally, a display image is displayed in a perspective projection format, so this calculation is calculated based on (Equation 1).
【００６２】次に、m の方向を示す透視投影形式の位置
v' を求める（５０４０）次に前述の近似関数を用いて
v' の補正位置 v を算出する（５０５０）。次に、画
像データ上の位置 v の画素値を読み込み、その値を出
力画像上の位置 w の画素値として書き込む（５０６
０）。以上のステップを、出力画像全ての画素について
行い終了する（５０７０）。これにより出力される画像
が、ユーザの指定する方向を向いた表示映像である。Next, the position in the perspective projection format indicating the direction of m
v 'is obtained (5040). Then, using the above-described approximation function,
The correction position v of v ′ is calculated (5050). Next, the pixel value at the position v on the image data is read, and the value is written as the pixel value at the position w on the output image (506).
0). The above steps are performed for all the pixels of the output image, and the process ends (5070). The output image is a display image oriented in the direction specified by the user.
【００６３】次に、図７、８を用いて、本発明における
第１の実施の形態における装置構成例について説明す
る。図７は画像データ作成のための装置（画像データ作
成装置）、図８は表示画像作成のための装置（表示画像
作成装置）である。Next, an example of an apparatus configuration according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 7 shows an apparatus for creating image data (image data creating apparatus), and FIG. 8 shows an apparatus for creating display images (display image creating apparatus).
【００６４】画像データ作成装置（図７）は、プログラ
ムに基づき計算やデータ処理を行うメインプロセッサ
（６０２０）、ハードディスクなどの補助記憶、メモリ
などの主記憶から構成される。補助記憶には、プログラ
ム（６０５０）とオリジナル画像データ（６０６０）と
作成される第１の形式の画像データ（６０７０）を記録
する。主記憶には、画像データを作成するための処理内
容を記述した画像データ作成プログラムが格納される。
メインプロセッサは、画像データ作成プログラムによっ
て、図３に記載された処理を行い、補助記憶装置に記録
されているオリジナル画像データから、第１の形式の画
像データを作成し、同補助記憶装置に記憶する。The image data creation device (FIG. 7) is composed of a main processor (6020) for performing calculations and data processing based on a program, an auxiliary storage such as a hard disk, and a main storage such as a memory. In the auxiliary storage, a program (6050), original image data (6060), and image data (6070) of the first format created are recorded. The main memory stores an image data creation program that describes processing contents for creating image data.
The main processor performs the processing described in FIG. 3 by the image data creation program, creates image data in the first format from the original image data recorded in the auxiliary storage device, and stores the image data in the first format. I do.
【００６５】表示画像作成装置（図８）は、プログラム
に基づき計算やデータ処理を行うメインプロセッサ（６
０２０）、表示画像データをプロジェクタ（６０００）
等の表示装置に出力するグラフィックボード（６０１
０）、ジョイスティック等の入力装置（６０３０）、そ
の制御を行う入力装置制御ボード（６０４０）、ハード
ディスクなどの補助記憶、メモリなどの主記憶から構成
される。補助記憶には、プログラム（６０５０）と前述
の画像データ作成装置によって作成された第１の形式の
画像データ（６０７０）が記録される。主記憶には、表
示画像データを作成するための処理内容を記述した表示
画像作成プログラム（６５３０）、入力装置制御プログ
ラム（６６３０）、表示画像作成プログラムによって作
成された表示画像データ（６９３０）が記録される。メ
インプロセッサは、入力装置制御プログラムにより入力
装置を制御することでユーザからの指示を受け付け、ま
た表示画像作成プログラムにより図４に記載された処理
を行い、補助記憶に記録されている第１の形式による画
像データから、表示画像データを作成する。さらにこの
表示画像データをグラフィックボードを通してプロジェ
クタに表示する。The display image creation device (FIG. 8) includes a main processor (6) for performing calculations and data processing based on a program.
020), display image data is converted to a projector (6000).
Such as a graphic board (601)
0), an input device (6030) such as a joystick, an input device control board (6040) for controlling the input device, auxiliary storage such as a hard disk, and main storage such as a memory. The auxiliary storage stores the program (6050) and the first format image data (6070) created by the image data creation device described above. In the main memory, a display image creation program (6530) describing processing contents for creating display image data, an input device control program (6630), and display image data (6930) created by the display image creation program are recorded. Is done. The main processor receives an instruction from the user by controlling the input device by the input device control program, performs the process described in FIG. 4 by the display image creation program, and executes the first format recorded in the auxiliary storage. The display image data is created from the image data according to. Further, the display image data is displayed on the projector through the graphic board.
【００６６】以上が、本発明の実施の形態における装置
構成の例である。本装置により、第１の形式の画像デー
タおよび第２の形式の画像データを作成し、また表示す
ることで、発明が解決しようとする課題の項で述べた各
問題を解決することができる。The above is an example of the device configuration according to the embodiment of the present invention. With the present apparatus, by creating and displaying image data of the first format and image data of the second format, each problem described in the section of the problem to be solved by the invention can be solved.
【００６７】[0067]
【発明の効果】解像度的に効率的でしかも画像変換のた
めの計算量が少ない形式の画像データを作成し利用する
ことで、任意方向の映像を高品質に、少ないデータ量
で、また限られた性能の装置によって表示することがで
きる。According to the present invention, by creating and using image data in a format that is efficient in terms of resolution and requires a small amount of calculation for image conversion, video in any direction can be produced with high quality, with a small amount of data, and with limited data. Can be displayed by the device of the performance.
【図１】本発明を構成する各手段の関連と、処理の流れ
を示す機能構成図である。FIG. 1 is a functional configuration diagram showing a relation between each means constituting the present invention and a processing flow.
【図２】本発明の第１の実施の形態における画像データ
作成部の処理の手順を示すフローチャートである。FIG. 2 is a flowchart illustrating a processing procedure of an image data creation unit according to the first embodiment of the present invention.
【図３】本発明の第１の実施の形態における表示画像作
成部の処理の手順を示すフローチャートである。FIG. 3 is a flowchart illustrating a processing procedure of a display image creation unit according to the first embodiment of the present invention.
【図４】本発明の第２の実施の形態における画像データ
作成部の処理の手順を示すフローチャートである。FIG. 4 is a flowchart illustrating a processing procedure of an image data creating unit according to a second embodiment of the present invention.
【図５】本発明の第２の実施の形態における表示画像作
成部の処理の手順を示すローチャートである。FIG. 5 is a flowchart illustrating a procedure of a process performed by a display image creating unit according to the second embodiment of the present invention.
【図６】本発明の実施の形態における画像データ作成部
の装置構成図である。FIG. 6 is a device configuration diagram of an image data creation unit according to the embodiment of the present invention.
【図７】本発明の実施の形態における表示画像作成部の
装置構成図である。FIG. 7 is a device configuration diagram of a display image creation unit according to the embodiment of the present invention.
【図８】任意方向画像の作成方法の原理を示した図であ
る。FIG. 8 is a diagram showing the principle of a method for creating an arbitrary direction image.
【図９】透視投影形式の画像における画像上解像度と見
込み角度の関係を示した図である。FIG. 9 is a diagram illustrating a relationship between an on-image resolution and an expected angle in a perspective projection format image.
【図１０】透視投影形式の画像における同一立体角とな
る領域を格子で示した図である。FIG. 10 is a diagram in which regions having the same solid angle in an image in a perspective projection format are indicated by grids.
【図１１】魚眼形式の画像における同一立体角となる領
域を格子で示した図である。FIG. 11 is a diagram showing regions having the same solid angle in a fisheye image in a grid.
【図１２】透視投影形式の画像における画像中心からの
距離と、画像中心点と画像上のある点との見込み角度と
の関係を示した図である。FIG. 12 is a diagram showing a relationship between a distance from an image center in a perspective projection image and an expected angle between an image center point and a point on the image.
【図１３】本発明の第１の形式の画像データの作成原理
を示した図である。透視投影形式の画像データと魚眼形
式の画像データの接合方法を示している。FIG. 13 is a diagram illustrating a principle of generating image data of the first format according to the present invention. 3 shows a method of joining image data in a perspective projection format and image data in a fisheye format.
【図１４】式(5)をグラフ上に示したものである。FIG. 14 shows equation (5) on a graph.
【図１５】本発明の第２の形式の画像データの作成原理
を示した図である。FIG. 15 is a diagram illustrating a principle of generating image data of the second format according to the present invention.
【図１６】透視投影形式と魚眼形式から表示画像を作成
するために必要な、演算量を示した図である。FIG. 16 is a diagram showing a calculation amount necessary for creating a display image from a perspective projection format and a fish-eye format.
１３００・・・画像データ作成部、１５００・・・表示画像作
成部、３０１・・・画像表示装置制御手段。1300: Image data creation unit, 1500: Display image creation unit, 301: Image display device control means.
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 AA09 BA06 BA11 BA15 CA07 DA02 DA04 EA19 EA24 EA27 FA02 5C023 AA01 AA38 BA11 CA01 DA08 5C082 AA01 AA06 AA17 BA12 CA51 CB05 DA86 MM02 MM10 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B050 AA08 AA09 BA06 BA11 BA15 CA07 DA02 DA04 EA19 EA24 EA27 FA02 5C023 AA01 AA38 BA11 CA01 DA08 5C082 AA01 AA06 AA17 BA12 CA51 CB05 DA86 MM02 MM10
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001057620AJP2002260003A (en) | 2001-03-02 | 2001-03-02 | Video display device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001057620AJP2002260003A (en) | 2001-03-02 | 2001-03-02 | Video display device |
| Publication Number | Publication Date |
|---|---|
| JP2002260003Atrue JP2002260003A (en) | 2002-09-13 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001057620APendingJP2002260003A (en) | 2001-03-02 | 2001-03-02 | Video display device |
| Country | Link |
|---|---|
| JP (1) | JP2002260003A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018156666A (en)* | 2014-04-05 | 2018-10-04 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Varying effective resolution based on screen location in graphic processing by approximating projection of vertex onto curved viewport |
| US10438396B2 (en) | 2014-04-05 | 2019-10-08 | Sony Interactive Entertainment LLC | Method for efficient construction of high resolution display buffers |
| US10510183B2 (en) | 2014-04-05 | 2019-12-17 | Sony Interactive Entertainment LLC | Graphics processing enhancement by tracking object and/or primitive identifiers |
| US10685425B2 (en) | 2014-04-05 | 2020-06-16 | Sony Interactive Entertainment LLC | Varying effective resolution by screen location by altering rasterization parameters |
| US10783696B2 (en) | 2014-04-05 | 2020-09-22 | Sony Interactive Entertainment LLC | Gradient adjustment for texture mapping to non-orthonormal grid |
| US11302054B2 (en) | 2014-04-05 | 2022-04-12 | Sony Interactive Entertainment Europe Limited | Varying effective resolution by screen location by changing active color sample count within multiple render targets |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018156666A (en)* | 2014-04-05 | 2018-10-04 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Varying effective resolution based on screen location in graphic processing by approximating projection of vertex onto curved viewport |
| US10438396B2 (en) | 2014-04-05 | 2019-10-08 | Sony Interactive Entertainment LLC | Method for efficient construction of high resolution display buffers |
| US10438319B2 (en) | 2014-04-05 | 2019-10-08 | Sony Interactive Entertainment LLC | Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport |
| US10510183B2 (en) | 2014-04-05 | 2019-12-17 | Sony Interactive Entertainment LLC | Graphics processing enhancement by tracking object and/or primitive identifiers |
| JP2020091890A (en)* | 2014-04-05 | 2020-06-11 | ソニー・インタラクティブエンタテインメント エルエルシー | Varying effective resolution based on screen location in graphic processing by approximating projection of vertex onto curved viewport |
| US10685425B2 (en) | 2014-04-05 | 2020-06-16 | Sony Interactive Entertainment LLC | Varying effective resolution by screen location by altering rasterization parameters |
| US10783696B2 (en) | 2014-04-05 | 2020-09-22 | Sony Interactive Entertainment LLC | Gradient adjustment for texture mapping to non-orthonormal grid |
| US11238639B2 (en) | 2014-04-05 | 2022-02-01 | Sony Interactive Entertainment LLC | Gradient adjustment for texture mapping to non-orthonormal grid |
| US11302054B2 (en) | 2014-04-05 | 2022-04-12 | Sony Interactive Entertainment Europe Limited | Varying effective resolution by screen location by changing active color sample count within multiple render targets |
| US11301956B2 (en) | 2014-04-05 | 2022-04-12 | Sony Interactive Entertainment LLC | Varying effective resolution by screen location by altering rasterization parameters |
| Publication | Publication Date | Title |
|---|---|---|
| JP3052681B2 (en) | 3D video generation device | |
| US6717586B2 (en) | Apparatus, method, program code, and storage medium for image processing | |
| US8717390B2 (en) | Art-directable retargeting for streaming video | |
| US8436852B2 (en) | Image editing consistent with scene geometry | |
| US8373802B1 (en) | Art-directable retargeting for streaming video | |
| CN101296378A (en) | Image processing device and method | |
| CN110209325A (en) | A kind of 3D scene display control method, system and equipment | |
| TWI489859B (en) | Image deformation method and computer program product | |
| CN116630523A (en) | Improved real-time shadow rendering method based on shadow mapping algorithm | |
| CN104063875B (en) | Strengthen video image smoothness and the ultra-resolution ratio reconstructing method of definition | |
| JP5111900B2 (en) | Rendering method and apparatus using point interpolation | |
| CN110192221B (en) | Image generating apparatus and image display control apparatus | |
| JPH0950540A (en) | Image generation method | |
| JP2002260003A (en) | Video display device | |
| CN119379879A (en) | Image processing method, device, equipment and storage medium | |
| CN113496506B (en) | Image processing method, device, equipment and storage medium | |
| JP2003233836A (en) | Image processor for conducting rendering shading processing by using distance component in modeling and its method | |
| CN118283208A (en) | Mobile terminal real-time rendering frame inserting method and system based on splatter algorithm | |
| CN115150598B (en) | Method and device for determining target coordinates | |
| US9330434B1 (en) | Art-directable retargeting for streaming video | |
| JPH11242753A (en) | Three-dimensional drawing method and apparatus | |
| US20080225051A1 (en) | Method and apparatus for three-dimensional graphics, and computer product | |
| JP2007515012A (en) | Method for changing the scale of a three-dimensional model and scale changing unit | |
| JP3483276B2 (en) | Three-dimensional image display method and apparatus | |
| JP2019146004A (en) | Image processing device, image processing method, and program |