JP7465133B2 - Information processing device and information processing method - Google Patents
Information processing device and information processing methodDownload PDFInfo
- Publication number
- JP7465133B2 JP7465133B2JP2020056622AJP2020056622AJP7465133B2JP 7465133 B2JP7465133 B2JP 7465133B2JP 2020056622 AJP2020056622 AJP 2020056622AJP 2020056622 AJP2020056622 AJP 2020056622AJP 7465133 B2JP7465133 B2JP 7465133B2
- Authority
- JP
- Japan
- Prior art keywords
- environment map
- image
- polyhedron
- information processing
- mapped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Generation (AREA)
- User Interface Of Digital Computer (AREA)
Description
Translated fromJapanese本発明は、複合現実空間を提供するための技術に関するものである。The present invention relates to technology for providing mixed reality spaces.
近年、現実空間と仮想空間とのつなぎ目のない結合を目的とした、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）システムの開発が盛んに行われている。ＭＲシステムの研究の進展に伴い、特許文献１や非特許文献１のように現実物体と仮想物体の合成を目的とした、マスキング技術も提案されている。In recent years, there has been active development of mixed reality (MR) systems aimed at seamlessly combining real and virtual spaces. As research into MR systems progresses, masking techniques have also been proposed, such as those in Patent Document 1 and Non-Patent Document 1, which aim to synthesize real and virtual objects.
現実空間と仮想空間の融合性を高める方法の一つとして、金属のように表面に光沢がある仮想物体を複合現実空間で提示する際、仮想物体の周囲に存在する現実空間の景色が、仮想物体の表面に反射して映り込む現象の再現が挙げられる。このような映り込みを正確に実現するためには、観察者に提示する複合現実空間の画像の画素に対応するすべての光線の伝播を物理法則に従ってシミュレートするレイトレーシングを利用する方法がある（特許文献２）。しなしながら、レイトレーシングは一般に計算量が大きいことが知られている。One method for enhancing the integration of real space and virtual space is to reproduce the phenomenon in which the scenery in real space surrounding a virtual object that has a shiny surface, such as metal, is reflected and projected onto the surface of the virtual object when the virtual object is presented in a mixed reality space. In order to accurately reproduce such reflections, there is a method that uses ray tracing, which simulates the propagation of all light rays corresponding to the pixels of the image in the mixed reality space presented to the observer according to the laws of physics (Patent Document 2). However, ray tracing is generally known to require a large amount of calculations.
映り込みを簡易的に実現する方法として、コンピュータグラフィックの分野では、古くより環境マッピングと呼ばれる方法が取られてきた。環境マッピングは、物体に映り込むと想定される周囲環境の画像を用意し、物体に対してあたかも映り込んでいるかのようにテクスチャマッピングする方法である。特許文献３では、角度を制御できる撮像装置を利用して周囲の動画像を取得し、これを環境マッピングで利用することで映り込みを実現する方法が開示されている。In the field of computer graphics, a method known as environment mapping has long been used as a simple way to achieve reflections. Environment mapping is a method in which an image of the surrounding environment that is expected to be reflected in an object is prepared, and texture mapping is performed on the object to make it appear as if it is being reflected. Patent Document 3 discloses a method of achieving reflections by acquiring moving images of the surroundings using an imaging device with a controllable angle, and using this in environment mapping.
しかしながら、一般に環境マッピングは、十分に大きな球体あるいは立方体といった多面体に周囲の様子を映した画像が貼付されていると想定し、観察者の視線が仮想物体の表面で反射した際のベクトル（以下、反射ベクトル）から該画像のどの画素の色と対応付くかを調べる方法であり、あくまで近似である。したがって、現実空間に存在する３次元物体の映り込みを正確に再現することはできず、映り込み位置が本来の位置から大きくずれることがある。本発明では、仮想物体の表面に現実空間の映り込みを実現する場合に、映り込み位置の不正確さを低減させるための技術を提供する。However, environment mapping generally assumes that an image of the surroundings is attached to a sufficiently large polyhedron such as a sphere or cube, and examines which pixel color in the image corresponds to the vector (hereinafter referred to as the reflection vector) when the observer's line of sight is reflected on the surface of the virtual object; this is merely an approximation. As a result, it is not possible to accurately reproduce the reflection of a three-dimensional object that exists in real space, and the position of the reflection may deviate significantly from the original position. This invention provides a technology for reducing the inaccuracy of the position of the reflection when real space is reflected on the surface of a virtual object.
本発明の一様態は、背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成手段と、現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第２環境マップとして生成する第２生成手段と、仮想物体の画像を生成する第３生成手段とを備え、前記第３生成手段は、前記仮想物体の画像の画素値を、前記第１環境マップと、前記第２環境マップと、に基づいて決定することを特徴とする。One aspect of the present invention includes a first generation means for generating a polyhedron onto which a color image for a background is mapped as a first environment map, a second generation means for generating a mapped polyhedron obtained by mapping a color image of a moving body acquired by a device that acquires a color image of real space onto a polyhedron having a size according to the distance between the moving body and the device, as a second environment map, and a third generation means for generating an image of a virtual object, the third generation means being characterized in that it determines pixel values of the image of the virtual object based on the first environment map and the second environment map.
本発明の構成によれば、仮想物体の表面に現実空間の映り込みを実現する場合に、映り込み位置の不正確さを低減させることができる。The configuration of the present invention makes it possible to reduce inaccuracies in the position of reflections when reflecting real space on the surface of a virtual object.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。The following embodiments are described in detail with reference to the attached drawings. Note that the following embodiments do not limit the invention according to the claims. Although the embodiments describe multiple features, not all of these multiple features are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.
［第１の実施形態］
環境マッピングにおいて、仮想物体における現実空間の映り込みの位置が正確に表現されない主な原因は、主に次の２点である。つまり、計算を省略するために、周囲の空間の形状を球体あるいは立方体などの多面体で近似することと、多面体の大きさを映り込みが発生する物体に対し十分に大きく設定することにある。これらの原因によって、特に仮想物体の近傍の周囲の現実空間の映り込みは誤差が大きくなることが多い。本実施形態を含む以下の各実施形態では、複合現実感において上記問題を低減するために、周囲の現実空間の形状や、現実空間に存在する特定物体までの距離や位置を計測し、この情報を利用して近似の精度を向上させる。 [First embodiment]
In environment mapping, the main reasons why the position of the reflection of the real space in the virtual object is not accurately represented are mainly the following two points. That is, in order to omit calculations, the shape of the surrounding space is approximated by a polyhedron such as a sphere or a cube, and the size of the polyhedron is set to be sufficiently large compared to the object in which the reflection occurs. Due to these reasons, the reflection of the surrounding real space, especially in the vicinity of the virtual object, often has a large error. In each of the following embodiments including this embodiment, in order to reduce the above problems in mixed reality, the shape of the surrounding real space and the distance and position to a specific object existing in the real space are measured, and this information is used to improve the accuracy of the approximation.
本実施形態では、環境マッピングを実施する際の、計算上の想定としての、周囲の現実空間の画像を貼付する多面体の大きさや形状や位置を、現実空間の部屋の大きさや移動体の位置に合わせて設定することで、映り込み位置のずれの軽減を行う。In this embodiment, when performing environment mapping, the size, shape, and position of the polyhedron onto which the image of the surrounding real space is attached are set according to the size of the room in real space and the position of the moving object, thereby reducing the deviation in the position of the reflection.
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、ＲＧＢ－Ｄセンサ１１００と、ＨＭＤ１０００と、情報処理装置１２００と、を有する。情報処理装置１２００とＨＭＤ１０００との間は、互いにデータ通信が可能なように接続されており、例えば、ＬＡＮやインターネットなどのネットワークを介して接続されている。なお、情報処理装置１２００とＨＭＤ１０００との間の接続形態については特定の接続形態に限らない。例えば、無線であっても良いし有線であっても良い。また、ＨＭＤ１０００と情報処理装置１２００とを一体化させて１つの装置としてもよい。また、情報処理装置１２００とＲＧＢ－Ｄセンサ１１００との間は、互いにデータ通信が可能なように接続されている。情報処理装置１２００とＲＧＢ－Ｄセンサ１１００との間の接続形態についても、特定の接続形態に限らない。First, a configuration example of a system according to this embodiment will be described with reference to the block diagram of FIG. 1. As shown in FIG. 1, the system according to this embodiment includes an RGB-
先ず、ＲＧＢ－Ｄセンサ１１００について説明する。ＲＧＢ－Ｄセンサ１１００は、現実空間中に配置され、その配置位置からの現実空間の色画像（例えばＲＧＢ画像）および距離画像を取得可能なセンサである。周知の如く、距離画像の各画素の画素値は該距離画像の撮像面からの奥行値を表していることから、該画素は現実空間（３次元空間）における１点（３次元点）に対応することになる。このように、距離画像は、該距離画像における各画素に対応する３次元点の集合（３次元点群）に対応していることから、以下では、距離画像を３次元点群と称する場合がある。First, the RGB-
なお、本実施形態では、現実空間の色画像および距離画像が取得できるのであれば、その方式は特定の方式に限らない。例えば、「ＲＧＢカメラ」と「Time of Flight方式あるいはアクティブステレオ方式、あるいは位相差検出方式などを利用した深度カメラ」とを組み合わせて、現実空間の色画像および距離画像を取得する方法を採用してもよい。また、ステレオのＲＧＢカメラから距離画像を算出する方法や、単眼のＲＧＢカメラから機械学習などによって距離画像を推定する方法を採用してもよい。In this embodiment, the method is not limited to a specific method as long as a color image and a distance image of the real space can be acquired. For example, a method may be adopted in which a color image and a distance image of the real space are acquired by combining an "RGB camera" with a "depth camera using a time-of-flight method, an active stereo method, or a phase difference detection method, etc." Also, a method may be adopted in which a distance image is calculated from a stereo RGB camera, or a method in which a distance image is estimated from a monocular RGB camera by machine learning, etc.
次に、ＨＭＤ１０００について説明する。ＨＭＤ１０００は、現実空間と仮想空間とを融合させた複合現実空間をユーザに提供するための頭部装着型表示装置の一例である。ユーザは自身の頭部にＨＭＤ１０００を装着して該ＨＭＤ１０００に表示される画像を観察することで該複合現実空間を体感することができる。Next, we will explain the HMD 1000. The HMD 1000 is an example of a head-mounted display device that provides a user with a mixed reality space that combines real space and virtual space. A user can experience the mixed reality space by wearing the HMD 1000 on their head and observing the images displayed on the HMD 1000.
撮像部１０１０は、ＨＭＤ１０００を頭部に装着したユーザの視線方向と略一致する視線方向の現実空間の動画像を撮像し、該撮像した動画像の各フレームの色画像（現実空間の撮像画像）は順次、情報処理装置１２００に対して出力される。撮像部１０１０は、単一の撮像センサによって単一画像を取得するものであっても良いし、左眼用及び右眼用の二つの撮像センサによってステレオ画像を取得するものであっても良い。The
表示部１０２０は、ＨＭＤ１０００を自身の頭部に装着したユーザの眼前に位置するようにＨＭＤ１０００に取り付けられており、情報処理装置１２００から送信される画像や文字を表示する。表示部１０２０は、ステレオ立体視のために、左眼と右眼に個別に表示を行えるよう、左眼用表示部と右眼用表示部とを有する構成であっても良いし、どちらか一方の眼のみに提示する構成でも良い。The
なお、ＨＭＤ１０００に加えて若しくは代えて撮像機能と表示機能とを有する装置を用いてもよく、そのような装置には、例えば、スマートフォンやタブレット端末装置が適用可能である。In addition to or instead of the HMD 1000, a device having imaging and display functions may be used, and examples of such devices include a smartphone and a tablet terminal device.
次に、情報処理装置１２００について説明する。情報処理装置１２００には、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置などのコンピュータ装置を適用することができる。Next, the
生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から得られる現実空間の距離画像および色画像に基づいて、仮想物体に対する環境マッピングを実施するために用いる環境マップを生成する。The
算出部１２２０は、撮像部１０１０から出力された現実空間の撮像画像から、世界座標系（現実空間中における１点を原点とし、該原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における撮像部１０１０（視点）の位置姿勢を求める。本実施形態では、現実空間の撮像画像中に写っている特徴点に基づいて、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）の処理を実施することで、世界座標系における撮像部１０１０の位置姿勢を求める。なお、世界座標系における撮像部１０１０の位置姿勢を取得するための方法には様々な方法があり、特定の方法に限らない。例えば、撮像部１０１０に対する相対的な位置姿勢が既知のセンサをＨＭＤ１０００に取り付け、該センサによる計測値を該相対的な位置姿勢に基づいて変換することで、世界座標系における撮像部１０１０の位置姿勢を求めるようにしても良い。また、モーションキャプチャシステムを利用して、世界座標系における撮像部１０１０の位置姿勢を求めてもよい。The
レンダリング部１２３０は、周囲環境の映り込みが再現された仮想物体を、生成部１２１０が生成した環境マップに基づいて生成し、該生成した仮想物体を算出部１２２０が求めた位置姿勢を有する視点から見た画像を、仮想物体画像として生成する。The
合成部１２４０は、撮像部１０１０から出力された現実空間の撮像画像と、レンダリング部１２３０によって生成された仮想物体画像と、を合成した合成画像を複合現実空間の画像として生成する。The
ここで、現実空間の撮像画像の画像領域における一部もしくは全部に仮想物体画像を合成（重畳）させる場合、現実物体と仮想物体との奥行きを考慮して、物体同士の隠蔽関係を整合させても良い。つまり、撮像画像における現実物体の画像領域において該現実物体よりも視点に近い仮想物体が重なっている部分領域については、仮想物体画像の重畳を許可する。一方、撮像画像における現実物体の画像領域において該現実物体よりも視点から遠い仮想物体が被っている部分領域については仮想物体画像の重畳を禁止する。Here, when a virtual object image is synthesized (superimposed) on a part or all of the image area of a captured image in real space, the occlusion relationship between the real object and the virtual object may be adjusted by taking into account the depth between the real object and the virtual object. In other words, the superimposition of a virtual object image is permitted for a partial area in the image area of a real object in the captured image where a virtual object closer to the viewpoint than the real object overlaps. On the other hand, the superimposition of a virtual object image is prohibited for a partial area in the image area of a real object in the captured image where a virtual object farther from the viewpoint than the real object overlaps.
そして合成部１２４０は、該生成した複合現実空間の画像をＨＭＤ１０００（表示部１０２０）に対して出力する。これにより、ＨＭＤ１０００を自身の頭部に装着したユーザの眼前に、該複合現実空間の画像を提示することができる。The
次に、視点の位置姿勢に応じた複合現実空間の画像を生成してＨＭＤ１０００に出力するために情報処理装置１２００が行う処理について、図９のフローチャートに従って説明する。なお、図９のフローチャートに従った処理は、１フレーム分の複合現実空間の画像を生成してＨＭＤ１０００に出力するための処理である。よって、実際には、情報処理装置１２００は、図９のフローチャートに従った処理を繰り返すことで、複数フレームの複合現実空間の画像を生成してＨＭＤ１０００に出力する。Next, the process performed by the
ステップＳ９０１では、算出部１２２０は、撮像部１０１０から出力された現実空間の撮像画像を取得する。ステップＳ９０２では、算出部１２２０は、ステップＳ９０１で取得した撮像画像から、世界座標系における撮像部１０１０（視点）の位置姿勢を求める。In step S901, the
ステップＳ９０３では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から得られる現実空間の距離画像および色画像に基づいて環境マップを生成する。そして、レンダリング部１２３０は、周囲環境の映り込みが再現された仮想物体を、生成部１２１０が生成した環境マップに基づいて生成し、該生成した仮想物体をステップＳ９０２で求めた位置姿勢を有する視点から見た画像を、仮想物体画像として生成する。In step S903, the
ステップＳ９０４では、合成部１２４０は、ステップＳ９０１で取得した現実空間の撮像画像と、ステップＳ９０３でレンダリング部１２３０によって生成された仮想物体画像と、を合成した合成画像を複合現実空間の画像として生成する。ステップＳ９０５では、合成部１２４０は、ステップＳ９０４で生成した複合現実空間の画像をＨＭＤ１０００（表示部１０２０）に対して出力する。In step S904, the
次に、環境マップを生成する処理および該環境マップに基づいて「周囲環境の映り込みが再現された仮想物体の画像」を生成する処理について、図２のフローチャートに従って説明する。Next, the process of generating an environment map and the process of generating an "image of a virtual object in which the reflection of the surrounding environment is reproduced" based on the environment map will be explained with reference to the flowchart in Figure 2.
図２のフローチャートにおいてステップＳ２１００およびステップＳ２２００では、ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。よって、ステップＳ２１００およびステップＳ２２００は、該ユーザが該部屋に入る前に前処理として実行される。In the flowchart of FIG. 2, steps S2100 and S2200 generate an environmental map of a real space (a room, which is an example of a space in which the user experiences a mixed reality space) that does not include the user wearing the
ステップＳ２１００では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から出力された「ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の距離画像および色画像」を取得する。ここで、一般的なＲＧＢ－Ｄセンサ１１００の視野角では、全周囲の距離画像および色画像を一度に取得することは困難である。よって本実施形態では、ＲＧＢ－Ｄセンサ１１００を様々な方向に向けて全周囲（部屋全体）の撮像を行って、部屋全体の距離画像（部屋全体の３次元点群）および色画像（部屋の全周囲色画像）を取得する。そして生成部１２１０は、このような撮像により得られた部屋全体の距離画像が表す該部屋の形状（部屋全体の３次元点群によって規定される形状）に最もフィットする多面体（直方体、立方体など）を第１多面体として求める。In step S2100, the
なお、第１多面体を取得する方法は特定の方法に限らない。例えば、ＲＧＢ－Ｄセンサ１１００が取得する距離画像は部屋の一部の距離画像であってもよく、一部の距離画像から構成が困難な第１多面体の面については、他の面の位置姿勢や所定の値を用いて補完しても良い。また、事前に部屋の形状をメジャーなどの計測器で計測しておき、該計測により得られた計測値をもとに、第１多面体を構成してもよい。The method of acquiring the first polyhedron is not limited to a specific method. For example, the distance image acquired by the RGB-
このような撮像を行った後、本システムのオペレータはＲＧＢ－Ｄセンサ１１００を、「ＨＭＤ１０００を装着して複合現実空間を体感するユーザが部屋内で行動すると推定される領域」を撮像可能な位置および姿勢に移動させる。該移動後のＲＧＢ－Ｄセンサ１１００によって撮像された距離画像および色画像は生成部１２１０に出力される。生成部１２１０は、該距離画像が表す３次元点群が、部屋全体の距離画像が表す３次元点群のどの部分に最も一致するかを特定し、該特定した部分の３次元点群に基づいて、第１多面体に対するＲＧＢ－Ｄセンサ１１００の相対的な位置姿勢（相対位置姿勢）を求める。また生成部１２１０は、第１多面体を規定する各頂点の位置を世界座標系における位置に変換する。この変換では、第１多面体を規定する各頂点の位置（ＲＧＢ－Ｄセンサ１１００の位置姿勢を基準とする座標系における位置）を、世界座標系におけるＲＧＢ－Ｄセンサ１１００の位置姿勢と上記の相対位置姿勢とに基づいて変換する処理が行われる。世界座標系におけるＲＧＢ－Ｄセンサ１１００の位置姿勢の取得方法は特定の取得方法に限らない。例えば、世界座標系における原点の位置にマーカを配置し、このマーカの色画像をＲＧＢ－Ｄセンサ１１００で取得し、それを画像処理することによって自身の世界座標系における位置姿勢を推定しても良い。また、ＲＧＢ－Ｄセンサ１１００にモーションキャプチャなどの位置姿勢センサを取り付けて、自身の世界座標系における位置姿勢を計測しても良い。あるいは、ＲＧＢ－Ｄセンサ１１００にマーカを添付し、それを外部から撮影し、該撮影により得られる画像を画像処理することによって、ＲＧＢ－Ｄセンサ１１００の世界座標系における位置姿勢を推定しても良い。After capturing images in this way, the operator of the system moves the RGB-
次に、ステップＳ２２００では、生成部１２１０は、ステップＳ２１００でＲＧＢ－Ｄセンサ１１００から取得した全周囲色画像を第１多面体にマッピングしたマッピング済み多面体を、第１環境マップとして生成する。このマッピングでは、第１多面体の各頂点と、全周囲色画像上の画素位置と、を対応付けている。これにより、第１多面体上の着目位置に対応する全周囲色画像上の画素位置を特定することができ、第１多面体上の着目位置に対応する色が、該着目位置に対応する全周囲色画像上の画素位置における画素値（色）であると特定することができる。Next, in step S2200, the
次に、ステップＳ２３００～ステップＳ２５００では、ＨＭＤ１０００を頭部に装着したユーザを含む現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。ステップＳ２３００～ステップＳ２５００の処理は、仮想物体画像を生成する各フレームについて行ってもよいし、所定の時間間隔で行ってもよい。Next, in steps S2300 to S2500, an environmental map of the real space (a room, which is an example of a space in which the user experiences a mixed reality space) including the user wearing the
ステップＳ２３００では生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から出力された距離画像および色画像を取得する。そして生成部１２１０は、該取得した距離画像および色画像の両方若しくは一方を用いた背景差分によって、該色画像におけるユーザの画像領域および該距離画像における該ユーザの領域を特定する。例えば、事前にユーザを含まない現実空間の画像を背景情報として一度取得しておく。そして、その後、ユーザが存在する現実空間の画像と背景情報との差分から、該画像におけるユーザの画像領域を抽出する。この「画像」を色画像として上記の処理を行えば、色画像におけるユーザの画像領域を特定することができ、「画像」を距離画像として上記の処理を行えば、距離画像におけるユーザの画像領域を特定することができる。In step S2300, the
ステップＳ２４００では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００からユーザまでの距離に基づいて、第２多面体を設定する。例えば、生成部１２１０は、ステップＳ２３００で特定した「距離画像におけるユーザの画像領域」を構成する各画素の画素値のうち最も小さい画素値（ユーザとＲＧＢ－Ｄセンサ１１００との間の最小距離）を距離ｄとして特定する。そして生成部１２１０は、ＲＧＢ－Ｄセンサ１１００の世界座標系における位置を中心とし、一辺が２ｄの立方体を第２多面体として設定する。In step S2400, the
なお、距離ｄに適用するものは、上記の例に限らず、例えば、ステップＳ２３００で特定した「距離画像におけるユーザの画像領域」を構成する各画素の画素値の平均値を距離ｄとしてもよい。また、「距離画像におけるユーザの画像領域」に対応する３次元点群の領域の一部をセグメンテーションし、このセグメンテーションされた一部の領域の重心（該領域の３次元点群の位置から求める）までの距離であっても良い。また、第２多面体は立方体に限らず、例えば、ＲＧＢ－Ｄセンサ１１００の世界座標系における位置を中心とし、「距離画像におけるユーザの画像領域」に対応する３次元点群の一部若しくは全部を含む多面体であってもよい。Note that the distance d is not limited to the above examples, and may be, for example, the average pixel value of each pixel constituting the "user's image area in the distance image" identified in step S2300. Alternatively, a part of the area of the three-dimensional point cloud corresponding to the "user's image area in the distance image" may be segmented, and the distance to the center of gravity of this segmented part of the area (determined from the position of the three-dimensional point cloud of the area) may be used. Furthermore, the second polyhedron is not limited to a cube, and may be, for example, a polyhedron centered on the position of the RGB-
ステップＳ２５００では、生成部１２１０は、第２多面体において、「距離画像におけるユーザの画像領域」に対応する領域Ｒに、「色画像におけるユーザの画像領域」をマッピングしたマッピング済み多面体を、第２環境マップとして生成する。第２多面体において領域Ｒを除く他の領域には、「適当な値」を有する画素を有する画像をマッピングする。「適当な値」には、例えば、色画像がαチャンネルを有さない場合は、予め定義されたブランクの値を用いてもよいし、色画像がαチャンネルを有する場合は、α値「０」を用いてもよい。ユーザの画像領域は、環境マップの画像の一部にしか過ぎないため、メモリアクセスの処理時間を省くために画像領域のみを書き換える工夫などを適宜行っても良い。In step S2500, the
ここで、第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を図３に示す。図３では、部屋３０００全体の３次元点群に最もフィットする多面体３０３０が第１多面体として求められており、該多面体３０３０には部屋３０００全体の全周囲色画像がマッピングされており、これが第１環境マップとなる。また、図３では、ＲＧＢ－Ｄセンサ１１００の位置を中心とし且つユーザ３０１０とＲＧＢ－Ｄセンサ１１００との間の最小距離ｄの２倍の距離を一辺とする多面体３０４０が設定されている。多面体３０４０においてユーザの画像領域に対応する領域Ｒには、色画像における該画像領域がマッピングされており、これが第２環境マップとなる。また、ユーザ３０１０の頭部にはＨＭＤ１０００が装着されている。Here, FIG. 3 shows an overhead view of the first environment map, the second environment map, the user wearing the
次に、ステップＳ２６００～Ｓ２８００では、第１環境マップおよび第２環境マップを用いて、周囲の現実空間の映り込みを反映させた仮想物体の画像（仮想物体画像）を生成する。ステップＳ２６００～ステップＳ２８００の処理は、仮想物体画像を生成する各フレームについて行う。Next, in steps S2600 to S2800, the first and second environment maps are used to generate an image of a virtual object (virtual object image) that reflects the surrounding real space. The processing in steps S2600 to S2800 is performed for each frame for which a virtual object image is generated.
ステップＳ２６００では、レンダリング部１２３０は先ず、仮想物体を生成して配置する。そしてレンダリング部１２３０は、視点の位置から、仮想物体画像の各画素（着目画素）に対応する仮想空間中の位置への方向ベクトルを視線ベクトルとして求める。そしてレンダリング部１２３０は、それぞれの視線ベクトルについて、仮想物体において該視線ベクトルとの交点位置（仮想物体上の位置）を求め、該交点位置における該視線ベクトルの反射ベクトルを求める。仮想物体は、該仮想物体を規定する規定データ（仮想物体がポリゴンで構成される場合は、該ポリゴンの頂点の位置データ、該ポリゴンの法線データ、該ポリゴンの材質を表すデータ等を含む）を用いて構成される。仮想物体において視線ベクトルとの交点位置が特定されると、該交点位置における法線ベクトルは上記の規定データから取得することができるので、該視線ベクトルおよび該法線ベクトルから周知の計算方法により、対応する反射ベクトルを求めることができる。In step S2600, the
図３の例では、仮想物体３０２０において視線ベクトル３０５０との交点位置３０６０を求め、該交点位置３０６０における法線ベクトル３０７０と、該視線ベクトル３０５０と、から該視線ベクトル３０５０に対応する反射ベクトル３０８０を求める。図３に示す如く、反射ベクトル３０８０は、多面体３０３０と交差するサイズを有するものとする。In the example of FIG. 3, an
ステップＳ２７００では、レンダリング部１２３０は、ステップＳ２６００で求めた反射ベクトルごとに次のような処理を行う。つまりレンダリング部１２３０は、第１環境マップにおいて反射ベクトルとの交点位置を求め、該第１環境マップにおいて該交点位置における画素値（色）を第１色情報として特定する。図３の例では、第１環境マップである多面体３０３０において反射ベクトル３０８０との交点位置３１００を求め、該交点位置３１００における第１環境マップの画素値（色）を第１色情報として特定する。またレンダリング部１２３０は、第２環境マップにおいて反射ベクトルとの交点位置を求め、該第２環境マップにおいて該交点位置における画素値（色）を第２色情報として特定する。図３の例では、第２環境マップである多面体３０４０において反射ベクトル３０８０との交点位置３０９０を求め、該交点位置３０９０における第２環境マップの画素値（色）を第２色情報として特定する。In step S2700, the
ステップＳ２８００では、レンダリング部１２３０は、反射ベクトルごとに次のような処理を行うことで、仮想物体画像における各画素の画素値（色）を確定する。レンダリング部１２３０は、着目反射ベクトルについてステップＳ２７００で特定した第２色情報が「適用な値」ではない場合（第２環境マップにおいて着目反射ベクトルとの交点位置が、該第２環境マップにマッピングされているユーザの画像領域内である場合）には、着目反射ベクトルに対応する仮想物体画像の画素の画素値を第２色情報に基づいて決定する。一方、レンダリング部１２３０は、着目反射ベクトルについてステップＳ２７００で特定した第２色情報が「適用な値」である場合（第２環境マップにおいて着目反射ベクトルとの交点位置が、該第２環境マップにマッピングされているユーザの画像領域外である場合）には、着目反射ベクトルに対応する仮想物体画像の画素の画素値を第１色情報に基づいて決定する。画素の画素値を第１色情報に基づいて決定する場合であっても第２色情報に基づいて決定する場合であっても、該画素に対応する仮想物体の面のマテリアル情報や環境光などを勘案して、最終的な画素値を決定する。In step S2800, the
このような処理をそれぞれの視線ベクトルに対応する反射ベクトルについて行うことで、視点から見た仮想物体の画像（仮想物体画像）における各画素の画素値（色）を決定することができる。By performing this process on the reflection vectors corresponding to each line of sight vector, the pixel value (color) of each pixel in the image of the virtual object seen from the viewpoint (virtual object image) can be determined.
［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。一般的な環境マッピングでは、環境マップに利用する立方体や球体などの多面体に対して、映り込みが発生する仮想物体を十分に大きく設定し、またユーザの視線ベクトルと仮想物体との交点が環境マップの多面体の中心に存在するものと仮定する。これにより、交点での反射ベクトルから、環境マップにおけるどの画素の色を交点における映り込みの色としてサンプリングするかを簡易な計算で求めることができる。 Second Embodiment
In the following embodiments including this embodiment, the differences from the first embodiment will be described, and unless otherwise specified below, it is assumed that the embodiments are the same as the first embodiment. In general environment mapping, a virtual object that generates a reflection is set to be sufficiently large relative to a polyhedron such as a cube or sphere used in the environment map, and it is assumed that the intersection point between the user's line of sight vector and the virtual object exists at the center of the polyhedron in the environment map. This makes it possible to determine by simple calculation which pixel color in the environment map should be sampled as the reflection color at the intersection point, based on the reflection vector at the intersection point.
本実施形態では、第１の実施形態のように、現実物体の形状や位置に応じて、環境マップに利用する多面体自体の形状や大きさ、位置を変化させるのではなく、反射ベクトルを補正する。これにより、既存の一般的な環境マッピングの仕組みを活用しつつ、映り込み位置の不正確さを低減する。In this embodiment, unlike the first embodiment, the shape, size, and position of the polyhedron used in the environment map are not changed according to the shape and position of the real object, but the reflection vector is corrected. This reduces inaccuracies in the reflection position while utilizing the existing general environment mapping mechanism.
環境マップを生成する処理および該環境マップに基づいて「周囲環境の映り込みが再現された仮想物体の画像」を生成する処理について、図４のフローチャートに従って説明する。The process of generating an environment map and the process of generating an "image of a virtual object in which the surrounding environment is reproduced" based on the environment map will be explained with reference to the flowchart in Figure 4.
図４のフローチャートにおいてステップＳ４０１０～Ｓ４０２０では、ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。よって、ステップＳ４０１０～Ｓ４０２０は、該ユーザが該部屋に入る前に前処理として実行される。In the flowchart of FIG. 4, steps S4010 to S4020 generate an environmental map of a real space (a room, which is an example of a space in which the user experiences a mixed reality space) that does not include the user wearing the
ステップＳ４０１０では、生成部１２１０は、ＲＧＢ－Ｄセンサ１１００から出力された「ＨＭＤ１０００を頭部に装着したユーザを含まない現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の距離画像および色画像」を取得する。本実施形態では、ＲＧＢ－Ｄセンサ１１００を部屋の中央に配置して様々な方向に向けて全周囲（部屋全体）の撮像を行って、部屋全体の距離画像（部屋全体の３次元点群）および色画像（部屋の全周囲色画像）を取得する。そして生成部１２１０は、部屋に対して十分に大きいサイズの多面体に該全周囲色画像をマッピングすることで第１環境マップを生成する。つまり生成部１２１０は、全周囲色画像がこの多面体に貼付されていると想定し、該多面体の頂点と全周囲色画像の座標とを対応付ける。ステップＳ４０２０では、生成部１２１０は、上記のステップＳ２１００と同様の処理を行うことで、第１多面体を求める。In step S4010, the
このような撮像を行った後、第１の実施形態と同様、本システムのオペレータはＲＧＢ－Ｄセンサ１１００を、「ＨＭＤ１０００を装着して複合現実空間を体感するユーザが部屋内で行動すると推定される領域」を撮像可能な位置および姿勢に移動させる。After capturing such images, as in the first embodiment, the operator of this system moves the RGB-
次に、ステップＳ４０３０～ステップＳ４０５０では、ＨＭＤ１０００を頭部に装着したユーザを含む現実空間（該ユーザが複合現実空間を体感する空間の一例である部屋）の環境マップを生成する。ステップＳ４０３０～ステップＳ４０５０の処理は、仮想物体画像を生成する各フレームについて行ってもよいし、所定の時間間隔で行ってもよい。Next, in steps S4030 to S4050, an environmental map of a real space (a room, which is an example of a space in which the user experiences a mixed reality space) including a user wearing the
ステップＳ４０３０では、生成部１２１０は、第１の実施形態と同様にして、色画像におけるユーザの画像領域および該距離画像における該ユーザの領域を特定する。In step S4030, the
ステップＳ４０４０では、生成部１２１０は、部屋に対して十分に大きいサイズの多面体にステップＳ４０３０で色画像から特定したユーザの画像領域をマッピングすることで第２環境マップを生成する。第２環境マップを立方体とすると、その立方体上のどの位置にユーザの画像領域を貼付するかの対応付けが整合的に行われる必要がある。これについては、世界座標系におけるＲＧＢ－Ｄセンサ１１００の向きが規定されていれば、色画像座標が、環境マップ上のどこに位置づくかを一意に決定することができる。なお、多面体においてユーザの画像領域をマッピングしていない領域には、第１の実施形態と同様に、「適当な値」を有する画素を有する画像をマッピングする。ユーザの画像領域は、環境マップの画像の一部にしか過ぎないため、メモリアクセスの処理時間を省くために画像領域のみを書き換える工夫などを適宜行っても良い。ステップＳ４０５０では、生成部１２１０は、上記のステップＳ２４００と同様の処理を行うことで、第２多面体を設定する。In step S4040, the
ここで、第１多面体、第２多面体、第１環境マップ、第２環境マップ、ＨＭＤ１０００を自身の頭部に装着したユーザ、ＲＧＢ－Ｄセンサ１１００、を俯瞰した様子を図５，６に示す。図５，６において図３に示した要素と同じ要素については同じ参照番号を付しており、該要素に係る説明は省略する。Here, Figs. 5 and 6 show an overhead view of the first polyhedron, the second polyhedron, the first environmental map, the second environmental map, the user wearing the
図５では、部屋３０００よりも十分に大きいサイズを有する多面体５０００には部屋３０００全体の全周囲色画像がマッピングされており、これが第１環境マップとなる。図６では、部屋３０００よりも十分に大きいサイズを有する多面体６０００にはステップＳ４０３０で色画像から特定したユーザの画像領域がマッピングされており、これが第２環境マップとなる。In FIG. 5, a
次に、ステップＳ４０６０～Ｓ４１１０では、第１環境マップおよび第２環境マップを用いて、周囲の現実空間の映り込みを反映させた仮想物体の画像（仮想物体画像）を生成する。ステップＳ４０６０～ステップＳ４１１０の処理は、仮想物体画像を生成する各フレームについて行う。Next, in steps S4060 to S4110, the first and second environment maps are used to generate an image of a virtual object (virtual object image) that reflects the surrounding real space. The processing in steps S4060 to S4110 is performed for each frame for which a virtual object image is generated.
ステップＳ４０６０でレンダリング部１２３０は第１の実施形態と同様に、仮想物体を生成して配置し、それぞれの視線ベクトルについて、仮想物体において該視線ベクトルとの交点位置（対応位置）を求め、該交点位置における該視線ベクトルの反射ベクトルを求める。図５や図６の例では、仮想物体３０２０において視線ベクトル３０５０との交点位置３０６０を求め、該交点位置３０６０における法線ベクトル３０７０と、該視線ベクトル３０５０と、から該視線ベクトル３０５０に対応する反射ベクトル５０２０を求める。なお、ステップＳ４０６０で求めた反射ベクトルは、後の処理で補正するため、「仮の反射ベクトル」と称する。In step S4060, the
一般的な環境マッピングにおいては、仮の反射ベクトルを利用して、環境マップから反射色をサンプリングする。しかしながら一般的な環境マップは、環境マップが仮想物体に対して十分に大きいことを想定しており、反射ベクトルは常に環境マップの中心から伸びている（図５のベクトル５０５０参照）と近似することで計算を簡略化している。したがって、本実施形態のように有限の大きさの背景、例えば部屋などの映り込みの場合は、映り込み位置がずれることがある。そこで、以下のステップＳ４０７０～Ｓ４０９０の処理によって、この仮の反射ベクトルを補正して、映り込み位置のずれを補正する。以下では、図５，６を例にとり説明する。また、以下の処理は、それぞれの視線ベクトルについて求めた仮の反射ベクトルについて行う。In typical environment mapping, a provisional reflection vector is used to sample the reflected color from the environment map. However, typical environment maps assume that the environment map is sufficiently large compared to the virtual object, and the calculation is simplified by approximating that the reflection vector always extends from the center of the environment map (see
ステップＳ４０７０では、レンダリング部１２３０は、仮の反射ベクトル５０２０と第１多面体３０３０との交点位置５０３０（第１交点）を求めるとともに、仮の反射ベクトル５０２０と第２多面体３０４０との交点位置６０２０（第２の交点）を求める。In step S4070, the
ステップＳ４０８０では、レンダリング部１２３０は、第１環境マップである多面体５０００において仮の反射ベクトル５０２０を補正した補正反射ベクトル５０６０を求める。一般的な環境マッピングの仕組みを活用するには、反射ベクトルが多面体５０００の中心位置５０１０より伸びているという前提を壊さないことである。そこで、図５に示す如く、レンダリング部１２３０は、多面体５０００の中心位置５０１０から交点位置３０６０に伸びるベクトル５０７０を求める。そしてレンダリング部１２３０は、中心位置５０１０を始点とし且つ「ベクトル５０７０と反射ベクトル５０２０（交点位置３０６０を始点とし、交点位置５０３０を終点とするベクトル）との合成ベクトル」を、補正反射ベクトル５０６０として求める。図５に示す如く、補正反射ベクトル５０６０は第１環境マップである多面体５０００と交差するサイズを有する。In step S4080, the
ステップＳ４０９０では、レンダリング部１２３０は、第２環境マップである多面体６０００において仮の反射ベクトル５０２０を補正した補正反射ベクトル６０４０を求める。つまり、図６に示す如く、レンダリング部１２３０は、多面体６０００の中心位置から交点位置３０６０に伸びるベクトル６０３０を求める。そしてレンダリング部１２３０は、該中心位置を始点とし且つ「ベクトル６０３０と反射ベクトル５０２０（交点位置３０６０を始点とし、交点位置６０２０を終点とするベクトル）との合成ベクトル」を、補正反射ベクトル６０４０として求める。図６に示す如く、補正反射ベクトル６０４０は第２環境マップである多面体６０００と交差するサイズを有する。In step S4090, the
ステップＳ４１００では、レンダリング部１２３０は、第１環境マップである多面体５０００において補正反射ベクトル５０６０との交点位置５０４０を求め、該多面体５０００において該交点位置５０４０における画素値（色）を第１色情報として特定する。またレンダリング部１２３０は、第２環境マップである多面体６０００において補正反射ベクトル６０４０との交点位置６０５０を求め、該多面体６０００において該交点位置６０５０における画素値（色）を第２色情報として特定する。反射ベクトルが環境マップの中心から伸びている場合、環境マップにおいて色情報を取得する点は反射ベクトルの向きだけで決定することができる。In step S4100, the
ステップＳ４１１０では、レンダリング部１２３０は、着目補正反射ベクトルについてステップＳ４１００で特定した第２色情報が「適当な値」ではない場合には、着目補正反射ベクトルに対応する仮想物体画像の画素の画素値を第２色情報に基づいて決定する。一方、レンダリング部１２３０は、着目補正反射ベクトルについてステップＳ４１００で特定した第２色情報が「適当な値」である場合には、着目補正反射ベクトルに対応する仮想物体画像の画素の画素値を第１色情報に基づいて決定する。In step S4110, if the second color information identified in step S4100 for the focus-corrected reflection vector is not an "appropriate value," the
［第３の実施形態］
第１，２の実施形態では、ＲＧＢ－Ｄセンサを用いて、環境マップの色画像を取得する取得デバイス（つまり該ＲＧＢ－Ｄセンサ）から現実物体までの距離を直接的に計測している。しかし、環境マップの色画像を取得する取得デバイスと現実物体までの距離を計測することができれば、取得デバイスとして利用可能なデバイスはＲＧＢ－Ｄセンサに限らない。たとえば、色画像の取得デバイスとして広角カメラを用いてもよい。広角カメラは一般にＲＧＢ－Ｄセンサよりも入手性が高く、視野角も広いため、より簡便にシステムを構築・運用できると考えられる。本実施形態では、ＨＭＤの撮像部には複数のカメラもしくは深度センサが搭載されており、ＨＭＤからの深度情報を取得することで、環境マップの色画像を取得する広角カメラと現実物体までの距離情報を取得する場合について説明する。 [Third embodiment]
In the first and second embodiments, the RGB-D sensor is used to directly measure the distance from the acquisition device (i.e., the RGB-D sensor) that acquires the color image of the environment map to the real object. However, as long as the distance between the acquisition device that acquires the color image of the environment map and the real object can be measured, the device that can be used as the acquisition device is not limited to the RGB-D sensor. For example, a wide-angle camera may be used as the acquisition device for the color image. Since the wide-angle camera is generally more readily available than the RGB-D sensor and has a wider viewing angle, it is considered that the system can be constructed and operated more easily. In this embodiment, the imaging unit of the HMD is equipped with multiple cameras or depth sensors, and a case will be described in which distance information between the wide-angle camera that acquires the color image of the environment map and the real object is acquired by acquiring depth information from the HMD.
本実施形態に係るシステムの構成例について、図７のブロック図を用いて説明する。本実施形態に係るシステムでは、ＲＧＢ－Ｄセンサ１１００の代わりに広角カメラ７０００を有する。広角カメラ７０００は、ＨＭＤ７０５０や情報処理装置１２００の外部装置として設けられ、ユーザが複合現実空間を体感する空間全体を撮像する。An example of the configuration of a system according to this embodiment will be described with reference to the block diagram in FIG. 7. In the system according to this embodiment, a wide-
本実施形態に係るＨＭＤ７０５０が有する撮像部７０１０は、該ＨＭＤ７０５０を自身の頭部に装着したユーザの視線と略一致する視線方向の現実空間のステレオ画像を撮像するステレオカメラとして機能する。なお、撮像部７０１０により撮像されるステレオ画像は、仮想物体画像と合成するために利用されるとともに、各画素が奥行値を有する距離画像（深度情報）を生成するためにも利用される。よって、撮像部７０１０は、仮想物体画像と合成するための色画像と、距離画像を生成するために必要な情報と、を取得できれば、ステレオカメラ以外の装置で構成されてもよい。The
本実施形態に係る情報処理装置１２００が有する生成部７０２０は、撮像部７０１０からのステレオ画像から、「各画素が撮像部７０１０の撮像面からの奥行値を有する距離画像」を生成する。距離画像の生成方法は特定の生成方法に限らない。例えば、ステレオ画像からセミグローバルマッチング法により視差画像を算出し、ステレオ画像を取得した二つのカメラの相対的な位置関係から距離画像を生成する。なお、視差を得る方法は上記の方法に限らず、例えば、ステレオ画像で対応する特徴点やエッジから視差を得ても良いし、機械学習の推論によって視差を得ても良い。The
本実施形態に係る情報処理装置１２００が有する算出部７０３０は、撮像部７０１０によるステレオ画像から第１の実施形態で説明した方法により、世界座標系における撮像部７０１０の位置姿勢を求める。そして算出部７０３０は、生成部７０２０が生成した距離画像中のユーザの領域を構成する各画素の奥行値（該画素に対応する３次元点の座標）を、世界座標系における撮像部７０１０の位置姿勢を用いて、世界座標系における３次元点の位置に変換する。そして算出部７０３０は、世界座標系における３次元点の位置の重心位置を、世界座標系におけるユーザの位置として求める。そして算出部７０３０は、前記、世界座標系におけるユーザの位置と世界座標における広角カメラ７０００の位置姿勢からユーザと広角カメラ７０００との間の相対的な位置姿勢（相対位置姿勢）を求める。なお広角カメラ７０００の世界座標系における位置姿勢は、事前にメジャーで計測した値を利用しても良いし、広角カメラ７０００にモーションキャプチャなどの位置姿勢センサを取り付けて計測しても良い。あるいは、広角カメラ７０００にマーカを添付し、それを外部から撮影、画像処理をすることによって位置姿勢を推定しても良い。The
なお、複合現実感を体験する空間において、事前には何も物体が存在しない領域を指定しておくことで、体験中にこの領域に物体を検出した場合、その物体は移動体とみなすことができる。複合現実感においては、ＨＭＤを装着したユーザ自身の頭部や手などの身体が仮想物体へ映り込むことによって、現実空間と仮想空間の融合感がより高まると考えられる。そこで、算出部７０３０では、頭部や手といった特定の現実物体に特化して位置を算出しても良い。頭部位置は、撮像部に対して所定の相対位置に頭部が存在するとみなすことができる。また手の位置については、例えば、手の色を自身に登録しておき、色画像において手の色を有する画像領域を特定し、距離画像において該画像領域に対応する３次元点群の世界座標系における位置の重心位置を手の位置として利用することができる。In addition, by specifying an area in advance in which no objects exist in the space in which mixed reality is experienced, if an object is detected in this area during the experience, the object can be regarded as a moving object. In mixed reality, the head, hands, and other parts of the user's body wearing the HMD are reflected in the virtual object, which is thought to enhance the sense of fusion between the real space and the virtual space. Therefore, the
生成部７０４０は、第１環境マップおよび第２環境マップを生成する。第１環境マップおよび第２環境マップの生成方法は、第１の実施形態で説明した生成方法であってもよいし、第２の実施形態で説明した生成方法であってもよい。The
なお、本実施形態では、第１多面体に色画像をマッピングすることで第１環境マップを生成する場合、次のような処理を行う。すなわち、ＨＭＤ７０５０の向きを動かすことで部屋全体の距離画像を取得し、該取得した距離画像から、部屋全体の３次元点群に最もフィットする多面体を第１多面体として取得する。そして、該第１多面体に広角カメラ７０００による撮像画像をマッピングすることで第１環境マップを生成する。In this embodiment, when generating the first environment map by mapping a color image onto the first polyhedron, the following processing is performed. That is, a distance image of the entire room is acquired by moving the orientation of the
また、本実施形態では、第２多面体にユーザの画像領域をマッピングすることで第２環境マップを生成する場合には、次のような処理を行う。すなわち、世界座標系におけるユーザの位置と上記の相対位置姿勢とを用いて世界座標系における広角カメラ７０００の位置を求める。そして、上記の相対位置姿勢から得られる「ユーザと広角カメラ７０００との間の距離」を距離ｄとして求める。そして、世界座標系における広角カメラ７０００の位置を中心とし、一辺が２ｄの立方体を第２多面体として設定する。なお、上記のように算出部７０３０が頭部や手といった特定現実物体に特化して位置を算出した場合、この値を利用する。そして、第２多面体に、広角カメラ７０００による撮像画像においてユーザの画像領域を対応する領域にマッピングし、そのほかの領域には「適用な値」を有する画素の画像をマッピングすることで、第２環境マップを生成する。In addition, in this embodiment, when the second environment map is generated by mapping the user's image area on the second polyhedron, the following processing is performed. That is, the position of the wide-
［第４の実施形態］
上記の各実施形態では、ＨＭＤはビデオシースルー型のＨＭＤであるものとして説明したが、光学シースルー方式のＨＭＤであってもよい。後者の場合、合成部１２４０は、仮想物体画像をＨＭＤの表示部に出力することになる。 [Fourth embodiment]
In the above embodiments, the HMD is described as a video see-through type HMD, but it may be an optical see-through type HMD. In the latter case, the
また、上記の各実施形態では、移動体は、ＨＭＤを頭部に装着したユーザであるものとして説明したが、該ユーザに加えて若しくは代えて他の物体を移動体としてもよい。また、移動体は単数であってもよいし、複数であってもよい。なお、「移動体」とは、常に動く物体に限らず、定期的もしくは不定期的に移動する物体であればよい。In addition, in each of the above embodiments, the moving body has been described as a user wearing an HMD on his/her head, but other objects may be used as the moving body in addition to or instead of the user. The moving body may be singular or multiple. Note that a "moving body" is not limited to an object that is constantly moving, but may be an object that moves periodically or irregularly.
また、第１の環境マップは、背景用の色画像をマッピングした多面体の一例であり、ユーザが複合現実空間を体感する空間において背景となる場所の色画像をマッピングした多面体であれば、如何なる多面体であってもよい。The first environment map is an example of a polyhedron onto which a background color image is mapped, and may be any polyhedron onto which a color image of a location that serves as the background in the space in which the user experiences the mixed reality space is mapped.
また、図１，７に示した情報処理装置１２００が有するものとして示した各機能部はハードウェアで実装してもよいし、ソフトウェア（コンピュータプログラム）で実装してもよい。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は情報処理装置１２００に適用することができる。情報処理装置１２００に適用可能なコンピュータ装置のハードウェア構成例について、図８のブロック図を用いて説明する。Furthermore, each functional unit shown as possessed by the
ＣＰＵ８２００は、ＲＡＭ８４００やＲＯＭ８３００に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ８２００は、コンピュータ装置全体の動作制御を行うとともに、情報処理装置１２００が行うものとして上述した各処理を実行もしくは制御する。The
ＲＯＭ８３００には、コンピュータ装置の設定データや起動プログラムなどが格納されている。ＲＡＭ８４００は、外部記憶装置８４５０やＲＯＭ８３００からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ８４００は、入力Ｉ／Ｆ８５００を介して外部装置（ＲＧＢ－Ｄセンサ１１００、撮像部１０１０、撮像部７０１０、広角カメラ７０００など）から受信した各種のデータを格納するためのエリアを有する。さらにＲＡＭ８４００は、ＣＰＵ８２００が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ８４００は各種のエリアを適宜提供することができる。The
外部記憶装置８４５０は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置８４５０には、ＯＳ（オペレーティングシステム）や、情報処理装置１２００が行うものとして上述した各処理をＣＰＵ８２００に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。The
外部記憶装置８４５０に保存されているコンピュータプログラムには、図１，７に示した情報処理装置１２００が有するものとして示した各機能部の機能をＣＰＵ８２００に実行もしくは制御させるためのコンピュープログラムが含まれている。The computer programs stored in the
外部記憶装置８４５０に保存されているデータには、仮想物体に関連する上記の規定データ、仮想空間に関連するデータ（仮想空間中に配置される光源を規定するデータなど）、仮想物体画像と共に表示される画像や文字のデータが含まれている。The data stored in the
外部記憶装置８４５０に保存されているコンピュータプログラムやデータは、ＣＰＵ８２００による制御に従って適宜ＲＡＭ８４００にロードされ、ＣＰＵ８２００による処理対象となる。Computer programs and data stored in the
入力Ｉ／Ｆ８５００は、外部装置（ＨＭＤ１０００、ＲＧＢ－Ｄセンサ１１００、ＨＭＤ７０５０、広角カメラ７０００など）からのデータ入力を行うための通信インターフェースである。出力Ｉ／Ｆ８６００は、外部装置（ＨＭＤ１０００、ＨＭＤ７０５０など）に対するデータ出力を行うための通信インターフェースである。The input I/
ＣＰＵ８２００、ＲＯＭ８３００、ＲＡＭ８４００、外部記憶装置８４５０、入力Ｉ／Ｆ８５００、出力Ｉ／Ｆ８６００は何れも、システムバス８１００に接続されている。なお、情報処理装置１２００に適用可能なコンピュータ装置のハードウェア構成は、図８に示した構成に限らず、適宜変形／変更が可能である。The
なお、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。Note that the numerical values, processing timing, processing order, etc. used in the above explanation are given as examples to provide a concrete explanation, and are not intended to be limiting.
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。Furthermore, any or all of the embodiments described above may be used in appropriate combination.Furthermore, any or all of the embodiments described above may be used selectively.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。The invention is not limited to the above-described embodiment, and various modifications and variations are possible without departing from the spirit and scope of the invention. Therefore, the following claims are appended to disclose the scope of the invention.
１０００：ＨＭＤ １０１０：撮像部 １０２０：表示部 １１００：ＲＧＢ－Ｄセンサ １２００：情報処理装置 １２１０：生成部 １２２０：算出部 １２３０：レンダリング部 １２４０：合成部1000: HMD 1010: Imaging unit 1020: Display unit 1100: RGB-D sensor 1200: Information processing device 1210: Generation unit 1220: Calculation unit 1230: Rendering unit 1240: Synthesis unit
Claims (13)
Translated fromJapanese現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第２環境マップとして生成する第２生成手段と、
仮想物体の画像を生成する第３生成手段と
を備え、
前記第３生成手段は、前記仮想物体の画像の画素値を、前記第１環境マップと、前記第２環境マップと、に基づいて決定する
ことを特徴とする情報処理装置。 a first generating means for generating a polyhedron onto which a background color image is mapped as a first environment map;
a second generating means for generating, as a second environment map, a mapped polyhedron obtained by mapping a color image of the moving body acquired by a device that acquires a color image of the real space onto a polyhedron having a size corresponding to a distance between the moving body and the device;
and a third generating means for generating an image of a virtual object,
the third generating means determines a pixel value of the image of the virtual object based on the first environment map and the second environment map.
前記仮想物体の画像における着目画素に対応する前記仮想物体上の位置への視線ベクトルの、該位置における反射ベクトルを求める手段と、
前記第２環境マップにおいて前記反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域内であれば、前記第２環境マップの前記反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定し、前記第２環境マップにおいて前記反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域外であれば、前記第１環境マップの前記反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定する手段と
を備えることを特徴とする請求項１ないし３の何れか１項に記載の情報処理装置。 The third generating means is
means for calculating a reflection vector at a position on the virtual object corresponding to a pixel of interest in an image of the virtual object, of a line of sight vector to the position;
The information processing device according to any one of claims 1 to 3, further comprising: a means for determining a pixel value of the pixel of interest based on a pixel value at the intersection position with the reflection vector in the second environment map if the intersection position with the reflection vector in the second environment map is within an image area of a moving body mapped to the second environment map; and a means for determining a pixel value of the pixel of interest based on a pixel value at the intersection position with the reflection vector in the first environment map if the intersection position with the reflection vector in the second environment map is outside an image area of a moving body mapped to the second environment map.
移動体を含む現実空間の色画像をマッピングした多面体を第２環境マップとして生成する第２生成手段と、
仮想物体の画像を生成する第３生成手段と
を備え、
前記第３生成手段は、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の対応位置への視線ベクトルの、該対応位置における反射ベクトルを求め、該反射ベクトルを前記第１環境マップおよび前記第２環境マップのそれぞれについて補正した補正反射ベクトルと、前記第１環境マップと、前記第２環境マップと、に基づいて、前記着目画素の画素値を決定する
ことを特徴とする情報処理装置。 a first generating means for generating a polyhedron onto which a background color image is mapped as a first environment map;
a second generating means for generating a polyhedron onto which a color image of a real space including a moving object is mapped as a second environment map;
and a third generating means for generating an image of a virtual object,
The third generating means is
an information processing apparatus comprising: a display unit that displays a pixel value of the target pixel based on a line of sight vector of the line of sight vector to a corresponding position on the virtual object corresponding to the pixel value of the target pixel in an image of the virtual object; and a display unit that displays a pixel value of the target pixel based on a corrected reflection vector obtained by correcting the reflection vector for each of the firstenvironment map and the second environment map, the corrected reflection vector being obtained by correcting the line of sight ...
前記反射ベクトルを、前記第１環境マップの中心位置から前記対応位置へのベクトルに基づいて補正した第１補正反射ベクトルを求める手段と、
前記反射ベクトルを、前記第２環境マップの中心位置から前記対応位置へのベクトルに基づいて補正した第２補正反射ベクトルを求める手段と、
前記第２環境マップにおいて前記第２補正反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域内であれば、前記第２環境マップの前記第２補正反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定し、前記第２環境マップにおいて前記第２補正反射ベクトルとの交点位置が、該第２環境マップにマッピングされている移動体の画像領域外であれば、前記第１環境マップの前記第１補正反射ベクトルとの交点位置における画素値に基づいて前記着目画素の画素値を決定する手段と
を備えることを特徴とする請求項５ないし７の何れか１項に記載の情報処理装置。 The third generating means is
a means for obtaining a first corrected reflection vector by correcting the reflection vector based on a vector from a center position of the first environment map to the corresponding position;
a means for obtaining a second corrected reflection vector by correcting the reflection vector based on a vector from a center position of the second environment map to the corresponding position;
8. The information processing device according to claim 5, further comprising: a means for determining a pixel value of the pixel of interest based on a pixel value at the intersection position with the second corrected reflection vector in the second environment map if the intersection position with the second corrected reflection vector in the second environment map is within an image area of the moving body mapped to the second environment map; and a means for determining a pixel value of the pixel of interest based on a pixel value at the intersection position with the first corrected reflection vector in the first environment map if the intersection position with the second corrected reflection vector in the second environment map is outside an image area of the moving body mapped to the second environment map.
前記仮想物体の画像を、頭部装着型表示装置によって撮像された現実空間の画像と合成して該頭部装着型表示装置に出力することを特徴とする請求項１ないし８の何れか１項に記載の情報処理装置。 The third generating means is
9. The information processing apparatus according to claim 1, wherein the image of the virtual object is synthesized with an image of real space captured by a head-mounted display device and output to the head-mounted display device.
前記情報処理装置の第１生成手段が、背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成工程と、
前記情報処理装置の第２生成手段が、現実空間の色画像を取得するデバイスと移動体との間の距離に応じたサイズを有する多面体に、該デバイスが取得した該移動体の色画像をマッピングすることで得られるマッピング済み多面体を第２環境マップとして生成する第２生成工程と、
前記情報処理装置の第３生成手段が、仮想物体の画像を生成する第３生成工程と
を備え、
前記第３生成工程では、前記仮想物体の画像の画素値を、前記第１環境マップと、前記第２環境マップと、に基づいて決定する
ことを特徴とする情報処理方法。 An information processing method performed by an information processing device,
a first generation step in which a first generation means of the information processing device generates a polyhedron onto which a background color image is mapped as a first environment map;
a second generation step in which a second generation means of the information processing device generates, as a second environment map, a mapped polyhedron obtained by mapping a color image of the moving body acquired by a device that acquires a color image of real space onto a polyhedron having a size corresponding to a distance between the moving body and the device;
a third generation step in which a third generation means of the information processing device generates an image of a virtual object;
the third generating step determines pixel values of the image of the virtual object based on the first environment map and the second environment map.
前記情報処理装置の第１生成手段が、背景用の色画像をマッピングした多面体を第１環境マップとして生成する第１生成工程と、
前記情報処理装置の第２生成手段が、移動体を含む現実空間の色画像をマッピングした多面体を第２環境マップとして生成する第２生成工程と、
前記情報処理装置の第３生成手段が、仮想物体の画像を生成する第３生成工程と
を備え、
前記第３生成工程では、
前記仮想物体の画像における着目画素に対応する前記仮想物体上の対応位置への視線ベクトルの、該対応位置における反射ベクトルを求め、該反射ベクトルを前記第１環境マップおよび前記第２環境マップのそれぞれについて補正した補正反射ベクトルと、前記第１環境マップと、前記第２環境マップと、に基づいて、前記着目画素の画素値を決定する
ことを特徴とする情報処理方法。 An information processing method performed by an information processing device,
a first generation step in which a first generation means of the information processing device generates a polyhedron onto which a background color image is mapped as a first environment map;
a second generation step in which a second generation means of the information processing device generates, as a second environment map, a polyhedron onto which a color image of a real space including a moving object is mapped;
a third generation step in which a third generation means of the information processing device generates an image of a virtual object;
In the third generation step,
an information processing method comprising: determining a reflection vector at a corresponding position on the virtual object corresponding to a pixel of interest in an image of the virtual object, of a line of sight vector to the corresponding position, and determining a pixel value of the pixel of interest based on a corrected reflection vector obtained by correcting the reflection vector for each of the firstenvironment map and the second environment map, the first environment map, and the second environment map.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020056622AJP7465133B2 (en) | 2020-03-26 | 2020-03-26 | Information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020056622AJP7465133B2 (en) | 2020-03-26 | 2020-03-26 | Information processing device and information processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021157458A JP2021157458A (en) | 2021-10-07 |
| JP2021157458A5 JP2021157458A5 (en) | 2023-03-29 |
| JP7465133B2true JP7465133B2 (en) | 2024-04-10 |
Family
ID=77917934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020056622AActiveJP7465133B2 (en) | 2020-03-26 | 2020-03-26 | Information processing device and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7465133B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008033531A (en) | 2006-07-27 | 2008-02-14 | Canon Inc | Information processing method |
| JP2020535557A (en) | 2017-09-29 | 2020-12-03 | 株式会社ソニー・インタラクティブエンタテインメント | Modular Hierarchical Visual System for Autonomous Personal Companion |
- 2020
- 2020-03-26JPJP2020056622Apatent/JP7465133B2/enactiveActive
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008033531A (en) | 2006-07-27 | 2008-02-14 | Canon Inc | Information processing method |
| JP2020535557A (en) | 2017-09-29 | 2020-12-03 | 株式会社ソニー・インタラクティブエンタテインメント | Modular Hierarchical Visual System for Autonomous Personal Companion |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021157458A (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928838B2 (en) | Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display | |
| CN107209950B (en) | Automatic generation of virtual material from real world material | |
| JP6687204B2 (en) | Projection image generation method and apparatus, and mapping method between image pixels and depth values | |
| JP4804256B2 (en) | Information processing method | |
| US20200027194A1 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
| KR102359978B1 (en) | Mixed reality system with multi-source virtual content synthesis and method for creating virtual content using same | |
| JP5818773B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2018116790A1 (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| JP4667111B2 (en) | Image processing apparatus and image processing method | |
| JP2020514908A (en) | Mixed reality system with color virtual content warping and method of generating virtual content using the same | |
| KR20180101496A (en) | Head-mounted display for virtual and mixed reality with inside-out location, user body and environment tracking | |
| JP2018511098A (en) | Mixed reality system | |
| JP2004062758A (en) | Information processing apparatus and method | |
| CN116309854B (en) | Method, device, equipment, system and storage medium for calibrating augmented reality equipment | |
| JP2010109783A (en) | Electronic camera | |
| CN110969706B (en) | Augmented reality device, image processing method, system and storage medium thereof | |
| JP2018106661A (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| CN119301946A (en) | Image processing device, head mounted display device, control method of image processing device, control method of head mounted display device, and program | |
| JP2019133310A (en) | Image processing system and image processing program and image processing method | |
| JP7175715B2 (en) | Information processing device, information processing method and program | |
| JP6890524B2 (en) | Attitude control system | |
| JP7465133B2 (en) | Information processing device and information processing method | |
| US20230122185A1 (en) | Determining relative position and orientation of cameras using hardware | |
| JP4689344B2 (en) | Information processing method and information processing apparatus | |
| WO2018173205A1 (en) | Information processing system, method for controlling same, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7421 Effective date:20210103 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20210113 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20230320 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20230320 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20240215 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20240301 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20240329 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7465133 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |