WO2025121121A1 - Information processing device, information processing method, and program - Google Patents

Abstract

The present technology pertains to an information processing device, an information processing method, and a program, which make it possible to provide an image which enables an operator to more safely and efficiently perform surgery and treatment. An information processing device according to the present technology comprises an image generation unit that adjusts a CG image obtained by imaging a 3D model with a virtual camera, on the basis of a first guide indicating a scale in the depth direction in an actually captured image obtained by actually imaging a subject with an imaging device and a second guide indicating a scale in the depth direction in the CG image, and generates a display image for displaying the actually captured image and the CG image on a display device. The present technology can be applied, for example, to a surgical system.

Description

Translated fromJapanese

情報処理装置、情報処理方法、およびプログラムInformation processing device, information processing method, and program

　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、術者がより安全に効率よく手術や治療を行うことができる画像を提供することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。This technology relates to an information processing device, an information processing method, and a program, and in particular to an information processing device, an information processing method, and a program that can provide images that enable surgeons to perform surgery and treatment more safely and efficiently.

　手術ロボット、手術顕微鏡、内視鏡などを用いた手術やＸ線などを用いたIVR(Interventional Radiology)治療においては、術野画像を3D表示（立体表示）することにより術者が生体の構造を知覚しやすくし、効率よく手術を行えるようにしている（例えば特許文献１を参照）。In surgeries using surgical robots, surgical microscopes, endoscopes, etc., and in IVR (Interventional Radiology) treatments using X-rays, etc., the surgical field image is displayed in 3D (stereoscopic display), making it easier for the surgeon to perceive the structure of the body, and enabling the surgeon to perform surgery more efficiently (see, for example, Patent Document 1).

　また、これらの手術や治療においては、事前に撮影されたCT(Computed Tomography)画像やMRI(Magnetic Resonance Imaging)画像に基づいて生成されたCG画像を術野画像の横に表示したり、術野画像に重畳して表示したりすることにより、より安全に効率よく手術や治療を行うことができると期待されている。In addition, it is expected that these surgeries and treatments will be able to be performed more safely and efficiently by displaying CG images generated based on CT (Computed Tomography) images or MRI (Magnetic Resonance Imaging) images taken in advance next to the surgical field image or superimposing them on the surgical field image.

特開２０１９－９７８９０号公報JP 2019-97890 A

　しかしながら、術野画像とCG画像の間で焦点距離、画角などが一致していないと、術野画像とCG画像の間で、奥行き感やそれぞれに映る生体の形状が合わないことがある。したがって、CG画像を、術野画像に対する精緻な比較（リファレンス）画像として利用することが難しかった。However, if the focal length and angle of view do not match between the surgical field image and the CG image, the sense of depth and the shape of the living body depicted in each image may not match. This makes it difficult to use the CG image as a precise comparison (reference) image for the surgical field image.

　本技術はこのような状況に鑑みてなされたものであり、術者がより安全に効率よく手術や治療を行うことができる画像を提供することができるようにするものである。This technology was developed in light of these circumstances, and is designed to provide images that enable surgeons to perform surgery and treatment more safely and efficiently.

　本技術の一側面の情報処理装置は、被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する画像生成部を備える。An information processing device according to one aspect of the present technology includes an image generating unit that adjusts a CG image based on a first guide indicating the scale in the depth direction in a live-action image of a subject actually captured by a capture device and a second guide indicating the scale in the depth direction in a CG image of a 3D model captured by a virtual camera, and generates a display image for displaying the live-action image and the CG image on a display device.

　本技術の一側面の情報処理方法は、被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像に奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する。An information processing method according to one aspect of the present technology adjusts a CG image based on a first guide indicating the scale in the depth direction in a live-action image of a subject actually photographed by a photographing device, and a second guide indicating the scale in the depth direction in a CG image of a 3D model photographed by a virtual camera, and generates a display image for displaying the live-action image and the CG image on a display device.

　本技術の一側面のプログラムは、コンピュータに、被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する処理を実行させる。A program according to one aspect of the present technology causes a computer to execute a process of adjusting a CG image based on a first guide indicating the scale in the depth direction in a live-action image of a subject actually photographed by a photographing device, and a second guide indicating the scale in the depth direction in a CG image of a 3D model photographed by a virtual camera, and generating a display image for displaying the live-action image and the CG image on a display device.

　本技術の一側面においては、被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像が調整され、前記実写画像と前記CG画像とを表示装置に表示させるための表示画像が生成される。In one aspect of this technology, the CG image is adjusted based on a first guide indicating the scale of the depth direction in a live-action image of a subject actually photographed by a photographing device, and a second guide indicating the scale of the depth direction in a CG image of a 3D model photographed by a virtual camera, and a display image is generated for displaying the live-action image and the CG image on a display device.

本技術の一実施の形態に係る手術システムの構成を示す図である。1 is a diagram showing a configuration of a surgery system according to an embodiment of the present technology.情報処理装置の機能構成例を示すブロック図である。2 is a block diagram showing an example of a functional configuration of an information processing device;空間再現ディスプレイの表示面の例を示す図である。FIG. 1 is a diagram showing an example of a display surface of a spatial reproduction display.術前画像の表示例を示す第１の図である。FIG. 11 is a first diagram showing a display example of a preoperative image.術前画像の表示例を示す第２の図である。FIG. 2 is a second diagram showing an example of a display of a preoperative image.奥行きガイドの例を示す第１の図である。FIG. 1 is a first diagram showing an example of a depth guide.奥行きガイドの例を示す第２の図である。FIG. 2 is a second diagram showing an example of a depth guide.奥行きガイドが重畳された術野画像と術前画像の配置例を示す図である。FIG. 13 is a diagram showing an example of the arrangement of a surgical field image and a preoperative image on which a depth guide is superimposed.術前画像と術野画像の表示例を示す図である。11A and 11B are diagrams showing display examples of a preoperative image and an operative field image.表示装置の表示面の変形例を示す図である。13A and 13B are diagrams showing modified examples of the display surface of the display device.奥行きガイドの他の例を示す図である。13A and 13B are diagrams illustrating other examples of the depth guide.奥行きガイドの見え方の例を説明する図である。11A and 11B are diagrams illustrating examples of how a depth guide appears.情報処理装置が行う処理について説明するフローチャートである。11 is a flowchart illustrating a process performed by an information processing device.情報処理装置が行う処理の流れを説明する第１の図である。FIG. 1 is a first diagram illustrating a flow of processing performed by an information processing device.情報処理装置が行う処理の流れを説明する第２の図である。FIG. 2 is a second diagram illustrating the flow of processing performed by the information processing device.画角が異なる術前画像における3Dモデルと奥行きガイドの見え方の例を示す図である。13A to 13C are diagrams showing examples of how a 3D model and depth guide appear in preoperative images with different angles of view.術野画像のサイズの調整方法を説明する図である。11A and 11B are diagrams for explaining a method for adjusting the size of an operative field image.術野画像と術前画像の重畳表示の例を示す図である。FIG. 13 is a diagram showing an example of a superimposed display of a surgical field image and a preoperative image.画角が30度である場合の術野画像と術前画像の表示例を示す図である。FIG. 13 is a diagram showing a display example of an operative field image and a preoperative image when the angle of view is 30 degrees.ある視点から見た場合の奥行きガイドを構成する各フレームのサイズの見え方を説明する図である。11 is a diagram illustrating how the sizes of the frames constituting the depth guide appear when viewed from a certain viewpoint. FIG.ある画角で撮影した場合の奥行きガイドを構成する各フレームのサイズの見え方を説明する第１の図である。FIG. 11 is a first diagram for explaining how the size of each frame constituting the depth guide appears when photographed at a certain angle of view.ある画角で撮影した場合の奥行きガイドを構成する各フレームのサイズの見え方を説明する第２の図である。FIG. 2 is a second diagram illustrating how the size of each frame constituting the depth guide appears when photographed at a certain angle of view.術野3D画像と術前3D画像を表示する場合の情報処理装置が行う処理について説明するフローチャートである。13 is a flowchart illustrating processing performed by an information processing device when a surgical field 3D image and a preoperative 3D image are displayed.術野3D画像と術前3D画像を表示する処理の流れを説明する第１の図である。This is the first diagram explaining the processing flow for displaying a 3D surgical field image and a preoperative 3D image.術野3D画像と術前3D画像を表示する処理の流れを説明する第２の図である。This is the second diagram explaining the processing flow for displaying a 3D surgical field image and a preoperative 3D image.術野3D画像と術前3D画像の重畳表示の例を示す図である。FIG. 13 is a diagram showing an example of a superimposed display of a 3D surgical field image and a 3D preoperative image.術野3D画像と術前3D画像の重畳表示の他の例を示す図である。FIG. 13 is a diagram showing another example of superimposed display of a operative field 3D image and a preoperative 3D image.輻輳角による奥行きガイドの見え方の違いを説明する第１の図である。FIG. 11 is a first diagram illustrating the difference in appearance of the depth guide depending on the convergence angle.輻輳角による奥行きガイドの見え方の違いを説明する第２の図である。FIG. 2 is a second diagram illustrating the difference in appearance of the depth guide depending on the convergence angle.輻輳角による奥行きガイドの見え方の違いを説明する第３の図である。FIG. 3 is a third diagram illustrating the difference in appearance of the depth guide depending on the convergence angle.輻輳角による奥行きガイドの見え方の違いを説明する第４の図である。FIG. 4 is a fourth diagram illustrating the difference in appearance of the depth guide depending on the convergence angle.コンピュータのハードウェアの構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.

　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．手術システムの概要
　２．本技術の実施の形態
　３．変形例Hereinafter, an embodiment of the present technology will be described in the following order.
1. Overview of theSurgical System 2. Embodiments of the Present Technology 3. Modifications

＜１．手術システムの概要＞
　図１は、本技術の一実施の形態に係る手術システムの構成を示す図である。1. Overview of the surgery system
FIG. 1 is a diagram showing a configuration of a surgery system according to an embodiment of the present technology.

　図１の手術システムは、マスター装置１００とスレーブ装置５００により構成される。手術システムにおいて、ユーザ（術者）はマスター装置１００を制御することによりスレーブ装置５００を駆動させ、手術を行う。The surgical system in FIG. 1 is composed of amaster device 100 and aslave device 500. In the surgical system, a user (surgeon) controls themaster device 100 to drive theslave device 500 and perform surgery.

　マスター装置１００は、スレーブ装置５００を操作するための入力機能、スレーブ装置５００の制御機能、スレーブ装置５００のカメラやセンサから出力された信号をユーザへ提示する提示機能を有する情報処理装置である。Themaster device 100 is an information processing device that has an input function for operating theslave device 500, a control function for theslave device 500, and a presentation function for presenting signals output from the camera and sensor of theslave device 500 to the user.

　マスター装置１００は、情報処理装置１０１、ユーザが把持して操作する入力装置２００（右手用の入力装置２００Ｒ、及び左手用の入力装置２００Ｌ）、支持台３００、および、スレーブ装置５００からの信号に基づいて映像を表示する表示装置４００により構成される。Themaster device 100 is composed of aninformation processing device 101, an input device 200 (aninput device 200R for the right hand and aninput device 200L for the left hand) that is held and operated by the user, asupport stand 300, and adisplay device 400 that displays images based on signals from theslave device 500.

　マスター装置１００においては、情報処理装置１０１が、入力装置２００の入力に基づいてスレーブ装置５００に制御信号を出力することにより、スレーブ装置５００が制御される。また、マスター装置１００においては、情報処理装置１０１が、スレーブ装置５００からの信号に基づいて入力装置２００による振動（触覚提示）の制御または表示装置４００による表示の制御を行うことにより、術野の画像やスレーブ装置５００からのフィードバックがユーザに提示される。In themaster device 100, theinformation processing device 101 outputs a control signal to theslave device 500 based on the input of the input device 200, thereby controlling theslave device 500. Also, in themaster device 100, theinformation processing device 101 controls the vibration (tactile presentation) by the input device 200 or the display by thedisplay device 400 based on the signal from theslave device 500, thereby presenting an image of the surgical field and feedback from theslave device 500 to the user.

　情報処理装置１０１は、マスター装置１００における情報を処理する装置であり、例えばCPUやメモリ等を備えた情報処理回路を有するコンピュータである。Theinformation processing device 101 is a device that processes information in themaster device 100, and is, for example, a computer that has an information processing circuit equipped with a CPU, memory, etc.

　入力装置２００は、ユーザの入力を受け付ける装置であり、例えばユーザの手の動作や把持動作を入力可能な装置である。The input device 200 is a device that accepts user input, for example, a device that can input the user's hand movements or gripping movements.

　支持台３００は、ユーザの両腕または両肘などを載せることが可能な台であり、例えばアルミフレームである。なお、支持台３００にマスター装置１００やスレーブ装置５００への入力が可能なタッチディスプレイなどが設けられるようにしてもよい。Thesupport stand 300 is a stand on which the user can place both arms or elbows, and is, for example, an aluminum frame. Thesupport stand 300 may be provided with a touch display that allows input to themaster device 100 and theslave device 500.

　表示装置４００は、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示することで、所定の空間内に配置された仮想的な3Dオブジェクトを立体としてユーザが視認可能な表示装置であり、例えば空間再現ディスプレイである。なお、表示装置４００は、2D画像を表示するディスプレイであってもよい。Thedisplay device 400 is a display device that displays a 3D image consisting of a left-eye image and a right-eye image having a mutual parallax, allowing the user to visually recognize a virtual 3D object arranged in a specific space as a three-dimensional object, for example a spatial reproduction display. Note that thedisplay device 400 may also be a display that displays 2D images.

　表示装置４００は、例えば、実空間における水平面に対して表示面が斜め上方を向くように設置される。なお、表示面の傾きは、入力装置２００の配置角度に基づいて変更可能にしてもよい。図１の例では表示装置４００が、ユーザから見て入力装置２００の奥側に配置されているが、入力装置２００の手前側に配置されてもよい。Thedisplay device 400 is installed, for example, so that the display surface faces diagonally upward with respect to the horizontal plane in real space. The inclination of the display surface may be changeable based on the arrangement angle of the input device 200. In the example of FIG. 1, thedisplay device 400 is arranged behind the input device 200 as seen by the user, but it may also be arranged in front of the input device 200.

　スレーブ装置５００は、情報処理装置５０１、医療装置６００、および、医療装置を支えるアーム７００により構成される。Theslave device 500 is composed of aninformation processing device 501, amedical device 600, and anarm 700 that supports the medical device.

　スレーブ装置５００においては、情報処理装置５０１が、マスター装置１００から送信されてきた信号に基づいて医療装置６００またはアーム７００を制御することにより、ユーザの入力に基づいた制御が行われる。In theslave device 500, theinformation processing device 501 controls themedical device 600 or thearm 700 based on the signal transmitted from themaster device 100, thereby performing control based on user input.

　情報処理装置５０１は、スレーブ装置５００における情報を処理する装置であり、例えばCPUやメモリなどを備えた情報処理回路を有するコンピュータである。Theinformation processing device 501 is a device that processes information in theslave device 500, and is, for example, a computer that has an information processing circuit equipped with a CPU, memory, etc.

　医療装置６００は、マスター装置１００の入力に基づいて動作する装置であり、例えばステレオカメラや内視鏡などの撮影装置または電気メスや鉗子を備えたエンドエフェクタである。Themedical device 600 is a device that operates based on input from themaster device 100, and is, for example, an imaging device such as a stereo camera or an endoscope, or an end effector equipped with an electric scalpel or forceps.

　スレーブ装置５００は、医療装置６００およびアーム７００のセットを複数備えていることが好ましい。例えば、撮影装置を備えた第１のアームと、エンドエフェクタを備えた第２のアームとを備える構成であってもよい。Theslave device 500 preferably includes multiple sets ofmedical devices 600 andarms 700. For example, theslave device 500 may include a first arm equipped with an imaging device and a second arm equipped with an end effector.

　エンドエフェクタは、患部等への接触を検知する検知装置を備えていることが好ましい。これにより、エンドエフェクタに係る圧力に基づいて入力装置を振動させたり動作を制限したりことで、ユーザに適切なフィードバックを行うことができる。The end effector is preferably equipped with a detection device that detects contact with an affected area, etc. This allows the input device to vibrate or restrict movement based on the pressure applied to the end effector, providing appropriate feedback to the user.

　図２は、情報処理装置１０１の機能構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of the functional configuration of theinformation processing device 101.

　図２に示すように、情報処理装置１０１は、キャプチャ部１１１、UI処理部１１２、視位置検出部１１３、3D画像生成部１１４、および、出力制御部１１５により構成される。As shown in FIG. 2, theinformation processing device 101 is composed of acapture unit 111, aUI processing unit 112, a viewingposition detection unit 113, a 3Dimage generation unit 114, and anoutput control unit 115.

　キャプチャ部１１１は、撮影装置６１１により撮影された撮影画像をキャプチャして術野画像を生成し、3D画像生成部１１４に供給する。術野画像は、3D画像であってもよいし、2D画像であってもよい。なお、キャプチャ部１１１は、Ｘ線撮影装置により撮影された血管造影透視画像などを術野画像として取得することも可能である。撮影装置６１１は、一般的なカメラやステレオカメラ、手術顕微鏡、内視鏡などにより構成され、例えばスレーブ装置５００に設けられる。撮影装置６１１は、患者の生体の少なくとも一部分を被写体として、手術や治療の術野を撮影する。術野画像は、被写体を撮影装置６１１で実際に撮影した画像である実写画像と言える。Thecapture unit 111 captures the images taken by theimaging device 611 to generate an operative field image, and supplies it to the 3Dimage generation unit 114. The operative field image may be a 3D image or a 2D image. Thecapture unit 111 can also obtain an angiographic fluoroscopic image taken by an X-ray imaging device as the operative field image. Theimaging device 611 is composed of a general camera, a stereo camera, a surgical microscope, an endoscope, etc., and is provided in theslave device 500, for example. Theimaging device 611 captures the operative field of surgery or treatment, using at least a part of the patient's living body as a subject. The operative field image can be said to be a real-life image that is an image of the subject actually taken by theimaging device 611.

　UI処理部１１２は、入力装置２００やジェスチャなどが用いられてユーザにより入力された操作内容を取得し、3D画像生成部１１４に供給する。TheUI processing unit 112 acquires the operation contents input by the user using the input device 200 or gestures, etc., and supplies them to the 3Dimage generation unit 114.

　視位置検出部１１３は、表示装置４００に設けられた撮影装置４１１により撮影された撮影画像に基づいて、ユーザの視位置（視点の位置と姿勢）を検出し、検出結果を3D画像生成部１１４に供給する。The viewingposition detection unit 113 detects the user's viewing position (position and posture of the viewpoint) based on the captured image captured by theimage capture device 411 provided in thedisplay device 400, and supplies the detection result to the 3Dimage generation unit 114.

　3D画像生成部１１４は、撮影装置６１１の撮影条件を示す情報を撮影装置６１１から取得する。撮影装置６１１の撮影条件は、焦点距離、画角、輻輳点、輻輳角などを含む。また、3D画像生成部１１４は、手術や治療前に撮影されたCT画像やMRI画像などのDICOM(Digital Imaging and Communications in Medicine)データを取得し、DICOMデータに基づいて、例えば術野画像に映る患者の生体の形状を示す3Dモデルを生成する。The 3Dimage generating unit 114 acquires information indicating the imaging conditions of theimaging device 611 from theimaging device 611. The imaging conditions of theimaging device 611 include focal length, angle of view, convergence point, convergence angle, etc. The 3Dimage generating unit 114 also acquires DICOM (Digital Imaging and Communications in Medicine) data such as CT images and MRI images taken before surgery or treatment, and generates a 3D model indicating, for example, the shape of the patient's biological body shown in the surgical field image based on the DICOM data.

　3D画像生成部１１４は、仮想カメラで3Dモデルを撮影する（ボリュームレンダリング）ことでCG画像を生成する。仮想カメラによる3Dモデルの撮影は、例えば、撮影装置６１１の撮影条件と同様の条件で行われる。以下では、CG画像のことを、手術や治療前に撮影されたCT画像やMRI画像に基づいて生成された術前画像とも称する。The 3Dimage generating unit 114 generates a CG image by photographing a 3D model with a virtual camera (volume rendering). The 3D model is photographed with a virtual camera under conditions similar to those of theimaging device 611. Below, the CG image is also referred to as a preoperative image generated based on a CT image or MRI image taken before surgery or treatment.

　3D画像生成部１４１は、キャプチャ部１１１から供給された術野画像と、生成した術前画像とを仮想空間に配置する。3D画像生成部１４１は、視位置検出部１１３により検出されたユーザの視位置に基づいて当該仮想空間をレンダリングすることで3D画像を生成する。例えば、3D画像生成部２４は、ユーザの視位置から適切に血管造影透視画像や3Dモデルが見えるように3D画像を生成する。3D画像生成部１４１により生成される3D画像（左目用画像と右目用画像）は、仮想空間に配置された術野画像と術前画像を表示装置４００に表示させるための表示画像とも言える。ここでは、UI処理部１１２から供給される操作内容に応じて、術野画像や術前画像の配置が制御される。The 3D image generating unit 141 places the operative field image supplied from thecapture unit 111 and the generated preoperative image in a virtual space. The 3D image generating unit 141 generates a 3D image by rendering the virtual space based on the user's viewing position detected by the viewingposition detecting unit 113. For example, the 3Dimage generating unit 24 generates a 3D image so that the angiographic fluoroscopic image and the 3D model can be seen appropriately from the user's viewing position. The 3D images (left eye image and right eye image) generated by the 3D image generating unit 141 can also be said to be display images for displaying the operative field image and the preoperative image placed in the virtual space on thedisplay device 400. Here, the placement of the operative field image and the preoperative image is controlled according to the operation content supplied from theUI processing unit 112.

　3D画像生成部１１４は、生成した3D画像を出力制御部１１５に供給する。The 3Dimage generation unit 114 supplies the generated 3D image to theoutput control unit 115.

　出力制御部１１５は、表示装置４００による表示を制御する。具体的には、出力制御部１１５は、3D画像生成部１１４から供給された3D画像を表示装置４００に供給し、3D画像を構成する左目用画像と右目用画像を表示させる。左目用画像がユーザの左目に届けられ、右目用画像がユーザの右目に届けられることにより、例えば、術野画像（撮影装置６１１）と同じ視位置から見た生体の3Dモデルが映る術前画像Ｐ１と術野画像Ｐ２が、横に並べられてリアルタイムでユーザに提示される。Theoutput control unit 115 controls the display by thedisplay device 400. Specifically, theoutput control unit 115 supplies the 3D image supplied from the 3Dimage generation unit 114 to thedisplay device 400, and causes the left eye image and right eye image constituting the 3D image to be displayed. The left eye image is delivered to the left eye of the user, and the right eye image is delivered to the right eye of the user, so that, for example, a preoperative image P1 and a surgical field image P2 showing a 3D model of a living body seen from the same viewing position as the surgical field image (imaging device 611) are presented to the user side by side in real time.

　次に、図３から図５を用いて、手術システムの表示装置４００として適用される空間再現ディスプレイについて説明する。Next, we will explain the spatial reproduction display used as thedisplay device 400 of the surgical system using Figures 3 to 5.

　近年、空間再現ディスプレイとして、専用の眼鏡を用いずにコンテンツを立体的に表示することが可能な裸眼立体画像表示装置が提案されている。このような空間再現ディスプレイは、視認角度ごとに水平方向にずらした画像を表示することが可能であり、ユーザは、左目用画像と右目用のずれ（視差）により、奥行きを知覚することができる。In recent years, a naked-eye stereoscopic image display device has been proposed as a spatial reproduction display that can display content in three dimensions without the need for special glasses. Such spatial reproduction displays can display images that are shifted horizontally for each viewing angle, and users can perceive depth due to the shift (parallax) between the image for the left eye and the image for the right eye.

　なお、専用のメガネを利用した空間再現ディスプレイが表示装置４００として適用されるようにしてもよい。In addition, a spatial reproduction display using special glasses may be applied as thedisplay device 400.

　図３は、空間再現ディスプレイの表示面の例を示す図である。Figure 3 shows an example of the display surface of a spatial reproduction display.

　上述したように、空間再現ディスプレイは、例えば、表示面４１２が実空間における水平面に対して斜め上方を向くように配置される。この場合、空間再現ディスプレイにおいては、例えば表示面４１２と交差するように、言い換えると、ユーザの視位置Ｅから見て表示面４１２の手前側と奥側の両方に領域を有するような仮想空間ＶＷが再現される。As described above, the spatial reproduction display is arranged, for example, so that thedisplay surface 412 faces diagonally upward with respect to the horizontal plane in real space. In this case, the spatial reproduction display reproduces a virtual space VW that intersects with thedisplay surface 412, in other words, has areas both in front of and behind thedisplay surface 412 when viewed from the user's viewing position E.

　仮想空間ＶＷに配置された3Dオブジェクトは、例えば表示面４１２から一部が飛び出して見えるように表示される。空間再現ディスプレイは、例えばユーザの左目と右目にそれぞれ異なる画像が届けられる3D画像を表示することによって仮想的な奥行きを表現し、3Dオブジェクトが実空間に存在しているかのような感覚をユーザに与えることができる。3D objects placed in the virtual space VW are displayed so that, for example, a portion of them appears to protrude from thedisplay surface 412. The spatial reproduction display can express virtual depth by displaying 3D images in which different images are delivered to the user's left and right eyes, for example, and give the user the sensation that the 3D object exists in real space.

　図４は、術前画像の表示例を示す図である。Figure 4 shows an example of a preoperative image display.

　図４に示すように、術野画像Ｐ１１は、例えば、仮想空間ＶＷ内に配置された仮想プレート上に投影されて表示される。術野画像Ｐ１１が投影された仮想プレートは、ユーザの視位置に対して常に正対するように配置される。As shown in FIG. 4, the surgical field image P11 is displayed, for example, by projecting it onto a virtual plate placed in the virtual space VW. The virtual plate onto which the surgical field image P11 is projected is positioned so as to always face directly toward the user's viewing position.

　したがって、図５の上側に示すように、ユーザが空間再現ディスプレイ（仮想空間ＶＷ）に向かって右側から仮想空間ＶＷを見た場合、術野画像Ｐ１１が投影された仮想プレートは、右側を向くように配置される。また、図５の下側に示すように、ユーザが空間再現ディスプレイに向かって左側から仮想空間ＶＷを見た場合、術野画像Ｐ１１が投影された仮想プレートは、左側を向くように配置される。Therefore, as shown in the upper part of Figure 5, when the user looks at the virtual space VW (virtual space VW) from the right side while facing the spatial reproduction display, the virtual plate onto which the surgical field image P11 is projected is positioned so as to face the right side. Also, as shown in the lower part of Figure 5, when the user looks at the virtual space VW from the left side while facing the spatial reproduction display, the virtual plate onto which the surgical field image P11 is projected is positioned so as to face the left side.

＜２．本技術の実施の形態＞
　表示装置４００において、術野画像と術前画像が同時に表示される場合、術野画像と術前画像の間で焦点距離、画角、輻輳角などが一致していないと、術野画像と術前画像の間で、奥行き感やそれぞれに映る生体の形状が合わないことがある。この場合、術前画像を、術野画像に対する精緻なリファレンス画像として利用することが難しい。2. Embodiment of the present technology
When an operative field image and a preoperative image are simultaneously displayed on thedisplay device 400, if the focal length, angle of view, convergence angle, etc. of the operative field image and the preoperative image do not match, the sense of depth and the shape of the living body shown in the operative field image and the preoperative image may not match. In this case, it is difficult to use the preoperative image as a precise reference image for the operative field image.

　そこで、本技術の情報処理装置１０１は、術前画像と術野画像それぞれに対して奥行きガイドを重畳（付加）し、奥行きガイドに基づいて術前画像と術野画像の焦点距離、画角、輻輳角などを一致させる。奥行きガイドは、術前画像と術野画像それぞれにおける奥行き方向のスケールを示し、ユーザにとっては奥行き知覚の手掛かりとなる。Theinformation processing device 101 of this technology therefore superimposes (adds) a depth guide onto each of the preoperative image and the operative field image, and matches the focal length, angle of view, convergence angle, and so on of the preoperative image and the operative field image based on the depth guide. The depth guide indicates the scale of the depth direction in each of the preoperative image and the operative field image, and serves as a clue for the user's perception of depth.

　図６と図７は、奥行きガイドの例を示す図である。Figures 6 and 7 show examples of depth guides.

　図６のＡに示すように、奥行きガイドは、例えば、多重の矩形が同心状に配置された形状を有する。As shown in FIG. 6A, the depth guide has a shape in which, for example, multiple rectangles are arranged concentrically.

　図６のＢに示すように、奥行きガイドは、少なくとも最外周の矩形が術前画像Ｐ２１を囲むように術前画像Ｐ２１に重畳される。言い換えると、奥行きガイドは、術前画像Ｐ２１の背景として術前画像Ｐ２１に重畳される。なお、術前画像Ｐ２１と奥行きガイドがアルファブレンドなどにより合成されることで重畳されるようにしてもよい。As shown in FIG. 6B, the depth guide is superimposed on the preoperative image P21 so that at least the outermost rectangle surrounds the preoperative image P21. In other words, the depth guide is superimposed on the preoperative image P21 as the background of the preoperative image P21. Note that the preoperative image P21 and the depth guide may be superimposed by being combined using alpha blending or the like.

　奥行きガイドが術前画像Ｐ２１に重畳されることで、ユーザにとっては、術前画像Ｐ２１に映る3Dモデルの奥行き感がわかりやすくなる。By superimposing the depth guide on the preoperative image P21, the user can easily understand the sense of depth of the 3D model shown in the preoperative image P21.

　また、図７のＡに示すように、奥行きガイドは、少なくとも最外周の矩形が術野画像Ｐ２２を囲むように術野画像Ｐ２２に重畳される。言い換えると、奥行きガイドは、術野画像Ｐ２２の背景として術野画像Ｐ２２に重畳される。なお、術野画像Ｐ２２と奥行きガイドがアルファブレンドなどにより合成されることで重畳されるようにしてもよい。Also, as shown in A of FIG. 7, the depth guide is superimposed on the operative field image P22 so that at least the outermost rectangle surrounds the operative field image P22. In other words, the depth guide is superimposed on the operative field image P22 as the background of the operative field image P22. Note that the operative field image P22 and the depth guide may be superimposed by being combined using alpha blending or the like.

　図７のＢに示す奥行きガイドが重畳されていない術野画像Ｐ２２と比較すると、奥行きガイドが重畳された術野画像Ｐ２２は、被写体の奥行き感がわかりやすい画像となる。Compared to the surgical field image P22 shown in FIG. 7B, which does not have a depth guide superimposed thereon, the surgical field image P22 with the depth guide superimposed thereon provides an image that makes it easier to understand the sense of depth of the subject.

　なお、図７の例では、被写体が映る領域が切り出された術野画像Ｐ２２に奥行きガイドが重畳されているが、撮影装置６１１により撮影された撮影画像全体（例えば矩形の画像）に奥行きガイドが重畳されるようにしてもよい。In the example of FIG. 7, the depth guide is superimposed on the surgical field image P22, which is a cut-out area showing the subject, but the depth guide may be superimposed on the entire captured image (e.g., a rectangular image) captured by theimaging device 611.

　図８は、奥行きガイドが重畳された術野画像と術前画像の配置例を示す図である。Figure 8 shows an example of the arrangement of a surgical field image and a preoperative image with a depth guide superimposed on it.

　図８の上側に示すように、奥行きガイドが重畳された術前画像Ｐ２１は、例えば、仮想空間ＶＷ内に配置された仮想プレート上に投影されて表示される。術前画像Ｐ２１に映る3Dモデルと奥行きガイドは、例えば他の仮想空間に３次元的に配置され、3Dモデルと奥行きガイドＤＧ１を仮想カメラで撮影することで、奥行きガイドＤＧ１が重畳された術前画像Ｐ２１が生成される。As shown in the upper part of Figure 8, the preoperative image P21 with the superimposed depth guide is, for example, projected and displayed on a virtual plate placed in the virtual space VW. The 3D model and depth guide shown in the preoperative image P21 are, for example, placed three-dimensionally in another virtual space, and the preoperative image P21 with the superimposed depth guide DG1 is generated by photographing the 3D model and depth guide DG1 with a virtual camera.

　奥行きガイドが仮想空間内において３次元的に配置されることを言い換えると、仮想空間内では、奥行きガイドは、例えば、同じ形状の複数の矩形が仮想カメラの視位置から見て奥行き方向に例えば一定の間隔で配置されて構成される。奥行きガイドの位置は、例えば術野画像の画角と輻輳角に基づいて決定される。In other words, the depth guide is arranged three-dimensionally in the virtual space, and in the virtual space, the depth guide is configured, for example, by multiple rectangles of the same shape arranged at regular intervals in the depth direction when viewed from the viewing position of the virtual camera. The position of the depth guide is determined, for example, based on the angle of view and the convergence angle of the surgical field image.

　図８の下側に示すように、術野画像Ｐ２２は、例えば、仮想空間ＶＷ内に配置された仮想プレート上に投影されて表示されるが、術野画像Ｐ２２に重畳される奥行きガイドは、仮想空間ＶＷ内において３次元的に配置される。すなわち、仮想空間ＶＷ内では、奥行きガイドは、例えば、同じ形状の複数の矩形がユーザの視位置から見て奥行き方向に例えば一定の間隔で配置されて構成される。As shown in the lower part of FIG. 8, the surgical field image P22 is, for example, projected and displayed on a virtual plate placed in the virtual space VW, and the depth guide superimposed on the surgical field image P22 is placed three-dimensionally in the virtual space VW. That is, in the virtual space VW, the depth guide is, for example, composed of multiple rectangles of the same shape placed at regular intervals in the depth direction as seen from the user's viewing position.

　図９は、術前画像と術野画像の表示例を示す図である。Figure 9 shows an example of a preoperative image and an operative field image.

　図９に示すように、術前画像Ｐ２１と術野画像Ｐ２２が横に並べられて表示される場合、仮想空間ＶＷにおいて、奥行きガイドがそれぞれ重畳された術前画像Ｐ２１と術野画像Ｐ２２は、１つの仮想プレート上に投影されて表示される。As shown in FIG. 9, when the preoperative image P21 and the operative field image P22 are displayed side-by-side, in the virtual space VW, the preoperative image P21 and the operative field image P22, each with a depth guide superimposed thereon, are projected and displayed on a single virtual plate.

　図１０は、表示装置４００の表示面４１２の変形例を示す図である。FIG. 10 shows a modified example of thedisplay surface 412 of thedisplay device 400.

　表示装置４００は、図１０に示すように、例えば、表示面４１２が実空間における水平面に対して垂直になるように配置されてもよい。As shown in FIG. 10, thedisplay device 400 may be arranged, for example, so that thedisplay surface 412 is perpendicular to a horizontal plane in real space.

　図１１は、奥行きガイドの他の例を示す図である。Figure 11 shows another example of a depth guide.

　説明を簡単にするため、ここでは、奥行きガイドが２つの矩形により構成されるとする。図１１の例では、奥行きガイドＧ１は、２つの矩形を手前側の面（フレームＦ１）と奥側の面（フレームＦ２）とし、各頂点に球が付された立方体として構成される。仮想空間において、術野画像Ｐ３１は、奥行きガイドＧ１（立方体）の中に配置される。For ease of explanation, it is assumed here that the depth guide is composed of two rectangles. In the example of FIG. 11, the depth guide G1 is composed of two rectangles, the front face (frame F1) and the back face (frame F2), and is composed of a cube with spheres attached to each vertex. In the virtual space, the surgical field image P31 is placed inside the depth guide G1 (cube).

　図１２は、奥行きガイドの見え方の例を説明する図である。Figure 12 is a diagram that explains an example of how the depth guide appears.

　図１２のＡに示すように、奥行きガイドＧ１の中に、術野画像Ｐ３１の被写体Ｏｂｊ１が仮想的に配置され、奥行きガイドＧ１が画角いっぱいに映るように術野画像Ｐ３１が撮影されるとする。As shown in A of FIG. 12, the subject Obj1 of the surgical field image P31 is virtually placed within the depth guide G1, and the surgical field image P31 is captured so that the depth guide G1 fills the entire angle of view.

　例えば、画角が60度であるような視位置Ｅ１で撮影された撮影画像は図１２のＢに示すようになり、画角が30度であるような視位置Ｅ２で撮影された撮影画像は図１２のＣに示すようになる。For example, an image captured at a viewing position E1 where the angle of view is 60 degrees will look like the image shown in FIG. 12B, and an image captured at a viewing position E2 where the angle of view is 30 degrees will look like the image shown in FIG. 12C.

　画角が60度である場合の撮影画像と比較すると、画角が30度である場合の撮影画像においては、奥側のフレームＦ２がより手前側にあるように見える。言い換えると、フレームＦ１とフレームＦ２の間隔がより狭く見える。さらに言い換えると、フレームＦ２のサイズがより大きく見える。Compared to the image captured with a 60-degree angle of view, in the image captured with a 30-degree angle of view, frame F2 at the back appears to be closer to the front. In other words, the distance between frames F1 and F2 appears narrower. In other words, the size of frame F2 appears larger.

　このように、画角によって奥行きガイドＧ１の見え方は異なる。また、被写体Ｏｂｊ１の見え方も画角によって異なる。In this way, the appearance of the depth guide G1 differs depending on the angle of view. The appearance of the subject Obj1 also differs depending on the angle of view.

　次に、図１３のフローチャートを参照して、以上のような構成を有する情報処理装置１０１が行う処理について説明する。ここでは、術野画像と術前画像の取得、操作内容の取得、および、ユーザの視位置の検出は適宜行われる。Next, the processing performed by theinformation processing device 101 having the above configuration will be described with reference to the flowchart in FIG. 13. Here, acquisition of surgical field images and preoperative images, acquisition of operation details, and detection of the user's viewing position are performed as appropriate.

　説明を簡単にするため、ユーザは表示装置４００の表示面４１２に正対していて、仮想プレートは表示面４１２上に配置されるとする。言い換えると、左目用画像と右目用画像の奥行きガイドが映る領域以外の領域は略同じ画像になる。For ease of explanation, it is assumed that the user faces thedisplay surface 412 of thedisplay device 400, and the virtual plate is placed on thedisplay surface 412. In other words, the areas of the left eye image and the right eye image other than the area where the depth guide is displayed are approximately the same image.

　ステップＳ１において、3D画像生成部１１４は、術野画像を所定の大きさで仮想空間内に配置する。具体的には、図１４のＡに示すように、仮想空間内に配置された仮想プレートＰ７１上に、例えば画角が60度である場合の術野画像Ｐ４１が投影される。In step S1, the 3Dimage generating unit 114 places the operative field image in a virtual space at a predetermined size. Specifically, as shown in A of FIG. 14, a operative field image P41 with a field angle of, for example, 60 degrees is projected onto a virtual plate P71 placed in the virtual space.

　ステップＳ２において、3D画像生成部１１４は、術野画像に対して、撮影装置６１１の焦点距離と画角に基づいて調整された奥行きガイドを重畳する。例えば、図１４のＢに示すように、術野画像Ｐ４１に対して、60度の画角に対応する奥行きガイドＧ１１が重畳される。In step S2, the 3Dimage generating unit 114 superimposes a depth guide, adjusted based on the focal length and angle of view of theimaging device 611, on the surgical field image. For example, as shown in FIG. 14B, a depth guide G11 corresponding to a 60-degree angle of view is superimposed on the surgical field image P41.

　ステップＳ３において、3D画像生成部１１４は、仮想空間内に術前画像を配置する。例えば、図１５のＣに示すように、ユーザの視位置から見て術野画像Ｐ４１の左側に、術前画像Ｐ４２が配置される。なお、術前画像Ｐ４２には、奥行きガイドＧ１２があらかじめ重畳されている。In step S3, the3D image generator 114 places the preoperative image in the virtual space. For example, as shown in FIG. 15C, the preoperative image P42 is placed to the left of the surgical field image P41 as viewed from the user's viewing position. Note that a depth guide G12 is superimposed on the preoperative image P42.

　ステップＳ４において、3D画像生成部１１４は、術野画像に重畳された奥行きガイドと術前画像に重畳された奥行きガイドが一致するように、術前画像の視位置、画角、およびサイズを調整する。例えば、図１５のＤに示すように、術前画像Ｐ４２と奥行きガイドＧ１２の見え方が、撮影装置６１１の視位置と同様の視位置から60度の画角の仮想カメラで生体の3Dモデルを撮影したときの見え方になるように調整される。In step S4, the3D image generator 114 adjusts the viewing position, angle of view, and size of the preoperative image so that the depth guide superimposed on the surgical field image matches the depth guide superimposed on the preoperative image. For example, as shown in FIG. 15D, the appearance of the preoperative image P42 and depth guide G12 are adjusted so that they appear as they would appear when a 3D model of a living body is photographed with a virtual camera with a 60-degree angle of view from a viewing position similar to that of theimaging device 611.

　図１６は、画角が異なる術前画像における3Dモデルと奥行きガイドの見え方の例を示す図である。Figure 16 shows examples of how the 3D model and depth guide appear in preoperative images with different angles of view.

　図１６の例では、画角が30度、40度、50度、および60度である場合の術前画像における生体の3Dモデルと奥行きガイドの見え方が示されている。画角が大きくなるほど、奥行きガイドの奥側のフレームがより奥側にあるように見える。また、画角によって生体の3Dモデルの見え方が異なる。The example in Figure 16 shows how the 3D model of the living body and the depth guide appear in preoperative images when the angle of view is 30 degrees, 40 degrees, 50 degrees, and 60 degrees. The larger the angle of view, the further back the frame on the back side of the depth guide appears to be. Also, the appearance of the 3D model of the living body differs depending on the angle of view.

　図１７は、術野画像のサイズの調整方法を説明する図である。Figure 17 is a diagram explaining how to adjust the size of the surgical field image.

　図１７のＡに示すように、例えば、術野画像Ｐ４１が撮影される際、被写体とともに、被写体のサイズ感を示す目盛りであるスケールＳｃ１が撮影される。As shown in A of FIG. 17, for example, when an operative field image P41 is captured, a scale Sc1, which is a scale indicating the size of the subject, is captured together with the subject.

　図１７のＢに示すように、術前画像Ｐ４２が撮影される際も同様に、生体の3Dモデルとともに、3Dモデルのサイズ感を示す目盛りであるスケールＳｃ２が撮影される。スケールＳｃ１とスケールＳｃ２が同じになるように術前画像Ｐ４２のサイズを調整することで、術野画像Ｐ４１に映る被写体のサイズ感と、術前画像Ｐ４２に映る3Dモデルのサイズ感を一致させることができる。As shown in FIG. 17B, when the preoperative image P42 is captured, the scale Sc2, which is a scale indicating the size of the 3D model, is also captured together with the 3D model of the living body. By adjusting the size of the preoperative image P42 so that the scale Sc1 and the scale Sc2 are the same, the size of the subject shown in the surgical field image P41 and the size of the 3D model shown in the preoperative image P42 can be made to match.

　図１３に戻り、ステップＳ５において、情報処理装置１０１は、術野画像と術前画像を左右（横）に並べて表示するか否かを判定する。術野画像と術前画像を左右に並べて表示するか否かは、例えばユーザによる操作に応じて切り替えられる。Returning to FIG. 13, in step S5, theinformation processing device 101 determines whether or not to display the operative field image and the preoperative image side by side (horizontally). Whether or not to display the operative field image and the preoperative image side by side can be switched in response to, for example, an operation by the user.

　術野画像と術前画像を左右に並べて表示するとステップＳ５において判定された場合、処理はステップＳ６に進む。ステップＳ６において、3D画像生成部１１４は、実写画像と術前画像が仮想プレート上に並べられた状態でレンダリングを行って左目用画像と右目用画像を生成し、出力制御部１１５は、実写画像と術前画像を並べて表示装置４００に表示させる。If it is determined in step S5 that the surgical field image and the preoperative image are to be displayed side-by-side, the process proceeds to step S6. In step S6, the 3Dimage generating unit 114 performs rendering with the real-life image and the preoperative image arranged side-by-side on the virtual plate to generate an image for the left eye and an image for the right eye, and theoutput control unit 115 causes thedisplay device 400 to display the real-life image and the preoperative image side-by-side.

　一方、術野画像と術前画像を左右に並べて表示しないとステップＳ５において判定された場合、処理はステップＳ７に進む。ステップＳ７において、3D画像生成部１１４は、実写画像と術前画像をアルファブレンドなどにより合成した画像を仮想プレート上に投影した状態でレンダリングを行って左目用画像と右目用画像を生成し、出力制御部１１５は、実写画像と術前画像を重畳して表示装置４００に表示させる。On the other hand, if it is determined in step S5 that the surgical field image and the preoperative image are not to be displayed side-by-side, the process proceeds to step S7. In step S7, the 3Dimage generating unit 114 generates an image for the left eye and an image for the right eye by rendering an image obtained by combining the real-life image and the preoperative image using alpha blending or the like and projecting the image onto the virtual plate, and theoutput control unit 115 superimposes the real-life image and the preoperative image and displays them on thedisplay device 400.

　図１８は、術野画像と術前画像の重畳表示の例を示す図である。Figure 18 shows an example of a superimposed display of a surgical field image and a preoperative image.

　術野画像に重畳される奥行きガイドと術前画像に重畳される奥行きガイドとが一致するように術前画像が調整されているため、図１８のＡに示すように、被写体と3Dモデルのサイズ感や向きが合っている。なお、図１８のＡの例では、画角が60度である場合の術野画像と術前画像が重畳されている。The preoperative image has been adjusted so that the depth guide superimposed on the surgical field image matches the depth guide superimposed on the preoperative image, so the size and orientation of the subject and 3D model match, as shown in Figure 18A. Note that in the example of Figure 18A, the surgical field image and preoperative image are superimposed when the angle of view is 60 degrees.

　術野画像と術前画像が重畳されて表示されることで、ユーザは、術野画像に映る被写体と術前画像に映る3Dモデルを直接的に比較することが可能となる。By displaying the surgical field image and the preoperative image superimposed on each other, users can directly compare the subject shown in the surgical field image with the 3D model shown in the preoperative image.

　一方、術前画像が調整されないままで術野画像と術前画像が重畳されると、図１８のＢに示すように、術野画像に重畳される奥行きガイドと術前画像に重畳される奥行きガイドとがずれていて、被写体と3Dモデルのサイズ感や向きも合っていない。On the other hand, if the surgical field image and the preoperative image are superimposed without adjusting the preoperative image, as shown in Figure 18B, the depth guide superimposed on the surgical field image and the depth guide superimposed on the preoperative image will be misaligned, and the size and orientation of the subject and the 3D model will not match.

　図１９は、画角が30度である場合の術野画像と術前画像の表示例を示す図である。Figure 19 shows an example of the display of a surgical field image and a preoperative image when the angle of view is 30 degrees.

　図１９のＡの例では、画角が30度である場合の術野画像Ｐ４１と術前画像Ｐ４２が左右に並べられて表示されている。図１９のＢの例では、画角が30度である場合の術野画像と術前画像が重畳されて表示されている。In the example of FIG. 19A, an operative field image P41 and a preoperative image P42 with a 30 degree angle of view are displayed side by side. In the example of FIG. 19B, an operative field image and a preoperative image with a 30 degree angle of view are displayed superimposed on each other.

　以上のように、本技術の情報処理装置においては、術野画像に付加された奥行きガイド（第１のガイド）と、術前画像に付加された奥行きガイド（第２のガイド）とに基づいて術前画像が調整され、術野画像と術前画像とを表示装置４００に表示させるための表示画像が生成される。ユーザは、表示装置４００の表示を見て、画角などによる見え方が最適化された術前画像を術野画像と比較することで、術野に含まれる生体の形状や位置を正しく認識することが可能となる。As described above, in the information processing device of the present technology, the preoperative image is adjusted based on the depth guide (first guide) added to the operative field image and the depth guide (second guide) added to the preoperative image, and a display image is generated for displaying the operative field image and the preoperative image on thedisplay device 400. By looking at the display on thedisplay device 400 and comparing the preoperative image, whose appearance has been optimized based on the angle of view, etc., with the operative field image, the user is able to correctly recognize the shape and position of the living body contained in the operative field.

　したがって、ユーザは、術前画像と術野画像を見ながら、精緻な手術や治療を効率よく行うことができる。精緻な手術や治療が効率よく行われるため、手術や治療にかかる時間が短くなり、患者の負荷を軽減することができる。また、手術室の効率的利用、術者の時間工数の削減などの効果が期待できる。As a result, users can efficiently perform sophisticated surgeries and treatments while viewing preoperative images and surgical field images. Because sophisticated surgeries and treatments can be performed efficiently, the time required for surgery and treatment is shortened, reducing the burden on patients. Other benefits include more efficient use of operating rooms and reduced time and labor required by surgeons.

　カテーテルなどを用いたIVR手術などを行う場合においては、術野画像としての血管造影透視画像などと術前画像を比較することで、ユーザは、直観的に手術を行うことが可能となる。これにより、患者のＸ線の被爆時間を短縮することができ、患者にかかる負荷を低減することができる。When performing IVR surgery using catheters, etc., users can intuitively perform surgery by comparing preoperative images with angiographic fluoroscopic images, etc., which serve as surgical field images. This can shorten the time that patients are exposed to X-rays, and reduce the burden on patients.

　図２０は、ある視点から見た場合の奥行きガイドを構成する各フレームのサイズの見え方を説明する図である。Figure 20 is a diagram that explains how the size of each frame that makes up the depth guide appears when viewed from a certain viewpoint.

　図２０においては、奥行きガイドは、４つのフレームＦ１１からＦ１４が一定の間隔Ｄで奥行き方向に並んで配置されるようにして構成されるとする。４つのフレームＦ１１からＦ１４のうち、最も手前に配置されるフレームＦ１１が画角いっぱいに撮影されるような視位置Ｅ２１から撮影が行われると、撮影画像においては、視位置Ｅ２１から離れたフレームほど小さく映る。In FIG. 20, the depth guide is configured such that four frames F11 to F14 are arranged in a line in the depth direction at a fixed interval D. When shooting is performed from a viewing position E21 such that the frame F11, which is arranged in the foreground among the four frames F11 to F14, is shot to fill the angle of view, the frames farther away from the viewing position E21 will appear smaller in the shot image.

　撮影画像に映るフレームＦ１１の縮小比を１とする（撮影画像に映るフレームＦ１１のサイズを基準とする）と、フレームＦ１２の縮小比は、L／(L＋2・D・tan(θ／2))で示される。θは画角を示し、Ｌは左右幅を示す。また、撮影画像に映るフレームＦ１３の縮小比は、L／(L＋4・D・tan(θ／2))で示され、フレームＦ１４の縮小比は、L／(L＋6・D・tan(θ／2))で示される。各フレームの縮小比に対して、視位置Ｅ２１とフレームＦ１１の間の距離ｘは寄与しない。If the reduction ratio of frame F11 in the captured image is 1 (based on the size of frame F11 in the captured image), the reduction ratio of frame F12 is expressed as L/(L + 2 D tan(θ/2)). θ indicates the angle of view, and L indicates the left-right width. The reduction ratio of frame F13 in the captured image is expressed as L/(L + 4 D tan(θ/2)), and the reduction ratio of frame F14 is expressed as L/(L + 6 D tan(θ/2)). The distance x between viewing position E21 and frame F11 does not contribute to the reduction ratio of each frame.

　θ＝30度、Ｄ＝Ｌとすると、撮影画像に映るフレームＦ１２の縮小比は0.65、フレームＦ１３の縮小比は0.48、フレームＦ１４の縮小比は0.38になる。If θ = 30 degrees and D = L, the reduction ratio of frame F12 in the captured image will be 0.65, the reduction ratio of frame F13 will be 0.48, and the reduction ratio of frame F14 will be 0.38.

　図２１と図２２は、ある画角で撮影した場合の奥行きガイドを構成する各フレームのサイズの見え方を説明する図である。Figures 21 and 22 are diagrams that explain how the size of each frame that makes up the depth guide appears when shooting at a certain angle of view.

　図２１に示すように、フレームＦ１２が画角いっぱいに撮影されるような画角αで視位置Ｅ２１から撮影が行われる場合、撮影画像に映るフレームＦ１２の縮小比を１とする（撮影画像に映るフレームＦ１２のサイズを基準とする）と、フレームＦ１３の縮小比は、L／(L＋2・D・tan(α／2))で示され、フレームＦ１４の縮小比は、L／(L＋4・D・tan(α／2))で示される。As shown in FIG. 21, when shooting is performed from viewing position E21 with an angle of view α such that frame F12 is captured to fill the entire angle of view, if the reduction ratio of frame F12 in the captured image is 1 (based on the size of frame F12 in the captured image), the reduction ratio of frame F13 is expressed as L/(L+2·D·tan(α/2)), and the reduction ratio of frame F14 is expressed as L/(L+4·D·tan(α/2)).

　また、画角αは、2・arctan(tan(θ／2)／(1＋2・tan(θ／2)))で示される。The angle of view α is expressed as 2 arctan(tan(θ/2)/(1+2 tan(θ/2))).

　α＝19.5度とすると、図２２の左側に示すように、画角αで撮影された撮影画像に映るフレームＦ１３の縮小比は0.74、フレームＦ１４の縮小比は0.59になる。If α = 19.5 degrees, then as shown on the left side of Figure 22, the reduction ratio of frame F13 in the image captured with the angle of view α is 0.74, and the reduction ratio of frame F14 is 0.59.

　フレームＦ１１を基準とするフレームＦ１３の縮小比をフレームＦ１２を基準とする縮小比に変換する（0.48を0.65で除算する）と、0.74になる。フレームＦ１１を基準とするフレームＦ１４の縮小比をフレームＦ１２を基準とする縮小比に変換する（0.38を0.65で除算する）と、0.59になる。When the reduction ratio of frame F13 based on frame F11 is converted to a reduction ratio based on frame F12 (0.48 divided by 0.65), the result is 0.74. When the reduction ratio of frame F14 based on frame F11 is converted to a reduction ratio based on frame F12 (0.38 divided by 0.65), the result is 0.59.

　したがって、画角αで撮影された画像、および、画角θで撮影された撮影画像からフレームＦ１２が画角いっぱいになるようにクロップした画像は同じ画像になる。Therefore, the image captured with the angle of view α and the image captured with the angle of view θ cropped so that frame F12 fills the entire angle of view will be the same image.

　一般的に、人間は、120度程度の画角で視野を捉えながら、47度程度の画角の領域をクロップして見たり、さらに狭い領域を集中して見たりしている。人間の視野角（画角）は、焦点距離が10～12mm程度(35mm換算）の超広角レンズに例えられるが、視野の一部分の領域のみが重点的に処理されるため、人間が実際に見ている視野角は、焦点距離が50mm(35mm換算）のレンズに相当する。Generally, humans see an image with an angle of view of about 120 degrees, cropping an area with an angle of view of about 47 degrees, or concentrating on an even narrower area. The human field of view (angle of view) can be compared to an ultra-wide-angle lens with a focal length of about 10-12mm (35mm equivalent), but because only a portion of the field of view is focused on, the field of view that humans actually see is equivalent to a lens with a focal length of 50mm (35mm equivalent).

＜３．変形例＞
　互いに視差を有する一対の術野画像がユーザの左目と右目にそれぞれ届けられる術野3D画像や、互いに視差を有する一対の術前画像がユーザの左目と右目にそれぞれ届けられる術前3D画像が表示されるようにしてもよい。術野3D画像は、撮影装置６１１としての例えばステレオカメラで術野を撮影することで得られる画像である。なお、術前3D画像と2D画像の術野画像とが表示されるようにしてもよい。3. Modifications
A 3D surgical field image in which a pair of surgical field images having a parallax between each other are delivered to the left eye and the right eye of the user, respectively, or a preoperative 3D image in which a pair of preoperative images having a parallax between each other are delivered to the left eye and the right eye of the user, respectively, may be displayed. The 3D surgical field image is an image obtained by photographing the surgical field with, for example, a stereo camera as theimaging device 611. Note that a preoperative 3D image and a 2D surgical field image may be displayed.

　ステレオカメラは、例えば被写体に向かって左側に配置される左カメラと、被写体に向かって右側に配置される右カメラとにより構成される。例えば、左カメラにより撮影された撮影画像が左目用画像として表示され、右カメラにより撮影された撮影画像が右目用画像として表示されることで、ユーザにとっては術野が立体的に見える。A stereo camera is composed of, for example, a left camera placed on the left side of the subject, and a right camera placed on the right side of the subject. For example, the image captured by the left camera is displayed as an image for the left eye, and the image captured by the right camera is displayed as an image for the right eye, so that the surgical field appears three-dimensional to the user.

　図２３のフローチャートを参照して、術野3D画像と術前3D画像を表示する場合の情報処理装置１０１が行う処理について説明する。ここでは、術野画像と術前画像の取得、操作内容の取得、および、ユーザの視位置の検出は適宜行われる。The process performed by theinformation processing device 101 when displaying a 3D operative field image and a preoperative 3D image will be described with reference to the flowchart in FIG. 23. Here, acquisition of the operative field image and the preoperative image, acquisition of the operation content, and detection of the user's viewing position are performed appropriately.

　説明を簡単にするため、ユーザは表示装置４００の表示面４１２に正対していて、仮想プレートは表示面４１２上に配置されるとする。言い換えると、左目用画像と右目用画像の術野3D画像、術前3D画像、および奥行きガイドが映る領域以外の領域は略同じ画像になる。For ease of explanation, it is assumed that the user faces thedisplay surface 412 of thedisplay device 400, and the virtual plate is placed on thedisplay surface 412. In other words, the left-eye image and right-eye image are approximately the same image in areas other than the surgical field 3D image, the preoperative 3D image, and the area where the depth guide is displayed.

　ステップＳ２１において、3D画像生成部１１４は、術野3D画像を所定の大きさで仮想空間内に配置する。具体的には、図２４のＡに示すように、仮想空間内に配置された仮想プレートＰ１５１上に、術野3D画像Ｐ１０１が投影される。In step S21, the 3Dimage generating unit 114 places the operative field 3D image in a predetermined size in the virtual space. Specifically, as shown in A of FIG. 24, the operative field 3D image P101 is projected onto a virtual plate P151 placed in the virtual space.

　図２４のＡにおいて吹き出しで示すように、ユーザに提示される左目用画像においては、ステレオカメラの左カメラにより撮影された2D画像の術野画像Ｐ１０１Ｌが仮想プレート上に投影される。ユーザに提示される右目用画像においては、ステレオカメラの右カメラにより撮影された2Dの術野画像Ｐ１０１Ｒが仮想プレート上に投影される。術野画像Ｐ１０１Ｌと術野画像Ｐ１０１Ｒは、ステレオカメラの輻輳角に基づく視差を有する。As shown in the speech bubble in A of Figure 24, in the left eye image presented to the user, a 2D surgical field image P101L captured by the left camera of the stereo camera is projected onto the virtual plate. In the right eye image presented to the user, a 2D surgical field image P101R captured by the right camera of the stereo camera is projected onto the virtual plate. The surgical field images P101L and P101R have a parallax based on the convergence angle of the stereo cameras.

　ステップＳ２２において、3D画像生成部１１４は、術野3D画像に対して、ステレオカメラの焦点距離と画角に基づいて調整された奥行きガイドを重畳する。例えば、図２４のＢに示すように、術野3D画像Ｐ１０１に対して、立体視が可能な奥行きガイドＧ１０１が重畳される。奥行きガイドＧ１０１が重畳されることで、ユーザにとっては、術野3D画像Ｐ１０１に映る被写体の奥行き感が正しく認識しやすくなる。In step S22, the 3Dimage generating unit 114 superimposes a depth guide, adjusted based on the focal length and angle of view of the stereo camera, onto the operative field 3D image. For example, as shown in FIG. 24B, a depth guide G101 that enables stereoscopic viewing is superimposed onto the operative field 3D image P101. By superimposing the depth guide G101, it becomes easier for the user to correctly recognize the sense of depth of the subject shown in the operative field 3D image P101.

　図２４のＢにおいて吹き出しで示すように、ユーザに提示される左目用画像と右目用画像においては、術野画像Ｐ１０１Ｌと術野画像Ｐ１０１Ｒそれぞれに対して、ステレオカメラの輻輳角に基づく視差を持たせた奥行きガイドＧ１０１Ｌまたは奥行きガイドＧ１０１Ｒが重畳される。As shown in the speech bubble in FIG. 24B, in the left eye image and right eye image presented to the user, a depth guide G101L or depth guide G101R with parallax based on the convergence angle of the stereo camera is superimposed on the surgical field image P101L or surgical field image P101R, respectively.

　ステップＳ２３において、3D画像生成部１１４は、仮想空間内に術前3D画像を配置する。例えば、図２５のＡに示すように、ユーザの視位置から見て術野3D画像Ｐ１０１の左側に、術前3D画像Ｐ１０２が配置される。なお、術前3D画像Ｐ１０２には、立体視が可能な奥行きガイドＧ１０２があらかじめ重畳されている。In step S23, the 3Dimage generating unit 114 places the preoperative 3D image in the virtual space. For example, as shown in A of FIG. 25, the preoperative 3D image P102 is placed to the left of the surgical field 3D image P101 as viewed from the user's viewing position. Note that a depth guide G102 that allows stereoscopic viewing is superimposed in advance on the preoperative 3D image P102.

　図２５のＡにおいて吹き出しで示すように、ユーザに提示される左目用画像と右目用画像それぞれにおいては、例えば、ステレオカメラの輻輳角に基づく視差を持たせた2D画像の術前画像Ｐ１０２Ｌまたは2D画像の術前画像Ｐ１０２Ｒが配置される。また、ユーザに提示される左目用画像と右目用画像においては、術前画像Ｐ１０２Ｌと術前画像Ｐ１０２Ｒそれぞれに対して、ステレオカメラの輻輳角に基づく視差を持たせた奥行きガイドＧ１０２Ｌまたは奥行きガイドＧ１０２Ｒが重畳される。As shown in the speech bubble in A of FIG. 25, for example, a 2D preoperative image P102L or a 2D preoperative image P102R with parallax based on the convergence angle of the stereo camera is placed on each of the left-eye and right-eye images presented to the user. Also, a depth guide G102L or a depth guide G102R with parallax based on the convergence angle of the stereo camera is superimposed on each of the left-eye and right-eye images presented to the user.

　ステップＳ２４において、3D画像生成部１１４は、術野3D画像に重畳された奥行きガイドと術前3D画像に重畳された奥行きガイドが一致するように、術前3D画像の視位置、画角、およびサイズを調整する。In step S24, the3D image generator 114 adjusts the viewing position, angle of view, and size of the preoperative 3D image so that the depth guide superimposed on the surgical field 3D image matches the depth guide superimposed on the preoperative 3D image.

　このように、ステップＳ２３とステップＳ２４においては、術野画像Ｐ１０１Ｌと術野画像Ｐ１０１Ｒの間の視差（輻輳角）、および、術前画像Ｐ１０２Ｌと術前画像Ｐ１０２Ｒの間の視差（輻輳角）が一致するように、術前画像Ｐ１０２Ｌと術前画像Ｐ１０２Ｒの視差が調整される。また、術野画像Ｐ１０１Ｌに重畳される奥行きガイドＧ１０１Ｌと術前画像Ｐ１０２Ｌに重畳される奥行きガイドＧ１０２Ｌとが一致するように、術前画像Ｐ１０２Ｌが調整される。さらに、術野画像Ｐ１０１Ｒに重畳される奥行きガイドＧ１０１Ｒと術前画像Ｐ１０２Ｒに重畳される奥行きガイドＧ１０２Ｒとが一致するように、術前画像Ｐ１０２Ｒが調整される。In this way, in steps S23 and S24, the parallax between the preoperative image P102L and the preoperative image P102R is adjusted so that the parallax (convergence angle) between the operative field image P101L and the operative field image P101R and the parallax (convergence angle) between the preoperative image P102L and the preoperative image P102R match. Also, the preoperative image P102L is adjusted so that the depth guide G101L superimposed on the operative field image P101L matches the depth guide G102L superimposed on the preoperative image P102L. Furthermore, the preoperative image P102R is adjusted so that the depth guide G101R superimposed on the operative field image P101R matches the depth guide G102R superimposed on the preoperative image P102R.

　したがって、図２５のＡに示すように、術野3D画像Ｐ１０１と術前3D画像Ｐ１０２の奥行き感が一致する。術野画像Ｐ１０１Ｌ'と術野画像Ｐ１０１Ｒ'の間の視差、および、術前画像Ｐ１０２Ｌ'と術前画像Ｐ１０２Ｒ'の間の視差が一致していない場合、図２５のＢにおいてハッチングを施して示すように、ユーザにとっては術前画像Ｐ１０２'の奥行きが歪んで見える。例えば、奥行きが伸びて見えたり、奥行きがつぶれて見えたり、奥行き感がずれて見えたりする。Therefore, as shown in A of Figure 25, the sense of depth of the operative field 3D image P101 and the preoperative 3D image P102 match. If the parallax between the operative field image P101L' and the operative field image P101R', and the parallax between the preoperative image P102L' and the preoperative image P102R' do not match, the depth of the preoperative image P102' will appear distorted to the user, as shown by hatching in B of Figure 25. For example, the depth may appear stretched or compressed, or the sense of depth may appear distorted.

　ステップＳ２５において、情報処理装置１０１は、術野3D画像と術前3D画像を左右に並べて表示するか否かを判定する。術野3D画像と術前3D画像を左右に並べて表示するか否かは、例えばユーザによる操作に応じて切り替えられる。In step S25, theinformation processing device 101 determines whether or not to display the operative field 3D image and the preoperative 3D image side by side. Whether or not to display the operative field 3D image and the preoperative 3D image side by side can be switched in response to, for example, an operation by the user.

　術野3D画像と術前3D画像を左右に並べて表示するとステップＳ２５において判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、3D画像生成部１１４は、実写3D画像と術前3D画像が並べられた状態でレンダリングを行って左目用画像と右目用画像を生成し、出力制御部１１５は、実写3D画像と術前3D画像を並べて表示装置４００に表示させる。If it is determined in step S25 that the surgical field 3D image and the preoperative 3D image are to be displayed side-by-side, processing proceeds to step S26. In step S26, the 3Dimage generation unit 114 performs rendering with the real-life 3D image and the preoperative 3D image side-by-side to generate an image for the left eye and an image for the right eye, and theoutput control unit 115 causes thedisplay device 400 to display the real-life 3D image and the preoperative 3D image side-by-side.

　一方、術野3D画像と術前3D画像を左右に並べて表示しないとステップＳ２５において判定された場合、処理はステップＳ２７に進む。ステップＳ２７において、3D画像生成部１１４は、実写3D画像と術前3D画像をアルファブレンドなどにより合成した状態でレンダリングを行って左目用画像と右目用画像を生成し、出力制御部１１５は、実写3D画像と術前3D画像を重畳して表示装置４００に表示させる。On the other hand, if it is determined in step S25 that the surgical field 3D image and the preoperative 3D image are not to be displayed side-by-side, processing proceeds to step S27. In step S27, the 3Dimage generation unit 114 generates an image for the left eye and an image for the right eye by rendering the real-life 3D image and the preoperative 3D image after combining them using alpha blending or the like, and theoutput control unit 115 superimposes the real-life 3D image and the preoperative 3D image and displays them on thedisplay device 400.

　図２６は、術野3D画像と術前3D画像の重畳表示の例を示す図である。Figure 26 shows an example of a superimposed display of a 3D surgical field image and a preoperative 3D image.

　術野3D画像を構成する２つの術野画像の間の視差と術前3D画像を構成する２つの術前画像の視差とが一致するように術前画像が調整されているため、図２６のＡの吹き出しで示すように、術野画像と術前画像がそれぞれ重畳された左目用画像Ｐ１１１Ｌと右目用画像Ｐ１１１Ｒのどちらにおいても、奥行きガイドが一致している。このような左目用画像Ｐ１１１Ｌと右目用画像Ｐ１１１Ｒが表示されると、ユーザにとっては、3D画像Ｐ１１１に映る被写体と3Dモデルのサイズ感や向きが合って見える。The preoperative images are adjusted so that the parallax between the two surgical field images that make up the surgical field 3D image matches the parallax between the two preoperative images that make up the preoperative 3D image, so that the depth guides match in both the left-eye image P111L and the right-eye image P111R in which the surgical field image and the preoperative image are superimposed, as shown in the speech bubble in Figure 26A. When such a left-eye image P111L and right-eye image P111R are displayed, the user sees the size and orientation of the subject and 3D model in the 3D image P111 match.

　術野3D画像と術前3D画像が重畳されて表示されることで、ユーザは、術野3D画像に映る被写体と術前3D画像に映る3Dモデルとを直接的に比較することが可能となる。By displaying the 3D surgical field image and the preoperative 3D image superimposed on each other, users can directly compare the subject shown in the 3D surgical field image with the 3D model shown in the preoperative 3D image.

　一方、２つの術野画像の間の視差と２つの術前画像の視差とが一致しないままで術野3D画像と術前3D画像が重畳されると、図２６のＢの吹き出しで示すように、術野画像と術前画像がそれぞれ重畳された左目用画像Ｐ１１１Ｌ'と右目用画像Ｐ１１１Ｒ'のどちらにおいても、術野画像の奥行きガイドと術前画像の奥行きガイドとがずれる。このような左目用画像Ｐ１１１Ｌ'と右目用画像Ｐ１１１Ｒ'が表示されると、ユーザにとっては、ハッチングを施して示すように、3D画像Ｐ１１１'の奥行きが歪んで見える。例えば、奥行きが伸びて見えたり、奥行きがつぶれて見えたり、奥行き感がずれて見えたりする。On the other hand, if the surgical field 3D image and the preoperative 3D image are superimposed without the parallax between the two surgical field images and the parallax between the two preoperative images matching, then as shown in the speech bubble in Figure 26B, the depth guide of the surgical field image and the depth guide of the preoperative image will be misaligned in both the left eye image P111L' and the right eye image P111R' in which the surgical field image and the preoperative image are respectively superimposed. When such a left eye image P111L' and right eye image P111R' are displayed, the depth of the 3D image P111' appears distorted to the user, as shown by the hatching. For example, the depth may appear stretched or compressed, or the sense of depth may appear distorted.

　図２７は、術野3D画像と術前3D画像の重畳表示の他の例を示す図である。Figure 27 shows another example of a superimposed display of a 3D surgical field image and a preoperative 3D image.

　図２７に示すように、奥行きガイドが重畳されていない術野3D画像と術前3D画像が重畳されて表示されてもよい。この場合、図２７の吹き出しで示すように、奥行きガイドが重畳されていない術野画像と術前画像がそれぞれ重畳された左目用画像と右目用画像が表示されることで、奥行きガイドが重畳されていない3D画像Ｐ１２１が表示される。As shown in FIG. 27, a 3D surgical field image without a superimposed depth guide and a preoperative 3D image may be displayed superimposed. In this case, as shown in the speech bubble in FIG. 27, a left-eye image and a right-eye image with the surgical field image without a superimposed depth guide and the preoperative image superimposed thereon are displayed, thereby displaying a 3D image P121 without a superimposed depth guide.

　奥行きガイドが重畳されていない3D画像Ｐ１２１が表示される場合、２つの術野画像の間の視差と２つの術前画像の間の視差とが一致するように術前画像の視差が調整されるとともに、術野画像に重畳された奥行きガイドと術前画像に重畳された奥行きガイドが一致するように術前画像が調整される。奥行きガイドに基づく術前画像が調整された後に、奥行きガイドが消された左目用画像と右目用画像が生成される。When a 3D image P121 without a depth guide superimposed thereon is displayed, the parallax of the preoperative image is adjusted so that the parallax between the two surgical field images matches the parallax between the two preoperative images, and the preoperative image is adjusted so that the depth guide superimposed on the surgical field image matches the depth guide superimposed on the preoperative image. After the preoperative image is adjusted based on the depth guide, a left eye image and a right eye image are generated with the depth guide removed.

　このように、術前3D画像を調整する際に、術野3D画像と術前3D画像それぞれに対して奥行きガイドが一時的に付加されてもよい。In this way, when adjusting the preoperative 3D image, depth guides may be temporarily added to both the surgical field 3D image and the preoperative 3D image.

　以上のように、ユーザは、画角などによる見え方が最適化された術前3D画像を術野3D画像と比較することで、術野に含まれる生体の形状や位置を容易に正しく認識することが可能となる。また、本技術の手術システムにおいては、輻輳角が一致した術野3D画像と術前3D画像が表示されるため、ユーザは、術野3D画像に映る被写体と術前3D画像に映る3Dモデルの奥行き感をより正しく認識することができる。As described above, by comparing the preoperative 3D image, in which the appearance is optimized based on the angle of view, etc., with the surgical field 3D image, the user can easily and correctly recognize the shape and position of the living body contained in the surgical field. Furthermore, in the surgical system using this technology, the surgical field 3D image and preoperative 3D image with matching convergence angles are displayed, so the user can more accurately recognize the sense of depth of the subject shown in the surgical field 3D image and the 3D model shown in the preoperative 3D image.

　図２８から図３１は、輻輳角による奥行きガイドの見え方の違いを説明する図である。Figures 28 to 31 are diagrams that explain how the appearance of the depth guide differs depending on the convergence angle.

　図２８から図３１においては、奥行きガイドは、４つのフレームＦ２１からＦ２４が一定の間隔で奥行き方向に並んで配置されるようにして構成されるとする。ここでは、４つのフレームＦ２１からＦ２４のうちのフレームＦ２２が、表示装置４００の表示面４１２上に仮想的に配置される。なお、表示面４１２上に輻輳点があるとする。In Figures 28 to 31, the depth guide is configured such that four frames F21 to F24 are arranged side by side at regular intervals in the depth direction. Here, frame F22 of the four frames F21 to F24 is virtually arranged on thedisplay surface 412 of thedisplay device 400. It is assumed that there is a convergence point on thedisplay surface 412.

　視位置Ｅ５１から見る場合、例えばフレームＦ１１は表示面４１２よりも手前側にあるため、左目用画像と右目用画像を比較すると、図２８の白抜き矢印＃１１の先に示すように、右目用画像内のフレームＦ１１の位置が、左目用画像内のフレームＦ１１の位置よりも左側に見える。一方、例えばフレームＦ１３は表示面４１２よりも奥側にあるため、左目用画像と右目用画像を比較すると、図２８の白抜き矢印＃１２の先に示すように、左目用画像内のフレームＦ１１の位置が、右目用画像内のフレームＦ１１の位置よりも左側に見える。When viewed from viewing position E51, for example, frame F11 is in front ofdisplay surface 412, so when comparing the left eye image with the right eye image, the position of frame F11 in the right eye image appears to the left of the position of frame F11 in the left eye image, as shown at the end ofhollow arrow #11 in FIG. 28. On the other hand, for example, frame F13 is behinddisplay surface 412, so when comparing the left eye image with the right eye image, the position of frame F11 in the left eye image appears to the left of the position of frame F11 in the right eye image, as shown at the end ofhollow arrow #12 in FIG. 28.

　したがって、図２９の左下側に示すように、左目用画像Ｐ２０１Ｌにおいては、フレームＦ１１の中心位置がフレームＦ１２の中心位置を基準として右側にずれて映り、フレームＦ１３とフレームＦ１４の中心位置がフレームＦ１２の中心位置を基準として左側にずれて映る。また、図２９の右下側に示すように、右目用画像Ｐ２０１Ｒにおいては、フレームＦ１１の中心位置がフレームＦ１２の中心位置を基準として左側にずれて映り、フレームＦ１３とフレームＦ１４の中心位置がフレームＦ１２の中心位置を基準として右側にずれて映る。As a result, as shown in the lower left of Figure 29, in the left-eye image P201L, the center position of frame F11 is shifted to the right based on the center position of frame F12, and the center positions of frames F13 and F14 are shifted to the left based on the center position of frame F12. Also, as shown in the lower right of Figure 29, in the right-eye image P201R, the center position of frame F11 is shifted to the left based on the center position of frame F12, and the center positions of frames F13 and F14 are shifted to the right based on the center position of frame F12.

　このような左目用画像Ｐ２０１Ｌと右目用画像Ｐ２０１Ｒが表示されることで、ユーザは、図２９の上側に示すような、視位置Ｅ５１から見た奥行きガイドを示す3D画像Ｐ２０１を見ることができる。By displaying such a left eye image P201L and a right eye image P201R, the user can see a 3D image P201 showing a depth guide as seen from a viewing position E51, as shown in the upper part of FIG. 29.

　次に、図２８を参照して説明した例での視位置と同じ視位置Ｅ５１から見るが、この例よりも輻輳角を大きくした場合の奥行きガイドの見え方について、図３０を参照して説明する。Next, referring to FIG. 30, we will explain how the depth guide appears when viewed from the same viewing position E51 as in the example described with reference to FIG. 28, but with a larger convergence angle than in this example.

　視位置Ｅ５１から見る場合、左目用画像と右目用画像を比較すると、図３０の白抜き矢印＃２１の先に示すように、右目用画像内のフレームＦ１１の位置は、左目用画像内のフレームＦ１１の位置よりも左側に見える。また、フレームＦ１１の視差量は、図２８の例におけるフレームＦ１１の視差量よりも大きい。When viewed from viewing position E51, comparing the left eye image and the right eye image, as shown at the tip ofwhite arrow #21 in FIG. 30, the position of frame F11 in the right eye image appears to the left of the position of frame F11 in the left eye image. Also, the amount of parallax of frame F11 is greater than the amount of parallax of frame F11 in the example of FIG. 28.

　一方、左目用画像と右目用画像を比較すると、図３０の白抜き矢印＃２２の先に示すように、左目用画像内の例えばフレームＦ１３の位置は、右目用画像内のフレームＦ１３の位置よりも左側に見える。また、フレームＦ１３の視差量も、図２８の例におけるフレームＦ１３の視差量よりも大きい。On the other hand, when comparing the left-eye image and the right-eye image, as shown at the tip of thewhite arrow #22 in FIG. 30, the position of frame F13, for example, in the left-eye image appears to be to the left of the position of frame F13 in the right-eye image. The amount of parallax of frame F13 is also greater than the amount of parallax of frame F13 in the example of FIG. 28.

　したがって、図３１の左下側に示すように、左目用画像Ｐ２０１Ｌにおいては、フレームＦ１１の中心位置がフレームＦ１２の中心位置を基準として、図３０の例よりもさらに右側にずれて映り、フレームＦ１３とフレームＦ１４の中心位置がフレームＦ１２の中心位置を基準として図３０の例よりもさらに左側にずれて映る。また、図３１の右下側に示すように、右目用画像Ｐ２０１Ｒにおいては、フレームＦ１１の中心位置がフレームＦ１２の中心位置を基準として図３０の例よりもさらに左側にずれて映り、フレームＦ１３とフレームＦ１４の中心位置がフレームＦ１２の中心位置を基準として図３０の例よりもさらに右側にずれて映る。Therefore, as shown in the lower left of Figure 31, in the left-eye image P201L, the center position of frame F11 is shifted further to the right than in the example of Figure 30, using the center position of frame F12 as the reference, and the center positions of frames F13 and F14 are shifted further to the left than in the example of Figure 30, using the center position of frame F12 as the reference. Also, as shown in the lower right of Figure 31, in the right-eye image P201R, the center position of frame F11 is shifted further to the left than in the example of Figure 30, using the center position of frame F12 as the reference, and the center positions of frames F13 and F14 are shifted further to the right than in the example of Figure 30, using the center position of frame F12 as the reference.

＜コンピュータについて＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。<About computers>
The above-mentioned series of processes can be executed by hardware or software. When the series of processes is executed by software, the program constituting the software is installed from a program recording medium into a computer incorporated in dedicated hardware, or into a general-purpose personal computer, etc.

　図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。FIG. 32 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes using a program.

　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。The CPU (Central Processing Unit) 1001, ROM (Read Only Memory) 1002, and RAM (Random Access Memory) 1003 are interconnected by abus 1004.

　バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。Further connected to thebus 1004 is an input/output interface 1005. Connected to the input/output interface 1005 are aninput unit 1006 consisting of a keyboard, mouse, etc., and anoutput unit 1007 consisting of a display, speakers, etc. Also connected to the input/output interface 1005 are astorage unit 1008 consisting of a hard disk or non-volatile memory, acommunication unit 1009 consisting of a network interface, etc., and adrive 1010 that drivesremovable media 1011.

　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。In a computer configured as described above, theCPU 1001, for example, loads a program stored in thestorage unit 1008 into theRAM 1003 via the input/output interface 1005 and thebus 1004, and executes the program, thereby performing the above-mentioned series of processes.

　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。The programs executed by theCPU 1001 are provided, for example, by being recorded onremovable media 1011, or via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and are installed in thestorage unit 1008.

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。The program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or a program in which processing is performed in parallel or at the required timing, such as when called.

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。In this specification, a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.

　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。The effects described in this specification are merely examples and are not limiting, and other effects may also exist.

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。The embodiment of this technology is not limited to the above-mentioned embodiment, and various modifications are possible without departing from the spirit of this technology.

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。For example, this technology can be configured as cloud computing, in which a single function is shared and processed collaboratively by multiple devices over a network.

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。In addition, each step described in the above flowchart can be executed by a single device, or can be shared and executed by multiple devices.

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。Furthermore, when a single step includes multiple processes, the processes included in that single step can be executed by a single device, or can be shared and executed by multiple devices.

＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。<Examples of configuration combinations>
The present technology can also be configured as follows.

（１）
　被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する画像生成部
　を備える情報処理装置。
（２）
　前記画像生成部は、前記第１のガイドと前記第２のガイドが一致するように前記CG画像を調整する
　前記（１）に記載の情報処理装置。
（３）
　前記実写画像は、患者の生体の少なくとも一部分が前記被写体として撮影された術野画像である
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記CG画像は、前記生体の少なくとも一部分の形状を示す前記3Dモデルを前記仮想カメラで撮影した画像である
　前記（３）に記載の情報処理装置。
（５）
　前記表示装置は、空間再現ディスプレイである
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記画像生成部は、前記実写画像と前記CG画像を、前記表示装置のユーザの視位置に正対するように仮想空間内に配置された仮想プレート上に投影し、前記仮想空間をレンダリングすることで前記表示画像を生成する
　前記（５）に記載の情報処理装置。
（７）
　前記画像生成部は、前記実写画像と前記CG画像を前記仮想プレート上に並べて投影する
　前記（６）に記載の情報処理装置。
（８）
　前記画像生成部は、前記実写画像と前記CG画像を重畳して前記仮想プレート上に投影する
　前記（６）に記載の情報処理装置。
（９）
　前記画像生成部は、前記第１のガイドと前記第２のガイドに基づいて、前記CG画像の焦点距離、画角、およびサイズのうちの少なくともいずれかを調整する
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記CG画像は、互いに視差を有する一対の画像が、前記表示装置のユーザの左目と右目にそれぞれ届けられる3D画像である
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１１）
　前記実写画像は、互いに視差を有する一対の画像が、前記ユーザの左目と右目にそれぞれ届けられる3D画像である
　前記（１０）に記載の情報処理装置。
（１２）
　前記画像生成部は、前記実写画像の輻輳角に基づいて前記CG画像の輻輳角を調整する
　前記（１１）に記載の情報処理装置。
（１３）
　前記画像生成部は、前記第１のガイドが重畳された前記実写画像と、前記第２のガイドが重畳された前記CG画像とを前記表示装置に表示させるための前記表示画像を生成する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記表示画像内に映る前記第１のガイドと前記第２のガイドは、多重の矩形が同心状に配置された形状を有する
　前記（１３）に記載の情報処理装置。
（１５）
　前記画像生成部は、前記第１のガイドと前記第２のガイドが重畳されていない前記実写画像と前記CG画像を前記表示装置に表示させるための前記表示画像を生成する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１６）
　被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像に奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、
　前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する
　情報処理方法。
（１７）
　コンピュータに、
　被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、
　前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する
　処理を実行させるためのプログラム。(1)
an information processing device comprising: an image generation unit that adjusts a CG image based on a first guide indicating the scale of the depth direction in a real-life image of a subject actually photographed by a photographing device and a second guide indicating the scale of the depth direction in a CG image of a 3D model photographed by a virtual camera, and generates a display image for displaying the real-life image and the CG image on a display device.
(2)
The information processing device according to (1), wherein the image generation unit adjusts the CG image so that the first guide and the second guide coincide with each other.
(3)
The information processing device according to (1) or (2), wherein the actual image is a surgical field image in which at least a part of a patient's living body is captured as the subject.
(4)
The information processing device according to (3), wherein the CG image is an image of the 3D model showing the shape of at least a part of the living body photographed by the virtual camera.
(5)
The information processing device according to any one of (1) to (4), wherein the display device is a spatial reproduction display.
(6)
The information processing device described in (5), wherein the image generation unit projects the real-life image and the CG image onto a virtual plate arranged in a virtual space so as to face directly against a viewing position of a user of the display device, and generates the display image by rendering the virtual space.
(7)
The information processing device according to (6), wherein the image generating unit projects the real image and the CG image side by side on the virtual plate.
(8)
The information processing device according to (6), wherein the image generating unit superimposes the real image and the CG image and projects them onto the virtual plate.
(9)
The information processing device described in any one of (1) to (8), wherein the image generation unit adjusts at least one of a focal length, an angle of view, and a size of the CG image based on the first guide and the second guide.
(10)
The information processing device according to any one of (1) to (8), wherein the CG image is a 3D image in which a pair of images having a parallax with respect to each other are delivered to the left eye and the right eye of a user of the display device, respectively.
(11)
The information processing device according to (10), wherein the real-life images are 3D images in which a pair of images having parallax with respect to each other are delivered to the left eye and right eye of the user, respectively.
(12)
The information processing device according to (11), wherein the image generation unit adjusts a convergence angle of the CG image based on a convergence angle of the real image.
(13)
The information processing device described in any of (1) to (12), wherein the image generation unit generates the display image for displaying on the display device the real-life image with the first guide superimposed thereon and the CG image with the second guide superimposed thereon.
(14)
The information processing device according to (13), wherein the first guide and the second guide shown in the display image have a shape in which multiple rectangles are arranged concentrically.
(15)
The information processing device described in any of (1) to (12), wherein the image generation unit generates the display image for displaying the real-life image and the CG image without the first guide and the second guide superimposed on the display device.
(16)
adjusting the CG image based on a first guide indicating a scale in the depth direction in a real-life image obtained by actually photographing a subject with a photographing device and a second guide indicating a scale in the depth direction in a CG image obtained by photographing a 3D model with a virtual camera;
an information processing method for generating a display image for displaying the real image and the CG image on a display device;
(17)
On the computer,
adjusting the CG image based on a first guide indicating a scale in the depth direction in a real-life image obtained by actually photographing a subject with a photographing device and a second guide indicating a scale in the depth direction in a CG image obtained by photographing a 3D model with a virtual camera;
A program for executing a process of generating a display image for displaying the real image and the CG image on a display device.

　１００　マスター装置，　１０１　情報処理装置，　１１１　キャプチャ部，　１１２　UI処理部，　１１３　視位置検出部，　１１４　3D画像生成部，　１１５　出力制御部，　４００　表示装置，　４１１　撮影装置，　４１２　表示面，　５００　スレーブ装置，　６１１　撮影装置100 Master device, 101 Information processing device, 111 Capture unit, 112 UI processing unit, 113 Viewing position detection unit, 114 3D image generation unit, 115 Output control unit, 400 Display device, 411 Shooting device, 412 Display surface, 500 Slave device, 611 Shooting device

Claims (17)

Translated fromJapanese

　被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行きの方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する画像生成部
　を備える情報処理装置。an information processing device comprising: an image generation unit that adjusts a CG image based on a first guide indicating a scale in the depth direction in a real-life image of a subject actually photographed by a photographing device, and a second guide indicating a scale in the depth direction in a CG image of a 3D model photographed by a virtual camera, and generates a display image for displaying the real-life image and the CG image on a display device.　前記画像生成部は、前記第１のガイドと前記第２のガイドが一致するように前記CG画像を調整する
　請求項１に記載の情報処理装置。The information processing device according to claim 1 , wherein the image generating section adjusts the CG image so that the first guide and the second guide coincide with each other.　前記実写画像は、患者の生体の少なくとも一部分が前記被写体として撮影された術野画像である
　請求項１に記載の情報処理装置。The information processing apparatus according to claim 1 , wherein the actual image is a surgical field image in which at least a part of a living body of a patient is photographed as the subject.　前記CG画像は、前記生体の少なくとも一部分の形状を示す前記3Dモデルを前記仮想カメラで撮影した画像である
　請求項３に記載の情報処理装置。The information processing device according to claim 3 , wherein the CG image is an image of the 3D model showing a shape of at least a part of the living body photographed by the virtual camera.　前記表示装置は、空間再現ディスプレイである
　請求項1に記載の情報処理装置。The information processing device according to claim 1 , wherein the display device is a spatial reproduction display.　前記画像生成部は、前記実写画像と前記CG画像を、前記表示装置のユーザの視位置に正対するように仮想空間内に配置された仮想プレート上に投影し、前記仮想空間をレンダリングすることで前記表示画像を生成する
　請求項５に記載の情報処理装置。The information processing device according to claim 5, wherein the image generation unit projects the real-life image and the CG image onto a virtual plate arranged in a virtual space so as to face a viewing position of a user of the display device, and generates the display image by rendering the virtual space.　前記画像生成部は、前記実写画像と前記CG画像を前記仮想プレート上に並べて投影する
　請求項６に記載の情報処理装置。The information processing device according to claim 6 , wherein the image generating section projects the real image and the CG image side by side on the virtual plate.　前記画像生成部は、前記実写画像と前記CG画像を重畳して前記仮想プレート上に投影する
　請求項６に記載の情報処理装置。The information processing device according to claim 6 , wherein the image generating section projects the real image and the CG image onto the virtual plate in a superimposed manner.　前記画像生成部は、前記第１のガイドと前記第２のガイドに基づいて、前記CG画像の焦点距離、画角、およびサイズのうちの少なくともいずれかを調整する
　請求項１に記載の情報処理装置。The information processing device according to claim 1 , wherein the image generating section adjusts at least one of a focal length, an angle of view, and a size of the CG image based on the first guide and the second guide.　前記CG画像は、互いに視差を有する一対の画像が、前記表示装置のユーザの左目と右目にそれぞれ届けられる3D画像である
　請求項１に記載の情報処理装置。The information processing device according to claim 1 , wherein the CG images are 3D images in which a pair of images having a parallax between each other are delivered to the left eye and the right eye of a user of the display device, respectively.　前記実写画像は、互いに視差を有する一対の画像が、前記ユーザの左目と右目にそれぞれ届けられる3D画像である
　請求項１０に記載の情報処理装置。The information processing device according to claim 10 , wherein the real-life images are 3D images in which a pair of images having a parallax with respect to each other are delivered to the left eye and the right eye of the user, respectively.　前記画像生成部は、前記実写画像の輻輳角に基づいて前記CG画像の輻輳角を調整する
　請求項１１に記載の情報処理装置。The information processing device according to claim 11 , wherein the image generating section adjusts a convergence angle of the CG image based on a convergence angle of the real image.　前記画像生成部は、前記第１のガイドが重畳された前記実写画像と、前記第２のガイドが重畳された前記CG画像とを前記表示装置に表示させるための前記表示画像を生成する
　請求項１に記載の情報処理装置。The information processing device according to claim 1 , wherein the image generation unit generates the display image for displaying, on the display device, the real-life image on which the first guide is superimposed and the CG image on which the second guide is superimposed.　前記表示画像内に映る前記第１のガイドと前記第２のガイドは、多重の矩形が同心状に配置された形状を有する
　請求項１３に記載の情報処理装置。The information processing device according to claim 13 , wherein the first guide and the second guide shown in the display image have a shape in which multiple rectangles are concentrically arranged.　前記画像生成部は、前記第１のガイドと前記第２のガイドが重畳されていない前記実写画像と前記CG画像を前記表示装置に表示させるための前記表示画像を生成する
　請求項１に記載の情報処理装置。The information processing device according to claim 1 , wherein the image generating unit generates the display image for displaying, on the display device, the real-life image and the CG image on which the first guide and the second guide are not superimposed.　被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、
　前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する
　情報処理方法。adjusting the CG image based on a first guide indicating a scale in the depth direction in a real-life image obtained by actually photographing a subject with a photographing device and a second guide indicating a scale in the depth direction in a CG image obtained by photographing a 3D model with a virtual camera;
an information processing method for generating a display image for displaying the real image and the CG image on a display device;　コンピュータに、
　被写体を撮影装置で実際に撮影した実写画像における奥行き方向のスケールを示す第１のガイドと、3Dモデルを仮想カメラで撮影したCG画像における奥行き方向のスケールを示す第２のガイドとに基づいて、前記CG画像を調整し、
　前記実写画像と前記CG画像とを表示装置に表示させるための表示画像を生成する
　処理を実行させるためのプログラム。On the computer,
adjusting the CG image based on a first guide indicating a scale in the depth direction in a real-life image obtained by actually photographing a subject with a photographing device and a second guide indicating a scale in the depth direction in a CG image obtained by photographing a 3D model with a virtual camera;
A program for executing a process of generating a display image for displaying the real image and the CG image on a display device.

Images