JP2024101879A - Information processing device - Google Patents

Abstract

Translated fromJapanese

【課題】焦点を合わせた深さからのずれが大きいときのぼやけを低減する。
【解決手段】制御部とライトフィールドディスプレイ１２とを含む情報処理装置１であって、制御部は、ライトフィールドディスプレイ１２を用いて対象を表示することと、撮像部により、表示された対象に対するユーザの視線又は顔の向きを検出することと、検出された視線又は顔の向きに対応するベクトルと、ユーザが見ている対象との衝突点の深さに焦点を合わせることと、を含む動作を実行する。
【選択図】図１

The present invention reduces blurring when there is a large deviation from the focused depth.
[Solution] An information processing device 1 including a control unit and a light field display 12, in which the control unit performs operations including displaying an object using the light field display 12, detecting the user's line of sight or facial direction toward the displayed object using an imaging unit, and focusing on a vector corresponding to the detected line of sight or facial direction and the depth of the point of collision between the object the user is looking at.
[Selected Figure] Figure 1

Description

Translated fromJapanese

本開示は、情報処理装置に関する。This disclosure relates to an information processing device.

従来、三次元画像をユーザに提示するために、ユーザの視線方向から注視点位置（衝突点）を検出し、注視点位置と提示画像の距離情報とに基づいて、注視点の距離（衝突点の深さ）にある物体について焦点を合わせた画像を生成し、注視点の距離と異なる距離にあるその他の物体については注視点の距離からの距離差に応じた焦点ぼけ処理を施した画像を提示する技術が知られている（例えば特許文献１）。Conventionally, in order to present a three-dimensional image to a user, a technology is known in which the position of the gaze point (collision point) is detected from the direction of the user's line of sight, and an image is generated in which an object at the distance of the gaze point (depth of the collision point) is focused based on the gaze point position and distance information of the presented image, and for other objects at distances different from the gaze point, an image is presented in which defocusing processing has been applied according to the difference in distance from the gaze point (for example, Patent Document 1).

特開2000-354257号公報JP 2000-354257 A

上記従来技術は、Ｚ軸方向の距離も使用して焦点を設定している。しかしＺ軸方向の距離を使用しない場合、対象焦点がディスプレイ上に設定される。このため、ピントが合わない範囲が存在する。特に、焦点を合わせた深さからのずれが大きいときにぼやけが存在する。The above conventional technology also uses the distance in the Z-axis direction to set the focus. However, if the distance in the Z-axis direction is not used, the object focus is set on the display. This results in a range where the image is out of focus. In particular, blurring occurs when there is a large deviation from the focused depth.

かかる事情に鑑みてなされた本開示の目的は、焦点を合わせた深さからのずれが大きいときのぼやけを低減することにある。In light of these circumstances, the purpose of this disclosure is to reduce blurring when there is a large deviation from the focused depth.

本開示の一実施形態に係る情報処理装置は、
制御部とライトフィールドディスプレイとを含む情報処理装置であって、前記制御部は、
前記ライトフィールドディスプレイを用いて対象を表示することと、
撮像部により、表示された前記対象に対するユーザの視線又は顔の向きを検出することと、
検出された前記視線又は前記顔の向きに対応するベクトルと、前記ユーザが見ている前記対象との衝突点の深さに焦点を合わせることと、
を含む動作を実行する。 An information processing device according to an embodiment of the present disclosure includes:
An information processing device including a control unit and a light field display, the control unit comprising:
displaying an object using the light field display; and
Detecting a line of sight or a facial direction of a user with respect to the displayed object by an imaging unit;
focusing on the depth of a collision point between a vector corresponding to the detected line of sight or face orientation and the object the user is looking at;
The operation includes:

本開示の一実施形態によれば、焦点を合わせた深さからのずれが大きいときのぼやけを低減することができる。According to one embodiment of the present disclosure, blurring can be reduced when there is a large deviation from the focused depth.

情報処理装置の概略図である。FIG. 1 is a schematic diagram of an information processing device.情報処理装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an information processing device.焦点の位置を示す図である。FIG.情報処理装置による動作を示すフローチャートを示す図である。FIG. 11 is a flowchart showing an operation of the information processing device.

図１は、本実施形態の情報処理装置１の概略図である。ユーザＰ１は方向Ａ１に、情報処理装置１のライトフィールドディスプレイ１２を視認する。ライトフィールドディスプレイ１２は、対象ＯＢを立体的に（すなわち３次元で）表示する。Figure 1 is a schematic diagram of an information processing device 1 according to this embodiment. A user P1 views thelight field display 12 of the information processing device 1 in a direction A1. Thelight field display 12 displays an object OB stereoscopically (i.e., three-dimensionally).

図２を参照して情報処理装置１の内部構成が詳細に説明される。The internal configuration of the information processing device 1 is described in detail with reference to FIG. 2.

情報処理装置１は、制御部１１とライトフィールドディスプレイ１２と記憶部１３と撮像部１４とを含む。情報処理装置１の各構成要素は、例えば専用線を介して互いに通信可能に接続される。The information processing device 1 includes acontrol unit 11, alight field display 12, astorage unit 13, and animaging unit 14. The components of the information processing device 1 are connected to each other so that they can communicate with each other, for example, via a dedicated line.

制御部１１は例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を含む１つ以上の汎用プロセッサを含む。制御部１１は、特定の処理に特化した１つ以上の専用プロセッサを含んでよい。制御部１１は、プロセッサを含む代わりに、１つ以上の専用回路を含んでもよい。専用回路は例えば、ＦＰＧＡ（Field-Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）であってよい。制御部１１は、ＥＣＵ（Electronic Control Unit）を含んでもよい。Thecontrol unit 11 includes, for example, one or more general-purpose processors including a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Thecontrol unit 11 may include one or more dedicated processors specialized for specific processing. Instead of including a processor, thecontrol unit 11 may include one or more dedicated circuits. The dedicated circuits may be, for example, an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit). Thecontrol unit 11 may include an ECU (Electronic Control Unit).

ライトフィールドディスプレイ１２は、対象ＯＢがあたかもライトフィールドディスプレイ１２上に実在するかのように、ユーザＰ１からの見る角度にかかわらず対象ＯＢを立体的に表示する。ライトフィールドディスプレイ１２は次の技術を利用する。
（１）リアルタイムでのセンシング（視線検出）技術
（２）リアルタイムでの光線レンダリング技術
（３）３Ｄディスプレイ技術 Thelight field display 12 displays the target OB three-dimensionally regardless of the viewing angle from the user P1, as if the target OB actually exists on thelight field display 12. Thelight field display 12 uses the following technology.
(1) Real-time sensing (gaze detection) technology (2) Real-time light rendering technology (3) 3D display technology

記憶部１３は、例えば半導体メモリ、磁気メモリ、光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれるが、これらに限られない。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１３は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１３は、制御部１１によって分析又は処理された結果の情報を記憶してよい。記憶部１３は、情報処理装置１の動作又は制御に関する各種情報等を記憶してよい。記憶部１３は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してよい。記憶部１３は情報処理装置１の外部に設けられて、情報処理装置１からアクセスされてよい。Thememory unit 13 includes, but is not limited to, for example, a semiconductor memory, a magnetic memory, an optical memory, or a combination of at least two of these. The semiconductor memory is, for example, a RAM or a ROM. The RAM is, for example, an SRAM or a DRAM. The ROM is, for example, an EEPROM. Thememory unit 13 may function, for example, as a main memory device, an auxiliary memory device, or a cache memory. Thememory unit 13 may store information resulting from analysis or processing by thecontrol unit 11. Thememory unit 13 may store various information related to the operation or control of the information processing device 1, etc. Thememory unit 13 may store system programs, application programs, embedded software, etc. Thememory unit 13 may be provided outside the information processing device 1 and accessed from the information processing device 1.

撮像部１４はカメラを含む。撮像部１４は周囲を撮像することができる。撮像部１４は画像解析のために、撮像した画像を記憶部１３に記録し又は制御部１１に送信してよい。画像は静止画又は動画を含む。Theimaging unit 14 includes a camera. Theimaging unit 14 can capture images of the surroundings. Theimaging unit 14 may record the captured images in thememory unit 13 or transmit them to thecontrol unit 11 for image analysis. The images include still images or videos.

本実施形態の情報処理装置１が実行する処理の概要が説明される。制御部１１は、ライトフィールドディスプレイ１２を用いて対象ＯＢを表示し、撮像部１４により、表示された対象ＯＢに対するユーザＰ１の視線又は顔の向きを検出し、検出された視線又は顔の向きに対応するベクトルと、ユーザＰ１が見ている対象ＯＢとの衝突点の深さに焦点を合わせる。この構成により情報処理装置１は、焦点を合わせた深さからのずれが大きいときのぼやけを低減することができる。The following describes an overview of the processing executed by the information processing device 1 of this embodiment. Thecontrol unit 11 displays a target OB using thelight field display 12, detects the line of sight or facial direction of the user P1 relative to the displayed target OB using theimaging unit 14, and focuses on the depth of the collision point between the vector corresponding to the detected line of sight or facial direction and the target OB that the user P1 is looking at. With this configuration, the information processing device 1 can reduce blurring when there is a large deviation from the focused depth.

以下、情報処理装置１において実行される情報処理方法が詳細に説明される。The information processing method executed by the information processing device 1 is described in detail below.

制御部１１は、ライトフィールドディスプレイ１２を用いて対象ＯＢを表示する。対象ＯＢの少なくとも一部は、ライトフィールドディスプレイ１２の表面とは異なる位置に立体的に表示される。Thecontrol unit 11 displays the target OB using thelight field display 12. At least a portion of the target OB is displayed three-dimensionally at a position different from the surface of thelight field display 12.

制御部１１は、撮像部１４により、表示された対象ＯＢに対するユーザＰ１の視線又は顔の向きを検出する。撮像部１４は例えば、RGB/IRカメラであってよい。撮像部１４は情報処理装置１に内蔵されてもよいし、外付けされてもよい。Thecontrol unit 11 detects the line of sight or the face direction of the user P1 with respect to the displayed target OB by theimaging unit 14. Theimaging unit 14 may be, for example, an RGB/IR camera. Theimaging unit 14 may be built into the information processing device 1 or may be externally attached.

制御部１１は、検出された視線又は顔の向きに対応するベクトルと、ユーザＰ１が見ている対象ＯＢとの衝突点の深さに焦点を合わせる。例えばユーザＰ１が図１の対象ＯＢ（ここでは車両）のフロントガラスを見ていれば、フロントガラスに焦点を合わせる。この場合、図３に示されるように、制御部１１はユーザＰ１の右目ＲＥ及び左目ＬＥの焦点Ｆを、ライトフィールドディスプレイ１２の表面とは異なる位置に設定する。Thecontrol unit 11 focuses on the depth of the collision point between the vector corresponding to the detected line of sight or face direction and the object OB that the user P1 is looking at. For example, if the user P1 is looking at the windshield of the object OB (here, a vehicle) in FIG. 1, thecontrol unit 11 focuses on the windshield. In this case, as shown in FIG. 3, thecontrol unit 11 sets the focal points F of the right eye RE and left eye LE of the user P1 to a position different from the surface of thelight field display 12.

図４を参照して、情報処理装置１による情報処理方法が説明される。The information processing method by the information processing device 1 is described with reference to Figure 4.

ステップＳ１にて制御部１１は、ライトフィールドディスプレイ１２を用いて対象ＯＢを表示する。ステップＳ２にて制御部１１は、撮像部１４により、表示された対象ＯＢに対するユーザＰ１の視線又は顔の向きを検出する。ステップＳ３にて制御部１１は、検出された視線又は顔の向きに対応するベクトルと、ユーザＰ１が見ている対象ＯＢとの衝突点の深さに焦点を合わせる。In step S1, thecontrol unit 11 displays the target OB using thelight field display 12. In step S2, thecontrol unit 11 detects the line of sight or facial direction of the user P1 relative to the displayed target OB using theimaging unit 14. In step S3, thecontrol unit 11 focuses on the depth of the collision point between the vector corresponding to the detected line of sight or facial direction and the target OB that the user P1 is looking at.

以上述べたように本実施形態によれば、制御部１１は、ライトフィールドディスプレイ１２を用いて対象ＯＢを表示し、撮像部１４により、表示された対象ＯＢに対するユーザＰ１の視線又は顔の向きを検出し、検出された視線又は顔の向きに対応するベクトルと、ユーザＰ１が見ている対象ＯＢとの衝突点の深さに焦点を合わせる。この構成により情報処理装置１は、焦点を合わせた深さからのずれが大きいときのぼやけを低減することができる。As described above, according to this embodiment, thecontrol unit 11 displays the target OB using thelight field display 12, detects the line of sight or facial direction of the user P1 relative to the displayed target OB using theimaging unit 14, and focuses on the depth of the collision point between the vector corresponding to the detected line of sight or facial direction and the target OB that the user P1 is looking at. With this configuration, the information processing device 1 can reduce blurring when there is a large deviation from the focused depth.

また本実施形態によれば、制御部１１の動作は、対象ＯＢをライトフィールドディスプレイ１２の表面とは異なる位置に表示することを含む。この構成により情報処理装置１は、対象ＯＢを立体的に表示することができる。Furthermore, according to this embodiment, the operation of thecontrol unit 11 includes displaying the target OB at a position different from the surface of thelight field display 12. With this configuration, the information processing device 1 can display the target OB three-dimensionally.

また本実施形態によれば、制御部１１の動作は、焦点をライトフィールドディスプレイ１２の表面とは異なる位置に設定することを含む。この構成により情報処理装置１は、適切な位置に焦点を合わせることができる。Furthermore, according to this embodiment, the operation of thecontrol unit 11 includes setting the focal point to a position different from the surface of thelight field display 12. This configuration allows the information processing device 1 to focus on an appropriate position.

本開示が諸図面及び実施例に基づき説明されるが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。例えば、各手段又は各ステップに含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップを１つに組み合わせたり、或いは分割したりすることが可能である。Although the present disclosure is described based on various drawings and examples, it should be noted that a person skilled in the art may make various modifications and alterations based on the present disclosure. Other modifications are possible without departing from the spirit of the present disclosure. For example, the functions included in each means or step can be rearranged so as not to cause logical inconsistencies, and multiple means or steps can be combined into one or divided.

例えば、上記の実施形態において、情報処理装置１の機能又は処理の全部又は一部を実行するプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（Digital Versatile Disc）又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムを任意のサーバのストレージに格納しておき、任意のサーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。本開示は、プロセッサが実行可能なプログラムとしても実現可能である。For example, in the above embodiment, a program that executes all or part of the functions or processes of the information processing device 1 can be recorded on a computer-readable recording medium. The computer-readable recording medium includes a non-transitory computer-readable medium, such as a magnetic recording device, an optical disk, a magneto-optical recording medium, or a semiconductor memory. The program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. The program may also be distributed by storing the program in the storage of an arbitrary server and transmitting the program from the arbitrary server to another computer. The program may also be provided as a program product. The present disclosure can also be realized as a program executable by a processor.

１ 情報処理装置1 Information processing device

Claims (4)

Translated fromJapanese

制御部とライトフィールドディスプレイとを含む情報処理装置であって、前記制御部は、
前記ライトフィールドディスプレイを用いて対象を表示することと、
撮像部により、表示された前記対象に対するユーザの視線又は顔の向きを検出することと、
検出された前記視線又は前記顔の向きに対応するベクトルと、前記ユーザが見ている前記対象との衝突点の深さに焦点を合わせることと、
を含む動作を実行する、情報処理装置。 An information processing device including a control unit and a light field display, the control unit comprising:
displaying an object using the light field display; and
Detecting a line of sight or a facial direction of a user with respect to the displayed object by an imaging unit;
focusing on the depth of a collision point between a vector corresponding to the detected line of sight or face orientation and the object the user is looking at;
An information processing device that performs operations including the steps of: 請求項１に記載の情報処理装置において、前記動作は、
前記対象を前記ライトフィールドディスプレイの表面とは異なる位置に表示することを含む、
情報処理装置。 2. The information processing device according to claim 1, wherein the operation is
displaying the object at a location different from a surface of the light field display.
Information processing device. 請求項１に記載の情報処理装置において、前記動作は、
前記焦点を前記ライトフィールドディスプレイの表面とは異なる位置に設定することを含む、
情報処理装置。 2. The information processing device according to claim 1, wherein the operation is
setting the focal point at a location different from a surface of the light field display;
Information processing device. 請求項１に記載の情報処理装置において、
前記撮像部は前記情報処理装置に内蔵され、又は外付けされる、
情報処理装置。
2. The information processing device according to claim 1,
The imaging unit is built into the information processing device or is externally attached thereto.
Information processing device.

Images