【０００１】[0001]
【産業上の利用分野】本発明は、使用者に距離感覚を知
覚させる両眼視の表示装置に係り、特にぼけを制御する
ことによって自然な距離感覚を知覚させる両眼視の表示
装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a binocular display device for allowing a user to perceive a sense of distance, and more particularly to a binocular display device for perceiving a natural sense of distance by controlling blur. It is.
【０００２】[0002]
【従来の技術】従来、使用者に距離感覚を知覚させる代
表的な表示装置として両眼視表示装置が提案されてい
る。2. Description of the Related Art Conventionally, a binocular display device has been proposed as a typical display device for allowing a user to perceive a sense of distance.
【０００３】この種の装置は、両眼輻輳角に基づいて距
離情報を獲得する人間の両眼視の原理を利用している。
この原理を図１に示す。図中の符号１０１、１０２は各
々観察者の左右眼球であり、符号１０３、１０４は、各
々空間中の点である。このとき、前記観察者は前記点１
０３を注視している状態にあり、前記左右眼球１０１と
１０２の視線がなす角すなわち両眼輻輳角ωによって該
点１０３の空間位置を知覚している。[0003] This type of device utilizes the principle of binocular vision for humans to acquire distance information based on the binocular convergence angle.
This principle is shown in FIG. Reference numerals 101 and 102 in the figure are left and right eyes of an observer, respectively, and reference numerals 103 and 104 are points in space, respectively. At this time, the observer has said point 1
In a state where the user is gazing at 03, the spatial position of the point 103 is perceived by the angle formed by the line of sight of the left and right eyeballs 101 and 102, that is, the binocular convergence angle ω.
【０００４】両眼視表示装置は上記原理に基づいて機能
するものである。該装置の原理を図２に示す。図中の符
号２０１、２０２は各々使用者の左右眼球であり、符号
２０３は該装置により生成された画像が表示される表示
面であり、符号２０４、２０５は各々該表示面に呈示さ
れる左右眼球の各々に向けて生成された画像を選択的に
各々の眼球に観察させるためのフィルタであり、符号２
０６〜２０９は各々該表示面上に表示される点である。
このとき、使用者は前記点２０６を右眼球で、点２０７
を左眼球で各々観察することにより空間中に点２１０を
知覚し、また、点２０８を左眼球で、点２０９を右眼球
で各々観察することにより空間中に点２１１を知覚す
る。A binocular display device functions based on the above principle. FIG. 2 shows the principle of the device. Reference numerals 201 and 202 in the figure are left and right eyes of the user, reference numeral 203 is a display surface on which an image generated by the device is displayed, and reference numerals 204 and 205 are left and right displayed on the display surface, respectively. A filter for selectively causing each eyeball to observe an image generated for each eyeball.
Reference numerals 06 to 209 denote points displayed on the display surface.
At this time, the user sets the point 206 with the right eyeball and the point 207.
Are observed in the space by observing with the left eyeball, and the point 211 is perceived in the space by observing the point 208 with the left eyeball and the point 209 with the right eyeball.
【０００５】ところで、従来の両眼視表示装置は、使用
者の左右の目に映るはずの画像を呈示するに際して、全
ての箇所を鮮明に呈示している。しかしながら、図１に
示したように、自然な状態における人間の両眼視では、
左右眼球１０１と１０２の焦点が前記注視点１０３に合
っているため、該点１０３の左右網膜上における像１０
５と１０６は各網膜上で各々鮮明に結像されているもの
の、前記点１０３より前後する距離にある例えば点１０
４の左右網膜上における像１０７と１０８は、該像が前
記網膜上で結像しないために不鮮明なものとなってい
る。また、観察者には左右の網膜像が各々独立に知覚さ
れているのではなく、前記注視点１０３の像１０５と１
０６を一致させるように、左右網膜像を位置合わせして
総合的に知覚されているものと考えられる。このとき、
点１０３に前後する箇所の像は左右網膜上で一致しない
ためにだぶって知覚される。例えば、人差し指を目の前
に立て、眼の焦点を該指からずらして遠くの景色に移し
た場合、該指が２本に見えることからも明らかである。
しかしながら、このときの指の像は十分にぼけているの
で、遠景を観察する際の支障と感じられないはずであ
る。このように人間における両眼視では、各網膜上の像
は注視箇所が鮮明化され、該注視箇所より前後する箇所
がぼかされることにより、観察者に余分な情報を排除し
た良好な状態で該注視箇所を観察することを可能とさ
せ、かつ、注視箇所が最も鮮明な像を有するために、該
像の鮮明度に刺激されて注視状態を維持することを容易
にしていると考えられる。In the conventional binocular display device, when presenting an image that should be seen by the left and right eyes of the user, all parts are clearly presented. However, as shown in FIG. 1, in human binocular vision in a natural state,
Since the left and right eyeballs 101 and 102 are in focus on the gazing point 103, the image 10 of the point 103 on the left and right retinas
5 and 106 are clearly imaged on each retina, but at a distance before and after the point 103, for example, a point 10
The images 107 and 108 on the left and right retinas of No. 4 are unclear because the images do not form on the retina. Also, the left and right retinal images are not independently perceived by the observer, but the images 105 and 1
It is considered that the left and right retinal images are aligned so as to make 06 coincide, and are comprehensively perceived. At this time,
The images before and after the point 103 do not match on the left and right retinas, and are perceived as double. For example, when the index finger is placed in front of the eyes and the focus of the eye is shifted from the finger to a distant view, it is clear from the fact that the two fingers appear.
However, since the image of the finger at this time is sufficiently blurred, it should not be felt as a hindrance when observing a distant view. As described above, in the binocular vision by a human, the image on each retina is sharpened at the gaze point, and the part before and after the gaze point is blurred, so that the observer can remove the extra information in a good state. It is considered that the gaze point can be observed, and the gaze point has the sharpest image, so that it is easy to maintain the gaze state stimulated by the sharpness of the image.
【０００６】[0006]
【発明が解決しようとする課題】これに対して、図２に
示したように、従来の両眼視表示装置では両眼輻輳角に
よって知覚される空間中の２点２１０と２１１の例えば
右眼球２０２に対する距離差２１２が大きくても、網膜
上の結像状態に関係する実際の表示面上の距離差２１３
は僅かであり、このため、２点２１０と２１１が右網膜
上でいずれも鮮明に結像されてしまう。この結像は同時
に左網膜上でも起こっている。この結果、観察される像
が網膜上のいたるところで鮮明となるために注視箇所が
移ろいやすく、目的の箇所を注視し続けるための精神集
中が使用者に要求される。すなわち、従来の両眼視表示
装置では、該呈示画像の過剰な鮮明さが両眼輻輳角に基
づく距離知覚における注視制御を妨害し、使用者の疲労
を誘って長時間作業を困難とさせ、作業効率の低下を招
くという問題点があった。On the other hand, as shown in FIG. 2, in a conventional binocular display device, for example, the right eyeball of two points 210 and 211 in a space perceived by a binocular convergence angle. Even if the distance difference 212 with respect to 202 is large, the actual distance difference 213 on the display surface related to the imaging state on the retina
Therefore, the two points 210 and 211 are clearly formed on the right retina. This imaging occurs simultaneously on the left retina. As a result, the image to be observed becomes clear everywhere on the retina, so that the gaze point is likely to shift, and the user is required to concentrate on keeping the gaze on the target position. That is, in the conventional binocular display device, excessive sharpness of the presented image hinders gaze control in distance perception based on the binocular convergence angle, inviting user fatigue and making long-term work difficult, There is a problem that the work efficiency is reduced.
【０００７】一方、前述したように、使用者の眼球は装
置表示面に焦点を合わせているので、もし、ぼけを含ん
だ画像を呈示したなら、該画像の全ての箇所が該ぼけた
状態も含めて網膜上で鮮明に結像されるはずである。従
って、従来の両眼視表示装置が抱える前述の問題点を解
決するためには、注視すべき箇所を鮮明化し、該箇所か
らずれた領域に対しては、該領域と前記注視箇所との奥
行き差に応じたぼけを付加した画像を呈示すれば良いこ
とがわかる。また、人間の瞳孔の開度は外光の強度変化
に伴って変化し、該瞳孔開度の変化に伴って眼球光学系
の物体深度が変化するので、同一光景に対するぼけの程
度は外光強度、すなわち、瞳孔開度に応じて変動するこ
とが知られている。もし、上記のようにぼけを含んだ画
像を呈示することによって網膜上に目的とする結像状態
を発生させるならば、瞳孔開度に応じたぼけ量の制御、
あるいは瞳孔開度を一定に保つための外光制御もまた必
要であることがわかる。しかしながら、従来の両眼視表
示装置には、以上で述べた対策を施されたものは存在し
なかった。On the other hand, as described above, since the user's eyeball is focused on the display surface of the apparatus, if an image including a blur is presented, all the parts of the image are also in the blurred state. And should be sharply imaged on the retina. Therefore, in order to solve the above-described problems of the conventional binocular display device, a point to be watched is clarified, and for an area deviated from the point, the depth between the area and the watched point is determined. It can be seen that an image to which a blur corresponding to the difference is added should be presented. Further, the degree of opening of the human pupil changes with a change in the intensity of external light, and the depth of the object of the eyeball optical system changes with the change in the degree of pupil opening. That is, it is known that it varies according to the degree of pupil opening. If a desired imaging state is generated on the retina by presenting an image including a blur as described above, control of a blur amount according to a pupil opening degree,
Alternatively, it is understood that external light control for keeping the pupil opening constant is also necessary. However, there is no conventional binocular display device to which the above-described measures are applied.
【０００８】このように従来の両眼視表示装置には、網
膜上の結像状態への配慮を欠くために、使用者の疲労を
誘い、作業効率を低下させるという問題点があった。[0008] As described above, the conventional binocular display apparatus has a problem in that the user does not consider the state of image formation on the retina, thereby inviting user fatigue and reducing work efficiency.
【０００９】本発明はこのような問題点に鑑みて成され
たものであり、その目的とするところは、網膜上のある
べき結像状態を再現できるぼけを含んだ画像を生成して
呈示することにより、使用者に疲労の少ない距離知覚を
行なわせる表示装置を提供することである。The present invention has been made in view of such a problem, and an object of the present invention is to generate and present an image including a blur capable of reproducing a desired imaging state on a retina. Accordingly, it is an object of the present invention to provide a display device that allows a user to perceive a distance with less fatigue.
【００１０】[0010]
【課題を解決するための手段】本発明の請求項１の表示
装置は、使用者が表示対象上の注視する箇所を、前記使
用者の両眼視線の交点から指定する注視箇所指定手段
と、前記表示対象についてぼけを含まない画像を生成す
る前描画手段と、前記ぼけを含まない画像の各画素の空
間位置と、前記注視箇所の空間位置とに基づいて各画素
毎にぼけ直径を算出し、前記各画素のぼけ直径を直径と
する円パターンを加え合わせて輝度分布を生成する画像
生成手段と、前記生成された画像を表示可能な表示手段
とを具備したものである。According to a first aspect of the present invention, there is provided a display device, comprising:
A gaze point designating means for designatingfrom the intersection of the user's binocular gazes,and generating an image which does not include blur for the display target.
Before drawing means, and the sky of each pixel of the image not including the blur.
Each pixel based on the inter-position and the spatial position of the gaze point
The blur diameter is calculated for each pixel, and the blur diameter of each pixel is defined as a diameter.
And a display means capable of displaying the generated image.
【００１１】請求項２の表示装置は、請求項１のものに
おいて、使用者の瞳径を計測する瞳径推定手段と、画像
生成手段が表示対象上の各箇所の空間位置と、注視箇所
の空間位置と、前記瞳径推定手段によって計測した瞳径
とに基づいて前記各箇所を所定の要領でぼかした画像を
生成する手段を具備したものである。According to a second aspect of the present invention, in the first aspect, the pupil diameter estimating means for measuring the pupil diameter of the user, and the image generating means include a spatial position of each location on the display target and a gazing location. Means for generating an image in which the respective portions are blurred in a predetermined manner based on a spatial position and a pupil diameter measured by the pupil diameter estimating means.
【００１２】請求項３の表示装置は、請求項１のものに
おいて、使用者の瞳径を計測する瞳径計測手段と、画像
生成手段が表示対象上の各箇所の空間位置と注視箇所の
空間位置とに基づいて前記各箇所を所定の要領でぼかす
と同時に、前記瞳径計測手段によって計測した瞳径に基
づいて輝度調整された画像を生成する手段を具備したも
のである。According to a third aspect of the present invention, in the display device according to the first aspect, a pupil diameter measuring means for measuring a pupil diameter of a user, and the image generating means include a spatial position of each position on a display target and a space of a gaze point. Means for blurring each of the portions in a predetermined manner based on the position and, at the same time, generating an image whose brightness is adjusted based on the pupil diameter measured by the pupil diameter measuring means.
【００１３】請求項４の表示装置は、請求項１のものに
おいて、前記注視箇所指定手段は、前記表示対象をマル
チウインドウとなし、前記マルチウインドウの各ウイン
ドウに奥行き距離ｚ値を与え、最も手前に表示されるウ
インドウのｚ値をｚ０として、前記使用者が注視する
箇所とするものである。According to a fourth aspect of the present invention, in the display device according to the first aspect, thegaze point designation means is configured to display the display object in a circle.
Each window of the multi-window
The depth distance z value is given to the dough, and the dough displayed at the front is given.
The z value of guidingthez0, the user is gazing
Location .
【００１４】[0014]
【００１５】[0015]
【作 用】本発明の請求項１の表示装置は、注視箇所指
定手段が、使用者が注視する個所もしくは表示対象上の
注視したい箇所を指定可能とし、画像生成手段が前記表
示対象上の各箇所の空間位置と、前記注視箇所の空間位
置とに基づいて前記各箇所を所定の要領でぼかした両眼
画像を生成し、表示手段が前記生成された画像を使用者
に呈示する。According to a first aspect of the present invention, in the display device of the present invention, the gaze point designating means is capable of designating a point to be watched by the user or a point to be gazed on the display object, and Based on the spatial position of the point and the spatial position of the gaze point, a binocular image in which each point is blurred in a predetermined manner is generated, and the display unit presents the generated image to the user.
【００１６】請求項２の表示装置であると、画像生成手
段が表示対象上の各箇所の空間位置と、注視箇所の空間
位置と、瞳径推定手段によって計測した瞳径とに基づい
て前記各箇所を所定の要領でぼかした画像を生成でき
る。In the display device according to the second aspect, the image generating means may be configured to determine each of the positions based on the spatial position of each point on the display object, the spatial position of the gaze point, and the pupil diameter measured by the pupil diameter estimating means. An image in which a portion is blurred in a predetermined manner can be generated.
【００１７】請求項３の表示装置であると、画像生成手
段が表示対象上の各箇所の空間位置と、注視箇所の空間
位置とに基づいて前記各箇所を所定の要領でぼかすと同
時に、瞳径計測手段によって計測した瞳径に基づいて輝
度調整された画像を生成できる。In the display device according to the third aspect, the image generating means blurs each of the portions in a predetermined manner based on the spatial position of each portion on the display object and the spatial position of the gazing portion, and simultaneously, An image whose brightness has been adjusted based on the pupil diameter measured by the diameter measuring means can be generated.
【００１８】請求項４の表示装置であると、予め設定さ
れる特定空間位置を注視箇所指定手段が出力する。この
ような例として、マルチウインドウシステムなどにおい
て各ウインドウに奥行き距離を与え、例えば最も手前に
表示されるウインドウを注視個所とし、後方のウインド
ウをぼかして表示することが考えられる。According to the display device of the fourth aspect, the gaze point designating means outputs a predetermined specific space position. As such an example, in a multi-window system or the like, it is conceivable that a depth distance is given to each window, for example, a window displayed at the foreground is set as a gaze point, and a rear window is blurred and displayed.
【００１９】[0019]
【００２０】[0020]
【実施例】本発明に係る表示装置の実施例を図面に従っ
て説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a display device according to the present invention will be described with reference to the drawings.
【００２１】図３は、本発明に係る表示装置の第１の実
施例の全体構成図である。FIG. 3 is an overall configuration diagram of a first embodiment of the display device according to the present invention.
【００２２】符号３０１は、表示対象上の注視したい箇
所を使用者が指定可能な注視箇所指定部であり、符号３
０２は、前記対象上の各箇所の空間位置と、前記注視箇
所指定部３０１により得られた注視箇所の空間位置とに
応じて前記各箇所に所定のぼけ具合を与えた両眼画像を
生成する画像生成部であり、符号３０３は、前記画像生
成部３０２により生成された両眼画像を使用者の両眼に
各々呈示可能な表示部である。Reference numeral 301 denotes a gazing point designating unit which allows the user to designate a gazing point on the display object.
02 generates a binocular image in which each spot is given a predetermined degree of blur according to the spatial position of each spot on the target and the spatial position of the gaze point obtained by the gaze point designation unit 301. An image generation unit 303 is a display unit capable of presenting the binocular image generated by the image generation unit 302 to both eyes of the user.
【００２３】次に前記各部を詳説する。Next, each part will be described in detail.
【００２４】注視箇所指定部３０１は図４に示す構成と
なっている。The gaze point designation unit 301 has the configuration shown in FIG.
【００２５】符号４０１は、使用者の両眼に向けて設置
されたテレビカメラなどの画像入力手段によって、該使
用者の眼球画像を撮影する画像撮影部であり、符号４０
２は、前記眼球画像から使用者の瞳を表す楕円形黒領域
を抽出する瞳抽出部であり、符号４０３は、前記楕円形
黒領域の長軸と短軸の比と該楕円形の中心の前記眼球画
像上の変移量とから、本来円形であるはずの瞳が、該楕
円形に変換されるアフィン変換量を逆算することによっ
て左右眼球の視線方向を求める視線計算部であり、符号
４０４は、前記左右眼球の視線が空間中で最も近接する
箇所において、該２視線を最短距離で結ぶ線分の中点を
計算し、該中点の空間座標値（ｘ0，ｙ0，ｚ0）を前
記注視箇所として出力する注視座標計算部である。Reference numeral 401 denotes an image capturing unit that captures an image of the user's eyeball by using image input means such as a television camera installed toward both eyes of the user.
Reference numeral 2 denotes a pupil extraction unit that extracts an elliptical black region representing a user's pupil from the eyeball image. Reference numeral 403 denotes a ratio between a major axis and a minor axis of the elliptical black region and the center of the ellipse. From the displacement amount on the eyeball image, the pupil, which should be originally circular, is a gaze calculation unit for calculating the gaze direction of the left and right eyeballs by calculating the affine transformation amount converted into the elliptical shape in reverse. , at a point where the line of sight of the right and left eye are most proximate in space, the 2 line of sight to calculate the midpoint of a line connecting the shortest distance, the spatial coordinates of the middle point(x 0, y 0, z 0) Is a gaze coordinate calculation unit that outputs the gaze point.
【００２６】なお、前記注視箇所指定部３０１は、上記
の例に代表される使用者の視線を直接検出する手段の他
に、使用者の操作入力を受理するキーボード、マウス、
３次元デジィタイザのような操作手段、使用者の音声入
力を受理する音声入力手段、使用者の身振り手振りを認
識する画像認識手段などによって使用者が注視したい箇
所を間接的に指定可能な手段を用いても良い。すなわ
ち、使用者が発する何等かの信号によって前記表示対象
上の特定箇所を使用者の意思に従って指定可能であれ
ば、前記注視箇所指定部３０１の実現手段は問わない。The gaze point designating unit 301 includes a keyboard, a mouse, a keyboard, a mouse, and the like, which receive a user's operation input, in addition to the means for directly detecting the user's line of sight typified by the above example.
Using a means capable of indirectly specifying a point that the user wants to watch by operating means such as a three-dimensional digitizer, voice input means for receiving a user's voice input, and image recognition means for recognizing a user's gesture May be. That is, as long as a specific location on the display target can be designated according to the user's intention by some kind of signal emitted by the user, the means for implementing the gaze location designation unit 301 is not limited.
【００２７】画像生成部３０２は、図５に示す構成とな
っている。The image generation unit 302 has the configuration shown in FIG.
【００２８】符号５０１は、従来の両眼視表示装置が行
なうのと同様のぼけを含まない両眼画像を高速に生成す
る前描画部であり、符号５０２は、前描画部５０１によ
って描画される前描画バッファである。前記前描画バッ
ファ５０２の各画素は輝度ベクトル（カラー画像であれ
ば、例えばＲＧＢの３次元）と該輝度ベクトルを与える
表示対象上の点の少なくとも奥行き座標を含む空間座標
値とを１組にして格納する。一般に前記空間座標値とし
て奥行き座標値のみを扱う前描画バッファはｚバッファ
とよばれている。前記前描画部５０１は、前記表示対象
上の各点から所定の変換に従って該点に対応する前描画
バッファ５０２上の画素を求め、既に別の点の輝度ベク
トルと空間座標値が該画素に格納されていれば両者の空
間座標を比較し、手前に存在する方の点の輝度ベクトル
と空間座標値を新たに格納して前描画バッファ５０２の
内容を更新する。また、該画素に別の点が格納されてい
なければ、該点の輝度ベクトルと空間座標値を該画素に
格納する。この結果、前描画バッファ５０２の各画素に
は表示対象上の該画素に対応する最も手前にある点の輝
度ベクトルと空間座標値が格納される。前描画処理は本
装置の起動時、もしくは、前記表示対象に変更のあった
場合、もしくは、前記所定の変換に変更のあった場合に
のみ実行される。符号５０３は、前記前描画バッファ上
の全画素について各画素の空間位置と前記注視点座標と
に基づいてぼけの直径を計算するぼけ直径算出部であ
る。符号５０４は前記ぼけ直径に基づいて当該画素を中
心とするぼけパターンを描画するぼけパターン描画部で
ある。符号５０５は、前記ぼけパターン描画部５０４が
ぼけパターンを描画するフレームバッファであり、該フ
レームバッファの画素の数と各画素の位置とは前記前描
画バッファ５０２に一致している。符号５０６は、前記
注視点を示すパターンを前記フレームバッファ５０５に
上書きする注視点描画部である。Reference numeral 501 denotes a pre-rendering unit which generates a binocular image free of blur as in the conventional binocular display device at high speed, and reference numeral 502 denotes a pre-rendering unit. This is the previous drawing buffer. Each pixel of the pre-rendering buffer 502 is a set of a luminance vector (for a color image, for example, three-dimensional RGB) and a spatial coordinate value including at least depth coordinates of a point on a display target that gives the luminance vector. Store. Generally, a pre-drawing buffer that handles only depth coordinate values as the spatial coordinate values is called a z-buffer. The pre-rendering unit 501 obtains a pixel on the pre-rendering buffer 502 corresponding to the point on the display target from each point on the display target according to a predetermined conversion, and already stores a luminance vector and a spatial coordinate value of another point in the pixel. If so, the spatial coordinates of the two are compared, the luminance vector and the spatial coordinate value of the point existing in front are newly stored, and the contents of the previous drawing buffer 502 are updated. If another point is not stored in the pixel, the luminance vector and the spatial coordinate value of the point are stored in the pixel. As a result, the luminance vector and the spatial coordinate value of the foremost point corresponding to the pixel on the display target are stored in each pixel of the previous drawing buffer 502. The pre-rendering process is executed only when the apparatus is activated, or when the display target is changed, or when the predetermined conversion is changed. Reference numeral 503 denotes a blur diameter calculation unit that calculates the blur diameter for all pixels on the previous drawing buffer based on the spatial position of each pixel and the gazing point coordinates. Reference numeral 504 denotes a blur pattern drawing unit that draws a blur pattern centered on the pixel based on the blur diameter. Reference numeral 505 denotes a frame buffer in which the blur pattern drawing unit 504 draws a blur pattern. The number of pixels in the frame buffer and the position of each pixel match those in the previous drawing buffer 502. A fixation point drawing unit 506 overwrites the pattern indicating the fixation point on the frame buffer 505.
【００２９】ぼけ直径算出部５０３におけるぼけ直径算
出の原理を図６に示す。点６０３は、光軸６０７を持つ
理想的なレンズ６０１によって画像面６０２上の点６０
４に結像される空間中の点である。また、点６０５は点
６０３より光軸上で奥行き方向にずれた位置に存在する
空間中の点であり、点６０６に結像される。このとき、
点６０５から発せられる光束は画像面６０２上では結像
しないために画像面６０２上を直径εの大きさの円形の
広がりで通過している。このεの大きさの円形の広がり
がぼけである。ここで、物体深度の計算式より前記εを
誘導すると次式のようになる。なお、奥行き座標値はレ
ンズ６０１の中心を原点とし、光軸６０７上の左向きを
正として定義される。FIG. 6 shows the principle of calculating the blur diameter in the blur diameter calculation unit 503. Point 603 is a point 60 on image plane 602 by ideal lens 601 having optical axis 607.
4 is a point in space that is imaged. Further, a point 605 is a point in a space that is shifted from the point 603 in the depth direction on the optical axis, and is formed as an image at the point 606. At this time,
Since the light beam emitted from the point 605 does not form an image on the image plane 602, it passes through the image plane 602 in a circular spread having a diameter ε. This circular spread of the size of ε is blurred. Here, when the aforementioned ε is derived from the calculation formula of the object depth, the following expression is obtained. The depth coordinate value is defined with the center of the lens 601 as the origin and the leftward direction on the optical axis 607 as positive.
【００３０】 ε＝β×Ｄ×｜ｚ−ｚ0｜／｜ｚ｜ …………（ａ） ｚ0： 点６０３の奥行き座標値 ｚ ： 点６０５の奥行き座標値 β ： 光学系の横倍率（＞０） Ｄ ： レンズの開口径（≧０） ｚ0は前記注視箇所指定部３０１により得られているの
で、前記β×Ｄとして適当な定数を与えると、ぼけ直径
εはｚが決定されれば算出可能となる。このとき、εは
前記β×Ｄに比例しており、適当なぼけ具合となるよう
にβとＤを各々調節可能である。前記ぼけパターン描画
部５０４は、中心を前記ぼけ直径εが算出されるもとと
なった画素の位置、直径を前記ぼけ直径εとする円パタ
ーンを前記フレームバッファ５０５上に加え合わせてゆ
く。なお、該円パターンを描画されるフレームバッファ
５０５上の画素は直径εの円周がかかる画素と該円周内
に含まれる画素であり、該円パターンとは該描画される
画素に所定の輝度ベクトルｉを与えるパターンである。
ここで、該所定の輝度ベクトルは次式で与えられる。こ
の式は、前描画バッファ５０２上の輝度ベクトルがフレ
ームバッファ５０５上の対応するパターンに分配される
ことを表している。Ε = β × D × | z−z0 | / | z | (a) z0 : depth coordinate value of point 603 z: depth coordinate value of point 605 β: lateral magnification of optical system (> 0) D: The aperture diameter (≧ 0) of the lens z0 is obtained by the gaze point designation unit 301. Therefore, when an appropriate constant is given as β × D, z is determined as the blur diameter ε. Can be calculated. At this time, ε is proportional to β × D, and β and D can each be adjusted so as to obtain an appropriate degree of blur. The blur pattern drawing unit 504 adds a circle pattern having the center at the pixel position from which the blur diameter ε is calculated and the diameter as the blur diameter ε on the frame buffer 505. Note that the pixels on the frame buffer 505 on which the circular pattern is drawn are pixels having a circumference of a diameter ε and pixels included in the circumference, and the circular pattern is a pixel having a predetermined luminance. This is a pattern giving a vector i.
Here, the predetermined luminance vector is given by the following equation. This expression indicates that the luminance vector on the previous drawing buffer 502 is distributed to the corresponding pattern on the frame buffer 505.
【００３１】 ｉ＝ｉ0／Ａ …………（ｂ） ｉ0： 前描画バッファ５０２における輝度ベクトル Ａ ： 当該円パターンにより描画される画素数 この結果、フレームバッファ５０５には前描画バッファ
５０２上の各画素に対するぼけパターンを加え合わせた
輝度分布が生成される。この輝度分布が前記表示部３０
３によって表示される画像である。I = i0 / A (b) i0 : the luminance vector in the previous drawing buffer 502 A: the number of pixels drawn by the circular pattern As a result, the frame buffer 505 is placed on the previous drawing buffer 502 A luminance distribution is generated by adding the blur pattern for each pixel. This luminance distribution is displayed on the display unit 30.
3 is an image displayed.
【００３２】上記処理を図９のフローチャートにもとづ
いて簡単に説明すると、注視箇所指定部３０１で注視個
所検出処理を行い、画像生成部３０２の前描画部５０１
で前描画処理を行い、同じくぼけパターン描画部５０４
でぼけ画像描画処理を行って、両者を合成して表示部３
０３に表示する。The above process will be briefly described with reference to the flowchart of FIG. 9. The gaze point designation unit 301 performs a gaze point detection process, and the front drawing unit 501 of the image generation unit 302.
Performs a pre-drawing process, and similarly performs a blur pattern drawing unit 504.
And performs a blurred image drawing process to combine the two, and display unit 3
03 is displayed.
【００３３】以上の構成による表示装置は、所定の奥行
き距離からはずれる対象をぼかして表示可能であり、従
来の両眼視表示装置における問題点を解決するという点
において利便性が向上している。The display device having the above-described configuration can display an object which deviates from a predetermined depth distance by blurring it, and has improved convenience in solving the problems of the conventional binocular display device.
【００３４】なお、本実施例では、前記表示部３０３と
して、使用者の頭部に固定装着可能なヘッドマウントデ
ィスプレイ（ＨＭＤ）を使用し、前記注視箇所指定部３
０１における眼球画像撮影用の小形テレビカメラを該Ｈ
ＭＤに固定設置する態様が可能である。また、前記表示
部３０３を液晶シャッタディスプレイなどのように使用
者の頭部ではなく環境に固定設置することも可能である
し、前記テレビカメラを環境に固定設置することも可能
である。In this embodiment, a head-mounted display (HMD) that can be fixedly mounted on the user's head is used as the display unit 303, and the gaze point designation unit 3 is used.
01 is a small television camera for capturing an eyeball image.
A mode of fixed installation on the MD is possible. In addition, the display unit 303 can be fixedly installed in the environment instead of the user's head, such as a liquid crystal shutter display, or the television camera can be fixedly installed in the environment.
【００３５】ところで、上記の実施例における前描画部
５０１は、一般にｚバッファアルゴリズムと呼ばれる方
法によって描画を行なうものであった。しかしながら、
この描画アルゴリズムにはマッピングテクニックによっ
て疑似的に描画しない限り、透過屈折物体や鏡面反射物
体を扱えないという欠点がある。このため、一般にレイ
トレーシングと呼ばれる透過屈折と鏡面反射を扱える描
画アルゴリズムが提案されている。By the way, the pre-drawing unit 501 in the above embodiment performs drawing by a method generally called a z-buffer algorithm. However,
This drawing algorithm has a drawback in that it cannot handle transmission / refraction objects and specular reflection objects unless they are simulated by a mapping technique. For this reason, a drawing algorithm generally called ray tracing that can handle transmission refraction and specular reflection has been proposed.
【００３６】図７にレイトレーシングの原理を示す。こ
の図において、視点７０１から光軸７０２の方向に見る
とき、画像面７０３上の画素７０４の輝度ベクトルを決
定する場合を考える。視点７０１を出発した視線７０５
を追跡すると、該視線７０５は、透過反射面７０６と点
７０７において交差している。透過反射面７０６に斜め
から突入する視線７０５は、屈折されて、散乱面７０８
と点７０９との交差する成分と、反射されて散乱面７１
０と点７１１で交差する成分とに分割される。各々の成
分は、散乱面と交差した時点で追跡を終了する。このと
き、視点７０１から画素７０４に見える点は、前記７０
７と７０９と７１１の３点であり、各点における輝度ベ
クトルを適当にブレンドしたベクトルが、前記画素７０
４の輝度ベクトルとして与えられる。FIG. 7 shows the principle of ray tracing. In this figure, when viewing from the viewpoint 701 in the direction of the optical axis 702, consider the case where the luminance vector of the pixel 704 on the image plane 703 is determined. Line of sight 705 departing from viewpoint 701
, The line of sight 705 intersects the transmitting / reflecting surface 706 at a point 707. The line of sight 705 obliquely entering the transmission / reflection surface 706 is refracted and becomes a scattering surface
Intersecting with the point 709 and the reflected and scattering surface 71
It is divided into 0 and components that intersect at point 711. Each component ends tracking when it crosses the scattering surface. At this time, the point seen from the viewpoint 701 to the pixel 704 is
7, 709 and 711, and a vector obtained by appropriately blending the luminance vector at each point is the pixel 70.
4 is given as a luminance vector.
【００３７】ここで、レイトレーシングに対応した前描
画部と前描画バッファとを持つ本発明に係る第２の実施
例を説明する。本実施例の全体構成および各部構成は前
記第１の実施例と同一であるので、ここでは相違点のみ
を説明する。Here, a description will be given of a second embodiment according to the present invention having a pre-drawing unit and a pre-drawing buffer compatible with ray tracing. Since the overall configuration and the configuration of each part of the present embodiment are the same as those of the first embodiment, only the differences will be described here.
【００３８】図７における２点７０９と７１１は見かけ
上、視線７０５の延長上の点７１２と７１３に各々存在
する。点７０７と点７１２の距離は点７０７と点７０９
の距離に等しく、また、点７０７と点７１３の距離は点
７０７と点７１１の距離に等しい。このとき、前描画バ
ッファ５０２が１つの画素に対して多数の輝度ベクトル
と空間座標値の組を格納可能であるとすれば、３点７０
７と７１２と７１３の輝度ベクトルと空間座標値の組を
格納させ、さらに、ぼけ直径算出部５０３とぼけパター
ン描画部５０４とが前記前描画バッファ５０２に格納さ
れる輝度ベクトルと空間座標値の全ての組についてのぼ
けパターンをフレームバッファ５０５に描画させること
によって透過屈折と鏡面反射を扱ったぼけ画像が生成可
能である。第２の実施例は第１の実施例よりも前描画部
における処理コストが増大しているものの、透過屈折と
鏡面反射を扱えるという点において一層利便性が向上し
ている。In FIG. 7, two points 709 and 711 apparently exist at points 712 and 713 on the extension of the line of sight 705, respectively. The distance between the point 707 and the point 712 is the point 707 and the point 709
, And the distance between the points 707 and 713 is equal to the distance between the points 707 and 711. At this time, if the pre-drawing buffer 502 can store a number of sets of luminance vectors and spatial coordinate values for one pixel, three points 70
7, 712 and 713 are stored, and the blur diameter calculation unit 503 and the blur pattern drawing unit 504 further store all of the brightness vectors and the space coordinate values stored in the previous drawing buffer 502. By drawing the blur pattern for the set in the frame buffer 505, a blur image that handles transmission refraction and specular reflection can be generated. In the second embodiment, although the processing cost in the pre-drawing unit is higher than in the first embodiment, the convenience is further improved in that the transmission refraction and the specular reflection can be handled.
【００３９】本発明に係る表示装置の第３の実施例を説
明する。A third embodiment of the display device according to the present invention will be described.
【００４０】図８は本実施例の全体構成図である。FIG. 8 is an overall configuration diagram of the present embodiment.
【００４１】符号８０１は、表示対象上の注視したい箇
所を使用者が指定可能な注視箇所指定部であり、上記第
１の実施例における注視箇所指定部３０１と同様に使用
者の眼球に向けて設置された画像入力手段によって得ら
れた使用者の眼球画像から、瞳を表す楕円形黒領域を抽
出し、その長軸と短軸の比と画像中の位置とから使用者
の視線方向を検出して注視箇所を計算するものである。Reference numeral 801 designates a gaze point designating unit which allows the user to designate a gaze point on the display object, which is directed toward the user's eyeball similarly to the gaze point designating unit 301 in the first embodiment. An elliptical black region representing the pupil is extracted from the user's eyeball image obtained by the installed image input means, and the direction of the user's line of sight is detected from the ratio of the long axis to the short axis and the position in the image. Then, the gaze point is calculated.
【００４２】符号８０２は、使用者の瞳径を計測する瞳
径推定部であり、前記注視箇所指定部８０１において得
られた楕円形黒領域の長軸の長さを瞳径Ｄとして出力す
るものである。Reference numeral 802 denotes a pupil diameter estimating unit for measuring the pupil diameter of the user, which outputs the length of the major axis of the elliptical black area obtained by the gaze point designation unit 801 as the pupil diameter D. It is.
【００４３】符号８０３は、前記対象上の各箇所の奥行
き距離ｚと前記注視箇所指定部８０１により得られた注
視箇所の奥行き距離ｚ0と前記瞳径推定部８０２により
得られた使用者の瞳径Ｄとに応じて計算されるぼけ直径
εのぼけパターンを与えた画像を生成する画像生成部で
ある。Reference numeral 803 denotes a depth distance z of each point on the object, a depth distance z0 of the gaze point obtained by the gaze point designation unit 801, and a user's pupil obtained by the pupil diameter estimation unit 802. An image generation unit that generates an image provided with a blur pattern having a blur diameter ε calculated according to the diameter D.
【００４４】符号８０４は、前記画像生成部８０３によ
り生成された画像を表示する表示部である。このとき前
記ぼけ直径εの計算式は前述した式（ａ）を引用して次
式のように定義され、この結果、ぼけ直径εはβに適当
な定数を与えた場合、ｚとｚ0とＤの関数となる。Reference numeral 804 denotes a display unit for displaying the image generated by the image generation unit 803. At this time, the calculation formula of the blur diameter ε is defined as follows by referring to the above-described formula (a). As a result, when an appropriate constant is given to β, the blur diameter ε becomes z and z0 . D.
【００４５】 ε＝β×Ｄ×｜ｚ−ｚ0｜／｜ｚ｜ …………（ａ１） ｚ0： 注視箇所の奥行き座標値 ｚ ： 当該箇所の奥行き座標値 β ： 定数（＞０） Ｄ ： 瞳径（≧０） 以上の構成による表示装置は、表示輝度や外光強度が変
化することに起因する使用者の瞳孔開度の変化に追随し
てぼけ量を制御可能である。したがって、暗くなると物
がぼやけ、明るいと鮮明に見えるという実際の視知覚現
象を良く模擬できるという忠実性において、第１の実施
例よりも一層利便性が向上している。Ε = β × D × | z−z0 | / | z | (a1) z0 : depth coordinate value of the gaze point z: depth coordinate value of the point β: constant (> 0) D: pupil diameter (≧ 0) The display device having the above configuration can control the amount of blur following changes in the pupil opening of the user caused by changes in display luminance and external light intensity. Therefore, the convenience is further improved as compared with the first embodiment in the fidelity that the actual visual perception phenomenon that an object is blurred when it becomes dark and the object looks clear when it is bright can be well simulated.
【００４６】ところで、上記第３の実施例は、使用者の
瞳径の変動に対応してぼけ量を制御するものであった
が、これとは別に、前記瞳径を一定に保つ制御を行なう
ことも考えられる。このようにすると前記ぼけ量は前記
瞳径に影響されない。In the third embodiment, the amount of blur is controlled in accordance with the change in the pupil diameter of the user. Apart from this, control for keeping the pupil diameter constant is performed. It is also possible. In this way, the blur amount is not affected by the pupil diameter.
【００４７】この例として本発明に係る表示装置の第４
の実施例を説明する。本実施例の全体構成は図８に示し
たものと同じであるので、ここでは相違点のみを説明す
る。本実施例における画像生成部８０３は以下の２式に
よって計算されるぼけ直径εと輝度ベクトルｉ’とに基
づいて、該εを直径とする円パターンを構成する画素に
輝度ベクトルｉ’を与えたぼけパターンを加え合わせた
画像を生成する。As an example, the fourth embodiment of the display device according to the present invention will be described.
An example will be described. Since the overall configuration of this embodiment is the same as that shown in FIG. 8, only the differences will be described here. The image generation unit 803 in the present embodiment gives a luminance vector i ′ to pixels forming a circular pattern having a diameter of ε based on the blur diameter ε and the luminance vector i ′ calculated by the following two equations. Generate an image with the blur pattern added.
【００４８】 ε＝β×Ｄ0×｜ｚ−ｚ0｜／｜ｚ｜ …………（ａ２） ｚ0： 注視箇所の奥行き座標値 ｚ ： 当該箇所の奥行き座標値 β ： 定数（＞０） Ｄ ： 基準瞳径（≧０） ｉ’＝ＩS×ｉ＝ＩS×ｉ0／Ａ …………（ｂ１） ｉ0： 前描画バッファ５０２における輝度ベクトル Ａ ： 当該円パターンにより描画される画素数 ＩS： 輝度調整係数 使用者の目に入射する光の量Ｊと瞳径Ｄの２乗と表示輝
度Ｉ1と外光強度Ｉ2との関係は次式で与えられると考
えられる。Ε = β × D0 × | z−z0 | / | z | (a2) z0 : depth coordinate value of the gazing point z: depth coordinate value of the point β: constant (> 0) ) D: standard pupil diameter (≧ 0) i '= I S × i = I S × i 0 / A ............ (b1) i 0: luminance vector A before drawing buffer 502: drawn by the circular pattern The number of pixels IS : brightness adjustment coefficient The relationship between the amount of light J incident on the user's eye, the square of the pupil diameter D, the display brightness I1, and the external light intensity I2 is considered to be given by the following equation. .
【００４９】 Ｊ＝π×Ｄ2×（ｍ×Ｉ1＋Ｉ2）／４ …………（ｃ） ｍ ： 定数（＞０） 瞳孔の開度は入射光量Ｊを一定に保つように働くので、
表示輝度Ｉ1に変化が無いなら、瞳径Ｄの変化は外光強
度Ｉ2の変化によって引き起こされたことになる。この
影響を排除して瞳径Ｄを基準瞳径Ｄ0に保つために、画
像生成部８０３は前記ＩSを変化させてＤがＤ0に一致
するＩSを発見するサーボ機構を備えている。すなわ
ち、瞳径ＤがＤ0に比して大きい場合には入射光量が少
ないとしてＩSを増加させて表示輝度Ｉ1を増加し、逆
の場合にはＩSを減少させて表示輝度Ｉ1を減少させ
る。この増加、減少の度合い△ＩSを本実施例では次式
で定義する。J = π × D2 × (m × I1 + I2 ) / 4 (c) m: constant (> 0) Since the pupil opening acts to keep the incident light amount J constant, ,
If there is no change in display luminance I1, changes in pupil diameter D will be caused by the external light intensity I2 change. To keep the pupil diameter D to eliminate this influence to the reference pupil diameter D0, the image generating unit 803 is provided with a servo mechanism to discover IS and D by changing the IS is equal to D0 . That is, by increasing the IS increases the display brightness I1 pupil diameter D is set to a small amount of incident light is larger than the D0, the display to reduce the IS in the case of inverse intensity I1 Decrease. This increase, in this embodiment the degree △ IS reduction is defined by the following equation.
【００５０】 △ＩS＝ｎ×｜Ｄ−Ｄ0｜ …………（ｄ） Ｄ0： 基準瞳径（≧０） Ｄ ： 実際の瞳径（≧０） ｎ ： 定数（＞０） なお、上記△ＩSの定義は式（ｄ）に限定されるもので
はない。例えば、下記の２式のいずれでも良い。要する
に、前記輝度調整係数ＩSを決定可能であれば細部の差
異は問題とはならない。ΔIS = n × | D−D0 | (d) D0 : Reference pupil diameter (≧ 0) D: Actual pupil diameter (≧ 0) n: Constant (> 0) , definition of △ IS is not limited to the equation (d). For example, any of the following two equations may be used. In short, if the brightness adjustment coefficient IS can be determined, the difference in details does not matter.
【００５１】 △ＩS＝ｎ×｜Ｄ2−Ｄ02｜ …………（ｄ１） △ＩS＝ｎ×（Ｄ−Ｄ0）2 …………（ｄ２） 以上の構成による表示装置は瞳孔開度を一定に保つよう
に表示輝度を制御して、使用者に知覚されるぼけ量を安
定に保つという点において第１の実施例より一層利便性
が向上している。The△ I S = n × | D 2 -D 0 2 | ............ (d1) △ I S = n × (D-D 0) 2 ............ (d2) above configuration by the display device Is more convenient than the first embodiment in that the display brightness is controlled so as to keep the pupil opening constant and the blur amount perceived by the user is kept stable.
【００５２】以下、本発明に係る表示装置の変形実施例
を説明する。Hereinafter, a modified embodiment of the display device according to the present invention will be described.
【００５３】例えば、上記実施例における前描画部はｚ
バッファアルゴリズムとレイトレーシングのみを対象と
したが、使用される描画アルゴリズムは上記の例に限定
されない。要するに、本発明においては、ぼけ生成に必
要とされる輝度ベクトルと空間座標値の組が計算可能で
ありさえすれば、描画アルゴリズムの差異は問題とはな
らない。For example, the pre-drawing unit in the above embodiment is z
Although only the buffer algorithm and ray tracing are targeted, the rendering algorithm used is not limited to the above example. In short, in the present invention, the difference between the drawing algorithms does not matter as long as the set of the luminance vector and the spatial coordinate value required for blur generation can be calculated.
【００５４】また、上記各実施例および変形例における
注視箇所指定部が表示対象上のある箇所を検出するので
はなく、注視箇所の奥行き距離ｚ0に相当する特定の奥
行き距離を使用者の操作により指定可能としても良い。
また、前記ｚ0が使用者により指定されるのではなく、
装置により自動的に設定されるようにしても良い。ある
いは、前記ｚ0が予め設定されており、使用者の操作に
よって表示対象が空間中を移動するようにしても良い。
このような例として、マルチウインドウシステムなどに
おいて各ウインドウに奥行き距離ｚ値を与え、例えば最
も手前に表示されるウインドウのｚ値をｚ0として、後
方のウインドウをぼかして表示することが考えられる。
要するに、本発明に係る表示装置においては少なくとも
前記ｚ0が与えられ、少なくとも該ｚ0と前記表示対象
の特定箇所の奥行き座標ｚとの関係が使用者によって指
定可能でありさえすれば、細部の差異は問題とはならな
い。In each of the above-described embodiments and modifications, the gaze point designation unit does not detect a certain point on the display target, but uses a specific depth distance corresponding to the depth distance z0 of the gaze point by the user's operation. May be specified.
Also, instead of the aforementioned z0 being specified by the user,
The setting may be made automatically by the device. Alternatively, the z0 is preset, the display target by the user's manipulation may be moved through the space.
As an example of this, it is conceivable that a depth distance z value is given to each window in a multi-window system or the like, and the rear window is blurred and displayed, for example, with the z value of the window displayed closest to the front as z0 .
In short, at least the z0 is given in the display device according to the present invention, as long a relationship between the depth coordinate z at least the z0 and the specific location of the display object can be specified by the user, the details Differences are not a problem.
【００５５】さらに、画像生成部が使用するぼけパター
ンとして、上記実施例および変形例では輝度分布が一様
な直径εの円パターンを使用している。しかしながら、
これは使用者の視線が表示面と垂直に交差する場合には
図６に示す根拠により正しいが、視線が斜めに表示面と
交差する場合には正しくはない。表示面を斜め方向から
観察する眼球網膜上に円形ぼけパターンを結像させるた
めには、卵型のぼけパターンを該表示面上に呈示する必
要がある。しかし、表示面が十分小さい場合や、使用者
から十分遠い場合には、使用者の視線はほぼ垂直に該表
示面と交差すると考えられるので、呈示すべきパターン
を円パターンに近似することができる。無論、本来呈示
すべき卵型パターンを計算して呈示しても良いことは言
うまでもない。また、前述したように呈示画像中でぼけ
パターンは重ね描きされているので、各ぼけパターンの
境界や輝度分布は使用者には明確に識別できない場合が
多い。従って、ぼけパターンの形状、大きさ、輝度分布
は厳密に計算される必要はなく、様々なものが使用可能
であると考えて良い。すなわち、本来結像されて１点に
集中されるべき光がぼけパターンの内部に適当に配分さ
れるならば、任意の大きさと形状に任意の輝度分布を与
えたパターンをぼけパターンとして用いることが可能で
ある。例えば、ぼけパターンの形状として１辺がぼけ直
径εの正方形でも良いし、例えば、輝度分布としてガウ
ス分布を利用しても良い。また、ぼけ直径εの計算式と
して以下のいずれを用いても良い。Further, as the blur pattern used by the image generating unit, in the above-described embodiment and the modification, a circular pattern having a uniform luminance distribution and a diameter ε is used. However,
This is true on the grounds shown in FIG. 6 when the user's line of sight intersects the display surface perpendicularly, but is incorrect when the line of sight intersects the display surface diagonally. In order to form a circular blur pattern on the retina of an eyeball for observing a display surface from an oblique direction, it is necessary to present an egg-shaped blur pattern on the display surface. However, when the display surface is sufficiently small or far enough from the user, the line of sight of the user is considered to intersect the display surface almost vertically, so that the pattern to be presented can be approximated to a circular pattern. . Of course, it goes without saying that the egg-shaped pattern to be originally presented may be calculated and presented. Further, as described above, since the blur patterns are overlaid in the presented image, the boundary and the luminance distribution of each blur pattern cannot be clearly identified by the user in many cases. Therefore, the shape, size, and luminance distribution of the blur pattern need not be strictly calculated, and various types can be used. In other words, if the light that should be imaged and concentrated at one point is appropriately distributed inside the blur pattern, it is possible to use a pattern having an arbitrary luminance distribution in an arbitrary size and shape as the blur pattern. It is possible. For example, the shape of the blur pattern may be a square with one side having a blur diameter ε, or, for example, a Gaussian distribution may be used as the luminance distribution. In addition, any of the following formulas may be used as the calculation formula of the blur diameter ε.
【００５６】 ε＝β×Ｄ×｜ｚ−ｚ0｜／｜ｚ0｜ …………（ａ３） ε＝ａ×Ｄ×｜ｚ−ｚ0｜ …………（ａ４） ａ ： 定数（＞０） ε＝ｂ×｜ｚ−ｚ0｜ …………（ａ５） ｂ ： 定数（＞０） 要するに、本発明に係る表示装置においては、前記ぼけ
パターンの大きさと形と輝度分布とは、表示対象上の各
箇所の空間位置と所定の空間位置とに応じてぼけて知覚
される画像を生成可能であるならば、どのようにでも定
義可能である。Ε = β × D × | z−z0 | / | z0 | (a3) ε = a × D × | z−z0 | (a4) a: constant ( > 0) ε = b × | z−z0 | (a5) b: constant (> 0) In short, in the display device according to the present invention, the size, shape, and luminance distribution of the blur pattern are as follows. Any definition is possible as long as an image that is blurred and perceived according to the spatial position of each location on the display target and a predetermined spatial position can be generated.
【００５７】あるいは、上記実施例および変形例におけ
る瞳径推定部が、使用者の瞳径を直接計測するのではな
く、使用者の目に飛び込むであろう使用者周囲の明るさ
を計測して、間接的に現在の瞳径を割り出しても良い。
前記使用者周囲の明るさは表示輝度と外光の和であると
考えられるから、式（ｃ）からＤを計算するための式が
以下のように誘導される。Alternatively, the pupil diameter estimating unit in the above-described embodiment and the modified example does not directly measure the pupil diameter of the user, but measures the brightness around the user who may jump into the eyes of the user. Alternatively, the current pupil diameter may be indirectly determined.
Since the brightness around the user is considered to be the sum of display brightness and external light, an equation for calculating D from equation (c) is derived as follows.
【００５８】 Ｄ2×Ｉ＝Ｄ02×Ｉ0 …………（ｅ） Ｄ0： 基準瞳径 Ｄ ： 現在の瞳径 Ｉ0： 瞳孔開度が基準瞳径となる周囲光強度 Ｉ ： 現在の周囲光強度 Ｄ＝Ｄ0×ＩR …………（ｆ） ＩR： Ｉ0／Ｉの平方根 周囲光強度に基づく瞳径推定部は、瞳径を直接計測しな
いために精度の点で多少劣るものと考えられるが、光セ
ンサのみで簡便に実現可能であり、装置規模を非常にコ
ンパクトにできるという点において利便性が高い。D2 × I = D02 × I0 (e) D0 : Reference pupil diameter D: Current pupil diameter I0 : Ambient light intensity at which pupil opening becomes the reference pupil diameter I: current ambient light intensityD = D 0 × I R ............ (f) I R: I 0 / pupil diameter estimator square root based on ambient light intensity of I is the point of accuracy in order not to directly measure the pupil diameter Although it is considered to be somewhat inferior to the above, it can be easily realized only with the optical sensor, and is very convenient in that the apparatus can be made very compact.
【００５９】また、画像生成部が使用者の瞳径に応じて
表示輝度を変更する上記実施例および変形例において、
画像生成部が表示される画素の輝度ベクトルの合計値を
一定に保つ表示輝度の制御を行なうようにしても良い。
この場合、外光は一定であるとの仮定を必要とするが、
瞳径推定部全体と画像生成部におけるサーボ機構とを排
除したコンパクトな装置規模にできる利点があり、その
利便性はより一層向上する。あるいは、外光が制御可能
であるとして、表示輝度と外光の少なくとも１つを制御
することも可能である。In the above-described embodiment and the modification in which the image generating unit changes the display luminance according to the pupil diameter of the user,
The image generation unit may control the display luminance to keep the total value of the luminance vectors of the displayed pixels constant.
In this case, we need to assume that the external light is constant,
There is an advantage that the apparatus can be made compact in size by eliminating the entire pupil diameter estimating unit and the servo mechanism in the image generating unit, and the convenience is further improved. Alternatively, it is also possible to control at least one of the display luminance and the external light, assuming that the external light can be controlled.
【００６０】さらに、瞳径推定部を有する上記の実施例
および変形例において、注視箇所指定部と瞳径推定部は
効率を上げるために前記楕円形長軸の情報を共用する構
成となっているが、例えば、眼球を動かす筋肉の電位を
計測することによって視線を推定し、瞳径を周囲光強度
から推定するなど、実現方式によっては各々独立の構成
とすることも可能である。Further, in the above-described embodiment and the modified example having the pupil diameter estimating unit, the gaze point designating unit and the pupil diameter estimating unit share the information of the elliptical long axis in order to increase the efficiency. However, independent configurations are possible depending on the implementation method, such as estimating the line of sight by measuring the potential of the muscles that move the eyeball and estimating the pupil diameter from the ambient light intensity.
【００６１】あるいは、注視箇所指定部を有し、前描画
部がｚバッファアルゴリズムで描画を行なう上記の実施
例および変形例において、注視箇所指定部がマウスなど
の手段で指定される表示画面上の座標を検出し、該座標
に対応する前描画バッファ上の画素に格納される座標を
注視座標として出力するか、前記図４における注視座標
計算部４０４が、２視線を最短距離で結ぶ線分の中点に
対応する前描画バッファ上の画素の座標を注視座標とし
て出力しても良い。このようにすると、注視箇所は必ず
視点から可視である表示対象表面上にある点となるの
で、注視することが無意味であったり、不可視であった
りする表示対象の手前や内部の点に不本意に焦点を合わ
せてしまうことを防止できるので、その利便性は一層向
上する。Alternatively, in the above-described embodiment and the modified example in which the gaze point designating unit has a gaze point designating unit and the preceding drawing unit draws by the z-buffer algorithm, the gaze point designating unit is designated on the display screen by a means such as a mouse. The coordinates are detected, and the coordinates stored in the pixel on the previous drawing buffer corresponding to the coordinates are output as gaze coordinates, or the gaze coordinate calculation unit 404 in FIG. The coordinates of the pixel on the previous drawing buffer corresponding to the midpoint may be output as the gaze coordinates. In this case, the gazing point is always a point on the surface of the display target that is visible from the viewpoint, and therefore, it is insignificant or invisible to a point before or inside the display target that is invisible or invisible. Since it is possible to prevent the user from focusing on the intention, the convenience is further improved.
【００６２】なお、本発明に係る表示装置に補助的な手
段を付加してその利便性を向上させることも可能であ
る。例えば、上記実施例および変形例に新たに通信手段
を付加し、表示対象や表示結果やその他の情報を他の外
部装置とやりとりしても良い。あるいは、装置の各構成
要素間を有線／無線のいずれかによって結び付けるため
の補助的通信手段を設けても良い。また、新たに印刷手
段や記録手段を付加し、表示結果を印刷出力や録画出力
しても良い。さらに、新たに記憶手段を付加し、各構成
要素に別々に格納される諸情報を一括して記憶格納する
構成としても良い。It is also possible to add auxiliary means to the display device according to the present invention to improve its convenience. For example, a communication unit may be newly added to the above-described embodiment and modified examples, and a display target, a display result, and other information may be exchanged with another external device. Alternatively, auxiliary communication means for connecting each component of the device by wire or wirelessly may be provided. Further, a printing unit or a recording unit may be newly added, and the display result may be printed out or recorded. Further, a configuration may be adopted in which a storage unit is newly added to collectively store and store various information separately stored in each component.
【００６３】以上で述べたように、本発明に係る表示装
置はその要旨を逸脱しない限りにおいて種々変形組み合
わせて実施可能である。As described above, the display device according to the present invention can be implemented in various modified combinations without departing from the gist thereof.
【００６４】[0064]
【発明の効果】本発明に係る表示装置によれば、使用者
は両眼視において両眼輻輳角に基づく距離感覚に矛盾し
ないぼかし処理を施された画像を観察することができ、
疲労の少ない状態で該表示装置を使用でき、作業効率を
上げることができる。According to the display device of the present invention, the user can observe a blur-processed image which is consistent with the distance sensation based on the binocular convergence angle in binocular vision.
The display device can be used with less fatigue, and the working efficiency can be improved.
【図１】両眼輻輳角に基づく人間の距離知覚の原理図。FIG. 1 is a principle diagram of human distance perception based on binocular convergence angles.
【図２】両眼視表示装置の原理図。FIG. 2 is a principle diagram of a binocular display device.
【図３】本発明に係る表示装置の第１と第２の実施例の
全体構成図。FIG. 3 is an overall configuration diagram of first and second embodiments of a display device according to the present invention.
【図４】本発明に係る表示装置の注視箇所指定部の構成
図。FIG. 4 is a configuration diagram of a gaze point designation unit of the display device according to the present invention.
【図５】本発明に係る表示装置の画像生成部の構成図。FIG. 5 is a configuration diagram of an image generation unit of the display device according to the present invention.
【図６】本発明に係る表示装置のぼけ生成の原理図。FIG. 6 is a principle diagram of blur generation of the display device according to the present invention.
【図７】レイトレーシングの原理図。FIG. 7 is a diagram illustrating the principle of ray tracing.
【図８】本発明に係る表示装置の第３と第４の実施例の
全体構成図。FIG. 8 is an overall configuration diagram of a third and a fourth embodiment of the display device according to the present invention.
【図９】本発明に係る表示装置の処理状態を示すフロー
チャート。FIG. 9 is a flowchart showing a processing state of the display device according to the present invention.
３０１……注視個所指定部 ３０２……画像生成部 ３０３……表示部 301: gaze point designation unit 302: image generation unit 303: display unit
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−129573（ＪＰ，Ａ) 特開 昭63−66682（ＪＰ，Ａ) 特開 昭63−259778（ＪＰ，Ａ) 特開 昭64−1082（ＪＰ，Ａ) ”視覚のぼけ特性のモデル化と両眼立 体表示”，電子情報通信学会論文誌，社 団法人電子情報通信学会，1990年９月25 日，Ｖｏｌ．Ｊ73−Ｄ−ＩＩ，Ｎｏ. ９，ｐ．1571−1573 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 11/80 G06T 15/00 G06T 17/40 G09G 5/36 ＣＳＤＢ（日本国特許庁)──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-3-129573 (JP, A) JP-A-63-66682 (JP, A) JP-A-63-259778 (JP, A) JP-A 64-64 1082 (JP, A) "Modeling of visual blur characteristics and binocular stereoscopic display", Transactions of the Institute of Electronics, Information and Communication Engineers, The Institute of Electronics, Information and Communication Engineers, September 25, 1990, Vol. J73-D-II, No. 9, p. 1571-1573 (58) Fields investigated (Int. Cl.7 , DB name) G06T 11/80 G06T 15/00 G06T 17/40 G09G 5/36 CSDB (Japan Patent Office)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP604293AJP3325323B2 (en) | 1993-01-18 | 1993-01-18 | Display device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP604293AJP3325323B2 (en) | 1993-01-18 | 1993-01-18 | Display device |
| Publication Number | Publication Date |
|---|---|
| JPH06215092A JPH06215092A (en) | 1994-08-05 |
| JP3325323B2true JP3325323B2 (en) | 2002-09-17 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP604293AExpired - Fee RelatedJP3325323B2 (en) | 1993-01-18 | 1993-01-18 | Display device |
| Country | Link |
|---|---|
| JP (1) | JP3325323B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008176522A (en)* | 2007-01-18 | 2008-07-31 | Sgi Japan Ltd | Method and device for generating defocus image |
| JP2009003812A (en)* | 2007-06-22 | 2009-01-08 | Sgi Japan Ltd | Generation method and generation device of defocus image |
| US9332247B2 (en) | 2010-12-22 | 2016-05-03 | Konica Minolta, Inc. | Image processing device, non-transitory computer readable recording medium, and image processing method |
| EP3286915B1 (en) | 2015-04-23 | 2021-12-08 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| DK201870623A1 (en)* | 2018-09-11 | 2020-04-15 | Apple Inc. | User interfaces for simulated depth effects |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| Title |
|---|
| "視覚のぼけ特性のモデル化と両眼立体表示"，電子情報通信学会論文誌，社団法人電子情報通信学会，１９９０年９月２５日，Ｖｏｌ．Ｊ７３−Ｄ−ＩＩ，Ｎｏ．９，ｐ．１５７１−１５７３ |
| Publication number | Publication date |
|---|---|
| JPH06215092A (en) | 1994-08-05 |
| Publication | Publication Date | Title |
|---|---|---|
| JP3787939B2 (en) | 3D image display device | |
| US11736674B2 (en) | Dynamic convergence adjustment in augmented reality headsets | |
| CN107783298B (en) | Display device and the method shown using the display device | |
| US9720238B2 (en) | Method and apparatus for a dynamic “region of interest” in a display system | |
| US11550151B2 (en) | Method of determining an eye parameter of a user of a display device | |
| CN109979016B (en) | Method for displaying light field image by AR (augmented reality) equipment, AR equipment and storage medium | |
| JP3325323B2 (en) | Display device | |
| KR20210005555A (en) | Mixed reality optical system with digitally corrected aberration | |
| US12299192B2 (en) | Visual assistance | |
| US12181648B2 (en) | Image compensation device for image for augmented reality | |
| KR20210072348A (en) | Dynamic foveated rendering method for realistic virtual reality | |
| KR101817436B1 (en) | Apparatus and method for displaying contents using electrooculogram sensors | |
| US20250240400A1 (en) | Methods for controlling performance of extended reality display systems | |
| JP2018157276A (en) | Image display device, image display method, and program | |
| US20200304778A1 (en) | Display apparatus and method of producing images having spatially-variable angular resolutions | |
| KR20230065846A (en) | Smart glasses | |
| JP4102410B2 (en) | 3D image display device | |
| JP3444935B2 (en) | Image generator | |
| US20250239010A1 (en) | Saccade contingent reduced resolution rendering | |
| US12058452B2 (en) | Image blending | |
| JP2024081406A (en) | Image processing device and method, program, and storage medium | |
| JP2024008006A (en) | Image processing device, display device, image processing method, and program | |
| HK40058405A (en) | Dynamic convergence adjustment in virtual reality headsets |
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) | Free format text:PAYMENT UNTIL: 20080705 Year of fee payment:6 | |
| LAPS | Cancellation because of no payment of annual fees |