JP2017156665A - Video display device, video display method, and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a video display device that can display a part of a screen which a user can view clearly, as a magnification region.SOLUTION: An image display unit 101 displays video information. An image acquisition unit 102 acquires image information of a user who views the video information. A line of sight detection unit 103 detects the line of sight of the user from the image information of the user acquired by the image acquisition unit. A posture detection unit 104 detects the user's posture from the image information of the user acquired by the image acquisition unit. A gaze region determination unit 105 determines the user's gazing region from the detected line of sight of the user. A magnification region determination unit 106 determines a magnification region from the detected user's posture. A video processing unit 107 magnifies the image displayed in the gaze region and displays the magnified image in the magnification region.SELECTED DRAWING: Figure 6

Description

Translated fromJapanese

本発明は、映像表示装置、映像表示方法、及びプログラムに関する。  The present invention relates to a video display device, a video display method, and a program.

大画面の表示パネルを備えた映像表示装置では、ユーザの目線の方向にある画面に、有用なコンテンツを表示することが効果的である。このことから、ユーザの目線を検出し、このユーザの目線の方向に応じて、表示領域を選定することが提案されている。また、特許文献１には、画像から検出された人の頭部と肩周りの領域の輪郭線の画像特徴から人体の向きを求めるものが記載されている。また、特許文献２には、ユーザの注視点を識別して、コンピュータ操作を行うものが記載されている。  In a video display device having a large-screen display panel, it is effective to display useful content on a screen in the direction of the user's line of sight. For this reason, it has been proposed to detect the user's line of sight and select a display area according to the direction of the user's line of sight. Japanese Patent Application Laid-Open No. H10-228561 describes a technique for obtaining the orientation of a human body from image features of contour lines of a region around a person's head and shoulder detected from an image. Japanese Patent Application Laid-Open No. 2004-151561 describes a method for identifying a user's gaze point and performing a computer operation.

特開２０１４−９２８８６号公報JP 2014-92886 A特表２０１４−５１４６６１号公報Special table 2014-514661

多数の人が集まる場所に大画面の映像表示装置を設置し、この映像表示装置に広告コンテンツの映像を表示するような、デジタルサイネージが注目されている。大画面で高解像度の表示パネルを備えた映像表示装置を使ってデジタルサイネージを構築した場合、商品の広告宣伝のコンテンツに、その商品についての各種の詳細情報を表示できる。例えば、旅行会社の広告のコンテンツなら、その旅行会社の広告コンテンツとともに、旅行プラン毎の宿泊先のホテル、料金等の詳細情報を表示できる。  Digital signage has been attracting attention, in which a large-screen video display device is installed in a place where a large number of people gather, and video of advertising content is displayed on the video display device. When digital signage is constructed using a video display device with a large screen and a high-resolution display panel, various detailed information about the product can be displayed in the advertising content of the product. For example, in the case of travel agency advertisement content, it is possible to display detailed information such as the accommodation hotel and fee for each travel plan along with the travel agency advertisement content.

しかしながら、このような詳細情報は、ユーザからは読み難い。そこで、ユーザの注視領域を判定し、ユーザの注視領域に表示されているコンテンツを拡大して表示することが考えられる。例えば、旅行会社のコンテンツなら、その旅行会社の広告コンテンツとともに、旅行プラン毎の宿泊先のホテル、料金等の詳細情報が映像表示装置に表示される。ユーザは、この旅行会社のコンテンツを見ていて、興味のある旅行プランがあれば、その旅行プランに関する部分の画面領域のコンテンツを注視することになる。ここで、そのユーザが注視している画面領域を拡大表示させれば、その旅行プランに含まれる宿泊先のホテルや料金等のコンテンツを拡大表示してユーザに見せることができる。  However, such detailed information is difficult for the user to read. Therefore, it is conceivable to determine the user's gaze area and to enlarge and display the content displayed in the user's gaze area. For example, in the case of content from a travel agency, detailed information such as the accommodation hotel and fee for each travel plan is displayed on the video display device together with the advertisement content of the travel agency. If the user is looking at the content of this travel company and there is an interesting travel plan, the user will pay close attention to the content in the screen area of the portion related to the travel plan. Here, if the screen area that the user is gazing at is enlarged and displayed, the content such as the accommodation hotel and the charge included in the travel plan can be enlarged and displayed to the user.

ここで、拡大領域は、ユーザが最も見やすい画面の位置に選定することが望まれる。ユーザが画面に正対していれば、ユーザが最も見やすい画面の位置は、ユーザの正面となる。そこで、ユーザの正面を拡大領域に選定することが考えられる。しかしながら、最も見やすい画面の位置は、常に、ユーザの正面であるとは限らない。ユーザが斜め方向から画面を見ているような姿勢であれば、ユーザが最も見やすい画面の位置はユーザの正面にはならない。また、ユーザの視線の方向を拡大領域に選定することが考えられる。しかしながら、ユーザが横を向きながら映像表示装置を見ているような姿勢であれば、ユーザが最も見やすい画面の位置は、ユーザの視線の方向とはならなくなる。  Here, it is desirable to select the enlarged region at a position on the screen that is most easily seen by the user. If the user is facing the screen, the position of the screen that is most easily seen by the user is the front of the user. Therefore, it is conceivable to select the user's front as an enlarged area. However, the most easily viewable screen position is not always in front of the user. If the posture is such that the user is looking at the screen from an oblique direction, the position of the screen that is most easily viewed by the user will not be in front of the user. It is also conceivable to select the direction of the user's line of sight as an enlarged region. However, if the posture is such that the user is looking sideways while looking at the video display device, the position of the screen that the user can see most is not the direction of the user's line of sight.

上述の課題を鑑み、本発明は、ユーザが最も見やすい画面の位置を拡大領域として、ユーザの注視領域のコンテンツを拡大表示できる映像表示装置、映像表示方法、及びプログラムを提供することを目的とする。  In view of the above-described problems, an object of the present invention is to provide a video display device, a video display method, and a program capable of enlarging and displaying content in a user's gaze area with the position of the screen that the user can easily see as an enlarged area. .

上述の課題を解決するために、本発明の一態様に係る映像表示装置は、映像情報を表示する画像表示部と、前記映像情報を視認しているユーザの画像情報を取得する画像取得部と、前記画像取得部で取得されたユーザの画像情報から、前記ユーザの視線を検出する視線検出部と、前記画像取得部で取得されたユーザの画像情報から、前記ユーザの姿勢を検出する姿勢検出部と、前記検出されたユーザの視線から、前記ユーザの注視領域を判定する注視領域判定部と、前記検出されたユーザの姿勢から、拡大領域を判定する拡大領域判定部と、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させる映像処理部と、を備えることを特徴とする。  In order to solve the above-described problem, a video display device according to an aspect of the present invention includes an image display unit that displays video information, and an image acquisition unit that acquires image information of a user who is viewing the video information. A gaze detection unit that detects the user's gaze from the user image information acquired by the image acquisition unit; and a posture detection that detects the user's posture from the user image information acquired by the image acquisition unit. A gaze area determining unit that determines a gaze area of the user from the detected user's line of sight, an enlarged area determination unit that determines an enlarged area from the detected posture of the user, and the gaze area A video processing unit that enlarges the displayed image and displays the enlarged image in the enlarged area.

本発明の一態様に係る映像表示方法は、画像表示部の映像情報を視認しているユーザの画像情報を取得し、当該取得されたユーザの画像情報から、前記ユーザの視線を検出し、当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出し、前記検出されたユーザの視線から、前記ユーザの注視領域を判定し、前記検出されたユーザの姿勢から、拡大領域を判定し、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させることを特徴とする。  A video display method according to an aspect of the present invention acquires image information of a user who is viewing video information on an image display unit, detects the user's line of sight from the acquired user image information, and From the acquired user image information, the user's posture is detected, the user's gaze area is determined from the detected user's line of sight, and the enlarged region is determined from the detected user's posture, An image displayed in the gaze area is enlarged and displayed in the enlarged area.

本発明の一態様に係るプログラムは、画像表示部の映像情報を視認しているユーザの画像情報を取得するステップと、当該取得されたユーザの画像情報から、前記ユーザの視線を検出するステップと、当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出するステップと、前記検出されたユーザの視線から、前記ユーザの注視領域を判定するステップと、前記検出されたユーザの姿勢から、拡大領域を判定するステップと、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させるステップと、を含むことを特徴とする。  The program which concerns on 1 aspect of this invention acquires the image information of the user who is visually recognizing the video information of an image display part, The step which detects the said user's eyes | visual_axis from the acquired said user's image information, From the acquired user image information, the step of detecting the posture of the user, the step of determining the gaze area of the user from the detected line of sight of the user, and the detected posture of the user, A step of determining an enlarged region; and a step of enlarging an image displayed in the gaze region and displaying the enlarged image in the enlarged region.

本発明によれば、ユーザの視線を検出してユーザの注視領域を判定し、ユーザの姿勢を検出して、拡大領域を決定している。これにより、ユーザが最も見やすい画面の位置を拡大領域として、ユーザの注視領域のコンテンツを拡大表示できる。  According to the present invention, the user's line of sight is detected to determine the user's gaze area, the user's posture is detected, and the enlarged area is determined. Accordingly, the content of the user's gaze area can be enlarged and displayed with the position of the screen that is most easily viewable by the user as the enlarged area.

本発明の第１の実施形態に係る映像表示装置の概要の説明図である。It is explanatory drawing of the outline | summary of the video display apparatus which concerns on the 1st Embodiment of this invention.ユーザの視線及び姿勢と注視領域及び拡大領域との関係の説明図である。It is explanatory drawing of the relationship between a user's eyes | visual_axis and attitude | position, a gaze area | region, and an expansion area.本発明の第１の実施形態に係る映像表示装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a video display device according to a first embodiment of the present invention.本発明の第１の実施形態に係る映像表示装置での処理を示すフローチャートである。It is a flowchart which shows the process in the video display apparatus which concerns on the 1st Embodiment of this invention.本発明の第２の実施形態の概要の説明図である。It is explanatory drawing of the outline | summary of the 2nd Embodiment of this invention.本発明の基本構成のブロック図である。It is a block diagram of the basic composition of the present invention.

＜第１の実施形態＞
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る映像表示装置１の概要を示すものである。<First Embodiment>
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows an outline of avideo display apparatus 1 according to the first embodiment of the present invention.

図１に示すように、本発明の第１の実施形態に係る映像表示装置１は、大型で高解像度の表示パネル１１を備えている。なお、複数のディスプレイを並べたマルチディスプレイにより、大型で高解像度の表示パネル１１を構成するようにしても良い。  As shown in FIG. 1, thevideo display device 1 according to the first embodiment of the present invention includes a large and high-resolution display panel 11. Note that the large-sized and high-resolution display panel 11 may be configured by a multi-display in which a plurality of displays are arranged.

また、本発明の第１の実施形態に係る映像表示装置１には、カメラ（画像取得装置）２が備えられている。カメラ２は、ユーザ３の視線と姿勢を検出するために、ユーザ３の画像情報を取得する。ユーザ３の目線は、カメラ２で撮影されたユーザ３の画像から、例えば目の虹彩の位置に基づいて検出できる。また、ユーザ３の姿勢は、カメラ２で撮影されたユーザ３の画像から、例えば肩の位置に基づいて検出できる。カメラ２は、映像表示装置１のベゼル等に設けても良いし、映像表示装置１に外付けしても良い。  Thevideo display device 1 according to the first embodiment of the present invention includes a camera (image acquisition device) 2. Thecamera 2 acquires image information of theuser 3 in order to detect the line of sight and posture of theuser 3. The line of sight of theuser 3 can be detected from the image of theuser 3 taken by thecamera 2 based on, for example, the iris position. Further, the posture of theuser 3 can be detected from the image of theuser 3 taken by thecamera 2 based on the position of the shoulder, for example. Thecamera 2 may be provided on a bezel or the like of thevideo display device 1 or may be externally attached to thevideo display device 1.

指示入力装置４は、例えばリモートコントローラであり、映像表示装置１の操作を行う。なお、指示入力装置４としてマイクロホンを用い、音声認識により、所望の操作入力を行えるようにしても良い。  The instruction input device 4 is a remote controller, for example, and operates thevideo display device 1. Note that a microphone may be used as the instruction input device 4 and desired operation input may be performed by voice recognition.

図１（Ａ）は、ユーザ３が表示パネル１１に正対して座り、表示パネル１１のほぼ中央を注視している状態を示している。ここで、ユーザ３が指示入力装置４を操作して、拡大表示開始の指示の入力を与えたとする。この場合、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の視線を検出し、このユーザの視線の検出情報から、ユーザ３の注視領域Ａ１を判定する。また、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の姿勢を検出し、このユーザの姿勢の検出情報から、拡大領域Ｂ１を選定する。ユーザ３の視線から注視領域Ａ１が判定され、ユーザ３の姿勢から拡大領域Ｂ１が選定されると、映像表示装置１は、注視領域Ａ１に表示されていたコンテンツを拡大して、拡大領域Ｂ１に表示する。  FIG. 1A shows a state in which theuser 3 is sitting facing thedisplay panel 11 and is gazing at the approximate center of thedisplay panel 11. Here, it is assumed that theuser 3 operates the instruction input device 4 and inputs an instruction to start enlarged display. In this case, thevideo display apparatus 1 analyzes the image of thecamera 2 to detect the line of sight of theuser 3, and determines the gaze area A1 of theuser 3 from the detection information of the line of sight of the user. In addition, thevideo display device 1 analyzes the image of thecamera 2 to detect the posture of theuser 3 and selects the enlarged region B1 from the detection information of the posture of the user. When the gaze area A1 is determined from the line of sight of theuser 3 and the enlarged area B1 is selected from the posture of theuser 3, thevideo display device 1 enlarges the content displayed in the gaze area A1 to the enlarged area B1. indicate.

これに対して、図１（Ｂ）は、ユーザ３が表示パネル１１に対して横を向いて座りながら、表示パネル１１を注視している状態を示している。ここで、ユーザ３が指示入力装置４を操作して、拡大表示開始の指示の入力を与えたとする。この場合、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の視線を検出し、このユーザ３の視線の検出情報から、ユーザ３の注視領域Ａ１を判定する。  In contrast, FIG. 1B shows a state in which theuser 3 is gazing at thedisplay panel 11 while sitting sideways with respect to thedisplay panel 11. Here, it is assumed that theuser 3 operates the instruction input device 4 and inputs an instruction to start enlarged display. In this case, thevideo display device 1 analyzes the image of thecamera 2 to detect the line of sight of theuser 3, and determines the gaze area A1 of theuser 3 from the detection information of the line of sight of theuser 3.

この例では、ユーザ３は首を曲げて画像を見ているが、ユーザ３の視線から注視領域を判定することで、ユーザ３は首を曲げている場合でも注視領域Ａ１を確実に判定できる。また、映像表示装置１は、カメラ２の画像を解析して、ユーザ３の姿勢を検出し、このユーザの姿勢の検出情報から、拡大領域Ｂ１を選定する。この例では、ユーザ３は横を向いて座っているが、ユーザ３の姿勢から拡大領域Ｂ１を決定することで、ユーザ３が首を曲げずに、拡大領域Ｂ１を見ることができる。  In this example, theuser 3 bends the neck and looks at the image. However, by determining the gaze area from the line of sight of theuser 3, theuser 3 can reliably determine the gaze area A1 even when the neck is bent. In addition, thevideo display device 1 analyzes the image of thecamera 2 to detect the posture of theuser 3 and selects the enlarged region B1 from the detection information of the posture of the user. In this example, theuser 3 is sitting sideways, but by determining the enlarged region B1 from the posture of theuser 3, theuser 3 can see the enlarged region B1 without bending his neck.

このように、本発明の第１の実施形態に係る映像表示装置１では、カメラ２の画像を解析して、ユーザ３の視線を検出し、このユーザの視線の検出情報から、ユーザ３の注視領域Ａ１を判定している。また、本発明の第１の実施形態に係る映像表示装置１では、カメラ２の画像を解析して、ユーザ３の姿勢を検出し、このユーザ３の姿勢から、拡大領域Ｂ１を決定している。これにより、ユーザ３の姿勢を考慮した最適な画面の位置に、ユーザが注視していたコンテンツを拡大して表示できる。  Thus, in thevideo display device 1 according to the first embodiment of the present invention, the image of thecamera 2 is analyzed to detect the line of sight of theuser 3, and the gaze of theuser 3 is detected from the detection information of the line of sight of the user. The area A1 is determined. In thevideo display device 1 according to the first embodiment of the present invention, the image of thecamera 2 is analyzed, the posture of theuser 3 is detected, and the enlarged region B1 is determined from the posture of theuser 3. . As a result, the content that the user is gazing at can be enlarged and displayed at the optimal screen position in consideration of the posture of theuser 3.

図２は、ユーザ３の視線及び姿勢と、注視領域及び拡大領域との関係を示している。
図２において、カメラ２の撮影画像から、ユーザ３の視線と姿勢とが検出される。図２に示すように、注視領域Ａ１は、ユーザ３の視線方向を延長した直線Ｌ１と、表示パネル１１の表示面とが交わる領域に設定される。また、拡大領域Ｂ１は、ユーザ３の両肩を結ぶ直線に対して垂直な方向を延長した直線Ｌ２と、表示パネル１１の表示面とが交わる領域に設定される。FIG. 2 shows the relationship between the line of sight and posture of theuser 3, the gaze area, and the enlarged area.
In FIG. 2, the line of sight and posture of theuser 3 are detected from the captured image of thecamera 2. As shown in FIG. 2, the gaze area A <b> 1 is set to an area where the straight line L <b> 1 that extends the line-of-sight direction of theuser 3 and the display surface of thedisplay panel 11 intersect. The enlarged area B1 is set to an area where a straight line L2 extending in a direction perpendicular to a straight line connecting both shoulders of theuser 3 and the display surface of thedisplay panel 11 intersect.

次に、本発明の第１の実施形態に係る映像表示装置１の構成について説明する。図３は、本発明の第１の実施形態に係る映像表示装置１の構成を示すブロック図である。
図３に示すように、本発明の第１の実施形態に係る映像表示装置１は、画像入力部２１と、映像処理部２２と、表示駆動部２３と、表示パネル１１と、制御部２５と、記憶部２６と、指示入力部２７と、視線検出部２８と、姿勢検出部２９とから構成される。Next, the configuration of thevideo display device 1 according to the first embodiment of the present invention will be described. FIG. 3 is a block diagram showing a configuration of thevideo display device 1 according to the first embodiment of the present invention.
As shown in FIG. 3, thevideo display device 1 according to the first embodiment of the present invention includes animage input unit 21, avideo processing unit 22, adisplay driving unit 23, adisplay panel 11, and acontrol unit 25. , Astorage unit 26, aninstruction input unit 27, a line-of-sight detection unit 28, and aposture detection unit 29.

画像入力部２１は、外部からの映像信号を入力する。画像入力部２１は、例えば、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ；デジタルビジュアルインターフェース）、またはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ；高精細度マルチメディアインターフェース）である。
映像処理部２２は、画像入力部２１から入力された映像信号の処理を行う。また、映像処理部２２は、制御部２５の制御の下に、注視領域として判定された画像を拡大して、拡大領域に表示させる処理を行う。
表示駆動部２３は、表示パネル１１を駆動する。Theimage input unit 21 inputs an external video signal. Theimage input unit 21 is, for example, DVI (Digital Visual Interface) or HDMI (registered trademark) (High-Definition Multimedia Interface; high-definition multimedia interface).
Thevideo processing unit 22 processes the video signal input from theimage input unit 21. In addition, thevideo processing unit 22 performs a process of enlarging the image determined as the gaze area and displaying the enlarged image under the control of thecontrol unit 25.
Thedisplay driving unit 23 drives thedisplay panel 11.

制御部２５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）等からなり、映像表示装置１を構成する各部を制御する。本実施形態では、制御部２５は、視線検出部２８で検出されたユーザの視線から、ユーザの注視領域を判定する注視領域判定部として機能する。また、制御部２５は、姿勢検出部２９で検出されたユーザの姿勢から、拡大領域を判定する拡大領域判定部として機能する。
記憶部２６は、画像の拡大／縮小処理や、画像の位置を変更する処理を行う際の作業領域として使用される。指示入力部２７は、指示入力装置４からの入力を受け取り、制御部２５に出力する。Thecontrol unit 25 includes a CPU (Central Processing Unit) and the like, and controls each unit configuring thevideo display device 1. In the present embodiment, thecontrol unit 25 functions as a gaze area determination unit that determines a user's gaze area from the user's gaze detected by thegaze detection unit 28. Thecontrol unit 25 functions as an enlarged region determination unit that determines an enlarged region from the user's posture detected by theposture detection unit 29.
Thestorage unit 26 is used as a work area when performing image enlargement / reduction processing or image position change processing. Theinstruction input unit 27 receives an input from the instruction input device 4 and outputs the input to thecontrol unit 25.

視線検出部２８は、カメラ２で撮影されたユーザの画像を解析し、例えば目の虹彩の位置に基づいて、ユーザの視線を検出する。姿勢検出部２９は、カメラ２で撮影されたユーザの画像を解析し、例えば肩の位置に基づいて、ユーザの姿勢を検出する。  The line-of-sight detection unit 28 analyzes the user image captured by thecamera 2 and detects the user's line of sight based on, for example, the iris position. Theposture detection unit 29 analyzes the user image taken by thecamera 2 and detects the posture of the user based on, for example, the position of the shoulder.

図３において、画像入力部２１には、外部から映像信号が入力される。この映像信号は、映像処理部２２で処理された後、表示駆動部２３を介して、表示パネル１１に送られる。表示パネル１１には、画像入力部２１からの映像信号に基づく画像が表示される。  In FIG. 3, a video signal is input to theimage input unit 21 from the outside. The video signal is processed by thevideo processing unit 22 and then sent to thedisplay panel 11 via thedisplay driving unit 23. An image based on the video signal from theimage input unit 21 is displayed on thedisplay panel 11.

指示入力装置４から拡大表示開始の指示の入力が与えられると、この指示入力が指示入力部２７を介して、制御部２５に送られる。制御部２５は、拡大表示開始の指示入力を受け取ると、視線検出部２８から視線検出情報を受け取り、この視線検出情報に基づいて、ユーザの注視領域を判定する。
また、制御部２５は、拡大表示開始の指示入力を受け取ると、姿勢検出部２９から姿勢検出情報を受け取り、この姿勢検出情報に基づいて、拡大領域を判定する。そして、制御部２５は、映像処理部２２を制御して、注視領域として判定された画像を拡大して、拡大領域に表示させる処理を行う。When an instruction to start enlargement display is given from the instruction input device 4, the instruction input is sent to thecontrol unit 25 via theinstruction input unit 27. When receiving an enlarged display start instruction input, thecontrol unit 25 receives gaze detection information from thegaze detection unit 28 and determines the gaze area of the user based on the gaze detection information.
In addition, when receiving an instruction to start enlargement display, thecontrol unit 25 receives posture detection information from theposture detection unit 29, and determines an enlarged region based on the posture detection information. Then, thecontrol unit 25 controls thevideo processing unit 22 to perform processing for enlarging the image determined as the gaze region and displaying the image in the enlarged region.

図４は、本発明の第１の実施形態に係る映像表示装置１での処理を示すフローチャートである。
図４において、制御部２５は、指示入力部２７から拡大表示開始の指示が入力されたか否かを判定する（ステップＳ１０１）。FIG. 4 is a flowchart showing processing in thevideo display apparatus 1 according to the first embodiment of the present invention.
In FIG. 4, thecontrol unit 25 determines whether or not an instruction to start enlargement display is input from the instruction input unit 27 (step S101).

制御部２５は、指示入力部２７から拡大表示開始の指示が入力されたと判定すると（ステップＳ１０１：Ｙｅｓ）、視線検出部２８の情報に基づいて、ユーザの視線を検出する（ステップＳ１０２）。  When thecontrol unit 25 determines that an instruction to start enlarged display is input from the instruction input unit 27 (step S101: Yes), thecontrol unit 25 detects the user's line of sight based on the information of the line-of-sight detection unit 28 (step S102).

ユーザの視線が検出されたら、制御部２５は、ユーザの視線から、ユーザの注視領域を判定する（ステップＳ１０３）。  If a user's eyes | visual_axis is detected, thecontrol part 25 will determine a user's gaze area | region from a user's eyes | visual_axis (step S103).

次に、制御部２５は、姿勢検出部２９の検出情報に基づいて、ユーザの姿勢を検出する（ステップＳ１０４）。  Next, thecontrol part 25 detects a user's attitude | position based on the detection information of the attitude | position detection part 29 (step S104).

ユーザの視線が検出されたら、制御部２５は、ユーザの姿勢から、拡大表示領域を選定する（ステップＳ１０５）。  When the user's line of sight is detected, thecontrol unit 25 selects an enlarged display area from the user's posture (step S105).

拡大表示領域が選定されたら、制御部２５は、映像処理部２２を制御し、注視領域の画像を拡大して、拡大表示領域に表示させる（ステップＳ１０６）。  When the enlarged display area is selected, thecontrol unit 25 controls thevideo processing unit 22 to enlarge the image of the gaze area and display it in the enlarged display area (step S106).

制御部２５は、指示入力部２７から拡大表示終了の指示が入力されたか否かを判定する（ステップＳ１０７）。  Thecontrol unit 25 determines whether an instruction to end the enlarged display is input from the instruction input unit 27 (step S107).

指示入力部２７から拡大表示終了の指示が入力されたと判定すると（ステップＳ１０７：Ｙｅｓ）、制御部２５は、拡大表示処理を終了させ（ステップＳ１０８）、処理をステップＳ１０１にリターンする。  If it is determined that the enlargement display end instruction is input from the instruction input unit 27 (step S107: Yes), thecontrol unit 25 ends the enlargement display process (step S108), and the process returns to step S101.

以上説明したように、本発明の第１の実施形態では、ユーザ３の視線の検出情報から、注視領域を判定し、ユーザ３の姿勢の検出情報から、拡大領域を選定している。これにより、ユーザ３の姿勢を考慮した最適な画面の位置に、ユーザが注視していたコンテンツを拡大して表示できる。  As described above, in the first embodiment of the present invention, the gaze area is determined from the detection information of the line of sight of theuser 3, and the enlarged area is selected from the detection information of the posture of theuser 3. As a result, the content that the user is gazing at can be enlarged and displayed at the optimal screen position in consideration of the posture of theuser 3.

＜第２の実施形態＞
図５は、本発明の第２の実施形態の概要を示すものである。上述の第１の実施形態では、１台のカメラ２で、ユーザ３の視線及び姿勢を検出している。これに対して、この第２の実施形態では、図５に示すように、複数のカメラ２ａ、２ｂ、２ｃ、…を設置して、ユーザ３の視線及び姿勢を検出している。<Second Embodiment>
FIG. 5 shows an outline of the second embodiment of the present invention. In the first embodiment described above, the line of sight and posture of theuser 3 are detected by thesingle camera 2. On the other hand, in the second embodiment, as shown in FIG. 5, a plurality ofcameras 2a, 2b, 2c,... Are installed to detect the line of sight and posture of theuser 3.

すなわち、図５に示すように、カメラ２ａ、２ｂ、２ｃ、…の画角αが例えば８０度であり、映像表示装置１の横方向の長さが３ｍであるとする。この場合、１台のカメラ、例えばカメラ２ｂが映像表示装置１の横方向の全てを撮像領域としてカバーするためには、ユーザ３と映像表示装置１との間の距離を約１．８ｍ離す必要がある。  That is, as shown in FIG. 5, it is assumed that the angle of view α of thecameras 2a, 2b, 2c,... Is 80 degrees and the horizontal length of thevideo display device 1 is 3 m. In this case, in order for one camera, for example, thecamera 2b, to cover the entire horizontal direction of thevideo display device 1 as an imaging region, the distance between theuser 3 and thevideo display device 1 needs to be about 1.8 m apart. There is.

そこで、この第２の実施形態では、例えば、１．１９ｍ毎に、複数のカメラ２ａ、２ｂ、２ｃ、…を配置するようにしている。このように、複数のカメラ２ａ、２ｂ、２ｃ、…を設置すれば、例えば、画像表示装置からの距離が常に約１ｍ以上の距離でも、複数のカメラ２ａ、２ｂ、２ｃ、…により、映像表示装置１の横方向の全てで、ユーザ３をカバーできる。
このように、カメラの必要台数やカメラ間の距離は、映像表示装置１の画面の横幅及びカメラの画角に応じて決められる。Therefore, in the second embodiment, for example, a plurality ofcameras 2a, 2b, 2c,... Are arranged every 1.19 m. Thus, if a plurality ofcameras 2a, 2b, 2c,... Are installed, for example, even if the distance from the image display device is always about 1 m or more, video display is performed by the plurality ofcameras 2a, 2b, 2c,. Theuser 3 can be covered in all the lateral directions of theapparatus 1.
As described above, the required number of cameras and the distance between the cameras are determined according to the width of the screen of thevideo display device 1 and the angle of view of the camera.

図６は、本発明による映像表示装置の基本構成を示す概略ブロック図である。本発明による映像表示装置は、画像表示部１０１と、画像取得部１０２と、視線検出部１０３と、姿勢検出部１０４と、注視領域判定部１０５と、拡大領域判定部１０６と、映像処理部１０７とを備える。
画像表示部１０１は、映像情報を表示する。
画像取得部１０２は、映像情報を視認しているユーザの画像情報を取得する。
視線検出部１０３は、画像取得部で取得されたユーザの画像情報から、ユーザの視線を検出する。
姿勢検出部１０４は、画像取得部で取得されたユーザの画像情報から、ユーザの姿勢を検出する。
注視領域判定部１０５は、検出されたユーザの視線から、ユーザの注視領域を判定する。
拡大領域判定部１０６は、検出されたユーザの姿勢から、拡大領域を判定する。
映像処理部１０７は、注視領域に表示されていた画像を拡大して拡大領域に表示させる。FIG. 6 is a schematic block diagram showing the basic configuration of the video display apparatus according to the present invention. An image display device according to the present invention includes animage display unit 101, animage acquisition unit 102, a line-of-sight detection unit 103, aposture detection unit 104, a gazearea determination unit 105, an enlargedarea determination unit 106, and avideo processing unit 107. With.
Theimage display unit 101 displays video information.
Theimage acquisition unit 102 acquires image information of a user who is viewing video information.
The line-of-sight detection unit 103 detects the user's line of sight from the user's image information acquired by the image acquisition unit.
Theposture detection unit 104 detects the posture of the user from the user image information acquired by the image acquisition unit.
The gazearea determination unit 105 determines the user's gaze area from the detected user's line of sight.
The enlargedarea determination unit 106 determines an enlarged area from the detected posture of the user.
Thevideo processing unit 107 enlarges the image displayed in the gaze area and displays it in the enlarged area.

なお、映像表示装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。A program for realizing all or part of the functions of thevideo display device 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. You may perform the process of each part. Here, the “computer system” includes an OS and hardware such as peripheral devices.
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。  The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.

１：画像表示装置，
２：カメラ，
４：指示入力装置，
１１：表示パネル，
２１：画像入力部，
２２：映像処理部，
２３：表示駆動部，
２５：制御部，
２６：記憶部，
２７：指示入力部，
２８：視線検出部，
２９：姿勢検出部1: Image display device,
2: Camera,
4: Instruction input device,
11: Display panel,
21: Image input unit,
22: Video processing unit,
23: Display drive unit,
25: Control unit,
26: storage unit,
27: Instruction input part,
28: Gaze detection unit,
29: Attitude detection unit

Claims (6)

Translated fromJapanese

映像情報を表示する画像表示部と、
前記映像情報を視認しているユーザの画像情報を取得する画像取得部と、
前記画像取得部で取得されたユーザの画像情報から、前記ユーザの視線を検出する視線検出部と、
前記画像取得部で取得されたユーザの画像情報から、前記ユーザの姿勢を検出する姿勢検出部と、
前記検出されたユーザの視線から、前記ユーザの注視領域を判定する注視領域判定部と、
前記検出されたユーザの姿勢から、拡大領域を判定する拡大領域判定部と、
前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させる映像処理部と、
を備えることを特徴とする映像表示装置。An image display unit for displaying video information;
An image acquisition unit for acquiring image information of a user viewing the video information;
A line-of-sight detection unit that detects the line of sight of the user from the image information of the user acquired by the image acquisition unit;
A posture detection unit that detects the posture of the user from the image information of the user acquired by the image acquisition unit;
A gaze area determination unit that determines the gaze area of the user from the detected line of sight of the user;
An enlarged area determination unit for determining an enlarged area from the detected posture of the user;
A video processing unit for enlarging an image displayed in the gaze area and displaying the enlarged image in the enlarged area;
A video display device comprising: 前記映像処理部は、指示入力装置からの入力に基づいて、前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させることを特徴とする請求項１に記載の映像表示装置。  The video display device according to claim 1, wherein the video processing unit enlarges an image displayed in the gaze area and displays the enlarged image in the enlarged area based on an input from the instruction input device. 前記拡大領域は、前記ユーザの両肩を結んだ線分の中心と交わる該線分の法線と、前記画像表示部が交わる点を心として選定されることを特徴とする請求項１又は２に記載の映像表示装置。  3. The enlarged region is selected with a point at which the normal of the line segment that intersects the center of the line segment that connects both shoulders of the user and the image display unit intersect as a heart. The video display device described in 1. 前記画像取得部の台数及び設置間隔は、前記画像表示部の表示画面の横幅及び前記画像取得部の画角に応じて決められることを特徴とする請求項１乃至３の何れかに記載の映像表示装置。  4. The video according to claim 1, wherein the number and installation interval of the image acquisition units are determined according to a width of a display screen of the image display unit and an angle of view of the image acquisition unit. Display device. 画像表示部の映像情報を視認しているユーザの画像情報を取得し、
当該取得されたユーザの画像情報から、前記ユーザの視線を検出し、
当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出し、
前記検出されたユーザの視線から、前記ユーザの注視領域を判定し、
前記検出されたユーザの姿勢から、拡大領域を判定し、
前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させる
ことを特徴とする映像表示方法。Obtain the image information of the user who is viewing the video information of the image display unit,
From the acquired user image information, the line of sight of the user is detected,
From the acquired user image information, the posture of the user is detected,
From the detected user's line of sight, determine the user's gaze area,
From the detected user posture, determine an enlarged region,
An image display method, wherein an image displayed in the gaze area is enlarged and displayed in the enlargement area. 画像表示部の映像情報を視認しているユーザの画像情報を取得するステップと、
当該取得されたユーザの画像情報から、前記ユーザの視線を検出するステップと、
当該取得されたユーザの画像情報から、前記ユーザの姿勢を検出するステップと、
前記検出されたユーザの視線から、前記ユーザの注視領域を判定するステップと、
前記検出されたユーザの姿勢から、拡大領域を判定するステップと、
前記注視領域に表示されていた画像を拡大して前記拡大領域に表示させるステップと、
を含むコンピュータにより実行可能なプログラム。Acquiring image information of a user viewing the video information on the image display unit;
Detecting the user's line of sight from the acquired image information of the user;
Detecting the posture of the user from the acquired image information of the user;
Determining the user's gaze area from the detected user's line of sight;
Determining an enlarged region from the detected user posture;
Enlarging the image displayed in the gaze area and displaying it in the enlarged area;
A program executable by a computer including

Images