【０００１】[0001]
【発明の属する技術分野】本発明は、マルチ画面の制御
方法に関し、特にマルチ画面表示に於ける音声出力制御
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multi-screen control method and, more particularly, to audio output control in multi-screen display.
【０００２】[0002]
【従来の技術】従来より、主画面と子画面を表示して、
主画面に対応する音声のみを音声出力し、子画面の音声
を出力する場合には、リモコン等により子画面を主画面
に表示切換えすることにより音声出力するテレビ等が市
販されている。2. Description of the Related Art Conventionally, a main screen and a sub screen are displayed,
In the case where only the sound corresponding to the main screen is output as sound and the sound of the sub-screen is output, a television or the like which outputs sound by switching the display of the sub-screen to the main screen using a remote controller or the like is commercially available.
【０００３】[0003]
【発明が解決しようとする課題】しかし、従来のテレビ
では、所望の画面の音声を出力させたい場合、リモコン
等で換操作を行う必要であり、操作が煩雑になるという
問題点を有していた。However, the conventional television has a problem that, when it is desired to output a sound of a desired screen, it is necessary to perform a replacement operation using a remote controller or the like, and the operation becomes complicated. Was.
【０００４】本発明は、前記問題点に鑑みてなされたも
のであり、煩雑な操作を必要とせず、マルチ画面表示に
於ける音声出力を制御する装置を提供することを目的と
するものである。[0004] The present invention has been made in view of the above problems, and has as its object to provide an apparatus that controls audio output in multi-screen display without requiring complicated operations. .
【０００５】[0005]
【課題を解決するための手段】本発明は、請求項１は、
マルチ画面を表示し、夫々の画面の音声を出力するマル
チ画面装置に於いて、前記マルチ画面の視聴者の視線方
向を検出する視線検出手段と、該視線検出手段により検
出された視線方向に基づき、前記マルチ画面装置の音声
出力を制御する音声出力制御手段とを設けたことを特徴
とする。According to the present invention, claim 1 is:
In a multi-screen device that displays a multi-screen and outputs audio of each screen, a gaze detection unit that detects a gaze direction of the viewer of the multi-screen, based on a gaze direction detected by the gaze detection unit And audio output control means for controlling the audio output of the multi-screen device.
【０００６】請求項２は、請求項１に於いて、前記音声
出力制御手段は、前記視線検出手段により検出された視
線方向に基づき、前記マルチ画面のうち視線方向の当該
画面の音声を出力することを特徴とする。According to a second aspect, in the first aspect, the sound output control means outputs a sound of the screen in the line of sight of the multi-screen based on the line of sight detected by the line of sight detecting means. It is characterized by the following.
【０００７】請求項３は、請求項２に於いて、前記音声
出力制御手段は、前記視線検出手段により検出された視
線方向に基づき、前記視線方向の画面に視線が所定時間
以上ある場合、視線方向の当該画面の音声を出力するこ
とを特徴とする。According to a third aspect of the present invention, in the second aspect, the voice output control means determines whether or not the screen in the line of sight has a line of sight for a predetermined time or more based on the line of sight detected by the line of sight detection means. The sound of the screen in the direction is output.
【０００８】請求項４は、請求項２に於いて、前記音声
出力制御手段は、前記視線検出手段により検出された視
線方向に基づき、前記視線方向の画面に視線がある時間
に比例した大きさで視線方向の当該画面の音声を出力す
ることを特徴とする。According to a fourth aspect of the present invention, in the second aspect, the voice output control means has a size proportional to a time during which a line of sight is present on the screen in the line of sight based on the line of sight detected by the line of sight detection means. Output the sound of the screen in the line of sight.
【０００９】請求項５は、マルチ画面を表示し、夫々の
画面の音声を出力するマルチ画面装置に於いて、前記マ
ルチ画面の視聴者の顔向き方向を検出する顔向き検出手
段と、該顔向き検出手段により検出された顔向き方向に
基づき、前記マルチ画面装置の音声出力を制御する音声
出力制御手段とを設けたことを特徴とする。マルチ画面
請求項６は、請求項５に於いて、前記音声出力制御手
段は、前記顔向き検出手段により検出された顔向き方向
に基づき、前記マルチ画面のうち顔向き方向の当該画面
の音声を出力することを特徴とする。According to a fifth aspect of the present invention, there is provided a multi-screen apparatus for displaying a multi-screen and outputting sound of each screen, a face direction detecting means for detecting a face direction of a viewer of the multi-screen, Voice output control means for controlling voice output of the multi-screen device based on the face direction detected by the direction detection means. Multi-screen In claim 6, in accordance with claim 5, the sound output control means outputs the sound of the screen in the face direction of the multi-screen based on the face direction detected by the face direction detection means. It is characterized by outputting.
【００１０】請求項７は、請求項６に於いて、前記音声
出力制御手段は、前記顔向き検出手段により検出された
顔向き方向に基づき、前記顔向き方向の画面に顔の向き
が所定時間以上ある場合、顔向き方向の当該画面の音声
を出力することを特徴とする。According to a seventh aspect, in the sixth aspect, the voice output control means displays the face direction on the screen in the face direction for a predetermined time based on the face direction detected by the face direction detection means. In the above case, the sound of the screen in the face direction is output.
【００１１】請求項８は、請求項６に於いて、前記音声
出力制御手段は、前記顔向き検出手段により検出された
顔向き方向に基づき、前記顔向き方向の画面に顔の向き
がある時間に比例した大きさで顔向き方向の当該画面の
音声を出力することを特徴とする。According to an eighth aspect, in the sixth aspect, the voice output control means determines whether or not there is a face direction on the screen in the face direction based on the face direction detected by the face direction detection means. The sound of the screen in the face direction is output in a size proportional to
【００１２】[0012]
【発明の実施の形態】本発明のマルチ画面音声出力制御
装置の一実施の形態を図１乃至図５に基づいて説明す
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the multi-screen audio output control device of the present invention will be described with reference to FIGS.
【００１３】図１はマルチ画面音声出力制御装置の一例
であり、１はカラーＣＣＤ等により構成されるカメラ、
１０は本発明の音声出力制御の機能を備えたマルチ画面
表示可能な装置で、カメラ１を介してマルチ画面の内ユ
ーザ甲が視聴している画面を検出し、検出結果に基づき
音声出力の制御を行う。FIG. 1 shows an example of a multi-screen audio output control device.
Reference numeral 10 denotes a multi-screen display device having the function of audio output control according to the present invention, which detects a screen viewed by the user A among multiple screens via the camera 1, and controls audio output based on the detection result. I do.
【００１４】図２は、図１に於ける音声出力制御の機能
を備えたマルチ画面表示可能な装置１０の第１の実施の
形態を示す機能ブロック図であり、１は前述の如くカラ
ーＣＣＤ等により構成されるカメラ、２はＣＲＴやＬＣ
Ｄ等により構成されるマルチ画面表示可能なモニタ、３
はカメラ１により撮像されたユーザ甲の視線方向を検出
する視線検出部、５は視線検出部３により検出されたユ
ーザ甲の視線方向に基づき音声出力の制御を行う音声出
力制御部、６は音声出力制御部５から供給される音声信
号を出力するスピーカ、７はモニタ２にマルチ画面の映
像を出力制御する映像出力制御部、４はＣＰＵ等により
構成され本装置１０の機能を統括的に制御する主制御部
である。FIG. 2 is a functional block diagram showing a first embodiment of a multi-screen display device 10 having the function of audio output control shown in FIG. 1, and 1 is a color CCD or the like as described above. Camera, 2 is CRT or LC
D and other monitors capable of displaying multiple screens, 3
Is a line-of-sight detection unit that detects the direction of the user's line of sight captured by the camera 1; A speaker for outputting an audio signal supplied from the output control unit 5; a video output control unit 7 for controlling the output of multi-screen video to the monitor 2; This is the main control unit.
【００１５】マルチ画面音声出力制御装置の第１の実施
の形態の処理動作を図３のフローチャートに従い説明す
る。The processing operation of the multi-screen audio output control device according to the first embodiment will be described with reference to the flowchart of FIG.
【００１６】まず、ステップＳ３１に於いて、カメラ１
からユーザ甲を撮像する。撮像されたカラー画像は図示
しないメモリに記憶しステップＳ３２に進む。尚、撮像
する部分としてユーザ甲の顔部を中心に撮像されるもの
とする。First, in step S31, the camera 1
From the user. The captured color image is stored in a memory (not shown), and the process proceeds to step S32. In addition, it is assumed that the image to be imaged is centered on the face of the user A.
【００１７】ステップＳ３２に於いて、視線検出部３
は、ステップＳ３１にて記憶したユーザ甲のカラー画像
から肌色領域を抽出し、ステップＳ３３に進む。本実施
の形態では、人間の色覚に比較的近い表色系として定義
されているＨＳＶ表色系を用いて入力画像をヒストグラ
ム化し、肌色領域内のピーク値を基準肌色色相値とす
る。この基準肌色色相値からの差を求め、ヒストグラム
を作成し、閾値により２値化を行い肌色領域を決定す
る。このＨＳＶ表色系は、Ｈ（色相）、Ｓ（彩度）、Ｖ
（明度）の３要素により構成されている。尚、本実施の
形態では、ＨＳＶ表色系を用いているが、Ｌ＊ｕ＊ｖ＊
表色系、又はＬ＊ａ＊ｂ＊表色系を用いてもよい。In step S32, the line-of-sight detection unit 3
Extracts a skin color region from the color image of the user A stored in step S31, and proceeds to step S33. In the present embodiment, an input image is converted into a histogram using an HSV color system defined as a color system relatively close to human color vision, and a peak value in a skin color area is set as a reference skin color hue value. A difference from the reference skin color hue value is obtained, a histogram is created, and binarization is performed using a threshold to determine a skin color region. The HSV color system includes H (hue), S (saturation), V
(Brightness). Although the HSV color system is used in the present embodiment, L * u * v *
A color system or an L * a * b * color system may be used.
【００１８】ステップＳ３３に於いて、ステップＳ３２
にて肌色領域を抽出できたか否かを判断し、肌色領域が
ある場合はステップＳ３４に進み、肌色領域が無い場
合、ユーザ甲の顔画像が撮像されていないと判断し、処
理を終了する。In step S33, step S32
It is determined whether or not a skin color region has been extracted. If there is a skin color region, the process proceeds to step S34. If there is no skin color region, it is determined that a face image of the user A has not been captured, and the process ends.
【００１９】ステップＳ３４に於いて、視線検出部３
は、ステップＳ３２により求めた肌色領域から目及び口
領域（特徴点）を抽出する。本実施の形態では、４方向
面特徴によるテンプレートマッチング法を用いて目及び
口領域を決定する。In step S34, the line-of-sight detection unit 3
Extracts the eye and mouth regions (feature points) from the skin color region obtained in step S32. In the present embodiment, the eye and mouth regions are determined by using a template matching method based on four-directional plane features.
【００２０】４方向面特徴によるテンプレートマッチン
グ法とは、画像のエッジ方向から各画素での４方向
（縦、横、右斜め、左斜め）のベクトル場を求め、夫々
の方向に応じて画像を４面に分割した画像を、右目、左
目、口の夫々に対応してテンプレートとして形成し、ス
テップＳ３２にて抽出した肌色領域から、右目、左目、
口夫々のテンプレートとマッチングさせ、閾値以上でマ
ッチングした箇所を目及び口領域として決定し、ステッ
プＳ３５に進む。The template matching method based on the four-directional plane feature is to obtain a vector field in four directions (vertical, horizontal, diagonal right, diagonal left) at each pixel from the edge direction of the image and to convert the image according to each direction. The image divided into four planes is formed as a template corresponding to each of the right eye, the left eye, and the mouth, and the right eye, the left eye, and the left eye are extracted from the skin color region extracted in step S32.
Matching is performed with the template of each mouth, and a portion matching at or above the threshold is determined as an eye and mouth region, and the process proceeds to step S35.
【００２１】ステップＳ３５に於いて、ステップＳ３４
にて目領域を正しく抽出できたか否かを判断し、目領域
が抽出できた場合はステップＳ３６に進み、目領域が抽
出できない場合は、目を瞑っている場合や手による遮蔽
が生じた場合、又はモニタ２方向に顔を向けていない場
合であると判断でき、処理を終了する。この時の目領域
を正しく抽出できたか否かの判断方法としては、周知の
方法を用い、撮像画像である目のデータとテンプレート
データとの内積を求め予め定められた閾値以上若しくは
閾値未満であるかにより決定される。内積の値が予め定
められた閾値以上であれば、目領域が抽出できたと判断
し、内積の値が予め定められた閾値未満であれば、目領
域が抽出できなかったと判断する。In step S35, step S34
It is determined whether or not the eye area has been correctly extracted. If the eye area has been extracted, the process proceeds to step S36. If the eye area cannot be extracted, the eyes are closed or the hand is occluded. Or, it is determined that the face is not turned in the direction of the monitor 2, and the process is terminated. As a method for determining whether or not the eye region has been correctly extracted at this time, a well-known method is used to obtain an inner product of the eye data, which is the captured image, and the template data, and the inner product is equal to or greater than a predetermined threshold or less than the threshold. Is determined by If the value of the inner product is equal to or greater than a predetermined threshold, it is determined that the eye region has been extracted. If the value of the inner product is less than the predetermined threshold, it is determined that the eye region has not been extracted.
【００２２】ステップＳ３６に於いて、公知の技術を用
いてユーザ甲の視線方向を検出する。視線検出部３によ
り検出された視線方向の情報は主制御部４に供給され
る。In step S36, the gaze direction of the user A is detected by using a known technique. The information on the gaze direction detected by the gaze detection unit 3 is supplied to the main control unit 4.
【００２３】主制御部４は、ステップＳ３７に於いてス
テップＳ３６にて検出した視線方向が、モニタ２に表示
出力されているマルチ画面の方向にあるのかを判断し、
モニタ表示されているマルチ画面以外に視線方向がある
と判断した場合は、処理を終了する。In step S37, the main controller 4 determines whether the line-of-sight direction detected in step S36 is in the direction of the multi-screen displayed and output on the monitor 2,
If it is determined that there is a line-of-sight direction other than the multi-screen displayed on the monitor, the process ends.
【００２４】一方、ステップＳ３７にてモニタ表示され
ているマルチ画面内に視線方向があると判断した場合に
は、ステップＳ３８に進み、視線方向がマルチ画面のど
の画面にあるかを検出しステップＳ３９に進む。On the other hand, if it is determined in step S37 that the line-of-sight direction is present in the multi-screen displayed on the monitor, the flow advances to step S38 to detect which screen of the multi-screen is in the line-of-sight direction. Proceed to.
【００２５】ステップＳ３９に於いて、ステップＳ３８
にて検出した視線方向にある画面の音声情報を出力する
様に音声出力制御部５に指示し、スピーカ６より該当画
面に対応する音声情報を出力する。即ち、モニタ２上に
画面Ａ及び画面Ｂの２画面マルチ表示され（図１参
照）、画面Ａに対応する音声が出力されている場合、ユ
ーザ甲が画面Ｂに視線方向を移動させた場合に、画面Ｂ
に対応する音声が出力されることになる。In step S39, step S38
The audio output control unit 5 is instructed to output the audio information of the screen in the line of sight detected by the above, and the audio information corresponding to the relevant screen is output from the speaker 6. That is, when the two screens of the screen A and the screen B are multi-displayed on the monitor 2 (see FIG. 1), and the sound corresponding to the screen A is output, when the user A moves the line of sight to the screen B, , Screen B
Is output.
【００２６】尚、ステップＳ３８に於いて、検出した画
面をユーザ甲が所定時間以上（例えば、３秒以上）見て
いたと判断した場合にステップＳ３９に進むことによ
り、頻繁に発生する視線方向の変化に伴う音声切換を抑
制することができる様にしてもよい。If it is determined in step S38 that the user has watched the detected screen for a predetermined period of time (for example, three seconds or longer), the process proceeds to step S39, so that a frequent change in the gaze direction occurs. May be made to be able to suppress the voice switching associated with.
【００２７】更には、ステップＳ３８及びステップＳ３
９に於いて、検出した画面をユーザ甲が見ている時間に
比例して、該当画面の音声出力を徐々に大きくし、以前
に出力されていた音声出力を徐々に小さくし、即ち、音
声のフェード制御を行い音声切換を行うことにより、頻
繁に発生する視線方向の変化に伴う音声切換を抑制する
ことができる様にしてもよい。また、それと同時に、映
像出力制御部７により検出した画面をユーザ甲が見てい
る時間に比例して、該当画面の映像出力を徐々に大きく
する様にしてもよい。Further, step S38 and step S3
In step 9, the sound output of the screen is gradually increased in proportion to the time that the user is watching the detected screen, and the sound output previously output is gradually reduced. By performing the fade control and performing the voice switching, the voice switching accompanying the frequently occurring change in the line-of-sight direction may be suppressed. At the same time, the video output of the screen may be gradually increased in proportion to the time during which the user A is watching the screen detected by the video output control unit 7.
【００２８】尚、第１の実施の形態では、顔の検出がで
きない場合や視線方向がマルチ画面上に無い場合、図３
に於いて処理動作を終了しているが、説明を簡単化する
ためのものであり、処理動作を終了することなく、ステ
ップＳ３１に戻ることにより、常にユーザ甲の視線方向
を検出し、マルチ画面表示に於ける音声出力制御を行っ
ている。In the first embodiment, when the face cannot be detected or when the line-of-sight direction does not exist on the multi-screen, FIG.
Although the processing operation has been completed in the above, this is for the sake of simplicity of description. By returning to step S31 without ending the processing operation, the gaze direction of the user A is always detected, and the multi-screen Voice output control for display is being performed.
【００２９】次に、第２の実施の形態について説明す
る。Next, a second embodiment will be described.
【００３０】図４は、図１に於ける音声出力制御の機能
を備えたマルチ画面表示可能な装置１０の第２の実施の
形態を示す機能ブロック図であり、１は前述の如くカラ
ーＣＣＤ等により構成されるカメラ、２はＣＲＴやＬＣ
Ｄ等により構成されるマルチ画面表示可能なモニタィス
プレイ、８はカメラ１により撮像されたユーザ甲の顔向
き方向を検出する顔向き検出部、５は顔向き検出部８に
より検出されたユーザ甲の顔向き方向に基づき音声出力
の制御を行う音声出力制御部、６は音声出力制御部５か
ら供給される音声信号を出力するスピーカ、７はモニタ
２にマルチ画面の映像を出力制御する映像出力制御部、
４はＣＰＵ等により構成され本装置１０の機能を統括的
に制御する主制御部である。一般的に人間は興味のある
方に顔を向ける傾向があり、一方、視線は頻繁に動くこ
とから、第２の実施の形態では、ユーザの顔の向きから
視聴している画面を判断する。FIG. 4 is a functional block diagram showing a second embodiment of the multi-screen display device 10 having the function of audio output control shown in FIG. 1, wherein 1 is a color CCD or the like as described above. Camera, 2 is CRT or LC
D, a monitor display capable of displaying a multi-screen, 8 is a face direction detecting unit for detecting the direction of the user's face captured by the camera 1, and 5 is a user direction detected by the face direction detecting unit 8. An audio output control unit that controls audio output based on the face direction, 6 is a speaker that outputs an audio signal supplied from the audio output control unit 5, and 7 is a video output control that controls the monitor 2 to output multi-screen images. Department,
Reference numeral 4 denotes a main control unit which includes a CPU or the like and controls the functions of the apparatus 10 in a comprehensive manner. In general, humans tend to turn their faces toward those who are interested, while their eyes often move. Therefore, in the second embodiment, the screen being viewed is determined from the direction of the user's face.
【００３１】マルチ画面音声出力制御装置の第２の実施
の形態の処理動作を図５のフローチャートに従い説明す
る。The processing operation of the multi-screen audio output control device according to the second embodiment will be described with reference to the flowchart of FIG.
【００３２】まず、ステップＳ５１に於いて、カメラ１
からユーザ甲を撮像する。撮像されたカラー画像は図示
しないメモリに記憶しステップＳ５２に進む。尚、撮像
する部分としてユーザ甲の顔部を中心に撮像されるもの
とする。First, in step S51, the camera 1
From the user. The captured color image is stored in a memory (not shown), and the process proceeds to step S52. In addition, it is assumed that the image to be imaged is centered on the face of the user A.
【００３３】ステップＳ５２に於いて、顔向き検出部８
は、ステップＳ５１にて記憶したユーザ甲のカラー画像
から肌色領域を抽出し、ステップＳ５３に進む。本実施
の形態では、人間の色覚に比較的近い表色系として定義
されているＨＳＶ表色系を用いて入力画像をヒストグラ
ム化し、肌色領域内のピーク値を基準肌色色相値とす
る。この基準肌色色相値からの差を求め、ヒストグラム
を作成し、閾値により２値化を行い肌色領域を決定す
る。このＨＳＶ表色系は、Ｈ（色相）、Ｓ（彩度）、Ｖ
（明度）の３要素により構成されている。尚、本実施の
形態では、ＨＳＶ表色系を用いているが、Ｌ＊ｕ＊ｖ＊
表色系、又はＬ＊ａ＊ｂ＊表色系を用いてもよい。In step S52, the face direction detecting unit 8
Extracts a skin color region from the color image of the user A stored in step S51, and proceeds to step S53. In the present embodiment, an input image is converted into a histogram using an HSV color system defined as a color system relatively close to human color vision, and a peak value in a skin color area is set as a reference skin color hue value. A difference from the reference skin color hue value is obtained, a histogram is created, and binarization is performed using a threshold to determine a skin color region. The HSV color system includes H (hue), S (saturation), V
(Brightness). Although the HSV color system is used in the present embodiment, L * u * v *
A color system or an L * a * b * color system may be used.
【００３４】ステップＳ５３に於いて、ステップＳ５２
にて肌色領域を抽出できたか否かを判断し、肌色領域が
ある場合はステップＳ５４に進み、肌色領域が無い場
合、ユーザ甲の顔画像が撮像されていないと判断し、処
理を終了する。In step S53, step S52
It is determined whether or not a skin color region has been extracted. If there is a skin color region, the process proceeds to step S54. If there is no skin color region, it is determined that a face image of the user A has not been captured, and the process ends.
【００３５】ステップＳ５４に於いて、顔向き検出部８
は、ステップＳ５２により求めた肌色領域から目及び口
領域（特徴点）を抽出する。本実施の形態では、４方向
面特徴によるテンプレートマッチング法を用いて目及び
口領域を決定する。In step S54, the face direction detecting unit 8
Extracts the eye and mouth regions (feature points) from the skin color regions obtained in step S52. In the present embodiment, the eye and mouth regions are determined by using a template matching method based on four-directional plane features.
【００３６】４方向面特徴によるテンプレートマッチン
グ法とは、画像のエッジ方向から各画素での４方向
（縦、横、右斜め、左斜め）のベクトル場を求め、夫々
の方向に応じて画像を４面に分割した画像を、右目、左
目、口の夫々に対応してテンプレートとして形成し、ス
テップＳ５２にて抽出した肌色領域から、右目、左目、
口夫々のテンプレートとマッチングさせ、閾値以上でマ
ッチングした箇所を目及び口領域として決定し、ステッ
プＳ５５に進む。The template matching method based on the four-directional plane feature is to obtain a vector field in four directions (vertical, horizontal, diagonal right, diagonal left) at each pixel from the edge direction of the image, and convert the image according to each direction. The image divided into four surfaces is formed as a template corresponding to each of the right eye, the left eye, and the mouth, and the right eye, the left eye, and the left eye are extracted from the skin color region extracted in step S52.
Matching is performed with the template of each mouth, and a portion matching at or above the threshold is determined as an eye and mouth region, and the process proceeds to step S55.
【００３７】ステップＳ５５に於いて、ステップＳ５４
にて顔を形成する部品が抽出できたか否かを判断し、抽
出できた場合はステップＳ５６に進み、抽出できない場
合は、モニタ２方向に顔を向けていない場合であると判
断でき、処理を終了する。In step S55, step S54
It is determined whether or not a part forming a face has been extracted. If the extraction has succeeded, the process proceeds to step S56. If the component cannot be extracted, it can be determined that the face has not been turned in the monitor 2 direction. finish.
【００３８】ステップＳ５６に於いて、本願出願人が提
案する特願平１０−７７１３３号等の公知の技術を用い
てユーザ甲の顔向き方向を検出する。顔向き検出部８に
より検出された顔向き方向の情報は主制御部４に供給さ
れる。In step S56, the face direction of the user A is detected by using a known technique such as Japanese Patent Application No. 10-77133 proposed by the present applicant. The information on the face direction detected by the face direction detection unit 8 is supplied to the main control unit 4.
【００３９】主制御部４は、ステップＳ５７に於いて、
ステップＳ５６にて検出した顔向き方向が、モニタ２に
表示出力されているマルチ画面の方向にあるのかを判断
し、モニタ表示されているマルチ画面以外に顔向き方向
があると判断した場合は、処理を終了する。The main controller 4 determines in step S57
It is determined whether the face direction detected in step S56 is in the direction of the multi-screen displayed and output on the monitor 2, and if it is determined that there is a face direction other than the multi-screen displayed on the monitor, The process ends.
【００４０】一方、ステップＳ５７にてモニタ表示され
ているマルチ画面内に顔向き方向があると判断した場合
には、ステップＳ５８に進み、顔向き方向がマルチ画面
のどの画面にあるかを検出しステップＳ５９に進む。On the other hand, if it is determined in step S57 that the face direction is present in the multi-screen displayed on the monitor, the flow advances to step S58 to detect which screen of the multi-screen has the face direction. Proceed to step S59.
【００４１】ステップＳ５９に於いて、ステップＳ５８
にて検出した顔向き方向にある画面の音声情報を出力す
る様に音声出力制御部５に指示し、スピーカ６より該当
画面に対応する音声情報を出力する。即ち、モニタ２上
に画面Ａ及び画面Ｂの２画面マルチ表示され（図１参
照）、画面Ａに対応する音声が出力されている場合、ユ
ーザ甲が画面Ｂに顔向き方向を移動させた場合に、画面
Ｂに対応する音声が出力されることになる。In step S59, step S58
The audio output control unit 5 is instructed to output the audio information of the screen in the face direction detected by the above, and the audio information corresponding to the relevant screen is output from the speaker 6. That is, when the two screens of the screen A and the screen B are multi-displayed on the monitor 2 (see FIG. 1) and the sound corresponding to the screen A is output, and when the user A moves the face direction to the screen B Then, the sound corresponding to the screen B is output.
【００４２】尚、ステップＳ５８に於いて、検出した画
面をユーザ甲が所定時間以上（例えば、３秒以上）見て
いたと判断した場合にステップＳ５９に進むことによ
り、頻繁に発生する顔向き方向の変化に伴う音声切換を
抑制することができる様にしてもよい。In step S58, when it is determined that the user A has watched the detected screen for a predetermined time or more (for example, three seconds or more), the process proceeds to step S59, so that the frequently occurring face direction is detected. It may be configured to be able to suppress the voice switching accompanying the change.
【００４３】更には、ステップＳ５８及びステップＳ５
９に於いて、検出した画面をユーザ甲が見ている時間に
比例して、該当画面の音声出力を徐々に大きくし、以前
に出力されていた音声出力を徐々に小さくし、即ち、音
声のフェード制御を行い音声切換を行うことにより、頻
繁に発生する顔向きの変化に伴う音声切換を抑制するこ
とができる様にしてもよい。また、それと同時に、映像
出力制御部７により検出した画面をユーザ甲が見ている
時間に比例して、該当画面の映像出力を徐々に大きくす
る様にしてもよい。Further, step S58 and step S5
In step 9, the sound output of the screen is gradually increased in proportion to the time that the user is watching the detected screen, and the sound output previously output is gradually reduced. By performing the fade control and performing the voice switching, the voice switching accompanying the frequently occurring change in the face direction may be suppressed. At the same time, the video output of the screen may be gradually increased in proportion to the time during which the user A is watching the screen detected by the video output control unit 7.
【００４４】尚、第５の実施の形態では、顔の検出がで
きない場合や顔向き方向がマルチ画面上に無い場合、図
５に於いて処理動作を終了しているが、説明を簡単化す
るためのものであり、処理動作を終了することなく、ス
テップＳ５１に戻ることにより、常にユーザ甲の顔向き
方向を検出し、マルチ画面表示に於ける音声出力制御を
行っている。In the fifth embodiment, when the face cannot be detected or when the face direction is not on the multi-screen, the processing operation is ended in FIG. 5, but the explanation is simplified. By returning to step S51 without terminating the processing operation, the face direction of the user A is always detected, and the audio output control in the multi-screen display is performed.
【００４５】[0045]
【発明の効果】本発明を用いると、ユーザの視線若しく
は顔向きによりマルチ画面表示に於ける音声出力を制御
できるため、煩雑な操作を必要とせず音声出力を制御が
行える。According to the present invention, since the audio output in the multi-screen display can be controlled by the user's line of sight or face direction, the audio output can be controlled without any complicated operation.
【００４６】また、ユーザが所定時間以上所望の画面を
見ていた場合に音声切換を抑制するため、頻繁に発生す
る視線方向の変化若しくは顔向き方向の変化に伴う音声
切換を防止することができ、視聴者の不快感を和らげる
ことができる。Further, since the voice switching is suppressed when the user has been watching a desired screen for a predetermined time or more, the voice switching accompanying the frequent change in the line-of-sight direction or the change in the face direction can be prevented. , Which can alleviate the discomfort of the viewer.
【００４７】また、ユーザの所望の画面を見ている時間
に比例して出力される音声の大きさが変わるため、頻繁
に発生する視線方向の変化若しくは顔向きの変化に伴う
音声切換を防止でき、視聴者の不快感を和らげることが
できる。Further, since the volume of the output voice changes in proportion to the time of viewing the desired screen of the user, it is possible to prevent the voice switching accompanying the frequent change of the line of sight or the change of the face direction. , Which can alleviate the discomfort of the viewer.
【図１】マルチ画面音声出力制御装置の概念図である。FIG. 1 is a conceptual diagram of a multi-screen audio output control device.
【図２】マルチ画面音声出力制御装置の第１の実施の形
態の機能ブロック図である。FIG. 2 is a functional block diagram of the first embodiment of the multi-screen audio output control device.
【図３】第１の実施の形態のマルチ画面音声出力制御の
フローチャートである。FIG. 3 is a flowchart of multi-screen audio output control according to the first embodiment.
【図４】マルチ画面音声出力制御装置の第２の実施の形
態の機能ブロック図である。FIG. 4 is a functional block diagram of a multi-screen audio output control device according to a second embodiment.
【図５】第２の実施の形態のマルチ画面音声出力制御の
フローチャートである。FIG. 5 is a flowchart of multi-screen audio output control according to the second embodiment.
１ カメラ ２ モニタ ３ 視線検出部 ４ 主制御部 ５ 音声出力制御部 ６ スピーカ ７ 映像出力制御部 ８ 顔向き検出部 Reference Signs List 1 camera 2 monitor 3 line-of-sight detection unit 4 main control unit 5 audio output control unit 6 speaker 7 video output control unit 8 face direction detection unit
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B087 AA00 AB09 AE00 BC12 BC16 BC26 BC32 5C025 AA29 BA18 CA06 CA18 5C026 DA14 5E501 AA17 AC37 BA05 CA03 CA06 CB14 EA40 EB05 FA32 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5B087 AA00 AB09 AE00 BC12 BC16 BC26 BC32 5C025 AA29 BA18 CA06 CA18 5C026 DA14 5E501 AA17 AC37 BA05 CA03 CA06 CB14 EA40 EB05 FA32
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8681899AJP2000278626A (en) | 1999-03-29 | 1999-03-29 | Multiple screens sound output controller |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8681899AJP2000278626A (en) | 1999-03-29 | 1999-03-29 | Multiple screens sound output controller |
| Publication Number | Publication Date |
|---|---|
| JP2000278626Atrue JP2000278626A (en) | 2000-10-06 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8681899AWithdrawnJP2000278626A (en) | 1999-03-29 | 1999-03-29 | Multiple screens sound output controller |
| Country | Link |
|---|---|
| JP (1) | JP2000278626A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280805A (en)* | 2002-03-26 | 2003-10-02 | Gen Tec:Kk | Data input device |
| JP2007067739A (en)* | 2005-08-30 | 2007-03-15 | Sony Corp | Contents reproducing apparatus and contents reproducing method |
| JP2007213469A (en)* | 2006-02-13 | 2007-08-23 | Saitama Univ | Gaze control display device and display method |
| JP2011159068A (en)* | 2010-01-29 | 2011-08-18 | Toshiba Corp | Information processing apparatus, and audio output control method for information processing apparatus |
| JP2011199903A (en)* | 2011-06-09 | 2011-10-06 | Toshiba Corp | Information processing apparatus and audio output control method in the same |
| JP2012022632A (en)* | 2010-07-16 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof |
| WO2012046276A1 (en)* | 2010-10-06 | 2012-04-12 | 三菱電機株式会社 | Av system |
| GB2485145A (en)* | 2010-10-29 | 2012-05-09 | Displaylink Uk Ltd | Audio command routing method for voice-controlled applications in multi-display systems |
| WO2012070534A1 (en)* | 2010-11-26 | 2012-05-31 | シャープ株式会社 | Video image and audio output device, and video image and audio output method, as well as television image receiver provided with the video image and audio output device |
| EP2624581A1 (en)* | 2012-02-06 | 2013-08-07 | Research in Motion Limited | Division of a graphical display into regions |
| JP2014516181A (en)* | 2011-05-25 | 2014-07-07 | 株式会社ソニー・コンピュータエンタテインメント | Changing device behavior by line of sight |
| WO2017035768A1 (en)* | 2015-09-01 | 2017-03-09 | 涂悦 | Voice control method based on visual wake-up |
| JP2017517053A (en)* | 2014-04-10 | 2017-06-22 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Non-visual feedback of visual changes in gaze tracking methods and devices |
| WO2018037951A1 (en)* | 2016-08-25 | 2018-03-01 | ソニー株式会社 | Information presentation device and information presentation method |
| WO2019044572A1 (en)* | 2017-09-04 | 2019-03-07 | ソニー株式会社 | Information processing device, method, and program |
| JP2019042221A (en)* | 2017-09-04 | 2019-03-22 | 株式会社Ｊｖｃケンウッド | Image / sound output device, image / sound output method, and image / sound output program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003280805A (en)* | 2002-03-26 | 2003-10-02 | Gen Tec:Kk | Data input device |
| JP2007067739A (en)* | 2005-08-30 | 2007-03-15 | Sony Corp | Contents reproducing apparatus and contents reproducing method |
| JP2007213469A (en)* | 2006-02-13 | 2007-08-23 | Saitama Univ | Gaze control display device and display method |
| JP2011159068A (en)* | 2010-01-29 | 2011-08-18 | Toshiba Corp | Information processing apparatus, and audio output control method for information processing apparatus |
| US8953100B2 (en) | 2010-01-29 | 2015-02-10 | Kabushiki Kaisha Toshiba | Information processing apparatus and audio output control method of an information processing apparatus |
| JP2012022632A (en)* | 2010-07-16 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof |
| DE112010005927B4 (en)* | 2010-10-06 | 2014-07-17 | Mitsubishi Electric Corporation | AV system |
| JP5414907B2 (en)* | 2010-10-06 | 2014-02-12 | 三菱電機株式会社 | AV system |
| WO2012046276A1 (en)* | 2010-10-06 | 2012-04-12 | 三菱電機株式会社 | Av system |
| US9344632B2 (en) | 2010-10-06 | 2016-05-17 | Mitsubishi Electric Corporation | AV system |
| GB2485145A (en)* | 2010-10-29 | 2012-05-09 | Displaylink Uk Ltd | Audio command routing method for voice-controlled applications in multi-display systems |
| WO2012070534A1 (en)* | 2010-11-26 | 2012-05-31 | シャープ株式会社 | Video image and audio output device, and video image and audio output method, as well as television image receiver provided with the video image and audio output device |
| US10120438B2 (en) | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
| JP2014516181A (en)* | 2011-05-25 | 2014-07-07 | 株式会社ソニー・コンピュータエンタテインメント | Changing device behavior by line of sight |
| JP2011199903A (en)* | 2011-06-09 | 2011-10-06 | Toshiba Corp | Information processing apparatus and audio output control method in the same |
| EP2624581A1 (en)* | 2012-02-06 | 2013-08-07 | Research in Motion Limited | Division of a graphical display into regions |
| JP2017517053A (en)* | 2014-04-10 | 2017-06-22 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Non-visual feedback of visual changes in gaze tracking methods and devices |
| WO2017035768A1 (en)* | 2015-09-01 | 2017-03-09 | 涂悦 | Voice control method based on visual wake-up |
| WO2018037951A1 (en)* | 2016-08-25 | 2018-03-01 | ソニー株式会社 | Information presentation device and information presentation method |
| JPWO2018037951A1 (en)* | 2016-08-25 | 2019-02-14 | ソニー株式会社 | Information presentation apparatus and information presentation method |
| JP2019071089A (en)* | 2016-08-25 | 2019-05-09 | ソニー株式会社 | Information presenting apparatus, and information presenting method |
| JP7087987B2 (en) | 2016-08-25 | 2022-06-21 | ソニーグループ株式会社 | Information presentation device and information presentation method |
| US11495209B2 (en) | 2016-08-25 | 2022-11-08 | Sony Corporation | Information presentation device, and information presentation method |
| WO2019044572A1 (en)* | 2017-09-04 | 2019-03-07 | ソニー株式会社 | Information processing device, method, and program |
| JP2019042221A (en)* | 2017-09-04 | 2019-03-22 | 株式会社Ｊｖｃケンウッド | Image / sound output device, image / sound output method, and image / sound output program |
| Publication | Publication Date | Title |
|---|---|---|
| CN107295248B (en) | Image display apparatus and image display method for displaying image, and storage medium | |
| US8558772B2 (en) | Image display apparatus | |
| JP2000278626A (en) | Multiple screens sound output controller | |
| US10855946B2 (en) | Semiconductor integrated circuit, display device provided with same, and control method | |
| EP1398757A2 (en) | Image brightness and colour temperature control | |
| US20100277636A1 (en) | Imaging device | |
| JP2014123818A (en) | Viewer image display control apparatus, viewer image display control method, and viewer image display control program | |
| KR20060113708A (en) | Adaptation of subtitle text based on surrounding video content | |
| US7940295B2 (en) | Image display apparatus and control method thereof | |
| CN106782344B (en) | Brightness adjusting method, device and display equipment | |
| US8330874B2 (en) | Video signal conversion device, video signal conversion method and video display device | |
| JP2012173683A (en) | Display control device, information display apparatus, and display control method | |
| JP3972193B2 (en) | Video signal processing apparatus and method, recording medium, and program | |
| KR20110110543A (en) | Display device and its viewing angle adjustment method | |
| JPH08275195A (en) | Image display device | |
| US20040263683A1 (en) | Video signal processing apparatus | |
| US8212796B2 (en) | Image display apparatus and method, program and recording media | |
| JP4433719B2 (en) | Image display apparatus burn-in prevention apparatus and image display apparatus burn-in prevention method | |
| JPH077685A (en) | Television receiver | |
| JP2007256961A (en) | Video signal processing apparatus and method, storage medium, and program | |
| JP2003174601A (en) | Video display device | |
| KR100826040B1 (en) | Image processing device and control method according to moving image and still image | |
| JP2009216819A (en) | Image signal processor, image presentation method, program, and storage medium | |
| JP2001333299A (en) | Imaging device | |
| JP2012151669A (en) | Television receiver |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20050905 | |
| RD01 | Notification of change of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7421 Effective date:20051227 | |
| A761 | Written withdrawal of application | Free format text:JAPANESE INTERMEDIATE CODE: A761 Effective date:20070727 |