JP2023127179A - In-vehicle device, information processing method, and program - Google Patents

Abstract

Translated fromJapanese

【課題】ユーザの状態を適切に判定する。【解決手段】車載装置１は、車両の車室内の天井の近傍の位置に設置されるカメラ５であって、車室内にいるユーザが撮影された画像を生成するカメラ５と、カメラ５が生成した画像に映っているユーザの視線を検出する視線検出部１１と、視線検出部１１が検出したユーザの視線が、車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部１２と、カメラ５が生成した画像からユーザの状態を推定し、推定した状態を示す状態情報を生成する状態推定部１３と、状態推定部１３が生成した状態情報を、判定部１２による判定結果を用いて補正する補正部１４と、補正部１４が補正した後の状態情報を提示する提示部２０とを備える。【選択図】図２An object of the present invention is to appropriately determine a user's condition. [Solution] An in-vehicle device 1 includes a camera 5 installed near the ceiling of a vehicle interior, and includes a camera 5 that generates an image captured by a user in the vehicle interior; A line-of-sight detection unit 11 detects the user's line-of-sight in the image, and determines whether the user's line-of-sight detected by the line-of-sight detection unit 11 is directed toward a predetermined area including a rearview mirror provided in the vehicle. a determination unit 12; a state estimation unit 13 that estimates the user's state from the image generated by the camera 5 and generates state information indicating the estimated state; It includes a correction unit 14 that performs correction using the determination result, and a presentation unit 20 that presents status information after correction by the correction unit 14. [Selection diagram] Figure 2

Description

Translated fromJapanese

本発明は、車載装置、情報処理方法、および、プログラムに関する。 The present invention relates to an in-vehicle device, an information processing method, and a program.

車両における運転者の姿勢を検出し、運転者の状態（例えば眠気）を判定する技術がある（特許文献１参照）。 There is a technology that detects the driver's posture in a vehicle and determines the driver's condition (for example, drowsiness) (see Patent Document 1).

特許第６６８９４７０号公報Patent No. 6689470

しかしながら、上記技術では、運転者（ユーザともいう）の状態を適切に判定できないことがある。 However, with the above technology, it may not be possible to appropriately determine the condition of the driver (also referred to as the user).

そこで、本発明は、ユーザの状態を適切に判定し得る車載装置などを提供する。 Therefore, the present invention provides an in-vehicle device and the like that can appropriately determine a user's condition.

本発明の一態様に係る車載装置は、車両の車室内の天井の近傍の位置に設置されるカメラであって、前記車室内にいるユーザが撮影された画像を生成するカメラと、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出する検出部と、前記検出部が検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部と、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成する推定部と、前記推定部が生成した前記状態情報を、前記判定部による判定結果を用いて補正する補正部と、前記補正部が補正した後の前記状態情報を提示する提示部とを備える車載装置である。 An in-vehicle device according to one aspect of the present invention is a camera installed near a ceiling in a vehicle interior of a vehicle, and includes a camera that generates an image of a user in the vehicle interior, and a camera that generates an image of a user in the vehicle interior. a detection unit that detects the user's line of sight reflected in the generated image; and a detection unit that detects whether the user's line of sight detected by the detection unit is directed toward a predetermined area including a rearview mirror provided in the vehicle. a determination unit that makes a determination; an estimation unit that estimates the state of the user from an image generated by the camera and generates state information indicating the estimated state; The present invention is an in-vehicle device that includes a correction section that performs correction using a determination result made by the correction section, and a presentation section that presents the state information after the correction section has corrected it.

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a device, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM, and the system, device, integrated circuit, computer program and a recording medium may be used in any combination.

本発明の撮影装置は、ユーザの状態を適切に判定することができる。 The photographing device of the present invention can appropriately determine the user's condition.

図１は、実施の形態における車両と車載装置との構成を模式的に示す説明図である。FIG. 1 is an explanatory diagram schematically showing the configuration of a vehicle and an in-vehicle device in an embodiment.図２は、実施の形態における車載装置の機能構成を示すブロック図である。FIG. 2 is a block diagram showing the functional configuration of the in-vehicle device in the embodiment.図３は、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第一の説明図である。FIG. 3 is a first explanatory diagram showing an example of the position where the camera is installed and the photographing direction in the embodiment.図４は、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第二の説明図である。FIG. 4 is a second explanatory diagram showing an example of the position where the camera is installed and the photographing direction in the embodiment.図５は、実施の形態におけるユーザが映っている画像の例を示す説明図である。FIG. 5 is an explanatory diagram showing an example of an image showing a user in the embodiment.図６は、実施の形態におけるユーザの視線方向の時間的変化の例を示す説明図である。FIG. 6 is an explanatory diagram illustrating an example of a temporal change in the user's line of sight direction in the embodiment.図７は、実施の形態における車載装置の処理の例を示すフロー図である。FIG. 7 is a flow diagram illustrating an example of processing of the in-vehicle device according to the embodiment.図８は、実施の形態の変形例における車載装置の機能構成を示すブロック図である。FIG. 8 is a block diagram showing the functional configuration of an on-vehicle device in a modification of the embodiment.

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、運転者の状態を推定する技術について、以下の問題が生じることを見出した。(Findings that formed the basis of the present invention)
The present inventor has discovered that the following problem occurs with the technology for estimating the driver's condition described in the "Background Art" section.

車室内において運転者を撮影するカメラが、運転席の前方の位置に設置されることがある（例えば特許文献１参照）。運転席の前方の位置に設置されているカメラから運転者を撮影する場合、運転者の身体が、ハンドル、または、ハンドルを把持する運転者の手の陰になってしまい、運転者が適切に撮影されないことがある。運転者が適切に撮影されない場合、運転者の状態の推定が適切になされない。 A camera that photographs the driver inside the vehicle is sometimes installed at a position in front of the driver's seat (see, for example, Patent Document 1). When photographing the driver from a camera installed in front of the driver's seat, the driver's body may be in the shadow of the steering wheel or the driver's hands gripping the steering wheel, making it difficult for the driver to properly capture the image. Sometimes the picture is not taken. If the driver is not properly photographed, the driver's condition cannot be properly estimated.

一方、運転者を撮影するカメラが、車室内の天井またはルームミラーの近傍の位置に設置されることがある。車室内の天井またはルームミラーの近傍の位置に設置されたカメラによれば、ハンドルまたは運転者の手の陰になることなく、運転者の身体が適切に撮影され得る。 On the other hand, a camera that photographs the driver is sometimes installed on the ceiling of the vehicle interior or near the rearview mirror. If the camera is installed on the ceiling of the vehicle interior or near the rearview mirror, the driver's body can be appropriately photographed without being in the shadow of the steering wheel or the driver's hands.

ところで、運転者が適切な状態で車両を運転しているときには、運転者は適度な時間間隔（例えば数秒～数十秒程度）ごとにルームミラーに視線を向けて車両の後方の光景を確認していることが知られている。運転者の適切な状態とは、運転に適した状態であり、言い換えれば、眠気を感じていない状態、または、漫然でない状態などである。 By the way, when the driver is driving the vehicle in appropriate conditions, the driver turns his eyes to the rearview mirror at moderate intervals (for example, every few seconds to several tens of seconds) to check the scene behind the vehicle. It is known that The appropriate state of the driver is a state suitable for driving, in other words, a state where the driver does not feel sleepy or a state where the driver is not distracted.

運転者の視線は、運転者が映っている画像に対する視線検出処理によって解析され得る。視線検出技術では、画像に映っている運転者の目における眼球（虹彩または瞳孔など）の位置の検出を用いて視線を検出するので、運転者が視線を向ける対象の近傍に設置されているカメラにより撮影された画像を用いることで、その対象に視線が向けられているか否かをより明確に判定できる。 The driver's line of sight can be analyzed by line of sight detection processing on an image in which the driver is shown. Line-of-sight detection technology detects line-of-sight by detecting the position of the driver's eyeball (iris or pupil, etc.) in the image. By using the image taken by the user, it is possible to more clearly determine whether the user's line of sight is directed toward the target.

そこで、車室内の天井の近傍（より特定的には、ルームミラーの近傍）に設置されたカメラが撮影した画像を用いた視線検出処理により、ユーザがルームミラーに視線を向けているか否かをより明確に判定でき、この判定に基づいて運転者の状態をより適切に判定できるとの知見を本願発明者は得た。 Therefore, a line of sight detection process using images taken by a camera installed near the ceiling of the vehicle interior (more specifically, near the rearview mirror) is used to detect whether the user is directing his/her line of sight toward the rearview mirror. The inventors of the present invention have found that the determination can be made more clearly, and the driver's condition can be determined more appropriately based on this determination.

本発明の一態様に係る車載装置は、車両の車室内の天井の近傍の位置に設置されるカメラであって、前記車室内にいるユーザが撮影された画像を生成するカメラと、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出する検出部と、前記検出部が検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部と、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成する推定部と、前記推定部が生成した前記状態情報を、前記判定部による判定結果を用いて補正する補正部と、前記補正部が補正した後の前記状態情報を提示する提示部とを備える車載装置である。 An in-vehicle device according to one aspect of the present invention is a camera installed near a ceiling in a vehicle interior of a vehicle, and includes a camera that generates an image of a user in the vehicle interior, and a camera that generates an image of a user in the vehicle interior. a detection unit that detects the user's line of sight reflected in the generated image; and a detection unit that detects whether the user's line of sight detected by the detection unit is directed toward a predetermined area including a rearview mirror provided in the vehicle. a determination unit that makes a determination; an estimation unit that estimates the state of the user from an image generated by the camera and generates state information indicating the estimated state; The present invention is an in-vehicle device that includes a correction section that performs correction using a determination result made by the correction section, and a presentation section that presents the state information after the correction section has corrected it.

上記態様によれば、車載装置は、ユーザがルームミラーに視線を向けているか否かを適切に判定し、その判定結果を用いて、ユーザの推定される状態を補正することで、ユーザの状態をより適切に判定することができる。特に、車室内の天井の近傍に設置されたカメラを用いるので、ユーザがルームミラーに視線を向けているか否かをより適切に判定することができ、最終的なユーザの状態の判定結果がより適切なものとなる効果がある。このように、車載装置は、ユーザの状態を適切に判定することができる。 According to the above aspect, the in-vehicle device appropriately determines whether or not the user is directing his or her gaze toward the rearview mirror, and uses the determination result to correct the estimated state of the user. can be determined more appropriately. In particular, since a camera installed near the ceiling inside the vehicle is used, it is possible to more appropriately determine whether the user is looking at the rearview mirror, and the final determination result of the user's condition is improved. It has the effect of making it appropriate. In this way, the in-vehicle device can appropriately determine the user's condition.

例えば、前記カメラは、前記ユーザを複数回撮影することで、複数の前記画像を生成し、前記判定部は、前記判定において、さらに、複数の前記画像を用いて前記検出部が検出した前記ユーザの前記視線の時間的変化から、前記ユーザの視線が適正な時間間隔で前記所定領域に向けられているか否かを判定してもよい。 For example, the camera generates a plurality of images by photographing the user a plurality of times, and in the determination, the determination unit further determines that the detection unit detects the user using the plurality of images. From the temporal change in the line of sight, it may be determined whether the user's line of sight is directed toward the predetermined area at appropriate time intervals.

上記態様によれば、車載装置は、ユーザがルームミラーに視線を向けるタイミングの時間間隔が適正であるか否かをさらに判定することで、ユーザの推定される状態を補正し、ユーザの状態をより適切に判定することができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 According to the above aspect, the in-vehicle device corrects the estimated state of the user by further determining whether the time interval between when the user looks at the rearview mirror is appropriate, and the in-vehicle device corrects the estimated state of the user. More appropriate judgment can be made. Therefore, the in-vehicle device can more appropriately determine the user's condition.

例えば、前記提示部は、表示画面を備える電子ミラーである前記ルームミラーを含み、前記車載装置は、さらに、前記提示部が前記表示画面に情報を提示したタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第一調整部を備え、前記判定部は、前記第一調整部が調整した後の前記所定領域を用いて前記判定をしてもよい。 For example, the presentation unit includes the room mirror that is an electronic mirror having a display screen, and the in-vehicle device further includes information generated by photographing with the camera at the timing when the presentation unit presents the information on the display screen. The determination unit includes a first adjustment unit that adjusts the predetermined area from the image to include the area where the user's line of sight is directed, which is obtained by the detection unit, and the determination unit The determination may be made using the predetermined area after the determination.

上記態様によれば、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。電子ミラーが情報を提示したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 According to the above aspect, the in-vehicle device adjusts the predetermined area and then makes a determination using the adjusted predetermined area. It is assumed that the user turns his/her line of sight to the electronic mirror at the timing when the electronic mirror presents information, so by using the user's line of sight at that time, a predetermined area is set according to the user's physique or posture. This allows the estimated state of the user to be corrected more appropriately. Therefore, the in-vehicle device can more appropriately determine the user's condition.

例えば、前記車両は、前記車両の後方に他の車両が近接していることを感知するセンサを備え、前記車載装置は、さらに、前記車両の後方に他の車両が近接していることを前記センサが感知しているタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第二調整部を備え、前記判定部は、前記第二調整部が調整した後の前記所定領域を用いて前記判定をしてもよい。 For example, the vehicle includes a sensor that detects that another vehicle is close to the rear of the vehicle, and the in-vehicle device further detects that another vehicle is close to the rear of the vehicle. a second adjustment of adjusting the predetermined area so as to include the area to which the user's line of sight obtained by the detection unit is directed from the image generated by photography by the camera at the timing when the sensor is sensing; The determination unit may make the determination using the predetermined area adjusted by the second adjustment unit.

上記態様によれば、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。車両の後方に他の車両が近接していることをセンサが感知したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 According to the above aspect, the in-vehicle device adjusts the predetermined area and then makes a determination using the adjusted predetermined area. It is assumed that the user turns his/her line of sight to the electronic mirror at the timing when the sensor detects that another vehicle is approaching behind the vehicle, so by using the user's line of sight at that time, the user's A predetermined area can be set according to the physique or posture, and thereby the estimated state of the user can be corrected more appropriately. Therefore, the in-vehicle device can more appropriately determine the user's condition.

例えば、前記第二調整部は、前記車両の後方に他の車両が近接していることを前記センサが感知している期間を特定し、特定した前記期間内に前記カメラによる複数回の撮影により生成された複数の前記画像を用いて、前記所定領域を調整してもよい。 For example, the second adjustment unit may specify a period during which the sensor is sensing that another vehicle is approaching behind the vehicle, and may be configured to take pictures by the camera multiple times within the specified period. The predetermined area may be adjusted using the plurality of generated images.

上記態様によれば、車載装置は、実際に車両の後方に他の車両が近接している期間に撮影された複数の画像を用いるので、後方に車両が近接していることを認識したユーザがルームミラーに視線を向けて車両の後方を確認する動作をすることを利用して、所定領域の調整をより適切に行うことができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 According to the above aspect, the in-vehicle device uses a plurality of images taken during a period when another vehicle is actually close to the rear of the vehicle, so that a user who recognizes that a vehicle is close to the rear of the vehicle can Adjustment of a predetermined area can be made more appropriately by using the action of checking the rear of the vehicle by looking at the rearview mirror. Therefore, the in-vehicle device can more appropriately determine the user's condition.

また、本発明の一態様に係る情報処理方法は、車両の車室内の天井の近傍の位置に設置されるカメラにより、前記車室内にいるユーザが撮影された画像を生成し、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出し、検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をし、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成し、生成した前記状態情報を、前記判定の結果を用いて補正し、補正した後の前記状態情報を提示する情報処理方法である。 Further, in the information processing method according to one aspect of the present invention, an image of a user in the vehicle interior is generated by a camera installed near a ceiling in the vehicle interior, and an image is generated by the camera. detecting the line of sight of the user reflected in the image, determining whether the detected line of sight of the user is directed toward a predetermined area including a rearview mirror provided in the vehicle; estimating the state of the user from the image, generating state information indicating the estimated state, correcting the generated state information using the result of the determination, and presenting the corrected state information. It is an information processing method.

上記態様によれば、上記車載装置と同様の効果を奏する。 According to the above aspect, the same effects as the above vehicle-mounted device can be achieved.

また、本発明の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるプログラムである。 Further, a program according to one aspect of the present invention is a program that causes a computer to execute the above information processing method.

上記態様によれば、上記撮影装置と同様の効果を奏する。 According to the above aspect, the same effects as the above photographing device can be achieved.

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a device, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM, and the system, device, integrated circuit, computer program Alternatively, it may be realized using any combination of recording media.

以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 Note that the embodiments described below are all inclusive or specific examples. The numerical values, shapes, materials, components, arrangement positions and connection forms of the components, steps, order of steps, etc. shown in the following embodiments are merely examples, and do not limit the present invention. Further, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the most significant concept will be described as arbitrary constituent elements.

（実施の形態）
本実施の形態において、ユーザの状態を適切に判定することができる車載装置および情報処理方法などについて説明する。(Embodiment)
In this embodiment, an in-vehicle device, an information processing method, and the like that can appropriately determine a user's condition will be described.

図１は、本実施の形態における車両Ｖと車載装置１との構成を模式的に示す説明図である。図２は、本実施の形態における車載装置１の機能構成を示すブロック図である。 FIG. 1 is an explanatory diagram schematically showing the configuration of a vehicle V and an on-vehicle device 1 in this embodiment. FIG. 2 is a block diagram showing the functional configuration of the in-vehicle device 1 in this embodiment.

車両Ｖは、例えば自動車であり、人が乗車することができる。車両Ｖに乗車している人をユーザＵという。ユーザＵは、例えば車両Ｖの運転席に着座する運転者であり、この場合を例として説明するが、これに限られず、助手席または後部座席に乗車している乗員でもよい。 The vehicle V is, for example, a car, and a person can ride therein. A person riding in vehicle V is called a user U. The user U is, for example, a driver seated in the driver's seat of the vehicle V, and this case will be described as an example, but the user U is not limited to this, and may be a passenger sitting in the front passenger seat or the rear seat.

車両Ｖは、ユーザＵによって運転されて路面を走行する。車両Ｖは、乗員が乗車するための空間である車室Ｓを有する。車室Ｓには、ルームミラーおよび乗員が着座するためのシートなどが配置されている。 Vehicle V is driven by user U and travels on a road surface. The vehicle V has a cabin S that is a space for passengers to ride. A rearview mirror, a seat for a passenger, and the like are arranged in the vehicle interior S.

車載装置１は、ユーザＵの状態を判定する装置である。例えば、車載装置１は、ユーザＵの状態として、ユーザＵが車両Ｖの運転に適した状態であるか否かを判定する。運転に適した状態は、例えば、眠気を感じていない状態、漫然でない状態、または、感情的でない状態などである。 The in-vehicle device 1 is a device that determines the state of the user U. For example, the in-vehicle device 1 determines whether the user U is in a state suitable for driving the vehicle V or not. A state suitable for driving includes, for example, not feeling sleepy, not distracted, or not emotional.

図１および図２に示されるように、車載装置１は、カメラ５と、処理部１０と、提示部２０とを備える。 As shown in FIGS. 1 and 2, the in-vehicle device 1 includes acamera 5, aprocessing section 10, and apresentation section 20.

カメラ５は、車両Ｖの車室Ｓ内に設置される撮影装置である。カメラ５は、車室Ｓ内にいるユーザＵが撮影された画像を生成する。カメラ５が設置される位置および姿勢については、後で詳しく説明する。 Thecamera 5 is a photographing device installed in the cabin S of the vehicle V. Thecamera 5 generates an image of the user U inside the vehicle interior S. The position and posture where thecamera 5 is installed will be explained in detail later.

処理部１０は、ユーザＵの状態を判定する処理をする機能部である。処理部１０は、カメラ５が生成した画像に対する処理によって画像に映っているユーザＵから取得した情報を用いて、ユーザＵの状態を判定し、判定結果を出力する。処理部１０が実行する処理の詳細は、後で詳しく説明する。処理部１０は、車載装置１が備えるプロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））（不図示）が、メモリ（不図示）を用いて所定のプログラムを実行することで実現され得る。処理部１０は、例えば車両Ｖのダッシュボード内に配置されるが、配置位置はこれに限られない。 Theprocessing unit 10 is a functional unit that performs processing to determine the state of the user U. Theprocessing unit 10 determines the state of the user U using information acquired from the user U shown in the image by processing the image generated by thecamera 5, and outputs the determination result. Details of the processing executed by theprocessing unit 10 will be explained in detail later. Theprocessing unit 10 can be realized by a processor (for example, a CPU (Central Processing Unit)) (not shown) included in the in-vehicle device 1 executing a predetermined program using a memory (not shown). Theprocessing unit 10 is arranged, for example, in the dashboard of the vehicle V, but the arrangement position is not limited thereto.

処理部１０は、機能部として、視線検出部１１と、判定部１２と、状態推定部１３と、補正部１４とを備える。 Theprocessing unit 10 includes a line ofsight detection unit 11, adetermination unit 12, astate estimation unit 13, and acorrection unit 14 as functional units.

視線検出部１１は、カメラ５が生成した画像に映っているユーザＵの視線を検出する。ユーザＵの視線の検出は、上記画像に対する周知の視線検出技術によってなされ得る。また、視線検出部１１は、ユーザＵの頭部の位置および姿勢を取得する。ユーザＵの頭部の位置および姿勢は、車両Ｖにおけるカメラ５の位置および姿勢と、画像に映っているユーザＵの頭部の位置および姿勢から得られる、カメラ５に対する相対的なユーザＵの位置および姿勢とを用いて算定され得る。視線検出部１１は、取得したユーザＵの頭部の位置および姿勢と、検出したユーザＵの視線とを用いて、ユーザＵが視線を向けている位置を示す情報（視線情報ともいう）を生成して判定部１２に提供する。視線検出部１１を検出部ともいう。 The line ofsight detection unit 11 detects the line of sight of the user U shown in the image generated by thecamera 5. Detection of the user's U's line of sight may be performed using a well-known line of sight detection technique for the image. The line ofsight detection unit 11 also acquires the position and posture of the user's U head. The position and posture of the head of the user U are obtained from the position and posture of thecamera 5 in the vehicle V and the position and posture of the head of the user U shown in the image, and the position of the user U relative to thecamera 5. and posture. The line ofsight detection unit 11 uses the acquired position and posture of the head of the user U and the detected line of sight of the user U to generate information indicating the position where the user U is directing his/her line of sight (also referred to as line of sight information). and provides it to thedetermination unit 12. The line ofsight detection section 11 is also referred to as a detection section.

視線検出部１１は、さらに、カメラ５が生成した複数の画像それぞれにおけるユーザＵの視線を検出し、上記複数の画像が生成された期間におけるユーザＵの視線の時間的変化を取得してもよい。 The line ofsight detection unit 11 may further detect the line of sight of the user U in each of the plurality of images generated by thecamera 5, and obtain temporal changes in the line of sight of the user U during the period in which the plurality of images are generated. .

判定部１２は、ユーザＵの視線が所定領域に向けられているか否かの判定をする。所定領域は、少なくとも、車両Ｖが備えるルームミラーＭを含む領域である。具体的には、判定部１２は、視線情報を視線検出部１１から取得し、取得した視線情報に示される位置が、所定領域に含まれるか否かを判定する。判定部１２は、判定の結果を補正部１４に提供する。 The determiningunit 12 determines whether the user's U's line of sight is directed toward a predetermined area. The predetermined area is an area including at least a rearview mirror M included in the vehicle V. Specifically, thedetermination unit 12 acquires line-of-sight information from the line-of-sight detection unit 11 and determines whether the position indicated by the acquired line-of-sight information is included in a predetermined area. Thedetermination unit 12 provides the determination result to thecorrection unit 14.

なお、所定領域は、ルームミラーＭが存在する領域としてあらかじめ定められた領域であってもよいし、実際にユーザＵの視線が向けられた領域に基づいて調整されてもよい。調整の方法の例は、後述する変形例で説明される。 Note that the predetermined area may be a predetermined area where the room mirror M exists, or may be adjusted based on the area where the user U's line of sight is actually directed. An example of the method of adjustment will be explained in the modified example described below.

なお、判定部１２は、さらに、カメラ５によって生成された複数の画像を用いて視線検出部１１が検出したユーザＵの視線の時間的変化から、ユーザＵの視線が適正な時間間隔で所定領域に向けられているか否かを判定してもよい。 Note that thedetermination unit 12 further determines that the line of sight of the user U is detected in a predetermined area at appropriate time intervals based on the temporal change in the line of sight of the user U detected by the line ofsight detection unit 11 using a plurality of images generated by thecamera 5. It may also be determined whether or not the camera is directed toward the camera.

状態推定部１３は、カメラ５が生成した画像からユーザＵの状態を推定する。状態推定部１３は、推定したユーザＵの状態を示す状態情報を生成して補正部１４に提供する。ユーザＵの状態は、例えば眠気の度合いでありこの場合を例として説明するが、疲労の度合い、感情、急病の発症の有無、漫然さの度合い、または、脇見の多少などであってもよい。状態推定部１３を推定部ともいう。 Thestate estimation unit 13 estimates the state of the user U from the image generated by thecamera 5. Thestate estimation unit 13 generates state information indicating the estimated state of the user U and provides it to thecorrection unit 14. The state of user U is, for example, the degree of sleepiness, and this case will be explained as an example, but it may also be the degree of fatigue, emotion, presence or absence of sudden illness, degree of absentmindedness, or degree of inattentiveness. Thestate estimation section 13 is also referred to as an estimation section.

補正部１４は、状態推定部１３が生成した状態情報を、判定部１２による判定の結果を用いて補正する。補正部１４は、補正した後の状態情報を提示部２０に提供する。具体的には、補正部１４は、視線情報に示される位置（つまり、ユーザＵが視線を向けている位置）が所定領域に含まれると判定部１２が判定した場合に、状態推定部１３が生成した状態情報を、ユーザＵの状態が車両Ｖの運転に適した状態であることを示すように補正する。また、補正部１４は、視線情報に示される位置が所定領域に含まれないと判定部１２が判定した場合に、状態推定部１３が生成した状態情報を、ユーザＵの状態が車両Ｖの運転に適さない状態であることを示すように補正する。 Thecorrection unit 14 corrects the state information generated by thestate estimation unit 13 using the result of the determination by thedetermination unit 12. Thecorrection unit 14 provides thepresentation unit 20 with the corrected state information. Specifically, when thedetermination unit 12 determines that the position indicated by the line-of-sight information (that is, the position where the user U is directing his or her line of sight) is included in the predetermined area, thestate estimation unit 13 The generated state information is corrected to indicate that the state of the user U is suitable for driving the vehicle V. In addition, when thedetermination unit 12 determines that the position indicated by the line-of-sight information is not included in the predetermined area, thecorrection unit 14 adjusts the state information generated by thestate estimation unit 13 so that the state of the user U is not included in the driving of the vehicle V. Correct to indicate that the condition is unsuitable for

例えば、ユーザＵの状態が、ユーザＵの眠気の度合いであり、１（まったく眠くない、覚醒）から６（眠り）の数値で表現される場合において、状態推定部１３が眠気の度合いを３と推定することがある。そして、判定部１２は、視線情報に示される位置が所定領域に含まれないと判定することがある。その場合、補正部１４は、状態推定部１３により推定された眠気の度合いを、３より大きい値（例えば４）に補正する。 For example, when the state of user U is the degree of sleepiness of user U and is expressed as a numerical value from 1 (not sleepy at all, awake) to 6 (sleep), thestate estimation unit 13 determines the degree of sleepiness as 3. It may be estimated. Thedetermination unit 12 may determine that the position indicated by the line-of-sight information is not included in the predetermined area. In that case, thecorrection unit 14 corrects the degree of sleepiness estimated by thestate estimation unit 13 to a value larger than 3 (for example, 4).

提示部２０は、処理部１０（より具体的には補正部１４）から提供される状態情報を提示する。提示した結果情報は、ユーザＵに視認されることが想定される。提示部２０は、例えば、車両Ｖが搭載しているインフォテインメントシステム（カーナビゲーションシステムを含む）の表示画面への画像の表示によって、結果情報を提示する。なお、提示部２０は、インフォテインメントシステムを介して、車両Ｖの車載スピーカによる音の出力によって、結果情報を提示してもよい。 Thepresentation unit 20 presents status information provided from the processing unit 10 (more specifically, the correction unit 14). It is assumed that the presented result information is visually recognized by the user U. Thepresentation unit 20 presents the result information, for example, by displaying an image on a display screen of an infotainment system (including a car navigation system) installed in the vehicle V. Note that thepresentation unit 20 may present the result information by outputting sound from an on-vehicle speaker of the vehicle V via the infotainment system.

なお、ルームミラーＭが、表示画面を備える電子ミラーである場合には、提示部２０はルームミラーＭの表示画面であってもよい。 In addition, when the room mirror M is an electronic mirror provided with a display screen, thepresentation part 20 may be the display screen of the room mirror M.

以降において、カメラ５が設置される位置および姿勢について説明する。カメラ５は、例えば天井に設置され、この場合を主に説明するが、ルームミラーに設置されてもよい。 Hereinafter, the position and posture where thecamera 5 is installed will be explained. Thecamera 5 is installed, for example, on the ceiling, and this case will mainly be described, but it may also be installed on a room mirror.

図３および図４は、実施の形態におけるカメラ５が設置される位置と撮影方向との例を示す説明図である。図３は、車両Ｖの側面視において、カメラ５が設置される位置と撮影方向との例を示し、図４は、車両Ｖの上面視において、カメラ５が設置される位置と撮影方向との例を示す。 3 and 4 are explanatory diagrams showing examples of the position where thecamera 5 is installed and the photographing direction in the embodiment. 3 shows an example of the position where thecamera 5 is installed and the photographing direction when the vehicle V is viewed from the side, and FIG. 4 is an example of the position where thecamera 5 is installed and the photographing direction when the vehicle V is viewed from the top. Give an example.

図３に示されるように、カメラ５は、例えば、車室Ｓ内の天井に設置され、かつ、カメラ５の撮影方向６が水平より下方を向く姿勢で設置されている。なお、天井の近傍は、車室Ｓ内において天井に比較的近い領域として定められた領域であり、例えば、鉛直方向（高さ方向）において天井から、ユーザＵの頭部が位置する高さまでの領域であり得る。より具体的には、天井の近傍は、例えば、車室Ｓ内で、天井からの距離が距離Ｈ２以下である領域である。距離Ｈ２は、車室Ｓの鉛直方向（つまり高さ方向）の距離Ｈ１の１／５～１／１０程度とすることができる。 As shown in FIG. 3, thecamera 5 is installed, for example, on the ceiling in the vehicle interior S, and is installed in such a manner that the photographingdirection 6 of thecamera 5 faces downward from the horizontal. Note that the vicinity of the ceiling is an area defined as an area relatively close to the ceiling in the vehicle interior S, for example, from the ceiling to the height where the user U's head is located in the vertical direction (height direction). It can be an area. More specifically, the vicinity of the ceiling is, for example, an area within the vehicle interior S where the distance from the ceiling is less than or equal to the distance H2. The distance H2 can be approximately 1/5 to 1/10 of the distance H1 in the vertical direction (that is, the height direction) of the vehicle compartment S.

また、図３に示されるように、カメラ５は、ユーザＵが乗車する位置より、車両Ｖの進行方向側の位置に設置され、かつ、カメラ５の撮影方向６が、車両Ｖの進行方向と略反対になる姿勢で設置されている。なお、カメラ５が設置される位置は、例えば、車室Ｓ内で、車室Ｓの前方端部からの距離が距離Ｌ２以下である領域である。距離Ｌ２は、車室Ｓの水平方向の距離Ｌ１の１／２～１／３程度とすることができる。 Further, as shown in FIG. 3, thecamera 5 is installed at a position closer to the traveling direction of the vehicle V than the position where the user U gets in, and the photographingdirection 6 of thecamera 5 is the same as the traveling direction of the vehicle V. They are installed in almost opposite positions. The position where thecamera 5 is installed is, for example, an area within the vehicle interior S where the distance from the front end of the vehicle interior S is less than or equal to the distance L2. The distance L2 can be approximately 1/2 to 1/3 of the horizontal distance L1 of the vehicle interior S.

また、図３および図４に示されるように、カメラ５は、ユーザＵが撮影画角７内に入る位置および姿勢で設置されており、より具体的には、ユーザＵの顔（より特定的には、ユーザＵの目）が撮影画角７内に入る位置および姿勢で設置されている。 Further, as shown in FIGS. 3 and 4, thecamera 5 is installed in a position and posture that allows the user U to fall within the shooting angle ofview 7. The camera is installed in a position and posture that allows the user's U's eyes (eyes) to fall within the photographing angle ofview 7.

なお、カメラ５は、天井に埋め込まれて設置されてもよいし、天井に取り付けられることで設置されてもよい。 Note that thecamera 5 may be installed by being embedded in the ceiling, or may be installed by being attached to the ceiling.

カメラ５の位置は、ルームミラーＭの近傍の位置であるともいえる。ルームミラーＭの近傍は、車室Ｓ内においてルームミラーＭに比較的近い領域として定められた領域であり、例えば、ルームミラーＭから３０ｃｍ程度以内である領域である。 The position of thecamera 5 can also be said to be near the rearview mirror M. The vicinity of the rearview mirror M is an area defined as a relatively close area to the rearview mirror M in the vehicle interior S, for example, an area within about 30 cm from the rearview mirror M.

なお、カメラ５は、ルームミラーＭに設置されていてもよい。 Note that thecamera 5 may be installed on the rearview mirror M.

ルームミラーＭは、一般に、車両Ｖを運転しているユーザＵが、車両Ｖの後方を確認するために視線を向ける対象となる。カメラ５がルームミラーＭに設置される場合、カメラ５が撮影により生成する画像に基づくユーザＵの状態の判定（より具体的にはユーザＵの視線の検出）において、ユーザＵがルームミラーＭに視線を向けているか否かをより正確に判定することができる効果がある。これにより、判定部１２は、ユーザＵが運転中にルームミラーＭに視線を向けているか否かを、より正確に判定することができる効果がある。 Generally, the rearview mirror M is a target that a user U driving a vehicle V looks at in order to check the rear of the vehicle V. When thecamera 5 is installed on the rear-view mirror M, when determining the state of the user U based on the image captured by the camera 5 (more specifically, detecting the line of sight of the user U), the user U is placed on the rear-view mirror M. This has the effect of making it possible to more accurately determine whether or not the user is directing his/her line of sight. This has the effect that thedetermination unit 12 can more accurately determine whether the user U is looking at the rearview mirror M while driving.

また、カメラ５がルームミラーＭに設置される場合、天井に設置される場合よりも、ユーザＵの頭部に近い位置に設置されることになるので、ユーザＵの顔または表情がより鮮明に撮影された画像を生成することに寄与し、画像に基づく処理の精度を向上する効果を奏する。 Furthermore, when thecamera 5 is installed on the room mirror M, it is installed closer to the user's U's head than when it is installed on the ceiling, so the user's U's face or expression can be seen more clearly. It contributes to the generation of photographed images and has the effect of improving the accuracy of processing based on the images.

次に、カメラ５が撮影する画像について説明する。 Next, the image taken by thecamera 5 will be explained.

図５は、本実施の形態におけるユーザＵが映っている画像の例を示す説明図である。 FIG. 5 is an explanatory diagram showing an example of an image in which user U is shown in this embodiment.

図５に示される画像には、カメラ５によって撮影されたユーザＵが映っている。画像に映っているユーザＵは、ユーザＵにとっての正面より、やや上方、かつ、やや左方向に視線を向けて、ルームミラーＭを視認している。 The image shown in FIG. 5 shows the user U photographed by thecamera 5. The user U shown in the image is looking at the room mirror M with his/her line of sight slightly upward and slightly to the left from the front of the user U.

図５に示される画像は、視線検出部１１による視線の検出の対象となるとともに、状態推定部１３による状態の推定の対象となる。 The image shown in FIG. 5 is a target for line-of-sight detection by the line-of-sight detection unit 11 and a target for state estimation by thestate estimation unit 13.

以降において、図３および図４を再び参照しながら、ユーザＵの視線について説明する。 Hereinafter, the line of sight of the user U will be described with reference to FIGS. 3 and 4 again.

図３には、車両Ｖの側面視におけるユーザＵの視線が示されている。図３に示される視線は、カメラ５が生成した画像に基づいて視線検出部１１が生成した視線情報により示されるものである。 FIG. 3 shows the line of sight of the user U when the vehicle V is viewed from the side. The line of sight shown in FIG. 3 is indicated by the line of sight information generated by the line ofsight detection unit 11 based on the image generated by thecamera 5.

具体的には、図３には、ルームミラーＭを視認しているときのユーザＵの視線方向８が示されている。視線方向８と水平方向とのなす角（つまり仰角）をθとする。ルームミラーＭが位置している領域が、所定領域に相当する。 Specifically, FIG. 3 shows the line-of-sight direction 8 of the user U when viewing the rearview mirror M. The angle (that is, the elevation angle) between the line-of-sight direction 8 and the horizontal direction is assumed to be θ. The area where the room mirror M is located corresponds to the predetermined area.

判定部１２は、側面視においては、視線方向８の先にルームミラーＭが位置している場合に、ユーザＵの視線が所定領域に向けられていると判定する。言い換えれば、判定部１２は、視線方向８が、ユーザＵからルームミラーＭを見込む角度範囲９Ａに含まれている場合に、ユーザＵの視線が所定領域に向けられていると判定する。 Thedetermination unit 12 determines that the user's U's line of sight is directed toward a predetermined area when the rearview mirror M is located ahead in the line-of-sight direction 8 in a side view. In other words, the determiningunit 12 determines that the user's U's line of sight is directed toward the predetermined area when the line-of-sight direction 8 is included in theangle range 9A from which the user U looks into the room mirror M.

図４には、車両Ｖの上面視におけるユーザＵの視線が示されている。図４に示される視線は、カメラ５が生成した画像に基づいて視線検出部１１が生成した視線情報により示されるものである。 FIG. 4 shows the line of sight of the user U when the vehicle V is viewed from above. The line of sight shown in FIG. 4 is indicated by the line of sight information generated by the line ofsight detection unit 11 based on the image generated by thecamera 5.

具体的には、図４には、ルームミラーＭを視認しているときのユーザＵの視線方向８が示されている。視線方向８と進行方向とのなす角（つまり方位角）をφとする。ルームミラーＭが位置している領域が、所定領域に相当する。 Specifically, FIG. 4 shows the line-of-sight direction 8 of the user U when viewing the rearview mirror M. The angle (that is, the azimuth angle) formed by the line-of-sight direction 8 and the direction of travel is assumed to be φ. The area where the room mirror M is located corresponds to the predetermined area.

判定部１２は、上面視においては、視線方向８の先にルームミラーＭが位置している場合に、ユーザＵの視線が所定領域に向けられていると判定する。言い換えれば、判定部１２は、視線方向８が、ユーザＵからルームミラーＭを見込む角度範囲９Ｂに含まれている場合に、ユーザＵの視線が所定領域に向けられていると判定する。 The determiningunit 12 determines that the user's U's line of sight is directed toward a predetermined area when the room mirror M is located ahead in the line-of-sight direction 8 when viewed from above. In other words, the determiningunit 12 determines that the user's U's line of sight is directed toward the predetermined area when the line-of-sight direction 8 is included in theangle range 9B from which the user U looks into the room mirror M.

図６は、本実施の形態におけるユーザＵの視線方向の時間的変化の例を示す説明図である。 FIG. 6 is an explanatory diagram showing an example of a temporal change in the line-of-sight direction of the user U in this embodiment.

具体的には、図６の（ａ）は、ユーザＵの視線方向の仰角θの時間変化を示しており、図６の（ｂ）は、ユーザＵの視線方向の方位角φの時間変化を示している。図６の（ａ）において、角度範囲９Ａが、角度Ａ１から角度Ａ２までの範囲として示されている。また、図６の（ｂ）において、角度範囲９Ｂが、角度Ａ３から角度Ａ４までの範囲として示されている。 Specifically, (a) in FIG. 6 shows the temporal change in the elevation angle θ of the user U's line of sight, and (b) in FIG. 6 shows the temporal change in the azimuth angle φ in the user U's line of sight. It shows. In FIG. 6(a), theangle range 9A is shown as a range from angle A1 to angle A2. Further, in FIG. 6(b), anangular range 9B is shown as a range from angle A3 to angle A4.

図６の（ａ）に示されるように、時刻Ｔ１、Ｔ２およびＴ３において、仰角θが角度範囲９Ａに属している。また、図６の（ｂ）に示されるように、時刻Ｔ１、Ｔ２およびＴ３において、方位角φが角度範囲９Ｂに属している。 As shown in FIG. 6(a), the elevation angle θ belongs to theangle range 9A at times T1, T2, and T3. Furthermore, as shown in FIG. 6(b), the azimuth angle φ belongs to theangular range 9B at times T1, T2, and T3.

判定部１２は、時刻Ｔ１、Ｔ２およびＴ３において仰角θが角度範囲９Ａに属していること、および、方位角φが角度範囲９Ｂに属していることを判定することで、時刻Ｔ１、Ｔ２およびＴ３においてユーザＵの視線がルームミラーＭに向けられていると判定することができる。 Thedetermination unit 12 determines that the elevation angle θ belongs to theangle range 9A and that the azimuth angle φ belongs to theangle range 9B at times T1, T2, and T3. It can be determined that the user's U's line of sight is directed toward the rearview mirror M at .

また、判定部１２は、仰角θおよび方位角φの時間的変化から、ユーザＵの視線がルームミラーＭに向けられる時間間隔を取得できる。具体的には、判定部１２は、時刻Ｔ１とＴ２との時間差、および、時刻Ｔ２とＴ３との時間差を、ユーザＵの視線がルームミラーＭに向けられる時間間隔として取得する。そして、判定部１２は、取得した時間間隔が、適正な時間間隔の範囲（例えば数秒～数十秒）に含まれているか否かを判定することができる。補正部１４は、上記時間差が適正な時間間隔の範囲に含まれていると判定部１２が判定した場合に、ユーザＵが運転に適した状態であることを示す方向へ状態情報を補正してよい。また、補正部１４は、上記時間差が適正な時間間隔の範囲に含まれていないと判定部１２が判定した場合に、ユーザＵが運転に適した状態でないことを示す方向へ状態情報を補正してよい。 Furthermore, thedetermination unit 12 can obtain the time interval at which the user's U's line of sight is directed toward the rearview mirror M from the temporal changes in the elevation angle θ and the azimuth angle φ. Specifically, thedetermination unit 12 obtains the time difference between times T1 and T2 and the time difference between times T2 and T3 as the time interval at which the user's U's line of sight is directed toward the rearview mirror M. Then, the determiningunit 12 can determine whether the acquired time interval is included in an appropriate time interval range (for example, from several seconds to several tens of seconds). When thedetermination unit 12 determines that the time difference is within a proper time interval range, thecorrection unit 14 corrects the state information in a direction that indicates that the user U is in a state suitable for driving. good. Further, when thedetermination unit 12 determines that the time difference is not included in the appropriate time interval range, thecorrection unit 14 corrects the state information in a direction indicating that the user U is not in a state suitable for driving. It's fine.

図７は、本実施の形態における車載装置１の処理の例を示すフロー図である。 FIG. 7 is a flow diagram illustrating an example of processing of the in-vehicle device 1 according to the present embodiment.

ステップＳ１０１において、カメラ５は、車両Ｖの車室Ｓ内にいるユーザＵが撮影された画像を生成する。 In step S101, thecamera 5 generates an image of the user U inside the cabin S of the vehicle V.

ステップＳ１０２において、視線検出部１１は、ステップＳ１０１で生成された画像に基づいて、視線検出処理によりユーザＵの視線を検出する。 In step S102, the line-of-sight detection unit 11 detects the line-of-sight of the user U through a line-of-sight detection process based on the image generated in step S101.

ステップＳ１０３において、判定部１２は、ステップＳ１０２で検出された視線が、所定領域に向けられているか否かの判定をする。 In step S103, thedetermination unit 12 determines whether the line of sight detected in step S102 is directed toward a predetermined area.

ステップＳ１０４において、状態推定部１３は、ステップＳ１０１で生成された画像に基づいて、ユーザＵの状態を推定し、状態情報を生成する。 In step S104, thestate estimation unit 13 estimates the state of the user U based on the image generated in step S101, and generates state information.

ステップＳ１０５において、補正部１４は、ステップＳ１０４で生成された状態情報を、ステップＳ１０３での判定の結果を用いて補正する。 In step S105, thecorrection unit 14 corrects the state information generated in step S104 using the result of the determination in step S103.

ステップＳ１０６において、提示部２０は、ステップＳ１０５で補正された後の状態情報を提示する。 In step S106, thepresentation unit 20 presents the state information corrected in step S105.

図７に示される一連の処理により、車載装置１は、ユーザＵの状態を適切に判定することができる。 Through the series of processes shown in FIG. 7, the in-vehicle device 1 can appropriately determine the state of the user U.

（実施の形態の変形例）
図８は、本実施の形態の変形例における車載装置１Ａの機能構成を示すブロック図である。(Modified example of embodiment)
FIG. 8 is a block diagram showing the functional configuration of the in-vehicle device 1A in a modification of the present embodiment.

図８に示されるように、車載装置１Ａは、カメラ５と、処理部１０Ａと、提示部２０とを備える。カメラ５と提示部２０は、上記実施の形態におけるものと同じである。以降において、処理部１０Ａについて詳しく説明する。 As shown in FIG. 8, the in-vehicle device 1A includes acamera 5, aprocessing section 10A, and apresentation section 20. Thecamera 5 andpresentation unit 20 are the same as those in the above embodiment. Hereinafter, theprocessing unit 10A will be explained in detail.

図８に示されるように、処理部１０Ａは、視線検出部１１と、判定部１２と、状態推定部１３と、補正部１４と、調整部１５とを備える。視線検出部１１と、判定部１２と、状態推定部１３と、補正部１４とは、上記実施の形態におけるものと同じである。 As shown in FIG. 8, theprocessing section 10A includes a line ofsight detection section 11, adetermination section 12, astate estimation section 13, acorrection section 14, and anadjustment section 15. The line ofsight detection section 11,determination section 12,state estimation section 13, andcorrection section 14 are the same as those in the above embodiment.

調整部１５は、判定部１２が判定に用いる所定領域を調整する機能部である。 Theadjustment unit 15 is a functional unit that adjusts a predetermined area that thedetermination unit 12 uses for determination.

調整部１５は、一例として、提示部２０が、表示画面を備える電子ミラーであるルームミラーＭである場合に、ルームミラーＭによる情報の表示のタイミングを用いて、所定領域を調整することができる。具体的には、調整部１５は、提示部２０が表示画面に情報を提示したときにカメラ５による撮影により生成された画像から、視線検出部１１により得られるユーザＵの視線が向けられている領域を含むように、所定領域を調整する。調整部１５が所定領域を調整した場合、判定部１２は、調整した後の所定領域を用いて判定を行う。なお、上記機能を実行する機能部を、第一調整部ともいう。 For example, when thepresentation unit 20 is a rearview mirror M that is an electronic mirror including a display screen, theadjustment unit 15 can adjust the predetermined area using the timing of information display by the rearview mirror M. . Specifically, theadjustment unit 15 determines the direction of the user U's line of sight obtained by the line ofsight detection unit 11 from the image generated by thecamera 5 when thepresentation unit 20 presents the information on the display screen. Adjust the predetermined area to include the area. When theadjustment unit 15 adjusts the predetermined area, thedetermination unit 12 makes a determination using the adjusted predetermined area. Note that the functional unit that executes the above function is also referred to as a first adjustment unit.

また、調整部１５は、一例として、車両Ｖが、当該車両Ｖの後方に他の車両が近接していることを感知するセンサを備えている場合に、他の車両が近接しているタイミングを用いて、所定領域を調整することができる。具体的には、調整部１５は、車両Ｖの後方に他の車両が近接していることをセンサが感知しているタイミングにおいてカメラ５による撮影により生成された画像から、視線検出部１１により得られるユーザＵの視線が向けられている領域を含むように、所定領域を調整する。なお、上記機能を実行する機能部を、第二調整部ともいう。上記センサは、例えば、超音波センサ、ＬｉＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）、または、後方カメラである。なお、上記センサは、車両Ｖに接近する車両に関する情報を、車両を接続するネットワークを介して受信してもよい。 Further, as an example, when the vehicle V is equipped with a sensor that detects that another vehicle is approaching behind the vehicle V, theadjustment unit 15 adjusts the timing when another vehicle is approaching. can be used to adjust the predetermined area. Specifically, theadjustment unit 15 uses the line-of-sight detection unit 11 to calculate the amount of data obtained by the line-of-sight detection unit 11 from the image generated by thecamera 5 at the timing when the sensor detects that another vehicle is approaching behind the vehicle V. The predetermined area is adjusted so as to include the area where the user U's line of sight is directed. Note that the functional unit that executes the above function is also referred to as a second adjustment unit. The sensor is, for example, an ultrasonic sensor, a LiDAR (light detection and ranging), or a rear camera. Note that the sensor may receive information regarding a vehicle approaching vehicle V via a network connecting the vehicles.

なお、調整部１５は、車両Ｖの後方に他の車両が近接していることをセンサが感知している期間を特定し、特定した期間内にカメラ５による複数回の撮影により生成された複数の画像を用いて、所定領域を調整してもよい。 Note that theadjustment unit 15 specifies a period during which the sensor is sensing that another vehicle is approaching behind the vehicle V, and adjusts the plurality of images generated by the plurality of images taken by thecamera 5 within the specified period. The predetermined area may be adjusted using the image.

以上のように、本実施の形態の車載装置は、ユーザがルームミラーに視線を向けているか否かを適切に判定し、その判定結果を用いて、ユーザの推定される状態を補正することで、ユーザの状態をより適切に判定することができる。特に、車室内の天井の近傍に設置されたカメラを用いるので、ユーザがルームミラーに視線を向けているか否かをより適切に判定することができ、最終的なユーザの状態の判定結果がより適切なものとなる効果がある。このように、車載装置は、ユーザの状態を適切に判定することができる。 As described above, the in-vehicle device of this embodiment appropriately determines whether or not the user is directing his or her gaze toward the rearview mirror, and uses the determination result to correct the estimated state of the user. , the user's condition can be determined more appropriately. In particular, since a camera installed near the ceiling inside the vehicle is used, it is possible to more appropriately determine whether the user is looking at the rearview mirror, and the final determination result of the user's condition is improved. It has the effect of making it appropriate. In this way, the in-vehicle device can appropriately determine the user's condition.

また、車載装置は、ユーザがルームミラーに視線を向けるタイミングの時間間隔が適正であるか否かをさらに判定することで、ユーザの推定される状態を補正し、ユーザの状態をより適切に判定することができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 In addition, the in-vehicle device further determines whether the time interval between when the user looks at the rearview mirror is appropriate, corrects the user's estimated state, and determines the user's state more appropriately. can do. Therefore, the in-vehicle device can more appropriately determine the user's condition.

また、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。電子ミラーが情報を提示したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 Further, the in-vehicle device adjusts the predetermined area and then makes a determination using the adjusted predetermined area. It is assumed that the user turns his/her line of sight to the electronic mirror at the timing when the electronic mirror presents information, so by using the user's line of sight at that time, a predetermined area is set according to the user's physique or posture. This allows the estimated state of the user to be corrected more appropriately. Therefore, the in-vehicle device can more appropriately determine the user's condition.

また、車載装置は、所定領域を調整したうえで、調整された所定領域を用いた判定を行う。車両の後方に他の車両が近接していることをセンサが感知したタイミングにおいて、ユーザが電子ミラーに視線を向けることが想定されるので、そのときのユーザの視線を用いることにより、当該ユーザの体格または姿勢に応じた所定領域が設定されることが可能であり、これにより、ユーザの推定される状態の補正をより適切にすることができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 Further, the in-vehicle device adjusts the predetermined area and then makes a determination using the adjusted predetermined area. It is assumed that the user turns his/her line of sight to the electronic mirror at the timing when the sensor detects that another vehicle is approaching behind the vehicle, so by using the user's line of sight at that time, the user's A predetermined area can be set according to the physique or posture, and thereby the estimated state of the user can be corrected more appropriately. Therefore, the in-vehicle device can more appropriately determine the user's condition.

また、車載装置は、実際に車両の後方に他の車両が近接している期間に撮影された複数の画像を用いるので、後方に車両が近接していることを認識したユーザがルームミラーに視線を向けて車両の後方を確認する動作をすることを利用して、所定領域の調整をより適切に行うことができる。よって、車載装置は、ユーザの状態をより適切に判定することができる。 In addition, since the in-vehicle device uses multiple images taken during the period when another vehicle is actually close to the rear of the vehicle, the user who recognizes that the vehicle is close to the rear looks in the rearview mirror. Adjustment of a predetermined area can be made more appropriately by using the action of checking the rear of the vehicle by pointing at the vehicle. Therefore, the in-vehicle device can more appropriately determine the user's condition.

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態のサーバなどを実現するソフトウェアは、次のようなプログラムである。 Note that in the above embodiments, each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. Here, the software that implements the server etc. of the above embodiment is the following program.

すなわち、このプログラムは、コンピュータに、車両の車室内の天井の近傍の位置に設置されるカメラにより、前記車室内にいるユーザが撮影された画像を生成し、前記カメラが生成した前記画像に映っている前記ユーザの視線を検出し、検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をし、前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成し、生成した前記状態情報を、前記判定の結果を用いて補正し、補正した後の前記状態情報を提示する情報処理方法を実行させるプログラムである。 That is, this program causes a computer to generate an image of a user in the vehicle interior taken by a camera installed near the ceiling of the vehicle interior, and to display the image captured by the camera. detects the user's line of sight, determines whether the detected user's line of sight is directed toward a predetermined area including a rearview mirror provided in the vehicle, and detects the user's line of sight based on the image generated by the camera. executing an information processing method of estimating a state of, generating state information indicating the estimated state, correcting the generated state information using the result of the determination, and presenting the corrected state information. This is a program that allows you to

以上、一つまたは複数の態様に係る車載装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。 Although the in-vehicle devices and the like according to one or more aspects have been described above based on the embodiments, the present invention is not limited to these embodiments. Unless departing from the spirit of the present invention, various modifications that can be thought of by those skilled in the art to this embodiment, and embodiments constructed by combining components of different embodiments are within the scope of one or more embodiments. may be included within.

本発明は、自動車の運転手など、車両内のユーザの状態を判定する車載装置に利用可能である。 INDUSTRIAL APPLICATION This invention can be utilized for the vehicle-mounted apparatus which determines the state of the user in a vehicle, such as a driver of a car.

１、１Ａ 車載装置
５ カメラ
６ 撮影方向
７ 撮影画角
８ 視線方向
９Ａ、９Ｂ 角度範囲
１０、１０Ａ 処理部
１１ 視線検出部
１２ 判定部
１３ 状態推定部
１４ 補正部
１５ 調整部
２０ 提示部
Ｍ ルームミラー
Ｓ 車室
Ｕ ユーザ
Ｖ 車両1, 1A Vehicle-mounteddevice 5Camera 6 Photographingdirection 7 Photographing angle ofview 8 Direction of line ofsight 9A,9B Angle range 10,10A Processing section 11 Line ofsight detection section 12Judgment section 13State estimation section 14Correction section 15Adjustment section 20 Presentation section M Rearview mirror S Vehicle interior U User V Vehicle

Claims (7)

Translated fromJapanese

車両の車室内の天井の近傍の位置に設置されるカメラであって、前記車室内にいるユーザが撮影された画像を生成するカメラと、
前記カメラが生成した前記画像に映っている前記ユーザの視線を検出する検出部と、
前記検出部が検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をする判定部と、
前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成する推定部と、
前記推定部が生成した前記状態情報を、前記判定部による判定結果を用いて補正する補正部と、
前記補正部が補正した後の前記状態情報を提示する提示部とを備える
車載装置。A camera installed near the ceiling of a vehicle interior, the camera generating an image of a user in the vehicle interior;
a detection unit that detects the user's line of sight reflected in the image generated by the camera;
a determination unit that determines whether the line of sight of the user detected by the detection unit is directed toward a predetermined area including a rearview mirror provided in the vehicle;
an estimation unit that estimates a state of the user from an image generated by the camera and generates state information indicating the estimated state;
a correction unit that corrects the state information generated by the estimation unit using the determination result by the determination unit;
An in-vehicle device comprising: a presentation section that presents the state information corrected by the correction section. 前記カメラは、前記ユーザを複数回撮影することで、複数の前記画像を生成し、
前記判定部は、
前記判定において、さらに、複数の前記画像を用いて前記検出部が検出した前記ユーザの前記視線の時間的変化から、前記ユーザの視線が適正な時間間隔で前記所定領域に向けられているか否かを判定する
請求項１に記載の車載装置。The camera generates a plurality of images by photographing the user a plurality of times,
The determination unit includes:
In the determination, further, based on the temporal change in the user's line of sight detected by the detection unit using a plurality of the images, whether or not the user's line of sight is directed to the predetermined area at appropriate time intervals. The in-vehicle device according to claim 1. 前記提示部は、表示画面を備える電子ミラーである前記ルームミラーを含み、
前記車載装置は、さらに、
前記提示部が前記表示画面に情報を提示したタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第一調整部を備え、
前記判定部は、
前記第一調整部が調整した後の前記所定領域を用いて前記判定をする
請求項１または２に記載の車載装置。The presentation unit includes the room mirror that is an electronic mirror including a display screen,
The in-vehicle device further includes:
The predetermined area is configured such that the predetermined area includes an area where the user's line of sight obtained by the detection unit is directed from the image generated by photography by the camera at the timing when the presentation unit presents information on the display screen. Equipped with a first adjustment section that adjusts the
The determination unit includes:
The in-vehicle device according to claim 1 or 2, wherein the determination is made using the predetermined area adjusted by the first adjustment section. 前記車両は、前記車両の後方に他の車両が近接していることを感知するセンサを備え、
前記車載装置は、さらに、
前記車両の後方に他の車両が近接していることを前記センサが感知しているタイミングにおいて前記カメラによる撮影により生成された前記画像から、前記検出部により得られる前記ユーザの視線が向けられている領域を含むように、前記所定領域を調整する第二調整部を備え、
前記判定部は、
前記第二調整部が調整した後の前記所定領域を用いて前記判定をする
請求項１～３のいずれか１項に記載の車載装置。The vehicle includes a sensor that detects that another vehicle is close to the rear of the vehicle,
The in-vehicle device further includes:
The user's line of sight obtained by the detection unit is determined from the image generated by the camera at a timing when the sensor senses that another vehicle is approaching behind the vehicle. a second adjustment unit that adjusts the predetermined area to include the area where the predetermined area is located;
The determination unit includes:
The vehicle-mounted device according to any one of claims 1 to 3, wherein the determination is made using the predetermined area adjusted by the second adjustment section. 前記第二調整部は、
前記車両の後方に他の車両が近接していることを前記センサが感知している期間を特定し、特定した前記期間内に前記カメラによる複数回の撮影により生成された複数の前記画像を用いて、前記所定領域を調整する
請求項４に記載の車載装置。The second adjustment section is
A period during which the sensor detects that another vehicle is approaching behind the vehicle is specified, and a plurality of images generated by the camera multiple times during the specified period are used. The in-vehicle device according to claim 4, wherein the predetermined area is adjusted by adjusting the predetermined area. 車両の車室内の天井の近傍の位置に設置されるカメラにより、前記車室内にいるユーザが撮影された画像を生成し、
前記カメラが生成した前記画像に映っている前記ユーザの視線を検出し、
検出した前記ユーザの前記視線が、前記車両が備えるルームミラーを含む所定領域に向けられているか否かの判定をし、
前記カメラが生成した画像から前記ユーザの状態を推定し、推定した前記状態を示す状態情報を生成し、
生成した前記状態情報を、前記判定の結果を用いて補正し、
補正した後の前記状態情報を提示する
情報処理方法。Generating an image of a user in the vehicle interior by a camera installed near the ceiling of the vehicle interior;
detecting the user's line of sight in the image generated by the camera;
determining whether the detected line of sight of the user is directed toward a predetermined area including a rearview mirror provided in the vehicle;
estimating the state of the user from an image generated by the camera and generating state information indicating the estimated state;
correcting the generated state information using the result of the determination,
An information processing method that presents the state information after being corrected. 請求項６に記載の情報処理方法をコンピュータに実行させるプログラム。 A program that causes a computer to execute the information processing method according to claim 6.

Images