【０００１】[0001]
【産業上の利用分野】この発明は、自車両の周囲の障害
物を検出し、運転者に警報を与える車両用警報装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an alarm device for a vehicle which detects an obstacle around a vehicle and gives an alarm to a driver.
【０００２】[0002]
【従来の技術】従来の車両用の警報装置として、例えば
特開昭５４−３６４６４号公報，特開昭６０−３１０７
５号公報，特公昭５６−３６０９２号公報などに記載さ
れたものがある。図１３は、これらの公報に開示された
車両用警報装置を示す構成図である。図において、１は
障害物検出手段であり、例えば、レーダ装置や超音波距
離計測装置などを使用して、自車両の周囲、例えば自車
両の後側方にある障害物を検出する。２は障害物表示手
段であり、障害物検出手段１によって検出された障害物
を運転者に表示する。この障害物表示手段２は、例えば
障害物の有無を表示するランプで構成される。３は方向
指示器作動状態検知手段であり、車両の右左折の方向指
示器が運転者によって作動状態にされた時、この作動状
態を検知する。４は警報手段であり、例えば、ブザー
音，音声などの聴覚に訴える警報を運転者に与える。2. Description of the Related Art As a conventional vehicle alarm device, for example, Japanese Patent Laid-Open Nos. 54-36464 and 60-3107.
5 and Japanese Patent Publication No. 56-36092. FIG. 13 is a configuration diagram showing the vehicular alarm device disclosed in these publications. In the figure, reference numeral 1 is an obstacle detecting means, which detects an obstacle around the own vehicle, for example, on the rear side of the own vehicle, by using, for example, a radar device or an ultrasonic distance measuring device. Reference numeral 2 denotes an obstacle display means for displaying the obstacle detected by the obstacle detection means 1 to the driver. The obstacle display means 2 is composed of, for example, a lamp that displays the presence or absence of an obstacle. Reference numeral 3 denotes a turn indicator operation state detecting means for detecting the turn state of the vehicle when the turn indicator for turning left or right of the vehicle is turned on by the driver. Reference numeral 4 denotes an alarming means, which gives a driver a warning such as a buzzer sound and a voice to appeal to hearing.
【０００３】次に動作について説明する。自車両の後側
方に障害物、例えば、荷物、他の車両、歩行者などがあ
る場合、障害物検出手段１によってその障害物を検出す
る。検出した障害物は障害物表示手段２に表示される。
この障害物の表示中、運転者が車両の右左折の方向指示
器を作動させた時、その作動状態を方向指示器作動状態
検知手段３で検知する。障害物検出手段１の検出信号と
方向指示器作動状態検知手段３の検知信号から、右方向
に障害物がある時に右折をしようとした場合、または左
方向に障害物がある時に左折をしようとした場合、運転
者に警報手段４を介して警報を発する。Next, the operation will be described. If there is an obstacle behind the host vehicle, such as luggage, another vehicle, or a pedestrian, the obstacle detection unit 1 detects the obstacle. The detected obstacle is displayed on the obstacle display means 2.
While the obstacle is being displayed, when the driver actuates the turn indicator for turning the vehicle left or right, the actuating state thereof is detected by the turn indicator actuating state detecting means 3. From the detection signal of the obstacle detection means 1 and the detection signal of the direction indicator operation state detection means 3, when trying to turn right when there is an obstacle to the right, or when turning to the left when there is an obstacle to the left. In that case, an alarm is issued to the driver via the alarm means 4.
【０００４】[0004]
【発明が解決しようとする課題】従来の車両用警報装置
は上記のように構成されているので、右左折の運転動作
を起こした時に警報を発しても、すでに手遅れになって
いる場合が多く、事故につながるという問題点があっ
た。また、例えば他車に追い越される場合などの右左折
以外の状況では警報を発しないという問題もあった。こ
れに対し、障害物を検出する度に警報を発する方法もあ
るが、これでは警報を出しすぎ、運転者に不快感を与え
るという問題点もあった。Since the conventional vehicular alarm device is constructed as described above, it is often too late even if an alarm is issued when a right / left turn driving operation occurs. However, there was a problem that it would lead to an accident. In addition, there is also a problem that the alarm is not issued in a situation other than a right turn or a left turn, for example, when the vehicle is overtaken by another vehicle. On the other hand, there is also a method of issuing an alarm every time an obstacle is detected, but this also causes a problem that the alarm is issued too much and the driver feels uncomfortable.
【０００５】この発明は、かかる問題点を解決するため
になされたもので、運転者に不快感を与えることなく、
また、右折，左折以外の状況でも警報を発することがで
き、運転者がより安全に運転できる様に周囲の障害物に
関する警報を出すことができる車両用警報装置を得るこ
とを目的とするものである。The present invention has been made to solve the above problems, and does not give a driver a discomfort.
It is also an object of the present invention to provide an alarm device for a vehicle capable of issuing an alarm even under conditions other than right turn and left turn, and issuing an alarm regarding obstacles in the surroundings so that the driver can drive more safely. is there.
【０００６】[0006]
【課題を解決するための手段】請求項第１項の発明によ
る車両用警報装置は、自車両の周囲の障害物を検出する
障害物検出手段、この障害物検出手段により障害物を検
出した場合に第１警報を発する第１警報手段、第１警報
に対する運転者の反応状態を検出する運転者状態検出手
段、及び運転者状態検出手段により第１警報が運転者に
認知されたかどうかを検出し、第１警報が認知されてい
ない場合に第２警報を発する第２警報手段を備えたもの
である。According to a first aspect of the present invention, there is provided an alarm device for a vehicle, which is an obstacle detecting means for detecting an obstacle around the own vehicle, and an obstacle detecting means detects the obstacle. First alarm means for issuing a first alarm, driver state detecting means for detecting a reaction state of the driver to the first alarm, and driver state detecting means for detecting whether or not the first alarm is recognized by the driver. , A second alarm means for issuing a second alarm when the first alarm is not recognized.
【０００７】請求項第２項の発明による車両用警報装置
は、自車両の周囲の障害物を検出する障害物検出手段、
この障害物検出手段により障害物を検出した場合に第１
警報を発する第１警報手段、第１警報に対する運転者の
反応状態を検出する運転者状態検出手段、自車両の運転
機器の作動状態を検出する運転機器作動状態検出手段、
並びに運転者状態検出手段により第１警報が運転者に認
知されたかどうかを検出した結果において第１警報が認
知されなかった場合、及び上記検出した結果において第
１警報が認知された場合かつ運転機器作動状態検出手段
により検出した自車両の運転機器作動状態において、第
１警報出力から所定時間内に運転機器が作動されなかっ
た場合、第２警報を発する第２警報手段を備えたもので
ある。The vehicle alarm system according to the second aspect of the invention is an obstacle detection means for detecting an obstacle around the vehicle.
When an obstacle is detected by this obstacle detecting means, the first
A first alarm means for issuing an alarm, a driver state detecting means for detecting a reaction state of a driver with respect to the first alarm, a driving equipment operating state detecting means for detecting an operating state of a driving equipment of the own vehicle,
Also, if the first alarm is not recognized as a result of detecting whether or not the driver has recognized the first alarm by the driver state detecting means, and if the first alarm is recognized as a result of the detection and the driving device In the operating condition of the driving device of the own vehicle detected by the operating condition detecting device, the second alarm device is provided to issue the second alarm when the driving device is not operated within a predetermined time from the first alarm output.
【０００８】請求項第３項の発明による車両用警報装置
は、第１項または第２項に記載の発明において、運転者
状態検出手段として、運転者の眼の位置座標と視線方向
を検出する検出手段、第１警報が発せられた場合に運転
者が見るべき注視対象の座標を記憶する座標記憶手段、
及び座標記憶手段に記憶された注視対象の座標と検出手
段で検出した眼の位置座標と視線の方向を参照して、運
転者の注視点が注視対象にあるかないかを計算する視点
判定手段を備え、第１警報が発せられた場合には、注視
点によって上記運転者が第１警報を認知したかどうかを
検出するようにしたものである。The vehicle alarm device according to a third aspect of the present invention is the vehicle alarm device according to the first or second aspect of the invention, wherein the driver state detecting means detects the position coordinates and the line-of-sight direction of the driver's eyes. Detection means, coordinate storage means for storing the coordinates of the gaze target to be viewed by the driver when the first alarm is issued,
And a viewpoint determination means for calculating whether or not the gazing point of the driver is in the gazing target by referring to the coordinates of the gazing target stored in the coordinate storage means, the position coordinates of the eye detected by the detecting means, and the direction of the line of sight. When the first alarm is issued, whether or not the driver recognizes the first alarm is detected by the gazing point.
【０００９】請求項第４項の発明による車両用警報装置
は、第１項または第２項に記載の発明において、運転者
状態検出手段は、運転者の顔の向きを検出する検出手段
を有し、第１警報が発せられた場合に運転者の顔の動き
によって運転者が第１警報を認知したかどうかを検出す
るようにしたものである。A vehicle alarm device according to a fourth aspect of the present invention is the vehicle alarm device according to the first or second aspect, wherein the driver state detecting means has a detecting means for detecting the orientation of the driver's face. However, when the first alarm is issued, whether or not the driver has recognized the first alarm is detected by the movement of the driver's face.
【００１０】請求項第５項の発明による車両用警報装置
は、第１項ないし第４項のいずれかに記載の発明におい
て、自車両の車体の振動を検出する車体振動検出手段を
備え、車体振動検出手段により検出された車体振動分に
より、運転者状態検出手段で用いる情報を補正するよう
に構成したものである。A vehicle alarm system according to a fifth aspect of the present invention is the vehicle alarm system according to any one of the first to fourth aspects, further comprising a vehicle body vibration detecting means for detecting a vibration of the vehicle body of the host vehicle. The information used by the driver state detecting means is corrected based on the vehicle body vibration detected by the vibration detecting means.
【００１１】[0011]
【作用】請求項第１項の発明における運転者状態検出手
段は、運転者が第１警報を認識したかどうかを検出し、
認識していない場合は第２警報手段によって第１警報よ
りもさらに注意を促す第２警報を発する。従って、運転
者が運転動作を起こす前に、運転者が障害物があること
を認知したかどうかを判定でき、運転者が危険な状況を
見落とすことのない確実な警報を出すことができる。The driver state detecting means in the invention of claim 1 detects whether or not the driver recognizes the first alarm,
If not recognized, a second alarm is issued by the second alarm means to call attention more than the first alarm. Therefore, it is possible to determine whether or not the driver recognizes that there is an obstacle before the driver takes a driving action, and it is possible to issue a reliable warning that the driver does not overlook a dangerous situation.
【００１２】また、請求項第２項の発明における運転者
状態検出手段は、運転者が第１警報を認識したかどうか
を検出し、認識していない場合は第１警報よりもさらに
注意を促す第２警報を発する。また、運転者が第１警報
を認識している場合でも、実際に障害物回避の運転動作
がされない場合は第１警報よりもさらに注意を促す第２
警報を発する。従って、警報を見落とすことがないと共
に、警報を無視されることなく、確実な警報を出すこと
ができ、安全性が高まる。Further, the driver state detecting means in the invention of claim 2 detects whether or not the driver has recognized the first alarm, and if the driver does not recognize the first alarm, he / she needs more attention than the first alarm. The second alarm is issued. In addition, even if the driver recognizes the first alarm, if the driver does not actually perform the obstacle avoidance driving operation, the second warning that requires more attention than the first alarm
Give an alarm. Therefore, the alarm can be overlooked, and the alarm can be issued reliably without being disregarded, thus improving safety.
【００１３】また、請求項第３項の発明における運転者
状態検出手段は、運転者の眼の位置座標と視線の方向に
よって、運転者が障害物または第１警報を認識している
かどうかを検出する。The driver state detecting means in the third aspect of the present invention detects whether the driver recognizes the obstacle or the first alarm based on the position coordinates of the driver's eyes and the direction of the line of sight. To do.
【００１４】また、請求項第４項の発明における運転者
状態検出手段は、運転者の顔の向きによって、運転者が
障害物または第１警報を認識しているかどうかを検出す
る。Further, the driver state detecting means in the invention of claim 4 detects whether or not the driver recognizes the obstacle or the first alarm depending on the direction of the face of the driver.
【００１５】また、請求項第５項の発明における車両用
警報装置は、車体振動検出手段によって車体の振動を検
出し、車体の振動による車室内の運転者や各種部品の位
置を補正する。In the vehicle alarm device according to the fifth aspect of the present invention, the vehicle body vibration detecting means detects the vibration of the vehicle body and corrects the position of the driver and various parts in the vehicle interior due to the vehicle body vibration.
【００１６】[0016]
実施例１．以下、この発明の実施例１による車両用警報
装置を図について説明する。図１はこの発明の実施例１
による車両用警報装置の構成を示すブロック図である。
図において、１は従来の車両用警報装置に用いられたも
のと同様の障害物検出手段であるので説明を省略する。
５は第１警報手段、６は運転者の状態を検出する運転者
状態検出手段、７は第２警報手段である。Example 1. Hereinafter, a vehicle alarm device according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a first embodiment of the present invention.
FIG. 3 is a block diagram showing the configuration of a vehicle alarm device according to FIG.
In the figure, reference numeral 1 is an obstacle detecting means similar to that used in a conventional vehicle alarm device, and therefore its explanation is omitted.
Reference numeral 5 is a first warning means, 6 is a driver state detection means for detecting the state of the driver, and 7 is a second warning means.
【００１７】第１警報手段５は、例えば障害物表示器と
警報器とで構成され、障害物検出手段１によって障害物
が検出された時、この検出信号を受け取り、障害物があ
ることを障害物表示器に表示したり、警報器により障害
物警報を発する。即ち、障害物警報を、運転者の視覚や
聴覚や体感などのいずれか、または複数を使用して運転
者に伝えることができる。例えば、視覚としては、ラン
プ，ＬＥＤ，画像ディスプレイなど、聴覚としては、ブ
ザー，音声など、体感としては、振動，接触物の変形な
どがある。The first alarm means 5 is composed of, for example, an obstacle indicator and an alarm device. When the obstacle detecting means 1 detects an obstacle, it receives this detection signal to prevent the presence of the obstacle. It is displayed on the object display, and an obstacle alarm is issued by an alarm. That is, the obstacle warning can be notified to the driver by using one or more of the driver's sight, hearing, and sensation. For example, the visual sense includes a lamp, an LED, and an image display, the auditory sense includes a buzzer, a voice, and the like, and the sensation includes vibration and deformation of a contact object.
【００１８】運転者状態検出手段６は、障害物検出手段
１による障害物検出信号により起動され、第１警報手段
５による障害物警報に対する運転者の反応，認知の状態
を検知して、運転者の認知信号を出力する。この運転者
状態検出手段６の詳細については後で説明する。第２警
報手段７は、例えば図２に示すように構成され、計時回
路８と制御回路９と警報回路１０などを有する。計時回
路８は、障害物検出手段１による障害物検出信号を受取
り、経過時間の計測を開始する。そして、障害物検知認
知経過時間信号として経過時間を示す信号を出力する。
また、警報回路１０から第２警報が発された時は、計時
動作を止め、かつ時間を零に設定する。制御回路９は、
計時回路８からの障害物検知認知経過時間信号と、運転
者状態検出手段６からの運転者認知信号とを受け取り、
第２警報の必要性を判断し、必要な時には警報回路１０
により第２警報を発する。この第２警報は音，音声など
の聴覚に訴えるものが望ましく、第１警報よりもさらに
注意を促すものであることが必要である。The driver state detecting means 6 is activated by an obstacle detection signal from the obstacle detecting means 1, detects the reaction and recognition state of the driver to the obstacle warning by the first warning means 5, and detects the driver's state. Outputs the recognition signal of. Details of the driver state detecting means 6 will be described later. The second alarm means 7 is configured, for example, as shown in FIG. 2, and has a clock circuit 8, a control circuit 9, an alarm circuit 10, and the like. The clock circuit 8 receives the obstacle detection signal from the obstacle detection means 1 and starts measuring elapsed time. Then, a signal indicating the elapsed time is output as the obstacle detection recognition elapsed time signal.
Further, when the second alarm is issued from the alarm circuit 10, the time counting operation is stopped and the time is set to zero. The control circuit 9
The obstacle detection recognition elapsed time signal from the timing circuit 8 and the driver recognition signal from the driver state detection means 6 are received,
The necessity of the second alarm is judged, and when necessary, the alarm circuit 10
The second alarm is issued by. This second alarm is preferably a sound, a voice or the like that appeals to the sense of hearing, and it is necessary to call attention more than the first alarm.
【００１９】次に動作について説明する。図３はこの実
施例に係る車両用警報装置の動作を示すフローチャート
である。Ｓ１では障害物検出手段１によって障害物を検
出したかどうかを判断し、障害物を検出した場合はＳ２
で第１警報手段５によって第１警報を表示し、警報す
る。障害物がない場合は何もしない。Ｓ３では運転者状
態検出手段６によって運転者が第１警報を認識したかど
うかを判断し、第１警報を認識した場合はＳ６で第１警
報を解除する。Ｓ３の判断で運転者が第１警報を認識し
ていない場合は、Ｓ４で第１警報を発してから一定時間
を経過したかどうかを判断し、一定時間内に運転者が第
１警報を認識しない場合は、Ｓ７で第２警報を発する。
第１警報を発生から一定時間経過するまでに、障害物が
なくなった場合（Ｓ５）、即ち障害物検出信号が途絶え
れば、第１警報を解除する（Ｓ６）。この時の一定時間
は、自車両の速度や、障害物の種類によって可変にする
のが望ましいが、この実施例では１０秒〜１分程度に設
定している。Next, the operation will be described. FIG. 3 is a flowchart showing the operation of the vehicle alarm system according to this embodiment. In S1, it is judged whether or not an obstacle is detected by the obstacle detecting means 1, and if an obstacle is detected, S2.
Then, the first alarm means 5 displays the first alarm and issues an alarm. If there are no obstacles, do nothing. In S3, the driver state detecting means 6 determines whether or not the driver has recognized the first alarm. If the driver has recognized the first alarm, the first alarm is canceled in S6. If the driver does not recognize the first alarm in S3, it is determined in S4 whether or not a predetermined time has elapsed since the first alarm was issued, and the driver recognizes the first alarm within the predetermined time. If not, the second alarm is issued in S7.
If there is no obstacle (S5), that is, if the obstacle detection signal is interrupted by a certain time after the first alarm is issued, the first alarm is canceled (S6). The fixed time at this time is preferably variable depending on the speed of the vehicle and the type of obstacle, but in this embodiment, it is set to about 10 seconds to 1 minute.
【００２０】Ｓ７で第２警報を発した後は、運転者の停
止要求がなされた場合か（Ｓ８）、障害物がなくなった
場合（Ｓ９）、Ｓ１０で第１，第２警報を解除する。After the second alarm is issued in S7, if the driver's stop request is issued (S8) or if there is no obstacle (S9), the first and second alarms are released in S10.
【００２１】この実施例では運転者状態検出手段６によ
り第１警報に対する運転者の反応を検出し、運転者が障
害物があることを認知したかどうかを判定してさらに第
２警報を発する。このため、危険な状態になる前に正確
な警報を出すことができ、より安全に運転できる車両用
警報装置が得られる。In this embodiment, the driver's state detecting means 6 detects the reaction of the driver to the first alarm, judges whether the driver recognizes that there is an obstacle, and further issues the second alarm. Therefore, an accurate warning can be issued before a dangerous state is reached, and a vehicular warning device that can be driven more safely can be obtained.
【００２２】以下、この実施例に係る運転者状態検出手
段６の一例について、さらに詳しく説明する。図４は実
施例１に係る運転者状態検出手段６の構成を示すブロッ
ク図である。図において、１１は運転者の眼の位置を検
出する眼球位置検出手段であり、例えば赤外線などの照
明用光源、光源駆動回路、例えばカメラなどの反射光受
像部などから構成され、１つの光源と複数の受像部また
は複数の光源と１台の受像部を使って、運転者の眼球の
位置を検出する。このうちの照明用光源と反射光受像部
は車室内に設置されるのが望ましい。１２は車両の車室
内部品、例えば、フロントガラス、インスツルメントパ
ネル、メーター、サイドミラー、ルームミラー、カーラ
ジオ、エアコン、各種スイッチや、第１警報手段７など
の座標を各々記憶する座標記憶手段である。この座標記
憶手段１２には、世界座標系を基にして、ｘ，ｙ，ｚの
３次元座標位置が記憶されている。世界座標系の原点
は、例えば、反射光受像部が一台ならその位置、２台な
らその真ん中、３台以上であれば重心位置などの反射光
受像部の中心位置が選ばれる。An example of the driver state detecting means 6 according to this embodiment will be described below in more detail. FIG. 4 is a block diagram showing the configuration of the driver state detecting means 6 according to the first embodiment. In the figure, reference numeral 11 is an eyeball position detecting means for detecting the position of the driver's eyes, and is composed of, for example, an illumination light source such as infrared rays, a light source drive circuit, a reflected light image receiving unit such as a camera, and the like. The position of the driver's eyeball is detected using a plurality of image receiving units or a plurality of light sources and one image receiving unit. Of these, the illumination light source and the reflected light image receiving portion are preferably installed in the vehicle compartment. Reference numeral 12 is a vehicle interior part of the vehicle, for example, a windshield, an instrument panel, a meter, a side mirror, a rearview mirror, a car radio, an air conditioner, various switches, and coordinate storage means for storing coordinates of the first alarm means 7 and the like. Is. The coordinate storage means 12 stores three-dimensional coordinate positions of x, y, and z based on the world coordinate system. For the origin of the world coordinate system, for example, if there is one reflected light image receiving unit, its position is selected, if there are two reflected light image receiving units, the center thereof, if there are three or more, the center position of the reflected light image receiving unit such as the center of gravity is selected.
【００２３】また、１３は視線計算手段であり、例えば
マイクロコンピュータとその付属回路で構成され、眼球
位置検出手段１１で検出した運転者の眼球の位置から、
運転者の眼球の位置座標と視線方向を計算する。１４は
視点判定手段であり、視線計算手段１３によって計算さ
れた眼球の位置座標と視線方向と、座標記憶手段１２に
記憶されている車室内部品の位置座標から、運転者の注
視点が、第１警報が発せられた場合に運転者が見るべき
注視対象にあるかどうかを判定する。視点判定手段１４
によって判定された結果、例えば、第１警報手段５が設
置されている場所を見ているという情報や、実際に障害
物を目視、あるいはミラーによって見ているという情報
によって、運転者が障害物または第１警報を認知したか
どうかを検出できる。この検出の結果は運転者認知信号
として第２警報手段７に出力される。Reference numeral 13 is a line-of-sight calculation means, which is composed of, for example, a microcomputer and its associated circuit, and is based on the position of the driver's eyeball detected by the eyeball position detection means 11.
The position coordinates of the driver's eyeball and the line-of-sight direction are calculated. Reference numeral 14 denotes a viewpoint determination means, which determines the driver's gazing point from the position coordinates and the line-of-sight direction of the eyeball calculated by the line-of-sight calculation means 13 and the position coordinates of the vehicle interior parts stored in the coordinate storage means 12. 1 When the alarm is issued, it is determined whether or not the driver is in the gaze target to watch. Viewpoint determination means 14
As a result of the determination by the driver, for example, by the information that the driver is looking at the place where the first warning means 5 is installed, or the information that the obstacle is actually viewed or is seen by the mirror, Whether or not the first alarm is recognized can be detected. The result of this detection is output to the second warning means 7 as a driver recognition signal.
【００２４】図５は実際の車両の車室内に設置された眼
球位置検出手段１１の例を示す構成図である。図におい
て、２０は運転者、２１は運転席、２２はハンドル、２
３はインスツルメントパネル、２４はフロントガラス、
２５は２台のカメラであり、ＣＣＤなどの撮像素子を含
み、運転者２０を撮影している。２６は赤外線照明器で
あり、運転者２０を照明する光源である。カメラ２５と
赤外線照明器２６はインスツルメントパネル２３内に設
置されている。カメラ２５により視線計算手段１３に画
像信号が送られ、この信号から眼球の位置座標及び視線
方向を計算している。FIG. 5 is a block diagram showing an example of the eyeball position detecting means 11 installed in the vehicle compartment of an actual vehicle. In the figure, 20 is a driver, 21 is a driver's seat, 22 is a steering wheel, 2
3 is an instrument panel, 24 is a windshield,
Reference numeral 25 denotes two cameras, which include an image pickup device such as a CCD and photograph the driver 20. An infrared illuminator 26 is a light source that illuminates the driver 20. The camera 25 and the infrared illuminator 26 are installed in the instrument panel 23. An image signal is sent from the camera 25 to the line-of-sight calculation means 13, and the position coordinates and line-of-sight direction of the eyeball are calculated from this signal.
【００２５】以下、運転者状態検出手段６の動作につい
て説明する。眼球位置検出手段１１は、車室内に設けら
れた赤外線照明器２６から運転者２０の両眼を含む顔部
分に光線、例えば赤外線を照射し、この赤外線の反射パ
ターンを車室内に設けられたカメラ２５で撮像する。複
数の赤外線カメラ２５または複数の赤外線照明器２６が
あるので、複数の顔画像が得られ、この顔画像から運転
者の眼の位置を検出する。視線計算手段１３は眼の位置
から視線方向を計算し、世界座標系に基づく座標系に変
換する。この計算方法については特公平３−５１４０７
号公報などに詳しく述べられている。これは赤外線照射
手段から運転者の両眼を含む顔部分に赤外線を照射し、
この赤外線の反射パターンをカメラで撮像し、この撮像
された顔画像から眼球の位置と視線方向を判定するもの
である。求まった眼球の位置座標と視線方向を視点判定
手段１４に送る。The operation of the driver state detecting means 6 will be described below. The eyeball position detecting means 11 irradiates the face part including both eyes of the driver 20 with a light ray, for example, infrared rays from the infrared illuminator 26 provided in the vehicle compartment, and a reflection pattern of this infrared ray is provided in the camera provided in the vehicle compartment. Image at 25. Since there are a plurality of infrared cameras 25 or a plurality of infrared illuminators 26, a plurality of face images are obtained, and the position of the driver's eyes is detected from the face images. The line-of-sight calculation means 13 calculates the line-of-sight direction from the position of the eye and converts it into a coordinate system based on the world coordinate system. For this calculation method, see Japanese Examined Patent Publication No. 3-51407.
It is described in detail in Japanese Patent No. This irradiates infrared rays from the infrared irradiation means to the face part including both eyes of the driver,
This infrared reflection pattern is imaged by a camera, and the position of the eyeball and the line-of-sight direction are determined from the imaged face image. The calculated eyeball position coordinates and line-of-sight direction are sent to the viewpoint determination means 14.
【００２６】視点判定手段１４では、視線計算手段１３
で求められた運転者２０の眼球の位置座標と視線方向を
入力し、座標記憶手段１２に予め記憶されている車両の
車室内部品の座標を読み込み、この座標を基に、運転者
の注視点が車室内部品のどこにあるかを計算する。さら
に、この注視点の位置によって運転者が第１警報による
障害物を認識したかどうかを判定する。この認識の判定
は、例えば、フロントガラス内、サイドミラー、ルーム
ミラーに注視点があると運転者は車外の障害物を実際に
見ており、第１警報手段５に注視点があると運転者は第
１警報を認識したと判定する。なお、人間の注視点は常
に動いているものであるので、ある範囲内にある程度静
止状態になった時、例えば数秒程度注視点が静止状態に
なった時に判定を行うのがよい。In the viewpoint determination means 14, the line-of-sight calculation means 13
By inputting the position coordinates of the eyeball of the driver 20 and the line-of-sight direction obtained in step 1, the coordinates of the vehicle interior parts of the vehicle stored in advance in the coordinate storage means 12 are read, and based on these coordinates, the driver's gaze point Where is the vehicle interior part. Further, it is determined whether or not the driver has recognized the obstacle due to the first alarm based on the position of the gazing point. The determination of this recognition is made, for example, when the driver is actually looking at an obstacle outside the vehicle when the gaze point is inside the windshield, the side mirror, and the rearview mirror, and when the first alarm means 5 has the gaze point. Determines that the first alarm has been recognized. Since the human gazing point is always moving, it is preferable to make a determination when the gazing point is in a certain static state within a certain range, for example, when the gazing point is in a static state for several seconds.
【００２７】図６は眼球の位置座標を検出する際の主な
処理手順を示すフローチャートであり、Ｓ１３，Ｓ１４
は視線計算手段１３における処理、Ｓ１５は視点判定手
段１４における処理を示している。また、図７はその処
理を説明する説明図であり、図７において、２８は運転
者の眼球、２９は第１警報手段５の障害物表示器を示し
ている。視線計算手段１３において、眼球位置検出手段
１１で検出した眼球の位置を入力し、Ｓ１３で原点Ｏに
対する眼球中心位置Ｅを求める。次に、Ｓ１４で眼球中
心に対する視線の向きＣを求める。視点判定手段１４で
は、運転者の視線Ｃの延長線上に第１警報手段５の障害
物表示器２９があるか、または障害物を見ることにでき
るミラーにあるかなどを判定するのであるが、この判定
の一例として、障害物表示器２９に注視点があるかどう
かを判定する処理について説明する。Ｓ１５では、障害
物表示器２９のある面Ａを規定し、視線Ｃの延長線がこ
の範囲内に当たる注視点Ｘを求める。次に、注視点Ｘが
障害物表示器２９の中にあるか外にあるかを判定する。
図７では注視点Ｘは障害物表示器２９の中にある場合を
示している。この状態では、運転者２０は障害物表示器
２９を認識していると判定する。FIG. 6 is a flow chart showing the main processing procedure when detecting the position coordinates of the eyeball. S13, S14
Indicates the processing in the line-of-sight calculation means 13, and S15 indicates the processing in the viewpoint determination means 14. Further, FIG. 7 is an explanatory diagram for explaining the processing, and in FIG. 7, 28 is the eyeball of the driver, and 29 is the obstacle indicator of the first warning means 5. In the line-of-sight calculation means 13, the position of the eyeball detected by the eyeball position detection means 11 is input, and the eyeball center position E with respect to the origin O is obtained in S13. Next, in S14, the direction C of the line of sight with respect to the center of the eyeball is obtained. The viewpoint judging means 14 judges whether the obstacle indicator 29 of the first warning means 5 is on an extension of the driver's line of sight C, or whether it is on a mirror which can see the obstacle, and the like. As an example of this determination, a process of determining whether or not the obstacle display 29 has a gazing point will be described. In S15, the plane A on which the obstacle indicator 29 is present is defined, and the gazing point X where the extension line of the line of sight C falls within this range is obtained. Next, it is determined whether the gazing point X is inside or outside the obstacle display 29.
In FIG. 7, the gazing point X is shown in the obstacle display 29. In this state, the driver 20 determines that the obstacle indicator 29 is recognized.
【００２８】視点判定手段１４によって判定された結
果、例えば、第１警報手段５が設置されている場所を見
ているという情報や、実際に障害物を目視、あるいはミ
ラーによって見ているという情報によって、運転者が障
害物または第１警報を認知したかどうかを検出できる。
この検出の結果は運転者認知信号として第２警報手段７
に出力される。As a result of the judgment made by the viewpoint judging means 14, for example, information indicating that the place where the first warning means 5 is installed, or information indicating that the obstacle is actually viewed or viewed by a mirror is used. , It is possible to detect whether the driver has recognized the obstacle or the first alarm.
The result of this detection is the second warning means 7 as a driver recognition signal.
Is output to.
【００２９】このように、運転者の眼球の位置と視線方
向を検出することにより、運転者の注視点を即座に認識
でき、運転者が障害物、または第１警報を認識している
かどうかを正確に判定できる。As described above, by detecting the position of the driver's eyeball and the direction of the line of sight, the driver's gazing point can be immediately recognized, and it can be determined whether the driver recognizes the obstacle or the first alarm. Can be accurately determined.
【００３０】実施例２．以下、この発明の実施例２によ
る車両用警報装置を図について説明する。図８は実施例
２による車両用警報装置の構成を示すブロック図であ
る。図において、１５は車体振動検出手段であり、例え
ば、車体振動検出計１５ａ，車体振動分補正値計算回路
１５ｂなどで構成され、運転者状態検出手段６の視点判
定手段１４に接続される。車体振動検出計１５ａは例え
ば圧電素子を用いた振動計などで実現できる。他の各部
分において、実施例１と同一符号は同一、または相当部
分を示す。また、実施例１と同様、眼球位置検出手段１
１，座標記憶手段１２，視線計算手段１３，及び視点判
定手段１４で運転者状態検出手段６を構成している。Example 2. A vehicle alarm device according to a second embodiment of the present invention will be described below with reference to the drawings. FIG. 8 is a block diagram showing the configuration of the vehicle alarm system according to the second embodiment. In the figure, reference numeral 15 is a vehicle body vibration detecting means, which is composed of, for example, a vehicle body vibration detector 15a, a vehicle body vibration component correction value calculation circuit 15b, etc., and is connected to the viewpoint judging means 14 of the driver state detecting means 6. The vehicle body vibration detector 15a can be realized by, for example, a vibration meter using a piezoelectric element. In each of the other parts, the same reference numerals as those in the first embodiment indicate the same or corresponding parts. Further, as in the first embodiment, the eyeball position detecting means 1
1, the coordinate storage unit 12, the line-of-sight calculation unit 13, and the viewpoint determination unit 14 constitute the driver state detection unit 6.
【００３１】次に動作について説明する。眼球位置検出
手段１１及び視線計算手段１３の動作については実施例
１と同様であるので説明を省略する。車体振動検出手段
１５は、例えば撮像部近くに設置された車体振動検出計
１５ａが車体の縦横の振動成分を検出する。車体振動検
出計１５ａで検出された車体の縦横の振動成分は車体振
動分補正値計算回路１５ｂに送られ、振動成分が世界座
標系の座標データに換算してｘ，ｙ，ｚ方向でいくらに
相当するかを計算する。計算された座標の補正値は視点
判定手段１４に送られる。視点判定手段１４では、視線
計算手段１３で求められた運転者の眼の位置座標と視線
方向を、車体振動検出手段１５で計算された補正値で補
正し、世界座標系に基づく座標に変換する。次に、座標
記憶手段１２に記憶される車両の車室内部品の各々の座
標を読み込み、この座標を基に、運転者の注視点が車室
内部品のどこにあるかを計算する。さらに、この注視点
が第１警報表示器にあるか障害物に相当する部品にある
かを判定する。この注視点の判定方法は、実施例１と同
様である。Next, the operation will be described. The operations of the eyeball position detecting means 11 and the line-of-sight calculating means 13 are the same as those in the first embodiment, and therefore their explanations are omitted. In the vehicle body vibration detection means 15, for example, a vehicle body vibration detector 15a installed near the image pickup section detects vertical and horizontal vibration components of the vehicle body. The vertical and horizontal vibration components of the vehicle body detected by the vehicle body vibration detector 15a are sent to the vehicle body vibration component correction value calculation circuit 15b, and the vibration components are converted into coordinate data in the world coordinate system, and how much in the x, y, z directions. Calculate whether it corresponds. The calculated correction value of the coordinates is sent to the viewpoint determination means 14. The viewpoint determination means 14 corrects the position coordinates and the line-of-sight direction of the driver's eyes obtained by the line-of-sight calculation means 13 with the correction values calculated by the vehicle body vibration detection means 15, and converts them into coordinates based on the world coordinate system. . Next, the coordinates of each of the vehicle interior parts of the vehicle stored in the coordinate storage means 12 are read, and based on the coordinates, the position of the driver's gazing point is calculated. Further, it is determined whether the point of interest is on the first alarm indicator or a part corresponding to an obstacle. This gazing point determination method is the same as that in the first embodiment.
【００３２】車両が走行している時には、エンジンなど
の振動によって生じる周波数の高い振動や、道路の段差
やみぞなどの凸凹によって生じる周波数の低い振動が車
両運転者に伝わる。運転者の眼球から視線を計算すると
いう微少範囲を対象とした処理において、特に周波数の
低い振動が眼球検出や計算結果に大きな影響を与えると
考えられる。従って、運転者の近傍での車体振動を検出
して、運転者状態検出手段６で用いる位置情報を補正す
ることにより、より正確に注視点が判定でき、その結
果、運転者が第１警報または障害物を認識しているかど
うかの判定がより正確にできる。When the vehicle is running, high-frequency vibration caused by vibration of the engine or the like and low-frequency vibration caused by unevenness such as steps and grooves on the road are transmitted to the vehicle driver. In the processing for a small range of calculating the line of sight from the driver's eyeball, it is considered that particularly low frequency vibration has a great influence on the eyeball detection and the calculation result. Therefore, by detecting the vehicle body vibration in the vicinity of the driver and correcting the position information used by the driver state detecting means 6, the gazing point can be determined more accurately, and as a result, the driver can give the first warning or It is possible to more accurately determine whether or not an obstacle is recognized.
【００３３】なお、実施例２においては、車体振動によ
る補正を運転者の眼球の位置座標と視線方向に対して行
なったが、座標記憶手段１２に記憶されている表示器の
位置座標を補正しても同様の効果が得られる。In the second embodiment, the vehicle body vibration is corrected with respect to the position coordinate of the driver's eyeball and the line-of-sight direction. However, the position coordinate of the display device stored in the coordinate storage means 12 is corrected. However, the same effect can be obtained.
【００３４】また、実施例２における車体振動検出手段
１５は、実施例１に示した運転者状態検出手段６で、検
出した眼の位置座標と視線方向から注視点を求めるとき
に車体振動を検出して補正しているが、これに限るもの
ではなく、車室内の運転者または各種部品の中で、運転
者の状態を検出する際に用いる情報に対して補正すれ
ば、車体振動によって誤差が生じるのを防止できる。ま
た、実施例１と同様、運転者状態検出手段６により第１
警報に対する運転者の反応を検出し、運転者が障害物が
あることを認知したかどうかを判定してさらに第２警報
を発する。このため、危険な状態になる前に正確な警報
を出すことができ、より安全に運転できる車両用警報装
置が得られる。The vehicle body vibration detecting means 15 in the second embodiment detects the vehicle body vibration when the gazing point is obtained from the detected eye position coordinates and the line-of-sight direction in the driver state detecting means 6 shown in the first embodiment. However, the present invention is not limited to this, and if the information used when detecting the driver's condition is corrected for the driver or various parts in the vehicle compartment, an error may occur due to vehicle body vibration. It can be prevented from occurring. Further, as in the first embodiment, the first state is detected by the driver state detecting means 6.
The reaction of the driver to the alarm is detected, it is determined whether the driver recognizes that there is an obstacle, and a second alarm is further issued. Therefore, an accurate warning can be issued before a dangerous state is reached, and a vehicular warning device that can be driven more safely can be obtained.
【００３５】また、実施例１，実施例２では原点０を例
えば反射光受像部の中心位置とし、位置の計算において
世界座標系を基にして、ｘ，ｙ，ｚの３次元座標位置を
用いていたが、これに限るものではない。例えば、運転
者の眼の中心位置座標を原点とする極座標系を設定し、
座標記憶手段１２に記憶された表示器の座標を、原点０
を中心とした同心球状（半径一定）の範囲に写像して記
憶すれば、視線方向だけで注視点がどこにあるかを計算
することができ、上記各実施例の効果に加え、計算が簡
単になるという効果がある。Further, in the first and second embodiments, the origin 0 is set as the center position of the reflected light image receiving portion, and the three-dimensional coordinate position of x, y, z is used in the calculation of the position based on the world coordinate system. However, it is not limited to this. For example, set a polar coordinate system with the center position coordinates of the driver's eyes as the origin,
The coordinates of the display unit stored in the coordinate storage unit 12 are set to the origin 0.
By mapping and storing in a range of concentric spheres (constant radius) centered at, it is possible to calculate where the gazing point is only in the line-of-sight direction. There is an effect that.
【００３６】実施例３．図９は、例えばこの発明の実施
例３による車両用警報装置の構成を示すブロック図であ
る。図において、１６は運転者の顔画像を検出する顔画
像検出手段であり、例えば赤外線などの照明用光源，光
源駆動回路，例えばカメラなどの反射光受像部などから
構成され、１つの光源と複数の受像部または複数の光源
と１台の受像部を使って、運転者の顔画像を検出する。
１７は顔の向き計算手段であり、例えばマイクロコンピ
ュータとその付属回路で構成され、顔画像検出手段１６
で検出した運転者の顔画像から、運転者の顔の向きを計
算する。１８はうなずき判定手段であり、顔の向き計算
手段１６によって計算された顔の向きより、運転者の第
１警報への認識動作として、例えばうなずき動作を判定
し、判定結果を第２警報手段７に送る。他の各部分にお
いて、実施例１と同一符号は同一、または相当部分を示
す。また、この実施例では顔画像検出手段１６，顔の向
き計算手段１７，及びうなずき判定手段１８で運転者状
態検出手段６を構成している。Example 3. FIG. 9 is a block diagram showing a configuration of a vehicle alarm system according to, for example, Example 3 of the present invention. In the figure, 16 is a face image detecting means for detecting a face image of a driver, which is composed of a light source for illumination such as infrared rays, a light source drive circuit, a reflected light image receiving unit such as a camera, and the like, one light source and a plurality of light sources. The face image of the driver is detected by using the image receiving unit or the plurality of light sources and one image receiving unit.
Reference numeral 17 is a face orientation calculating means, which is composed of, for example, a microcomputer and its associated circuit, and is a face image detecting means 16
The orientation of the driver's face is calculated from the driver's face image detected in. Reference numeral 18 denotes nodling determination means, which determines, for example, a nodling operation as a driver's recognition operation for the first warning based on the face orientation calculated by the face orientation calculation means 16, and the determination result is determined by the second warning means 7. Send to. In each of the other parts, the same reference numerals as those in the first embodiment indicate the same or corresponding parts. Further, in this embodiment, the driver image detecting means 6 is constituted by the face image detecting means 16, the face direction calculating means 17, and the nod judging means 18.
【００３７】次に動作について説明する。この実施例に
よる運転者状態検出手段６は、第１警報が発せられてか
ら所定時間内に運転者がうなずいた場合、運転者は第１
警報を認識したと判断する。顔画像検出手段１６で運転
者の顔画像を撮影し、顔の向き計算手段１７で、画像処
理によって顔の向きを計算する。この顔の向きがうなず
く動作になっているかどうかをうなずき判定手段１８で
判定し、うなずいたと判定した場合は第２警報を発しな
い。うなずいたと判定できなかった場合、運転者は第１
警報または障害物を認識していないと判断し、第２警報
を発して更なる注意を促す。Next, the operation will be described. When the driver nods within a predetermined time after the first alarm is issued, the driver state detecting means 6 according to this embodiment determines that the driver is the first
Judge that an alarm has been recognized. The face image detecting means 16 captures a face image of the driver, and the face orientation calculating means 17 calculates the face orientation by image processing. Whether or not the direction of the face is nodding is determined by the nod determination means 18, and if it is determined that the nod is obtained, the second alarm is not issued. If it is not possible to determine that the driver nodded, the driver first
It is determined that the alarm or obstacle is not recognized, and a second alarm is issued to call for further attention.
【００３８】このように、運転者の第１警報に対する認
識動作として、うなずき動作を検出することにより、運
転者の状態を即座に認識でき、運転者が障害物または第
１警報を認識しているかどうかを正確に判定できる。な
お、うなずき動作に限るものではなく、顔の向きによる
認識動作をあらかじめ決めておき、運転者がその動作を
したときに、運転者が障害物または第１警報を認識して
いると判断するようにしてもよい。但し、通常の認識動
作としては、うなずき動作が自然である。また、実施例
１と同様、運転者が障害物があることを認知したかどう
かを判定してさらに第２警報を発することができる。こ
のため、危険な状態になる前に正確な警報を出すことが
でき、より安全に運転できる車両用警報装置が得られ
る。As described above, as the recognition operation for the driver's first alarm, by detecting the nod motion, the driver's state can be immediately recognized, and whether the driver recognizes the obstacle or the first alarm. You can judge accurately. The recognition operation is not limited to the nod motion, but the recognition operation based on the face direction is determined in advance, and when the driver performs the motion, it is determined that the driver recognizes the obstacle or the first alarm. You may However, a nod motion is natural as a normal recognition motion. In addition, as in the first embodiment, it is possible to determine whether the driver has recognized that there is an obstacle and further issue a second alarm. Therefore, an accurate warning can be issued before a dangerous state is reached, and a vehicular warning device that can be driven more safely can be obtained.
【００３９】実施例４．図１０は、例えばこの発明の実
施例４による車両警報装置の構成を示すブロック図であ
る。図において、１９は運転者の発声を検出する検出手
段であり、例えば音声認識装置などで構成される。この
実施例４では、運転者の第１警報に対する認識動作など
の運転者の状態を、運転者の発する音声で検出してい
る。Example 4. FIG. 10 is a block diagram showing the configuration of a vehicle alarm system according to Example 4 of the present invention, for example. In the figure, reference numeral 19 is a detection means for detecting the utterance of the driver, and is composed of, for example, a voice recognition device. In the fourth embodiment, the driver's state such as the recognition operation for the driver's first alarm is detected by the voice uttered by the driver.
【００４０】即ち、障害物検出手段１で障害物が検出さ
れた時、第１警報手段５で第１警報が発せられる。この
後、音声検出手段１９は運転者の応答である声（例え
ば、「オーケー」、「わかった」など）を検出し、検出
結果を第２警報手段７に送る。第２警報手段７では運転
者の応答がなかった場合、第２警報を発して、更なる注
意を促す。That is, when the obstacle detecting means 1 detects an obstacle, the first alarm means 5 gives a first alarm. After that, the voice detecting means 19 detects a voice (for example, “OK”, “OK”, etc.) that is the response of the driver, and sends the detection result to the second warning means 7. When the driver does not respond, the second alarm means 7 issues a second alarm to call for further attention.
【００４１】このように、運転者の第１警報に対する認
識動作として、運転者の発声を検出することにより、運
転者の状態を即座に認識でき、運転者が障害物、または
第１警報を認識しているかどうかを正確に判定できる。
また、実施例１と同様、運転者が障害物があることを認
知したかどうかを判定してさらに第２警報を発すること
ができる。このため、危険な状態になる前に正確な警報
を出すことができ、より安全に運転できる車両用警報装
置が得られる。As described above, as the recognition operation for the driver's first alarm, the driver's state can be immediately recognized by detecting the driver's utterance, and the driver recognizes the obstacle or the first alarm. You can accurately determine whether you are doing.
In addition, as in the first embodiment, it is possible to determine whether the driver has recognized that there is an obstacle and further issue a second alarm. Therefore, an accurate warning can be issued before a dangerous state is reached, and a vehicular warning device that can be driven more safely can be obtained.
【００４２】なお、上記実施例では、第１警報を表示・
警報するものとし、これに対する視線、うなずき、発声
の３例によって第１警報を認識したかどうかを検出する
例を示したがこれに限るものではなく、例えば表示に対
する音声などのこれ以外の組み合わせでも同様の効果が
ある。また、運転者の緊張度を測定し、緊張度が高まっ
たときには、第１警報を認識していると判断することも
できる。この場合、運転者の緊張度を測定する手段は、
例えば心泊数や脈拍により測定できる。In the above embodiment, the first alarm is displayed / displayed.
It is assumed that an alarm is issued, and an example of detecting whether or not the first alarm is recognized by three examples of the line of sight, nodding, and vocalization has been shown, but the present invention is not limited to this. It has the same effect. It is also possible to measure the driver's tension and determine that the first alarm is recognized when the tension increases. In this case, the means for measuring the driver's tension is
For example, it can be measured by the number of heart stays or the pulse rate.
【００４３】実施例５．図１１は、この発明の実施例５
による車両警報装置の構成を示すブロック図である。図
において、２９は運転機器作動状態検出手段であり、ア
クセル，ブレーキ，クラッチ，ハンドル，方向指示器な
どの運転機器の作動状態を検出するものである。これら
の運転機器が作動されると作動信号を出力する。検出さ
れた作動信号は第２警報手段７に送られる。Example 5. FIG. 11 shows a fifth embodiment of the present invention.
2 is a block diagram showing the configuration of a vehicle alarm device according to FIG. In the figure, reference numeral 29 is a driving device operating state detecting means for detecting the operating state of driving devices such as an accelerator, a brake, a clutch, a steering wheel and a turn signal. When these driving devices are operated, an operation signal is output. The detected actuation signal is sent to the second alarm means 7.
【００４４】次に動作について説明する。図１２はこの
実施例に係る車両用警報装置の動作を示すフローチャー
ト図である。障害物検出手段１で障害物を検出し（Ｓ
１）、その障害物が第１警報手段５によって表示・警報
された時（Ｓ２）、運転者状態検出手段６により第１警
報が運転者に認知されたかどうかを検出，判断する（Ｓ
３）。認識していない場合、一定時間の経過を判断し
（Ｓ４）、第２警報を発生する手順は実施例１と同様で
ある。Ｓ３の判断において、第１警報が認知された場
合、運転者状態検出手段６により運転者の認知信号が出
力され、第２警報手段７は経過時間の計測を開始する。
第２警報手段７は、経過時間信号と、運転機器作動状態
検出手段２９により検出された運転機器作動信号を検討
し（Ｓ１６）、所定時間内に運転機器の作動がなされな
かった場合（Ｓ１７）、第２警報を発する（Ｓ７）。こ
の時の一定時間は、自車両の速度や、障害物の種類によ
って可変にするのが望ましいが、この実施例では１０秒
〜１分程度に設定している。Ｓ１６で運転機器が作動さ
れていると判断した場合や、処理途中に障害物がなくな
った場合、第２警報手段７は第２警報を発せず第１警報
を解除する。Ｓ７で第２警報を発した後は、運転者の停
止要求がなされた場合か（Ｓ８）、障害物がなくなった
場合（Ｓ９）、Ｓ１０で第１，第２警報を解除する。Next, the operation will be described. FIG. 12 is a flow chart showing the operation of the vehicle alarm system according to this embodiment. An obstacle is detected by the obstacle detecting means 1 (S
1) When the obstacle is displayed / warned by the first warning means 5 (S2), the driver state detection means 6 detects and judges whether or not the first warning is recognized by the driver (S).
3). If it is not recognized, the procedure for determining the elapse of a certain time (S4) and issuing the second alarm is the same as in the first embodiment. When the first alarm is recognized in the determination of S3, the driver state detection unit 6 outputs a driver recognition signal, and the second alarm unit 7 starts measuring elapsed time.
The second alarm means 7 examines the elapsed time signal and the operating equipment operating signal detected by the operating equipment operating state detecting means 29 (S16), and when the operating equipment is not operated within a predetermined time (S17). , And issues a second alarm (S7). The fixed time at this time is preferably variable depending on the speed of the vehicle and the type of obstacle, but in this embodiment, it is set to about 10 seconds to 1 minute. When it is determined in S16 that the driving equipment is operating, or when the obstacle disappears during the process, the second alarm means 7 does not issue the second alarm and cancels the first alarm. After the second alarm is issued in S7, if the driver's stop request is issued (S8) or if there is no obstacle (S9), the first and second alarms are released in S10.
【００４５】運転機器の作動とはブレーキの動作や車線
変更，アクセルの踏み込み動作などであり、例えば、検
出した障害物が側方車である場合、ブレーキを踏み込ん
だり車線変更することにより、障害物の危険を回避する
ことができる。また、障害物が後方車である場合、アク
セルを踏み込んだり車線変更をすることにより、障害物
の危険を回避することができる。この実施例では運転者
が第１警報を認識していても、実際に障害物を回避する
運転動作を起こさない場合には、第２警報を発するよう
に構成している。The operation of the driving device includes a brake operation, a lane change operation, an accelerator pedal operation, and the like. For example, when the detected obstacle is a side vehicle, the brake pedal is depressed or the lane is changed to change the obstacle. The danger of can be avoided. When the obstacle is a rear vehicle, the danger of the obstacle can be avoided by stepping on the accelerator or changing the lane. In this embodiment, even if the driver recognizes the first alarm, the second alarm is issued when the driving operation for actually avoiding the obstacle does not occur.
【００４６】この実施例では運転者状態検出手段６によ
り第１警報に対する運転者の反応を検出するので、運転
者が障害物があることを認知したかどうかを判定してさ
らに第２警報を発する。さらに、運転者が第１警報を認
識していても、その障害物を回避する運転動作がなされ
ない場合は、第２警報を発する。このため、上記実施例
に加えてさらに危険な状態になる前に正確な警報を出す
ことができ、より安全に運転できる車両用警報装置が得
られる。In this embodiment, the reaction of the driver to the first alarm is detected by the driver state detecting means 6, so it is judged whether or not the driver recognizes that there is an obstacle, and then the second alarm is issued. . Further, even if the driver recognizes the first alarm, if the driving operation for avoiding the obstacle is not performed, the second alarm is issued. Therefore, in addition to the above-described embodiment, an accurate warning can be issued before a more dangerous state is obtained, and a vehicle warning device that can be driven more safely can be obtained.
【００４７】なお、上記実施例では処理中、第１，第２
警報を運転者からの指示により解除するように構成した
が、これに限るものではない。運転者からの指示方法と
しては、押しボタンや音声，頭の動作など、どのような
ものでもよい。In the above embodiment, during the processing, the first and second
Although the alarm is configured to be released by the driver's instruction, the present invention is not limited to this. The driver may give any instruction, such as a push button, voice, or head movement.
【００４８】[0048]
【発明の効果】以上のように、請求項１の発明によれ
ば、自車両の周囲の障害物を検出する障害物検出手段、
この障害物検出手段により障害物を検出した場合に障害
物を第１警報として表示・警報する第１警報手段、第１
警報に対する運転者の反応状態を検出する運転者状態検
出手段、及び運転者状態検出手段により第１警報が運転
者に認知されたかどうかを検出し、第１警報が認知され
ていない場合に第２警報を発する第２警報手段を備えた
ことにより、障害物の有無によって発せられた第１警報
を運転者が認知していない場合に第２警報を再度発し、
運転者がより安全に運転できる様に周囲の障害物に関す
る警報を発することができる車両用警報装置が得られる
効果がある。As described above, according to the first aspect of the invention, the obstacle detecting means for detecting the obstacle around the vehicle,
First alarm means for displaying / warning the obstacle as a first alarm when the obstacle is detected by the obstacle detecting means, first
The driver state detecting means for detecting the reaction state of the driver with respect to the alarm and the driver state detecting means detect whether or not the first alarm is recognized by the driver, and when the first alarm is not recognized, the second alarm is detected. By providing the second alarm means for issuing an alarm, the second alarm is issued again when the driver does not recognize the first alarm issued by the presence or absence of an obstacle,
There is an effect that a vehicular alarm device that can issue a warning regarding an obstacle around the vehicle so that the driver can drive more safely can be obtained.
【００４９】また、請求項２の発明によれば、自車両の
周囲の障害物を検出する障害物検出手段、この障害物検
出手段により障害物を検出した場合に第１警報を発する
第１警報手段、第１警報に対する運転者の反応状態を検
出する運転者状態検出手段、自車両の運転機器の作動状
態を検出する運転機器作動状態検出手段、並びに運転者
状態検出手段により第１警報が運転者に認知されたかど
うかを検出した結果において第１警報が認知されなかっ
た場合、及び検出した結果において第１警報が認知され
た場合かつ運転機器作動状態検出手段により検出した自
車両の運転機器作動状態において、第１警報出力から所
定時間内に運転機器が作動されなかった場合、第２警報
を発する第２警報手段を備えたことにより、運転者が第
１警報を認識した場合でも障害物を回避するように運転
機器が作動しない場合に第２警報を発し、運転者がさら
に安全に運転できる様に周囲の障害物に関する警報を発
することができる車両用警報装置が得られる効果があ
る。Further, according to the invention of claim 2, an obstacle detecting means for detecting an obstacle around the vehicle, and a first alarm for issuing a first alarm when the obstacle is detected by the obstacle detecting means. Means, a driver state detecting means for detecting a reaction state of the driver with respect to the first alarm, a driving device operating state detecting means for detecting an operating state of a driving device of the own vehicle, and a driver state detecting means for driving the first alarm. If the first alarm is not recognized in the result of detecting whether or not the driver recognizes it, and if the first alarm is recognized in the detected result and the driving device operation of the own vehicle detected by the driving device operation state detection means In this state, when the driving device is not operated within the predetermined time from the first alarm output, the driver recognizes the first alarm by providing the second alarm means for issuing the second alarm. In the case where the driving device does not operate so as to avoid the obstacle even in the case of a vehicle, a second warning is given, and a warning device for a vehicle capable of giving a warning about obstacles around the driver so that the driver can drive more safely is obtained. effective.
【００５０】また、請求項３の発明によれば、請求項１
または請求項２の発明において、運転者状態検出手段
は、運転者の眼の位置座標と視線方向を検出する検出手
段、第１警報が発せられた場合に運転者が見るべき注視
対象の座標を記憶する座標記憶手段、及び座標記憶手段
に記憶された注視対象の座標と検出手段で検出した眼の
位置座標と視線の方向を参照して、運転者の注視点が注
視対象にあるかないかを計算する視点判定手段を有し、
第１警報が発せられた場合に注視点によって運転者が第
１警報を認知したかどうかを検出することにより、運転
者の注視方向を正確に判定することができるので、第１
警報または障害物に相当するものを認識しているかどう
かを比較的容易に判定でき、請求項１または請求項２の
効果に加え、運転者の認知状態を比較的正確に検出でき
る車両用警報装置が得られる効果がある。Further, according to the invention of claim 3, claim 1
Alternatively, in the invention of claim 2, the driver state detecting means is a detecting means for detecting the position coordinates and the line-of-sight direction of the eyes of the driver, and the coordinates of the gaze target to be seen by the driver when the first alarm is issued. Whether or not the gazing point of the driver is in the gazing target by referring to the coordinate storage means to be stored, the coordinates of the gazing target stored in the coordinate storage means, the position coordinates of the eye detected by the detecting means, and the direction of the line of sight Has a viewpoint determination means for calculating,
When the first alarm is issued, it is possible to accurately determine the driver's gaze direction by detecting whether or not the driver recognizes the first alarm based on the gazing point.
A vehicle alarm device capable of relatively easily determining whether or not an alarm or an object corresponding to an obstacle is recognized, and capable of relatively accurately detecting a driver's cognitive state in addition to the effect of claim 1 or claim 2. There is an effect that can be obtained.
【００５１】また、請求項４の発明によれば、請求項１
または請求項２の発明において、運転者状態検出手段
は、運転者の顔の向きを検出する検出手段を有し、第１
警報が発せられた場合に運転者の顔の動きによって運転
者が第１警報を認知したかどうかを検出することによ
り、運転者の顔の動きを比較的正確に判定でき、請求項
１または請求項２の効果に加え、運転者の認識状態が比
較的正確に検出できる車両用警報装置が得られる効果が
ある。According to the invention of claim 4, claim 1
Alternatively, in the invention of claim 2, the driver state detecting means has a detecting means for detecting a direction of a face of the driver, and
The movement of the driver's face can be determined relatively accurately by detecting whether or not the driver has recognized the first warning based on the movement of the driver's face when an alarm is issued. In addition to the effect of item 2, there is an effect that a vehicle alarm device that can detect the driver's recognition state relatively accurately is obtained.
【００５２】また、請求項５の発明によれば、請求項１
ないし請求項４のいずれかの発明において、自車両の車
体の振動を検出する車体振動検出手段を備え、車体振動
検出手段により検出された車体振動分により、運転者状
態検出手段で用いる情報を補正するように構成したこと
により、車体振動による誤差をほぼ除去できる車両用警
報装置が得られる効果がある。According to the invention of claim 5, claim 1
The invention according to any one of claims 1 to 4, further comprising a vehicle body vibration detecting means for detecting the vibration of the vehicle body of the own vehicle, and correcting the information used by the driver state detecting means by the vehicle body vibration amount detected by the vehicle body vibration detecting means. With this configuration, it is possible to obtain the vehicular alarm device that can substantially eliminate the error due to the vehicle body vibration.
【図面の簡単な説明】[Brief description of drawings]
【図１】この発明の実施例１による車両用警報装置を示
すブロック図である。FIG. 1 is a block diagram showing a vehicle alarm device according to a first embodiment of the present invention.
【図２】実施例１に係る第２警報手段を示す構成図であ
る。FIG. 2 is a configuration diagram showing a second alarm means according to the first embodiment.
【図３】実施例１に係る車両用警報装置の主な処理手順
を示すフローチャート図である。FIG. 3 is a flowchart showing a main processing procedure of the vehicle alarm system according to the first embodiment.
【図４】実施例１に係る運転者状態検出手段を示す構成
図である。FIG. 4 is a configuration diagram showing a driver state detection unit according to the first embodiment.
【図５】実施例１に係る運転者状態検出手段の設置位置
を示す説明図である。FIG. 5 is an explanatory diagram showing an installation position of a driver state detecting means according to the first embodiment.
【図６】実施例１に係る注視点検出の処理手順を示すフ
ローチャート図である。FIG. 6 is a flowchart illustrating a processing procedure of gaze point detection according to the first embodiment.
【図７】実施例１に係る注視点検出の処理を説明する説
明図である。FIG. 7 is an explanatory diagram illustrating a gazing point detection process according to the first embodiment.
【図８】この発明の実施例２による車両用警報装置を示
すブロック図である。FIG. 8 is a block diagram showing a vehicle alarm device according to a second embodiment of the present invention.
【図９】この発明の実施例３による車両用警報装置を示
すブロック図である。FIG. 9 is a block diagram showing a vehicle alarm device according to a third embodiment of the present invention.
【図１０】この発明の実施例４による車両用警報装置を
示すブロック図である。FIG. 10 is a block diagram showing a vehicle alarm device according to a fourth embodiment of the present invention.
【図１１】この発明の実施例５による車両用警報装置を
示すブロック図である。FIG. 11 is a block diagram showing a vehicle alarm device according to a fifth embodiment of the present invention.
【図１２】実施例５に係る主な処理手順を示すフローチ
ャート図である。FIG. 12 is a flowchart showing a main processing procedure according to the fifth embodiment.
【図１３】従来の車両用警報装置を示すブロック図であ
る。FIG. 13 is a block diagram showing a conventional vehicle alarm device.
１ 障害物検出手段 ５ 第１警報手段 ６ 運転者状態検出手段 ７ 第２警報手段 １１ 眼球位置検出手段 １２ 座標記憶手段 １３ 視線計算手段 １４ 視点判定手段 １５ 車体振動検出手段 １６ 顔画像検出手段 １７ 顔の向き計算手段 １８ うなずき判定手段 １９ 運転者の発声検出手段 ２９ 運転機器作動状態検出手段 1 Obstacle Detecting Means 5 First Warning Means 6 Driver State Detecting Means 7 Second Warning Means 11 Eyeball Position Detecting Means 12 Coordinate Storage Means 13 Gaze Calculating Means 14 Viewpoint Determining Means 15 Body Vibration Detecting Means 16 Face Image Detecting Means 17 Faces Direction calculating means 18 Nodding determining means 19 Driver's voice detecting means 29 Driving equipment operating state detecting means
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5263560AJPH07117593A (en) | 1993-10-21 | 1993-10-21 | Vehicle alarm system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5263560AJPH07117593A (en) | 1993-10-21 | 1993-10-21 | Vehicle alarm system |
| Publication Number | Publication Date |
|---|---|
| JPH07117593Atrue JPH07117593A (en) | 1995-05-09 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5263560APendingJPH07117593A (en) | 1993-10-21 | 1993-10-21 | Vehicle alarm system |
| Country | Link |
|---|---|
| JP (1) | JPH07117593A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09287652A (en)* | 1996-04-19 | 1997-11-04 | Toyota Motor Corp | Vehicle control device |
| JPH11139229A (en)* | 1997-11-11 | 1999-05-25 | Mitsubishi Electric Corp | Driving environment monitoring and alarm device |
| JP2000010574A (en)* | 1998-06-19 | 2000-01-14 | Victor Co Of Japan Ltd | Karaoke sing-along machine |
| JP2001260776A (en)* | 2000-03-22 | 2001-09-26 | Mazda Motor Corp | Vehicle obstacle warning device |
| JP2002025000A (en)* | 2000-07-11 | 2002-01-25 | Mazda Motor Corp | Control device for vehicle |
| JPWO2002096718A1 (en)* | 2001-05-28 | 2004-09-09 | 三菱電機株式会社 | Driving support device |
| JP2004330972A (en)* | 2003-05-09 | 2004-11-25 | Honda Motor Co Ltd | Vehicle safety devices |
| JP2005343317A (en)* | 2004-06-03 | 2005-12-15 | Nissan Motor Co Ltd | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE HAVING VEHICLE DRIVE OPERATION ASSISTANCE DEVICE |
| JP2007029712A (en)* | 2005-06-23 | 2007-02-08 | Honda Motor Co Ltd | Gaze detection device |
| JP2007249364A (en)* | 2006-03-14 | 2007-09-27 | Denso Corp | Safe driving support system and device |
| JP2007286898A (en)* | 2006-04-17 | 2007-11-01 | Denso Corp | Operation support device and program |
| JP2008040621A (en)* | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | In-vehicle alarm system |
| JP2008247327A (en)* | 2007-03-30 | 2008-10-16 | Honda Motor Co Ltd | Vehicle travel safety device |
| JP2010191793A (en)* | 2009-02-19 | 2010-09-02 | Denso It Laboratory Inc | Alarm display and alarm display method |
| JP2011216010A (en)* | 2010-04-01 | 2011-10-27 | Toyota Motor Corp | Alarm device |
| JP2013132371A (en)* | 2011-12-26 | 2013-07-08 | Denso Corp | Motion detection apparatus |
| JP2013218469A (en)* | 2012-04-06 | 2013-10-24 | Utechzone Co Ltd | Eye monitoring device for vehicle having illumination light source |
| WO2014034065A1 (en)* | 2012-08-31 | 2014-03-06 | 株式会社デンソー | Moving body warning device and moving body warning method |
| JP2018005362A (en)* | 2016-06-29 | 2018-01-11 | 株式会社東海理化電機製作所 | Driving support device |
| JP2018063489A (en)* | 2016-10-11 | 2018-04-19 | 国立大学法人金沢大学 | Pilot state estimation device |
| JP2018088119A (en)* | 2016-11-29 | 2018-06-07 | パイオニア株式会社 | Control device, control method, and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09287652A (en)* | 1996-04-19 | 1997-11-04 | Toyota Motor Corp | Vehicle control device |
| JPH11139229A (en)* | 1997-11-11 | 1999-05-25 | Mitsubishi Electric Corp | Driving environment monitoring and alarm device |
| JP2000010574A (en)* | 1998-06-19 | 2000-01-14 | Victor Co Of Japan Ltd | Karaoke sing-along machine |
| JP2001260776A (en)* | 2000-03-22 | 2001-09-26 | Mazda Motor Corp | Vehicle obstacle warning device |
| JP2002025000A (en)* | 2000-07-11 | 2002-01-25 | Mazda Motor Corp | Control device for vehicle |
| JPWO2002096718A1 (en)* | 2001-05-28 | 2004-09-09 | 三菱電機株式会社 | Driving support device |
| JP2004330972A (en)* | 2003-05-09 | 2004-11-25 | Honda Motor Co Ltd | Vehicle safety devices |
| JP2005343317A (en)* | 2004-06-03 | 2005-12-15 | Nissan Motor Co Ltd | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE HAVING VEHICLE DRIVE OPERATION ASSISTANCE DEVICE |
| JP2007029712A (en)* | 2005-06-23 | 2007-02-08 | Honda Motor Co Ltd | Gaze detection device |
| JP2007249364A (en)* | 2006-03-14 | 2007-09-27 | Denso Corp | Safe driving support system and device |
| US7680592B2 (en) | 2006-03-14 | 2010-03-16 | Denso Corporation | System and apparatus for drive assistance |
| JP2007286898A (en)* | 2006-04-17 | 2007-11-01 | Denso Corp | Operation support device and program |
| JP2008040621A (en)* | 2006-08-02 | 2008-02-21 | Toyota Motor Corp | In-vehicle alarm system |
| JP2008247327A (en)* | 2007-03-30 | 2008-10-16 | Honda Motor Co Ltd | Vehicle travel safety device |
| WO2008126474A1 (en)* | 2007-03-30 | 2008-10-23 | Honda Motor Co., Ltd. | Traveling safety device of vehicle |
| US8521414B2 (en) | 2007-03-30 | 2013-08-27 | Honda Motor Co., Ltd. | Vehicle safety driving apparatus |
| JP2010191793A (en)* | 2009-02-19 | 2010-09-02 | Denso It Laboratory Inc | Alarm display and alarm display method |
| JP2011216010A (en)* | 2010-04-01 | 2011-10-27 | Toyota Motor Corp | Alarm device |
| JP2013132371A (en)* | 2011-12-26 | 2013-07-08 | Denso Corp | Motion detection apparatus |
| KR101438288B1 (en)* | 2011-12-26 | 2014-09-04 | 가부시키가이샤 덴소 | Head movement detection apparatus |
| JP2013218469A (en)* | 2012-04-06 | 2013-10-24 | Utechzone Co Ltd | Eye monitoring device for vehicle having illumination light source |
| WO2014034065A1 (en)* | 2012-08-31 | 2014-03-06 | 株式会社デンソー | Moving body warning device and moving body warning method |
| JP2018005362A (en)* | 2016-06-29 | 2018-01-11 | 株式会社東海理化電機製作所 | Driving support device |
| JP2018063489A (en)* | 2016-10-11 | 2018-04-19 | 国立大学法人金沢大学 | Pilot state estimation device |
| JP2018088119A (en)* | 2016-11-29 | 2018-06-07 | パイオニア株式会社 | Control device, control method, and program |
| JP2022010322A (en)* | 2016-11-29 | 2022-01-14 | パイオニア株式会社 | Control device, control method, and program |
| Publication | Publication Date | Title |
|---|---|---|
| JPH07117593A (en) | Vehicle alarm system | |
| JP2929927B2 (en) | Driving information providing device | |
| US7209833B2 (en) | Collision possibility determination device | |
| US7423540B2 (en) | Method of detecting vehicle-operator state | |
| JP4926437B2 (en) | Vehicle driving support device | |
| US8823530B2 (en) | System and method for auto-correcting an autonomous driving system | |
| JP5179686B2 (en) | Driving behavior risk calculation device | |
| CN111443708B (en) | Automatic driving system | |
| JP3785669B2 (en) | Gaze direction measuring device | |
| JP3941770B2 (en) | Collision possibility judgment device | |
| TWI522257B (en) | Vehicle safety system and its operation method | |
| CN101968917A (en) | Vehicle-mounted warning apparatus | |
| JP6418341B1 (en) | Data processing apparatus, monitoring system, awakening system, data processing method, and data processing program | |
| WO2008041497A1 (en) | Alarm device for vehicle and alarm method for vehicle | |
| EP3683668A1 (en) | Vehicle display device | |
| JPH11245683A (en) | Vehicle information presentation device | |
| US20210370956A1 (en) | Apparatus and method for determining state | |
| JP2004295472A (en) | Vehicle alarm | |
| US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
| JPH11348696A (en) | Traveling road shape estimating device and travel support device using the same | |
| JPH097100A (en) | Driver gaze point prediction device and vehicle driving support system using the device | |
| JP6418342B1 (en) | Data processing apparatus, monitoring system, awakening system, data processing method, and data processing program | |
| JPH10246640A (en) | Information display device for vehicles | |
| JP3369237B2 (en) | Driver viewpoint judgment device and inattentive judgment device | |
| US20240331315A1 (en) | Method for ascertaining a configuration of a user-state-dependent output of information for a user of an ar device, and ar device |