JP2016200910A - Driver state determination device - Google Patents
Driver state determination deviceDownload PDFInfo
- Publication number
- JP2016200910A JP2016200910AJP2015079460AJP2015079460AJP2016200910AJP 2016200910 AJP2016200910 AJP 2016200910AJP 2015079460 AJP2015079460 AJP 2015079460AJP 2015079460 AJP2015079460 AJP 2015079460AJP 2016200910 AJP2016200910 AJP 2016200910A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- unit
- normal driving
- driving posture
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000036544postureEffects0.000claimsabstractdescription145
- 238000001514detection methodMethods0.000claimsabstractdescription37
- 230000002159abnormal effectEffects0.000claimsabstractdescription36
- 238000012360testing methodMethods0.000description18
- 238000011156evaluationMethods0.000description13
- 238000000034methodMethods0.000description11
- 238000012545processingMethods0.000description10
- 230000033001locomotionEffects0.000description6
- 238000005728strengtheningMethods0.000description6
- 230000005856abnormalityEffects0.000description4
- 238000010586diagramMethods0.000description4
- 230000037237body shapeEffects0.000description2
- 238000004364calculation methodMethods0.000description2
- 230000007423decreaseEffects0.000description2
- 210000000988bone and boneAnatomy0.000description1
- 210000000845cartilageAnatomy0.000description1
- 238000006243chemical reactionMethods0.000description1
- 230000000694effectsEffects0.000description1
- 238000002474experimental methodMethods0.000description1
- 230000006870functionEffects0.000description1
- 238000005259measurementMethods0.000description1
- 238000004088simulationMethods0.000description1
- 210000000278spinal cordAnatomy0.000description1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
Translated fromJapanese本発明の一側面は、運転者状態判定装置に関する。 One aspect of the present invention relates to a driver state determination device.
従来の運転者状態判定装置に関する技術として、例えば特許文献１に記載された技術が知られている。特許文献１に記載された技術では、運転席前方に設けられたカメラにより運転者の顔位置をカメラで撮像し、その撮像画像から運転者の顔が存在しない又は目をつむっている等の状況が所定期間継続して検出された場合、運転者の状態が異常と判定する。 As a technique related to a conventional driver state determination device, for example, a technique described in
近年、車両に乗車中の運転者の状態を見極め、運転者の状態が異常の場合には、例えば車両の走行を自動制御することによって障害物との接触時の被害を軽減するシステムの導入が望まれている。このようなシステムを実現するために、上述したような運転者状態判定装置においては、運転者の状態が異常か否かを精度よく判定することが重要とされる。 In recent years, a system has been introduced that reduces the damage caused by contact with obstacles by, for example, automatically controlling the driving of the vehicle when the state of the driver in the vehicle is determined and the driver's state is abnormal. It is desired. In order to realize such a system, in the driver state determination device as described above, it is important to accurately determine whether or not the driver's state is abnormal.
本発明の一側面は、上記実情に鑑みてなされたものであり、運転者の状態が異常か否かを精度よく判定することが可能な運転者状態判定装置を提供することを課題とする。 An aspect of the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a driver state determination device that can accurately determine whether or not a driver's state is abnormal.
本発明の一側面に係る運転者状態判定装置は、少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、正常な運転状態における当該運転者の運転姿勢である複数の正常運転姿勢を記憶する記憶部と、記憶部に記憶した複数の正常運転姿勢に対して、認識部で認識した運転姿勢のマッチングを行い、当該運転姿勢が複数の正常運転姿勢の何れにも対応しない場合に、運転者の状態が異常と判定する判定部と、を備える。 A driver state determination device according to an aspect of the present invention recognizes a driving posture including a relative positional relationship among a plurality of skeleton parts in a driver of a vehicle based on a detection result by a detection unit including at least a distance sensor. A recognition unit, a storage unit that stores a plurality of normal driving postures that are the driving postures of the driver in a normal driving state, and a driving posture that is recognized by the recognition unit with respect to a plurality of normal driving postures stored in the storage unit And a determination unit that determines that the state of the driver is abnormal when the driving posture does not correspond to any of the plurality of normal driving postures.
この運転者状態判定装置では、正常な運転状態における運転者の運転姿勢が記憶部に正常運転姿勢として記憶されている。この正常運転姿勢に対応しない運転姿勢が認識部で認識されると、当該運転者の状態が異常であると判定される。このように、予め定められた閾値のみを判定の基準とするのではなく、その運転者の正常な運転状態に係る正常運転姿勢を基準に判定できるため、運転者の体型等に左右されずに運転者の異常を判定することが可能となる。また、検出部が距離センサを含むことから、例えば車内が暗い場合でも、運転者の運転姿勢を精度よく検出することができる。したがって、本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することが可能となる。 In this driver state determination device, the driving posture of the driver in a normal driving state is stored as a normal driving posture in the storage unit. If the recognition unit recognizes a driving posture that does not correspond to the normal driving posture, it is determined that the state of the driver is abnormal. In this way, since it is possible to make a determination based on the normal driving posture related to the normal driving state of the driver rather than using only a predetermined threshold as a reference for determination, it is not affected by the body shape of the driver. It becomes possible to determine the abnormality of the driver. In addition, since the detection unit includes the distance sensor, the driving posture of the driver can be accurately detected even when the interior of the vehicle is dark, for example. Therefore, according to one aspect of the present invention, it is possible to accurately determine whether or not the driver's condition is abnormal.
本発明の一側面に係る運転者状態判定装置において、判定部は、運転者の状態が異常と判定しない場合、認識部で認識した運転姿勢を正常運転姿勢として記憶部に記憶してもよい。この構成によれば、判定部による判定に伴って、正常運転姿勢を記憶部に学習させることが可能となる。 In the driver state determination device according to one aspect of the present invention, the determination unit may store the driving posture recognized by the recognition unit in the storage unit as the normal driving posture when the driver state is not determined to be abnormal. According to this configuration, it is possible to cause the storage unit to learn the normal driving posture in accordance with the determination by the determination unit.
本発明の一側面に係る運転者状態判定装置において、運転姿勢は、複数の骨格部位のうちの２つの組合せからなる項目毎においての、一方の骨格部位の座標に対する他方の骨格部位の座標の大小関係に関する相対位置情報を、相対的な位置関係として含んでいてもよい。この構成によれば、運転姿勢に係るデータ容量を抑え、処理速度を高めることができる。 In the driver state determination device according to one aspect of the present invention, the driving posture is the magnitude of the coordinates of the other skeleton part with respect to the coordinates of one skeleton part for each item including a combination of two of the plurality of skeleton parts. Relative positional information regarding the relationship may be included as a relative positional relationship. According to this configuration, it is possible to suppress the data volume related to the driving posture and increase the processing speed.
本発明の一側面に係る運転者状態判定装置において、判定部は、記憶部に記憶した複数の正常運転姿勢のそれぞれについて、認識部で認識した運転姿勢と類似する類似度を算出し、複数の正常運転姿勢における類似度の最大値が、予め設定された閾値以下の場合に、運転者の状態が異常と判定してもよい。この構成によれば、記憶した複数の正常運転姿勢に対する運転姿勢のマッチングを、好適に実現可能となる。 In the driver state determination device according to one aspect of the present invention, the determination unit calculates a similarity similar to the driving posture recognized by the recognition unit for each of the plurality of normal driving postures stored in the storage unit, When the maximum value of the similarity in the normal driving posture is equal to or less than a preset threshold value, the driver's state may be determined to be abnormal. According to this configuration, it is possible to preferably realize matching of driving postures with respect to a plurality of stored normal driving postures.
本発明の一側面に係る運転者状態判定装置は、判定部による判定時以外のときに、認識部で認識した当該運転者の運転姿勢を正常運転姿勢として記憶部に記憶する学習部を備えていてもよい。この構成によれば、判定部による判定時以外のときの運転者の運転姿勢について、正常運転姿勢として記憶部に学習させることが可能となる。 A driver state determination device according to an aspect of the present invention includes a learning unit that stores a driving posture of a driver recognized by a recognition unit in a storage unit as a normal driving posture at a time other than a determination by a determination unit. May be. According to this configuration, it is possible to cause the storage unit to learn the driving posture of the driver at a time other than the determination time by the determination unit as the normal driving posture.
本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することができる運転者状態判定装置を提供することが可能となる。 According to one aspect of the present invention, it is possible to provide a driver state determination device that can accurately determine whether or not a driver's state is abnormal.
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the same or equivalent elements will be denoted by the same reference numerals, and redundant description will be omitted.
図１は、一実施形態に係る運転者状態判定装置１００の構成を示すブロック図である。図２は、運転者１の複数の骨格部位２を説明する図である。図１に示すように、運転者状態判定装置１００は、自動車等の車両に乗車中の運転者１の状態が異常か否かを判定する装置である。車両としては、特に限定されるものではなく、例えば、トラックやバス等の商用車、普通乗用車、大型車両、中型車両、小型車両又は軽車両等の何れであってもよい。 FIG. 1 is a block diagram illustrating a configuration of a driver
運転者状態判定装置１００は、ＲＧＢ−Ｄセンサ（検出部）１０、運転者状態判定ＥＣＵ２０及び出力部３０を備えている。ＲＧＢ−Ｄセンサ１０は、カラー画像及び深度情報の双方を取得するセンサである。ＲＧＢ−Ｄセンサ１０は、対象物のカラー画像を取得するＲＧＢカメラと、対象物までの深度情報（距離画像）を取得する深度センサである赤外線センサと、を含んで構成されている。ＲＧＢ−Ｄセンサ１０は、車両の助手席側の窓とフロントガラスとの間に配置されている。ＲＧＢ−Ｄセンサ１０は、運転者１の上方から運転者１側に向かう方向に撮影可能とされている。なお、赤外線センサに代えてもしくは加えて、他の距離センサを含んでいてもよい。 The driver
図１及び図２に示すように、ＲＧＢ−Ｄセンサ１０は、運転者１の上半身のカラー画像及び深度情報を取得し、取得したカラー画像及び深度情報から運転者１における複数の骨格部位２の三次元座標（Ｘ軸座標、Ｙ軸座標及びＺ軸座標）を取得する。ＲＧＢ−Ｄセンサ１０は、当該三次元座標に関する情報を、センサ情報として運転者状態判定ＥＣＵ２０へ出力する。ＲＧＢ−Ｄセンサ１０としては、例えば、深度の取得可能範囲が０．５〜８．０［ｍ］、運転者１の検出可能範囲が０．５〜４．５［ｍ］、及び、骨格部位２の検出可能数が２０又は２５［箇所／人］のものが用いられる。なお、複数の骨格部位２の三次元座標を取得する手法としては、特に限定されず、公知の手法を採用することができる。 As shown in FIGS. 1 and 2, the RGB-
骨格部位２は、１又は複数の骨及び軟骨によって構成される構造部位である。骨格部位２は、骨格上において１又は複数のまとまりのある機能及び／又は構造を有する部位である。骨格部位２は、骨格ポイントとも称する。本実施形態の骨格部位２としては、運転者１の上半身の骨格の部位であって、例えば「頭」、「左肩」、「左肘」、「左腕」、「左手」、「右肩」、「右肘」、「右腕」、「右手」、「脊髄」、「背骨中央」、及び「腰」等が挙げられる。上半身とは、身体における頭から腰までの部分である。 The
運転者状態判定ＥＣＵ２０は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[RandomAccess Memory]等を有する電子制御ユニットである。運転者状態判定ＥＣＵ２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の制御を実行する。運転者状態判定ＥＣＵ２０は、複数の電子制御ユニットから構成されていてもよい。運転者状態判定ＥＣＵ２０は、認識部２１、記憶部２２、判定部２３及び学習部２４を有する。 The driver
認識部２１は、ＲＧＢ−Ｄセンサ１０のセンサ情報に基づいて、運転者１の複数の骨格部位２における相対的な三次元の位置関係を含む運転姿勢を認識する。具体的には、まず、複数の骨格部位２のうちの二つの組合せからなる複数の項目を抽出する。抽出した複数の項目毎において、一方の骨格部位２の座標に対する他方の骨格部位２の三次元座標の大小関係を演算する。例えば当該大小関係は、Ｘ軸、Ｙ軸及びＺ軸それぞれにおいて、一方の骨格部位２の座標に対して他方の骨格部位２の座標が大きいか、小さいか、又は等しいかでビットパターン化されて表現される。そして、当該大小関係を相対位置情報（相対チェックポイントとも称する）とする。このような相対位置情報を複数の項目毎に有する一群の情報を、運転姿勢（姿勢モデルとも称する）として認識する。 Based on the sensor information of the RGB-
図３は、認識部２１により認識した運転姿勢の一例を示す図である。図３に示す例では、運転姿勢は、例えば骨格部位２の数が１２箇所であるところ、６６通りの骨格部位２の組合せ（項目）を有する。各項目それぞれは、ＸＹＺ座標系において、一方の骨格部位２に対する他方の骨格部位２の三次元座標の大小関係に関する相対位置情報を有する。図示するように、例えば項目が「頭−左肩」では、頭のＸ軸座標が左肩のＸ軸座標よりも小さく「＜」とされ、頭のＹ軸座標が左肩のＹ軸座標と等しく「＝」とされ、頭のＺ軸座標は左肩のＺ軸座標よりも大きく「＞」とされている。つまり、複数の骨格部位２の組合せについての、座標の相対的大小関係を三軸で比較してなるベクタとして、一つの運転姿勢が記述されている。 FIG. 3 is a diagram illustrating an example of a driving posture recognized by the
図１に示すように、記憶部２２は、複数の正常運転姿勢を記憶して蓄積する。正常運転姿勢は、正常な運転状態における運転者１の運転姿勢である。記憶部２２は、後述するように、判定部２３で運転者１の状態が正常と判定されたときの運転姿勢、及び／又は、学習部２４で平常運転時（通常運転時）に認識された運転姿勢を、正常運転姿勢として記憶する。記憶部２２に記憶した複数の正常運転姿勢は、「辞書」、すなわち、多数の正常運転姿勢を集録する集合体を構築する。記憶部２２に記憶した複数の正常運転姿勢は、教師データとして用いられる。複数の正常運転姿勢は、相対位置情報のリストの形で構成されている。以下、記憶部２２に記憶した複数の正常運転姿勢を、単に「辞書」とも称する。 As shown in FIG. 1, the
判定部２３は、記憶部２２に記憶した複数の正常運転姿勢と、認識部２１で認識した現在の運転姿勢（以下、「現在運転姿勢」という）とに基づいて、次の判定モード（検知モードとも称する）を実行する。すなわち、判定部２３は、複数の正常運転姿勢に対して現在運転姿勢のマッチングを行い、現在運転姿勢が複数の正常運転姿勢の何れにも対応しない場合に、運転者１の状態が異常と判定する。 The
具体的には、判定部２３は、記憶部２２に記憶した複数の正常運転姿勢のそれぞれについて、認識部２１で認識した現在運転姿勢と類似する類似度を算出する。複数の正常運転姿勢の各類似度のうち最大値が閾値以下の場合に、運転者の状態が異常と判定する。閾値は、運転者の状態が異常か否かを適切に判定するために、予め設定されて記憶された値である。閾値は、実験、過去の実績及び経験、並びにシミュレーション等に基づいて定めることができる。閾値は、固定の値であってもよいし、変動する値であってもよい。 Specifically, the
より具体的には、判定部２３は、まず、一の正常運転姿勢について、その複数の項目の各相対位置情報と現在運転姿勢が有する複数の項目の各相対位置情報とを照合し、一致する相対位置情報の数を類似度として算出する。このとき、相対位置情報に含まれる、Ｘ軸座標の大小関係とＹ軸座標の大小関係とＺ軸座標の大小関係との全てが同じとき、相対位置情報が一致したとする。続いて、このような類似度の算出を、複数の正常運転姿勢の全てに対して実施する。そして、複数の正常運転姿勢の各類似度のうち最大値が閾値以下の場合、複数の正常運転姿勢が現在運転姿勢に対応しないと判断し、運転者１の状態が異常と判定する。他方、複数の正常運転姿勢の各類似度のうち最大値が閾値よりも大きい場合、最大値の類似度を有する正常運転姿勢が現在運転姿勢に対応すると判断し、運転者１の状態が正常であると判定する。 More specifically, the
判定部２３は、運転者１の状態が異常と判定しない場合、認識部２１で認識した現在運転姿勢を正常運転姿勢として記憶部２２に記憶する。これにより、記憶部２２に蓄積されている複数の正常運転姿勢をアップデートする。 When determining that the state of the
学習部２４は、判定部２３による判定時以外のときに、認識部２１で認識した現在運転姿勢を正常運転姿勢として学習する学習モード（辞書登録モード又は辞書強化モードとも称する）を実行する。具体的には、学習部２４は、例えばモード判定実行時以外の平常運転時に、認識部２１で認識した運転者１の現在運転姿勢を正常運転姿勢として記憶部２２に記憶して蓄積する。 The
出力部３０は、判定部２３による判定結果に応じた情報を運転者１へ報知する。出力部３０は、例えば、画像情報を表示するためのディスプレイ、及び音声出力のためのスピーカの少なくとも何れかを有している。出力部３０は、判定部２３で運転者の状態を異常と判定した場合、例えばディプレイパネル上に警告表示を表示する、及び／又は、警告メッセージ等の警告音声をスピーカから出力する。一方、出力部３０は、判定部２３で運転者の状態を正常と判定した場合、例えば現在運転姿勢が正常運転姿勢と対応している旨をディプレイパネル上に表示する、及び／又は、現在運転姿勢が正常運転姿勢と対応している旨の音声をスピーカから出力する。 The
なお、本実施形態では、運転者状態判定装置１００を走行支援装置（不図示）に適用し、判定部２３の判定結果に基づいて車両の走行を自動制御してもよい。例えば、判定部２３により運転者１の状態が異常と判定した場合、車両制御ＥＣＵ（不図示）によりステアリングアクチュエータ及びブレーキアクチュエータを制御して、車両を路肩に寄せて停車させてもよい。運転者状態判定装置１００は、種々の走行支援装置、運転支援装置及び走行安全装置等に採用可能である。 In the present embodiment, the driver
本実施形態において、判定部２３による判定モードの実行と学習部２４による学習モードの実行とについては、例えば運転者１によるモード切替部（不図示）の操作に応じて所望に切替え可能としてもよい。本実施形態において、骨格部位２の三次元座標の取得、相対的な位置関係とする表現（運転姿勢）への変換、及び、辞書に対するマッチングは、１秒間当たりの処理フレーム数を数十フレームとしてリアルタイム処理を行っている。 In the present embodiment, the execution of the determination mode by the
次に、運転者状態判定装置１００の処理について、図４に示すフローチャートを参照しつつ説明する。 Next, the process of the driver
図４（Ａ）は、運転者状態判定ＥＣＵ２０において実行される判定モードの処理を説明するフローチャートである。図４（Ａ）に示すように、運転者状態判定ＥＣＵ２０では、判定モードに係る以下の処理を所定周期で繰り返し実行する。 FIG. 4A is a flowchart for explaining processing in a determination mode executed in the driver
まず、ＲＧＢ−Ｄセンサ１０からセンサ情報を取得する（Ｓ１）。認識部２１により、ＲＧＢ−Ｄセンサ１０のセンサ情報に基づいて、運転者１の現在運転姿勢を認識する（Ｓ２）。判定部２３により、複数の正常運転姿勢に対して現在運転姿勢のマッチングを行う。すなわち、複数の正常運転姿勢のそれぞれに対して現在運転姿勢の類似度を算出する（Ｓ３）。 First, sensor information is acquired from the RGB-D sensor 10 (S1). The
続いて、判定部２３により、算出した類似度の最大値が閾値よりも大きいか否かを判定する（Ｓ４）。上記Ｓ４でＹｅｓの場合、判定部２３により、運転者１の状態が正常であると判定し、現在運転姿勢を正常運転姿勢として記憶部２２に記憶する（Ｓ５及びＳ６）。その後、出力部３０から、現在運転姿勢が正常運転姿勢と対応している旨を出力させると共に、次周期の処理に移行する。 Subsequently, the
一方、上記Ｓ３でＮｏの場合、判定部２３により運転者１の状態が異常と判定する（Ｓ７）。その後、出力部３０から警告音声及び／又は警告表示を出力させると共に、次周期の処理に移行する。これに代えてもしくは加えて、車両制御ＥＣＵにより車両の走行を自動制御し、例えば車両を路肩に寄せて停車させる。 On the other hand, in the case of No in S3, the
図４（Ｂ）は、運転者状態判定ＥＣＵ２０において実行される学習モードの処理を説明するフローチャートである。図４（Ｂ）に示すように、運転者状態判定ＥＣＵ２０では、例えばモード判定実行時以外の平常運転時において、判定モードに係る以下の処理を所定周期で繰り返し実行する。 FIG. 4B is a flowchart illustrating the learning mode process executed by the driver
まず、ＲＧＢ−Ｄセンサ１０からセンサ情報を取得する（Ｓ１１）。認識部２１により、ＲＧＢ−Ｄセンサ１０のセンサ情報に基づいて、運転者１の現在運転姿勢を認識する（Ｓ１２）。学習部２４により、現在運転姿勢を正常運転姿勢として記憶部２２に記憶する（Ｓ１３）。その後、次周期の処理に移行する。 First, sensor information is acquired from the RGB-D sensor 10 (S11). The
以上、運転者状態判定装置１００では、正常な運転状態における運転者１の運転姿勢が記憶部２２に正常運転姿勢として（つまり、辞書として）記憶されている。正常運転姿勢に対応しない現在運転姿勢が認識部２１で認識されると、運転者１の状態が異常であると判定される。このように、予め定められた閾値のみを判定の基準とするのではなく、その運転者１の正常な運転状態に係る正常運転姿勢を基準に判定できるため、運転者１の体型等に左右されずに（運転者１の体格に対してロバストに）、当該運転者１の異常を判定することが可能となる。また、赤外線センサを含むＲＧＢ−Ｄセンサ１０を検出部として備えていることから、例えば車内が暗い場合でも、運転者１の運転姿勢を精度よく検出することができる。したがって、運転者状態判定装置１００によれば、運転者１の状態が異常か否かを精度よく判定することが可能となる。また、例えば運転者１が運転を他の運転者１に交代する場合でも、各運転者１それぞれに対して辞書を作成して又は辞書を共用して判定することが可能であり、汎用性を高めることができる。 As described above, in the driver
運転者状態判定装置１００において、判定部２３は、運転者１の状態が異常と判定しない場合、認識部２１で認識した現在運転姿勢を正常運転姿勢として記憶部２２に記憶する。この構成によれば、判定部２３による判定に伴って、正常運転姿勢を記憶部２２に学習させることが可能となる。その結果、判定精度を向上（誤判定を抑制）することが可能となる。 In the driver
運転者状態判定装置１００において、運転姿勢は、複数の骨格部位２のうちの２つの組合せからなる項目毎においての、一方の骨格部位２の座標に対する他方の骨格部位２の座標の大小関係に関する相対位置情報で構成されている。この構成によれば、運転姿勢に係るデータ容量を抑え、処理速度を高めることができる。例えば、１つの運転姿勢のデータ容量を、数百ビット程度（６６（項目数）×３（ＸＹＺ軸）×２（大小関係）＝３９６ビット）まで抑えることが可能となる。僅かな回数の演算で、運転者１の異常を判定することができる。運転者１の動画情報を記憶部２２に記憶する場合には、メガバイトオーダ又はギガバイトオーダの容量が記憶部２２に必要であるが、運転者状態判定装置１００では、キロバイトオーダでも大量の正常運転姿勢を記憶部２２に記憶することができる。 In the driver
また、相対位置情報が、複数の骨格部位２における三次元の相対位置関係で表現されることから、簡潔かつ柔軟に運転者１の姿勢を表現することができる。このような相対位置情報では、運転者１の身体の傾き及びひねり等の微妙な動作や姿勢を、ロバストに記述することができる。 Further, since the relative position information is expressed by a three-dimensional relative positional relationship in the plurality of
運転者状態判定装置１００において、判定部２３は、記憶部２２に記憶した複数の正常運転姿勢のそれぞれについて、認識部２１で認識した運転姿勢と類似する類似度を算出する。そして、複数の正常運転姿勢における類似度の最大値が閾値以下の場合に、運転者１の状態が異常と判定する。この構成によれば、複数の正常運転姿勢に対する運転姿勢のマッチングを、好適に実現可能となる。 In the driver
運転者状態判定装置１００は、学習モードを実行する学習部２４を備える。学習モードでは、判定モード実行時以外の例えば平常運転時に、認識部２１で認識した運転者１の運転姿勢を記憶部２２に記憶する。これにより、例えば平常運転時の運転者１の運転姿勢を正常運転姿勢として記憶部２２に学習させることが可能となる。正常運転姿勢を繰り返し学習して辞書を強化することにより、記憶部２２に記憶された正常運転姿勢の数を増加させ、誤判定率を低減させることができる。 The driver
運転者状態判定装置１００で認識する運転姿勢は、運転者１の瞼や呼気等に比べて明確な運転者情報であり、また、運転者１の動画情報に比べても明確な運転者情報である。運転者状態判定装置１００で認識する運転姿勢は、運転者１のサングラスの着用及び日照等に対して、ロバスト性を有する。 The driving posture recognized by the driver
運転者状態判定装置１００は、現在運転姿勢が正常運転姿勢に対応しない場合に運転者１の状態を異常と判定するホワイトリスト形式を採用している。ホワイトリスト形式では、記憶部２２に記憶される情報が多くなる可能性があるものの、記憶されていない情報を探索することになるため、現在運転姿勢の認識が正確であるならば、判定に漏れが生じるのを抑制可能となる。 The driver
運転者状態判定装置１００では、閾値を大きくすることにより、運転者１の状態を誤って異常と判定してしまうことを抑制できる。ただし、閾値は、ノイズの影響を軽減するために、類似度の最大値（相対位置情報の全数）の９割程度としてもよい。 The driver
運転者状態判定装置１００では、運転者１の状態が異常か否かの判定に基づいて、車両の走行を制御することができる。例えば、運転者１の状態を異常と判定することにより、運転者１の体調不良からの心神喪失や不正動作の存在を把握し、走行安全に寄与する運転支援を行うことができる。運転者状態判定装置１００は、安全停止等のトリガとして高い確信度を有する。 The driver
運転者状態判定装置１００では、複数の運転者１の間で辞書、すなわち、記憶部２２に記憶された複数の正常運転姿勢を共有してもよい。運転者１とは異なる他人の姿勢や動作を学習した辞書によっても、十分な精度を有して運転者１の異常を判定することができる。 In the driver
なお、本実施形態の運転者状態判定装置１００では、運転者１の現在運転姿勢に基づき特定の動作時の運転姿勢であるジェスチャを認識し、認識したジェスチャに基づいて車内機器の動作を制御してもよい。具体的には、記憶部２２に、特定の動作毎にジェスチャを記憶する。記憶するジェスチャとしては、例えばエアーコンディショナ操作時のジェスチャ、カーナビゲーションシステム操作時のジェスチャ、オーディオ操作時のジェスチャ等が挙げられる。続いて、記憶部２２に記憶した複数のジェスチャそれぞれについて、認識部２１で認識した現在運転姿勢との類似度を算出する。類似度が閾値よりも大きくかつ最大値を有するジェスチャを、現在ジェスチャとして認識する。そして、認識した現在ジェスチャに対応する車内機器の動作制御を行う。これにより、現在ジェスチャに応じた運転支援を行うことができる。また、運転者１が実行しようとする操作を、音声認識よりも高精度に認識することができる。 Note that the driver
［実施例］
以下、実測結果に基づいて上記運転者状態判定装置１００をより具体的に説明する。[Example]
Hereinafter, the driver
（閾値を変化させた評価試験）
本評価試験では、運転者状態判定装置１００において閾値を変化させた場合の再現率と誤検知率とを調査する。被験者は男性５人とした。被験者は、学習モード（辞書強化モード）の実行下で車両を運転しながら、平常運転時の６つの動作、すなわち、直進時動作、左折時動作、右折時動作、カーナビ操作時動作、エアコン操作時動作及び自由動作を順番に行った。これを１サイクルの辞書作成サイクルとし、当該辞書作成サイクルを５サイクル繰り返し、辞書を作成した。その後、判定モード（検知モード）に切り替え、平常運転時の上記６つの動作を５回繰り返した。この過程では、被験者は平常運転時の動作のみ行うため、被験者の状態が異常との判定結果は誤検知である。(Evaluation test with varying threshold)
In this evaluation test, the recall rate and the false detection rate when the threshold value is changed in the driver
次に、被験者は、判定モードで車両を運転しながら、平常運転時に行わない４つの不正動作、すなわち、車両の前方、左方及び右方に身体を傾斜させる各動作と、腰がシートから落ちるような動作とを行った。そして、被験者の状態が異常と判定するかを確認した。下式のとおり、取得全フレームに対する誤検知数を誤検知率とした。
誤検知率＝誤検知数／全フレーム数
また、下式のとおり、不正動作数に対する認識数（不正動作時に異常と正しく判定できた数）を再現率とした。
再現率＝認識数／不正動作数Next, the subject operates the vehicle in the determination mode, and performs four illegal operations that are not performed during normal operation, that is, each operation of tilting the body forward, left, and right of the vehicle, and the waist falls from the seat. The operation was performed. And it was confirmed whether a test subject's state was determined to be abnormal. As shown in the following formula, the number of false detections for all acquired frames was defined as the false detection rate.
False detection rate = number of false detections / total number of frames In addition, as shown in the following formula, the number of recognitions with respect to the number of illegal operations (the number that can be correctly determined to be abnormal at the time of illegal operations) was taken as the recall rate.
Reproducibility = number of recognitions / number of unauthorized operations
図５（Ａ）は、閾値に対する辞書登録数を示すグラフである。辞書登録数は、記憶部２２に記憶した複数の正常運転姿勢の数（データ数）である。図５（Ａ）に示すように、閾値を高くした場合、辞書登録数が多くなり、辞書のデータ容量が多くなることがわかる。 FIG. 5A is a graph showing the number of dictionary registrations with respect to the threshold. The dictionary registration number is the number (data number) of a plurality of normal driving postures stored in the
図５（Ｂ）は、閾値に対する誤検知率及び再現率を示すグラフである。図中において、誤検知率及び再現率は、複数の被験者の平均値を示している。図中において、動作Ａ、動作Ｂ及び動作Ｃのそれぞれは、車両の前方、左方及び右方に身体を傾斜させる動作であり、動作Ｄは、腰がシートから落ちるような動作である。これらは、以下の誤検知率、再現率及び動作Ａ〜Ｄについても同様である。図５（Ｂ）に示すように、閾値を高くするにしたがって、再現率は上がり誤検知率も僅かに上がっている。閾値が「３３」のときに、誤検知率は４％以下になっており、低い誤検知率を保ちながら再現率を上げることができた。 FIG. 5B is a graph showing a false detection rate and a recall rate with respect to a threshold value. In the figure, the false detection rate and the recall rate indicate average values of a plurality of subjects. In the figure, each of the operation A, the operation B, and the operation C is an operation that tilts the body forward, left, and right of the vehicle, and the operation D is an operation that the waist falls from the seat. The same applies to the following false detection rate, recall rate, and operations A to D. As shown in FIG. 5B, as the threshold value is increased, the recall rate increases and the false detection rate also slightly increases. When the threshold was “33”, the false detection rate was 4% or less, and the recall rate could be increased while maintaining a low false detection rate.
（辞書の繰返し強化の評価試験）
本評価試験では、運転者状態判定装置１００において、辞書強化の試行回数を増やして辞書のデータ量を増加させ、再現率、誤検知率及び辞書登録数の影響を調査する。被験者は男性３人とした。上記評価試験の結果に基づいて、閾値を「３３」に設定した。(Dictionary repetition strengthening evaluation test)
In this evaluation test, the driver
図６（Ａ）は、辞書作成サイクル数に対する辞書登録数を示すグラフである。ここでの辞書作成サイクルは、上記評価試験における辞書作成サイクルと同様である。図６（Ａ）に示すように、辞書作成サイクル数を増やすに連れて、辞書登録数が多くなり、辞書のデータ量が多くなることがわかる。辞書作成サイクル数を増やすに連れて、辞書登録数の増加率が低くなっていることがわかる。これにより、辞書作成サイクル数を増やすに連れて、辞書登録数の増加は収束すると考えられる。 FIG. 6A is a graph showing the number of dictionary registrations with respect to the number of dictionary creation cycles. The dictionary creation cycle here is the same as the dictionary creation cycle in the evaluation test. As shown in FIG. 6A, it can be seen that as the number of dictionary creation cycles is increased, the number of dictionary registrations increases and the amount of data in the dictionary increases. It can be seen that as the number of dictionary creation cycles increases, the rate of increase in the number of dictionary registrations decreases. Thereby, it is considered that the increase in the number of dictionary registrations converges as the number of dictionary creation cycles increases.
図６（Ｂ）は、辞書作成サイクル数に対する誤検知率及び再現率を示すグラフである。図６（Ｂ）に示すように、辞書作成サイクル数を増やすに連れて、辞書登録数が増加することから誤検知率が減少していることがわかる。辞書サイクル数が「５」の時に、誤検知率は２％以下となった。辞書の強化を繰り返し行うことによって、辞書登録数が増加し、誤検知率を低減できることがわかる。辞書の強化を繰り返し行うことによって、辞書登録数が増加しても、再現率を高く保っていることがわかる。 FIG. 6B is a graph showing a false detection rate and a recall rate with respect to the number of dictionary creation cycles. As shown in FIG. 6B, it can be seen that the number of dictionary registrations increases as the number of dictionary creation cycles increases, so that the false detection rate decreases. When the number of dictionary cycles was “5”, the false detection rate was 2% or less. It can be seen that by repeatedly strengthening the dictionary, the number of dictionary registrations increases and the false detection rate can be reduced. By repeatedly strengthening the dictionary, it can be seen that the recall is kept high even if the number of dictionary registrations increases.
（他人の辞書による評価試験）
本評価試験では、運転者状態判定装置１００において、他人の辞書を用いた場合の誤検知率と再現率とを調査する。被験者は男性４人とした。一人の被験者の辞書を、上記評価試験と同様に作成した。別の３人の被験者は、作成した辞書を用いた判定モードの実行下で、４つの不正動作として上記動作Ａ〜Ｄを３回繰り返し行った。そして、別の３人の被験者の状態が異常と判定するかを確認した。(Evaluation test using someone else's dictionary)
In this evaluation test, the driver
図７（Ａ）は、他人の辞書による再現率及び誤検知率を示すグラフである。図７（Ａ）に示すように、動作Ａ、動作Ｂ及び動作Ｃにおいて、再現率が１００％と高い値となり、誤検知率も低い値を保つことがわかる。これにより、各個人の特徴的動作を除けば、辞書を共有して運用できることがわかる。 FIG. 7A is a graph showing the recall rate and false detection rate of another person's dictionary. As shown in FIG. 7A, it can be seen that in the operations A, B and C, the recall rate is as high as 100%, and the false detection rate is also kept low. As a result, it can be understood that the dictionary can be shared and operated except for the characteristic operation of each individual.
（ジェスチャ認識評価試験）
本評価試験では、運転者状態判定装置１００を利用し、ジェスチャによって車内機器を操作（動作制御）できるか否かを評価する。被験者は、学習モードの実行下において、右手をハンドルに置くと共に、左手を上方、前方及び前側斜め上方に突き出した特定動作を行った。これにより、当該特定動作に関するジェスチャを記憶部２２に記憶し、辞書を作成した。その後、被験者は、判定モードの実行下において当該特定動作を行い、当該特定動作をジェスチャとして正しく認識するかを確認した。ジェスチャを正しく認識できる割合をジェスチャ認識率として求めた。被験者は男性３人とした。閾値は、上記評価試験の結果に基づいて「３３」に設定した。(Gesture recognition evaluation test)
In this evaluation test, the driver
図７（Ｂ）は、ジェスチャ認識率を示すグラフである。図中において、「上」は左手を上方に突き出した上記特定動作に係るジェスチャ、「前」は左手を前方に突き出した上記特定動作に係るジェスチャ、「斜め」は左手を前側斜め上方に突き出した上記特定動作に係るジェスチャである。図７（Ｂ）に示すように、全てのジェスチャについて正しく認識できることが分かる。したがって、今回の評価試験で行ったジェスチャをエアーコンディショナやカーナビゲーションシステム等の操作用ジェスチャへ割り当てることで、ジェスチャによって車内機器を操作させる運転支援を行うことが可能となる。 FIG. 7B is a graph showing the gesture recognition rate. In the figure, “Up” is a gesture related to the above specific action with the left hand protruding upward, “Front” is a gesture related to the above specific action with the left hand protruding forward, and “Slant” is a left side protruding upward in the front side. It is a gesture related to the specific operation. As shown in FIG. 7B, it can be seen that all gestures can be recognized correctly. Therefore, by assigning the gesture performed in this evaluation test to an operation gesture such as an air conditioner or a car navigation system, it is possible to perform driving support for operating the in-vehicle device by the gesture.
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用してもよい。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments. The present invention can be modified without departing from the scope described in the claims or applied to other embodiments. May be.
例えば上記実施形態では、検出部としてＲＧＢ−Ｄセンサ１０を用いたが、距離センサを含むその他のセンサを用いてもよい。要は、検出部の検出結果に基づいて、運転者１の複数の骨格部位２の相対的な位置関係を含む運転姿勢を認識できればよい。 For example, in the above embodiment, the RGB-
１…運転者、２…骨格部位、１０…ＲＧＢ−Ｄセンサ（検出部）、２１…認識部、２２…記憶部、２３…判定部、２４…学習部、１００…運転者状態判定装置。 DESCRIPTION OF
Claims (5)
Translated fromJapanese正常な運転状態における当該運転者の前記運転姿勢である複数の正常運転姿勢を記憶する記憶部と、
前記記憶部に記憶した複数の前記正常運転姿勢に対して、前記認識部で認識した前記運転姿勢のマッチングを行い、当該運転姿勢が複数の前記正常運転姿勢の何れにも対応しない場合に、前記運転者の状態が異常と判定する判定部と、を備える運転者状態判定装置。A recognition unit for recognizing a driving posture including a relative positional relationship of a plurality of skeleton parts in a driver of the vehicle based on a detection result by at least a detection unit including a distance sensor;
A storage unit that stores a plurality of normal driving postures that are the driving postures of the driver in a normal driving state;
Matching the driving posture recognized by the recognition unit to the plurality of normal driving postures stored in the storage unit, and when the driving posture does not correspond to any of the plurality of normal driving postures, A driver state determination device comprising: a determination unit that determines that the driver's state is abnormal.
前記記憶部に記憶した複数の前記正常運転姿勢のそれぞれについて、前記認識部で認識した前記運転姿勢と類似する類似度を算出し、
複数の前記正常運転姿勢における前記類似度の最大値が、予め設定された閾値以下の場合に、前記運転者の状態が異常と判定する、請求項１〜３の何れか一項に記載の運転者状態判定装置。The determination unit
For each of the plurality of normal driving postures stored in the storage unit, calculate a similarity similar to the driving posture recognized by the recognition unit,
The driving according to any one of claims 1 to 3, wherein the state of the driver is determined to be abnormal when a maximum value of the similarity in a plurality of the normal driving postures is equal to or less than a preset threshold value. Person state determination device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015079460AJP6507015B2 (en) | 2015-04-08 | 2015-04-08 | Driver status determination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015079460AJP6507015B2 (en) | 2015-04-08 | 2015-04-08 | Driver status determination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016200910Atrue JP2016200910A (en) | 2016-12-01 |
| JP6507015B2 JP6507015B2 (en) | 2019-04-24 |
Family
ID=57424220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015079460AActiveJP6507015B2 (en) | 2015-04-08 | 2015-04-08 | Driver status determination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6507015B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018097804A (en)* | 2016-12-16 | 2018-06-21 | パナソニックＩｐマネジメント株式会社 | Information processing system, information processing method, and program |
| CN109543651A (en)* | 2018-12-06 | 2019-03-29 | 长安大学 | A kind of driver's dangerous driving behavior detection method |
| JP2019061329A (en)* | 2017-09-25 | 2019-04-18 | 矢崎総業株式会社 | Monitoring system |
| CN109919134A (en)* | 2019-03-25 | 2019-06-21 | 王奕然 | Vision-based method for detecting abnormal behaviors of operating vehicle personnel |
| JP2020184138A (en)* | 2019-05-07 | 2020-11-12 | マツダ株式会社 | Driver abnormal posture detection device |
| CN111931640A (en)* | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | Abnormal sitting posture identification method and device, electronic equipment and storage medium |
| JP2021149441A (en)* | 2020-03-18 | 2021-09-27 | 株式会社東海理化電機製作所 | Image processing apparatus, computer program, and abnormality estimation system |
| JP2021149442A (en)* | 2020-03-18 | 2021-09-27 | 株式会社東海理化電機製作所 | Image processing apparatus, computer program, and abnormality estimation system |
| KR102411765B1 (en)* | 2021-12-01 | 2022-06-22 | 안수현 | Correct posture estimation system and method using neural network |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010204847A (en)* | 2009-03-02 | 2010-09-16 | Toyota Motor Corp | Driver condition detection device and collision early detection device using same |
| JP2013037454A (en)* | 2011-08-05 | 2013-02-21 | Ikutoku Gakuen | Posture determination method, program, device, and system |
| JP2013054717A (en)* | 2011-09-02 | 2013-03-21 | Hyundai Motor Co Ltd | Driver's condition monitoring device using infrared sensor and method thereof |
- 2015
- 2015-04-08JPJP2015079460Apatent/JP6507015B2/enactiveActive
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010204847A (en)* | 2009-03-02 | 2010-09-16 | Toyota Motor Corp | Driver condition detection device and collision early detection device using same |
| JP2013037454A (en)* | 2011-08-05 | 2013-02-21 | Ikutoku Gakuen | Posture determination method, program, device, and system |
| JP2013054717A (en)* | 2011-09-02 | 2013-03-21 | Hyundai Motor Co Ltd | Driver's condition monitoring device using infrared sensor and method thereof |
Non-Patent Citations (1)
| Title |
|---|
| 黒田 修平、外４名: ""相対座標を用いた運動指導システム"", マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１３）シンポジウム論文集 情報処理学会シンポジ, vol. 2013, no. 2, JPN6019007124, 3 July 2013 (2013-07-03), JP, pages 1475 - 1482, ISSN: 0003988175* |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018097804A (en)* | 2016-12-16 | 2018-06-21 | パナソニックＩｐマネジメント株式会社 | Information processing system, information processing method, and program |
| JP2019061329A (en)* | 2017-09-25 | 2019-04-18 | 矢崎総業株式会社 | Monitoring system |
| CN109543651B (en)* | 2018-12-06 | 2022-11-22 | 长安大学 | A method for detecting driver's dangerous driving behavior |
| CN109543651A (en)* | 2018-12-06 | 2019-03-29 | 长安大学 | A kind of driver's dangerous driving behavior detection method |
| CN109919134A (en)* | 2019-03-25 | 2019-06-21 | 王奕然 | Vision-based method for detecting abnormal behaviors of operating vehicle personnel |
| CN109919134B (en)* | 2019-03-25 | 2023-04-18 | 王奕然 | Vision-based method for detecting abnormal behaviors of operating vehicle personnel |
| JP2020184138A (en)* | 2019-05-07 | 2020-11-12 | マツダ株式会社 | Driver abnormal posture detection device |
| JP7320188B2 (en) | 2019-05-07 | 2023-08-03 | マツダ株式会社 | Driver Abnormal Posture Detector |
| JP2021149441A (en)* | 2020-03-18 | 2021-09-27 | 株式会社東海理化電機製作所 | Image processing apparatus, computer program, and abnormality estimation system |
| JP2021149442A (en)* | 2020-03-18 | 2021-09-27 | 株式会社東海理化電機製作所 | Image processing apparatus, computer program, and abnormality estimation system |
| JP7314085B2 (en) | 2020-03-18 | 2023-07-25 | 株式会社東海理化電機製作所 | Image processing device, computer program, and anomaly estimation system |
| JP7458216B2 (en) | 2020-03-18 | 2024-03-29 | 株式会社東海理化電機製作所 | Image processing device, computer program, and abnormality estimation system |
| CN111931640B (en)* | 2020-08-07 | 2022-06-10 | 上海商汤临港智能科技有限公司 | Abnormal sitting posture identification method and device, electronic equipment and storage medium |
| CN111931640A (en)* | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | Abnormal sitting posture identification method and device, electronic equipment and storage medium |
| KR102411765B1 (en)* | 2021-12-01 | 2022-06-22 | 안수현 | Correct posture estimation system and method using neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6507015B2 (en) | 2019-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6507015B2 (en) | Driver status determination device | |
| KR102865185B1 (en) | Controlling an autonomous vehicle based on passenger behavior | |
| JP4985142B2 (en) | Image recognition apparatus and image recognition processing method of image recognition apparatus | |
| JP2021510225A (en) | Behavior recognition method using video tube | |
| US11995536B2 (en) | Learning device, estimating device, estimating system, learning method, estimating method, and storage medium to estimate a state of vehicle-occupant with respect to vehicle equipment | |
| JP2019040465A (en) | Action recognition device, learning device, method and program | |
| CN101356078A (en) | safe driving aids | |
| US12288418B2 (en) | Activity identification method and apparatus | |
| JP2009040107A (en) | Image display control device and image display control system | |
| US11427206B2 (en) | Vehicle operation assistance device, vehicle operation assistance method, and program | |
| CN111976744A (en) | Control method and device based on taxi taking and automatic driving automobile | |
| KR20180067830A (en) | System for controlling autonomous vehicle and method thereof | |
| JP6770488B2 (en) | Gaze object estimator, gaze object estimation method, and program | |
| CN115578720A (en) | Human body action recognition method and device, storage medium and vehicle | |
| Zhao et al. | In vehicle diver postural monitoring using a depth camera kinect | |
| KR20150033183A (en) | Vehicle operation device | |
| JP6365423B2 (en) | Driver state determination method and determination device therefor | |
| JP2007122362A (en) | State estimation method using neural network and state estimation device using neural network | |
| CN115670464B (en) | Method and device for detecting motion threshold states of vehicle occupants | |
| KR101976498B1 (en) | System and method for gesture recognition of vehicle | |
| JP2006143159A (en) | Vehicular motion recognition device | |
| JP2018131110A (en) | Estimation apparatus, estimation method, and estimation program | |
| JP6631954B2 (en) | Driver status judgment device | |
| US10945651B2 (en) | Arousal level determination device | |
| WO2019123570A1 (en) | Parking position determination device and parking position determination program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20180301 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20190221 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20190305 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20190401 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6507015 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |