


本発明は、緊急車両を認識した場合には、自車両を待避させるように待避制御を行う緊急車両待避制御装置及び緊急車両待避制御方法に関する。 The present invention relates to an emergency vehicle evacuation control device and an emergency vehicle evacuation control method that perform evacuation control so that the own vehicle is evacuated when an emergency vehicle is recognized.
下記特許文献1には、音の反射物体の存在を考慮して緊急車両が位置する方向を認識する緊急車両報知システムが開示されている。 Patent Document 1 listed below discloses an emergency vehicle notification system that recognizes the direction in which an emergency vehicle is located by considering the presence of a sound reflecting object.
しかしながら、より高精度に緊急車両の位置を認識できる技術について十分な検討がなされていなかった。 However, sufficient consideration has not been given to technology that can recognize the location of emergency vehicles with higher accuracy.
本発明の目的は、より高精度に緊急車両の位置を認識できる緊急車両待避制御装置及び緊急車両待避制御方法を提供することにある。 An object of the present invention is to provide an emergency vehicle evacuation control device and an emergency vehicle evacuation control method that can recognize the position of an emergency vehicle with higher accuracy.
本発明の第1の態様の緊急車両待避制御装置は、第1の方法で取得された情報、及び、第2の方法で取得された情報に基づき緊急車両を認識する緊急車両認識部と、自車両周辺の他車両を認識する他車両認識部と、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御部と、を有する、緊急車両待避制御装置であって、前記緊急車両認識部は、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、前記緊急車両を認識する。 An emergency vehicle evacuation control device according to a first aspect of the present invention includes an emergency vehicle recognition unit that recognizes an emergency vehicle based on the information acquired by the first method and the information acquired by the second method; An emergency vehicle evacuation control device, comprising: an other vehicle recognition unit that recognizes other vehicles around the vehicle; and an evacuation control unit that performs evacuation control so that the own vehicle is evacuated when the emergency vehicle is recognized. According to the number of other vehicles located within a range of less than a predetermined distance from the host vehicle, the emergency vehicle recognition unit uses the information acquired by the first method and the information acquired by the second method. The emergency vehicle is recognized using one of the acquired information.
本発明の第2の態様の緊急車両待避制御装方法は、自車両周辺の他車両を認識する他車両認識ステップと、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、緊急車両を認識する緊急車両認識ステップと、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御ステップと、を有する。 An emergency vehicle evacuation control method according to a second aspect of the present invention includes a step of recognizing other vehicles in the vicinity of the host vehicle, and a number of the other vehicles located within a range of less than a predetermined distance from the host vehicle. an emergency vehicle recognition step of recognizing an emergency vehicle using one of the information acquired by the first method and the information acquired by the second method; and when the emergency vehicle is recognized. The method further includes a shunting control step of performing shunting control so as to shunt the own vehicle.
本発明によれば、より高精度に緊急車両の位置を認識できる緊急車両待避制御装置及び緊急車両待避制御方法を提供することができる。 According to the present invention, it is possible to provide an emergency vehicle evacuation control device and an emergency vehicle evacuation control method that can recognize the position of an emergency vehicle with higher accuracy.
  〔第1実施形態〕
  図1は、本実施形態の車両10を示す模式図である。本実施形態の車両10は、エンジン自動車、ハイブリッド自動車、電気自動車等であり特に限定されない。車両10は、自動運転自動車であって、所定の条件が成立する場合には、乗員の運転操作なしに自動的に運転が行われる。車両10は、本発明の自車両に相当する。[First embodiment]
 FIG. 1 is a schematic diagram showing a
  車両10は、車両10の外の音を集音するマイク12a~12dを有している。マイク12aは、主に車両10に対して左前方からの音を集音する。マイク12bは、主に車両10に対して右前方からの音を集音する。マイク12cは、主に車両10に対して左後方からの音を集音する。マイク12dは、主に車両10に対して右後方からの音を集音する。  The
  車両10は、車両10の外を撮影するカメラ14a~14dを有している。カメラ14aは、主に車両10の前方を撮影する。カメラ14bは、主に車両10の左側方を撮影する。カメラ14cは、主に車両10の後方を撮影する。カメラ14dは、主に車両10の右側方を撮影する。車両10は、カメラ14a~14dに加えて、車両10と物体との距離に応じた情報を取得するレーダ、LiDAR、超音波センサ、赤外線センサ等を有していてもよい。  The
  図2は、本実施形態の車両10のブロック図である。車両10は、前述のマイク12a~12d、カメラ14a~14dの他に、通信モジュール16、全球測位衛星システム(以下、GNSS)モジュール18、地図データベース20、駆動制御装置22、制動制御装置24、操舵制御装置26、ディスプレイ28、スピーカ30及び車両制御装置32を有している。  FIG. 2 is a block diagram of the
  通信モジュール16は、無線通信を行うモジュールであって、他車両と直接通信を行う車車間通信、又は、地上に設置されたサーバや基地局との通信に用いられる。GNSSモジュール18は、車両10の位置情報を取得する。地図データベース20は、地図情報を記憶している。  The
  駆動制御装置22は、車両10の図示しないエンジン、駆動モータ等の駆動装置により発生させる駆動力を制御する。制動制御装置24は、車両10の図示しない液圧ブレーキ、回生ブレーキ等の制動装置による制動力を制御する。操舵制御装置26は、車両10の図示しない操舵輪の操舵量を制御する。  The
  ディスプレイ28は、車両10の乗員に映像等により情報を提供する。スピーカ30は、車両10の乗員に音声等により情報を提供する。  The
  車両制御装置32は、演算処理装置34及びストレージ36を有している。車両制御装置32は、本発明の緊急車両待避制御装置に相当する。演算処理装置34は、図示しないCPU等のプロセッサ、RAM、ROM等の記録媒体を有している。ストレージ36は、非一時的な有形のコンピュータ可読記録媒体である。  The
  演算処理装置34は、緊急車両認識部38、他車両認識部40、走行制御部42及び待避制御部44を有している。  The
  緊急車両認識部38は、カメラ14a~14dにより取得された画像情報、又は、マイク12a~12dにより取得された音情報に基づき緊急車両を認識する。緊急車両認識部38は、カメラ14a~14dにより取得された画像情報から緊急車両の画像が取得された場合に緊急車両の存在を認識する。また、緊急車両認識部38は、マイク12a~12dにより取得された音情報から緊急車両のサイレンが取得された場合に緊急車両の存在を認識する。  The emergency
  他車両認識部40は、車両10の周囲の他車両と通信モジュール16を介して車車間通信を行い、車両10の周囲の他車両の存在を認識する。他車両認識部40は、地上のサーバと通信モジュール16を介して通信を行い渋滞情報を取得し、渋滞情報に基づいて車両10の周囲の他車両の存在を認識するようにしてもよい。  The other
  走行制御部42は、駆動制御装置22、制動制御装置24及び操舵制御装置26を介して、車両10を設定された目的地に向かって走行させるように自動運転を行う走行制御を実施する。  The
  待避制御部44は、緊急車両認識部38により緊急車両の存在が認識された場合には、走行制御を中断し、待避制御を実施する。待避制御では、駆動制御装置22、制動制御装置24及び操舵制御装置26を介して、車両10が待避動作を取るように自動運転が行われる。待避動作とは、例えば、車両10を道路の端に移動させるとともに停止させる動作である。また、待避動作とは、例えば、交差点において車両10の走行車線の信号が青信号(交差点内への進入を許可する信号)であっても、車両10を交差点の手前で停止させる動作である。  When the presence of an emergency vehicle is recognized by the emergency
  緊急車両認識部38、他車両認識部40、走行制御部42及び待避制御部44は、ストレージ36に記憶されているプログラムがプロセッサにおいて実行されることにより実現される。  The emergency
[待避制御処理]
  図3は、演算処理装置34において実行される待避制御処理の流れを示すフローチャートである。[Evacuation control processing]
 FIG. 3 is a flowchart showing the flow of the evacuation control process executed in the
  ステップS1において、緊急車両認識部38は、他車両認識部40が認識した他車両の情報に基づき、車両10に対して所定距離未満の範囲に位置する他車両の台数を取得して、ステップS2へ移行する。他車両認識部40が、渋滞情報に基づき車両10の周囲の他車両の存在を認識する場合には、緊急車両認識部38は、車両10が走行中の道路の車線数等に基づいて、車両10に対して所定距離未満の範囲に位置する他車両の台数を推定するようにしてもよい。  In step S1, the emergency
  ステップS2において、緊急車両認識部38は、車両10に対して所定距離未満の範囲に位置する他車両の台数が所定台数未満であるか否かを判定する。他車両の台数が所定台数未満である場合にはステップS3へ移行し、他車両の台数が所定台数以上である場合にはステップS4へ移行する。  In step S2, the emergency
  ステップS3において、緊急車両認識部38は、カメラ14a~14dから画像情報を取得して、ステップS5へ移行する。  In step S3, the emergency
  ステップS4において、緊急車両認識部38は、マイク12a~12dから音情報を取得して、ステップS5へ移行する。  In step S4, the emergency
  ステップS5において、緊急車両認識部38は、取得した画像情報又は音情報に基づき緊急車両の存在を認識したか否かを判定する。緊急車両の存在を認識した場合にはステップS6へ移行し、緊急車両の存在を認識しない場合には待避制御処理を終了する。  In step S5, the emergency
  ステップS6において、緊急車両認識部38は、音情報に基づいて緊急車両の存在を認識したか否かを判定する。音情報に基づいて緊急車両の存在を認識した場合にはステップS7へ移行し、画像情報に基づいて緊急車両の存在を認識した場合にはステップS9へ移行する。  In step S6, the emergency
  ステップS7において、緊急車両認識部38は、車両10に対して緊急車両が位置する方向を取得して、ステップS8へ移行する。緊急車両が位置する方向は、各マイク12a~12dにより集音された緊急車両のサイレンの音量に基づいて取得することができる。  In step S7, the emergency
  ステップS8において、緊急車両認識部38は、カメラ14a~14dのうち、車両10に対して緊急車両が位置する方向を撮影する1台の画像情報に基づく緊急車両の認識精度を高精度化して、ステップS9へ移行する。  In step S8, the emergency
  緊急車両の認識精度の高精度化は、例えば、カメラ14a~14dのうち、車両10に対して緊急車両が位置する方向を撮影する1台が撮影する画像に対して緊急車両の認識処理を行うようにすることで実現される。カメラ14a~14dのそれぞれが撮影した画像に対して緊急車両の認識処理が行われるのに比べて、カメラ14a~14dのうち1台が撮影した画像に対して緊急車両の認識処理が行われる方が、認識処理の回数を増やすことができるため、緊急車両の認識精度を高精度化することができる。  To improve the accuracy of emergency vehicle recognition, for example, emergency vehicle recognition processing is performed on an image taken by one of the
  また、緊急車両の認識精度の高精度化は、例えば、カメラ14a~14dが撮影した画像に対する緊急車両の認識処理を、高精度なものに変更することで実現してもよい。さらに、緊急車両の認識精度の高精度化は、例えば、カメラ14a~14dの設定を変更し、カメラ14a~14dが撮影する画像を、高画質なものに変更することで実現してもよい。またさらに、緊急車両の認識精度を高精度化は、例えば、カメラ14a~14dでズーム撮影することにより、カメラ14a~14dの撮影範囲内の画像を高画質なものに変更することで実現してもよい。また、カメラ14a~14dのそれぞれが、複数のカメラから成る場合、緊急車両の認識精度の高精度化は、例えば、高画質画像を撮影できるカメラが撮影した画像に対して緊急車両の認識処理を行うようにすることで実現される。  Furthermore, the accuracy of emergency vehicle recognition may be increased by, for example, changing the emergency vehicle recognition processing for images taken by the
  ステップS9において、走行制御部42は走行制御を中断し、待避制御部44は待避制御を行う。緊急車両が車両10から遠ざかり、緊急車両認識部38によって緊急車両が認識されなくなると、待避制御を終了し、走行制御に復帰する。  In step S9, the
  [作用効果]
  車両10の周囲に他車両が密集している場合には、緊急車両が車両10の近くに存在しても、カメラ14a~14dにより緊急車両の画像が取得できない。そのため、緊急車両認識部38は、カメラ14a~14dが撮影した画像情報に基づいて、緊急車両の存在を認識することができない。[Effect]
 When other vehicles are crowded around the
  そこで、本実施形態では、車両10に対して所定距離未満の範囲に位置する他車両の台数が所定台数以上であるときには、緊急車両認識部38は、マイク12a~12dにより集音された音情報に基づき緊急車両を認識する。また、車両10に対して所定距離以下の範囲に位置する他車両の台数が所定台数未満であるときには、緊急車両認識部38は、カメラ14a~14dにより撮影された画像情報に基づき緊急車両を認識する。これにより、車両10の周囲の他車両の台数に応じて、緊急車両を認識するために用いられる情報の取得方法を適切に選択することができる。そのため、緊急車両の認識精度を向上させることができる。  Therefore, in the present embodiment, when the number of other vehicles located within a range of less than a predetermined distance from the
  また、緊急車両認識部38がマイク12a~12dにより集音された音情報に基づき緊急車両を認識した場合には、車両10に対して緊急車両が位置する方向を撮影するカメラ14a~14dの画像情報に基づく緊急車両の認識精度を高精度化する。これにより、カメラ14a~14dの撮影範囲に緊急車両が入ったときに、画像情報に基づく緊急車両の認識を高速で行うことができる。  Further, when the emergency
  〔第2実施形態〕
  本実施形態の車両10の構成は、第1実施形態の車両10の構成と同じであるが、本実施形態の待避制御部44により行われる待避制御の内容が、第1実施形態の待避制御部44により行われる待避制御の内容と相違する。[Second embodiment]
 The configuration of the
  第1実施形態では、待避制御部44は、車両10に待避動作を取らせるように自動運転を行う待避制御を実施する。これに対して、本実施形態では、待避制御部44は、待避制御として、車両10の乗員に車両10の待避動作を促す報知を行う映像等を表示させるようにディスプレイ28を制御する。また、本実施形態では、待避制御部44は、待避制御として、車両10の乗員に車両10の待避動作を促す報知を行う音声等を出力するようにスピーカ30を制御する。  In the first embodiment, the
  報知が行われた後に、走行制御部42による走行制御を終了し、車両10の乗員による手動運転に切り替えられるようにしてもよい。また、本実施形態の待避制御部44は、自動運転機能を有しない車両10にも適用することができる。  After the notification is given, the travel control by the
  〔実施形態から得られる技術的思想〕
  上記実施形態から把握しうる技術的思想について、以下に記載する。[Technical idea obtained from the embodiment]
 The technical idea that can be understood from the above embodiment will be described below.
第1の方法で取得された情報、及び、第2の方法で取得された情報に基づき緊急車両を認識する緊急車両認識部(38)と、自車両(10)周辺の他車両を認識する他車両認識部(40)と、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御部(44)と、を有する、緊急車両待避制御装置(32)であって、前記緊急車両認識部は、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、前記緊急車両を認識する。 An emergency vehicle recognition unit (38) that recognizes an emergency vehicle based on the information acquired by the first method and the information acquired by the second method, and an emergency vehicle recognition unit (38) that recognizes other vehicles around the own vehicle (10). An emergency vehicle evacuation control device (32) comprising a vehicle recognition section (40) and an evacuation control section (44) that performs evacuation control to evacuation of the host vehicle when the emergency vehicle is recognized. According to the number of other vehicles located within a range of less than a predetermined distance from the host vehicle, the emergency vehicle recognition unit uses the information acquired by the first method and the information acquired by the second method. The emergency vehicle is recognized using one of the acquired information.
上記の緊急車両待避制御装置であって、前記第1の方法は、前記自車両の外部を撮影するカメラ(14a~14d)により画像情報を取得する方法であり、前記第2の方法は、前記自車両の外部の音を集音するマイク(12a~12d)により音情報を取得する方法であり、前記自車両に対して所定距離以下の範囲に位置する前記他車両の台数が所定台数未満であるときには、前記緊急車両認識部は、前記第1の方法で取得された画像情報に基づき前記緊急車両を認識してもよい。 In the emergency vehicle evacuation control device described above, the first method is a method of acquiring image information using a camera (14a to 14d) that photographs the outside of the own vehicle, and the second method is a method of acquiring image information using a camera (14a to 14d) that photographs the outside of the host vehicle. This is a method of acquiring sound information using microphones (12a to 12d) that collect sounds outside the own vehicle, and when the number of other vehicles located within a predetermined distance or less from the own vehicle is less than a predetermined number. In some cases, the emergency vehicle recognition unit may recognize the emergency vehicle based on the image information acquired by the first method.
上記の緊急車両待避制御装置であって、前記第1の方法は、前記自車両の外部を撮影するカメラにより画像情報を取得する方法であり、前記第2の方法は、前記自車両の外部の音を集音するマイクにより音情報を取得する方法であり、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数が所定台数以上であるときには、前記緊急車両認識部は、前記第2の方法で取得された音情報に基づき前記緊急車両を認識してもよい。 In the emergency vehicle evacuation control device described above, the first method is a method of acquiring image information using a camera that photographs the outside of the own vehicle, and the second method is a method of acquiring image information using a camera that photographs the outside of the own vehicle. This is a method of acquiring sound information using a microphone that collects sound, and when the number of other vehicles located within a range of less than a predetermined distance from the own vehicle is a predetermined number or more, the emergency vehicle recognition unit: The emergency vehicle may be recognized based on the sound information acquired by the second method.
上記の緊急車両待避制御装置であって、前記緊急車両認識部は、前記第2の方法により取得された情報に基づき、前記自車両に対して前記緊急車両が位置する方向を推定し、推定された前記緊急車両が位置する方向を撮影した画像情報を使用し前記緊急車両の認識精度を高精度に認識できるように設定してもよい。 In the above-mentioned emergency vehicle evacuation control device, the emergency vehicle recognition unit estimates the direction in which the emergency vehicle is located with respect to the own vehicle based on the information acquired by the second method. The recognition accuracy of the emergency vehicle may be set so that the emergency vehicle can be recognized with high accuracy using image information taken in the direction in which the emergency vehicle is located.
緊急車両待避制御方法は、自車両周辺の他車両を認識する他車両認識ステップと、前記自車両に対して所定距離未満の範囲に位置する前記他車両の台数に応じて、第1の方法で取得された情報、及び、第2の方法で取得された情報のうち一方を用いて、緊急車両を認識する緊急車両認識ステップと、前記緊急車両を認識した場合には、前記自車両を待避させるように待避制御を行う待避制御ステップと、を有する。 The emergency vehicle evacuation control method includes a step of recognizing other vehicles in the vicinity of the own vehicle, and a first method according to the number of other vehicles located within a range less than a predetermined distance from the own vehicle. an emergency vehicle recognition step of recognizing an emergency vehicle using one of the acquired information and the information acquired by the second method; and when the emergency vehicle is recognized, causing the own vehicle to evacuate. and a shunting control step for performing shunting control.
10…車両(自車両)                  12a~12d…マイク
14a~14d…カメラ                32…車両制御装置(緊急車両待避制御装置)
38…緊急車両認識部                  40…他車両認識部
44…待避制御部10...Vehicle (own vehicle) 12a-12d...
 38...Emergency
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP2020021161AJP7408430B2 (en) | 2020-02-12 | 2020-02-12 | Emergency vehicle evacuation control device and emergency vehicle evacuation control method | 
| Application Number | Priority Date | Filing Date | Title | 
|---|---|---|---|
| JP2020021161AJP7408430B2 (en) | 2020-02-12 | 2020-02-12 | Emergency vehicle evacuation control device and emergency vehicle evacuation control method | 
| Publication Number | Publication Date | 
|---|---|
| JP2021128399A JP2021128399A (en) | 2021-09-02 | 
| JP7408430B2true JP7408430B2 (en) | 2024-01-05 | 
| Application Number | Title | Priority Date | Filing Date | 
|---|---|---|---|
| JP2020021161AActiveJP7408430B2 (en) | 2020-02-12 | 2020-02-12 | Emergency vehicle evacuation control device and emergency vehicle evacuation control method | 
| Country | Link | 
|---|---|
| JP (1) | JP7408430B2 (en) | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| WO2023170910A1 (en)* | 2022-03-11 | 2023-09-14 | 日立Astemo株式会社 | External environment recognition device and external environment recognition method | 
| WO2024172118A1 (en)* | 2023-02-17 | 2024-08-22 | 株式会社デンソー | Vehicle control device, vehicle control program, and vehicle control method | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| JP2015022453A (en) | 2013-07-18 | 2015-02-02 | カルソニックカンセイ株式会社 | Emergency vehicle alarm system | 
| JP2019156144A (en) | 2018-03-13 | 2019-09-19 | 本田技研工業株式会社 | Vehicle controller, vehicle control method and program | 
| Publication number | Priority date | Publication date | Assignee | Title | 
|---|---|---|---|---|
| JP2015022453A (en) | 2013-07-18 | 2015-02-02 | カルソニックカンセイ株式会社 | Emergency vehicle alarm system | 
| JP2019156144A (en) | 2018-03-13 | 2019-09-19 | 本田技研工業株式会社 | Vehicle controller, vehicle control method and program | 
| Publication number | Publication date | 
|---|---|
| JP2021128399A (en) | 2021-09-02 | 
| Publication | Publication Date | Title | 
|---|---|---|
| CN111273765B (en) | Vehicle display control device, vehicle display control method, and storage medium | |
| US10704957B2 (en) | Imaging device and imaging method | |
| JP2017220051A (en) | Image processing apparatus, image processing method, and vehicle | |
| JP2009120111A (en) | Vehicle control apparatus | |
| JP7708572B2 (en) | MOBILE BODY CONTROL DEVICE, CONTROL METHOD, AND PROGRAM | |
| JP7408430B2 (en) | Emergency vehicle evacuation control device and emergency vehicle evacuation control method | |
| JP6816768B2 (en) | Image processing equipment and image processing method | |
| WO2020195965A1 (en) | Information processing device, information processing method, and program | |
| JP7554699B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, VEHICLE CONTROL APPARATUS, AND PROGRAM | |
| JPWO2018016151A1 (en) | Image processing apparatus and image processing method | |
| WO2019142660A1 (en) | Picture processing device, picture processing method, and program | |
| WO2024024148A1 (en) | On-vehicle monitoring device, information processing device, and on-vehicle monitoring system | |
| WO2020036044A1 (en) | Image processing device, image processing method, and program | |
| JP7055827B2 (en) | Emergency vehicle evacuation control device and emergency vehicle evacuation control method | |
| TWI794207B (en) | Camera device, camera module, camera system, and method for controlling camera device | |
| WO2019215979A1 (en) | Image processing device, vehicle-mounted device, image processing method, and program | |
| WO2020085101A1 (en) | Image processing device, image processing method, and program | |
| KR102094405B1 (en) | Method and apparatus for determining an accident using an image | |
| JP7351761B2 (en) | Emergency vehicle estimation device and emergency vehicle estimation method | |
| US20210245741A1 (en) | Emergency vehicle avoidance control apparatus and emergency vehicle avoidance control method | |
| JP2022123419A (en) | Information recording device, information recording method, and program | |
| CN114616519B (en) | Image forming apparatus | |
| WO2022196316A1 (en) | Information processing device, information processing method, and program | |
| JP7408429B2 (en) | Emergency vehicle evacuation control device and emergency vehicle evacuation control method | |
| DE112020001588T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM | 
| Date | Code | Title | Description | 
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20221128 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20230822 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20230824 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20231023 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20231205 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20231220 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7408430 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |