本発明は、走行中に得られた外界状況を示すデータに基づき地図を生成する地図生成装置に関する。The present invention relates to a map generation device that generates a map based on data indicating the external environment obtained while driving.
この種の装置として、従来、車両に搭載されたカメラにより撮像された画像を利用して道路の区画線を認識するとともに車線変更を検出し、これにより自車両が走行していない車線を推定し、地図データを更新するようにした装置が知られている（例えば上記特許文献１参照）。特許文献１記載の装置では、カメラ画像内における道路区画線の位置する領域が左右方向に徐々に移動すると、車線変更を検出する。One known example of this type of device uses images captured by a vehicle-mounted camera to recognize road dividing lines and detect lane changes, thereby estimating lanes the vehicle is not traveling in and updating map data (see, for example, Patent Document 1 above). The device described in Patent Document 1 detects a lane change when the area in the camera image where the road dividing lines are located gradually moves left or right.
しかしながら、上記特許文献１記載の装置では、車線変更の検出のために道路区画線が連続的に検出される必要がある。このため、区画線が途中で途切れているような場合には車線変更を検出することができず、区画線の位置情報を含む地図を精度よく生成することが難しい。However, the device described in Patent Document 1 requires continuous detection of road dividing lines in order to detect lane changes. As a result, lane changes cannot be detected if the dividing lines are interrupted, making it difficult to accurately generate a map that includes position information for dividing lines.
本発明の一態様である地図生成装置は、自車両の周囲の外界状況を検出する外界検出部と、外界検出部により検出された外界状況の情報に基づいて、自車両の走行車線を規定する区画線の位置情報を含む地図を生成する地図生成部と、第１時点で外界検出部により検出された外界状況の情報に基づいて、第１時点よりも後の第２時点に外界検出部により検出されると予測される区画線の位置を推定する区画線推定部と、区画線推定部により推定された区画線の位置と、第２時点に外界検出部により検出された区画線の位置との差異に基づいて、自車両の車線変更の有無を判定する判定部と、を備える。地図生成部は、判定部による判定結果に基づいて地図を生成する。One aspect of the present invention is a map generation device that includes an external environment detection unit that detects the external environment surrounding the vehicle; a map generation unit that generates a map including position information of marking lines that define the vehicle's traveling lane based on information about the external environment detected by the external environment detection unit; a marking line estimation unit that estimates the positions of marking lines that are predicted to be detected by the external environment detection unit at a second time point that is later than the first time point based on information about the external environment detected by the external environment detection unit at a first time point; and a determination unit that determines whether the vehicle will change lanes based on the difference between the positions of the marking lines estimated by the marking line estimation unit and the positions of the marking lines detected by the external environment detection unit at the second time point. The map generation unit generates a map based on the determination result by the determination unit.
本発明によれば、区画線が途中で途切れているような場合であっても、区画線の位置情報を含む地図を精度よく生成することができる。According to the present invention, it is possible to accurately generate a map that includes location information for lane markings, even in cases where lane markings are interrupted midway.
以下、図１～図６を参照して本発明の実施形態について説明する。本発明の実施形態に係る地図生成装置は、例えば自動運転機能を有する車両（自動運転車両）が走行するときに用いられる地図（後述する環境地図）を生成するように構成される。なお、本実施形態に係る地図生成装置が設けられる車両を、他車両と区別して自車両と呼ぶことがある。Embodiments of the present invention will be described below with reference to Figures 1 to 6. A map generation device according to an embodiment of the present invention is configured to generate a map (an environmental map, described below) used when a vehicle with an autonomous driving function (an autonomous driving vehicle) is traveling, for example. Note that a vehicle equipped with a map generation device according to this embodiment may be referred to as the "own vehicle" to distinguish it from other vehicles.
地図生成装置による地図の生成は、ドライバが自車両を手動で運転するときに実行される。したがって、地図生成装置は、自動運転機能を有しない車両（手動運転車両）に設けることができる。なお、地図生成装置は、手動運転車両だけでなく、ドライバによる運転操作が不要な自動運転モードからドライバの運転操作が必要な手動運転モードへの切換が可能な自動運転車両に設けることもできる。以下では、自動運転車両に地図生成装置が設けられるものとして地図生成装置に関する説明を行う。Map generation by the map generation device is performed when the driver manually drives the vehicle. Therefore, the map generation device can be installed in vehicles that do not have autonomous driving functions (manually driven vehicles). Note that the map generation device can also be installed in not only manually driven vehicles, but also autonomous vehicles that can switch from an autonomous driving mode that does not require driver operation to a manual driving mode that does require driver operation. The following explanation of the map generation device will be given assuming that it is installed in an autonomous vehicle.
まず、自動運転車両の構成について説明する。自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。図１は、本発明の実施形態に係る地図生成装置を有する車両制御システム１００の全体構成を概略的に示すブロック図である。First, the configuration of an autonomous vehicle will be described. The vehicle may be an engine vehicle that uses an internal combustion engine (engine) as its driving source, an electric vehicle that uses a traction motor as its driving source, or a hybrid vehicle that uses an engine and a traction motor as its driving sources. Figure 1 is a block diagram that shows the overall configuration of a vehicle control system 100 that includes a map generation device according to an embodiment of the present invention.
図１に示すように、車両制御システム１００は、コントローラ１０と、ＣＡＮ通信線等を介してコントローラ１０にそれぞれ通信可能に接続された外部センサ群１と、内部センサ群２と、入出力装置３と、測位ユニット４と、地図データベース５と、ナビゲーション装置６と、通信ユニット７と、走行用のアクチュエータＡＣとを主に有する。As shown in FIG. 1, the vehicle control system 100 mainly comprises a controller 10, a group of external sensors 1 communicatively connected to the controller 10 via a CAN communication line or the like, a group of internal sensors 2, an input/output device 3, a positioning unit 4, a map database 5, a navigation device 6, a communication unit 7, and a driving actuator AC.
外部センサ群１は、自車両の周辺情報である外部状況を検出する複数のセンサ（外部センサ）の総称である。例えば外部センサ群１には、レーザ光を照射して反射光を検出することで自車両の周辺の物体の位置（自車両からの距離や方向）を検出するライダ、電磁波を照射し反射波を検出することで自車両の周辺の物体の位置を検出するレーダ、ＣＣＤやＣＭＯＳ等の撮像素子を有し、自車両の周辺（前方、後方および側方）を撮像するカメラなどが含まれる。The external sensor group 1 is a collective term for multiple sensors (external sensors) that detect the external conditions, which are information about the surroundings of the vehicle. For example, the external sensor group 1 includes a lidar that detects the position (distance and direction from the vehicle) of objects around the vehicle by emitting laser light and detecting reflected light, a radar that detects the position of objects around the vehicle by emitting electromagnetic waves and detecting reflected waves, and a camera that has an imaging element such as a CCD or CMOS and captures images of the surroundings (front, rear, and sides) of the vehicle.
内部センサ群２は、自車両の走行状態を検出する複数のセンサ（内部センサ）の総称である。例えば内部センサ群２には、自車両の車速を検出する車速センサ、自車両の前後方向および左右方向の加速度を検出する加速度センサ、走行駆動源の回転数を検出する回転数センサなどが含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群２に含まれる。Internal sensor group 2 is a collective term for multiple sensors (internal sensors) that detect the driving state of the vehicle. For example, internal sensor group 2 includes a vehicle speed sensor that detects the vehicle speed, an acceleration sensor that detects the acceleration in the forward/backward and left/right directions of the vehicle, and a rotation speed sensor that detects the rotation speed of the driving source. Internal sensor group 2 also includes sensors that detect the driver's driving operations in manual driving mode, such as operation of the accelerator pedal, brake pedal, and steering wheel.
入出力装置３は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置３には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカなどが含まれる。The input/output device 3 is a general term for devices that receive commands from the driver and output information to the driver. For example, the input/output device 3 includes various switches through which the driver inputs commands by operating operating members, a microphone through which the driver inputs commands by voice, a display that provides information to the driver via displayed images, and a speaker that provides information to the driver by voice.
測位ユニット（ＧＮＳＳユニット）４は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位センサを内部センサ群２に含めることもできる。測位衛星は、ＧＰＳ衛星や準天頂衛星などの人工衛星である。測位ユニット４は、測位センサが受信した測位情報を利用して、自車両の現在位置（緯度、経度、高度）を測定する。The positioning unit (GNSS unit) 4 has a positioning sensor that receives positioning signals transmitted from positioning satellites. The positioning sensor can also be included in the internal sensor group 2. Positioning satellites are artificial satellites such as GPS satellites and quasi-zenith satellites. The positioning unit 4 uses the positioning information received by the positioning sensor to measure the current position (latitude, longitude, altitude) of the vehicle.
地図データベース５は、ナビゲーション装置６に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状（曲率など）の情報、交差点や分岐点の位置情報が含まれる。なお、地図データベース５に記憶される地図情報は、コントローラ１０の記憶部１２に記憶される高精度な地図情報とは異なる。The map database 5 is a device that stores general map information used by the navigation device 6, and is composed of, for example, a hard disk or semiconductor elements. The map information includes road location information, road shape information (curvature, etc.), and location information for intersections and branching points. Note that the map information stored in the map database 5 is different from the high-precision map information stored in the memory unit 12 of the controller 10.
ナビゲーション装置６は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う装置である。目的地の入力および目標経路に沿った案内は、入出力装置３を介して行われる。目標経路は、測位ユニット４により測定された自車両の現在位置と、地図データベース５に記憶された地図情報とに基づいて演算される。外部センサ群１の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部１２に記憶された高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。The navigation device 6 searches for a target route on roads to a destination input by the driver and provides guidance along the target route. Destination input and guidance along the target route are performed via the input/output device 3. The target route is calculated based on the current position of the vehicle measured by the positioning unit 4 and map information stored in the map database 5. The current position of the vehicle can also be measured using detection values from the external sensor group 1, and the target route can be calculated based on this current position and high-precision map information stored in the memory unit 12.
通信ユニット７は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報などを定期的に、あるいは任意のタイミングでサーバから取得する。ネットワークには、公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。取得した地図情報は、地図データベース５や記憶部１２に出力され、地図情報が更新される。通信ユニット７を介して他車両と通信することもできる。The communication unit 7 communicates with various servers (not shown) via networks, including wireless communication networks such as the Internet and mobile phone networks, and acquires map information, driving history information, traffic information, and other information from the servers periodically or at any time. Networks include not only public wireless communication networks, but also closed communication networks established for specific management areas, such as wireless LAN, Wi-Fi (registered trademark), and Bluetooth (registered trademark). The acquired map information is output to the map database 5 or memory unit 12, where it is updated. Communication with other vehicles is also possible via the communication unit 7.
アクチュエータＡＣは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータＡＣには、エンジンのスロットルバルブの開度（スロットル開度）を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータＡＣに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータＡＣに含まれる。Actuators AC are driving actuators for controlling the driving of the host vehicle. When the driving source is an engine, actuators AC include a throttle actuator that adjusts the opening of the engine's throttle valve (throttle opening). When the driving source is a driving motor, actuators AC include the driving motor. Actuators AC also include a brake actuator that operates the host vehicle's braking device and a steering actuator that drives the steering device.
コントローラ１０は、電子制御ユニット（ＥＣＵ）により構成される。より具体的には、コントローラ１０は、ＣＰＵ（マイクロプロセッサ）等の演算部１１と、ＲＯＭ，ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ＥＣＵ、走行モータ制御用ＥＣＵ、制動装置用ＥＣＵ等、機能の異なる複数のＥＣＵを別々に設けることができるが、図１では、便宜上、これらＥＣＵの集合としてコントローラ１０が示される。The controller 10 is composed of an electronic control unit (ECU). More specifically, the controller 10 includes a computer having an arithmetic unit 11 such as a CPU (microprocessor), a memory unit 12 such as ROM and RAM, and other peripheral circuits (not shown) such as an I/O interface. Note that multiple ECUs with different functions, such as an engine control ECU, a traction motor control ECU, and a braking system ECU, can be provided separately, but for convenience, the controller 10 is shown in Figure 1 as a collection of these ECUs.
記憶部１２には、高精度の道路地図情報が記憶される。この道路地図情報には、道路の位置情報、道路形状（曲率など）の情報、道路の勾配の情報、交差点や分岐点の位置情報、車線数の情報、車線の幅員および車線毎の位置情報（車線の中央位置や車線位置の境界線の情報）、地図上の目印としてのランドマーク（信号機、標識、建物等）の位置情報、路面の凹凸などの路面プロファイルの情報が含まれる。記憶部１２に記憶される地図情報には、通信ユニット７を介して取得した自車両の外部から取得した地図情報と、外部センサ群１の検出値あるいは外部センサ群１と内部センサ群２との検出値を用いて自車両自体で作成される地図情報とが含まれる。記憶部１２には、地図情報に対応付けて、外部センサ群１と内部センサ群２の検出値からなる走行履歴情報も記憶される。High-precision road map information is stored in memory unit 12. This road map information includes road position information, road shape information (curvature, etc.), road gradient information, intersection and branch point position information, number of lanes information, lane width and lane position information (lane center position and lane boundary information), position information of landmarks (traffic lights, signs, buildings, etc.) that serve as map markers, and road surface profile information such as road surface irregularities. The map information stored in memory unit 12 includes map information acquired from outside the vehicle via communication unit 7, and map information created by the vehicle itself using detection values from external sensor group 1 or detection values from external sensor group 1 and internal sensor group 2. Memory unit 12 also stores driving history information consisting of detection values from external sensor group 1 and internal sensor group 2, associated with the map information.
演算部１１は、機能的構成として、自車位置認識部１３と、外界認識部１４と、行動計画生成部１５と、走行制御部１６と、地図生成部１７とを有する。The calculation unit 11 has the following functional components: a vehicle position recognition unit 13, an external environment recognition unit 14, an action plan generation unit 15, a driving control unit 16, and a map generation unit 17.
自車位置認識部１３は、測位ユニット４で得られた自車両の位置情報および地図データベース５の地図情報に基づいて、地図上の自車両の位置（自車位置）を認識する。記憶部１２に記憶された地図情報と、外部センサ群１が検出した自車両の周辺情報とを用いて自車位置を認識してもよく、これにより自車位置を高精度に認識することができる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット７を介して通信することにより、自車位置を認識することもできる。The vehicle position recognition unit 13 recognizes the position of the vehicle on the map (own vehicle position) based on the vehicle position information obtained by the positioning unit 4 and the map information in the map database 5. The vehicle position may also be recognized using the map information stored in the memory unit 12 and information about the vehicle's surroundings detected by the external sensor group 1, thereby enabling the vehicle position to be recognized with high accuracy. Note that when the vehicle position can be measured by an external sensor installed on or beside the road, the vehicle position can also be recognized by communicating with that sensor via the communication unit 7.
外界認識部１４は、ライダ、レーダ、カメラ等の外部センサ群１からの信号に基づいて自車両の周囲の外部状況を認識する。例えば自車両の周辺を走行する周辺車両（前方車両や後方車両）の位置や速度や加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態などを認識する。他の物体には、標識、信号機、道路の区画線や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車等が含まれる。他の物体の状態には、信号機の色（赤、青、黄）、歩行者や自転車の移動速度や向きなどが含まれる。The external environment recognition unit 14 recognizes the external conditions around the vehicle based on signals from a group 1 of external sensors such as lidar, radar, and cameras. For example, it recognizes the position, speed, and acceleration of surrounding vehicles (vehicles ahead and vehicles behind) traveling around the vehicle, the positions of surrounding vehicles stopped or parked around the vehicle, and the positions and states of other objects. Other objects include signs, traffic lights, markings such as road dividing lines and stop lines, buildings, guardrails, utility poles, billboards, pedestrians, bicycles, etc. The states of other objects include the color of traffic lights (red, green, yellow), the movement speed and direction of pedestrians and bicycles, etc.
行動計画生成部１５は、例えばナビゲーション装置６で演算された目標経路と、記憶部１２に記憶された地図情報と、自車位置認識部１３で認識された自車位置と、外界認識部１４で認識された外部状況とに基づいて、現時点から所定時間先までの自車両の走行軌道（目標軌道）を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部１５は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部１５は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部１５は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、減速走行または加速走行等に対応した種々の行動計画を生成する。行動計画生成部１５は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。The behavior plan generation unit 15 generates a driving trajectory (target trajectory) for the vehicle from the current time to a predetermined time ahead based on, for example, the target route calculated by the navigation device 6, the map information stored in the memory unit 12, the vehicle's position recognized by the vehicle position recognition unit 13, and the external conditions recognized by the external environment recognition unit 14. When there are multiple trajectories that are candidates for the target trajectory on the target route, the behavior plan generation unit 15 selects the optimal trajectory from among them that meets criteria such as compliance with laws and regulations and efficient and safe driving, and sets the selected trajectory as the target trajectory. The behavior plan generation unit 15 then generates a behavior plan according to the generated target trajectory. The behavior plan generation unit 15 generates various behavior plans corresponding to overtaking driving to overtake a preceding vehicle, lane-changing driving to change lanes, following driving to follow a preceding vehicle, lane-keeping driving to maintain the vehicle in its lane without deviating from the lane, decelerating driving, accelerating driving, etc. When generating the target trajectory, the behavior plan generation unit 15 first determines the driving mode and then generates the target trajectory based on the driving mode.
走行制御部１６は、自動運転モードにおいて、行動計画生成部１５で生成された目標軌道に沿って自車両が走行するように各アクチュエータＡＣを制御する。より具体的には、走行制御部１６は、自動運転モードにおいて道路勾配などにより定まる走行抵抗を考慮して、行動計画生成部１５で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群２により検出された実加速度が目標加速度となるようにアクチュエータＡＣをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータＡＣを制御する。なお、運転モードが手動運転モードであるとき、走行制御部１６は、内部センサ群２により取得されたドライバからの走行指令（ステアリング操作等）に応じて各アクチュエータＡＣを制御する。In autonomous driving mode, the driving control unit 16 controls each actuator AC so that the vehicle travels along the target trajectory generated by the behavior plan generation unit 15. More specifically, in autonomous driving mode, the driving control unit 16 calculates the required driving force to achieve the target acceleration per unit time calculated by the behavior plan generation unit 15, taking into account driving resistance determined by factors such as road gradient. Then, for example, the driving control unit 16 feedback-controls the actuators AC so that the actual acceleration detected by the internal sensor group 2 becomes the target acceleration. In other words, the driving control unit 16 controls the actuators AC so that the vehicle travels at the target vehicle speed and target acceleration. Note that when the driving mode is manual driving mode, the driving control unit 16 controls each actuator AC in response to driving commands (such as steering operations) from the driver acquired by the internal sensor group 2.
地図生成部１７は、手動運転モードで走行しながら、外部センサ群１により検出された検出値を用いて、３次元の点群データからなる環境地図を生成する。具体的には、カメラにより取得されたカメラ画像から、画素ごとの輝度や色の情報に基づいて物体の輪郭を示すエッジを抽出するとともに、そのエッジ情報を用いて特徴点を抽出する。特徴点は例えばエッジ上の点やエッジの交点であり、路面上の区画線、建物の角、道路標識の角などに対応する。地図生成部１７は、抽出された特徴点までの距離を求めて、特徴点を順次、環境地図上にプロットし、これにより自車両が走行した道路周辺の環境地図が生成される。カメラに代えて、レーダやライダにより取得されたデータを用いて自車両の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。While driving in manual driving mode, the map generation unit 17 uses detection values detected by the external sensor group 1 to generate an environmental map consisting of three-dimensional point cloud data. Specifically, edges that indicate the outline of objects are extracted from camera images acquired by the camera based on brightness and color information for each pixel, and the edge information is used to extract feature points. Feature points are, for example, points on edges or intersections of edges, and correspond to road markings on the road surface, corners of buildings, corners of road signs, etc. The map generation unit 17 calculates the distance to the extracted feature points and plots them sequentially on the environmental map, thereby generating an environmental map of the area around the road on which the vehicle traveled. Instead of a camera, data acquired by radar or lidar may be used to extract feature points of objects around the vehicle and generate an environmental map.
自車位置認識部１３は、地図生成部１７による地図生成処理と並行して、自車両の位置推定処理を行う。すなわち、特徴点の時間経過に伴う位置の変化に基づいて、自車両の位置を推定する。地図作成処理と位置推定処理とは、例えばカメラやライダからの信号を用いてＳＬＡＭ（Simultaneous Localization and Mapping）のアルゴリズムにしたがって同時に行われる。地図生成部１７は、手動運転モードで走行するときだけでなく、自動運転モードで走行するときにも同様に環境地図を生成することができる。既に環境地図が生成されて記憶部１２に記憶されている場合、地図生成部１７は、新たに得られた特徴点により環境地図を更新してもよい。The vehicle position recognition unit 13 performs a process of estimating the position of the vehicle in parallel with the map generation process performed by the map generation unit 17. That is, the vehicle's position is estimated based on changes in the positions of feature points over time. The map generation process and the position estimation process are performed simultaneously according to a SLAM (Simultaneous Localization and Mapping) algorithm using signals from, for example, a camera or lidar. The map generation unit 17 can generate an environmental map not only when driving in manual driving mode, but also when driving in autonomous driving mode. If an environmental map has already been generated and stored in the memory unit 12, the map generation unit 17 may update the environmental map with newly obtained feature points.
次に、本実施形態に係る地図生成装置、すなわち車両制御システム１００の地図生成装置としての構成について説明する。図２は、本実施形態に係る地図生成装置が適用される道路２００の一例を示す図である。図２には、自車両１０１が車線変更する例が示される。すなわち、自車両１０１は、左右の区画線２０１，２０２によって規定される第１車線ＬＮ１から、矢印Ａに示すように、左右の区画線２０２，２０３によって規定される第２車線ＬＮ２に車線変更する。自車両１０１は、第１時点ｔ１で第１車線ＬＮ１を走行し（状態Ｂ１）、その後、第２時点ｔ２で第２車線ＬＮ２を走行する（状態Ｂ２）。Next, the map generation device according to this embodiment, i.e., the configuration of the vehicle control system 100 as a map generation device, will be described. FIG. 2 is a diagram showing an example of a road 200 to which the map generation device according to this embodiment is applied. FIG. 2 shows an example of the host vehicle 101 changing lanes. That is, the host vehicle 101 changes lanes from a first lane LN1 defined by left and right dividing lines 201 and 202 to a second lane LN2 defined by left and right dividing lines 202 and 203, as shown by arrow A. The host vehicle 101 travels in the first lane LN1 at a first time point t1 (state B1), and then travels in the second lane LN2 at a second time point t2 (state B2).
自車両１０１の前部にはカメラ１ａが搭載される。カメラ１ａは、所定の視野角θによって定まる、カメラ１ａを中心とした略扇形の撮影領域ＡＲを撮影可能である。第１時点ｔ１における自車両１０１の撮影領域ＡＲには区画線２０１，２０２が含まれ、第２時点ｔ２における撮影領域ＡＲには区画線２０２，２０３が含まれる。したがって、カメラ画像からエッジ点を抽出することにより、第１時点ｔ１で区画線２０１，２０２を、第２時点ｔ２で区画線２０２，２０３をそれぞれ検出することができる。このようにカメラ画像によって検出された区画線（厳密には区画線に対応した特徴点）を時系列に沿って順次接続することで、区画線２０１～２０３を含む地図を生成することができる。A camera 1a is mounted on the front of the vehicle 101. The camera 1a is capable of capturing an approximately sector-shaped capture area AR centered on the camera 1a, determined by a predetermined viewing angle θ. The capture area AR of the vehicle 101 at the first time point t1 includes lane markings 201 and 202, and the capture area AR at the second time point t2 includes lane markings 202 and 203. Therefore, by extracting edge points from the camera image, it is possible to detect lane markings 201 and 202 at the first time point t1 and lane markings 202 and 203 at the second time point t2. By connecting the lane markings (strictly speaking, the feature points corresponding to the lane markings) detected by the camera image in this way in chronological order, it is possible to generate a map that includes lane markings 201 to 203.
しかしながら、第１車線ＬＮ１から第２車線ＬＮ２への車線変更時に、図２に示すように区画線２０２が途切れていると、区画線２０２を連続して検出できないことがある。区画線２０２が途切れていなくても、カメラ１ａの視野を遮るような障害物（例えば他車両）が存在する場合や、天候の影響などによってカメラ１ａの検知精度が低下する場合においても、区画線２０２を検出できないことがある。その結果、第１時点ｔ１で検出された区画線２０１と第２時点ｔ２で検出された区画線２０２、および第１時点ｔ１で検出された区画線２０２と第２時点ｔ２で検出された区画線２０３とがそれぞれ接続され、誤った地図が生成されるおそれがある。そこで、車線変更があった場合においても正確に地図を生成することができるよう、本実施形態は以下のように地図生成装置を構成する。However, when changing lanes from the first lane LN1 to the second lane LN2, if the lane markings 202 are interrupted as shown in Figure 2, the lane markings 202 may not be detected continuously. Even if the lane markings 202 are not interrupted, they may not be detected if there is an obstacle (e.g., another vehicle) blocking the field of view of the camera 1a, or if the detection accuracy of the camera 1a is reduced due to weather conditions or other factors. As a result, the lane markings 201 detected at the first time point t1 and the lane markings 202 detected at the second time point t2 may be connected, and the lane markings 202 detected at the first time point t1 and the lane markings 203 detected at the second time point t2 may be connected, resulting in the generation of an incorrect map. Therefore, in this embodiment, the map generation device is configured as follows so that accurate maps can be generated even when a lane change occurs.
図３は、本実施形態に係る地図生成装置２０の要部構成を示すブロック図である。地図生成装置２０は、図１の車両制御システム１００に含まれる。図３に示すように、地図生成装置２０は、カメラ１ａと、センサ２ａと、コントローラ１０とを有する。Figure 3 is a block diagram showing the main configuration of a map generation device 20 according to this embodiment. The map generation device 20 is included in the vehicle control system 100 of Figure 1. As shown in Figure 3, the map generation device 20 has a camera 1a, a sensor 2a, and a controller 10.
カメラ１ａは、ＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）を有する単眼カメラであり、図１の外部センサ群１の一部を構成する。カメラ１ａはステレオカメラであってもよい。カメラ１ａは、図２に示すように自車両１０１の前部の所定位置に取り付けられ、自車両１０１の前方空間を連続的に撮像し、対象物の画像（カメラ画像）を取得する。対象物には、道路上の区画線２０１～２０３が含まれる。なお、カメラ１ａに代えて、あるいはカメラ１ａとともに、ライダなどにより対象物を検出するようにしてもよい。Camera 1a is a monocular camera equipped with an imaging element (image sensor) such as a CCD or CMOS, and constitutes part of the external sensor group 1 in Figure 1. Camera 1a may also be a stereo camera. As shown in Figure 2, camera 1a is attached to a predetermined position in front of the vehicle 101, and continuously captures images of the space ahead of the vehicle 101 to obtain images of objects (camera images). Objects include road markings 201-203. Note that objects may be detected using a lidar or similar device instead of or in addition to camera 1a.
センサ２ａは、自車両１０１の移動量と移動方向とを算出するために用いられる検出器である。センサ２ａは、内部センサ群２の一部であり、例えば車速センサとヨーレートセンサとにより構成される。すなわち、コントローラ１０（自車位置認識部１３）は、車速センサにより検出された車速を積分して自車両１０１の移動量を算出するとともに、ヨーレートセンサにより検出されたヨーレートを積分してヨー角を算出し、地図を作成する際にオドメトリにより自車両１０１の位置を推定する。なお、センサ２ａの構成はこれに限らず、他のセンサの情報を用いて自車位置を推定するようにしてもよい。Sensor 2a is a detector used to calculate the amount and direction of movement of the host vehicle 101. Sensor 2a is part of the internal sensor group 2 and is composed of, for example, a vehicle speed sensor and a yaw rate sensor. That is, the controller 10 (host vehicle position recognition unit 13) integrates the vehicle speed detected by the vehicle speed sensor to calculate the amount of movement of the host vehicle 101, and integrates the yaw rate detected by the yaw rate sensor to calculate the yaw angle, and estimates the position of the host vehicle 101 using odometry when creating a map. Note that the configuration of sensor 2a is not limited to this, and the host vehicle position may be estimated using information from other sensors.
図３のコントローラ１０は、演算部１１（図１）が担う機能的構成として、記憶部１２と地図生成部１７の他に、区画線推定部２１と、判定部２２と、を有する。なお、区画線推定部２１および判定部２２は、地図生成の機能も有するため、これらを地図生成部１７に含めることもできる。The controller 10 in Figure 3 has the functional components of the calculation unit 11 (Figure 1), including the memory unit 12 and map generation unit 17, as well as a lane line estimation unit 21 and a determination unit 22. Note that the lane line estimation unit 21 and the determination unit 22 also have map generation functions, and therefore can also be included in the map generation unit 17.
記憶部１２には、地図情報が記憶される。記憶される地図情報には、通信ユニット７を介して自車両１０１の外部から取得した地図情報（外部地図情報と呼ぶ）と、自車両自体で作成される地図情報（内部地図情報と呼ぶ）とが含まれる。外部地図情報は、例えばクラウドサーバを介して取得した地図（クラウド地図と呼ぶ）の情報であり、内部地図情報は、例えばＳＬＡＭ等の技術を用いてマッピングにより生成される点群データからなる地図（環境地図と呼ぶ）の情報である。外部地図情報は、自車両１０１と他車両とで共有されるのに対し、内部地図情報は、自車両１０１の独自の地図情報（例えば自車両が単独で有する地図情報）である。記憶部１２には、各種制御のプログラム、プログラムで用いられる閾値等についての情報も記憶される。Map information is stored in the memory unit 12. The stored map information includes map information obtained from outside the vehicle 101 via the communication unit 7 (referred to as external map information) and map information created by the vehicle itself (referred to as internal map information). External map information is, for example, map information obtained via a cloud server (referred to as cloud map), while internal map information is map information (referred to as environmental map) made up of point cloud data generated by mapping using technology such as SLAM. While external map information is shared between the vehicle 101 and other vehicles, internal map information is map information unique to the vehicle 101 (e.g., map information that is solely owned by the vehicle). The memory unit 12 also stores information on various control programs, thresholds used in the programs, etc.
区画線推定部２１は、過去時点（または現在時点）で取得されたカメラ画像に基づいて、現在時点（または将来時点）でカメラ１ａにより検出されると予測される区画線の位置を推定する。具体的には、過去時点（例えば図２の第１時点ｔ１）で取得されたカメラ画像から、カメラ画像に含まれる区画線２０１，２０２に対応した特徴点を抽出し、特徴点を通るような近似曲線を算出する。過去時点のみでなく、過去時点以前の特徴点から、例えば過去時点以前の数フレーム分の特徴点から、近似曲線を算出してもよい。図４は、近似曲線Ｌ１，Ｌ２の一例を示す図である。図中、横軸および縦軸は、任意の地点を座標原点としたときの特徴点ＰのＸ座標およびＹ座標である。Ｘ座標およびＹ座標は、路面上にとった座標である。特徴点Ｐは、左右一対の区画線の一方（例えば左方）に対応した特徴点群Ｐ１（左特徴点群と呼ぶ）と、他方（例えば右方）に対応した特徴点群Ｐ２（右特徴点群と呼ぶ）とに分けられる。The lane marking estimation unit 21 estimates the position of lane marks predicted to be detected by the camera 1a at the present time (or a future time) based on camera images acquired at a past time (or the present time). Specifically, feature points corresponding to lane markings 201 and 202 included in the camera image acquired at a past time (e.g., the first time point t1 in Figure 2 ) are extracted from the camera image, and an approximate curve passing through the feature points is calculated. The approximate curve may be calculated not only from feature points acquired at past times but also from feature points acquired at previous times, for example, from feature points from several frames prior to the past time. Figure 4 shows examples of approximate curves L1 and L2. In the figure, the horizontal and vertical axes represent the X and Y coordinates of feature point P when an arbitrary point is set as the coordinate origin. The X and Y coordinates are coordinates on the road surface. Feature point P is divided into feature point group P1 (referred to as the left feature point group) corresponding to one of the pair of left and right lane marks (e.g., the left side), and feature point group P2 (referred to as the right feature point group) corresponding to the other (e.g., the right side).
近似曲線Ｌ１，Ｌ２は、例えば第１時点ｔ１で検出された複数の特徴点Ｐを通るような多項式、すなわちＹ座標の値がＸ座標の値の関数となるような多項式によって表される。なお、車両進行方向に沿って特徴点を順次滑らかに接続して得られた曲線を、車両進行方向に沿って滑らかに延長することにより、近似曲線Ｌ１，Ｌ２を算出することもできる。近似曲線Ｌ１，Ｌ２は、特徴点Ｐを含む点線領域Ｒａ内では、カメラ画像により検出された区画線２０１，２０２に一致ないしほぼ一致する。算出された近似曲線Ｌ１，Ｌ２は、記憶部１２に記憶される。The approximate curves L1 and L2 are represented by polynomials that pass through the multiple characteristic points P detected at the first time point t1, i.e., polynomials in which the Y coordinate value is a function of the X coordinate value. The approximate curves L1 and L2 can also be calculated by smoothly extending a curve obtained by smoothly connecting the characteristic points in the direction of vehicle travel along the direction of vehicle travel. Within the dotted-line area Ra that includes the characteristic points P, the approximate curves L1 and L2 match or nearly match the lane markings 201 and 202 detected from the camera image. The calculated approximate curves L1 and L2 are stored in the memory unit 12.
自車両１０１の移動に伴い、区画線に対応した新たな特徴点Ｐが検出されると、区画線推定部２１は、新たな特徴点Ｐを用いて近似曲線Ｌ１，Ｌ２を算出する。これにより、時間経過に伴い近似曲線Ｌ１，Ｌ２が随時更新される。連続する複数の時点（ｔｎ，ｔｎ－１，ｔｎ－２，・・・）でそれぞれ算出された近似曲線を平均化することにより、時点ｔｎにおける代表的な近似曲線を求め、これを記憶部１２に記憶するようにしてもよい。When a new characteristic point P corresponding to a lane marking is detected as the vehicle 101 moves, the lane marking estimation unit 21 calculates approximate curves L1 and L2 using the new characteristic point P. This allows the approximate curves L1 and L2 to be updated as time passes. A representative approximate curve at time tn may be determined by averaging the approximate curves calculated at multiple consecutive points in time (tn, tn-1, tn-2, ...), and this may be stored in the memory unit 12.
区画線が途切れている等の理由により、区画線に対応した新たな特徴点が検出されないとき、近似曲線Ｌ１，Ｌ２は更新されない。したがって、図２に示すように、区画線２０２が検出されない地点で自車両１０１が第１車線ＬＮ１から第２車線ＬＮ２に車線変更したとき、車線変更の直後（第２時点ｔ２）には、車線変更の直前（第１時点ｔ１）に算出された近似曲線Ｌ１，Ｌ２（区画線２０１，２０２に対応する近似曲線）が記憶部１２に記憶されたままである。現在時点から所定時間前に算出された近似曲線Ｌ１，Ｌ２を、記憶部１２に記憶するようにしてもよい。自車両１０１の現在位置よりも所定距離手前の地点で算出された近似曲線Ｌ１，Ｌ２を、記憶部１２に記憶するようにしてもよい。換言すると、現在時点から所定時間経過後（例えば数秒程度経過後）に、記憶部１２に記憶された近似曲線Ｌ１，Ｌ２を更新するようにしてもよく、現在位置から所定距離進んだ後（例えば数ｍ程度進んだ後）、記憶部１２に記憶された近似曲線Ｌ１，Ｌ２を更新するようにしてもよい。When new feature points corresponding to the lane markings are not detected due to reasons such as the lane markings being interrupted, the approximate curves L1 and L2 are not updated. Therefore, as shown in FIG. 2, when the vehicle 101 changes lanes from the first lane LN1 to the second lane LN2 at a point where the lane marking 202 is not detected, the approximate curves L1 and L2 (approximate curves corresponding to the lane markings 201 and 202) calculated immediately before the lane change (first time point t1) remain stored in the memory unit 12 immediately after the lane change (second time point t2). The approximate curves L1 and L2 calculated a predetermined time before the current time point may also be stored in the memory unit 12. The approximate curves L1 and L2 calculated at a point a predetermined distance before the current position of the vehicle 101 may also be stored in the memory unit 12. In other words, the approximate curves L1 and L2 stored in the memory unit 12 may be updated after a predetermined time has elapsed from the current point in time (for example, after a few seconds have elapsed), or after moving a predetermined distance from the current position (for example, after moving a few meters).
判定部２２は、区画線推定部２１により推定され、記憶部１２に記憶された近似曲線Ｌ１，Ｌ２の位置と、現在時点でカメラ画像により検出された区画線に対応する特徴点の位置との差異を算出する。そして、差異の大きさに基づいて自車両１０１の車線変更の有無を判定する。図５Ａ～図５Ｃは、それぞれ過去時点に算出された近似曲線Ｌ１，Ｌ２と、現在時点で検出された特徴点Ｐとの関係の一例を示す図である。すなわち、過去時点で図４に示すように特徴点Ｐに基づき近似曲線Ｌ１，Ｌ２が算出された後、区画線に対応する特徴点が一時的に検出されなくなり、記憶部１２に過去時点で算出された近似曲線Ｌ１，Ｌ２が記憶されたままの状態で、現時点で再び特徴点Ｐが検出された場合の例である。The determination unit 22 calculates the difference between the positions of the approximate curves L1, L2 estimated by the lane marking estimation unit 21 and stored in the memory unit 12 and the positions of the feature points corresponding to the lane markings currently detected in the camera image. Then, based on the magnitude of the difference, it determines whether the vehicle 101 has changed lanes. Figures 5A to 5C each show an example of the relationship between the approximate curves L1, L2 calculated in the past and the feature point P detected at the present time. That is, after the approximate curves L1, L2 were calculated based on the feature point P as shown in Figure 4 in the past, the feature point corresponding to the lane markings was temporarily no longer detected, and the feature point P was detected again at the present time while the approximate curves L1, L2 calculated in the past remained stored in the memory unit 12.
図５Ａでは、そのａ部拡大図に示すように、左側の区画線に対応する近似曲線Ｌ１と左特徴点群Ｐ１との差異（例えばＹ座標の差異Δｙ１）が所定値Δｙ１ａ以下である。なお、右側の区画線に対応する近似曲線Ｌ２と右特徴点群Ｐ２との差異Δｙも所定値Δｙ１ａ以下である。所定値Δｙ１ａは、車線幅の１／２倍以下の値（例えば１ｍ程度）に設定される。このように互いに左右方向同一側の近似曲線Ｌ１と左特徴点群Ｐ１との差異Δｙ１が所定値Δｙ１ａ以下であるとき、判定部２２は、過去時点から現時点までの間に自車両１０１が車線変更していない、つまり車線維持と判定する。As shown in the enlarged view of part a in Figure 5A, the difference (e.g., the difference Δy1 in Y coordinate) between the approximate curve L1 corresponding to the left-hand lane marking and the left feature point group P1 is less than or equal to a predetermined value Δy1a. The difference Δy between the approximate curve L2 corresponding to the right-hand lane marking and the right feature point group P2 is also less than or equal to a predetermined value Δy1a. The predetermined value Δy1a is set to a value less than or equal to half the lane width (e.g., approximately 1 m). When the difference Δy1 between the approximate curve L1 and the left feature point group P1, both of which are on the same lateral side, is less than or equal to the predetermined value Δy1a, the determination unit 22 determines that the vehicle 101 has not changed lanes between the past and present times, i.e., that the vehicle is maintaining its lane.
図５Ｂでは、そのａ部拡大図に示すように、右側の区画線に対応する近似曲線Ｌ２と左特徴点群Ｐ１との差異Δｙ２が所定値Δｙ２ａ以下である。所定値Δｙ２ａは、所定値Δｙ１ａと異なる値または同一の値であり、車線幅の１／２倍以下の値に設定される。このように右側の近似曲線Ｌ２と左側の特徴点群Ｐ１との差異Δｙ２が所定値Δｙ２ａ以下であるとき、判定部２２は、自車両１０１が右側車線に車線変更したと判定する。一方、図５Ｃでは、そのａ部拡大図に示すように、左側の区画線に対応する近似曲線Ｌ１と右特徴点群Ｐ２との差異Δｙ３が所定値Δｙ３ａ以下である。所定値Δｙ３ａは例えば所定値Δｙ２ａと同一の値であり、車線幅の１／２倍以下の値に設定される。このように左側の近似曲線Ｌ１と右側の特徴点群Ｐ２との差異Δｙ３が所定値Δｙ３ａ以下であるとき、判定部２２は、自車両１０１が左側車線に車線変更したと判定する。In Figure 5B, as shown in the enlarged view of part a, the difference Δy2 between the approximate curve L2 corresponding to the right-side lane marking and the left feature point group P1 is less than or equal to a predetermined value Δy2a. The predetermined value Δy2a may be different from or the same as the predetermined value Δy1a and is set to a value equal to or less than half the lane width. When the difference Δy2 between the right-side approximate curve L2 and the left feature point group P1 is equal to or less than the predetermined value Δy2a, the determination unit 22 determines that the vehicle 101 has changed lanes to the right lane. On the other hand, in Figure 5C, as shown in the enlarged view of part a, the difference Δy3 between the approximate curve L1 corresponding to the left-side lane marking and the right feature point group P2 is less than or equal to a predetermined value Δy3a. The predetermined value Δy3a is, for example, the same as the predetermined value Δy2a and is set to a value equal to or less than half the lane width. When the difference Δy3 between the left-side approximate curve L1 and the right-side feature point group P2 is equal to or less than the predetermined value Δy3a, the determination unit 22 determines that the vehicle 101 has changed lanes to the left lane.
なお、図５Ａ～図５Ｃにおいて、判定部２２が、近似曲線Ｌ１，Ｌ２と特徴点群Ｐ１，Ｐ２とのＹ座標の差異Δｙ１，Δｙ２，Δｙ３がそれぞれ所定値Δｙ１ａ，Δｙ２ａ，Δｙ３ａ以下であるか否かを判定する代わりに、近似曲線Ｌ１，Ｌ２から特徴点群Ｐ１，Ｐ２までの最短距離が所定値以下であるか否かを判定するようにしてもよい。そして、その判定結果に応じて、車線維持、右側車線へ車線変更または左側車線へ車線変更したと判定するようにしてもよい。In addition, in Figures 5A to 5C, instead of determining whether the Y coordinate differences Δy1, Δy2, and Δy3 between the approximate curves L1 and L2 and the feature point groups P1 and P2 are equal to or less than predetermined values Δy1a, Δy2a, and Δy3a, respectively, the determination unit 22 may determine whether the shortest distance from the approximate curves L1 and L2 to the feature point groups P1 and P2 is equal to or less than a predetermined value. Then, depending on the determination result, it may be determined that the vehicle has maintained its lane, changed to the right lane, or changed to the left lane.
地図生成部１７は、判定部２２による判定結果に基づいて、区画線が認識されなかった地点の環境地図を生成する。すなわち、判定部２２により自車両１０１が車線変更していないと判定されると（図５Ａ）、過去時点でカメラ画像により認識された自車両１０１の左右の区画線と、現時点でカメラ画像により認識された自車両１０１の左右の区画線とを接続する。The map generation unit 17 generates an environmental map of points where no lane lines were recognized based on the determination result by the determination unit 22. That is, when the determination unit 22 determines that the vehicle 101 has not changed lanes (Figure 5A), it connects the lane lines on the left and right of the vehicle 101 recognized in the camera image at a previous point in time with the lane lines on the left and right of the vehicle 101 recognized in the camera image at the current point in time.
一方、判定部２２により自車両１０１が右側に車線変更したと判定されると（図５Ｂ）、過去時点でカメラ画像により認識された自車両１０１の右側の区画線と、現時点でカメラ画像により認識された自車両１０１の左側の区画線とを接続する。判定部２２により自車両１０１が左側に車線変更したと判定されると（図５Ｃ）、過去時点でカメラ画像により認識された自車両１０１の左側の区画線と、現時点でカメラ画像により認識された自車両１０１の右側の区画線とを接続する。これにより車線の位置を特定することができる。位置が特定された車線は、地図情報の一部として記憶部１２に記憶される。On the other hand, if the determination unit 22 determines that the vehicle 101 has changed lanes to the right (Figure 5B), the lane marking on the right side of the vehicle 101, as recognized in the camera image at a previous time, is connected to the lane marking on the left side of the vehicle 101, as recognized in the camera image at the current time. If the determination unit 22 determines that the vehicle 101 has changed lanes to the left (Figure 5C), the lane marking on the left side of the vehicle 101, as recognized in the camera image at a previous time, is connected to the lane marking on the right side of the vehicle 101, as recognized in the camera image at the current time. This makes it possible to identify the position of the lane. The identified lane is stored in the memory unit 12 as part of the map information.
図６は、予め定められたプログラムに従い図３のコントローラ１０で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば環境地図を生成するために自車両１０１が手動運転モードで走行しているときに開始され、所定周期で繰り返される。Figure 6 is a flowchart showing an example of processing executed by the controller 10 of Figure 3 in accordance with a predetermined program. The processing shown in this flowchart is initiated, for example, when the vehicle 101 is traveling in manual driving mode in order to generate an environmental map, and is repeated at a predetermined interval.
図６に示すように、まず、ステップＳ１で、カメラ１ａとセンサ２ａとからの信号を読み込む。次いで、ステップＳ２で、カメラ画像に基づき、自車両１０１の走行車線（自車線）を規定する左右一対の区画線が検出されているか否かを判定する。ステップＳ２で否定されるとステップＳ９に進み、フラグを１に設定する。なお、フラグは、初期状態では０であり、左右の区画線の少なくとも一方が検出されないとき、１に設定される。次いで、ステップＳ８で環境地図を生成し、記憶部１２に記憶する。この場合には、自車線が特定されていない状態の環境地図の情報が記憶される。As shown in FIG. 6, first, in step S1, signals from camera 1a and sensor 2a are read. Next, in step S2, it is determined based on the camera image whether a pair of left and right dividing lines defining the vehicle's 101 lane (current lane) have been detected. If the result in step S2 is negative, the process proceeds to step S9, where a flag is set to 1. The flag is initially set to 0, and is set to 1 when at least one of the left and right dividing lines is not detected. Next, in step S8, an environmental map is generated and stored in memory unit 12. In this case, environmental map information in a state where the current lane has not been identified is stored.
ステップＳ２で肯定されるとステップＳ３に進み、フラグが１であるか否かを判定する。すなわち、区画線が再び検出されるようになった直後であるか否かを判定する。ステップＳ３で否定されるとステップＳ１０に進み、ステップＳ２で検出された区画線、より厳密には区画線に対応した複数の特徴点に基づき、複数の特徴点を通るような左右一対の近似曲線Ｌ１，Ｌ２を算出する。次いで、ステップＳ８で環境地図を生成し、記憶部１２に記憶する。この状態では、左右の区画線が検出され続けており、自車線の位置情報を含む地図情報が記憶される。このように左右の区画線が検出され続けている状態においては、自車両１０１が区画線をまたいだか否かを判定することにより、自車両１０１の車線変更の有無を判定することができる。ステップＳ８では、ステップＳ１０で算出した近似曲線Ｌ１，Ｌ２も併せて記憶する。If step S2 is positive, the process proceeds to step S3, where it is determined whether the flag is 1. That is, it is determined whether a marking line has just been detected again. If step S3 is negative, the process proceeds to step S10, where a pair of left and right approximate curves L1, L2 that pass through the marking lines detected in step S2, or more specifically, the multiple feature points corresponding to the marking lines, are calculated. Next, in step S8, an environmental map is generated and stored in memory unit 12. In this state, left and right marking lines continue to be detected, and map information including the position information of the current lane is stored. In this state where left and right marking lines continue to be detected, it is possible to determine whether the current vehicle 101 has changed lanes by determining whether the current vehicle 101 has crossed a marking line. In step S8, the approximate curves L1, L2 calculated in step S10 are also stored.
ステップＳ３で肯定されると、すなわち区画線が再び検出されるようになった直後であると判定されると、ステップＳ４に進み、記憶部１２に記憶された左側の近似曲線Ｌ１と、ステップＳ２で検出された左特徴点群Ｐ１との差異Δｙ１が所定値Δｙ１ａ以下であるか否かを判定する。ステップＳ４で肯定されるとステップＳ１１に進み、車線維持と判定し、ステップＳ８に進む。ステップＳ８では、過去時点で検出された左右の区画線、すなわちステップＳ１０からステップＳ８への処理で記憶された区画線と、現在時点（ステップＳ２）で検出された左右の区画線とを互いに接続するような地図を生成し、記憶部１２に記憶する。すなわち、区画線が未検出である領域において、その前後の区画線を互いに接続するような地図を生成する。これにより、車線の位置情報を含めた環境地図を生成することができる。If step S3 returns a positive result, i.e., if it is determined that a lane marking has just been detected again, the process proceeds to step S4, where it is determined whether the difference Δy1 between the left-side approximate curve L1 stored in the memory unit 12 and the left feature point group P1 detected in step S2 is less than or equal to a predetermined value Δy1a. If step S4 returns a positive result, the process proceeds to step S11, where it is determined that the vehicle is in lane, and the process proceeds to step S8. In step S8, a map is generated that connects the left and right lane markings detected in the past, i.e., the lane markings stored in the processing from step S10 to step S8, with the left and right lane markings detected at the current time (step S2), and the map is stored in the memory unit 12. In other words, in areas where lane markings have not yet been detected, a map is generated that connects the lane markings before and after them. This makes it possible to generate an environmental map that includes lane position information.
一方、ステップＳ４で否定されるとステップＳ５に進み、記憶部１２に記憶された右側の近似曲線Ｌ２と、ステップＳ２で検出された左特徴点群Ｐ１との差異Δｙ２が所定値Δｙ２ａ以下であるか否かを判定する。ステップＳ５で肯定されるとステップＳ１２に進み、自車両１０１が右側に車線変更したと判定し、ステップＳ８に進む。ステップＳ８では、過去時点で検出された右側の区画線、すなわちステップＳ１０からステップＳ８への処理で記憶された左右の区画線のうち右側の区画線と、現在時点（ステップＳ２）で検出された左側の区画線とを互いに接続するような地図を生成し、記憶部１２に記憶する。これにより車線変更時に区画線が明確に検出されない場合であっても、車線の位置情報を含めた環境地図を生成することができる。On the other hand, if the result of step S4 is negative, the process proceeds to step S5, where it is determined whether the difference Δy2 between the right-side approximate curve L2 stored in the memory unit 12 and the left feature point group P1 detected in step S2 is less than or equal to a predetermined value Δy2a. If the result of step S5 is positive, the process proceeds to step S12, where it is determined that the vehicle 101 has changed lanes to the right, and the process proceeds to step S8. In step S8, a map is generated that connects the right-side lane marking detected in the past, i.e., the right-side lane marking of the left and right lane marks stored in the processing from step S10 to step S8, with the left-side lane marking detected at the current time (step S2), and the map is stored in the memory unit 12. This makes it possible to generate an environmental map that includes lane position information, even if lane markings are not clearly detected when changing lanes.
一方、ステップＳ５で否定されるとステップＳ６に進み、記憶部１２に記憶された左側の近似曲線Ｌ１と、ステップＳ２で検出された右特徴点群Ｐ２との差異Δｙ３が所定値Δｙ３ａ以下であるか否かを判定する。ステップＳ６で肯定されるとステップＳ７に進み、自車両１０１が左側に車線変更したと判定し、ステップＳ８に進む。ステップＳ８では、過去時点で検出された左側の区画線、すなわちステップＳ１０からステップＳ８への処理で記憶された左右の区画線のうち左側の区画線と、現在時点（ステップＳ２）で検出された右側の区画線とを互いに接続するような地図を生成し、記憶部１２に記憶する。これにより左右いずれの車線変更の場合であっても、車線の位置情報を含めた環境地図を生成することができる。On the other hand, if the result of step S5 is negative, the process proceeds to step S6, where it is determined whether the difference Δy3 between the left-side approximate curve L1 stored in the memory unit 12 and the right-side feature point group P2 detected in step S2 is less than or equal to a predetermined value Δy3a. If the result of step S6 is positive, the process proceeds to step S7, where it is determined that the vehicle 101 has changed lanes to the left, and the process proceeds to step S8. In step S8, a map is generated that connects the left-side lane marking detected in the past, i.e., the left-side lane marking of the left and right lane markings stored in the processing from step S10 to step S8, with the right-side lane marking detected at the current time (step S2), and the map is stored in the memory unit 12. This makes it possible to generate an environmental map that includes lane position information regardless of whether the lane change is to the left or right.
ステップＳ６で否定されるとステップＳ８に進む。この場合、車線変更の有無が未確定である。したがって、区画線が未検出である領域での区画線の接続は行わずに地図を生成し、記憶部１２に記憶する。その後、繰り返しの処理で車線変更の有無が確定されると、区画線が未検出の領域で区画線の接続が行われ、地図情報が更新される。If step S6 is negative, the process proceeds to step S8. In this case, it is not yet clear whether a lane change has occurred. Therefore, a map is generated without connecting lane lines in areas where lane lines have not been detected, and stored in the memory unit 12. After that, when it is determined whether a lane change has occurred through repeated processing, lane lines are connected in areas where lane lines have not been detected, and the map information is updated.
本実施形態に係る地図生成装置５０の動作をより具体的に説明する。自車両１０１が手動運転モードで走行しながら、カメラ画像に基づいて自車両１０１の周囲の環境地図が生成される。この環境地図には、自車線を規定する左右一対の区画線の位置情報が含まれる。図２に示すように自車両１０１が第１車線ＬＮ１から第２車線ＬＮ２に車線変更した場合、車線変更前（第１時点ｔ１）の左右の区画線２０１、２０２と、車線変更後（第２時点ｔ２）の左右の区画線２０２，２０３とが、仮に検出され続けていれば、カメラ画像に基づき自車両１０１が区画線２０２をまたいだことを検出することによって、自車両１０１が車線変更したと判断できる。その結果、車線の位置情報を含む地図情報を生成することができる。このとき、カメラ画像により検出された最新の特徴点を用いて、区画線に沿った近似曲線Ｌ１，Ｌ２が随時算出され、記憶部１２に記憶される（ステップＳ１０→ステップＳ８）。The operation of the map generation device 50 according to this embodiment will now be described in more detail. While the host vehicle 101 is traveling in manual driving mode, an environmental map of the area around the host vehicle 101 is generated based on camera images. This environmental map includes position information for a pair of left and right lane markings that define the host vehicle's lane. As shown in FIG. 2, when the host vehicle 101 changes lanes from the first lane LN1 to the second lane LN2, if the left and right lane markings 201 and 202 before the lane change (first time point t1) and the left and right lane markings 202 and 203 after the lane change (second time point t2) are continuously detected, it is possible to determine that the host vehicle 101 has changed lanes by detecting that the host vehicle 101 has crossed the lane marking 202 based on the camera image. As a result, map information including lane position information can be generated. At this time, approximate curves L1 and L2 along the lane markings are calculated as needed using the most recent feature points detected from the camera image, and the approximate curves are stored in the memory unit 12 (steps S10 and S8).
これに対し、図２に示すように、自車両１０１が第１車線ＬＮ１から第２車線ＬＮ２へ車線変更したときに、区画線２０２をまたいだことが検出されないと、近似曲線を用いて車線変更の有無が判定される。すなわち、この場合には、第１時点ｔ１に算出された区画線２０２に沿った右側の近似曲線Ｌ２と、第２時点ｔ２に検出された左特徴点Ｐ１との差異Δｙ２が所定値Δｙ２ａ以下となり、これにより右側車線への車線変更が判定される（ステップＳ１２）。その結果、車線変更前の右側の区画線２０２と車線変更後の右側の区画線２０３とが誤って接続されることを防止することができる。このため、同一の区画線同士を接続した正確な環境地図を生成することができる。In contrast, as shown in FIG. 2, when the vehicle 101 changes lanes from the first lane LN1 to the second lane LN2, if it is not detected that the vehicle has crossed a lane marking 202, the presence or absence of a lane change is determined using an approximate curve. That is, in this case, the difference Δy2 between the right-side approximate curve L2 along the lane marking 202 calculated at the first time point t1 and the left feature point P1 detected at the second time point t2 is less than or equal to a predetermined value Δy2a, and this determines that the vehicle has changed to the right lane (step S12). As a result, it is possible to prevent the right-side lane marking 202 before the lane change from being erroneously connected to the right-side lane marking 203 after the lane change. This makes it possible to generate an accurate environmental map that connects the same lane markings.
本実施形態によれば以下のような作用効果を奏することができる。
（１）地図生成装置２０は、自車両１０１の周囲の外界状況を検出するカメラ１ａと、カメラ１ａにより検出された外界状況の情報に基づいて、自車両１０１の走行車線を規定する区画線２０１～２０３の位置情報を含む地図を生成する地図生成部１７と、第１時点ｔ１でカメラ１ａにより検出された外界状況の情報に基づいて、第１時点ｔ１よりも後の第２時点ｔ２にカメラ１ａにより検出されると予測される区画線２０１～２０３の位置、すなわち近似曲線Ｌ１，Ｌ２を推定する区画線推定部２１と、区画線推定部２１により推定された区画線の位置と、第２時点ｔ２にカメラにより検出された区画線の位置との差異に基づいて、自車両１０１の車線変更の有無を判定する判定部２２と、を備える（図３）。地図生成部１７は、判定部２２による判定結果に基づいて地図を生成する。 According to this embodiment, the following effects can be achieved.
(1) The map generating device 20 includes a camera 1a that detects the external environment surrounding the vehicle 101, a map generating unit 17 that generates a map including position information of lane markings 201-203 that define the lane in which the vehicle 101 is traveling based on information about the external environment detected by the camera 1a, a lane marking estimation unit 21 that estimates the positions of the lane markings 201-203 that are predicted to be detected by the camera 1a at a second time point t2 that is later than the first time point t1, i.e., approximate curves L1 and L2, based on the information about the external environment detected by the camera 1a at a first time point t1, and a determination unit 22 that determines whether the vehicle 101 is changing lanes based on the difference between the positions of the lane markings estimated by the lane marking estimation unit 21 and the positions of the lane markings detected by the camera at the second time point t2 (FIG. 3). The map generating unit 17 generates the map based on the determination result by the determination unit 22.
これにより、地図情報がない道路を自車両１０１が走行中に、区画線が途中で途切れているような場合であっても、車線変更の有無を精度よく判定することができる。このため、区画線の位置情報を含む地図を精度よく生成することができる。その結果、例えば自動運転モードにおいて最適な目標経路を設定することができるとともに、交通の安全性や利便性をより一層改善して持続可能な輸送システムの発展に寄与する運転支援技術を提供することができる。カメラ画像のみに基づいて車線変更が判定されるため、地図生成装置２０を安価に構成できる。認識情報を利用した環境地図生成においては、逐次認識された区画線をつなぎ合わせて連続した車線を形成する必要があるため、同一の区画線を正しくつなぎ合わせて車線を形成するためには自車両が同一車線を維持する走行をしているか、車線変更したかを正しく判別する必要がある。この点、本実施形態では、車線変更の有無を正しく判別できるため、区画線の位置情報を含む地図を精度よく生成することができる。This allows for accurate determination of whether or not a lane change has occurred while the vehicle 101 is traveling on a road for which no map information is available, even if the lane markings are interrupted. This makes it possible to accurately generate a map that includes lane marking position information. As a result, for example, it is possible to set an optimal target route in autonomous driving mode, and to provide driving assistance technology that further improves traffic safety and convenience and contributes to the development of sustainable transportation systems. Because lane changes are determined based solely on camera images, the map generation device 20 can be constructed inexpensively. In generating an environmental map using recognition information, it is necessary to connect consecutively recognized lane marks to form a continuous lane. Therefore, in order to correctly connect identical lane marks to form a lane, it is necessary to correctly determine whether the vehicle is traveling in the same lane or has changed lanes. In this regard, this embodiment can accurately determine whether or not a lane change has occurred, making it possible to accurately generate a map that includes lane marking position information.
（２）区画線推定部２１は、カメラ１ａにより第１時点ｔ１に検出された区画線２０１，２０２の位置情報に基づいて、当該区画線２０１，２０２を通るような近似曲線Ｌ１，Ｌ２を算出し、近似曲線Ｌ１，Ｌ２に基づいて、第２時点ｔ２にカメラ１ａにより検出されると予測される区画線２０１，２０２の位置、すなわち車線維持を想定した場合の区画線２０１，２０２の位置を推定する（図４）。これにより区画線２０１，２０２を検出できない地点があっても、区画線の位置を良好に推定することができ、ロバスト性が向上する。(2) The lane marking estimation unit 21 calculates approximate curves L1, L2 that pass through the lane markings 201, 202 based on the position information of the lane markings 201, 202 detected by the camera 1a at the first time point t1, and estimates the positions of the lane markings 201, 202 that are predicted to be detected by the camera 1a at the second time point t2, i.e., the positions of the lane markings 201, 202 assuming lane keeping, based on the approximate curves L1, L2 (Figure 4). This allows the positions of the lane markings to be accurately estimated even if there are points where the lane markings 201, 202 cannot be detected, improving robustness.
（３）カメラ１ａは、自車両１０１の走行車線を規定する左右方向一方側の区画線２０１（第１区画線）と左右方向他方側の区画線２０２（第２区画線）とを検出するように設けられる（図２）。判定部２２は、区画線推定部２１により推定された区画線２０２の位置（近似曲線Ｌ２）と、カメラ１ａにより検出された区画線２０２の位置との差異Δｙ２に基づいて、右側車線への車線変更の有無を判定する（図６）。これにより、同一車線内を走行する際の車幅方向の位置変動が車線変更と誤判定されることを抑制することができ、車線変更の有無を良好に判定できる。(3) Camera 1a is configured to detect a lane marking 201 (first lane marking) on one side in the left-right direction that defines the lane in which vehicle 101 is traveling, and a lane marking 202 (second lane marking) on the other side in the left-right direction (Figure 2). Determination unit 22 determines whether or not there has been a lane change to the right lane based on the difference Δy2 between the position of lane marking 202 estimated by lane marking estimation unit 21 (approximate curve L2) and the position of lane marking 202 detected by camera 1a (Figure 6). This makes it possible to prevent positional fluctuations in the vehicle's width direction when traveling within the same lane from being mistakenly determined to be a lane change, thereby enabling accurate determination of whether or not there has been a lane change.
（４）第２時点ｔ２は現在時点であり、地図生成部１７は、自車両１０１が走行しながら、カメラ１ａにより検出された区画線の位置情報を含む地図を生成する。これにより、自車両１０１は、地図情報がない道路を走行しながら、道路形状に応じた精度の高い環境地図を即座に生成することができる。(4) The second time point t2 is the current time point, and the map generation unit 17 generates a map including position information of the lane markings detected by the camera 1a while the vehicle 101 is traveling. This allows the vehicle 101 to instantly generate a highly accurate environmental map that corresponds to the road shape while traveling on a road for which there is no map information.
上記実施形態は種々の形態に変形することができる。上記実施形態では、カメラ１ａ等の外部センサ群１により自車両１０１の周囲の外界状況を検出するようにしたが、ライダ等を用いて外界状況を検出するようにしてもよく、外界検出部の構成は上述したものに限らない。上記実施形態では、地図生成部２５が手動運転モードで走行しながら環境地図を生成するようにしたが、自動運転モードで走行しながら環境地図を生成するようにしてもよい。上記実施形態では、カメラ画像に基づいて環境地図を生成するようにしたが、カメラ１ａに代えて、レーダやライダにより取得されたデータを用いて自車両１０１の周囲の物体の特徴点を抽出し、環境地図を生成するようにしてもよい。したがって、地図生成部の構成は上述したものに限らない。The above embodiment can be modified in various ways. In the above embodiment, the external environment surrounding the vehicle 101 is detected using a group of external sensors 1 such as camera 1a, but the external environment may also be detected using a lidar or the like, and the configuration of the external environment detection unit is not limited to that described above. In the above embodiment, the map generation unit 25 generates an environmental map while driving in manual driving mode, but it may also generate an environmental map while driving in autonomous driving mode. In the above embodiment, the environmental map is generated based on camera images, but instead of camera 1a, data acquired by radar or lidar may be used to extract feature points of objects around the vehicle 101 and generate an environmental map. Therefore, the configuration of the map generation unit is not limited to that described above.
上記実施形態では、第１時点ｔ１でカメラ１ａにより検出された区画線の位置情報に基づいて、当該区画線を通るような近似曲線Ｌ１，Ｌ２を算出し、この近似曲線Ｌ１，Ｌ２に基づいて、自車両１０１が車線を維持して走行する場合に第２時点ｔ２にカメラにより検出されると予測される区画線の位置を推定するようにしたが、区画線推定部２１の構成は上述したものに限らない。すなわち、第１時点で検出された外界状況の情報に基づいて、近似曲線を用いずに、第２時点に検出されると予測される区画線の位置を推定するようにしてもよく、位置推定部の構成は上述したものに限らない。したがって、区画線推定部２１により推定された区画線の位置と、第２時点ｔ２に検出された区画線の位置との差異に基づいて、自車両１０１の車線変更の有無を判定する判定部２２の構成も上述したものに限らない。In the above embodiment, approximate curves L1, L2 that pass through the lane markings detected by camera 1a at first time point t1 are calculated based on the position information of the lane markings, and the position of the lane markings predicted to be detected by the camera at second time point t2 if the host vehicle 101 were to travel in its lane is estimated based on these approximate curves L1, L2. However, the configuration of the lane marking estimation unit 21 is not limited to that described above. In other words, the position of the lane markings predicted to be detected at the second time point may be estimated based on information about the external situation detected at the first time point, without using an approximate curve, and the configuration of the position estimation unit is not limited to that described above. Therefore, the configuration of the determination unit 22 that determines whether the host vehicle 101 has changed lanes based on the difference between the position of the lane markings estimated by lane marking estimation unit 21 and the position of the lane marking detected at second time point t2 is also not limited to that described above.
上記実施形態では、自車両１０１が走行しながら地図生成部１７が環境地図を生成するようにしたが、自車両１０１の走行中にカメラ画像により得られたデータを記憶部１２に記憶し、自車両１０１の走行完了後に、記憶されたデータを用いて環境地図を生成するようにしてもよい。したがって、走行しながら地図を生成しなくてもよい。In the above embodiment, the map generation unit 17 generates an environmental map while the vehicle 101 is traveling. However, data obtained from camera images while the vehicle 101 is traveling may be stored in the storage unit 12, and the stored data may be used to generate an environmental map after the vehicle 101 has completed traveling. Therefore, it is not necessary to generate a map while traveling.
上記実施形態では、自動運転機能を有する自車両１０１が、地図生成装置２０として機能する例を説明したが、自動運転機能を有しない自車両１０１が地図生成装置として機能するようにしてもよい。この場合、地図生成装置２０で生成された地図情報を他車両との間で共有し、地図情報を用いて他車両（例えば自動運転車両）の運転が支援されるようにしてもよい。すなわち、自車両１０１は、地図生成装置２０としての機能のみを有するようにしてもよい。In the above embodiment, an example was described in which the host vehicle 101 with an autonomous driving function functions as the map generation device 20, but the host vehicle 101 without an autonomous driving function may also function as the map generation device. In this case, the map information generated by the map generation device 20 may be shared with other vehicles, and the map information may be used to assist the driving of the other vehicles (e.g., autonomous vehicles). In other words, the host vehicle 101 may only function as the map generation device 20.
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。The above description is merely an example, and the present invention is not limited to the above-described embodiments and variations, as long as the features of the present invention are not impaired. It is also possible to combine one or more of the above embodiments and variations in any desired manner, and it is also possible to combine variations together.
１ａ カメラ、１０ コントローラ、１７ 地図生成部、２０ 地図生成装置、２１ 区画線推定部、２２ 判定部、２０１、２０２ 区画線、Ｌ１，Ｌ２ 近似曲線1a Camera, 10 Controller, 17 Map Generation Unit, 20 Map Generation Device, 21 Lane Line Estimation Unit, 22 Determination Unit, 201, 202 Lane Line, L1, L2 Approximation Curve
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022053817AJP7734613B2 (en) | 2022-03-29 | 2022-03-29 | Map Generator |
| CN202310222132.8ACN116890845A (en) | 2022-03-29 | 2023-03-09 | map generation device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022053817AJP7734613B2 (en) | 2022-03-29 | 2022-03-29 | Map Generator |
| Publication Number | Publication Date |
|---|---|
| JP2023146579A JP2023146579A (en) | 2023-10-12 |
| JP7734613B2true JP7734613B2 (en) | 2025-09-05 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022053817AActiveJP7734613B2 (en) | 2022-03-29 | 2022-03-29 | Map Generator |
| Country | Link |
|---|---|
| JP (1) | JP7734613B2 (en) |
| CN (1) | CN116890845A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008102684A (en) | 2006-10-18 | 2008-05-01 | Hitachi Ltd | Road marking recognition device and car navigation system |
| WO2018008082A1 (en) | 2016-07-05 | 2018-01-11 | 三菱電機株式会社 | Travel lane estimation system |
| JP2018155732A (en) | 2017-03-16 | 2018-10-04 | 株式会社デンソー | Self position estimation device |
| JP2019132762A (en) | 2018-02-01 | 2019-08-08 | トヨタ自動車株式会社 | Vehicle position estimating device |
| JP2019204210A (en) | 2018-05-22 | 2019-11-28 | トヨタ自動車株式会社 | Map generation system |
| WO2020058735A1 (en) | 2018-07-02 | 2020-03-26 | 日産自動車株式会社 | Driving support method and driving support device |
| WO2020225990A1 (en) | 2019-05-08 | 2020-11-12 | 株式会社デンソー | Display control device and display control program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6492469B2 (en)* | 2014-09-08 | 2019-04-03 | 株式会社豊田中央研究所 | Own vehicle travel lane estimation device and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008102684A (en) | 2006-10-18 | 2008-05-01 | Hitachi Ltd | Road marking recognition device and car navigation system |
| WO2018008082A1 (en) | 2016-07-05 | 2018-01-11 | 三菱電機株式会社 | Travel lane estimation system |
| JP2018155732A (en) | 2017-03-16 | 2018-10-04 | 株式会社デンソー | Self position estimation device |
| JP2019132762A (en) | 2018-02-01 | 2019-08-08 | トヨタ自動車株式会社 | Vehicle position estimating device |
| JP2019204210A (en) | 2018-05-22 | 2019-11-28 | トヨタ自動車株式会社 | Map generation system |
| WO2020058735A1 (en) | 2018-07-02 | 2020-03-26 | 日産自動車株式会社 | Driving support method and driving support device |
| WO2020225990A1 (en) | 2019-05-08 | 2020-11-12 | 株式会社デンソー | Display control device and display control program |
| Publication number | Publication date |
|---|---|
| CN116890845A (en) | 2023-10-17 |
| JP2023146579A (en) | 2023-10-12 |
| Publication | Publication Date | Title |
|---|---|---|
| US12054144B2 (en) | Road information generation apparatus | |
| US11874135B2 (en) | Map generation apparatus | |
| JP7583649B2 (en) | Map generation device and vehicle position recognition device | |
| JP2022123239A (en) | Line recognition device | |
| JP7737337B2 (en) | Map reliability determination device and driving assistance device | |
| US20220291016A1 (en) | Vehicle position recognition apparatus | |
| US20220268587A1 (en) | Vehicle position recognition apparatus | |
| JP7141478B2 (en) | map generator | |
| JP7543196B2 (en) | Driving control device | |
| US20230314162A1 (en) | Map generation apparatus | |
| US12260581B2 (en) | Distance calculation apparatus and vehicle position estimation apparatus | |
| CN116892919A (en) | map generation device | |
| JP7734613B2 (en) | Map Generator | |
| JP2022123988A (en) | Line recognition device | |
| US11867526B2 (en) | Map generation apparatus | |
| JP7141479B2 (en) | map generator | |
| JP7141477B2 (en) | map generator | |
| JP7141480B2 (en) | map generator | |
| US12163802B2 (en) | Map generation apparatus and position recognition apparatus | |
| US20250116528A1 (en) | Map generation apparatus and map generation system | |
| CN114926804B (en) | Dividing line recognition device | |
| JP2025112554A (en) | Position estimation device and vehicle control system | |
| JP2023147576A (en) | Map generation device | |
| JP2022151012A (en) | map generator | |
| JP2024078845A (en) | Lane Estimation Device and Map Generation Device |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20241127 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20250716 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250805 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250826 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7734613 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |