JP2007017351A - Navigation device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To use not only a present position itself but also the position of an object in the visual field of a user, as an object for spot registration. <P>SOLUTION: This navigation device is equipped with a storage means for storing map data, a photographing device, a means for displaying an image acquired by photographing, a means for accepting designation of a point in the displayed image by a touch panel, a registered spot calculation means for determining a coordinate position on a map corresponding to a designated position, and a means for registering the determined position on the map. The registered spot calculation means determines the coordinate position on the map of the designated point by using the position in the image of the designated point, the position on the map of the photographing device and a photographing azimuth. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

Translated fromJapanese

本発明は、ナビゲーション装置に関し、特に車載用ナビゲーション装置の地点登録の技術に関する。  The present invention relates to a navigation device, and more particularly to a technique for registering a point in a vehicle-mounted navigation device.

特許文献１には、ユーザからの指示を受けて、地図上の任意の地点を登録し、登録された地点を地図上に表示したり、目的地の候補としたりする車載用ナビゲーション装置が記載されている。この車載用ナビゲーション装置は、現在地算出機能を備え、地点登録の要求を受け付けると、車両の現在地を登録する。  Patent Document 1 describes an in-vehicle navigation device that receives an instruction from a user, registers an arbitrary point on a map, displays the registered point on the map, or sets a destination candidate. ing. This in-vehicle navigation device has a current location calculation function, and registers the current location of the vehicle when a request for location registration is received.

特開平８−３２７３７３号公報JP-A-8-327373

しかし、ユーザによっては、現在地そのものではなく、ユーザの視野にある建物等の位置を登録したい場合がある。特許文献１では、このニーズに答えられない。  However, some users may want to register the location of a building or the like in the user's field of view, not the current location itself.Patent Document 1 cannot answer this need.

本発明の目的は、現在位置に限らず、ユーザの視野にある物体の位置を、地点登録の対象とすることにある。  An object of the present invention is to set the position of an object in the user's field of view as a target for point registration, not limited to the current position.

上記課題を解決すべく、本発明のナビゲーション装置は、撮影装置で撮影した画像の中の指定された点について地図上の座標位置を求め、登録する。  In order to solve the above problems, the navigation device of the present invention obtains and registers the coordinate position on the map for a specified point in the image captured by the imaging device.

例えば、本発明のナビゲーション装置は、地図データを記憶する記憶手段と、撮影装置と、前記撮影装置により撮影して得た映像を表示する表示手段と、前記表示手段により表示された映像内の点の指定を受け付ける受付手段と、前記受付手段により受け付けた点の地図上の位置を求める登録地点算出手段と、前記登録地点算出手段により求めた地図上の位置を登録する地点登録手段とを備えている。  For example, the navigation device of the present invention includes a storage means for storing map data, a photographing device, a display means for displaying a video obtained by photographing with the photographing device, and a point in the video displayed by the display means. Receiving means for receiving the designation of the point, registration point calculating means for obtaining the position on the map of the point received by the receiving means, and point registration means for registering the position on the map obtained by the registered point calculating means Yes.

前記登録地点算出手段は、前記受付手段により受け付けた点の前記映像内の位置と、前記撮影装置の地図上の位置と、撮影方位とを用いて、当該点に対応する地図上の位置を求めるようにしてもよい。また、前記受付手段は、タッチパネルを備えていてもよい。  The registered point calculation means obtains a position on the map corresponding to the point using the position in the video of the point received by the receiving means, the position on the map of the photographing apparatus, and the photographing direction. You may do it. The accepting unit may include a touch panel.

以下に、本発明の一実施形態について、図面を参照して説明する。  An embodiment of the present invention will be described below with reference to the drawings.

図１は、車載用ナビゲーション装置１００の概略構成図である。図示するように、車載用ナビゲーション装置１００は、演算処理部１と、ディスプレイ２と、記憶装置３と、音声入出力装置４と、入力装置５と、車輪速センサ６と、地磁気センサ７と、ジャイロセンサ８と、ＧＰＳ(Global Positioning System)受信装置９と、カメラ１０とを備えている。  FIG. 1 is a schematic configuration diagram of an in-vehicle navigation device 100. As shown in the figure, the in-vehicle navigation device 100 includes anarithmetic processing unit 1, adisplay 2, astorage device 3, a voice input /output device 4, aninput device 5, awheel speed sensor 6, ageomagnetic sensor 7, Agyro sensor 8, a GPS (Global Positioning System)receiver 9, and acamera 10 are provided.

演算処理部１は、様々な処理を行う中心的ユニットである。例えば各種センサ６〜８やＧＰＳ受信装置９から出力される情報を基にして現在地を検出する。また、得られた現在地情報に基づいて、表示に必要な地図データを記憶装置３から読み出す。また、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ２へ表示する。また、記憶装置３に記憶されている地図データを用いて、ユーザから指示された目的地と現在地（出発地）とを結ぶ最適な経路（推奨経路）を探索する。また、音声入出力装置４やディスプレイ２を用いてユーザを誘導する。  Thearithmetic processing unit 1 is a central unit that performs various processes. For example, the present location is detected based on information output from thevarious sensors 6 to 8 and theGPS receiver 9. Further, map data necessary for display is read out from thestorage device 3 based on the obtained current location information. Further, the read map data is developed in graphics, and a mark indicating the current location is superimposed on the map data and displayed on thedisplay 2. In addition, the map data stored in thestorage device 3 is used to search for an optimum route (recommended route) connecting the destination instructed by the user and the current location (departure location). Further, the user is guided using the voice input /output device 4 and thedisplay 2.

ディスプレイ２は、演算処理部１で生成されたグラフィックス情報を表示するユニットである。ディスプレイ２は、ＣＲＴや液晶ディスプレイなどで構成される。演算処理部１とディスプレイ２との間の信号Ｓ１は、ＲＧＢ信号やＮＴＳＣ（National Television System Committee）信号で接続するのが一般的である。  Thedisplay 2 is a unit that displays graphics information generated by thearithmetic processing unit 1. Thedisplay 2 is composed of a CRT, a liquid crystal display, or the like. The signal S1 between thearithmetic processing unit 1 and thedisplay 2 is generally connected by an RGB signal or an NTSC (National Television System Committee) signal.

記憶装置３は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭやＨＤＤやＩＣカードといった記憶媒体で構成されている。この記憶媒体には、地図データが記憶されている。  Thestorage device 3 includes a storage medium such as a CD-ROM, DVD-ROM, HDD, or IC card. This storage medium stores map data.

地図データは、地図上の区画された領域であるメッシュの識別コード（メッシュＩＤ）ごとに、そのメッシュ領域に含まれる道路を構成する各リンクのリンクデータを含む。リンクデータは、リンクＩＤごとに、リンクを構成する２つのノード（開始ノード、終了ノード）の座標情報、リンクを含む道路の種別情報、リンクの長さを示すリンク長情報、リンク旅行時間、２つのノードにそれぞれ接続するリンクのリンクＩＤ（接続リンクＩＤ）などを含んでいる。  The map data includes, for each mesh identification code (mesh ID), which is a partitioned area on the map, link data of each link constituting a road included in the mesh area. The link data includes, for each link ID, coordinate information of two nodes (start node and end node) constituting the link, road type information including the link, link length information indicating the link length, link travel time, 2 It includes the link ID (connection link ID) of the link connected to each node.

また、地図データには、対応するメッシュ領域に含まれている道路以外の地図構成物（建物、街路樹、ガードレールなど）の情報（位置、大きさなど）も含まれている。  The map data also includes information (position, size, etc.) of map components (buildings, street trees, guardrails, etc.) other than roads included in the corresponding mesh area.

音声入出力装置４は、演算処理部１で生成したユーザへのメッセージを音声信号に変換し出力する。また、ユーザが発した声を認識し演算処理部１にその内容を転送する処理を行う。  The voice input /output device 4 converts the message to the user generated by thearithmetic processing unit 1 into a voice signal and outputs it. Also, a process of recognizing the voice uttered by the user and transferring the contents to thearithmetic processing unit 1 is performed.

入力装置５は、ユーザからの指示を受け付けるユニットである。入力装置５はディスプレイ２の前面に設置されたタッチパネルで構成される。ただし、入力装置５として、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティックなどを備えていてよい。  Theinput device 5 is a unit that receives instructions from the user. Theinput device 5 includes a touch panel installed on the front surface of thedisplay 2. However, theinput device 5 may include a hard switch such as a scroll key and a scale change key, a joystick, and the like.

センサ６〜８およびＧＰＳ受信装置９は、車載用ナビゲーション装置１００で現在地（自車位置）を検出するために使用されるものである。車輪速センサ６は、車輪の円周と計測される車輪の回転数の積から距離を測定し、さらに対となる車輪の回転数の差から移動体が曲がった角度を計測する。地磁気センサ７は、地球が保持している磁場を検知し、移動体が向いている方角を検出する。ジャイロ８は、光ファイバジャイロや振動ジャイロ等で構成され、移動体が回転した角度を検出するものである。ＧＰＳ受信装置９は、ＧＰＳ衛星からの信号を受信し移動体とＧＰＳ衛星間の距離と距離の変化率を３個以上の衛星に対して測定することで移動体の現在位置、進行速度および進行方位を測定する。  Thesensors 6 to 8 and theGPS receiver 9 are used for detecting the current location (vehicle position) by the vehicle-mountednavigation device 100. Thewheel speed sensor 6 measures the distance from the product of the wheel circumference and the measured number of rotations of the wheel, and further measures the angle at which the moving body is bent from the difference in the number of rotations of the paired wheels. Thegeomagnetic sensor 7 detects the magnetic field held by the earth and detects the direction in which the moving body is facing. Thegyro 8 is configured by an optical fiber gyro, a vibration gyro, or the like, and detects an angle at which the moving body rotates. TheGPS receiver 9 receives a signal from a GPS satellite and measures the distance between the mobile body and the GPS satellite and the rate of change of the distance with respect to three or more satellites to thereby determine the current position, travel speed, and travel of the mobile body. Measure orientation.

カメラ１０は、車載用ナビゲーション装置１００が搭載されている車両の周辺の映像を取得するための撮影装置である。カメラ１０は、ＣＣＤカメラなどの小型カメラで構成される。  Thecamera 10 is a photographing device for acquiring an image around the vehicle on which the vehicle-mountednavigation device 100 is mounted. Thecamera 10 is a small camera such as a CCD camera.

図２はカメラ１０の設置の様子を示す側面図である。カメラ１０は、例えば、車両８８の上部に、支持台１０ｓを介して取り付けられている。支持台１０ｓは、カメラ１０の撮影方位１０ｘを、水平方向及び垂直方向（パン、チルト）に変位可能とする。支持台１０ｓの制御は、ステッピングモータにより行われる。  FIG. 2 is a side view showing how thecamera 10 is installed. Thecamera 10 is attached to the upper part of thevehicle 88 through asupport base 10s, for example. Thesupport base 10s can displace the photographingdirection 10x of thecamera 10 in the horizontal direction and the vertical direction (pan, tilt). The control of thesupport base 10s is performed by a stepping motor.

図３はカメラ１０の設置の様子を示す平面図である。カメラ１０の車両８８に対する設置位置は、予め定められている。また、ＧＰＳ受信装置９のアンテナ９１の車両に対する設置位置も予め定められている。ＧＰＳアンテナ９１の設置位置及びカメラ１０の設置位置に関する情報は予め登録されているので、車載用ナビゲーション装置１００は、ＧＰＳ受信装置９が出力する現在位置（ＧＰＳアンテナの位置）を基準に、カメラ１０の地図上の座標位置を求めることができる。また、カメラ１０の車両に対する設置方位θｂは、支持台１０ｓのステッピングモータの回転角により求めることができるので、車載用ナビゲーション装置１００は、車両方位（図中、基準方位Ｎとして、θａ）と、カメラ１０の車両に対する設置方位θｂとから、カメラ１０の撮影方位１０ｘ（図中、基準方位Ｎとして、θ）を求めることができる。なお、カメラ１０の座標位置を、ＧＰＳ受信装置９の座標位置と近似して用いても良い。  FIG. 3 is a plan view showing how thecamera 10 is installed. The installation position of thecamera 10 with respect to thevehicle 88 is determined in advance. Further, the installation position of the antenna 91 of theGPS receiver 9 with respect to the vehicle is also determined in advance. Since the information regarding the installation position of the GPS antenna 91 and the installation position of thecamera 10 is registered in advance, the vehicle-mountednavigation device 100 uses the current position (the position of the GPS antenna) output from theGPS receiver 9 as a reference. The coordinate position on the map can be obtained. In addition, since the installation direction θb of thecamera 10 with respect to the vehicle can be obtained from the rotation angle of the stepping motor of thesupport base 10s, the vehicle-mountednavigation device 100 has a vehicle direction (θa as a reference direction N in the figure), From the installation direction θb of thecamera 10 with respect to the vehicle, theshooting direction 10x of the camera 10 (θ as the reference direction N in the figure) can be obtained. Note that the coordinate position of thecamera 10 may be approximated to the coordinate position of theGPS receiver 9.

図４は、演算処理部１の機能ブロック図である。  FIG. 4 is a functional block diagram of thearithmetic processing unit 1.

図示するように、演算処理部１は、ユーザ操作解析部４１と、経路探索部４２と、経路誘導部４３と、現在位置算出部４４と、情報記憶部４５、地点登録部４６と、表示処理部４７とを備えている。  As illustrated, thearithmetic processing unit 1 includes a useroperation analysis unit 41, aroute search unit 42, aroute guidance unit 43, a currentposition calculation unit 44, aninformation storage unit 45, apoint registration unit 46, and display processing.Part 47.

ユーザ操作解析部４１は、入力装置５に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部１の各部を制御する。例えば、ユーザから地点登録の要求を受け付けたときは、地点登録に関する処理が行われるように地点登録部４６に指示する。  The useroperation analysis unit 41 receives a request from the user input to theinput device 5, analyzes the request content, and controls each unit of thearithmetic processing unit 1 so that processing corresponding to the request content is executed. To do. For example, when a point registration request is received from a user, thepoint registration unit 46 is instructed to perform processing related to point registration.

現在位置算出部４４は、車輪速センサ６で計測される距離パルスデータＳ５およびジャイロ８で計測される角加速度データＳ７を各々積分した結果得られる距離データおよび角度データを用い、そのデータを時間軸で積分していくことにより、初期位置（Ｘ，Ｙ）から自車走行後の位置である仮想現在地（Ｘ′，Ｙ′）を定期的に演算する。また、仮想現在位置を、地図データを用いて、マップマッチ処理することにより、形状の相関が最も高い道路（リンク）上に、現在位置を合わせ込む。  The currentposition calculation unit 44 uses distance data and angle data obtained as a result of integrating the distance pulse data S5 measured by thewheel speed sensor 6 and the angular acceleration data S7 measured by thegyro 8, respectively. Is integrated periodically to calculate the virtual current location (X ′, Y ′) that is the position after the vehicle travels from the initial position (X, Y). Further, the virtual current position is subjected to the map matching process using the map data, thereby matching the current position on the road (link) having the highest shape correlation.

経路探索部４２は、ダイクストラ法等を用いて、指定された２地点（現在地、目的地）間を結ぶ経路のコスト（例えば、旅行時間）が最少となる経路を探索する。  Theroute search unit 42 uses a Dijkstra method or the like to search for a route that minimizes the cost (for example, travel time) of a route connecting two designated points (current location, destination).

経路誘導部４３は、経路探索部４２で探索された経路を用いて経路誘導を行う。  Theroute guidance unit 43 performs route guidance using the route searched by theroute search unit 42.

情報記憶部４５には、予めＧＰＳアンテナの設置位置及びカメラ１０の設置位置に関する情報が記憶されている。  Theinformation storage unit 45 stores information related to the installation position of the GPS antenna and the installation position of thecamera 10 in advance.

地点登録部４６は、ユーザの指示に従って任意の地点を情報記憶部４５に登録する。また、ユーザからの指示に従って、カメラ１０で撮像した映像内の建物等に関し地図上の座標位置を求め、その位置を登録する。  Thepoint registration unit 46 registers an arbitrary point in theinformation storage unit 45 in accordance with a user instruction. Further, in accordance with an instruction from the user, a coordinate position on a map is obtained for a building or the like in an image captured by thecamera 10, and the position is registered.

表示処理部４７は、ディスプレイ２に表示すべき情報の描画コマンドを生成し、生成したコマンドを、ディスプレイ２に送信する。また、表示する地図の範囲内に登録された地点がある場合、登録地点があることを示す情報（例えば、旗マーク）が表示されるようにする。  Thedisplay processing unit 47 generates a drawing command for information to be displayed on thedisplay 2, and transmits the generated command to thedisplay 2. Further, when there is a registered point within the range of the map to be displayed, information (for example, a flag mark) indicating that there is a registered point is displayed.

図５は、演算処理部１のハードウェア構成例を示す図である。  FIG. 5 is a diagram illustrating a hardware configuration example of thearithmetic processing unit 1.

図示するように、演算処理部１は、各デバイス間をバス３２で接続した構成としてある。演算処理部１は、数値演算及び各デバイスを制御するといった様々な処理を実行するＣＰＵ(Central Processing Unit)２１と、記憶装置３から読み出した地図データ、演算データなどを格納するＲＡＭ(Random Access Memory)２２と、プログラムやデータを格納するＲＯＭ(Read Only Memory)２３と、メモリ間およびメモリと各デバイスとの間のデータ転送を実行するＤＭＡ（Direct Memory Access）２４と、グラフィックス描画を実行し且つ表示制御を行う描画コントローラ２５と、グラフィックスイメージデータを蓄えるＶＲＡＭ(Video Random Access Memory)２６と、イメージデータをＲＧＢ信号に変換するカラーパレット２７と、アナログ信号をデジタル信号に変換するＡ/Ｄ変換器２８と、シリアル信号をバスに同期したパラレル信号に変換するＳＣＩ(Serial Communication Interface)２９と、パラレル信号をバスに同期させてバス上にのせるＰＩＯ(Parallel Input/Output)３０と、パルス信号を積分するカウンタ３１と、カメラ１０のステッピングモータに制御命令を送信して撮影方向を制御するとともに、撮像して得たアナログ信号を画像データに変換するカメラ制御装置３３とを有する。  As illustrated, thearithmetic processing unit 1 has a configuration in which devices are connected by abus 32. Thearithmetic processing unit 1 includes a CPU (Central Processing Unit) 21 that executes various processes such as numerical calculation and control of each device, and a RAM (Random Access Memory) that stores map data, arithmetic data, and the like read from the storage device 3. ) 22, a ROM (Read Only Memory) 23 for storing programs and data, a DMA (Direct Memory Access) 24 for transferring data between the memories and between the memory and each device, and graphics drawing. In addition, a drawingcontroller 25 that performs display control, a video random access memory (VRAM) 26 that stores graphics image data, a color palette 27 that converts image data into RGB signals, and an A / D that converts analog signals into digital signals.Converter 28 and an SCI (Serial Communication Interface) that converts the serial signal into a parallel signal synchronized with the bus. ace) 29, a PIO (Parallel Input / Output) 30 that puts a parallel signal on the bus in synchronization with the bus, acounter 31 that integrates the pulse signal, and a stepping motor of thecamera 10 to send a control command to shoot Thecamera control device 33 controls the direction and converts an analog signal obtained by imaging into image data.

［動作の説明］次に、上記構成の車載用ナビゲーション装置１００の動作について説明する。  [Description of Operation] Next, the operation of the in-vehicle navigation device 100 having the above-described configuration will be described.

本実施形態の車載用ナビゲーション装置１００は、地図上の任意の地点を登録する機能を備えている。かかる地点登録の機能は、車両の現在位置を登録するに限らず、カメラ１０で撮像した画像内にある建物等の位置を登録することもできる。  The in-vehicle navigation device 100 of this embodiment has a function of registering an arbitrary point on a map. The location registration function is not limited to registering the current position of the vehicle, but can also register the position of a building or the like in the image captured by thecamera 10.

図６は、かかる地点登録処理の流れを示すフロー図である。  FIG. 6 is a flowchart showing the flow of the point registration process.

ユーザ操作解析部４１は、ユーザから入力装置５を介してカメラ１０の撮影画像を表示するように要求されると、表示処理部４７を介してカメラ１０の撮影画像をディスプレイ２に表示する（Ｓ１０）。  When the useroperation analysis unit 41 is requested by the user to display a captured image of thecamera 10 via theinput device 5, the useroperation analysis unit 41 displays the captured image of thecamera 10 on thedisplay 2 via the display processing unit 47 (S10). ).

図７は、撮影画像５１０の表示例を示す。このように、撮影画像を表示している間、ユーザ操作解析部４１は、ユーザから入力装置５を介して、撮影画像上の任意の位置を受け付ける。すなわち、撮影画像上の点の指定を受け付けたかどうか監視する（Ｓ１１）。上述の通り、ディスプレイ２の前面には、入力装置５としてタッチパネルが配置されている。ユーザ操作解析部４１は、ユーザによりタッチパネルがタッチされると、タッチされたパネル上の位置に対応する撮影画像上の位置を特定する。図７では、点Ｑが指定されたとする。  FIG. 7 shows a display example of the captured image 510. In this way, while displaying the captured image, the useroperation analysis unit 41 receives an arbitrary position on the captured image from the user via theinput device 5. That is, it is monitored whether designation of a point on the photographed image is accepted (S11). As described above, a touch panel is arranged as theinput device 5 on the front surface of thedisplay 2. When the touch panel is touched by the user, the useroperation analysis unit 41 specifies a position on the captured image corresponding to the touched position on the panel. In FIG. 7, it is assumed that the point Q is designated.

撮影画像上のいずれかの位置が指定された場合（Ｓ１１でＹｅｓ）、地点登録部４６は、指定された点に対応する地図上の座標位置（緯度、経度）を求める（Ｓ１２）。  When any position on the captured image is designated (Yes in S11), thepoint registration unit 46 obtains a coordinate position (latitude, longitude) on the map corresponding to the designated point (S12).

図８及び図９は、撮影画像上の指定された点の地図上の座標位置を求める方法を説明するための図である。図８（ａ）は側面図であり、図８（ｂ）は撮影画像５１０を示す。また、図９（ａ）は天頂方向からの平面図であり、図９（ｂ）は撮影画像５１０である。  8 and 9 are diagrams for explaining a method for obtaining a coordinate position on a map of a specified point on a captured image. FIG. 8A is a side view, and FIG. 8B shows a captured image 510. 9A is a plan view from the zenith direction, and FIG. 9B is a captured image 510. FIG.

図８（ａ）に示すように、カメラ１０の撮影方位（Ｈ−Ｐ２）は、仰角θｍとして、地面５０３に向けて少し傾いている。なお、地面５０３は、ほぼ水平であると推定する。カメラ１０の視野５０２は、カメラ位置Ｈを中心に遠方ほど広がり、地面５０３上では、Ｐ１−Ｐ３の範囲となる。また、図９（ａ）に示すように、水平方向の視野５０２は、地面５０３上では、Ｐ４−Ｐ６の範囲となる。撮影画像５１０は、図８（ｂ）及び図９（ｂ）に示すように、撮影方位（Ｈ−Ｐ２）に垂直な投影面５０１における画像である。  As shown in FIG. 8A, the shooting direction (H-P2) of thecamera 10 is slightly inclined toward theground 503 as the elevation angle θm. Note that theground surface 503 is estimated to be substantially horizontal. The field ofview 502 of thecamera 10 spreads farther away with the camera position H as the center, and on theground surface 503, is in the range of P1-P3. Further, as shown in FIG. 9A, the horizontalvisual field 502 is in a range of P4 to P6 on theground surface 503. The photographed image 510 is an image on theprojection plane 501 perpendicular to the photographing orientation (H-P2), as shown in FIGS. 8B and 9B.

かかる場合、図８に示すように、撮影画像５１０の最も下に位置する点ｐ１の地図上の座標位置は、点Ｐ１に相当する。また、撮影画像５１０の最も上に位置する点ｐ３の座標位置は、点Ｐ３に相当する。一方、図９に示すように、撮影画像５１０の最も左に位置する点ｐ４の座標位置は、点Ｐ４に相当する。また、撮影画像５１０の最も右に位置する点ｐ６の座標位置は、点Ｐ６に相当する。  In such a case, as shown in FIG. 8, the coordinate position on the map of the point p1 located at the bottom of the captured image 510 corresponds to the point P1. Further, the coordinate position of the point p3 located at the top of the photographed image 510 corresponds to the point P3. On the other hand, as shown in FIG. 9, the coordinate position of the leftmost point p4 in the captured image 510 corresponds to the point P4. Further, the coordinate position of the point p6 located on the rightmost side of the captured image 510 corresponds to the point P6.

そして、撮影画像中の点Ｑの地図上の座標位置は、カメラ位置Ｈと投影面５０１上の点Ｑとを結ぶ線Ｌと、地面５０３との交点ｑとなる。したがって、カメラの地図上の座標位置、撮影方位が分かれば、撮影画像中の点の地図座標上の位置を求めることができる。  The coordinate position of the point Q in the captured image on the map is an intersection q between the line L connecting the camera position H and the point Q on theprojection plane 501 and theground 503. Therefore, if the coordinate position and shooting direction on the map of the camera are known, the position of the point in the shot image on the map coordinate can be obtained.

カメラ１０の車両８８への設置位置は予め登録されているので、地点登録部４６は、車両の現在位置と車両方位とカメラ１０の設置位置から、カメラ１０の地図上の座標位置を求めることができる。また、図３に示すように、カメラ１０の撮影方位θは、車両方位θａと、カメラ１０の支持台に向けられたステッピングモータの回転角から定められるカメラ１０の設置方位θｂとから求めることができる。そして、地点登録部４６は、こうして求めたカメラ１０の地図上の座標位置と、撮影方位θと、撮影画像中の指定された点の位置とから、指定された点の地図上の座標位置を求めることができる。  Since the installation position of thecamera 10 on thevehicle 88 is registered in advance, thepoint registration unit 46 can obtain the coordinate position of thecamera 10 on the map from the current position of the vehicle, the vehicle orientation, and the installation position of thecamera 10. it can. Further, as shown in FIG. 3, the shooting direction θ of thecamera 10 can be obtained from the vehicle direction θa and the installation direction θb of thecamera 10 determined from the rotation angle of the stepping motor directed to the support base of thecamera 10. it can. Then, thepoint registration unit 46 determines the coordinate position of the designated point on the map from the coordinate position on the map of thecamera 10 thus obtained, the photographing direction θ, and the position of the designated point in the photographed image. Can be sought.

図６に戻って説明を続ける。次に、地点登録部４６は、求められた点の位置を登録する。具体的には、地点登録部４６は、図１０に示すように、登録地点を識別するための情報（登録地点ＩＤ）３０１と、Ｓ１２で求めた指定された点の座標位置（緯度、経度）３０２と、登録日時３０３と、撮影映像３０４を含む登録地点情報３００を生成し、情報記憶部４５に登録する。なお、登録する撮影映像３０４は、ディスプレイ２に表示した撮影画像５１０のうち、指定された点の周囲の画像を切り抜いたもの（例えば、指定された点から所定距離にある画像領域）を登録するようにしてもよい。  Returning to FIG. 6, the description will be continued. Next, thepoint registration unit 46 registers the position of the obtained point. Specifically, as shown in FIG. 10, thepoint registration unit 46 has information (registration point ID) 301 for identifying the registration point, and the coordinate position (latitude, longitude) of the designated point obtained in S12. 302,registration date information 303 including registration date andtime 303 and capturedvideo 304 is generated and registered in theinformation storage unit 45. As the capturedvideo 304 to be registered, an image obtained by cutting out an image around a specified point from the captured image 510 displayed on the display 2 (for example, an image region at a predetermined distance from the specified point) is registered. You may do it.

その後、ユーザ操作解析部４１は、Ｓ１０に戻り、再び、撮影画像を表示し、地点登録要求の有無を監視する（Ｓ１１）。  Thereafter, the useroperation analysis unit 41 returns to S10, displays the captured image again, and monitors the presence / absence of the location registration request (S11).

この地点登録処理は、ユーザから入力装置５を介して撮影画像の表示の停止要求があった場合に、終了する。  This point registration process ends when the user requests to stop the display of the captured image via theinput device 5.

こうして、登録された地点は、様々な処理に利用される。例えば、経路探索の際の目的地設定の処理において、目的地の候補として登録された地点をリストアップして表示する。例えば、登録された日時が最近のものから順にリストアップして表示する。  Thus, the registered point is used for various processes. For example, in the destination setting process when searching for a route, points registered as destination candidates are listed and displayed. For example, the registered date and time are listed and displayed in order from the latest one.

また、図１１に示すように、画面６００に表示した地図６０１内に登録地点６０２がある場合、表示処理部４７は、登録地点情報３００の登録映像３０４を取得し、取得した映像６０３を表示するようにしてもよい。なお、撮影した映像が動画である場合は、動画を表示するようにしてもよい。  As shown in FIG. 11, when there is a registeredspot 602 in themap 601 displayed on thescreen 600, thedisplay processing unit 47 acquires the registeredvideo 304 of the registered spot information 300 and displays the acquiredvideo 603. You may do it. In addition, when the image | photographed image | video is a moving image, you may make it display a moving image.

以上、本発明の一実施形態について説明した。  The embodiment of the present invention has been described above.

上記実施形態によれば、カメラで撮像した画像の中の任意の点の指定を受け付け、受け付けた点の地図上の座標位置を求めて、その位置を地点登録する。したがって、車両の現在位置そのものでなく、ユーザの視野にある建物等の位置を地点登録することができる。また、ユーザは、地点登録したい位置を、ディスプレイ上のタッチパネルで指定するだけでよいので、操作が簡便である。  According to the above-described embodiment, designation of an arbitrary point in the image captured by the camera is received, the coordinate position of the received point on the map is obtained, and the position is registered as a point. Therefore, it is possible to register the location of the building or the like in the user's field of view instead of the current location of the vehicle. Further, since the user only has to specify the position to be registered with the touch panel on the display, the operation is simple.

本発明は、上記実施形態に限定されない。上記実施形態は、本発明の要旨の範囲内で様々な変形が可能である。  The present invention is not limited to the above embodiment. The above embodiment can be variously modified within the scope of the gist of the present invention.

例えば、撮影画像中の指定された点の座標位置を求める方法は、上述した図８及び図９で示した方法に限定されない。具体的には、地点登録部４６は、まず、撮影画像中の指定された点の位置に基づいて、カメラ位置からその点に対応する物体（例えば、建物）までの方位を求める。次に、カメラをその方位に合わせるとともに、焦点をその物体に合わせ、焦点距離を測り、カメラからその物体までの距離Ｄを求める。次に、カメラの地図上の座標位置と、カメラの方位と、求めた物体までの距離Ｄとから、その物体の地図上の座標位置を求める。また、距離センサを設けて、物体までの距離を求めるようにしてもよい。  For example, the method for obtaining the coordinate position of the designated point in the captured image is not limited to the method shown in FIGS. Specifically, thepoint registration unit 46 first obtains an orientation from the camera position to an object (for example, a building) corresponding to the point based on the position of the designated point in the captured image. Next, the camera is adjusted to the direction, the focal point is adjusted to the object, the focal distance is measured, and the distance D from the camera to the object is obtained. Next, the coordinate position of the object on the map is obtained from the coordinate position of the camera on the map, the camera orientation, and the obtained distance D to the object. In addition, a distance sensor may be provided to obtain the distance to the object.

また、ユーザにより画像中の建物などが指定された場合、その建物の最下部（建物と地上の接触地点）を、Ｓ１１における指定された点として、地図上の座標位置を求めるようにしてもよい。こうすれば、地面上の地点を指定されなかった場合でも、より精度よく、ユーザが登録しようとする建物の地点を登録できる。例えば、ユーザが電柱を指して地点登録しようとした場合に、タッチパネルにて電柱の画像の中間を指定したとする。電柱などの建物は、同系色であるので、ユーザにより指定された点の色と同じ色であって、繋がりのある範囲を特定し、電柱を構成する画像領域を特定する。そして、地点登録部４６は、特定した画像領域について、下方向に色の変化を調べていき、地面の色（例えば道路上では、黒）になった地点を、電柱の付け根とし、この地点を登録すべき地点とする。  Further, when a user designates a building or the like in the image, the coordinate position on the map may be obtained with the lowest part of the building (the contact point between the building and the ground) as the designated point in S11. . In this way, even if a point on the ground is not designated, the point of the building to be registered by the user can be registered with higher accuracy. For example, when the user points to a utility pole and tries to register a point, it is assumed that the middle of the utility pole image is designated on the touch panel. Since buildings such as utility poles have similar colors, a range that is the same color as the color of the point designated by the user and that is connected is specified, and an image area that constitutes the utility pole is specified. Then, thepoint registration unit 46 examines the color change in the downward direction for the identified image region, and sets the point where the color of the ground (for example, black on the road) becomes the base of the electric pole, It is a point that should be registered.

また、車両へのカメラの設置位置は、上述した位置に限定されない。車両の側面に設置するものであってもよい。また、上記実施形態では、カメラは、回動する支持台により撮影方位を可変としたが、撮影方位が固定されるものであってもよい。  Moreover, the installation position of the camera in a vehicle is not limited to the position mentioned above. It may be installed on the side of the vehicle. In the above-described embodiment, the camera has a shooting direction variable by the rotating support base. However, the shooting direction may be fixed.

また、上記実施形態では、本発明を車載用ナビゲーション装置の地点登録に適用する場合について説明したが、地図情報を収集する測量装置に適用することもできる。例えば、新たな施設が建設され地図データを更新する必要がある場合、その施設の座標位置を知る必要がある。従来は、人が測量しその施設の座標位置を求めていた。本発明を測量装置に適用すれば、ユーザは、撮影画像中の測量したい施設を指定するだけで、その施設の座標位置を測量できる。  Moreover, although the said embodiment demonstrated the case where this invention was applied to the point registration of a vehicle-mounted navigation apparatus, it can also be applied to the surveying apparatus which collects map information. For example, when a new facility is constructed and map data needs to be updated, it is necessary to know the coordinate position of the facility. In the past, people surveyed to find the coordinate position of the facility. If the present invention is applied to a surveying device, the user can survey the coordinate position of the facility only by specifying the facility to be surveyed in the captured image.

かかる測量装置の構成は、経路探索部４２や経路誘導部４３を備えない点を除いて、基本的に上述した車載用ナビゲーション装置１００と同様である。地点登録部４６は、ユーザにタッチパネルなどの入力装置５を介して、撮影した画像中で、測量したい施設の位置を指定させる。そして、その位置の座標位置を求めて、情報記憶部４５に登録する。または、ユーザからの要求に応じて、座標位置をディスプレイ２に出力する。こうすれば、撮像画像中の施設の位置を指定するだけで、座標位置を計算する測量装置が達成される。なお、カメラは、前方に向いている必要はなく、後方に向いていても良いし、ユーザからの要求に応じて、自由に撮影方位を変えられるようにしてもよい。  The configuration of the surveying device is basically the same as that of the vehicle-mountednavigation device 100 described above except that theroute searching unit 42 and theroute guiding unit 43 are not provided. Thepoint registration unit 46 allows the user to specify the position of the facility to be surveyed in the captured image via theinput device 5 such as a touch panel. Then, the coordinate position of the position is obtained and registered in theinformation storage unit 45. Alternatively, the coordinate position is output to thedisplay 2 in response to a request from the user. In this way, a surveying device that calculates the coordinate position can be achieved simply by specifying the position of the facility in the captured image. Note that the camera does not have to face forward, and may face backward, or the photographing orientation may be freely changed according to a request from the user.

図１は、車載用ナビゲーション装置の概略構成図である。FIG. 1 is a schematic configuration diagram of an in-vehicle navigation device.図２は、カメラの設置位置を説明するための図である。FIG. 2 is a diagram for explaining the installation position of the camera.図３は、カメラの設置位置を説明するための図である。FIG. 3 is a diagram for explaining the installation position of the camera.図４は、演算処理部１の機能構成を示す図である。FIG. 4 is a diagram illustrating a functional configuration of thearithmetic processing unit 1.図５は、演算処理部１のハードウェア構成を示す図である。FIG. 5 is a diagram illustrating a hardware configuration of thearithmetic processing unit 1.図６は、地点登録処理のフロー図である。FIG. 6 is a flowchart of the point registration process.図７は、撮影画像の表示例である。FIG. 7 is a display example of a captured image.図８は、画像中の点の地図上の座標位置を求める方法を説明する図である。FIG. 8 is a diagram for explaining a method for obtaining a coordinate position on a map of a point in an image.図９は、画像中の点の地図上の座標位置を求める方法を説明する図である。FIG. 9 is a diagram for explaining a method for obtaining a coordinate position on a map of a point in an image.図１０は、登録地点情報の構成例である。FIG. 10 is a configuration example of registration point information.図１１は、登録地点の表示例である。FIG. 11 is a display example of registered points.

符号の説明Explanation of symbols

１００…車載用ナビゲーション装置、
１…演算処理部、２…ディスプレイ、３…記憶装置、４…音声出入力装置、５…入力装置、６…車輪速センサ、７…地磁気センサ、８…ジャイロ、９…ＧＰＳ受信機、１０…カメラ
２１…ＣＰＵ、２２…ＲＡＭ、２３…ＲＯＭ、２４…ＤＭＡ、２５…描画コントローラ、２６…ＶＲＡＭ、２７…カラーパレット、２８…Ａ/Ｄ変換器、２９…ＳＣＩ、３０…ＰＩＯ、３１…カウンタ、３３…カメラ制御装置、４１…ユーザ操作解析部、４２…経路探索部、４３…経路誘導部、４４…現在位置算出部、４５…情報記憶部、４６…地点登録部、４７…表示処理部100: In-vehicle navigation device,
DESCRIPTION OFSYMBOLS 1 ... Arithmetic processing part, 2 ... Display, 3 ... Memory | storage device, 4 ... Audio | voice output / input device, 5 ... Input device, 6 ... Wheel speed sensor, 7 ... Geomagnetic sensor, 8 ... Gyro, 9 ... GPS receiver, 10 ...Camera 21 ... CPU, 22 ... RAM, 23 ... ROM, 24 ... DMA, 25 ... Drawing controller, 26 ... VRAM, 27 ... Color palette, 28 ... A / D converter, 29 ... SCI, 30 ... PIO, 31 ... Counter , 33 ... Camera control device, 41 ... User operation analysis unit, 42 ... Route search unit, 43 ... Route guidance unit, 44 ... Current position calculation unit, 45 ... Information storage unit, 46 ... Location registration unit, 47 ... Display processing unit

Claims (5)

Translated fromJapanese

ナビゲーション装置であって、
地図データを記憶する記憶手段と、
撮影装置と、
前記撮影装置により撮影して得た映像を表示する表示手段と、
前記表示手段により表示された映像内の点の指定を受け付ける受付手段と、
前記受付手段により受け付けた点に対応する地図上の位置を求める登録地点算出手段と、
前記登録地点算出手段により求めた地図上の位置を登録する地点登録手段と
を備えることを特徴とするナビゲーション装置。A navigation device,
Storage means for storing map data;
A photographing device;
Display means for displaying an image obtained by photographing with the photographing device;
Accepting means for accepting designation of a point in the video displayed by the display means;
Registration point calculation means for obtaining a position on a map corresponding to the point received by the reception means;
A navigation apparatus comprising: a point registration unit that registers a position on a map obtained by the registration point calculation unit. ナビゲーション装置であって、
地図データを記憶する記憶手段と、
撮影装置と、
前記撮影装置により撮影して得た映像を表示する表示手段と、
前記表示手段により表示された映像内の点を受け付ける受付手段と、
前記撮影装置の地図上の位置及び撮影方位を取得する手段と、
前記受付手段により受け付けた点の前記映像内の位置と、前記撮影装置の地図上の位置と、撮影方位とを用いて、当該点に対応する地図上の位置を求める登録地点算出手段と、
前記登録地点算出手段により求めた地図上の位置を登録する地点登録手段と
を備えることを特徴とするナビゲーション装置。A navigation device,
Storage means for storing map data;
A photographing device;
Display means for displaying an image obtained by photographing with the photographing device;
Receiving means for receiving a point in the video displayed by the display means;
Means for acquiring a position on a map and a photographing direction of the photographing device;
A registered point calculating means for obtaining a position on the map corresponding to the point using the position in the video of the point received by the receiving means, the position on the map of the photographing device, and the photographing direction;
A navigation apparatus comprising: a point registration unit that registers a position on a map obtained by the registration point calculation unit. 請求項２において、
前記ナビゲーション装置が搭載されている車両の現在位置と車両方位を取得する手段と、
前記撮影装置の前記車両への設置位置と設置方位を取得する手段と、
前記車両の現在位置と、前記撮影装置の前記車両への設置位置とから、前記撮影装置の地図上の位置を求める手段と、
前記車両方位と、前記撮影装置の車両への設置方位とから、前記撮影装置の撮影方位を求める手段と
を備えることを特徴とするナビゲーション装置。In claim 2,
Means for acquiring a current position and a vehicle direction of a vehicle on which the navigation device is mounted;
Means for acquiring an installation position and an installation orientation of the photographing apparatus on the vehicle;
Means for obtaining a position of the photographing apparatus on a map from a current position of the vehicle and an installation position of the photographing apparatus on the vehicle;
A navigation apparatus comprising: means for obtaining a shooting direction of the imaging apparatus from the vehicle direction and an installation direction of the imaging apparatus on the vehicle. 請求項１または２において、
前記受付手段は、タッチパネルを備えている
ことを特徴とするナビゲーション装置。In claim 1 or 2,
The navigation device characterized in that the receiving means includes a touch panel. 請求項１または２において、
前記地点登録手段は、前記登録地点算出手段により求めた地図上の位置を、前記撮影装置で撮影した映像とともに登録し、
前記ナビゲーション装置は、
登録された位置を含む地図を表示する場合、登録した映像を表示する
ことを特徴とするナビゲーション装置。In claim 1 or 2,
The location registration means registers the position on the map obtained by the registration location calculation means together with the video imaged by the imaging device,
The navigation device
A navigation apparatus characterized by displaying a registered video when displaying a map including a registered position.

Images