JP6912604B2 - Coordinate system integration method and device with columnar body - Google Patents

Description

Translated fromJapanese

本開示は、座標系統合方法、及び柱状体を備える装置に関する。 The present disclosure relates to a coordinate system integration method and an apparatus including a columnar body.

例えば、建設機械等に物体検出センサを取り付けて、物体検出センサを用いて建設機械等の周囲の物体を検出することが行われている。物体検出センサを用いて物体を検出する場合、建設機械等に予め設定された基準座標系と物体検出センサの設置位置及び姿勢とを対応付けること、すなわち、基準座標系と物体検出センサのセンサ座標系とを対応付けることが行われている。 For example, an object detection sensor is attached to a construction machine or the like, and an object around the construction machine or the like is detected by using the object detection sensor. When detecting an object using an object detection sensor, the reference coordinate system preset in the construction machine or the like is associated with the installation position and orientation of the object detection sensor, that is, the reference coordinate system and the sensor coordinate system of the object detection sensor. Is associated with.

例えば、特許文献１には、道路を走行する車両を監視する監視カメラにおいて、道路平面と監視カメラの設置位置及び姿勢とを対応付けることが記載されている。 For example, Patent Document 1 describes that in a surveillance camera that monitors a vehicle traveling on a road, the road plane is associated with the installation position and posture of the surveillance camera.

特許３８９７９８４号Patent No. 3897984

特許文献１に記載された方法では、監視カメラによって特徴点を検出し、特徴点の検出結果に基づいて道路平面と監視カメラの設置位置及び姿勢とを対応付けている。これと同様に、建設機械等に取り付けられた物体検出センサの検出結果に基づいて基準座標系と物体検出センサの設置位置及び姿勢とを対応付けることが考えられる。しかしながら、設置位置及び姿勢の対応付けを行う対象となる物体検出センサの検出結果を用いる場合、基準座標系とセンサ座標系との対応付けの精度が物体検出センサの検出精度に依存する。 In the method described in Patent Document 1, feature points are detected by a surveillance camera, and the road plane is associated with the installation position and posture of the surveillance camera based on the detection result of the feature points. Similarly, it is conceivable to associate the reference coordinate system with the installation position and orientation of the object detection sensor based on the detection result of the object detection sensor attached to the construction machine or the like. However, when the detection result of the object detection sensor to be associated with the installation position and the orientation is used, the accuracy of the association between the reference coordinate system and the sensor coordinate system depends on the detection accuracy of the object detection sensor.

そこで、本開示は、物体検出センサの検出精度に依存することなく、対象装置の基準座標系と物体検出センサのセンサ座標系とを対応付けることが可能な座標系統合方法、及び柱状体を備える装置を説明する。 Therefore, the present disclosure includes a coordinate system integration method capable of associating a reference coordinate system of a target device with a sensor coordinate system of an object detection sensor without depending on the detection accuracy of the object detection sensor, and a device including a columnar body. Will be explained.

本開示の一態様は、対象装置に取り付けられ対象装置の周囲の物体を検出する物体検出センサのセンサ座標系と、対象装置に対して予め設定された基準座標系とを対応付ける座標系統合方法であって、物体検出センサを対象装置に取り付ける取付冶具に設置されるとともにセンサ座標系を定義する３以上の校正用マーカと、対象装置に設置されるとともに基準座標系を定義する３以上の基準マーカと、を計測装置によって計測する計測工程と、計測工程の計測結果に基づいて、校正用マーカによって定義されるセンサ座標系と基準マーカによって定義される基準座標系とを対応付ける統合工程と、を含む。 One aspect of the present disclosure is a coordinate system integration method that associates a sensor coordinate system of an object detection sensor attached to a target device with an object around the target device with a reference coordinate system preset for the target device. There are three or more calibration markers that are installed on the mounting tool that attaches the object detection sensor to the target device and define the sensor coordinate system, and three or more reference markers that are installed on the target device and define the reference coordinate system. Includes a measurement process that measures and, and an integration process that associates the sensor coordinate system defined by the calibration marker with the reference coordinate system defined by the reference marker based on the measurement results of the measurement process. ..

本開示によれば、物体検出センサの検出精度に依存することなく、対象装置の基準座標系と物体検出センサのセンサ座標系とを対応付けることができる。 According to the present disclosure, it is possible to associate the reference coordinate system of the target device with the sensor coordinate system of the object detection sensor without depending on the detection accuracy of the object detection sensor.

図１は、実施形態に係る油圧ショベルの概略構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of a hydraulic excavator according to an embodiment.図２は、図１のII−II線に沿った断面図である。FIG. 2 is a cross-sectional view taken along the line II-II of FIG.図３（ａ）〜図３（ｄ）は、アームの外周面に取り付けられたセンサユニット及び基準マーカを模式的に示す図である。3A to 3D are diagrams schematically showing a sensor unit and a reference marker attached to the outer peripheral surface of the arm.図４（ａ）は、センサユニットの上面を示す斜視図である。図４（ｂ）は、センサユニットの下面を示す斜視図である。図４（ｃ）は、物体検出センサの取付面を示す斜視図である。FIG. 4A is a perspective view showing the upper surface of the sensor unit. FIG. 4B is a perspective view showing the lower surface of the sensor unit. FIG. 4C is a perspective view showing a mounting surface of the object detection sensor.図５は、座標対応付装置周りの構成を示すブロック図である。FIG. 5 is a block diagram showing a configuration around the coordinate-corresponding device.図６は、座標系の対応付け関係を示す概念図である。FIG. 6 is a conceptual diagram showing the correspondence relationship of the coordinate system.図７は、座標系統合方法の処理の流れを示すフローチャートである。FIG. 7 is a flowchart showing a processing flow of the coordinate system integration method.図８は、基準マーカ部の他の例を示す側面図である。FIG. 8 is a side view showing another example of the reference marker portion.

本開示の一態様は、対象装置に取り付けられ対象装置の周囲の物体を検出する物体検出センサのセンサ座標系と、対象装置に対して予め設定された基準座標系とを対応付ける座標系統合方法であって、物体検出センサを対象装置に取り付ける取付冶具に設置されるとともにセンサ座標系を定義する３以上の校正用マーカと、対象装置に設置されるとともに基準座標系を定義する３以上の基準マーカと、を計測装置によって計測する計測工程と、計測工程の計測結果に基づいて、校正用マーカによって定義されるセンサ座標系と基準マーカによって定義される基準座標系とを対応付ける統合工程と、を含む。 One aspect of the present disclosure is a coordinate system integration method that associates a sensor coordinate system of an object detection sensor attached to a target device with an object around the target device with a reference coordinate system preset for the target device. There are three or more calibration markers that are installed on the mounting tool that attaches the object detection sensor to the target device and define the sensor coordinate system, and three or more reference markers that are installed on the target device and define the reference coordinate system. Includes a measurement process that measures and, and an integration process that associates the sensor coordinate system defined by the calibration marker with the reference coordinate system defined by the reference marker based on the measurement results of the measurement process. ..

この座標系統合方法では、計測工程において、校正用マーカと基準マーカとが計測装置によって計測される。そして、統合工程において、計測工程の計測結果に基づいて、センサ座標系と基準座標系とが対応付けられる。すなわち、計測装置の計測結果に基づいてセンサ座標系及び基準座標系が特定されてセンサ座標系と基準座標系とが対応付けられており、物体検出センサの検出結果は用いられていない。従って、この座標系統合方法では、物体検出センサの検出精度に依存することなく、対象装置の基準座標系と物体検出センサのセンサ座標系とを対応付けることができる。 In this coordinate system integration method, the calibration marker and the reference marker are measured by the measuring device in the measuring process. Then, in the integration process, the sensor coordinate system and the reference coordinate system are associated with each other based on the measurement result of the measurement process. That is, the sensor coordinate system and the reference coordinate system are specified based on the measurement result of the measuring device, and the sensor coordinate system and the reference coordinate system are associated with each other, and the detection result of the object detection sensor is not used. Therefore, in this coordinate system integration method, the reference coordinate system of the target device and the sensor coordinate system of the object detection sensor can be associated with each other without depending on the detection accuracy of the object detection sensor.

物体検出センサは、第１物体検出センサと、第２物体検出センサと、を含み、取付冶具は、第１物体検出センサを対象装置に取り付ける第１取付冶具と、第２物体検出センサを対象装置に取り付ける第２取付冶具と、を含み、校正用マーカは、第１取付冶具に設置されるとともに第１物体検出センサの第１センサ座標系を定義する３以上の第１校正用マーカと、第２取付冶具に設置されるとともに第２物体検出センサの第２センサ座標系を定義する３以上の第２校正用マーカと、を含み、基準マーカは、対象装置に３以上設置され、計測装置が３以上の第１校正用マーカを計測するときに少なくとも３以上の基準マーカが第１校正用マーカとともに計測される方向を向き、計測装置が３以上の第２校正用マーカを計測するときに少なくとも３以上の基準マーカが第２校正用マーカとともに計測される方向を向き、計測工程では、３以上の第１校正用マーカと３以上の基準マーカとを計測装置によって計測し、３以上の第２校正用マーカと３以上の基準マーカとを計測装置によって計測し、統合工程では、第１校正用マーカによって定義される第１センサ座標系と基準座標系とを対応付け、第２校正用マーカによって定義される第２センサ座標系と基準座標系とを対応付けてもよい。この場合、第１物体検出センサと第２物体検出センサとが異なる位置に設けられていても、計測工程において第１校正用マーカと基準マーカとを計測でき、第２校正用マーカと基準マーカとを計測できる。また、物体検出センサが複数設けられていても、それぞれの物体検出センサのセンサ座標系を基準座標系に対応付けることができる。 The object detection sensor includes a first object detection sensor and a second object detection sensor, and the mounting jig includes a first mounting jig that attaches the first object detection sensor to the target device and a second object detection sensor as the target device. The calibration markers, including the second mounting tool attached to the first mounting tool, include three or more first calibration markers that are mounted on the first mounting tool and define the first sensor coordinate system of the first object detection sensor. 2 The reference markers are installed in the target device, and the measuring device includes 3 or more 2nd calibration markers that are installed in the mounting jig and define the 2nd sensor coordinate system of the 2nd object detection sensor. When measuring 3 or more first calibration markers, at least 3 or more reference markers face the measurement direction together with the first calibration marker, and when the measuring device measures 3 or more second calibration markers, at least Three or more reference markers face the measurement direction together with the second calibration marker, and in the measurement process, three or more first calibration markers and three or more reference markers are measured by a measuring device, and three or more second calibration markers are measured. The calibration marker and three or more reference markers are measured by the measuring device, and in the integration process, the first sensor coordinate system defined by the first calibration marker and the reference coordinate system are associated with each other, and the second calibration marker is used. The defined second sensor coordinate system and the reference coordinate system may be associated with each other. In this case, even if the first object detection sensor and the second object detection sensor are provided at different positions, the first calibration marker and the reference marker can be measured in the measurement process, and the second calibration marker and the reference marker can be measured. Can be measured. Further, even if a plurality of object detection sensors are provided, the sensor coordinate system of each object detection sensor can be associated with the reference coordinate system.

本開示の他の一態様は、対象装置に取り付けられ対象装置の周囲の物体を検出する物体検出センサのセンサ座標系と、対象装置に対して予め設定された基準座標系とを対応付ける座標系統合方法であって、物体検出センサを対象装置に取り付ける取付冶具又は物体検出センサに設けられるとともにセンサ座標系を定義するセンサ座標特定部と、取付冶具に設置されるとともに校正用マーカ座標系を定義する３以上の校正用マーカと、を第１計測装置によって計測する第１計測工程と、第１計測工程の計測結果に基づいて、センサ座標特定部によって定義されるセンサ座標系と、校正用マーカによって定義される校正用マーカ座標系と、を対応付ける第１対応付工程と、３以上の校正用マーカと、対象装置に設置されるとともに基準座標系を定義する３以上の基準マーカと、を第２計測装置によって計測する第２計測工程と、第２計測工程の計測結果に基づいて、校正用マーカによって定義される校正用マーカ座標系と、基準マーカによって定義される基準座標系とを対応付ける第２対応付工程と、第１対応付工程で対応付けられたセンサ座標系及び校正用マーカ座標系と、第２対応付工程で対応付けられた校正用マーカ座標系及び基準座標系と、に基づいて、センサ座標系と基準座標系とを対応付ける統合工程と、を含む。 Another aspect of the present disclosure is a coordinate system integration that associates the sensor coordinate system of an object detection sensor attached to the target device with an object around the target device with a reference coordinate system preset for the target device. It is a method that defines a sensor coordinate identification unit that is provided on a mounting jig or object detection sensor that attaches an object detection sensor to a target device and defines a sensor coordinate system, and a marker coordinate system that is installed on the mounting jig and defines a calibration marker coordinate system. With the sensor coordinate system defined by the sensor coordinate identification unit and the calibration marker based on the measurement results of the first measurement step of measuring three or more calibration markers by the first measuring device and the first measurement step. The first corresponding step for associating the defined calibration marker coordinate system, the three or more calibration markers, and the three or more reference markers installed in the target device and defining the reference coordinate system are second. Based on the measurement results of the second measurement process measured by the measuring device and the measurement result of the second measurement process, the second measurement marker coordinate system defined by the calibration marker and the reference coordinate system defined by the reference marker are associated with each other. Based on the corresponding step, the sensor coordinate system and the calibration marker coordinate system associated in the first correspondence step, and the calibration marker coordinate system and the reference coordinate system associated in the second correspondence step. , Including an integration step of associating a sensor coordinate system with a reference coordinate system.

この座標系統合方法では、第１計測工程においてセンサ座標特定部と校正用マーカとが第１計測装置によって計測され、第２計測工程において校正用マーカと基準マーカとが第２計測装置によって計測される。第１対応付工程においてセンサ座標系と校正用マーカ座標系とが対応付けられ、第２対応付工程において校正用マーカ座標系と基準座標系とが対応付けられる。そして、統合工程において、センサ座標系と基準座標系とが対応付けられる。すなわち、第１計測装置及び第２計測装置の計測結果に基づいて各座標系の対応付けが行われており、物体検出センサの検出結果は用いられていない。従って、この座標系統合方法では、物体検出センサの検出精度に依存することなく、対象装置の基準座標系と物体検出センサのセンサ座標系とを対応付けることができる。 In this coordinate system integration method, the sensor coordinate identification unit and the calibration marker are measured by the first measuring device in the first measurement step, and the calibration marker and the reference marker are measured by the second measuring device in the second measurement step. NS. In the first correspondence step, the sensor coordinate system and the calibration marker coordinate system are associated, and in the second correspondence step, the calibration marker coordinate system and the reference coordinate system are associated. Then, in the integration process, the sensor coordinate system and the reference coordinate system are associated with each other. That is, each coordinate system is associated with each other based on the measurement results of the first measuring device and the second measuring device, and the detection result of the object detection sensor is not used. Therefore, in this coordinate system integration method, the reference coordinate system of the target device and the sensor coordinate system of the object detection sensor can be associated with each other without depending on the detection accuracy of the object detection sensor.

物体検出センサは、第１物体検出センサと、第２物体検出センサと、を含み、取付冶具は、第１物体検出センサを対象装置に取り付ける第１取付冶具と、第２物体検出センサを対象装置に取り付ける第２取付冶具と、を含み、センサ座標特定部は、第１取付冶具又は第１物体検出センサに設けられるとともに第１物体検出センサの第１センサ座標系を定義する第１センサ座標特定部と、第２取付冶具又は第２物体検出センサに設けられるとともに第２物体検出センサの第２センサ座標系を定義する第２センサ座標特定部と、を含み、校正用マーカは、第１取付冶具に設置されるとともに第１校正用マーカ座標系を定義する３以上の第１校正用マーカと、第２取付冶具に設置されるとともに第２校正用マーカ座標系を定義する３以上の第２校正用マーカと、を含み、基準マーカは、対象装置に３以上設置され、第２計測装置が３以上の第１校正用マーカを計測するときに少なくとも３以上の基準マーカが第１校正用マーカとともに計測される方向を向き、第２計測装置が３以上の第２校正用マーカを計測するときに少なくとも３以上の基準マーカが第２校正用マーカとともに計測される方向を向き、第１計測工程では、第１センサ座標特定部と３以上の第１校正用マーカとを第１計測装置によって計測し、第２センサ座標特定部と３以上の第２校正用マーカとを第１計測装置によって計測し、第１対応付工程では、第１センサ座標特定部によって定義される第１センサ座標系と第１校正用マーカによって定義される第１校正用マーカ座標系とを対応付け、第２センサ座標特定部によって定義される第２センサ座標系と第２校正用マーカによって定義される第２校正用マーカ座標系とを対応付け、第２計測工程では、３以上の第１校正用マーカと３以上の基準マーカとを第２計測装置によって計測し、３以上の第２校正用マーカと３以上の基準マーカとを第２計測装置によって計測し、第２対応付工程では、第１校正用マーカによって定義される第１校正用マーカ座標系と基準マーカによって定義される基準座標系とを対応付け、第２校正用マーカによって定義される第２校正用マーカ座標系と基準マーカによって定義される基準座標系とを対応付け、統合工程では、第１対応付工程で対応付けられた第１センサ座標系及び第１校正用マーカ座標系と、第２対応付工程で対応付けられた第１校正用マーカ座標系及び基準座標系と、に基づいて、第１センサ座標系と基準座標系とを対応付け、第１対応付工程で対応付けられた第２センサ座標系及び第２校正用マーカ座標系と、第２対応付工程で対応付けられた第２校正用マーカ座標系及び基準座標系と、に基づいて、第２センサ座標系と基準座標系とを対応付けてもよい。この場合、第１物体検出センサと第２物体検出センサとが異なる位置に設けられていても、第２計測工程において第１校正用マーカと基準マーカとを計測でき、第２校正用マーカと基準マーカとを計測できる。また、物体検出センサが複数設けられていても、それぞれの物体検出センサのセンサ座標系を基準座標系に対応付けることができる。 The object detection sensor includes a first object detection sensor and a second object detection sensor, and the mounting tool includes a first mounting tool that attaches the first object detection sensor to the target device and a second object detection sensor as the target device. The sensor coordinate identification unit includes the second attachment jig to be attached to the first attachment jig or the first object detection sensor, and defines the first sensor coordinate system of the first object detection sensor. The calibration marker includes a unit and a second sensor coordinate identification unit provided on the second attachment jig or the second object detection sensor and defining the second sensor coordinate system of the second object detection sensor, and the calibration marker is the first attachment. Three or more first calibration markers installed on the jig and defining the first calibration marker coordinate system, and three or more second markers installed on the second mounting tool and defining the second calibration marker coordinate system. Three or more reference markers are installed in the target device, including a calibration marker, and when the second measuring device measures three or more first calibration markers, at least three or more reference markers are the first calibration markers. When the second measuring device measures three or more second calibration markers, at least three or more reference markers face the direction to be measured together with the second calibration marker, and the first measurement step Then, the first sensor coordinate identification unit and three or more first calibration markers are measured by the first measuring device, and the second sensor coordinate identification unit and three or more second calibration markers are measured by the first measuring device. Then, in the first corresponding step, the first sensor coordinate system defined by the first sensor coordinate identification unit and the first calibration marker coordinate system defined by the first calibration marker are associated with each other, and the second sensor coordinates. The second sensor coordinate system defined by the specific unit is associated with the second calibration marker coordinate system defined by the second calibration marker, and in the second measurement step, three or more first calibration markers and three or more are used. The reference marker is measured by the second measuring device, and three or more second calibration markers and three or more reference markers are measured by the second measuring device. In the second corresponding process, the first calibration marker is used. The defined first calibration marker coordinate system is associated with the reference coordinate system defined by the reference marker, and the second calibration marker coordinate system defined by the second calibration marker and the reference coordinate defined by the reference marker. In the integration process, the system is associated with the first sensor coordinate system and the first calibration marker coordinate system associated in the first corresponding step, and the first calibration marker associated in the second associated step. With the coordinate system and the reference coordinate system , The first sensor coordinate system and the reference coordinate system are associated with each other, and the second sensor coordinate system and the second calibration marker coordinate system associated with each other in the first corresponding step are associated with each other. The second sensor coordinate system and the reference coordinate system may be associated with each other based on the associated second calibration marker coordinate system and the reference coordinate system. In this case, even if the first object detection sensor and the second object detection sensor are provided at different positions, the first calibration marker and the reference marker can be measured in the second measurement step, and the second calibration marker and the reference can be measured. Can measure with markers. Further, even if a plurality of object detection sensors are provided, the sensor coordinate system of each object detection sensor can be associated with the reference coordinate system.

物体検出センサは、対象装置の周囲に複数のレーザ光を照射することによって物体を検出するセンサであってもよい。例えば、この物体検出センサによって基準マーカを検出する場合、レーザ光の照射の間隔によっては基準マーカが検出されないことが考えられる。しかしながら、この座標系統合方法では、物体検出センサの検出結果を用いずにセンサ座標系と基準座標系とを対応付けることができるため、物体検出センサの検出精度に依存することなく座標系の対応付けを行うことができる。 The object detection sensor may be a sensor that detects an object by irradiating a plurality of laser beams around the target device. For example, when the reference marker is detected by this object detection sensor, it is conceivable that the reference marker is not detected depending on the interval of laser beam irradiation. However, in this coordinate system integration method, since the sensor coordinate system and the reference coordinate system can be associated without using the detection result of the object detection sensor, the coordinate system can be associated without depending on the detection accuracy of the object detection sensor. It can be performed.

本開示の更に他の一態様に係る柱状体を備える装置は、移動可能な柱状体と、柱状体に設けられ、柱状体に対して予め設定された基準座標系を定義する３以上の基準マーカと、柱状体とともに移動する物体検出センサと、物体検出センサもしくは物体検出センサに取り付けられた取付冶具に設けられ、物体検出センサのセンサ座標系を定義する３以上の校正用マーカと、を備え、３以上の基準マーカと３以上の校正用マーカとは、１の地点から視認可能に設けられている。 The device including the columnar body according to still another aspect of the present disclosure includes a movable columnar body and three or more reference markers provided on the columnar body and defining a reference coordinate system preset for the columnar body. And an object detection sensor that moves with the columnar body, and three or more calibration markers that are provided on the object detection sensor or the mounting tool attached to the object detection sensor and define the sensor coordinate system of the object detection sensor. Three or more reference markers and three or more calibration markers are visibly provided from one point.

この柱状体を備える装置では、３以上の基準マーカと３以上の校正用マーカとが１の地点から視認できる。これにより、校正用マーカと基準マーカとを計測することで、センサ座標系と基準座標系との対応付けが可能となる。すなわち、物体検出センサの検出結果を用いることなく、センサ座標系と基準座標系とが対応付けられる。従って、この柱状体を備える装置では、物体検出センサの検出精度に依存することなく、柱状体に設定された基準座標系と物体検出センサのセンサ座標系とを対応付けることができる。 In the device provided with this columnar body, three or more reference markers and three or more calibration markers can be visually recognized from one point. As a result, the sensor coordinate system and the reference coordinate system can be associated with each other by measuring the calibration marker and the reference marker. That is, the sensor coordinate system and the reference coordinate system are associated with each other without using the detection result of the object detection sensor. Therefore, in the device including the columnar body, the reference coordinate system set in the columnar body and the sensor coordinate system of the object detection sensor can be associated with each other without depending on the detection accuracy of the object detection sensor.

以下、本開示の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the description of the drawings, the same elements are designated by the same reference numerals, and duplicate description will be omitted.

本実施形態では、図１に示される油圧ショベル（対象装置、装置）１に対して予め設定された基準座標系と、油圧ショベル１に取り付けられた物体検出センサ１１０Ａ〜１１０Ｄ（図３（ａ）〜図３（ｄ）参照）の各センサ座標系とを対応付ける座標系統合方法について説明する。ここで、２つの座標系を対応付けることとは、一方の座標系に対する他方の座標系の位置及び姿勢を把握することをいう。すなわち、２つの座標系を対応付けることとは、一方の座標系から他方の座標系への並進と回転による座標変換パラメータを得て、一方の座標系で得られた座標を他方の座標系の座標に変換できる状態にすることをいう。 In the present embodiment, the reference coordinate system preset for the hydraulic excavator (target device, device) 1 shown in FIG. 1 and theobject detection sensors 110A to 110D attached to the hydraulic excavator 1 (FIG. 3A). A coordinate system integration method for associating each sensor coordinate system with (see FIG. 3D) will be described. Here, associating two coordinate systems means grasping the position and orientation of the other coordinate system with respect to one coordinate system. That is, associating two coordinate systems means obtaining coordinate conversion parameters by translation and rotation from one coordinate system to the other coordinate system, and the coordinates obtained in one coordinate system are the coordinates of the other coordinate system. It means to be in a state where it can be converted to.

油圧ショベル１は、自身を走行させるための走行体１１と、走行体１１上に設けられた旋回体１０と、旋回体１０の前方に取り付けられるブーム１２と、ブーム１２の先端に取り付けられるアーム（柱状体）１３と、アーム１３の先端に取り付けられるバケット１４とを備えている。油圧により、ブーム１２は旋回体１０に対して揺動し、アーム１３はブーム１２に対して揺動し、バケット１４はアーム１３に対して揺動する。 The hydraulic excavator 1 includes a travelingbody 11 for traveling itself, aswivel body 10 provided on the travelingbody 11, aboom 12 attached to the front of theswivel body 10, and an arm attached to the tip of theboom 12. A columnar body) 13 and abucket 14 attached to the tip of thearm 13 are provided. Due to the hydraulic pressure, theboom 12 swings with respect to theswivel body 10, thearm 13 swings with respect to theboom 12, and thebucket 14 swings with respect to thearm 13.

図１及び図２に示されるように、アーム１３は、四角柱状に形成されている。本実施形態では、アーム１３の軸を第１軸とし、第１軸に直交する軸と第２軸とし、第１軸及び第２軸に直交する軸を第３軸としたときに、第１軸、第２軸及び第３軸によって定義される座標系を、油圧ショベル１（アーム１３）に対して予め設定された基準座標系とする。基準座標系の原点は、アーム１３の軸方向における所定の位置とする。 As shown in FIGS. 1 and 2, thearm 13 is formed in a square columnar shape. In the present embodiment, when the axis of thearm 13 is the first axis, the axis orthogonal to the first axis and the second axis are set, and the axes orthogonal to the first axis and the second axis are the third axis, the first axis is used. The coordinate system defined by the axes, the second axis, and the third axis is set as a reference coordinate system preset for the hydraulic excavator 1 (arm 13). The origin of the reference coordinate system is a predetermined position in the axial direction of thearm 13.

アーム１３の外周面の各面には、センサユニット１００Ａ〜１００Ｄがそれぞれ取り付けられている。図３（ａ）に示されるように、アーム１３におけるセンサユニット１００Ａが取り付けられた面には、基準マーカ部２００Ａが設置されている。基準マーカ部２００Ａは、３つの基準マーカ２０１Ａによって構成されている。基準マーカ２０１Ａは、基準座標系を定義している。すなわち、基準マーカ２０１Ａは、基準座標系を示すように、アーム１３の外周面に設置されている。３つの基準マーカ２０１Ａを計測することによって、基準座標系が導かれる。例えば、３つの基準マーカ２０１Ａによって導かれる三次元座標系と基準座標系とがずれている場合、導かれた三次元座標系を基準座標系に合わせるための変換情報に基づいて、基準マーカ２０１Ａの計測結果から基準座標系が導かれてもよい。Sensor units 100A to 100D are attached to each surface of the outer peripheral surface of thearm 13. As shown in FIG. 3A, areference marker portion 200A is installed on the surface of thearm 13 on which thesensor unit 100A is attached. Thereference marker unit 200A is composed of threereference markers 201A. Thereference marker 201A defines a reference coordinate system. That is, thereference marker 201A is installed on the outer peripheral surface of thearm 13 so as to indicate the reference coordinate system. The reference coordinate system is derived by measuring the threereference markers 201A. For example, when the three-dimensional coordinate system guided by the threereference markers 201A and the reference coordinate system are deviated from each other, thereference marker 201A is based on the conversion information for adjusting the guided three-dimensional coordinate system to the reference coordinate system. The reference coordinate system may be derived from the measurement result.

３つの基準マーカ２０１Ａに基づいて三次元座標系を導く方法としては、周知の方法を用いることができる。例えば、２つの基準マーカ２０１Ａによって１つ目の軸を定める。３つの基準マーカ２０１Ａによって三角形の面を定義し、面の法線を２つ目の軸とする。これらの２つの軸に直交する線を３つ目の軸とする。なお、基準マーカ２０１Ａは、一例として、十字が付された銀色のプレートであってもよい。各基準マーカ２０１Ａには、識別情報が付されており、識別情報を用いて基準座標系が導かれてもよい。 A well-known method can be used as a method for deriving the three-dimensional coordinate system based on the threereference markers 201A. For example, tworeference markers 201A define the first axis. A triangular face is defined by the threereference markers 201A, and the normal of the face is set as the second axis. The line orthogonal to these two axes is defined as the third axis. As an example, thereference marker 201A may be a silver plate with a cross. Identification information is attached to eachreference marker 201A, and the reference coordinate system may be derived using the identification information.

図３（ｂ）に示されるように、アーム１３におけるセンサユニット１００Ｂが取り付けられた面には、３つの基準マーカ２０１Ｂによって構成される基準マーカ部２００Ｂが設置されている。図３（ｃ）に示されるように、アーム１３におけるセンサユニット１００Ｃが取り付けられた面には、３つの基準マーカ２０１Ｃによって構成される基準マーカ部２００Ｃが設置されている。図３（ｄ）に示されるように、アーム１３におけるセンサユニット１００Ｄが取り付けられた面には、３つの基準マーカ２０１Ｄによって構成される基準マーカ部２００Ｄが設置されている。３つの基準マーカ２０１Ｂ、３つの基準マーカ２０１Ｃ、及び３つの基準マーカ２０１Ｄは、３つの基準マーカ２０１Ａと同様に、基準座標系を定義している。すなわち、３つの基準マーカ２０１Ａ、３つの基準マーカ２０１Ｂ、３つの基準マーカ２０１Ｃ、及び３つの基準マーカ２０１Ｄは、同じ座標系（油圧ショベル１に対して予め設定された基準座標系）を定義している。 As shown in FIG. 3B, areference marker portion 200B composed of threereference markers 201B is installed on the surface of thearm 13 to which thesensor unit 100B is attached. As shown in FIG. 3C, areference marker portion 200C composed of threereference markers 201C is installed on the surface of thearm 13 to which thesensor unit 100C is attached. As shown in FIG. 3D, areference marker portion 200D composed of threereference markers 201D is installed on the surface of thearm 13 on which thesensor unit 100D is attached. The threereference markers 201B, the threereference markers 201C, and the threereference markers 201D define a reference coordinate system, similar to the threereference markers 201A. That is, the threereference markers 201A, the threereference markers 201B, the threereference markers 201C, and the threereference markers 201D define the same coordinate system (reference coordinate system preset for the hydraulic excavator 1). There is.

センサユニット１００Ａは、図４（ａ）及び図４（ｂ）に示されるように、物体検出センサ（第１物体検出センサ）１１０Ａと、取付冶具（第１取付冶具）１２０Ａとを有している。物体検出センサ１１０Ａは、アーム１３の周囲の物体を検出するセンサである。本実施形態において、物体検出センサ１１０Ａは、アーム１３の周囲に複数のレーザ光を照射することによって物体を検出するセンサ（例えばＬＩＤＡＲ）である。 As shown in FIGS. 4A and 4B, thesensor unit 100A has an object detection sensor (first object detection sensor) 110A and a mounting jig (first mounting jig) 120A. .. Theobject detection sensor 110A is a sensor that detects an object around thearm 13. In the present embodiment, theobject detection sensor 110A is a sensor (for example, lidar) that detects an object by irradiating a plurality of laser beams around thearm 13.

取付冶具１２０Ａは、物体検出センサ１１０Ａをアーム１３に取り付ける冶具である。取付冶具１２０Ａは、センサ取付板１２１Ａと、４つのマーク取付板１２２Ａとを有している。センサ取付板１２１Ａの上面には、物体検出センサ１１０Ａが取り付けられる。マーク取付板１２２Ａは、断面略Ｌ字状に形成されている。マーク取付板１２２Ａは、センサ取付板１２１Ａの下面に取り付けられている。マーク取付板１２２Ａには、校正用マーカ部１３０Ａが設置されている。本実施形態において、校正用マーカ部１３０Ａは、８個の校正用マーカ（第１校正用マーカ）１３１Ａによって構成されている。校正用マーカ１３１Ａは、各マーク取付板１２２Ａに対して２個ずつ設置されている。 The mountingjig 120A is a jig that mounts theobject detection sensor 110A on thearm 13. The mountingjig 120A has asensor mounting plate 121A and fourmark mounting plates 122A. Anobject detection sensor 110A is mounted on the upper surface of thesensor mounting plate 121A. Themark mounting plate 122A is formed in a substantially L-shaped cross section. Themark mounting plate 122A is mounted on the lower surface of thesensor mounting plate 121A. Acalibration marker portion 130A is installed on themark mounting plate 122A. In the present embodiment, thecalibration marker unit 130A is composed of eight calibration markers (first calibration markers) 131A. Twocalibration markers 131A are installed for eachmark mounting plate 122A.

校正用マーカ部１３０Ａは、校正用マーカ座標系（第１校正用マーカ座標系）を定義している。校正用マーカ部１３０Ａを計測することによって、校正用マーカ座標系が導かれる。校正用マーカ部１３０Ａに基づいて校正用マーカ座標系を導く方法としては、周知の方法を用いることができる。例えば、３つの校正用マーカ１３１Ａの計測結果に基づいて校正用マーカ座標系を導く場合、まず、２つの校正用マーカ１３１Ａによって１つ目の軸を定める。３つの校正用マーカ１３１Ａによって面を定義し、面の法線を２つ目の軸とする。これらの２つの軸に直交する線を３つ目の軸とする。例えば左端など、所定の位置に設置された校正用マーカ１３１Ａの位置を校正用マーカ座標系の原点とすることができる。なお、校正用マーカ１３１Ａは、一例として、十字が付された銀色のプレートであってもよい。各校正用マーカ部１３０Ａには、識別情報が付されており、識別情報を用いて校正用マーカ座標系が導かれてもよい。 Thecalibration marker unit 130A defines a calibration marker coordinate system (first calibration marker coordinate system). By measuring thecalibration marker unit 130A, the calibration marker coordinate system is derived. A well-known method can be used as a method for deriving the calibration marker coordinate system based on thecalibration marker unit 130A. For example, when deriving the calibration marker coordinate system based on the measurement results of the threecalibration markers 131A, first, the first axis is determined by the twocalibration markers 131A. A surface is defined by threecalibration markers 131A, and the normal of the surface is set as the second axis. The line orthogonal to these two axes is defined as the third axis. For example, the position of thecalibration marker 131A installed at a predetermined position such as the left end can be set as the origin of the calibration marker coordinate system. As an example, thecalibration marker 131A may be a silver plate with a cross. Identification information is attached to eachcalibration marker unit 130A, and the calibration marker coordinate system may be derived using the identification information.

図４（ｃ）に示されるように、センサ取付板１２１Ａの上面（センサ設置面）には、物体検出センサ１１０Ａを位置決めするピン１２３Ａが２つ設けられている。物体検出センサ１１０Ａは、ピン１２３Ａによって、センサ取付板１２１Ａ上における位置及び向きが定められている。すなわち、物体検出センサ１１０Ａの設置位置及び姿勢は、センサ取付板１２１Ａの上面及びピン１２３Ａによって定められる。このように、センサ取付板１２１Ａの上面及びピン１２３Ａは、物体検出センサ１１０Ａのセンサ座標系（第１センサ座標系）を示すセンサ座標特定部（第１センサ座標特定部）として機能する。 As shown in FIG. 4C, twopins 123A for positioning theobject detection sensor 110A are provided on the upper surface (sensor installation surface) of thesensor mounting plate 121A. The position and orientation of theobject detection sensor 110A on thesensor mounting plate 121A are determined by thepin 123A. That is, the installation position and posture of theobject detection sensor 110A are determined by the upper surface of thesensor mounting plate 121A and thepin 123A. As described above, the upper surface of thesensor mounting plate 121A and thepin 123A function as a sensor coordinate specifying unit (first sensor coordinate specifying unit) indicating the sensor coordinate system (first sensor coordinate system) of theobject detection sensor 110A.

センサユニット１００Ｂは、センサユニット１００Ａと同じ構成を備えている。具体的には、図４（ａ）及び図４（ｂ）に示されるように、センサユニット１００Ｂは、物体検出センサ（第２物体検出センサ）１１０Ｂと、取付冶具（第２取付冶具）１２０Ｂとを有している。取付冶具１２０Ｂは、センサ取付板１２１Ｂと、４つのマーク取付板１２２Ｂとを有している。センサ取付板１２１Ｂの上面には、物体検出センサ１１０Ｂが取り付けられる。マーク取付板１２２Ｂには、校正用マーカ部１３０Ｂが設置されている。校正用マーカ部１３０Ａと同様に、校正用マーカ部１３０Ｂは、８個の校正用マーカ（第２校正用マーカ）１３１Ｂによって構成されている。校正用マーカ１３１Ｂは、各マーク取付板１２２Ｂに対して２個ずつ設置されている。 Thesensor unit 100B has the same configuration as thesensor unit 100A. Specifically, as shown in FIGS. 4A and 4B, thesensor unit 100B includes an object detection sensor (second object detection sensor) 110B and a mounting jig (second mounting jig) 120B. have. The mountingjig 120B has asensor mounting plate 121B and fourmark mounting plates 122B. Anobject detection sensor 110B is mounted on the upper surface of thesensor mounting plate 121B. Acalibration marker portion 130B is installed on themark mounting plate 122B. Similar to thecalibration marker unit 130A, thecalibration marker unit 130B is composed of eight calibration markers (second calibration markers) 131B. Twocalibration markers 131B are installed for eachmark mounting plate 122B.

校正用マーカ部１３０Ｂは、校正用マーカ座標系（第２校正用マーカ座標系）を定義している。校正用マーカ部１３０Ｂを計測することによって、校正用マーカ部１３０Ａと同様に、校正用マーカ座標系が導かれる。校正用マーカ部１３０Ｂは、校正用マーカ部１３０Ａと同じ構成を備えている。なお、校正用マーカ部１３０Ａが定義する校正用マーカ座標系と、校正用マーカ部１３０Ｂが定義する校正用マーカ座標系とは互いに異なっている。 Thecalibration marker unit 130B defines a calibration marker coordinate system (second calibration marker coordinate system). By measuring thecalibration marker unit 130B, the calibration marker coordinate system is derived in the same manner as thecalibration marker unit 130A. Thecalibration marker unit 130B has the same configuration as thecalibration marker unit 130A. The calibration marker coordinate system defined by thecalibration marker unit 130A and the calibration marker coordinate system defined by thecalibration marker unit 130B are different from each other.

図４（ｃ）に示されるように、センサ取付板１２１Ｂの上面には、物体検出センサ１１０Ｂを位置決めするピン１２３Ｂが２つ設けられている。物体検出センサ１１０Ｂは、ピン１２３Ｂによって、センサ取付板１２１Ｂ上における位置及び向きが定められている。すなわち、物体検出センサ１１０Ｂの設置位置及び姿勢は、センサ取付板１２１Ｂの上面及びピン１２３Ｂによって定められる。このように、センサ取付板１２１Ｂの上面及びピン１２３Ｂは、物体検出センサ１１０Ｂのセンサ座標系（第２センサ座標系）を示すセンサ座標特定部（第２センサ座標特定部）として機能する。 As shown in FIG. 4C, twopins 123B for positioning theobject detection sensor 110B are provided on the upper surface of thesensor mounting plate 121B. The position and orientation of theobject detection sensor 110B on thesensor mounting plate 121B are determined by thepin 123B. That is, the installation position and posture of theobject detection sensor 110B are determined by the upper surface of thesensor mounting plate 121B and thepin 123B. As described above, the upper surface of thesensor mounting plate 121B and thepin 123B function as a sensor coordinate specifying unit (second sensor coordinate specifying unit) indicating the sensor coordinate system (second sensor coordinate system) of theobject detection sensor 110B.

センサユニット１００Ｃ及び１００Ｄは、センサユニット１００Ａと同じ構成を備えている。具体的には、図３（ｃ）に示されるように、センサユニット１００Ｃは、物体検出センサ１１０Ｃ、及び校正用マーカ部１３０Ｃを備えている。更に、センサユニット１００Ｃは、センサユニット１００Ａと同様に、ピンが設けられたセンサ取付板及びマーク取付板によって構成される取付冶具を有している。図３（ｄ）に示されるように、センサユニット１００Ｄは、物体検出センサ１１０Ｄ、及び校正用マーカ部１３０Ｄを備えている。更に、センサユニット１００Ｄは、センサユニット１００Ａと同様に、ピンが設けられたセンサ取付板及びマーク取付板によって構成される取付冶具を有している。 Thesensor units 100C and 100D have the same configuration as thesensor unit 100A. Specifically, as shown in FIG. 3C, thesensor unit 100C includes anobject detection sensor 110C and acalibration marker unit 130C. Further, thesensor unit 100C has a mounting jig composed of a sensor mounting plate provided with pins and a mark mounting plate, similarly to thesensor unit 100A. As shown in FIG. 3D, thesensor unit 100D includes anobject detection sensor 110D and acalibration marker unit 130D. Further, thesensor unit 100D has a mounting jig composed of a sensor mounting plate provided with pins and a mark mounting plate, similarly to thesensor unit 100A.

図５に示されるように、油圧ショベル１は、監視装置２０を備えている。監視装置２０は、物体検出センサ１１０Ａ〜１１０Ｄの検出結果に基づいて、アーム１３の周囲の障害物等の監視を行う。具体的には、監視装置２０は、物体検出センサ１１０Ａ〜１１０Ｄの検出結果に基づいて、基準座標系に対してどの位置に障害物等が存在するかを把握する。監視装置２０は、把握した障害物等に基づいて、障害物の有無の報知等を行う。 As shown in FIG. 5, the hydraulic excavator 1 includes amonitoring device 20. Themonitoring device 20 monitors obstacles and the like around thearm 13 based on the detection results of theobject detection sensors 110A to 110D. Specifically, themonitoring device 20 grasps at which position an obstacle or the like exists with respect to the reference coordinate system based on the detection results of theobject detection sensors 110A to 110D. Themonitoring device 20 notifies the presence or absence of an obstacle based on the grasped obstacle or the like.

ここで、基準座標系に対して障害物等の位置を把握するために、基準座標系と、物体検出センサ１１０Ａ〜１１０Ｄのそれぞれのセンサ座標系とを対応付けておく必要がある。以下、基準座標系とセンサ座標系とを対応付ける座標系統合方法について説明する。 Here, in order to grasp the position of an obstacle or the like with respect to the reference coordinate system, it is necessary to associate the reference coordinate system with the respective sensor coordinate systems of theobject detection sensors 110A to 110D. Hereinafter, a coordinate system integration method for associating the reference coordinate system with the sensor coordinate system will be described.

基準座標系とセンサ座標系との対応付けは、図５に示される座標対応付装置３００によって行われる。座標対応付装置３００は、油圧ショベル１以外の場所に備えられていてもよく、油圧ショベル１に搭載されていてもよい。 The association between the reference coordinate system and the sensor coordinate system is performed by the coordinatematching device 300 shown in FIG. The coordinate-correspondingdevice 300 may be provided in a place other than the hydraulic excavator 1, or may be mounted on the hydraulic excavator 1.

座標対応付装置３００には、第１計測装置３０４と、第２計測装置（計測装置）３０５とが接続されている。第１計測装置３０４は、センサユニット１００Ａの校正用マーカ部１３０Ａと、センサユニット１００Ａにおける物体検出センサ１１０Ａの設置位置及び姿勢とを計測する。具体的には、第１計測装置３０４は、校正用マーカ部１３０Ａとして、３以上の校正用マーカ１３１Ａを計測する。第１計測装置３０４は、物体検出センサ１１０Ａの設置位置及び姿勢として、センサ取付板１２１Ａの上面と、ピン１２３Ａとを計測する。なお、校正用マーカ１３１Ａは、少なくとも３つの校正用マーカ１３１Ａがセンサ取付板１２１Ａの上面及びピン１２３Ａと同時に計測される位置及び向きに設けられている。 Thefirst measuring device 304 and the second measuring device (measuring device) 305 are connected to the coordinate-correspondingdevice 300. Thefirst measuring device 304 measures thecalibration marker unit 130A of thesensor unit 100A and the installation position and posture of theobject detection sensor 110A in thesensor unit 100A. Specifically, thefirst measuring device 304 measures three ormore calibration markers 131A as thecalibration marker unit 130A. Thefirst measuring device 304 measures the upper surface of thesensor mounting plate 121A and thepin 123A as the installation position and posture of theobject detection sensor 110A. Thecalibration marker 131A is provided at a position and orientation in which at least threecalibration markers 131A are measured at the same time as the upper surface of thesensor mounting plate 121A and thepin 123A.

第１計測装置３０４は、他のセンサユニット１００Ｂ〜１００Ｄについても同様に、校正用マーカ部１３０Ｂ〜１３０Ｄと、物体検出センサ１１０Ｂ〜１１０Ｄの設置位置及び姿勢とをそれぞれ計測する。第１計測装置３０４は、計測結果を座標対応付装置３００に入力する。第１計測装置３０４による計測は、オペレータが行ってもよく、第１計測装置３０４が自動で行ってもよい。第１計測装置３０４として、例えば、三次元レーザ計測器が用いられる。 Similarly, thefirst measuring device 304 measures thecalibration marker units 130B to 130D and the installation positions and postures of theobject detection sensors 110B to 110D for theother sensor units 100B to 100D. Thefirst measuring device 304 inputs the measurement result to the coordinate-correspondingdevice 300. The measurement by thefirst measuring device 304 may be performed by the operator, or may be automatically performed by thefirst measuring device 304. As thefirst measuring device 304, for example, a three-dimensional laser measuring device is used.

ここで、第１計測装置３０４による計測は、物体検出センサ１１０Ａ等がセンサ取付板１２１Ａ等に取り付けられていない状態で行われる。また、第１計測装置３０４による計測は、取付冶具１２０Ａ等がアーム１３に取り付けられていない状態で行われてもよく、取付冶具１２０Ａ等がアーム１３に取り付けられた状態で行われてもよい。 Here, the measurement by thefirst measuring device 304 is performed in a state where theobject detection sensor 110A or the like is not attached to thesensor mounting plate 121A or the like. Further, the measurement by thefirst measuring device 304 may be performed in a state where the mountingjig 120A or the like is not attached to thearm 13, or may be performed in a state where the mountingjig 120A or the like is attached to thearm 13.

第２計測装置３０５は、センサユニット１００Ａの校正用マーカ部１３０Ａと、アーム１３に設けられた基準マーカ部２００Ａとを計測する。具体的には、第２計測装置３０５は、校正用マーカ部１３０Ａとして、３以上の校正用マーカ１３１Ａを計測する。第２計測装置３０５は、基準マーカ部２００Ａとして、３以上の基準マーカ２０１Ａを計測する。なお、本実施形態では、基準マーカ部２００Ａは３つの基準マーカ２０１Ａによって構成されているため、第２計測装置３０５は、３つ全ての基準マーカ２０１Ａを計測する。 Thesecond measuring device 305 measures thecalibration marker unit 130A of thesensor unit 100A and thereference marker unit 200A provided on thearm 13. Specifically, thesecond measuring device 305 measures three ormore calibration markers 131A as thecalibration marker unit 130A. Thesecond measuring device 305 measures three ormore reference markers 201A as thereference marker unit 200A. In this embodiment, since thereference marker unit 200A is composed of threereference markers 201A, thesecond measuring device 305 measures all threereference markers 201A.

また、基準マーカ部２００Ａは、第２計測装置３０５が校正用マーカ部１３０Ａを計測するときに、少なくとも３以上の基準マーカ２０１Ａが校正用マーカ部１３０Ａとともに計測される方向を向いている。なお、本実施形態では、基準マーカ部２００Ａは３つの基準マーカ２０１Ａによって構成されているため、３つ全ての基準マーカ２０１Ａが校正用マーカ部１３０Ａとともに計測される方向を向いている。すなわち、３つの基準マーカ２０１Ａと３以上の校正用マーカ１３１Ａとが１つの視点から視認可能に設けられている。 Further, thereference marker unit 200A faces the direction in which at least three ormore reference markers 201A are measured together with thecalibration marker unit 130A when thesecond measuring device 305 measures thecalibration marker unit 130A. In the present embodiment, since thereference marker unit 200A is composed of the threereference markers 201A, all threereference markers 201A are oriented in the direction of measurement together with thecalibration marker unit 130A. That is, threereference markers 201A and three ormore calibration markers 131A are visibly provided from one viewpoint.

第２計測装置３０５は、他のセンサユニット１００Ｂ〜１００Ｄについても同様に、校正用マーカ部１３０Ｂ〜１３０Ｄと、アーム１３に設けられた基準マーカ部２００Ｂ〜２００Ｄとをそれぞれ計測する。第２計測装置３０５は、基準マーカ部２００Ｂとして３つ全ての基準マーカ２０１Ｂを計測し、基準マーカ部２００Ｃとして３つ全ての基準マーカ２０１Ｃを計測し、基準マーカ部２００Ｄとして３つ全ての基準マーカ２０１Ｄを計測する。 Similarly, thesecond measuring device 305 measures thecalibration marker units 130B to 130D and thereference marker units 200B to 200D provided on thearm 13 for theother sensor units 100B to 100D. Thesecond measuring device 305 measures all threereference markers 201B as thereference marker unit 200B, measures all threereference markers 201C as thereference marker unit 200C, and measures all three reference markers as thereference marker unit 200D.Measure 201D.

また、基準マーカ部２００Ｂは、第２計測装置３０５が校正用マーカ部１３０Ｂを計測するときに、３つ全ての基準マーカ２０１Ｂが校正用マーカ部１３０Ｂとともに計測される方向を向いている。基準マーカ部２００Ｃは、第２計測装置３０５が校正用マーカ部１３０Ｃを計測するときに、３つ全ての基準マーカ２０１Ｃが校正用マーカ部１３０Ｃとともに計測される方向を向いている。基準マーカ部２００Ｄは、第２計測装置３０５が校正用マーカ部１３０Ｄを計測するときに、３つ全ての基準マーカ２０１Ｄが校正用マーカ部１３０Ｄとともに計測される方向を向いている。 Further, thereference marker unit 200B faces the direction in which all threereference markers 201B are measured together with thecalibration marker unit 130B when thesecond measuring device 305 measures thecalibration marker unit 130B. Thereference marker unit 200C faces the direction in which all threereference markers 201C are measured together with thecalibration marker unit 130C when thesecond measuring device 305 measures thecalibration marker unit 130C. Thereference marker unit 200D faces the direction in which all threereference markers 201D are measured together with thecalibration marker unit 130D when thesecond measuring device 305 measures thecalibration marker unit 130D.

このように、アーム１３には、３つの基準マーカ２０１Ａ、３つの基準マーカ２０１Ｂ、３つの基準マーカ２０１Ｃ、及び３つの基準マーカ２０１Ｄの合計１２個の基準マーカが設置されている。これらの基準マーカのうち、３つの基準マーカ２０１Ａが、第２計測装置３０５によって校正用マーカ部１３０Ａとともに計測される方向を向いている。同様に、これらの基準マーカ２０１Ａ〜２０１Ｄのうち、３つの基準マーカ２０１Ｂが、第２計測装置３０５によって校正用マーカ部１３０Ｂとともに計測される方向を向いている。これらの基準マーカ２０１Ａ〜２０１Ｄのうち、３つの基準マーカ２０１Ｃが、第２計測装置３０５によって校正用マーカ部１３０Ｃとともに計測される方向を向いている。これらの基準マーカ２０１Ａ〜２０１Ｄのうち、３つの基準マーカ２０１Ｄが、第２計測装置３０５によって校正用マーカ部１３０Ｄとともに計測される方向を向いている。 As described above, a total of 12 reference markers, threereference markers 201A, threereference markers 201B, threereference markers 201C, and threereference markers 201D, are installed on thearm 13. Of these reference markers, threereference markers 201A are oriented in the direction of measurement by thesecond measuring device 305 together with thecalibration marker unit 130A. Similarly, of thesereference markers 201A to 201D, threereference markers 201B are oriented in the direction of measurement by thesecond measuring device 305 together with thecalibration marker unit 130B. Of thesereference markers 201A to 201D, threereference markers 201C are oriented in the direction of measurement by thesecond measuring device 305 together with thecalibration marker unit 130C. Of thesereference markers 201A to 201D, threereference markers 201D are oriented in the direction of measurement by thesecond measuring device 305 together with thecalibration marker unit 130D.

第２計測装置３０５は、計測結果を座標対応付装置３００に入力する。第２計測装置３０５による計測は、オペレータが行ってもよく、第２計測装置３０５が自動で行ってもよい。第２計測装置３０５として、例えば、トータルステーション等の測量機器が用いられる。 Thesecond measuring device 305 inputs the measurement result to the coordinate-correspondingdevice 300. The measurement by thesecond measuring device 305 may be performed by the operator, or may be automatically performed by thesecond measuring device 305. As thesecond measuring device 305, for example, a surveying instrument such as a total station is used.

第２計測装置３０５は、移動可能であり、例えば、校正用マーカ部１３０Ａ及び基準マーカ部２００Ａを計測する場合の位置とは異なる位置から、校正用マーカ部１３０Ｂ及び基準マーカ部２００Ｂを計測してもよい。第２計測装置３０５が地上に固定されている場合、計測の対象とする校正用マーカ部及び基準マーカ部が計測範囲内に入るように、例えば、油圧ショベル１が移動させられる、又はアーム１３等が揺動させられてもよい。 Thesecond measuring device 305 is movable, and measures thecalibration marker unit 130B and thereference marker unit 200B from a position different from the position when measuring thecalibration marker unit 130A and thereference marker unit 200A, for example. May be good. When thesecond measuring device 305 is fixed to the ground, for example, the hydraulic excavator 1 is moved or thearm 13 or the like so that the calibration marker portion and the reference marker portion to be measured are within the measurement range. May be rocked.

座標対応付装置３００は、物理的には、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）、他の機器との間の通信を行う通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。座標対応付装置３００は、複数のコンピュータユニットによって構成されていてもよい。 Thedevice 300 with coordinate correspondence physically is a communication module that communicates with a CPU (Central Processing Unit), a RAM (Random Access Memory) and a ROM (Read Only Memory) which are main storage devices, and other devices. , And a computer equipped with hardware such as an auxiliary storage device such as a hard disk. The coordinate-correspondingdevice 300 may be composed of a plurality of computer units.

座標対応付装置３００は、機能的には、第１対応付部３０１と、第２対応付部３０２と、統合部３０３とを有している。第１対応付部３０１は、第１計測装置３０４の計測結果に基づいて、図６に示されるように、物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系と、校正用マーカ部１３０Ａ〜１３０Ｄによって定義される校正用マーカ座標系とをそれぞれ対応付ける。 The coordinate-correspondingdevice 300 functionally includes a firstcorresponding attachment unit 301, a secondcorresponding attachment unit 302, and anintegrated unit 303. The firstcorresponding portion 301 is defined by the sensor coordinate system of theobject detection sensors 110A to 110D and thecalibration marker portions 130A to 130D, as shown in FIG. 6, based on the measurement result of thefirst measuring device 304. Corresponds to each calibration marker coordinate system.

具体的には、第１対応付部３０１は、センサ取付板１２１Ａの上面とピン１２３Ａとの計測結果に基づいて、物体検出センサ１１０Ａのセンサ座標系を算出する。第１対応付部３０１は、校正用マーカ部１３０Ａの計測結果に基づいて、校正用マーカ部１３０Ａによって定義される校正用マーカ座標系を算出する。第１対応付部３０１は、算出した物体検出センサ１１０Ａのセンサ座標系と、校正用マーカ部１３０Ａによって定義される校正用マーカ座標系とを対応付ける。 Specifically, the firstcorresponding attachment portion 301 calculates the sensor coordinate system of theobject detection sensor 110A based on the measurement results of the upper surface of thesensor mounting plate 121A and thepin 123A. The firstcorresponding unit 301 calculates the calibration marker coordinate system defined by thecalibration marker unit 130A based on the measurement result of thecalibration marker unit 130A. Thefirst correspondence unit 301 associates the calculated sensor coordinate system of theobject detection sensor 110A with the calibration marker coordinate system defined by thecalibration marker unit 130A.

また、第１対応付部３０１は、センサ取付板１２１Ｂの上面とピン１２３Ｂとの計測結果に基づいて、物体検出センサ１１０Ｂのセンサ座標系を算出する。第１対応付部３０１は、校正用マーカ部１３０Ｂの計測結果に基づいて、校正用マーカ部１３０Ｂによって定義される校正用マーカ座標系を算出する。第１対応付部３０１は、算出した物体検出センサ１１０Ｂのセンサ座標系と、校正用マーカ部１３０Ｂによって定義される校正用マーカ座標系とを対応付ける。 Further, the firstcorresponding attachment portion 301 calculates the sensor coordinate system of theobject detection sensor 110B based on the measurement results of the upper surface of thesensor mounting plate 121B and thepin 123B. The firstcorresponding unit 301 calculates the calibration marker coordinate system defined by thecalibration marker unit 130B based on the measurement result of thecalibration marker unit 130B. Thefirst correspondence unit 301 associates the calculated sensor coordinate system of theobject detection sensor 110B with the calibration marker coordinate system defined by thecalibration marker unit 130B.

同様に、第１対応付部３０１は、物体検出センサ１１０Ｃのセンサ座標系と校正用マーカ部１３０Ｃの校正用マーカ座標系とを算出し、算出した座標系同士を対応付ける。第１対応付部３０１は、物体検出センサ１１０Ｄのセンサ座標系と校正用マーカ部１３０Ｄの校正用マーカ座標系とを算出し、算出した座標系同士を対応付ける。 Similarly, thefirst correspondence unit 301 calculates the sensor coordinate system of theobject detection sensor 110C and the calibration marker coordinate system of thecalibration marker unit 130C, and associates the calculated coordinate systems with each other. Thefirst correspondence unit 301 calculates the sensor coordinate system of theobject detection sensor 110D and the calibration marker coordinate system of thecalibration marker unit 130D, and associates the calculated coordinate systems with each other.

第２対応付部３０２は、第２計測装置３０５の計測結果に基づいて、図６に示されるように、校正用マーカ部１３０Ａ〜１３０Ｄによって定義される校正用マーカ座標系と、基準マーカ部２００Ａ〜２００Ｄによって定義される基準座標系とをそれぞれ対応付ける。 The secondcorresponding unit 302 has a calibration marker coordinate system defined by thecalibration marker units 130A to 130D and areference marker unit 200A, as shown in FIG. 6, based on the measurement results of thesecond measuring device 305. Corresponds to the reference coordinate system defined by ~ 200D, respectively.

具体的には、第２対応付部３０２は、校正用マーカ部１３０Ａの計測結果に基づいて、校正用マーカ部１３０Ａによって定義される校正用マーカ座標系を算出する。第２対応付部３０２は、基準マーカ部２００Ａの計測結果に基づいて基準座標系を算出する。第２対応付部３０２は、算出した校正用マーカ部１３０Ａによって定義される校正用マーカ座標系と、基準座標系とを対応付ける。 Specifically, the secondcorresponding unit 302 calculates the calibration marker coordinate system defined by thecalibration marker unit 130A based on the measurement result of thecalibration marker unit 130A. The secondcorresponding unit 302 calculates the reference coordinate system based on the measurement result of thereference marker unit 200A. Thesecond correspondence unit 302 associates the calibration marker coordinate system defined by the calculatedcalibration marker unit 130A with the reference coordinate system.

また、第２対応付部３０２は、校正用マーカ部１３０Ｂの計測結果に基づいて、校正用マーカ部１３０Ｂによって定義される校正用マーカ座標系を算出する。第２対応付部３０２は、基準マーカ部２００Ｂの計測結果に基づいて基準座標系を算出する。第２対応付部３０２は、算出した校正用マーカ部１３０Ｂによって定義される校正用マーカ座標系と、基準座標系とを対応付ける。 Further, the secondcorresponding unit 302 calculates the calibration marker coordinate system defined by thecalibration marker unit 130B based on the measurement result of thecalibration marker unit 130B. The secondcorresponding unit 302 calculates the reference coordinate system based on the measurement result of thereference marker unit 200B. Thesecond correspondence unit 302 associates the calibration marker coordinate system defined by the calculatedcalibration marker unit 130B with the reference coordinate system.

同様に、第２対応付部３０２は、校正用マーカ部１３０Ｃの校正用マーカ座標系と基準座標系とを算出し、算出した座標系同士を対応付ける。第２対応付部３０２は、校正用マーカ部１３０Ｄの校正用マーカ座標系と基準座標系とを算出し、算出した座標系同士を対応付ける。 Similarly, thesecond correspondence unit 302 calculates the calibration marker coordinate system and the reference coordinate system of thecalibration marker unit 130C, and associates the calculated coordinate systems with each other. Thesecond correspondence unit 302 calculates the calibration marker coordinate system and the reference coordinate system of thecalibration marker unit 130D, and associates the calculated coordinate systems with each other.

ここで、第１対応付部３０１で対応付けられた対応付け結果と、第２対応付部３０２で対応付けられた対応付け結果とは校正用マーカ座標系が共通している。このため、統合部３０３は、第１対応付部３０１で対応付けられたセンサ座標系及び校正用マーカ座標系と、第２対応付部３０２で対応付けられた校正用マーカ座標系及び基準座標系とを統合することによって、センサ座標系と基準座標系とを対応付ける。 Here, the proofreading marker coordinate system is common to the association result associated with the firstcorrespondence attachment unit 301 and the association result associated with the secondcorrespondence attachment unit 302. Therefore, theintegration unit 303 includes the sensor coordinate system and the calibration marker coordinate system associated with thefirst correspondence unit 301, and the calibration marker coordinate system and the reference coordinate system associated with thesecond correspondence unit 302. By integrating with, the sensor coordinate system and the reference coordinate system are associated with each other.

具体的には、統合部３０３は、物体検出センサ１１０Ａのセンサ座標系及び校正用マーカ部１３０Ａによって定義される校正用マーカ座標系の対応付け結果と、校正用マーカ部１３０Ａによって定義される校正用マーカ座標系及び基準座標系の対応付け結果とを統合することによって、物体検出センサ１１０Ａのセンサ座標系と基準座標系とを対応付ける。また、統合部３０３は、物体検出センサ１１０Ｂのセンサ座標系及び校正用マーカ部１３０Ｂによって定義される校正用マーカ座標系の対応付け結果と、校正用マーカ部１３０Ｂによって定義される校正用マーカ座標系及び基準座標系の対応付け結果とを統合することによって、物体検出センサ１１０Ｂのセンサ座標系と基準座標系とを対応付ける。 Specifically, theintegration unit 303 has a correspondence result between the sensor coordinate system of theobject detection sensor 110A and the calibration marker coordinate system defined by thecalibration marker unit 130A, and thecalibration marker unit 130A defined by thecalibration marker unit 130A. By integrating the association result of the marker coordinate system and the reference coordinate system, the sensor coordinate system of theobject detection sensor 110A and the reference coordinate system are associated with each other. Further, theintegration unit 303 has a correspondence result between the sensor coordinate system of theobject detection sensor 110B and the calibration marker coordinate system defined by thecalibration marker unit 130B, and the calibration marker coordinate system defined by thecalibration marker unit 130B. And by integrating the association result of the reference coordinate system, the sensor coordinate system of theobject detection sensor 110B and the reference coordinate system are associated with each other.

同様に、統合部３０３は、物体検出センサ１１０Ｃのセンサ座標系と基準座標系とを対応付け、物体検出センサ１１０Ｄのセンサ座標系と基準座標系とを対応付ける。 Similarly, theintegration unit 303 associates the sensor coordinate system of theobject detection sensor 110C with the reference coordinate system, and associates the sensor coordinate system of theobject detection sensor 110D with the reference coordinate system.

座標対応付装置３００によって行われた基準座標系とセンサ座標系との対応付け結果は、監視装置２０に入力され、監視装置２０における障害物等の監視に用いられる。 The result of associating the reference coordinate system with the sensor coordinate system performed by the coordinate-correspondingdevice 300 is input to themonitoring device 20 and used for monitoring obstacles and the like in themonitoring device 20.

次に、座標対応付装置３００、第１計測装置３０４、及び第２計測装置３０５を用いて行われる座標系統合方法の処理の流れについて説明する。図７に示されるように、第１計測装置３０４は、校正用マーカ部１３０Ａ〜１３０Ｄと、物体検出センサ１１０Ａ〜１１０Ｄの設置位置及び姿勢とをそれぞれ計測する（Ｓ１０１：第１計測工程）。第１対応付部３０１は、第１計測工程の計測結果に基づいて、物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系と、校正用マーカ部１３０Ａ〜１３０Ｄによって定義される校正用マーカ座標系とをそれぞれ対応付ける（Ｓ１０２：第１対応付け工程）。 Next, the flow of processing of the coordinate system integration method performed by using the coordinate-correspondingdevice 300, thefirst measuring device 304, and thesecond measuring device 305 will be described. As shown in FIG. 7, thefirst measuring device 304 measures thecalibration marker units 130A to 130D and the installation positions and postures of theobject detection sensors 110A to 110D, respectively (S101: first measurement step). The firstcorresponding unit 301 sets the sensor coordinate system of theobject detection sensors 110A to 110D and the calibration marker coordinate system defined by thecalibration marker units 130A to 130D based on the measurement result of the first measurement step, respectively. Correspondence (S102: first association step).

第２計測装置３０５は、校正用マーカ部１３０Ａ〜１３０Ｄと、基準マーカ部２００Ａ〜２００Ｄとをそれぞれ計測する（Ｓ１０３：第２計測工程）。第２対応付部３０２は、第２計測工程の計測結果に基づいて、校正用マーカ部１３０Ａ〜１３０Ｄによって定義される校正用マーカ座標系と、基準マーカ部２００Ａ〜２００Ｄによって定義される基準座標系とをそれぞれ対応付ける（Ｓ１０４：第２対応付工程）。統合部３０３は、第１対応付工程での対応付け結果と第２対応付工程での対応付け結果とを統合し、物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系と基準座標系とをそれぞれ対応付ける（Ｓ１０５：統合工程）。 Thesecond measuring device 305 measures thecalibration marker units 130A to 130D and thereference marker units 200A to 200D, respectively (S103: second measurement step). The secondcorresponding unit 302 is a calibration marker coordinate system defined by thecalibration marker units 130A to 130D and a reference coordinate system defined by thereference marker units 200A to 200D based on the measurement result of the second measurement process. And are associated with each other (S104: second corresponding step). Theintegration unit 303 integrates the association result in the first correspondence process and the association result in the second correspondence process, and associates the sensor coordinate systems of theobject detection sensors 110A to 110D with the reference coordinate system, respectively ( S105: integration process).

以上のように、本実施形態の座標系統合方法によれば、第１計測工程において第１計測装置３０４を用いて、校正用マーカ部１３０Ａ〜１３０Ｄと物体検出センサ１１０Ａ〜１１０Ｄの設置位置及び姿勢とがそれぞれ計測されている。第２計測工程において第２計測装置３０５を用いて、校正用マーカ部１３０Ａ〜１３０Ｄと基準マーカ部２００Ａ〜２００Ｄとがそれぞれ計測されている。すなわち、第１計測装置３０４及び第２計測装置３０５の計測結果に基づいて、物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系と基準座標系とが対応付けられており、物体検出センサ１１０Ａ〜１１０Ｄの検出結果は用いられていない。従って、この座標系統合方法では、物体検出センサ１１０Ａ〜１１０Ｄの検出精度に依存することなく、油圧ショベル１の基準座標系と物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系とをそれぞれ対応付けることができる。 As described above, according to the coordinate system integration method of the present embodiment, the installation positions and orientations of thecalibration markers 130A to 130D and theobject detection sensors 110A to 110D are used in the first measurement step using thefirst measurement device 304. And are measured respectively. In the second measurement step, thecalibration marker units 130A to 130D and thereference marker units 200A to 200D are measured by using thesecond measuring device 305, respectively. That is, based on the measurement results of thefirst measuring device 304 and thesecond measuring device 305, the sensor coordinate system of theobject detection sensors 110A to 110D and the reference coordinate system are associated with each other, and the detection of theobject detection sensors 110A to 110D. Results are not used. Therefore, in this coordinate system integration method, the reference coordinate system of the hydraulic excavator 1 and the sensor coordinate systems of theobject detection sensors 110A to 110D can be associated with each other without depending on the detection accuracy of theobject detection sensors 110A to 110D.

基準マーカ２０１Ａは、校正用マーカ部１３０Ａとともに第２計測装置３０５によって計測される方向を向いている。同様に、基準マーカ２０１Ｂ〜２０１Ｄは、それぞれ校正用マーカ部１３０Ｂ〜１３０Ｄとともに第２計測装置３０５によって計測される方向を向いている。この場合、例えば、物体検出センサ１１０Ａと物体検出センサ１１０Ｂとが異なる位置に設けられていても、第２計測工程において校正用マーカ部１３０Ａと基準マーカ２０１Ａとを計測でき、校正用マーカ部１３０Ｂと基準マーカ２０１Ｂとを計測できる。また、本実施形態の座標系統合方法では、物体検出センサ１１０Ａ〜１１０Ｄのように複数の物体検出センサが設けられていても、それぞれの物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系を基準座標系に対応付けることができる。 Thereference marker 201A faces the direction measured by thesecond measuring device 305 together with thecalibration marker unit 130A. Similarly, thereference markers 201B to 201D face the directions measured by thesecond measuring device 305 together with thecalibration markers 130B to 130D, respectively. In this case, for example, even if theobject detection sensor 110A and theobject detection sensor 110B are provided at different positions, thecalibration marker unit 130A and thereference marker 201A can be measured in the second measurement step, and thecalibration marker unit 130B and thecalibration marker unit 130B can be measured. Thereference marker 201B can be measured. Further, in the coordinate system integration method of the present embodiment, even if a plurality of object detection sensors such as theobject detection sensors 110A to 110D are provided, the sensor coordinate systems of the respectiveobject detection sensors 110A to 110D are used as the reference coordinate system. Can be associated.

物体検出センサ１１０Ａ〜１１０Ｄは、アーム１３の周囲に複数のレーザ光を照射することによって物体を検出するセンサである。この場合、例えば、この物体検出センサ１１０Ａ〜１１０Ｄによって基準マーカ２０１Ａ〜２０１Ｄを検出する場合、レーザ光の照射の間隔によっては２０１Ａ〜２０１Ｄが検出されないことが考えられる。しかしながら、本実施形態の座標系統合方法では、物体検出センサ１１０Ａ〜１１０Ｄの検出結果を用いずにセンサ座標系と基準座標系とを対応付けることができるため、物体検出センサ１１０Ａ〜１１０Ｄの検出精度に依存することなく座標系の対応付けを行うことができる。 Theobject detection sensors 110A to 110D are sensors that detect an object by irradiating a plurality of laser beams around thearm 13. In this case, for example, when thereference markers 201A to 201D are detected by theobject detection sensors 110A to 110D, it is conceivable that 201A to 201D may not be detected depending on the interval of laser beam irradiation. However, in the coordinate system integration method of the present embodiment, the sensor coordinate system and the reference coordinate system can be associated with each other without using the detection results of theobject detection sensors 110A to 110D, so that the detection accuracy of theobject detection sensors 110A to 110D can be improved. Coordinate systems can be associated without dependence.

油圧ショベル１では、例えば、３つの基準マーカ２０１Ａと３以上の校正用マーカ１３１Ａとが１の地点から視認できる。これにより、校正用マーカ１３１Ａと基準マーカ２０１Ａとを計測することで、センサ座標系と基準座標系との対応付けが可能となる。すなわち、物体検出センサ１１０Ａ〜１１０Ｄの検出結果を用いることなく、センサ座標系と基準座標系とが対応付けられる。従って、この油圧ショベル１では、物体検出センサ１１０Ａ〜１１０Ｄの検出精度に依存することなく、アーム１３に設定された基準座標系と物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系とを対応付けることができる。 In the hydraulic excavator 1, for example, threereference markers 201A and three ormore calibration markers 131A can be visually recognized from one point. As a result, the sensor coordinate system and the reference coordinate system can be associated with each other by measuring thecalibration marker 131A and thereference marker 201A. That is, the sensor coordinate system and the reference coordinate system are associated with each other without using the detection results of theobject detection sensors 110A to 110D. Therefore, in this hydraulic excavator 1, the reference coordinate system set on thearm 13 and the sensor coordinate system of theobject detection sensors 110A to 110D can be associated with each other without depending on the detection accuracy of theobject detection sensors 110A to 110D.

以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されるものではない。例えば、四角柱状に形成されたアーム１３に基準マーカ２０１Ａ等を設置したが、図８に示されるように、円柱形状のアーム１５に基準マーカ部２００を設けてもよい。この場合、基準マーカ部２００を構成する複数の基準マーカ２０１は、アーム１５の外周面において所定の角度ごとにそれぞれ設置されている。所定の角度ごとに設置された複数の基準マーカ２０１の組は、アーム１５の軸方向において複数設けられている。基準マーカ２０１は、基準座標系を定義している。３つの基準マーカ２０１に基づいて三次元座標系を導く方法としては、周知の方法を用いることができる。例えば、所定の角度ごとに設置された基準マーカ２０１の組において、３つの基準マーカ２０１から円形の面を定義し、面の法線を１つ目の軸とする。円形の面の中心と所定の基準マーカ２０１を通る直線を２つ目の軸とする。そして、これらの２つの軸に直交する線を３つ目の軸とすることができる。すなわち、複数の基準マーカ２０１のうち、周方向に並ぶ少なくとも３つの基準マーカ２０１が３、第２計測装置３０５によって計測可能に配置されていればよい。 Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above embodiments. For example, although thereference marker 201A or the like is installed on thearm 13 formed in a square columnar shape, thereference marker portion 200 may be provided in thecolumnar arm 15 as shown in FIG. In this case, the plurality ofreference markers 201 constituting thereference marker portion 200 are installed at predetermined angles on the outer peripheral surface of thearm 15. A plurality of sets of a plurality ofreference markers 201 installed at predetermined angles are provided in the axial direction of thearm 15. Thereference marker 201 defines a reference coordinate system. A well-known method can be used as a method for deriving the three-dimensional coordinate system based on the threereference markers 201. For example, in a set ofreference markers 201 installed at predetermined angles, a circular surface is defined from the threereference markers 201, and the normal of the surface is set as the first axis. The center of the circular surface and the straight line passing through thepredetermined reference marker 201 are set as the second axis. Then, a line orthogonal to these two axes can be used as the third axis. That is, of the plurality ofreference markers 201, at least threereference markers 201 arranged in the circumferential direction may be arranged so as to be measurable by the third andsecond measuring device 305.

実施形態では、アーム１３の軸に基づいて基準座標系が設定される場合を例に説明したが、基準座標系はアーム１３の軸に基づいて設定されることに限定されない。油圧ショベル１に対して適宜の位置に基準座標系が定められていればよい。 In the embodiment, the case where the reference coordinate system is set based on the axis of thearm 13 has been described as an example, but the reference coordinate system is not limited to being set based on the axis of thearm 13. It suffices that the reference coordinate system is set at an appropriate position with respect to the hydraulic excavator 1.

図７では、第１計測工程（Ｓ１０１）及び第１対応付工程（Ｓ１０２）の後に、第２計測工程（Ｓ１０３）及び第２対応付工程（Ｓ１０４）を行ったが、第２計測工程及び第２対応付工程の後に、第１計測工程及び第１対応付工程を行ってもよい。 In FIG. 7, after the first measurement step (S101) and the first correspondence step (S102), the second measurement step (S103) and the second correspondence step (S104) were performed, but the second measurement step and the second correspondence step were performed. 2 After the corresponding step, the first measurement step and the first correspondence step may be performed.

また、例えば、物体検出センサ１１０Ａの設置位置及び姿勢と校正用マーカ１３１Ａとの位置関係が、加工の精度によって定まるなど既知の場合がある。或いは、校正用マーカ１３１Ａが物体検出センサ１１０Ａに直接設置されることにより、物体検出センサ１１０Ａの設置位置及び姿勢と校正用マーカ１３１Ａとの位置関係が、既知となっていてもよい。すなわち、校正用マーカ部１３０Ａによって定義される座標系が、物体検出センサ１１０Ａのセンサ座標系となる。この場合、第１計測装置３０４を用いた第１計測工程が不要となる。従って、第２計測装置３０５を用いて校正用マーカ部１３０Ａと基準マーカ部２００Ａとを計測し(計測工程)、この計測結果を統合部３０３が統合するだけで（統合工程）、校正用マーカ部１３０Ａによって定義される物体検出センサ１１０Ａのセンサ座標系と基準マーカ部２００Ａによって定義される基準座標系とを対応付けることができる。物体検出センサ１１０Ｂ〜１１０Ｄについても、物体検出センサ１１０Ｂ〜１１０Ｄの設置位置及び姿勢と、校正用マーカ部１３０Ｂを構成する校正用マーカ１３１Ｂ及び校正用マーカ部１３０Ｃ，１３０Ｄを構成する各校正用マーカとの位置関係が既知の場合、第１計測装置３０４を用いた第１計測工程が不要となる。この場合には、第１計測工程を行うことなく、物体検出センサ１１０Ａ〜１１０Ｄのセンサ座標系と基準座標系とを対応付けることができる。 Further, for example, there are cases where the installation position and orientation of theobject detection sensor 110A and the positional relationship between thecalibration marker 131A are determined by the processing accuracy. Alternatively, by installing thecalibration marker 131A directly on theobject detection sensor 110A, the positional relationship between the installation position and orientation of theobject detection sensor 110A and thecalibration marker 131A may be known. That is, the coordinate system defined by thecalibration marker unit 130A becomes the sensor coordinate system of theobject detection sensor 110A. In this case, the first measurement step using thefirst measurement device 304 becomes unnecessary. Therefore, thecalibration marker unit 130A and thereference marker unit 200A are measured using the second measuring device 305 (measurement process), and the measurement result is simply integrated by the integration unit 303 (integration process), and the calibration marker unit is used. The sensor coordinate system of theobject detection sensor 110A defined by 130A can be associated with the reference coordinate system defined by thereference marker unit 200A. Regarding theobject detection sensors 110B to 110D, the installation position and orientation of theobject detection sensors 110B to 110D, thecalibration markers 131B constituting thecalibration marker unit 130B, and the calibration markers constituting thecalibration marker units 130C and 130D are included. When the positional relationship of the above is known, the first measurement step using thefirst measurement device 304 becomes unnecessary. In this case, the sensor coordinate system of theobject detection sensors 110A to 110D can be associated with the reference coordinate system without performing the first measurement step.

センサユニット１００Ａ等をアーム１３に取り付けたが、アーム１３以外の外所にセンサユニット１００Ａ等が取り付けられていてもよい。また、物体検出センサ１１０Ａ等のセンサ座標系を対応付ける対象装置として油圧ショベル１を用いたが、油圧ショベル１に限定されない。例えば、アンローダ、油圧ショベル１以外の建設機械、所定の作業等を行う重機などが対象装置とされてもよい。 Although thesensor unit 100A or the like is attached to thearm 13, thesensor unit 100A or the like may be attached to an external place other than thearm 13. Further, although the hydraulic excavator 1 is used as the target device to which the sensor coordinate system of theobject detection sensor 110A or the like is associated, the present invention is not limited to the hydraulic excavator 1. For example, an unloader, a construction machine other than the hydraulic excavator 1, a heavy machine performing a predetermined work, or the like may be the target device.

例えば、センサ取付板１２１Ａの上面及びピン１２３Ａによって物体検出センサ１１０Ａのセンサ座標系を特定したが、物体検出センサ１１０Ａの表面に設置されたマーク（センサ座標特定部）等に基づいて、センサ座標系が特定されてもよい。 For example, the sensor coordinate system of theobject detection sensor 110A is specified by the upper surface of thesensor mounting plate 121A and thepin 123A, but the sensor coordinate system is based on the mark (sensor coordinate identification part) installed on the surface of theobject detection sensor 110A. May be specified.

基準マーカ部２００Ａは、３つの基準マーカ２０１Ａによって構成されていたが、４つ以上の基準マーカ２０１Ａによって構成されていてもよい。この場合、４つ以上の基準マーカ２０１Ａのうち少なくとも３つ以上の基準マーカ２０１Ａが、第２計測装置３０５によって計測可能に配置されていればよい。そして、第２計測装置３０５によって計測された３つの基準マーカ２０１Ａを用いて基準座標系が導かれてもよく、４つ以上の基準マーカ２０１Ａを用いて周知の方法によって基準座標系が導かれてもよい。基準マーカ部２００Ｂ〜２００Ｄも同様に、４つ以上の基準マーカ２０１Ｂ〜２０１Ｄによってそれぞれ構成されていてもよい。 Thereference marker unit 200A was composed of threereference markers 201A, but may be composed of four ormore reference markers 201A. In this case, at least three ormore reference markers 201A out of four ormore reference markers 201A may be arranged so as to be measurable by thesecond measuring device 305. Then, the reference coordinate system may be derived using the threereference markers 201A measured by thesecond measuring device 305, and the reference coordinate system may be derived by a well-known method using four ormore reference markers 201A. May be good. Similarly, thereference marker portions 200B to 200D may be configured by four ormore reference markers 201B to 201D, respectively.

実施形態では、３つの校正用マーカ１３１Ａに基づいて校正用マーカ座標系を導く例を示したが、４つ以上の校正用マーカ１３１Ａに基づいて校正用マーカ座標系が導かれてもよい。校正用マーカ部１３０Ｂを構成する校正用マーカ１３１Ｂ及び校正用マーカ部１３０Ｃ，１３０Ｄを構成する各校正用マーカについても同様に、４つ以上の校正用マーカに基づいてそれぞれ校正用マーカ座標系が導かれてもよい。 In the embodiment, an example of deriving the calibration marker coordinate system based on threecalibration markers 131A is shown, but the calibration marker coordinate system may be derived based on four ormore calibration markers 131A. Similarly, for each of thecalibration markers 131B constituting thecalibration marker section 130B and the calibration markers constituting thecalibration marker sections 130C and 130D, the calibration marker coordinate system is derived based on four or more calibration markers. You may be proofread.

本開示によれば、物体検出センサの検出精度に依存することなく、対象装置の基準座標系と物体検出センサのセンサ座標系とを対応付けることができる。 According to the present disclosure, it is possible to associate the reference coordinate system of the target device with the sensor coordinate system of the object detection sensor without depending on the detection accuracy of the object detection sensor.

１ 油圧ショベル（対象装置、柱状体を備える装置）
１３ アーム（柱状体）
１１０Ａ 物体検出センサ（第１物体検出センサ）
１１０Ｂ 物体検出センサ（第２物体検出センサ）
１１０Ｃ，１１０Ｄ 物体検出センサ
１２０Ａ 取付冶具（第１取付冶具）
１２０Ｂ 取付冶具（第２取付冶具）
１２１Ａ センサ取付板（センサ座標特定部、第１センサ座標特定部）
１２３Ａ ピン（センサ座標特定部、第１センサ座標特定部）
１２１Ｂ センサ取付板（センサ座標特定部、第２センサ座標特定部）
１２３Ｂ ピン（センサ座標特定部、第２センサ座標特定部）
１３１Ａ 校正用マーカ（第１校正用マーカ）
１３１Ｂ 校正用マーカ（第２校正用マーカ）
２０１，２０１Ａ〜２０１Ｄ 基準マーカ
３０４ 第１計測装置
３０５ 第２計測装置（計測装置）1 Hydraulic excavator (target device, device with columnar body)
13 Arm (columnar body)
110A object detection sensor (first object detection sensor)
110B object detection sensor (second object detection sensor)
110C, 110DObject detection sensor 120A Mounting jig (1st mounting jig)
120B mounting jig (second mounting jig)
121A Sensor mounting plate (sensor coordinate identification part, first sensor coordinate identification part)
123A pin (sensor coordinate identification part, first sensor coordinate identification part)
121B sensor mounting plate (sensor coordinate identification part, second sensor coordinate identification part)
123B pin (sensor coordinate identification part, second sensor coordinate identification part)
131A Calibration marker (1st calibration marker)
131B Calibration marker (second calibration marker)
201, 201A to201D Reference marker 3041st measuring device 305 2nd measuring device (measuring device)

Claims (5)

Translated fromJapanese

対象装置に取り付けられ前記対象装置の周囲の物体を検出する物体検出センサのセンサ座標系と、前記対象装置に対して予め設定された基準座標系とを対応付ける座標系統合方法であって、
前記物体検出センサを前記対象装置に取り付ける取付冶具又は前記物体検出センサに設けられるとともに前記センサ座標系を定義するセンサ座標特定部と、前記取付冶具に設置されるとともに校正用マーカ座標系を定義する３以上の校正用マーカと、を第１計測装置によって計測する第１計測工程と、
前記第１計測工程の計測結果に基づいて、前記センサ座標特定部によって定義される前記センサ座標系と、前記校正用マーカによって定義される校正用マーカ座標系と、を対応付ける第１対応付工程と、
３以上の前記校正用マーカと、前記対象装置に設置されるとともに前記基準座標系を定義する３以上の基準マーカと、を第２計測装置によって計測する第２計測工程と、
前記第２計測工程の計測結果に基づいて、前記校正用マーカによって定義される前記校正用マーカ座標系と、前記基準マーカによって定義される前記基準座標系とを対応付ける第２対応付工程と、
前記第１対応付工程で対応付けられた前記センサ座標系及び前記校正用マーカ座標系と、前記第２対応付工程で対応付けられた前記校正用マーカ座標系及び前記基準座標系と、に基づいて、前記センサ座標系と前記基準座標系とを対応付ける統合工程と、を含む座標系統合方法。A coordinate system integration method that associates a sensor coordinate system of an object detection sensor attached to a target device with an object around the target device with a reference coordinate system preset for the target device.
A mounting jig for attaching the object detection sensor to the target device or a sensor coordinate specifying unit provided on the object detection sensor and defining the sensor coordinate system, and a marker coordinate system for calibration installed on the mounting jig are defined. The first measurement step of measuring three or more calibration markers by the first measuring device, and
Based on the measurement result of the first measurement step, the first correspondence step of associating the sensor coordinate system defined by the sensor coordinate identification unit with the calibration marker coordinate system defined by the calibration marker. ,
A second measurement step of measuring three or more of the calibration markers and three or more reference markers installed in the target device and defining the reference coordinate system by the second measuring device.
Based on the measurement result of the second measurement step, the second correspondence step of associating the calibration marker coordinate system defined by the calibration marker with the reference coordinate system defined by the reference marker.
Based on the sensor coordinate system and the calibration marker coordinate system associated in the first correspondence step, and the calibration marker coordinate system and the reference coordinate system associated in the second correspondence step. A coordinate system integration method including an integration step of associating the sensor coordinate system with the reference coordinate system. 前記物体検出センサは、第１物体検出センサと、第２物体検出センサと、を含み、
前記取付冶具は、前記第１物体検出センサを前記対象装置に取り付ける第１取付冶具と、前記第２物体検出センサを前記対象装置に取り付ける第２取付冶具と、を含み、
前記センサ座標特定部は、前記第１取付冶具又は前記第１物体検出センサに設けられるとともに前記第１物体検出センサの第１センサ座標系を定義する第１センサ座標特定部と、前記第２取付冶具又は前記第２物体検出センサに設けられるとともに前記第２物体検出センサの第２センサ座標系を定義する第２センサ座標特定部と、を含み、
前記校正用マーカは、前記第１取付冶具に設置されるとともに第１校正用マーカ座標系を定義する３以上の第１校正用マーカと、前記第２取付冶具に設置されるとともに第２校正用マーカ座標系を定義する３以上の第２校正用マーカと、を含み、
前記基準マーカは、前記対象装置に３以上設置され、前記第２計測装置が３以上の前記第１校正用マーカを計測するときに少なくとも３以上の前記基準マーカが前記第１校正用マーカとともに計測される方向を向き、前記第２計測装置が３以上の前記第２校正用マーカを計測するときに少なくとも３以上の前記基準マーカが前記第２校正用マーカとともに計測される方向を向き、
前記第１計測工程では、前記第１センサ座標特定部と３以上の前記第１校正用マーカとを前記第１計測装置によって計測し、前記第２センサ座標特定部と３以上の前記第２校正用マーカとを前記第１計測装置によって計測し、
前記第１対応付工程では、前記第１センサ座標特定部によって定義される前記第１センサ座標系と前記第１校正用マーカによって定義される前記第１校正用マーカ座標系とを対応付け、前記第２センサ座標特定部によって定義される前記第２センサ座標系と前記第２校正用マーカによって定義される前記第２校正用マーカ座標系とを対応付け、
前記第２計測工程では、３以上の前記第１校正用マーカと３以上の前記基準マーカとを前記第２計測装置によって計測し、３以上の前記第２校正用マーカと３以上の前記基準マーカとを前記第２計測装置によって計測し、
前記第２対応付工程では、前記第１校正用マーカによって定義される前記第１校正用マーカ座標系と前記基準マーカによって定義される前記基準座標系とを対応付け、前記第２校正用マーカによって定義される前記第２校正用マーカ座標系と前記基準マーカによって定義される前記基準座標系とを対応付け、
前記統合工程では、
前記第１対応付工程で対応付けられた前記第１センサ座標系及び前記第１校正用マーカ座標系と、第２対応付工程で対応付けられた前記第１校正用マーカ座標系及び前記基準座標系と、に基づいて、前記第１センサ座標系と前記基準座標系とを対応付け、
前記第１対応付工程で対応付けられた前記第２センサ座標系及び前記第２校正用マーカ座標系と、第２対応付工程で対応付けられた前記第２校正用マーカ座標系及び前記基準座標系と、に基づいて、前記第２センサ座標系と前記基準座標系とを対応付ける、請求項１に記載の座標系統合方法。The object detection sensor includes a first object detection sensor and a second object detection sensor.
The mounting jig includes a first mounting jig that attaches the first object detection sensor to the target device, and a second mounting jig that attaches the second object detection sensor to the target device.
The sensor coordinate identification unit is provided on the first attachment jig or the first object detection sensor, and defines the first sensor coordinate system of the first object detection sensor, the first sensor coordinate identification unit, and the second attachment. Includes a second sensor coordinate identification unit that is provided on the jig or the second object detection sensor and defines the second sensor coordinate system of the second object detection sensor.
The calibration markers are installed on the first mounting jig and have three or more first calibration markers that define the coordinate system of the first calibration marker, and are installed on the second mounting jig and are used for the second calibration. Includes three or more second calibration markers that define the marker coordinate system.
Three or more reference markers are installed in the target device, and when the second measuring device measures three or more of the first calibration markers, at least three or more of the reference markers measure together with the first calibration marker. When the second measuring device measures three or more of the second calibration markers, at least three or more of the reference markers are oriented in the direction of being measured together with the second calibration marker.
In the first measurement step, the first sensor coordinate identification unit and three or more first calibration markers are measured by the first measurement device, and the second sensor coordinate identification unit and three or more second calibration markers are measured. The marker is measured by the first measuring device.
In the first corresponding step, the first sensor coordinate system defined by the first sensor coordinate identification unit and the first calibration marker coordinate system defined by the first calibration marker are associated with each other. The second sensor coordinate system defined by the second sensor coordinate identification unit is associated with the second calibration marker coordinate system defined by the second calibration marker.
In the second measurement step, three or more of the first calibration markers and three or more of the reference markers are measured by the second measuring device, and three or more of the second calibration markers and three or more of the reference markers are measured. And are measured by the second measuring device,
In the second corresponding step, the first calibration marker coordinate system defined by the first calibration marker is associated with the reference coordinate system defined by the reference marker, and the second calibration marker is used. The defined second calibration marker coordinate system is associated with the reference coordinate system defined by the reference marker.
In the integration process,
The first sensor coordinate system and the first calibration marker coordinate system associated with the first correspondence step, and the first calibration marker coordinate system and the reference coordinate associated with the second correspondence step. Based on the system, the first sensor coordinate system and the reference coordinate system are associated with each other.
The second sensor coordinate system and the second calibration marker coordinate system associated with the first correspondence step, and the second calibration marker coordinate system and the reference coordinate associated with the second correspondence step. and the system, based on, associating with the reference coordinate system and the second sensor coordinate system, the coordinate system integrated process according to claim1. 前記物体検出センサは、前記対象装置の周囲に複数のレーザ光を照射することによって物体を検出するセンサである、請求項１に記載の座標系統合方法。The coordinate system integration method according toclaim 1 , wherein the object detection sensor is a sensor that detects an object by irradiating a plurality of laser beams around the target device. 前記物体検出センサは、前記対象装置の周囲に複数のレーザ光を照射することによって物体を検出するセンサである、請求項２に記載の座標系統合方法。The coordinate system integration method according toclaim 2 , wherein the object detection sensor is a sensor that detects an object by irradiating a plurality of laser beams around the target device. 前記基準マーカは、前記対象装置の円柱形状のアームの外周面に周方向に並べて配置されると共に、少なくとも３つの前記基準マーカが前記第２計測装置によって計測可能に設置され、 The reference markers are arranged side by side in the circumferential direction on the outer peripheral surface of the cylindrical arm of the target device, and at least three reference markers are installed so as to be measurable by the second measuring device.
前記第２対応付工程では、前記第２計測装置によって計測された３つの前記基準マーカによって三次元の前記基準座標系を導く、請求項１〜４のいずれか一項に記載の座標系統合方法。 The coordinate system integration method according to any one of claims 1 to 4, wherein in the second corresponding step, the three-dimensional reference coordinate system is derived by the three reference markers measured by the second measuring device. ..

Images