【０００１】[0001]
【発明の属する技術分野】本発明は、自動運転を行う建
設機械に係わり、特に、ダンプトラックやクラッシヤ等
の作業機械への自動積み込み作業を行う自動運転建設機
械に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic operation construction machine, and more particularly to an automatic operation construction machine for automatically loading work machines such as dump trucks and crushers.
【０００２】[0002]
【従来の技術】通常、砕石現場等において、油圧ショベ
ル等の建設機械によるダンプトラックやクラッシャへの
積み込み作業は、ある決まった場所から土石を掘削し、
ダンプトラックのベッセルやクラッシャのホッパ等の決
まった場所へ放土するという単調な繰り返し作業であ
る。このような単調な繰り返し作業は、オペレータにと
って苦痛であり、人手を介在せずに自動的に行わせると
いう要求が高まっている。2. Description of the Related Art Generally, in a crushed stone site or the like, loading work on a dump truck or a crusher by a construction machine such as a hydraulic shovel excavates earth and stone from a predetermined place.
It is a monotonous and repetitive task of dumping the soil at a fixed location such as a dump truck vessel or crusher hopper. Such a monotonous repetitive operation is painful for the operator, and there is a growing demand for the operation to be performed automatically without human intervention.
【０００３】従来、このような積み込み作業の自動化方
法の一つとしては、掘削位置と放土位置とを教示して、
これらの位置間で、油圧ショベルを走行せずに旋回作業
を主として繰り返し作業を行わせる。Conventionally, as one of the methods of automating such a loading operation, an excavation position and a dumping position are taught,
Between these positions, the turning work is mainly repeated without running the hydraulic excavator.
【０００４】例えば、特開平９−１９５３２１号公報に
は、教示された動作を繰り返して、油圧ショベルに掘削
から放土までの一連の作業を自動的に行わせる技術が開
示されている。For example, Japanese Patent Application Laid-Open No. Hei 9-195321 discloses a technique in which a series of operations from excavation to earth removal are automatically performed by a hydraulic shovel by repeating a taught operation.
【０００５】[0005]
【発明が解決しようとする課題】しかし、従来技術の油
圧ショベル等の自動運転を行う自動運転建設機械は、こ
の自動運転建設機械と共同して作業するダンプトラック
等の他の作業機械との位置関係が考慮されていない形式
の自己完結型のシステムになっている。However, the automatic operation construction machine that performs automatic operation such as a hydraulic excavator according to the prior art is located at a position different from that of another work machine such as a dump truck working in cooperation with the automatic operation construction machine. It is a self-contained system where relationships are not considered.
【０００６】そのため、掘削によるジャッキアップや旋
回の慣性力等の原因により、自動運転建設機械自体が位
置ずれしてしまったり、また、ダンプトラックが毎回、
同じ場所に停車するとは限らないため、ダンプトラック
上の放土すべき適切な場所に積み込むことができないと
いう問題があった。For this reason, the construction of the self-driving construction machine itself shifts due to jack-up due to excavation, inertia force of turning, etc.
Since the vehicle does not always stop at the same place, there is a problem that the vehicle cannot be loaded at an appropriate place on the dump truck to be unloaded.
【０００７】本発明の目的は、上記の問題点に鑑みて、
自動運転建設機械とこの自動運転建設機械によって放土
される作業機械等の目標物とを撮像するビデオカメラ等
の撮像手段を設け、得られた撮像データから自動運転建
設機械と目標物との位置関係を算出し、目標物の適切な
放土位置に放土することを可能にした自動運転建設機械
を提供することにある。[0007] The object of the present invention, in view of the above problems,
An imaging means such as a video camera for imaging the self-driving construction machine and a target such as a working machine unloaded by the self-driving construction machine is provided. It is an object of the present invention to provide an automatic driving construction machine that calculates a relationship and discharges a target to an appropriate discharge position.
【０００８】[0008]
【課題を解決するための手段】本発明は、上記の課題を
解決するために、次のような手段を採用した。The present invention employs the following means in order to solve the above-mentioned problems.
【０００９】教示して記憶された教示位置データを順次
読み出して掘削から放土までの一巡する動作を繰り返し
行う自動運転建設機械において、自動運転建設機械本体
および該自動運転建設機械本体によって放土される目標
物から離れた位置に設けられ、前記自動運転建設機械本
体および前記目標物を撮像する撮像手段と、前記撮像さ
れた自動運転建設機械本体の画像データおよび前記目標
物の画像データとに基づいて自動運転建設機械本体が放
土すべき前記目標物上の前記教示された放土位置データ
を補正する補正データを算出する放土位置補正手段と、
を備えることを特徴とする。In an automatic operation construction machine which sequentially reads out teaching position data stored and taught and repeats the operation from excavation to earth removal, the automatic operation construction machine main body and the earth is discharged by the automatic operation construction machine main body. Image capturing means provided at a position distant from the target to be driven and configured to image the automatic driving construction machine main body and the target; and image data of the imaged automatic driving construction machine main body and the target object image data. An unloading position correcting means for calculating correction data for correcting the taught unloading position data on the target to be unloaded by the automatic driving construction machine body,
It is characterized by having.
【００１０】また、教示して記憶された教示位置データ
を順次読み出して掘削から放土までの一巡する動作を繰
り返し行う自動運転建設機械において、自動運転建設機
械本体および該自動運転建設機械本体によって放土され
る目標物から離れた位置に設けられ、該自動運転建設機
械本体を撮像する第１の撮像手段および該目標物を撮像
する第２の撮像手段と、前記第１の撮像手段および第２
の撮像手段によって撮像されたそれぞれの画像データに
基づいて、前記自動運転建設機械本体が放土すべき前記
目標物上の前記教示された放土位置データを補正する補
正データを算出する放土位置補正手段を備えることを特
徴とする。Further, in an automatic operation construction machine which sequentially reads out teaching position data stored and taught and repeats a cycle from excavation to earth removal, the automatic operation construction machine main body and the automatic operation construction machine main body release the teaching position data. A first imaging unit that is provided at a position distant from the target to be soiled and captures an image of the main body of the automatic driving construction machine, a second imaging unit that captures an image of the target, and the first imaging unit and the second imaging unit.
The unloading position for calculating correction data for correcting the taught unloading position data on the target to be unloaded by the self-driving construction machine body, based on the respective image data captured by the image capturing means. It is characterized by comprising a correction means.
【００１１】また、請求項２に記載の自動運転建設機械
において、前記放土位置補正手段は、前記第１の撮像手
段および第２の撮像手段によって撮像されたそれぞれの
画像の特徴点を抽出する画像処理手段と、前記抽出され
たそれぞれの特徴点のそれぞれの撮像手段における特徴
点の位置を演算すると共に、前記演算されたそれぞれの
特徴点位置を基準座標系の位置に変換する位置演算手段
と、前記変換されたそれぞれの特徴点位置と該特徴点位
置のそれぞれに対応して予め設定されているそれぞれの
基準位置とを比較してそれぞれの特徴点位置の位置ずれ
量を演算する位置ずれ量演算手段と、前記演算されたそ
れぞれの位置ずれ量に基づいて前記自動運転建設機械本
体が放土すべき前記目標物上の教示された放土位置デー
タを補正する補正データを算出する補正値演算手段と、
から構成されていることを特徴とする。Further, in the automatic driving construction machine according to the present invention, the dumping position correcting means extracts a feature point of each image picked up by the first image pickup means and the second image pickup means. Image processing means, and position calculating means for calculating the positions of the extracted characteristic points in the respective image pickup means and converting the calculated respective characteristic point positions into positions in a reference coordinate system. A displacement amount for calculating the displacement amount of each feature point position by comparing each of the converted feature point positions with each of reference positions preset corresponding to each of the feature point positions. Calculating means for correcting the taught unloading position data on the target to be unloaded by the self-driving construction machine body based on the calculated positional deviation amounts; A correction value calculating means for calculating an over data,
It is characterized by being comprised from.
【００１２】また、請求項１ないしは請求項３のいずれ
か１つの請求項記載の自動運転建設機械において、前記
放土位置補正手段は、前記自動運転建設機械本体から離
れた位置に設けられると共に前記補正データを伝送する
通信手段を備え、前記自動運転建設機械本体は、少なく
とも、前記補正データを受信する通信手段と、前記教示
して記憶された教示位置データを格納すると共に、前記
受信した補正データによって前記格納されている放土位
置データを補正する教示位置格納手段と、を備えること
を特徴とする。Further, in the automatic driving construction machine according to any one of claims 1 to 3, the dumping position correcting means is provided at a position distant from the main body of the automatic driving construction machine. The communication device for transmitting correction data, wherein the main body of the automatic driving construction machine has at least a communication unit for receiving the correction data, and stores the teaching position data stored by teaching, and the received correction data. And teaching position storage means for correcting the stored earth discharging position data.
【００１３】[0013]
【発明の実施の形態】以下に本発明の一実施形態を図１
から図５を用いて説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described below with reference to FIG.
This will be described with reference to FIG.
【００１４】図１は本実施形態に係わる自動運転を行う
油圧ショベル（以下自動運転建設機械という）の作業態
様を示す図である。FIG. 1 is a view showing a working mode of a hydraulic shovel (hereinafter, referred to as an automatic driving construction machine) which performs automatic driving according to the present embodiment.
【００１５】図において、１は後述する貯留された土石
２を掘削して後述するダンプトラック３に放土する自動
運転建設機械本体、２は土石貯留所に貯留された土石、
３は土石が積み込まれるベッセル３１を備え自動運転建
設機械本体１から放土された土石を積み込み運搬するダ
ンプトラック、４は位置検出装置である。In FIG. 1, reference numeral 1 denotes an automatic operation construction machine body for excavating stored soil 2 described below and discharging the dumped soil to a dump truck 3 described later, 2 denotes debris stored in a debris storage,
Reference numeral 3 denotes a dump truck which includes a vessel 31 on which the earth and stone is loaded, and loads and transports the earth and soil released from the main body 1 of the automatic driving construction machine. Reference numeral 4 denotes a position detecting device.
【００１６】自動運転建設機械本体１は、走行体１１
と、走行体１１上に旋回可能に設けられた旋回体１２
と、旋回体１２に俯仰動可能に設けられるブーム１３
と、ブーム１３の先端に回動可能に設けられたアーム１
４と、アーム１４の先端に回動可能に設けられたバケッ
ト１５と、旋回体１２とブーム１３との俯仰角を検出す
る角度センサ１６、ブーム１３とアーム１４との回動角
を検出する角度センサ１７、アーム１４とバケット１５
との回動角を検出する角度センサ１８と、旋回体１２の
旋回角を検出する角度センサ１９、旋回体１２に設けら
れた運転台２０と、位置検出装置４や後述する遠隔操作
装置との間で無線信号を送受信するアンテナ２１を備え
ている。The self-driving construction machine body 1 includes a traveling body 11.
And a revolving body 12 rotatably provided on the traveling body 11
And a boom 13 provided on the revolving unit 12 so as to be able to move up and down.
And an arm 1 rotatably provided at the tip of the boom 13
4, a bucket 15 rotatably provided at the tip of the arm 14, an angle sensor 16 for detecting the elevation angle between the revolving unit 12 and the boom 13, and an angle for detecting the rotation angle between the boom 13 and the arm 14 Sensor 17, arm 14 and bucket 15
An angle sensor 18 for detecting the rotation angle of the revolving unit 12, an angle sensor 19 for detecting the revolving angle of the revolving unit 12, a driver's cab 20 provided on the revolving unit 12, and the position detection device 4 and a remote operation device to be described later. An antenna 21 is provided for transmitting and receiving wireless signals between them.
【００１７】位置検出装置４は、自動運転建設機械本体
１を常時撮像する位置に設けられるビデオカメラ４１
と、ダンプトラック３を常時撮像する位置に設けられる
ビデオカメラ４２と、ビデオカメラ４１，４２を支持す
るカメラ支柱と、撮像した画像信号に基づいて自動運転
建設機械本体１からダンプトラック３のベッセル３１の
適切な放土位置に放土するための補正データを算出する
位置検出装置本体４４と、算出された補正データを自動
運転建設機械本体１に送信するアンテナ４５とから構成
される。The position detecting device 4 is provided with a video camera 41 provided at a position where the main body 1 of the automatic driving construction machine is constantly imaged.
And a video camera 42 provided at a position where the dump truck 3 is constantly imaged, a camera support for supporting the video cameras 41 and 42, and the vessel 31 of the dump truck 3 from the main body 1 of the automatic driving construction machine based on the captured image signal. And the antenna 45 for transmitting the calculated correction data to the main body 1 of the automatic driving construction machine.
【００１８】図２は、本実施形態に係わる自動運転建設
機械の再生操作時の制御機構を示すブロック図である。
なお、この図において図１に示す符号と同一符号の箇所
は同一箇所を示す。FIG. 2 is a block diagram showing a control mechanism at the time of a regenerating operation of the automatic driving construction machine according to the present embodiment.
In this figure, the same reference numerals as those shown in FIG. 1 indicate the same parts.
【００１９】図において、４５は自動運転建設機械本体
１を撮像するビデオカメラ４１によって得られた画像信
号に基づいて、自動運転建設機械本体１の基準位置に対
する位置ずれ量を検出する第１の位置ずれ量演算部、４
６はダンプトラック３を撮像するビデオカメラ４２によ
って得られた画像信号に基づいて、自動運転建設機械本
体１から放土されるダンプトラック３等の目標物の基準
位置に対する位置ずれ量を検出する第２の位置ずれ量演
算部、４７は第１および第２の位置ずれ量演算部４５，
４６から得られ位置ずれ量に基づいて後述する教示位置
格納部１０１１に格納される放土位置データを補正する
べく補正データを演算する補正量演算部、４８は補正デ
ータを自動運転コントローラ１０１に送信する無線機で
ある。In the figure, reference numeral 45 denotes a first position for detecting a positional shift amount of the automatic driving construction machine main body 1 from a reference position based on an image signal obtained by a video camera 41 for imaging the automatic driving construction machine main body 1. Shift amount calculation unit, 4
Reference numeral 6 denotes a second method for detecting a positional deviation amount of a target such as the dump truck 3 discharged from the automatic driving construction machine main body 1 with respect to a reference position based on an image signal obtained by a video camera 42 for imaging the dump truck 3. 2 is a first and second displacement calculators 45, 47;
A correction amount calculating unit that calculates correction data to correct the earth discharging position data stored in a teaching position storage unit 1011 described later based on the positional deviation amount obtained from 46, and 48 transmits the correction data to the automatic operation controller 101. Wireless device.
【００２０】５は教示操作および再生操作を行うために
設けられる遠隔操作装置、５１は教示時に操作すること
により教示位置格納部１０１１に教示位置データおよび
教示コマンド格納部１０１２に教示位置コマンドを格納
する教示操作部、５２は自動運転建設機械を再生動作す
るための起動または再生動作を停止するための再生操作
部、５３は教示操作部５１または再生操作部５２の操作
信号を送信するための無線機である。Reference numeral 5 denotes a remote control device provided for performing a teaching operation and a reproducing operation. Reference numeral 51 denotes a teaching position data stored in the teaching position storage unit 1011 and a teaching position command stored in the teaching command storage unit 1012 when operated during teaching. A teaching operation unit 52 is a playback operation unit for starting or stopping the playback operation of the automatic driving construction machine, and a wireless device 53 for transmitting an operation signal of the teaching operation unit 51 or the playback operation unit 52 is provided. It is.
【００２１】１０は自動運転建設機械本体１に搭載され
る装置を示し、１０１は主としてコンピュータで構成さ
れる自動運転コントローラ、１０２は後述するサーボ制
御部１０１６から出力する駆動信号によって駆動される
補助制御弁、１０３は補助制御弁１０２から出力される
油圧信号によって制御され、アクチュエータに流入する
油量を制御する主制御弁、１０４は自動運転建設機械本
体１の旋回体１２、ブーム１３、アーム１４、およびバ
ケット１５の各シリンダおよび旋回モータを作動するた
めのアクチュエータから構成される。Reference numeral 10 denotes a device mounted on the main body 1 of the automatic driving construction machine, 101 denotes an automatic driving controller mainly constituted by a computer, and 102 denotes an auxiliary control driven by a driving signal output from a servo control unit 1016 described later. A valve 103 is controlled by a hydraulic signal output from the auxiliary control valve 102, and a main control valve for controlling the amount of oil flowing into the actuator. 104 is a revolving unit 12, a boom 13, an arm 14, And an actuator for operating each cylinder of the bucket 15 and the swing motor.
【００２２】自動運転コントローラ１０１は、教示時に
教示操作部５１からの操作により作成された教示位置デ
ータおよび再生動作時に位置検出装置４から伝送される
補正データにより補正される放土位置データを記憶する
教示位置格納部１０１１と、教示時に作成された教示コ
マンドが格納される教示コマンド格納部１０１２と、教
示コマンド格納部１０１２からの教示コマンドをシーケ
ンシャルに読み出し、教示位置出力処理部１０１４に位
置データを出力させるための指令信号を出力すると共
に、位置データ間の移動速度値を出力するコマンドイン
タプリタ部１０１３と、後述するコマンドインタプリタ
部１０１３からの指令に従って教示位置格納部１０１１
に格納されている位置データを順次出力する教示位置出
力処理部１０１４と、教示位置出力処理部１０１４から
出力される位置データ間を補間処理するサーボ前処理部
１０１５と、現在位置演算部１０１７からの帰還値と入
力値とを比較してその偏差を補正する駆動信号を補助制
御弁１０２に出力するサーボ制御部１０１６と、角度セ
ンサ１６〜１９からの検出信号に基づいて自動運転建設
機械本体１の現在位置を演算する現在位置演算部１０１
７と、から構成される。The automatic operation controller 101 stores teaching position data created by an operation from the teaching operation section 51 during teaching and earth removal position data corrected by correction data transmitted from the position detecting device 4 during playback operation. A teaching position storage unit 1011, a teaching command storage unit 1012 in which teaching commands created during teaching are stored, and a teaching command from the teaching command storage unit 1012 are sequentially read and position data is output to the teaching position output processing unit 1014. A command interpreter unit 1013 that outputs a command signal for causing the robot to output a moving speed value between position data, and a teaching position storage unit 1011 according to a command from the command interpreter unit 1013 described later.
, A servo position preprocessing unit 1015 for interpolating between position data output from the teaching position output processing unit 1014, and a current position calculation unit 1017. The servo control unit 1016 outputs a drive signal for comparing the feedback value and the input value and correcting the deviation to the auxiliary control valve 102, and the automatic operation construction machine body 1 based on the detection signals from the angle sensors 16 to 19. Current position calculation unit 101 that calculates the current position
7 is comprised.
【００２３】上記のごとく、教示位置格納部１０１１に
格納される、例えば、放土位置、掘削位置、旋回方向に
係わる教示位置データのうち、放土位置データは、他の
教示位置データが教示時に作成されて記憶されているの
に対して、再生動作時に、常時、位置検出装置４におい
て演算されて伝送されてくる補正データによって補正さ
れる。As described above, of the teaching position data stored in the teaching position storage unit 1011 relating to, for example, the unloading position, the excavation position, and the turning direction, the unloading position data is set when the other teaching position data is used when teaching. While being created and stored, it is always corrected by the correction data calculated and transmitted by the position detecting device 4 during the reproducing operation.
【００２４】次に、自動運転建設機械の再生動作につい
て説明する。Next, the regeneration operation of the automatic driving construction machine will be described.
【００２５】再生起動するために、遠隔操作装置５の再
生操作部５２を操作すると、無線機５３，１０５を介し
て再生起動信号が自動運転建設機械本体１に伝送され、
コマンドインタプリタ部１０１３に入力される。コマン
ドインタプリタ部１０１３はこの再生起動信号を入力さ
れると、教示コマンド格納部１０１２に格納されている
教示コマンドをシーケンシヤルに読み出し、教示時に教
示された教示位置データまたは位置検出装置４において
演算されて送信されてきた放土位置データを格納してい
る教示位置格納部１０１１から教示位置出力処理部１０
１４に位置データを出力させる。位置データはサーボ前
処理部１７１５に転送され、かつコマンドインタプリタ
部１０１３から与えられる目標速度で、自動運転建設機
械１のフロントの各関節が動作するように補間計算を行
い、サーボ制御部１０１６に目標角度値を出力する。サ
ーボ制御部１０１６では、現在位置演算部１０１７で演
算された現在位置を基にフィードバック制御を行い、補
助制御弁１０２に駆動信号を出力する。これにより予め
教示された動作が再生される。When the reproduction operation section 52 of the remote control device 5 is operated to start the reproduction, a reproduction start signal is transmitted to the automatic driving construction machine main body 1 via the wireless devices 53 and 105,
It is input to the command interpreter 1013. Upon receiving the reproduction start signal, the command interpreter unit 1013 sequentially reads out the teaching commands stored in the teaching command storage unit 1012, and transmits the teaching position data taught at the time of teaching or calculated by the position detection device 4 and transmitted. From the teaching position storage unit 1011 that stores the obtained dumping position data to the teaching position output processing unit 10
14 to output the position data. The position data is transferred to the servo pre-processing unit 1715, and interpolation calculation is performed so that each of the front joints of the automatic driving construction machine 1 operates at the target speed given from the command interpreter unit 1013. Outputs the angle value. The servo control unit 1016 performs feedback control based on the current position calculated by the current position calculation unit 1017, and outputs a drive signal to the auxiliary control valve 102. Thereby, the operation taught in advance is reproduced.
【００２６】次に、第１および第２の位置ずれ量演算手
段４５，４６の位置ずれ量の算出について図３および図
４を用いて説明する。Next, the calculation of the displacement by the first and second displacement calculators 45 and 46 will be described with reference to FIGS. 3 and 4. FIG.
【００２７】図３は自動運転建設機械本体１、ダンプト
ラック３およびビデオカメラ４１，４２間の位置関係を
２軸の座標系で示した平面図であり、図４は前記の位置
関係を３軸の座標系のみで示した図である。FIG. 3 is a plan view showing the positional relationship between the main body 1, the dump truck 3, and the video cameras 41 and 42 in a two-axis coordinate system, and FIG. FIG. 3 is a diagram shown only by the coordinate system of FIG.
【００２８】これらの図において、２０１は自動運転建
設機械本体１上に旋回中心を原点ＯSとする自動運転建
設機械本体座標系（ＸS，ＹS，ＺS）、２０２はダンプ
トラック３のベッセル３１上の適当な点を原点ＯDとす
る目標物座標系（ＸD，ＹD，ＺD） 、２０３は自動運転
建設機械本体１を撮像しているビデオカメラ４１上にレ
ンズ中心を原点ＯC1とする第１のビデオカメラ座標系
（ＸC1，ＹC1，ＺC1）、２０４はダンプトラック３のベ
ッセル３１を撮像しているビデオカメラ４２上にレンズ
中心を原点ＯC2とする第２のビデオカメラ座標系
（ＸC2，ＹC2，ＺC2）、２０５は固定された任意の点を
原点ＯWとするワールド座標系（ＸW，ＹW，ＺW）であ
る。２０１’は自動運転建設機械本体１が位置ずれを起
こしたときの自動運転建設機械本体座標系（ＸS’，
ＹS’，ＺS’） 、２０２’はダンプトラック３が位置
ずれを起こしたときの目標物座標系（ＸD’，ＹD’，Ｚ
D’） を表す。点２０６は、目標物座標系（ＸD，ＹD，
ＺD） における放土位置（ＸDP，ＹDP，ＺDP）を示し、
点２０６’は位置ずれを起こしている目標物座標系（Ｘ
D’，ＹD’，ＺD’）における放土位置（ＸDP’，
ＹDP’，ＺDP）’を示している。[0028] In these figures, 201 is automatically operated construction machine body coordinate system to pivot on the automatic operation of construction machine body 1 as the originO S (X S, Y S , Z S), 202 is a dump truck 3 A target coordinate system (XD , YD , ZD ) having an appropriate point on the vessel 31 as the origin OD , 203 is a lens center on the video camera 41 which is capturing the image of the automatic driving construction machine body 1. A first video camera coordinate system (XC1 , YC1 , ZC1 ) which is OC1, and a second video camera 204 which has a lens center as an origin OC2 on a video camera 42 which is imaging the vessel 31 of the dump truck 3 video camera coordinate system(X C2, Y C2, Z C2), 205 is the world coordinate system to an arbitrary point fixed with the originO W (X W, Y W , Z W) is. Reference numeral 201 ′ denotes the coordinate system (XS ′,XS ′,
YS ′, ZS ′) and 202 ′ are target object coordinate systems (XD ′, YD ′, Z) when the dump truck 3 is displaced.
D '). The point 206 is located on the target coordinate system (XD , YD ,
ZD ) indicates the unburden position (XDP , YDP , ZDP )
The point 206 'is located at the target coordinate system (X
D ', Y D', Z D ' Hodo position in) (XDP',
YDP ', ZDP )'.
【００２９】ここで、位置検出装置４を任意の場所に設
置したとき、第１のビデオカメラ座標系２０３と第２の
ビデオカメラ座標系２０４とワールド座標系２０５の位
置関係は既知であり、作業中も変わることはない。Here, when the position detecting device 4 is installed at an arbitrary place, the positional relationship between the first video camera coordinate system 203, the second video camera coordinate system 204, and the world coordinate system 205 is known, and There is no change inside.
【００３０】そこで、自動運転建設機械本体座標系２０
１と第１のビデオカメラ座標系２０３との位置関係、目
標物座標系２０２と第２のビデオカメラ座標系２０４と
の位置関係を演算すれば、簡単な座標変換で自動運転建
設機械本体座標系２０１と目標物座標系２０２との位置
関係を算出することができる。Therefore, the automatic driving construction machine body coordinate system 20
If the positional relationship between the first and first video camera coordinate systems 203 and the positional relationship between the target object coordinate system 202 and the second video camera coordinate system 204 are calculated, the coordinate system of the body of the automatic driving construction machine can be obtained by simple coordinate conversion. The positional relationship between 201 and the target object coordinate system 202 can be calculated.
【００３１】なお、ある座標系とその座標系上の点を撮
像しているカメラ座標系との位置関係を求める方法は種
々のものが提案されている。例えば、相対的な位置関係
が既知の３点を用いることによってカメラ１台によって
撮像された画像内の既知点までの距離を求める方法が、
大村等による電子情報通信学会論文誌D-IIVol.J72-D-II
No.9 pp.1441-1447に示されている。Various methods have been proposed for obtaining the positional relationship between a certain coordinate system and a camera coordinate system that images a point on the coordinate system. For example, a method of obtaining a distance to a known point in an image captured by one camera by using three points whose relative positional relationship is known,
Omura et al., IEICE Transactions D-IIVol.J72-D-II
No.9 pp.1441-1447.
【００３２】次に、図２に示す第１および第２の位置ず
れ量演算部４５，４６および位置演算部４７における処
理手順を図５に示すフローチャートを用いて説明する。
なお、以下に示すステップ１〜ステップ９までが第１の
位置ずれ量演算部４５、ステップ１１〜ステップ１９ま
でが第２の位置ずれ量演算部４６、およびステップ１０
が補正量演算部４７における処理に相当する。Next, a processing procedure in the first and second displacement calculating units 45 and 46 and the position computing unit 47 shown in FIG. 2 will be described with reference to a flowchart shown in FIG.
Steps 1 to 9 shown below correspond to the first displacement calculating unit 45, and steps 11 to 19 correspond to the second displacement calculating unit 46.
Corresponds to the processing in the correction amount calculation unit 47.
【００３３】再生動作時は、ビデオカメラ４１，４２は
それぞれ常時、自動運転建設機械本体１およびはダンプ
トラック３のベッセル３１を撮像しており、撮像された
それぞれの画像信号は第１の位置ずれ量演算部４５およ
び第２の位置ずれ量演算部４６に入力される。During the reproducing operation, the video cameras 41 and 42 always take images of the automatic driving construction machine main body 1 and the vessel 31 of the dump truck 3, respectively. It is input to the amount calculation unit 45 and the second displacement amount calculation unit 46.
【００３４】ステップ１において自動運転建設機械本体
１を撮像した画像信号はフイルタでノイズ除去され、ス
テップ２でエッジ抽出のオペレータを用いてエッジの抽
出が行われる。次に、ステップ３で抽出されたエッジか
らハフ変換などの手法を用いて直線の抽出を行う。ステ
ップ４において、ステップ３で抽出された直線とステッ
プ２で抽出されたエツジとから、画像内の線分の端点と
交点を検出する。次に、ステップ５において、あらかじ
め登録してある対象物、ここでは自動運転建設機械本体
１のモデルとステップ４で得られた線分の情報から対象
物形状の認識を行う。形状の認識ができると、ステップ
６において、自動運転建設機械本体１上の特徴点の位置
情報を算出する。次いで、ステップ７において、算出さ
れた特徴点の位置情報から第１のカメラ座標系（ＸC1，
ＹC1，ＺC1）における自動運転建設機械１の位置が算出
される。ステップ８において、第１のカメラ座標系（Ｘ
C1，ＹC1，ＺC1）からワールド座標系への変換を行って
ワールド座標系（ＸW，ＹW，ＺW） における自動運転建
設機械本体１の位置を算出する。次いで、ステップ９に
おいて、ワールド座標系（ＸW，ＹW，ＺW） における自
動運転建設機械本体１の基準位置とステップ８で求めた
自動運転建設機械本体１の位置とを比較して、その差、
即ち、自動運転建設機械本体１が位置ずれした位置ずれ
量（δＸS，δＹS，δＺS） を算出する。In step 1, the noise of the image signal obtained by imaging the main body 1 of the automatic driving construction machine is removed by a filter, and in step 2, edges are extracted by using an edge extraction operator. Next, a straight line is extracted from the edge extracted in step 3 using a technique such as Hough transform. In step 4, the end points and intersections of the line segments in the image are detected from the straight line extracted in step 3 and the edge extracted in step 2. Next, in step 5, the shape of the object is recognized from the object registered in advance, in this case, the model of the automatic driving construction machine main body 1 and the line segment information obtained in step 4. When the shape can be recognized, the position information of the feature point on the automatic driving construction machine body 1 is calculated in step 6. Next, in step 7, the first camera coordinate system (XC1 ,
The position of the automatic driving construction machine 1 at YC1 , ZC1 ) is calculated. In step 8, the first camera coordinate system (X
C1, YC1, ZC1) from the world coordinate system by performing the conversion to the world coordinate system (XW, YW, and calculates the position of the automatic operation of construction machine body 1 in the ZW). Next, in step 9, the reference position of the automatic driving construction machine main body 1 in the world coordinate system (XW , YW , ZW ) is compared with the position of the automatic driving construction machine main body 1 obtained in step 8, and the comparison is made. difference,
That is, the displacement amount (δXS , δYS , δZS ) of the displacement of the automatic driving construction machine body 1 is calculated.
【００３５】同様に、ステップ１１においてダンプトラ
ック３を撮像した画像信号はフイルタでノイズ除去し、
ステップ１２でエッジ抽出のオペレータを用いてエッジ
の抽出を行う。ステップ１３で抽出したエッジからハフ
変換等の手法を用いて直線の抽出を行う。ステップ１４
において、ステップ１３で抽出した直線とステップ１２
で抽出したエツジとから、画像内の線分の端点と交点を
検出する。ステップ１５において、あらかじめ登録して
ある対象物、ここではダンプトラック３のモデルとステ
ップ１４で得た線分の情報から対象物形状の認識を行
う。形状の認識ができると、ステップ１６において、ダ
ンプトラック３上の特徴点の位置情報を算出する。ステ
ップ１７において、算出した特徴点の位置情報から第２
のカメラ座標系（ＸC2，ＹC2，ＺC2）におけるダンプト
ラック３の位置が算出される。ステップ１８において、
第２のカメラ座標系（ＸC2，ＹC2，ＺC2）からワールド
座標系への変換を行ってワールド座標系（ＸW，ＹW，Ｚ
W） におけるダンプトラック３の位置を算出する。次い
で、ステップ１９において、ワールド座標系（ＸW，
ＹW，ＺW）におけるダンプトラック３の基準位置とステ
ップ１８で求めたダンプトラック３の位置とを比較し
て、その差、即ち、ダンプトラック３が位置ずれした位
置ずれ量（δＸD，δＹD，δＺD）を演算する。Similarly, the image signal obtained by imaging the dump truck 3 in step 11 is subjected to noise removal by a filter.
In step 12, edges are extracted using an edge extraction operator. A straight line is extracted from the edge extracted in step 13 using a method such as Hough transform. Step 14
In step, the straight line extracted in step 13 and step 12
From the edges extracted in step (1), the end points and intersections of the line segments in the image are detected. In step 15, the shape of the target object is recognized from the registered object, in this case, the model of the dump truck 3 and the line segment information obtained in step 14. When the shape can be recognized, the position information of the feature point on the dump truck 3 is calculated in step 16. In step 17, the second position information is calculated from the calculated position information of the feature points.
The position of the dump truck 3 in the camera coordinate system (XC2 , YC2 , ZC2 ) is calculated. In step 18,
Conversion from the second camera coordinate system (XC2 , YC2 , ZC2 ) to the world coordinate system is performed and the world coordinate system (XW , YW , Z
The position of the dump truck 3 inW ) is calculated. Next, in step 19, the world coordinate system (XW ,
YW, by comparing the position of the dump truck 3 obtained in the reference position and step 18 of the dump truck 3 in ZW), the difference, i.e., position deviation amount dump truck 3 is misaligned ([delta] XD, [delta] YD , δZD ).
【００３６】次いで、ステップ１０において、ステップ
９で求めた自動運転建設機械本体１の位置ずれ量（δＸ
S，δＹS，δＺS） およびステップ１９で求めたダンプ
トラック３の位置ずれ量（δＸD，δＹD，δＺD） か
ら、放土位置の補正量を演算する。この演算された補正
量（δＸSDP’，δＹSDP’，δＺSDP’） は下式で求ま
る。Next, at step 10, the amount of displacement (δX) of the automatic driving construction machine body 1 determined at step 9 is determined.
S , δYS , δZS ) and the displacement amount of the dump truck 3 (δXD , δYD , δZD ) obtained in step 19, and calculates the correction amount of the unloading position. The calculated correction amounts (δXSDP ′, δYSDP ′, δZSDP ′) are obtained by the following equations.
【００３７】δＸSDP’＝δＸS＋δＸD δＹSDP’＝δＹS＋δＹD δＺSDP’＝δＺS＋δＺD なお、この補正データは無線機４８、１０５を介して自
動運転コントローラ１０１の教示位置格納部１０１１に
伝送され、自動運転建設機械本体座標系 （ＸS，ＹS，
ＺS）において当初教示して設定された基準となる放土
位置を （ＸSDP，ＹSDP，ＺSDP）とするとき、自動運転
建設機械本体座標系（ＸS，ＹS，ＺS）における補正後
の放土位置（ＸSDP’，ＹSDP’，ＺSDP’）は下式で求
まる。ΔXSDP ′ = δXS + δXD δYSDP ′ = δYS + δYD δZSDP ′ = δZS + δZD The correction data is stored in the teaching position storage section of the automatic operation controller 101 via the radios 48 and 105. 1011 and transmitted to the automatic driving construction machine main body coordinate system (XS , YS ,
ZS ), when the unearthing position as the reference initially set and taught is (XSDP , YSDP , ZSDP ), in the self-driving construction machine body coordinate system (XS , YS , ZS ) The corrected dumping position (XSDP ', YSDP ', ZSDP ') is obtained by the following equation.
【００３８】ＸSDP’＝ＸSDP＋δＸSDP’ ＹSDP’＝ＹSDP＋δＹSDP’ ＺSDP’＝ＺSDP＋δＺSDP’ 放土時はこの補正された放土位置データが使用される。XSDP '= XSDP + δXSDP ' YSDP '= YSDP + δYSDP ' ZSDP '= ZSDP + δZSDP ' At the time of unburden, the corrected unburden position data is used.
【００３９】このように、本実施形態によれば、作業中
の自動運転建設機械とダンプトラックやクラッシヤ等の
作業機械を撮像し、撮像データに基づいて自動運転建設
機械本体と作業機械との位置関係から作業機械の放土位
置の補正量を算出し、補正した放土位置データに基づい
て自動運転を行うようにしたので、自動運転を高精度に
行うことができる。As described above, according to the present embodiment, the automatic driving construction machine and the working machine such as the dump truck and the crusher are imaged during the operation, and the positions of the automatic driving construction machine main body and the working machine are determined based on the image data. Since the correction amount of the unloading position of the work machine is calculated from the relationship and the automatic operation is performed based on the corrected unloading position data, the automatic operation can be performed with high accuracy.
【００４０】また、ビデオカメラや位置検出装置等の精
密機器を自動運転建設機械本体や作業機械に搭載せずに
実現することができるので、使用環境等を考慮した機器
選定が容易になる。In addition, since precision equipment such as a video camera and a position detection device can be realized without being mounted on an automatic driving construction machine main body or a work machine, equipment selection in consideration of a use environment and the like is facilitated.
【００４１】また、作業機械を常に見渡す位置にビデオ
カメラを設置しているので、作業の監視装置として兼用
することもできる。Further, since the video camera is installed at a position where the work machine is always seen, it can be used also as a work monitoring device.
【００４２】[0042]
【発明の効果】上記のごとく、本発明によれば、自動運
転建設機械本体およびこの自動運転建設機械本体によっ
て放土される目標物から離れた位置に設けられ、自動運
転建設機械本体および目標物を撮像する撮像手段と、撮
像された自動運転建設機械本体の画像データと目標物の
画像データとに基づいて自動運転建設機械本体が放土す
べき前記目標物上の教示されて自動運転建設機械本体に
格納されている放土位置データを補正する補正データを
算出する放土位置補正手段を設けたので、自動運転建設
機械本体が何等かの理由で位置ずれを起こしたり、また
は目標物が所定の位置からずれていても、自動運転建設
機械本体は的確に放土すべき放土位置に放土することが
でき、自動運転を高精度に遂行することができる。As described above, according to the present invention, the automatic driving construction machine main body and the target are provided at a position distant from the target to be unloaded by the automatic driving construction machine main body and the target. An automatic driving construction machine which is taught on the target to which the automatic driving construction machine body is to be dumped based on the image data of the automatic driving construction machine body and the image data of the target which are imaged. Since the unloading position correction means for calculating the correction data for correcting the unloading position data stored in the main body is provided, the automatic driving construction machine main body may be displaced for some reason or a target object may not be determined. , The automatic driving construction machine main body can be discharged to the discharging position to be discharged accurately, and the automatic driving can be performed with high accuracy.
【図１】本発明の一実施形態に係わる自動運転建設機械
の作業形態を示す図である。FIG. 1 is a view showing a working mode of an automatic driving construction machine according to an embodiment of the present invention.
【図２】本実施形態に係わる自動運転建設機械の再生動
作時の制御機構を示すブロック図である。FIG. 2 is a block diagram showing a control mechanism during a regeneration operation of the automatic driving construction machine according to the embodiment.
【図３】本実施形態に係わる自動運転建設機械本体１、
ダンプトラック３およびビデオカメラ４１，４２間の位
置関係を２軸の座標系で示した平面図である。FIG. 3 shows an automatic driving construction machine body 1 according to the embodiment;
FIG. 4 is a plan view showing a positional relationship between the dump truck 3 and the video cameras 41 and 42 in a two-axis coordinate system.
【図４】図２に示す位置関係を３軸の座標系のみで示し
た図である。FIG. 4 is a diagram showing the positional relationship shown in FIG. 2 only in a three-axis coordinate system.
【図５】図２に示す第１の位置ずれ量演算部４５、第２
の位置ずれ量演算部４６、および補正量演算部４７にお
ける処理手順を示すフローチャートである。FIG. 5 is a diagram illustrating a first position shift amount calculation unit 45 and a second position shift amount calculation unit 45 illustrated in FIG.
5 is a flowchart showing a processing procedure in a position shift amount calculation unit 46 and a correction amount calculation unit 47 of FIG.
１ 自動運転建設機械本体 ２ 土石 ３ ダンプトラック ３１ ベッセル ４ 位置検出装置 ４１，４２ ビデオカメラ ４４ 位置検出装置本体 ４５ 第１の位置ずれ量演算部 ４６ 第２の位置ずれ量演算部 ４７ 補正量演算部 ４８，１０５ 無線機 ５ 遠隔操作装置 １０ 車内搭載装置 １０１ 自動運転コントローラ １０１１ 教示位置格納部 １０１２ 教示コマンド格納部 １０１３ コマンドインタプリタ部 １０１４ 教示位置出力処理部 １０１５ サーボ前処理部 １０１６ サーボ制御部 １０１７ 現在位置演算部 １６〜１９ 角度センサ DESCRIPTION OF SYMBOLS 1 Automatic driving construction machine main body 2 Debris 3 Dump truck 31 Vessel 4 Position detecting device 41, 42 Video camera 44 Position detecting device main body 45 First displacement amount calculation unit 46 Second displacement amount calculation unit 47 Correction amount calculation unit 48, 105 Wireless device 5 Remote control device 10 In-vehicle device 101 Automatic operation controller 1011 Teaching position storage unit 1012 Teaching command storage unit 1013 Command interpreter unit 1014 Teaching position output processing unit 1015 Servo preprocessing unit 1016 Servo control unit 1017 Current position calculation Unit 16-19 Angle sensor
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10487098AJPH11293708A (en) | 1998-04-15 | 1998-04-15 | Automatic operating construction machinery |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10487098AJPH11293708A (en) | 1998-04-15 | 1998-04-15 | Automatic operating construction machinery |
| Publication Number | Publication Date |
|---|---|
| JPH11293708Atrue JPH11293708A (en) | 1999-10-26 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10487098APendingJPH11293708A (en) | 1998-04-15 | 1998-04-15 | Automatic operating construction machinery |
| Country | Link |
|---|---|
| JP (1) | JPH11293708A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012008516A1 (en)* | 2010-07-16 | 2012-01-19 | 株式会社小松製作所 | Drive system for unmanned vehicle and method of drive control of the same |
| CN109072582A (en)* | 2016-04-19 | 2018-12-21 | 沃尔沃建筑设备公司 | The control unit toppled over for material |
| WO2022270016A1 (en) | 2021-06-25 | 2022-12-29 | コベルコ建機株式会社 | Monitoring system |
| WO2023286351A1 (en) | 2021-07-13 | 2023-01-19 | コベルコ建機株式会社 | System for detecting abnormal operation of work machines |
| WO2023089936A1 (en) | 2021-11-17 | 2023-05-25 | コベルコ建機株式会社 | Monitoring area setting system |
| JP2023123839A (en)* | 2017-10-04 | 2023-09-05 | 株式会社小松製作所 | Work system, control method, and loading machine control device |
| JP2024038291A (en)* | 2020-09-11 | 2024-03-19 | 日本国土開発株式会社 | construction machinery system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012008516A1 (en)* | 2010-07-16 | 2012-01-19 | 株式会社小松製作所 | Drive system for unmanned vehicle and method of drive control of the same |
| JP2012022611A (en)* | 2010-07-16 | 2012-02-02 | Komatsu Ltd | Unmanned vehicle travel system, and travel control method for the vehicle |
| AU2011277414B2 (en)* | 2010-07-16 | 2014-05-08 | Komatsu Ltd. | Drive system for unmanned vehicle and method of drive control of the same |
| US8843311B2 (en) | 2010-07-16 | 2014-09-23 | Komatsu Ltd. | Drive system for unmanned vehicle and method of drive control of the same |
| CN109072582A (en)* | 2016-04-19 | 2018-12-21 | 沃尔沃建筑设备公司 | The control unit toppled over for material |
| US11047109B2 (en) | 2016-04-19 | 2021-06-29 | Volvo Construction Equipment Ab | Control unit for dumping of material |
| JP2023123839A (en)* | 2017-10-04 | 2023-09-05 | 株式会社小松製作所 | Work system, control method, and loading machine control device |
| JP2024038291A (en)* | 2020-09-11 | 2024-03-19 | 日本国土開発株式会社 | construction machinery system |
| WO2022270016A1 (en) | 2021-06-25 | 2022-12-29 | コベルコ建機株式会社 | Monitoring system |
| WO2023286351A1 (en) | 2021-07-13 | 2023-01-19 | コベルコ建機株式会社 | System for detecting abnormal operation of work machines |
| WO2023089936A1 (en) | 2021-11-17 | 2023-05-25 | コベルコ建機株式会社 | Monitoring area setting system |
| Publication | Publication Date | Title |
|---|---|---|
| JP2000192514A (en) | Automatically operating construction machine and operating method thereof | |
| KR100404437B1 (en) | Automatically operated shovel and stone crushing system comprising the same | |
| JP7276046B2 (en) | Operation teaching system for work machines | |
| JP7559914B2 (en) | Work Machine | |
| JP3789218B2 (en) | Automatic operation construction machine and operation method thereof | |
| JPH11293708A (en) | Automatic operating construction machinery | |
| WO2023149309A1 (en) | Automated operation system for work machine, work machine, and automated operation program | |
| JP2000064359A (en) | Automatic-operation construction machine | |
| JP3686750B2 (en) | Automatic driving excavator | |
| JPH11286967A (en) | Automatic operative construction machine | |
| JP2000017692A (en) | Automatic operation shovel and operating method thereof | |
| JP2002115272A (en) | Automatic operation backhoe | |
| WO2023149307A1 (en) | Automatic driving system for work machine, work machine, and automatic driving program | |
| JPH11210020A (en) | Automatically operated construction equipment | |
| JPH11324027A (en) | Automatically operating shovel | |
| JP3926464B2 (en) | Automatic driving excavator | |
| JPH1150495A (en) | Automatic-operation construction equipment | |
| JPH06280282A (en) | Controller for hydraulic shovel | |
| JP2001182091A (en) | Automatic operating shovel, and automatic shovel operating method | |
| JP2001032330A (en) | Self-driving excavator | |
| JPH11286969A (en) | Automatic operative shovel | |
| JP3735427B2 (en) | Automatic driving excavator | |
| JPH10232431A (en) | Camera direction control device for remote control machine | |
| JP2002129600A (en) | Crushed stone processing system | |
| JPH11293709A (en) | Automatic operating shovel |