【０００１】0001
【産業上の利用分野】本発明は、原子力発電所内や宇宙
環境などで作業するロボットを遠隔地にいるオペレータ
が遠隔操作したときに、その遠隔操作による作業環境の
変化を環境モデルに反映させ、環境モデルが作業環境と
一致するように環境モデルを更新するロボットの遠隔制
御装置に関する。[Industrial Application Field] The present invention enables, when an operator at a remote location remotely controls a robot working in a nuclear power plant or a space environment, changes in the working environment caused by the remote control to be reflected in an environmental model. The present invention relates to a remote control device for a robot that updates an environmental model so that the environmental model matches a working environment.
【０００２】ロボットの遠隔操作システムは、マスタス
レーブマニピュレータ等に代表され、原子力発電所内な
ど人間が危険で近づくことができないような所で、その
機能を発揮している。また、近い将来、宇宙環境での利
用も考えられている。ロボットは、マスタスレーブ操作
による遠隔操作で動作し、作業を行うが、すべての作業
をオペレータによる遠隔操作のみで行うと、オペレータ
に多大な負担がかかる。このため、近年、ロボットシス
テムに自律動作機能を付加して、ロボットに自律動作を
行わせるようになってきた。[0002] Remote control systems for robots, typified by master-slave manipulators, perform their functions in places such as nuclear power plants that are dangerous and inaccessible to humans. It is also being considered for use in the space environment in the near future. Robots operate and perform tasks by remote control using master-slave operations, but if all tasks are performed only by remote control by an operator, a great burden will be placed on the operator. For this reason, in recent years, autonomous operation functions have been added to robot systems to allow robots to perform autonomous operations.
【０００３】0003
【従来の技術】このロボットシステムの自律動作機能は
、例えばロボットの動作計画を立案し、その動作計画に
よってロボットに自律動作を行わせる機能であり、動作
計画の立案は、ロボットが動作する作業環境を表す環境
モデルを使って行われる。したがって、ロボットシステ
ムに自律動作機能を付加するためには、ロボットシステ
ム内に環境モデルを持つことが必要となる。[Prior Art] The autonomous operation function of this robot system is, for example, the function of formulating a robot operation plan and having the robot perform autonomous operation according to the operation plan. This is done using an environment model that represents Therefore, in order to add an autonomous operation function to a robot system, it is necessary to have an environment model within the robot system.
【０００４】図２７は従来のロボットの遠隔制御装置の
全体構成を示すブロック図である。図において、オペレ
ータ１はマスタアーム２を操作し、その操作指令は遠隔
操作指令手段３を経由して、遠隔地にあるロボット制御
手段４に伝達される。ロボット（マニピュレータ）５は
、ロボット制御手段４からの操作指令に応じて動作し、
環境６内で作業を行う。センサ７は環境６内の対象物の
位置等を検出してその情報をロボット制御手段４に送る
。FIG. 27 is a block diagram showing the overall configuration of a conventional robot remote control device. In the figure, an operator 1 operates a master arm 2, and the operation command is transmitted via a remote operation command means 3 to a robot control means 4 located at a remote location. The robot (manipulator) 5 operates according to operation commands from the robot control means 4,
Work within environment 6. The sensor 7 detects the position of an object in the environment 6 and sends the information to the robot control means 4.
【０００５】このシステムに自律動作機能を付加する場
合は、環境モデル８及び環境モデル提供手段９が設けら
れる。環境モデル８は、ロボット５が実際に動作する環
境６を記述したものであり、例えば環境６内に存在する
対象物の配置データによって構成される。[0005] When adding an autonomous operation function to this system, an environment model 8 and an environment model providing means 9 are provided. The environment model 8 describes the environment 6 in which the robot 5 actually operates, and is configured by, for example, placement data of objects existing in the environment 6.
【０００６】環境モデル提供手段９は、環境モデル８の
データを使用してロボット制御手段４に情報を提供し、
ロボットの自律動作等を制御する。例えば、環境モデル
８のデータを使用してロボット５の動作計画を立案し、
その動作計画によってロボット５に自律動作を行わせる
。[0006] The environment model providing means 9 uses the data of the environment model 8 to provide information to the robot control means 4,
Control the robot's autonomous movements, etc. For example, a motion plan for the robot 5 is created using data from the environment model 8,
The robot 5 is caused to perform an autonomous operation based on the operation plan.
【０００７】このため、環境モデル８は、実際の作業環
境に一致した情報を環境モデル提供手段９に提供する必
要がある。すなわち、ロボット５が動作して環境６が変
化した場合、環境モデル８は、その変化した環境６に一
致するように更新され、管理される必要がある。[0007] Therefore, the environment model 8 needs to provide the environment model providing means 9 with information that matches the actual work environment. That is, when the robot 5 operates and the environment 6 changes, the environment model 8 needs to be updated and managed to match the changed environment 6.
【０００８】[0008]
【発明が解決しようとする課題】ロボットの自律動作に
より環境６が変化した場合は、変化させる意図は自律動
作に内在する。したがって、ロボット５自身は環境６の
実際の変化を解釈することができ、環境６の変化を環境
モデル８に反映させて環境モデル８を更新することは可
能である。[Problem to be Solved by the Invention] When the environment 6 changes due to autonomous movement of a robot, the intention to change is inherent in the autonomous movement. Therefore, the robot 5 itself can interpret actual changes in the environment 6, and can update the environment model 8 by reflecting changes in the environment 6 in the environment model 8.
【０００９】しかし、オペレータ１がマスタアーム２を
使ってロボット５を遠隔操作し、その結果、環境６が変
化した場合は、その操作意図は、外部（オペレータ１の
操作意思）にありロボット自身にはない。したがって、
ロボット自身は環境６の変化を解釈することができず、
環境６が変化しても、それを環境モデル８に反映させて
環境モデル８を更新することは困難である。However, when the operator 1 remotely controls the robot 5 using the master arm 2 and the environment 6 changes as a result, the operating intention is external (the operating intention of the operator 1) and is not within the robot itself. There isn't. therefore,
The robot itself cannot interpret changes in the environment 6,
Even if the environment 6 changes, it is difficult to update the environment model 8 by reflecting it on the environment model 8.
【００１０】本発明はこのような点に鑑みてなされたも
のであり、オペレータが遠隔操作を行って環境を変化さ
せた場合でも、環境モデルを更新し管理することができ
るロボットの遠隔制御装置を提供することを目的とする
。The present invention has been made in view of these points, and provides a remote control device for a robot that can update and manage an environment model even when an operator performs remote control to change the environment. The purpose is to provide.
【００１１】[0011]
【課題を解決するための手段】図１に本発明の原理ブロ
ック図を示す。オペレータ１はロボット（マニピュレー
タ）５を遠隔操作して、ロボット５に作業を行わせる。本発明の想定するロボットの遠隔制御装置においては、
ロボット５が動作する環境６を記述した環境モデル８と
、その環境モデル８のデータを使用してロボット５に情
報を提供する環境モデル提供手段９とを有するとともに
、さらに環境モデル更新手段１０を設けるものである。この環境モデル更新手段１０は、オペレータ１の遠隔操
作により変化した環境６を環境解釈情報１１から解釈し
て環境モデル８を更新する。[Means for Solving the Problems] FIG. 1 shows a block diagram of the principle of the present invention. An operator 1 remotely controls a robot (manipulator) 5 and causes the robot 5 to perform a work. In the robot remote control device envisioned by the present invention,
It has an environment model 8 that describes an environment 6 in which the robot 5 operates, and an environment model providing means 9 that provides information to the robot 5 using data of the environment model 8, and further includes an environment model updating means 10. It is something. The environment model updating means 10 updates the environment model 8 by interpreting the environment 6 changed by the remote control of the operator 1 from the environment interpretation information 11.
【００１２】環境解釈情報１１としては、環境６の最終
状態の情報に基づくもの、更に変化する前の環境モデル
８の情報及びロボット５の動作履歴情報に基づくものと
がある。The environment interpretation information 11 includes information based on the final state of the environment 6, information on the environment model 8 before change, and information on the operation history of the robot 5.
【００１３】[0013]
【作用】ロボット５は、オペレータ１によって遠隔操作
され、環境６内において動作して作業を行う。環境モデ
ル８には、その環境６に関するデータ（例えば対象物の
配置情報）が予め記述されている。環境モデル提供手段
９は、その環境モデル８のデータを使用して、ロボット
５に情報を伝え、例えばロボット５に自律動作を行わせ
る。[Operation] The robot 5 is remotely controlled by the operator 1 and operates within the environment 6 to perform work. In the environment model 8, data regarding the environment 6 (for example, information on the arrangement of objects) is written in advance. The environmental model providing means 9 uses the data of the environmental model 8 to convey information to the robot 5, and causes the robot 5 to perform an autonomous operation, for example.
【００１４】一方、オペレータ１がロボット５を遠隔操
作すると、環境６は変化する。ロボット５は、その変化
がロボット５自身の自律動作によるものではないため、
環境６の変化を認識できないが、環境モデル更新手段１
０は、その環境変化を解釈して認識することができる。このため、環境モデル更新手段１０は、環境６の変化を
環境モデル８に反映させて環境モデル８を更新すること
ができる。On the other hand, when the operator 1 remotely controls the robot 5, the environment 6 changes. As for the robot 5, the change is not due to the autonomous movement of the robot 5 itself.
Changes in environment 6 cannot be recognized, but environment model update method 1
0 can interpret and recognize changes in its environment. Therefore, the environment model updating means 10 can update the environment model 8 by reflecting changes in the environment 6 in the environment model 8.
【００１５】この環境モデル８の更新は、環境解釈情報
１１に基づいて行われる。例えば、環境６の最終状態の
情報に基づいて行われ、または、変化する前の環境モデ
ル８の情報とロボット５の動作履歴情報とに基づいて行
われる。The environment model 8 is updated based on the environment interpretation information 11. For example, this is performed based on information on the final state of the environment 6, or based on information on the environment model 8 before the change and operation history information of the robot 5.
【００１６】このように、環境解釈情報１１に基づいて
環境モデル８の更新を行うことができるので、オペレー
タ１がロボット５を遠隔操作して環境６が勝手に変化し
た場合でも、環境モデル８と環境６とを一致させること
ができる。In this way, the environment model 8 can be updated based on the environment interpretation information 11, so even if the environment 6 changes automatically due to the operator 1 remotely controlling the robot 5, the environment model 8 and It is possible to match environment 6.
【００１７】したがって、環境モデル提供手段９は、環
境モデル８の更新されたデータを使用して、ロボット５
に適切な情報を伝えることができる。その結果、環境モ
デル８を必要とする機能（環境モデル提供手段９）と、
環境６を勝手に変化させてしまう機能（例えばオペレー
タ１による遠隔操作）との有効な協調動作が可能となる
。Therefore, the environment model providing means 9 uses the updated data of the environment model 8 to create the robot 5.
be able to convey appropriate information. As a result, functions that require the environment model 8 (environment model providing means 9),
Effective cooperative operation with a function that changes the environment 6 arbitrarily (for example, remote control by the operator 1) becomes possible.
【００１８】[0018]
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図２は本発明の第１の原理を示すブロック図で
ある。図において、オペレータ１はマスタアーム２を操
作し、その操作指令は遠隔操作指令手段３を経由して、
遠隔地にあるロボット制御手段４に伝達される。ロボッ
ト（マニピュレータ）５は、ロボット制御手段４からの
操作指令に応じて動作し、環境６内で作業を行う。セン
サ７は環境６内の対象物の位置等を検出してその情報を
ロボット制御手段４に送る。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 2 is a block diagram showing the first principle of the invention. In the figure, an operator 1 operates a master arm 2, and the operation command is sent via a remote control command means 3.
The information is transmitted to the robot control means 4 located at a remote location. The robot (manipulator) 5 operates in response to operation commands from the robot control means 4 and performs work within an environment 6. The sensor 7 detects the position of an object in the environment 6 and sends the information to the robot control means 4.
【００１９】環境モデル８は、ロボット５が実際に動作
する環境６を記述したものであり、例えば環境６内に存
在する対象物の配置データによって構成される。環境モ
デル提供手段９は、環境モデル８のデータを使用してロ
ボット制御手段４に情報を伝え、ロボットの自律動作等
を制御する。例えば、環境モデル８のデータを使用して
ロボット５の動作計画を立案し、その動作計画によって
ロボット５に自律動作を行わせる。The environment model 8 describes the environment 6 in which the robot 5 actually operates, and is composed of, for example, placement data of objects existing in the environment 6. The environmental model providing means 9 uses the data of the environmental model 8 to transmit information to the robot control means 4, and controls the robot's autonomous operation and the like. For example, a motion plan for the robot 5 is created using the data of the environment model 8, and the robot 5 is caused to perform autonomous motion according to the motion plan.
【００２０】環境モデル更新手段１０は、オペレータ１
の遠隔操作により変化した環境６を解釈して環境モデル
８を更新する。その際に、環境モデル更新手段１０は、
変化した環境６の最終状態の情報１２に基づいて、環境
６を解釈し、更新を行う。その詳細は以下の各実施例（
第１〜第５実施例）において述べる。[0020] The environment model updating means 10
The environment model 8 is updated by interpreting the environment 6 changed by remote control. At that time, the environment model updating means 10
The environment 6 is interpreted and updated based on the changed final state information 12 of the environment 6. Details are given in each example below (
This will be described in Embodiments 1 to 5).
【００２１】この環境モデル８及び環境モデル更新手段
１０は、例えばワークステーション２０に設けられる。The environment model 8 and the environment model updating means 10 are provided in a workstation 20, for example.
【００２２】図３はロボットが作業する環境を示す図で
ある。図では簡単のため２次元平面内での環境とし、Ｘ
、Ｙ並進２自由度のみで回転自由度はないものとした。実世界での環境は並進３自由度、回転３自由度の計６自
由度であるが本発明の説明には支障ない。FIG. 3 is a diagram showing the environment in which the robot works. In the figure, for simplicity, the environment is assumed to be within a two-dimensional plane, and
, it is assumed that there are only two degrees of freedom in Y translation and no degrees of freedom in rotation. Although the real world environment has a total of six degrees of freedom, three degrees of freedom in translation and three degrees of freedom in rotation, this does not interfere with the explanation of the present invention.
【００２３】物体Ａ、Ｂ及びＣが、環境６内に配置され
ている。環境６は基準座標系Ｗを有する。物体Ａは、３
カ所の結合部ａ１、ａ２、ａ３を持ち、他の物体と結合
する。ａ０は、物体Ａの代表点を示す。それらの結合部
ａ１、ａ１２、ａ３及び代表点ａ０にそれぞれ座標系を
割り当てる。物体Ｂも同様に、２ヵ所の結合部ｂ１、ｂ
２及び代表点ｂ０を持ち、それらに対してそれぞれ座標
系を割り当てる。物体Ｃは、この世界の基準座標系Ｗに
対して固定され、物体Ａ、Ｂと同様に、結合部ｃ１及び
代表点ｃ０を持ち、座標系が割り当てられている。Objects A, B and C are placed in an environment 6. The environment 6 has a reference coordinate system W. Object A is 3
It has three connecting parts a1, a2, and a3, and connects to other objects. a0 indicates a representative point of object A. A coordinate system is assigned to each of the connecting parts a1, a12, a3 and the representative point a0. Similarly, object B has two joints b1 and b.
2 and a representative point b0, and a coordinate system is assigned to each of them. The object C is fixed with respect to the reference coordinate system W of this world, and like the objects A and B, has a joint c1 and a representative point c0, and is assigned a coordinate system.
【００２４】図４は図３の配置モデル（配置情報）を示
す図である。環境モデル８は、この配置モデルによって
構成される。図において、○印は各座標系を示す。物体
が固体の場合（変形する物体は扱わない）、その各座標
系の相対関係は固定的である。その相対関係は、図にお
いて、実線矢印とオフセット値ベクトルとで示される。例えば、物体Ａの各座標系間の相対関係、すなわち、結
合部ａ１、ａ２、ａ３、及び代表点ａ０間の相対関係は
、実線矢印とオフセット値ベクトルとで示され、オフセ
ット値ベクトルは矢印の根本側の座標系上での変移量で
示される。例えば、ａ１は、ａ０座標系上で（０，−１
０）離れたところに配置されていることを示す。FIG. 4 is a diagram showing the layout model (layout information) of FIG. 3. The environment model 8 is configured by this placement model. In the figure, ○ marks indicate each coordinate system. If the object is solid (deforming objects are not treated), the relative relationships among its coordinate systems are fixed. The relative relationship is shown in the figure by a solid line arrow and an offset value vector. For example, the relative relationship between each coordinate system of object A, that is, the relative relationship between joint parts a1, a2, a3, and representative point a0, is shown by a solid line arrow and an offset value vector, and the offset value vector is indicated by the arrow. It is indicated by the amount of displacement on the root side coordinate system. For example, a1 is (0, -1
0) Indicates that the location is far away.
【００２５】さらに、○印の近くに記載されている座標
値は、現環境での基準座標系Ｗにおける配置を示す。例
えば、ａ１の座標値は（６００，４９０）である。この
座標値は、物体の操作によっていろいろ変化する。本発
明は、この座標値が実際の環境と同一になるように、い
かにして更新するかの方法に関する。Furthermore, the coordinate values written near the circle mark indicate the arrangement in the reference coordinate system W in the current environment. For example, the coordinate values of a1 are (600, 490). These coordinate values change in various ways depending on the operation of the object. The present invention relates to a method of updating these coordinate values so that they are the same as the actual environment.
【００２６】さて、この環境６がオペレータの遠隔操作
の結果、変化したとする。図５は環境が図３の状態から
変化した場合を示す図である。この場合は、物体Ａがロ
ボット操作によって移動し、物体Ａの結合部ａ１と物体
Ｃの結合部ｃ１とが結合したことを示している。環境６
がこのように変化した場合は、次のようにして、各座標
値の更新、すなわち環境モデル８の更新が行われる。Now, suppose that this environment 6 changes as a result of the operator's remote control. FIG. 5 is a diagram showing a case where the environment has changed from the state shown in FIG. In this case, object A is moved by the robot operation, and the connecting portion a1 of object A and the connecting portion c1 of object C are combined. Environment 6
When the changes occur in this way, each coordinate value is updated, that is, the environment model 8 is updated as follows.
【００２７】図６は本発明の第１実施例を示す図である
。この実施例では、ａ１とｃ１が結合（付着）したこと
をオペレータがシンボリックに教示する。図中、「ａｆ
ｆｉｘ ａ１ ｔｏ ｃ１」がそれを示す。その
入力は、キーボードやメニュー音声等を用いてワークス
テーション２０に対して行われる。このシンボリックな
命令「ａｆｆｉｘ ■ ｔｏ ■ ｏｆｆｓｅ
ｔ（ａ，ｂ）」は、■に対して■を■の座標系上でｏｆ
ｆｓｅｔ値（ａ，ｂ）のところに付着させる意味を示す
ものとする。この場合、ｏｆｆｓｅｔ値を省略すると図
に示すように（０，０）となる。この命令は、言語イン
タフェース２１を経由して環境モデル更新手段１０に伝
達される。FIG. 6 is a diagram showing a first embodiment of the present invention. In this embodiment, the operator symbolically teaches that a1 and c1 are combined (attached). In the figure, “af
fix a1 to c1” indicates this. The input is performed on the workstation 20 using a keyboard, menu voice, or the like. This symbolic command "affix ■ to ■ offse"
t(a,b)'' is of the coordinate system of ■ with respect to ■.
Let us indicate the meaning of attaching it to the fset value (a, b). In this case, if the offset value is omitted, it becomes (0, 0) as shown in the figure. This command is transmitted to the environment model updating means 10 via the language interface 21.
【００２８】このとき、環境モデル８内の配置モデルが
、環境モデル更新手段１０によって更新されるが、それ
を図７に基づいて説明する。図７は第１実施例による配
置モデルの更新を示す図である。先ず、環境モデル更新
手段１０は、命令「ａｆｆｉｘ ａ１ ｔｏ ｃ
１」に応じて、テンポラリな結合関係（図では破線矢印
Ｌ１で表示）を配置モデルに追加する。その結果、ａ１
がｃ１とｃ１座標系上でオフセット（０，０）の関係に
あることが登録されたことになる。これにより、ａ１の
座標値は、前の（６００，４９０）から（６００，２０
）に変更される。それに応じて、ａ１と結合関係にある
他の座標値ａ０、ａ２、ａ３も図に示すように更新され
る。なお、この操作と無関係な物体Ｂに関する座標値は変更
されない。At this time, the placement model in the environment model 8 is updated by the environment model update means 10, which will be explained based on FIG. FIG. 7 is a diagram showing the updating of the placement model according to the first embodiment. First, the environment model updating means 10 executes the command “affix a1 to c
1'', a temporary connection relationship (indicated by a broken line arrow L1 in the figure) is added to the placement model. As a result, a1
This means that it has been registered that c1 has an offset (0, 0) relationship on the c1 coordinate system. As a result, the coordinate value of a1 changes from the previous (600,490) to (600,20
) will be changed. Correspondingly, other coordinate values a0, a2, and a3 that are connected to a1 are also updated as shown in the figure. Note that the coordinate values regarding object B that are unrelated to this operation are not changed.
【００２９】このように、遠隔操作によって新たに生じ
た結合関係を、シンボリックに環境モデル更新手段１０
に与えることによって、環境モデル８を更新することが
でき、環境モデル８を環境６の最終状態に一致させるこ
とができる。In this way, the connection relationship newly created by remote control is symbolically updated by the environment model updating means 10.
, the environment model 8 can be updated to match the final state of the environment 6.
【００３０】次に、環境６の物体Ｂが移動した場合を考
える。図８は環境が図５の状態からさらに変化した場合
を示す図である。この図では、物体Ｂはロボット操作に
より物体Ｃ上に設置される。物体Ｂと物体Ｃとは、結合
部での結合ではなく、両者に図５の物体Ａ、Ｃ間のよう
な、結合関係はない。Next, consider a case where object B in environment 6 moves. FIG. 8 is a diagram showing a case where the environment has further changed from the state shown in FIG. In this figure, object B is placed on object C by robot operation. Object B and object C are not connected at a joint, and there is no connection relationship between them like that between objects A and C in FIG. 5.
【００３１】この場合の環境モデル８の更新方法につい
て以下に説明する。図９は第２実施例の全体構成を示す
図である。環境６は通常、オペレータとは隔たった場所
にあるので、カメラ３３によるモニタ画像３０Ａによっ
てモニタ３０に表示され観察される。オペレータはジョ
イスティック３４によりカメラ支持台３３Ａを操作して
カメラ３３を位置決めし、見たい方向からの実画像を得
る。The method for updating the environment model 8 in this case will be explained below. FIG. 9 is a diagram showing the overall configuration of the second embodiment. Since the environment 6 is usually located at a location separated from the operator, it is displayed on the monitor 30 and observed by the monitor image 30A from the camera 33. The operator operates the camera support 33A using the joystick 34 to position the camera 33 and obtain an actual image from the desired direction.
【００３２】環境モデル表示手段３５は、予め各物体の
形状データ３６を有し、その形状データ３６と、環境モ
デル更新手段１０が管理する環境モデル８の配置情報と
をもとに、環境６をシミュレートしてその画像（グラフ
ィックシミュレータ画像）３１Ａをディスプレイ３１に
表示する。このディスプレイ３１は、例えばワークステ
ーション２０（図２）のディスプレイである。このグラ
フィックシミュレータ画像３１Ａの物体は、マウス３２
を用いて移動させることができる。The environment model display means 35 has shape data 36 of each object in advance, and displays the environment 6 based on the shape data 36 and the arrangement information of the environment model 8 managed by the environment model update means 10. The simulated image (graphic simulator image) 31A is displayed on the display 31. This display 31 is, for example, the display of the workstation 20 (FIG. 2). The object in this graphic simulator image 31A is the mouse 32
It can be moved using
【００３３】図１０は図９のモニタ画像とグラフィック
シミュレータ画像との拡大図である。グラフィックシミ
ュレータ画像３１Ａにおいて、環境モデル表示手段３５
は、物体Ｂを先ず破線で示す位置に表示する。これは、
環境６において、物体Ｂが図８の状態に変化した場合で
も、まだ環境モデル８が更新されていないためである。オペレータは、グラフィックシミュレータ画像３１Ａの
物体Ｂをマウス３２を用いてドラッギングする。このド
ラッギングは、マウスポインタ３２Ａがグラフィックシ
ミュレータ画像３１Ａの中の物体Ｂに入った状態で、マ
ウスボタン３２Ｂを押しながら、マウスポインタ３２Ａ
をずらすことによって行われる。FIG. 10 is an enlarged view of the monitor image and graphic simulator image of FIG. In the graphic simulator image 31A, the environment model display means 35
First, object B is displayed at the position indicated by the broken line. this is,
This is because the environment model 8 has not yet been updated even when the object B changes to the state shown in FIG. 8 in the environment 6. The operator drags object B on the graphic simulator image 31A using the mouse 32. This dragging is carried out by pressing the mouse button 32B while moving the mouse pointer 32A into the object B in the graphic simulator image 31A.
This is done by shifting the
【００３４】オペレータは、環境６の実画像を表示する
モニタ画像３０Ａを見ながら、物体Ｂを図中矢印Ｌ２方
向にドラッギングして、モニタ画像３０Ａに表示されて
いる物体Ｂの最終状態の位置に相当する位置まで移動さ
せる。物体Ｂが実線で示す位置まで来たときに、マウス
ボタン３２Ａを押して物体Ｂの位置決めを行う。この位
置決めによって新たに生じた配置情報は、環境モデル表
示手段３５を経由して再び環境モデル更新手段１０に転
送される。While viewing the monitor image 30A displaying the actual image of the environment 6, the operator drags the object B in the direction of the arrow L2 in the figure to bring it to the position of the final state of the object B displayed on the monitor image 30A. Move it to the corresponding position. When the object B reaches the position indicated by the solid line, the mouse button 32A is pressed to position the object B. The new arrangement information generated by this positioning is transferred again to the environment model updating means 10 via the environment model display means 35.
【００３５】このとき、環境モデル８内の配置モデルが
、環境モデル更新手段１０によって更新されるが、それ
を図１１に基づいて説明する。図１１は第２実施例によ
る配置モデルの更新を示す図である。先ず、環境モデル
更新手段１０に、環境モデル表示手段３５から新配置の
情報が転送されてくる。その情報は、物体Ｂの代表点ｂ
０の新しい座標値（７００，３０）であり、それにより
代表点ｂ０の古い座標値（７１０，４８０）が更新され
る。このとき、他の結合部ｂ１、ｂ２については環境モ
デル８に登録されている結合関係に従い、その新しい座
標値がｂ０の座標値から算出され、更新される。なお、
この操作と無関係な物体Ａに関する座標値は変更されな
い。At this time, the placement model in the environment model 8 is updated by the environment model update means 10, which will be explained based on FIG. 11. FIG. 11 is a diagram showing updating of a placement model according to the second embodiment. First, information on the new layout is transferred from the environment model display means 35 to the environment model update means 10. The information is the representative point b of object B
0's new coordinate values (700, 30), thereby updating the old coordinate values (710, 480) of the representative point b0. At this time, new coordinate values of the other joint parts b1 and b2 are calculated from the coordinate values of b0 and updated according to the joint relationship registered in the environment model 8. In addition,
Coordinate values regarding object A that are unrelated to this operation are not changed.
【００３６】このように、物体Ｂが物体Ｃに設置された
場合のような、その結合関係が既知でない場合でも、環
境モデル表示手段３５を用いて、グラフィックシミュレ
ータ画像３１Ａ上で位置決めすることによって、その最
終状態を環境モデル８に反映させ更新することができる
。[0036] In this way, even when the connection relationship between the objects B and C is not known, such as when the object B is installed on the object C, by positioning it on the graphic simulator image 31A using the environment model display means 35, The final state can be reflected in the environment model 8 and updated.
【００３７】図１２は本発明の第３実施例の全体構成を
示す図である。第２実施例との相違点は、画像オーバレ
イ手段３８を設けて、モニタ画像３０Ａとグラフィック
シミュレータ画像３１Ａとを重ねたモニタ３０上で移動
した物体の位置決め（ドラッギング）を行うように構成
した点にある。すなわち、カメラ３３からの実画像と、
環境モデル表示手段３５からのシミュレータ画像とは、
画像オーバレイ手段３８を経由して重ねられて表示され
る。FIG. 12 is a diagram showing the overall configuration of a third embodiment of the present invention. The difference from the second embodiment is that an image overlay means 38 is provided to position (drag) a moving object on the monitor 30 on which the monitor image 30A and the graphic simulator image 31A are superimposed. be. That is, the real image from the camera 33,
The simulator image from the environmental model display means 35 is
The images are superimposed and displayed via the image overlay means 38.
【００３８】この場合、カメラ３３の視点がカメラ視点
計算手段３７によって求められる。その視点に基づいて
、環境モデル表示手段３５は、シミュレータ画像がその
視点から見た画像になるようにシミュレータ画像を変更
し、その変更した画像を画像オーバレイ手段３８に送る
。したがってモニタ３０上には、同一視点からの実画像
（モニタ画像）３０Ａと環境モデル８によるグラフィッ
クシミュレータ画像３１Ａが表示される。このモニタ３
０上で、第２実施例と同様に、移動した物体Ｂのグラフ
ィックシミュレータ画像３１Ａをドラッギングして新位
置を入力する。この場合、実画像３０Ａにグラフィック
シミュレータ画像３１Ａを重ねるようにドラッグする操
作となるので第２実施例に比較して、物体Ｂの位置決め
を正確に行うことができ、位置決め精度が改善される。In this case, the viewpoint of the camera 33 is determined by the camera viewpoint calculation means 37. Based on the viewpoint, the environment model display means 35 changes the simulator image so that the simulator image becomes an image seen from that viewpoint, and sends the modified image to the image overlay means 38. Therefore, on the monitor 30, a real image (monitor image) 30A from the same viewpoint and a graphic simulator image 31A based on the environment model 8 are displayed. This monitor 3
0, the graphic simulator image 31A of the moved object B is dragged to input a new position, as in the second embodiment. In this case, the drag operation is performed so that the graphic simulator image 31A is superimposed on the real image 30A, so that the object B can be positioned more accurately than in the second embodiment, and the positioning accuracy is improved.
【００３９】図１３は本発明の第４実施例の全体構成を
示す図である。第２、第３実施例との相違点は、画像計
測認識手段（環境計測手段）４０を設けた点にある。第
２、第３実施例と同様に、オペレータの遠隔操作により
物体Ｂが物体Ｃに設置された場合を説明する。この実施
例では、物体Ｂに実環境において、物体位置を計測する
ためのマークｂ３が設けられている。FIG. 13 is a diagram showing the overall configuration of a fourth embodiment of the present invention. The difference from the second and third embodiments is that image measurement recognition means (environment measurement means) 40 is provided. As in the second and third embodiments, a case will be described in which object B is placed on object C by remote control by an operator. In this embodiment, the object B is provided with a mark b3 for measuring the object position in a real environment.
【００４０】図１４は物体Ｂとそのマークｂ３を示す図
である。マークｂ３の撮像画面を画像処理することによ
って、マークｂ３の位置及び名称（「ｂ３」）を知るこ
とができる。本実施例では、まず、第３実施例と全く同
一の手法によって、オーバレイされたモニタ３０上で物
体Ｂとドラッギングすることによって、物体Ｂの新配置
を入力する（図１３）。この配置情報は画像オーバレイ
による位置決めによって、ある程度の精度を有している
が、画面の表示分解能の限界や、オペレータのマウス操
作による位置決め精度の限界等により、その精度に限界
がある。このため、本実施例では、この結果を物体Ｂの
概略位置として扱う。。FIG. 14 is a diagram showing object B and its mark b3. The position and name ("b3") of mark b3 can be known by image processing the captured screen of mark b3. In this embodiment, first, a new arrangement of object B is input by dragging object B on the overlaid monitor 30 using exactly the same method as in the third embodiment (FIG. 13). Although this placement information has a certain degree of accuracy due to positioning by image overlay, there is a limit to its accuracy due to limitations in display resolution of the screen, limitations in positioning accuracy due to operator's mouse operations, and the like. Therefore, in this embodiment, this result is treated as the approximate position of object B. .
【００４１】その配置情報が、環境モデル表示手段３５
から画像計測認識手段４０に送られる。すなわち、マー
クの名前ｂ３およびオペレータのドラッギングにより得
られたｂ３の配置情報が送られる。なお、画像計測認識
手段４０は、マークデータ４２を有しており、そのマー
クデータ４２には、予めマークの形状やマーク名の識別
情報等が格納されている。The location information is displayed on the environment model display means 35.
from there to the image measurement recognition means 40. That is, the name b3 of the mark and the location information of b3 obtained by dragging by the operator are sent. The image measurement recognition means 40 has mark data 42, and the mark data 42 stores in advance identification information such as the shape of the mark and the name of the mark.
【００４２】画像計測認識手段４０は、送られてきた配
置情報によりマークｂ３の概略位置を知り、その場所に
マークｂ３があるものとして、カメラ支持台４１Ａを操
作してカメラ４１をその方向に向け、マークｂ３を撮像
する。次に、マークデータ４２内のマークｂ３に関する
データを参照しながらマークの名称を確認し、マークｂ
３の位置を計測する。その計測結果（座標値（７００，
３５））が、環境モデル更新手段１０に戻されてマーク
ｂ３の座標値が（７１０，４８５）→（７００，３５）
に更新される。環境モデル更新手段１０では、物体Ｂの
結合関係に従い、ｂ０、ｂ１、ｂ２の値を更新する。The image measurement recognition means 40 learns the approximate position of the mark b3 from the sent placement information, and assumes that the mark b3 is at that location and operates the camera support 41A to direct the camera 41 in that direction. , image the mark b3. Next, check the name of the mark while referring to the data regarding mark b3 in the mark data 42, and
Measure position 3. The measurement result (coordinate value (700,
35)) is returned to the environment model updating means 10, and the coordinate values of mark b3 are changed from (710,485) to (700,35).
will be updated. The environment model updating means 10 updates the values of b0, b1, and b2 according to the connection relationship of the objects B.
【００４３】図１５は第４実施例による配置モデルの更
新を示す図である。先ず、環境モデル更新手段１０に、
画像計測認識手段４０から物体Ｂのマークｂ３に関する
新配置の情報が送られてくる。その情報は、マークｂ３
の座標値（７００，３５）であり、それによりマークｂ
３の古い座標値（７１０，４８５）が更新される。この
とき、他の結合部ｂ１、ｂ２及び代表点ｂ０についても
、上述したように更新される。このように、画像計測認
識手段４０によって物体Ｂ（マークｂ３）を直接撮像し
、その位置を計測するため、第２、第３実施例の持つ精
度の限界を越えて、物体Ｂの位置をより高い精度で求め
ることができる。すなわち、より高い精度で環境モデル
８を更新することができる。FIG. 15 is a diagram showing updating of the layout model according to the fourth embodiment. First, in the environment model updating means 10,
Information on the new arrangement of mark b3 of object B is sent from the image measurement recognition means 40. The information is marked b3
is the coordinate value (700, 35) of mark b
The old coordinate values (710, 485) of 3 are updated. At this time, the other coupling parts b1 and b2 and representative point b0 are also updated as described above. In this way, since the image measurement recognition means 40 directly images the object B (mark b3) and measures its position, the position of the object B can be further determined beyond the accuracy limit of the second and third embodiments. It can be determined with high accuracy. That is, the environment model 8 can be updated with higher accuracy.
【００４４】図１６は本発明の第５実施例の全体構成を
示す図である。第４実施例との相違点は、オペレータが
ジョイスティック３４を用いてカメラ４１を操作し、物
体Ｂ（マークｂ３）を直接撮像し、モニタ４３の視野内
に入れるように構成した点にある。画像計測認識手段４
０は、第４実施例と同様にして、撮像したマークｂ３の
座標値と、マークの名前「ｂ３」を求め、その座標値に
よって環境モデル８が更新される。このように、画像計
測認識手段４０のカメラ４１で直接物体Ｂを視野内に入
れ、撮像するようにしたため、画像オーバレイ手段３８
が不要になる。FIG. 16 is a diagram showing the overall configuration of a fifth embodiment of the present invention. The difference from the fourth embodiment is that the operator operates the camera 41 using the joystick 34 to directly image the object B (mark b3) and bring it into the field of view of the monitor 43. Image measurement recognition means 4
0 obtains the coordinate values of the imaged mark b3 and the mark name "b3" in the same manner as in the fourth embodiment, and the environment model 8 is updated with the coordinate values. In this way, since the camera 41 of the image measurement recognition means 40 directly brings the object B into the field of view and images it, the image overlay means 38
becomes unnecessary.
【００４５】図１７は本発明の第２の原理を示すブロッ
ク図である。図２に示した第１の原理との相違点は、環
境モデル更新手段１０が、初期環境モデル（オペレータ
による遠隔操作が行われる前の環境６の初期状態）５０
と、オペレータの遠隔操作によるロボット５の動作履歴
情報５３とを使用して環境モデル８の更新を行う点にあ
る。すなわち、初期状態からのロボット動作の履歴を追
いかけて、環境モデル８の最終状態を作りあげる。その
詳細を以下の各実施例（第６、第７実施例）において説
明する。FIG. 17 is a block diagram showing the second principle of the present invention. The difference from the first principle shown in FIG.
The environmental model 8 is updated using the information 53 of the operation history of the robot 5 that is controlled remotely by the operator. In other words, the final state of the environment model 8 is created by tracing the history of robot movements from the initial state. The details will be explained in the following embodiments (sixth and seventh embodiments).
【００４６】図１８は本発明の第６実施例の全体構成を
示す図である。ロボット制御手段４は、ロボット操作コ
マンド列Ｒのコマンドに応じて、ロボット５のハンド５
１を動作させ、環境６内の物体Ｅを移動させる。ロボッ
ト操作コマンド列Ｒは、オペレータの遠隔操作の結果、
遠隔操作指令手段３（図１７）を経由して発信されたも
のである。または、ロボット制御手段４の上位のホスト
計算機（図示せず）によって発信されたものでもよい。FIG. 18 is a diagram showing the overall configuration of a sixth embodiment of the present invention. The robot control means 4 controls the hand 5 of the robot 5 in response to the commands in the robot operation command sequence R.
1 to move the object E in the environment 6. The robot operation command sequence R is the result of the operator's remote operation,
This is transmitted via the remote control command means 3 (FIG. 17). Alternatively, it may be transmitted by a host computer (not shown) above the robot control means 4.
【００４７】コマンドヒストリ記憶手段６０は、ロボッ
ト制御手段４が受信したロボット操作コマンド列Ｒ（ロ
ボット５の動作履歴情報５３）を記憶し、必要に応じて
環境モデル更新手段１０に送る。環境モデル更新手段１
０は、そのロボット操作コマンド列Ｒ、初期環境モデル
５０及び後述する結合可能点地図５２を使用して、環境
モデル８内の配置モデルを更新する。The command history storage means 60 stores the robot operation command sequence R (operation history information 53 of the robot 5) received by the robot control means 4, and sends it to the environment model updating means 10 as necessary. Environmental model update means 1
0 updates the placement model in the environment model 8 using the robot operation command sequence R, the initial environment model 50, and a connectable point map 52 to be described later.
【００４８】なお、ロボット５の動作中に逐次、環境モ
デル８の更新を行う場合は、ロボット操作コマンド列Ｒ
は、図中破線Ｌ３で示すように、ロボット制御手段４を
経由して直接環境モデル更新手段１０に送られる。した
がって、この場合は、コマンドヒストリ記憶手段６０は
不要になる。[0048] If the environment model 8 is to be updated sequentially while the robot 5 is operating, the robot operation command sequence R
is directly sent to the environment model updating means 10 via the robot control means 4, as shown by the broken line L3 in the figure. Therefore, in this case, the command history storage means 60 becomes unnecessary.
【００４９】次に、環境モデル８の更新方法を説明する
。図１９はロボットハンドとその対象物体を示す図であ
り、（Ａ）はロボットハンドを、（Ｂ）はその対象物体
を示す。ロボット５のハンド５１は座標系ｄ０を有し、
その対象物体Ｅは結合部ｅ１、ｅ２及び代表点ｅ０を持
つ。Next, a method for updating the environment model 8 will be explained. FIG. 19 is a diagram showing a robot hand and its target object, where (A) shows the robot hand and (B) its target object. The hand 51 of the robot 5 has a coordinate system d0,
The target object E has connecting parts e1, e2 and a representative point e0.
【００５０】図２０及び図２１はロボットの動作履歴を
示す図であり、図２０の（Ａ）、（Ｂ）、（Ｃ）はステ
ップ１、２、３を、図２１の（Ａ）、（Ｂ）はステップ
４、５を示す。初期状態の位置にある物体Ｅに対し（ス
テップ１）、オペレータがロボット５を遠隔操作して、
ハンド５１を物体Ｅの結合位置に移動しハンド５１で物
体Ｅを掴む（グリップする）（ステップ２）。次に、物
体Ｅを持ち上げて移動し（ステップ３）、固定されてい
る物体Ｆ上の希望する位置に置き、物体Ｅを放し（リリ
ースする）（ステップ４）、ハンドを最終位置に移動す
る（ステップ５）。ステップ５が最終状態である。この
ときのロボット制御手段４に対するコマンドは、以下の
ようなものである。20 and 21 are diagrams showing the operation history of the robot, and (A), (B), and (C) in FIG. B) shows steps 4 and 5. With respect to the object E in the initial position (step 1), the operator remotely controls the robot 5,
The hand 51 is moved to the joining position of the object E, and the hand 51 grasps the object E (step 2). Next, pick up and move the object E (step 3), place it at the desired position on the fixed object F, release the object E (step 4), and move the hand to the final position ( Step 5). Step 5 is the final state. The command to the robot control means 4 at this time is as follows.
【００５１】ステップ１→２の場合：ステップ２のハン
ド位置までハンド５１の位置を移動させるコマンドＣ１
、及びハンド５１を閉めるコマンドＣ２。ステップ２→
３→４の場合：ステップ４のハンド位置までハンド５１
の位置を移動させるコマンドＣ３、及びハンド５１を開
くコマンドＣ４。In the case of step 1 → 2: Command C1 to move the position of hand 51 to the hand position of step 2
, and a command C2 to close the hand 51. Step 2→
In the case of 3 → 4: Hand 51 to the hand position of step 4
A command C3 to move the position of the hand 51, and a command C4 to open the hand 51.
【００５２】ステップ５の場合：ハンド５１を移動させ
るコマンドＣ５。In the case of step 5: Command C5 to move the hand 51.
【００５３】環境モデル更新手段１０は、環境６の初期
状態及びこれらのコマンドを使用して、環境モデル８の
更新を行う。この環境モデル８の更新手順を図２２を用
いて説明する。The environment model updating means 10 updates the environment model 8 using the initial state of the environment 6 and these commands. The procedure for updating the environment model 8 will be explained using FIG. 22.
【００５４】図２２は図２０及び図２１の配置モデルを
示す図である。図２２の配置モデル中、（Ａ）は初期状
態を表し、図２０のステップ１に相当する。（Ｂ）はハ
ンド５１が物体Ｅを掴んで（グリップ）、ハンド５１と
物体Ｅがともに移動中の状態を表し、図２０のステップ
２、３、及び図２１のステップ４に相当する。（Ｃ）は
ハンド５１が物体Ｅを放して（リリース）、最終状態に
なったことを表し、図２１のステップ５に相当する。◎
印は結合可能な座標系を示す。なお、ロボット５はその
ハンド５１の位置を基準座標系Ｗにおいて認識可能であ
る。FIG. 22 is a diagram showing the arrangement model of FIGS. 20 and 21. In the arrangement model of FIG. 22, (A) represents an initial state, which corresponds to step 1 in FIG. (B) shows a state in which the hand 51 is gripping the object E and both the hand 51 and the object E are moving, and corresponds to steps 2 and 3 in FIG. 20 and step 4 in FIG. 21. (C) indicates that the hand 51 releases the object E and reaches the final state, and corresponds to step 5 in FIG. 21. ◎
Marks indicate coordinate systems that can be combined. Note that the robot 5 can recognize the position of its hand 51 in the reference coordinate system W.
【００５５】先ず、初期状態（Ａ）に対し、ハンド５１
が、ハンド５１を閉めるコマンドＣ２に応じて、物体Ｅ
の結合部を掴んだことが認識されると、ｄ０─ｅ１間に
テンポラリな結合関係（破線矢印Ｌ４）が生じる（Ｂ）
。次に、ハンド５１の位置を移動させるコマンドＣ３に
応じてハンド５１（ｄ０）が移動すると、ｄ０─ｅ１間
の結合関係に従い、物体Ｅ（ｄ０、ｄ１、ｄ２）もハン
ド５１と移動を共にする。最終位置でハンド５１を開く
コマンドＣ４が実行されると、ｄ０─ｅ１間の結合関係
は解消される（Ｃ）。物体Ｅの最終位置は、ハンド５１
を開いた位置となる。すなわち、（ハンド５１を開いた
時のｄ０の位置）＝（ｅ１の位置）となる。この関係を
満たすように、結合部ｅ１の新たな座標値が登録される
。それに応じて結合部ｅ２及び代表点ｅ０の各座標値が
更新され、環境モデル８が更新される。このように、ハ
ンド５１の動作履歴を追いかけることによって、環境モ
デル８が更新され、環境モデル８の最終状態が得られる
。First, for the initial state (A), the hand 51
However, in response to the command C2 to close the hand 51, the object E
When it is recognized that the connection part of is grasped, a temporary connection relationship (broken line arrow L4) occurs between d0 and e1 (B)
. Next, when the hand 51 (d0) moves in response to the command C3 that moves the position of the hand 51, the object E (d0, d1, d2) also moves with the hand 51 according to the connection relationship between d0 and e1. . When the command C4 that opens the hand 51 at the final position is executed, the connection relationship between d0 and e1 is dissolved (C). The final position of the object E is the hand 51
is in the open position. That is, (position of d0 when hand 51 is opened)=(position of e1). New coordinate values of the connecting portion e1 are registered so as to satisfy this relationship. Accordingly, the coordinate values of the joint e2 and the representative point e0 are updated, and the environment model 8 is updated. In this way, by tracking the movement history of the hand 51, the environmental model 8 is updated, and the final state of the environmental model 8 is obtained.
【００５６】さて、上述したハンドを閉めるコマンドＣ
２から、どの物体をつかんだかを知る方法について以下
に示す。図２３は結合部（結合可能点）の地図で、（Ａ
）は結合部の初期状態、及びハンドの移動経路と開閉場
所を示し、（Ｂ）は結合部の最終状態を示す。環境モデ
ル更新手段１０は、この結合可能点地図５２の情報を使
用して結合した物体をみつける。図に示すように環境を
適当に領域分割した上で、環境モデル８中の結合部の配
置情報をつかって結合部について予めマッピングする。ここでは、物体Ｅ、Ｆ、Ｇ、Ｈ、Ｉの各結合部ｅ１、ｅ
２、〜、ｉ４がマッピングされている。ハンド５１（ｄ
０）は、ここでは（Ａ）の線Ｌ５に沿ってこの地図中を
移動したとする。Now, the above-mentioned command C to close the hand
2, we will show below how to know which object has been grabbed. Figure 23 is a map of joining parts (possible joining points).
) shows the initial state of the joint, the moving path of the hand, and the opening/closing location, and (B) shows the final state of the joint. The environment model updating means 10 uses the information of this connectable point map 52 to find connected objects. After dividing the environment into regions as shown in the figure, the joints are mapped in advance using the location information of the joints in the environment model 8. Here, each connection part e1, e of objects E, F, G, H, I
2, to i4 are mapped. Hand 51 (d
0) is assumed to have moved in this map along line L5 in (A).
【００５７】「ｇｒｉｐ」という命令、すなわち、ハン
ド５１を閉めるコマンドＣ２が生じた時点で、ｄ０の含
まれる領域内でもっとも近いか、あるいは、位置が一致
し、結合可能な条件を満たす結合部を検索し、その結合
部（ここではｅ１）を結合したとみなす。この結合可能
な条件としては、結合部の角度とハンド５１の角度との
一致などである。At the time when the command "grip", that is, the command C2 to close the hand 51, is generated, the connecting part that is closest within the area containing d0 or that matches the position and satisfies the conditions for combining is selected. The search is performed, and the combined part (e1 in this case) is considered to have been combined. Conditions for this connection include the coincidence of the angle of the joint and the angle of the hand 51.
【００５８】「ｒｅｌｅａｓｅ」という命令、すなわち
、ハンド５１を開くコマンドＣ４が生じた時点で、その
結合部（ｅ１）をその領域内にマッピングしなおす。このとき、配置モデル中の結合関係により、同時に移動
を生じるもの（ｅ１と結合関係にあるｅ２）も、その新
位置に応じた領域にマッピングし、結合部の最終状態を
示す地図（Ｂ）が得られる。このように、結合部の座標
値が更新された時には、その結合部は、その時点での座
標値がマッピングされるべき領域にマッピングされる。[0058] When the command "release", ie, the command C4 to open the hand 51, occurs, the connecting part (e1) is re-mapped within the area. At this time, due to the connection relationship in the placement model, the object that moves at the same time (e2 which is in a connection relationship with e1) is also mapped to the area corresponding to its new position, and the map (B) showing the final state of the connection part is created. can get. In this way, when the coordinate values of a joint are updated, the joint is mapped to the area to which the coordinate values at that time are to be mapped.
【００５９】図２４は図２０、図２１に示したロボット
の動作履歴の変形例である。図２４は図２１中のステッ
プ４で、物体ＥをＦに置いて、物体Ｅをリリースする前
に物体Ｆと（リジッドに）結合する過程を含む場合を示
す。ただし、この場合の物体Ｅはさらに結合部ｅ３を有
し、また物体Ｆは結合部ｆ１をもつとしている。この場
合は、ハンド５１に対するリリース命令の前に例えば、
物体Ｆの結合部に対して、コネクト命令が発行される。このように、ハンド５１が持っている物体Ｅと他の物体
Ｆとの結合命令においても、ハンド５１と物体Ｅの結合
の場合と同じように結合部ｆ１に着目して、結合可能点
地図を利用し後述する図２５中、破線矢印Ｌ６に示すよ
うなテンポラリな結合関係を生成できる。FIG. 24 is a modification of the operation history of the robot shown in FIGS. 20 and 21. FIG. 24 shows a case where step 4 in FIG. 21 includes a process of placing object E on F and (rigidly) coupling it with object F before releasing object E. However, in this case, the object E further has a joint e3, and the object F has a joint f1. In this case, for example, before issuing a release command to the hand 51,
A connect command is issued to the connecting portion of object F. In this way, in a command to combine an object E held by the hand 51 with another object F, the map of possible combinations is created by focusing on the joint part f1 in the same way as in the case of combining the hand 51 and the object E. By using this, it is possible to generate a temporary connection relationship as shown by a broken line arrow L6 in FIG. 25, which will be described later.
【００６０】図２５は図２４の配置モデルを示す図であ
る。この場合は、図２２の（Ｂ）で生じたハンド５１の
ｄ０と物体Ｅの結合部ｅ１との結合関係（破線矢印Ｌ４
）があり、さらに、コネクト命令によって生じる物体Ｅ
の結合部ｅ３と物体Ｆの結合部ｆ１とのテンポラリな結
合関係（破線矢印Ｌ６）を追加する。FIG. 25 is a diagram showing the arrangement model of FIG. 24. In this case, the connection relationship between d0 of the hand 51 and the connection part e1 of the object E (broken line arrow L4) that occurred in FIG.
), and furthermore, there is an object E caused by the connect instruction
A temporary connection relationship (broken line arrow L6) between the connection part e3 of the object F and the connection part f1 of the object F is added.
【００６１】以上述べた第６実施例では、ロボット５の
動作履歴に応じて、逐次環境モデル８が更新される。す
なわち、環境モデル８が自動的に更新できる。したがっ
て、オペレータが環境モデル８の最終状態を教示する必
要もなく、環境モデル８の更新をより簡易に行うことが
できる。In the sixth embodiment described above, the environment model 8 is sequentially updated according to the operation history of the robot 5. That is, the environment model 8 can be automatically updated. Therefore, there is no need for the operator to teach the final state of the environment model 8, and the environment model 8 can be updated more easily.
【００６２】図２６は本発明の第７実施例の全体構成を
示す図である。この実施例は、第６実施例の構成に、さ
らに環境モデル表示手段３５（第３実施例）を設けた構
成になっている。FIG. 26 is a diagram showing the overall configuration of a seventh embodiment of the present invention. This embodiment has a configuration in which an environment model display means 35 (third embodiment) is further provided in addition to the configuration of the sixth embodiment.
【００６３】例えば、ロボット５の一連の遠隔操作が終
わった時点を考える。環境モデル８は、第６実施例の自
動更新機能により更新されているとする。その環境モデ
ル８の最終状態を、環境モデル表示手段３５を使用して
、ディスプレイ３１に表示したところ、環境６の実際の
最終状態とは違った環境を表示したとする。この場合、
本実施例では、もう一度今の遠隔操作をディスプレイ上
でプレイバック（トレース）し、間違いの生じた時点で
修正する機能を有する。For example, consider the point in time when a series of remote operations of the robot 5 have been completed. It is assumed that the environment model 8 has been updated by the automatic update function of the sixth embodiment. Suppose that when the final state of the environment model 8 is displayed on the display 31 using the environment model display means 35, an environment different from the actual final state of the environment 6 is displayed. in this case,
This embodiment has a function to once again play back (trace) the current remote operation on the display and correct any errors that occur.
【００６４】すなわち、環境モデル表示手段３５は、環
境モデル更新手段１０を使用して、予め初期環境モデル
５０に記憶されている環境６の初期状態、及びコマンド
ヒストリ記憶手段６０に記憶されているロボット操作コ
マンド列Ｒにより、もう一度今の遠隔操作によるハンド
５１の動作をプレイバックさせ、それをディスプレイ３
１に表示する（実際のロボットは動かない）。その際に
、ハンド５１が間違った結合相手を掴んで移動しようと
した場合、その時点で一旦プレイバックを停止させ、結
合相手変更スイッチ６１を使用して、正しい結合相手を
選ぶ。この際、環境モデル更新手段１０は、結合可能点
地図等をつかって、次の候補をオペレータに提示する。その後、最後の遠隔操作までプレイバックを続行させる
。その結果、正しい最終状態が得られる。That is, the environment model display means 35 uses the environment model update means 10 to display the initial state of the environment 6 stored in advance in the initial environment model 50 and the robot stored in the command history storage means 60. Using the operation command sequence R, the current operation of the hand 51 by remote control is played back again, and it is displayed on the display 3.
1 (the actual robot does not move). At this time, if the hand 51 grabs a wrong combination partner and tries to move, the playback is temporarily stopped at that point, and the combination partner change switch 61 is used to select the correct combination partner. At this time, the environment model updating means 10 presents the next candidate to the operator using a connectable point map or the like. After that, playback continues until the last remote control. As a result, the correct final state is obtained.
【００６５】なお、上記の説明では、遠隔操作を終了し
た後にプレイバックを行い、間違いを修正するようにし
たが、遠隔操作中にも、逐次間違いを修正するように構
成することもできる。例えば、特に時間遅れのある環境
下で、予測シミュレータを併用して遠隔操作をする場合
、予測シミュレータ内の環境モデルは常に、実際の環境
と一致している必要がある。その場合は、結合相手を間
違ったときに、オペレータが逐次正しい結合相手を選ん
でやることによって、対応できるようにすることができ
る。このように、環境モデル８の自動更新機能に、さら
に、結合相手変更手段スイッチ６１を設け、オペレータ
との対話により環境モデル８の更新を行えるようにした
。このため、環境モデル８の自動更新をより確実に行う
ことができる。[0065] In the above explanation, playback is performed after the remote operation is completed and mistakes are corrected, but it is also possible to configure the system so that mistakes are successively corrected even during remote operation. For example, when a predictive simulator is used for remote control, especially in an environment with time delays, the environment model in the predictive simulator must always match the actual environment. In such a case, if an operator makes a mistake in the binding partner, it can be handled by having the operator select the correct binding partner one by one. In this way, the automatic update function of the environment model 8 is further provided with the coupling partner changing means switch 61, so that the environment model 8 can be updated through interaction with the operator. Therefore, the environment model 8 can be automatically updated more reliably.
【００６６】ところで、自動更新による環境モデルの更
新方法（第６及び第７実施例）は、例えば、遠隔操作中
にロボットの肘がなんらかの対象物にぶつかった等の原
因により環境が変化した場合は、その環境変化に対応で
きない。なぜなら、この手法は、ロボットに対するコマ
ンド列を使用した更新であり、コマンドに含まれない動
作を原因とした環境変化には対応できないからである。このため、その環境変化を環境モデルに反映させること
もできない。したがって、このような場合は、最終状態
を使った環境モデルの更新方法（第１〜第５実施例）を
併用する必要がある。[0066] By the way, the method for automatically updating the environment model (sixth and seventh embodiments) is effective when the environment changes due to a cause such as the robot's elbow colliding with some object during remote control. , unable to respond to changes in the environment. This is because this method updates the robot using a command sequence, and cannot respond to environmental changes caused by actions not included in the commands. Therefore, it is not possible to reflect the environmental changes in the environmental model. Therefore, in such a case, it is necessary to use the environmental model updating method using the final state (first to fifth embodiments) in combination.
【００６７】上記各実施例の実用的かつ効率的観点から
は、先ず、第６実施例による自動更新を行い、正確に環
境が環境モデルに反映された場合は、それにより環境モ
デルの更新を終了し、環境モデルが間違って更新された
場合に、第７実施例による自動更新の補正を行うか、ま
たは、第１〜第５実施例の最終状態による更新を行うよ
うにする。From the practical and efficient viewpoint of each of the above embodiments, first, the automatic update according to the sixth embodiment is performed, and when the environment is accurately reflected in the environment model, the update of the environment model is finished. However, when the environment model is incorrectly updated, the automatic update is corrected according to the seventh embodiment, or the update is performed according to the final state of the first to fifth embodiments.
【００６８】[0068]
【発明の効果】以上説明したように本発明では、ロボッ
トの遠隔操作によりロボットが動作する環境が変化した
場合、すなわち、環境を変化させる意図がロボット自身
になく、ロボットが環境の変化を解釈することができな
いような場合でも、環境モデルを更新して、その作業環
境に一致させるようにした。[Effects of the Invention] As explained above, in the present invention, when the environment in which the robot operates changes due to remote control of the robot, in other words, the robot itself has no intention of changing the environment, and the robot interprets the change in the environment. Even in cases where this is not possible, the environment model has been updated to match the working environment.
【００６９】このため、ロボットに自律動作を行わせる
自律動作機能のような、環境モデルを必要とするロボッ
ト側のシステムが機能する場合でも、更新された環境モ
デルを使用することができる。したがって、ロボットに
適切な情報を伝えることができる。その結果、環境モデ
ルを必要とするロボット側のシステムの機能と、オペレ
ータによる遠隔操作のような、ロボットのシステム外に
あってロボットの作業環境を勝手に変化させてしまう機
能との有効な協調動作が可能となる。Therefore, even when a robot-side system that requires an environment model functions, such as an autonomous operation function that causes the robot to perform autonomous operations, the updated environment model can be used. Therefore, appropriate information can be conveyed to the robot. As a result, effective cooperative operation can be achieved between the functions of the robot system that require an environment model and the functions that are outside the robot system and can change the robot's working environment without permission, such as remote control by the operator. becomes possible.
【００７０】また、環境モデルの更新を、環境の最終状
態の情報に基づいて行うようにしたので、いかなる環境
変化にも対応でき、環境モデルの更新を的確に行うこと
ができる。Furthermore, since the environment model is updated based on information on the final state of the environment, it is possible to respond to any environmental change and update the environment model accurately.
【００７１】さらに、環境モデルの更新を、変化する前
の環境モデルの情報と、ロボットの動作履歴情報とに基
づいて行うようにしたので、環境モデルを自動的に更新
することができ、更新をより簡易に行うことができる。Furthermore, since the environment model is updated based on the information of the environment model before the change and the robot's operation history information, the environment model can be updated automatically, and the update can be performed easily. This can be done more easily.
【図１】本発明の原理ブロック図である。FIG. 1 is a block diagram of the principle of the present invention.
【図２】本発明の第１の原理を示すブロック図である。FIG. 2 is a block diagram showing the first principle of the present invention.
【図３】ロボットが作業する環境を示す図である。FIG. 3 is a diagram showing an environment in which a robot works.
【図４】図３の配置モデルを示す図である。FIG. 4 is a diagram showing the arrangement model of FIG. 3;
【図５】環境が図３の状態から変化した場合を示す図で
ある。FIG. 5 is a diagram showing a case where the environment has changed from the state shown in FIG. 3;
【図６】本発明の第１実施例を示す図である。FIG. 6 is a diagram showing a first embodiment of the present invention.
【図７】第１実施例による配置モデルの更新を示す図で
ある。FIG. 7 is a diagram showing updating of a placement model according to the first embodiment.
【図８】環境が図５の状態からさらに変化した場合を示
す図である。FIG. 8 is a diagram showing a case where the environment has further changed from the state shown in FIG. 5;
【図９】第２実施例の全体構成を示す図である。FIG. 9 is a diagram showing the overall configuration of a second embodiment.
【図１０】図９のモニタ画像とグラフィックシミュレー
タ画像との拡大図である。FIG. 10 is an enlarged view of the monitor image and graphic simulator image of FIG. 9;
【図１１】第２実施例による配置モデルの更新を示す図
である。FIG. 11 is a diagram illustrating updating of a placement model according to the second embodiment.
【図１２】本発明の第３実施例の全体構成を示す図であ
る。FIG. 12 is a diagram showing the overall configuration of a third embodiment of the present invention.
【図１３】本発明の第４実施例の全体構成を示す図であ
る。FIG. 13 is a diagram showing the overall configuration of a fourth embodiment of the present invention.
【図１４】物体Ｂとそのマークｂ３を示す図である。FIG. 14 is a diagram showing object B and its mark b3.
【図１５】第４実施例による配置モデルの更新を示す図
である。FIG. 15 is a diagram illustrating updating of a placement model according to a fourth embodiment.
【図１６】本発明の第５実施例の全体構成を示す図であ
る。FIG. 16 is a diagram showing the overall configuration of a fifth embodiment of the present invention.
【図１７】本発明の第２の原理を示すブロック図である
。FIG. 17 is a block diagram showing the second principle of the present invention.
【図１８】本発明の第６実施例の全体構成を示す図であ
る。FIG. 18 is a diagram showing the overall configuration of a sixth embodiment of the present invention.
【図１９】ロボットハンドとその対象物体を示す図で、
（Ａ）はロボットハンドを、（Ｂ）は対象物体を示す。FIG. 19 is a diagram showing a robot hand and its target object,
(A) shows a robot hand, and (B) shows a target object.
【図２０】ロボットの動作履歴を示す図で、（Ａ）はス
テップ１を、（Ｂ）はステップ２を、（Ｃ）はステップ
３を示す。FIG. 20 is a diagram showing the operation history of the robot, in which (A) shows step 1, (B) shows step 2, and (C) shows step 3.
【図２１】ロボットの動作履歴を示す図で、（Ａ）はス
テップ４を、（Ｂ）はステップ５を示す。FIG. 21 is a diagram showing the operation history of the robot, in which (A) shows step 4 and (B) shows step 5.
【図２２】図２０及び図２１の配置モデルを示す図で、
（Ａ）は初期状態を、（Ｂ）はグリップ及び移動の状態
を、（Ｃ）最終状態をそれぞれ示す。FIG. 22 is a diagram showing the arrangement model of FIGS. 20 and 21,
(A) shows the initial state, (B) shows the grip and movement state, and (C) shows the final state.
【図２３】結合部（結合可能点）の地図で、（Ａ）は結
合部の初期状態、及びハンドの移動経路と開閉時点を示
し、（Ｂ）は結合部の最終状態を示す。FIG. 23 is a map of the joint (possible join points), where (A) shows the initial state of the joint, the movement path of the hand, and the opening/closing time, and (B) shows the final state of the joint.
【図２４】図２０に示したロボットの動作履歴の変形例
である。24 is a modification of the operation history of the robot shown in FIG. 20. FIG.
【図２５】図２４の配置モデルを示す図である。FIG. 25 is a diagram showing the arrangement model of FIG. 24;
【図２６】本発明の第７実施例の全体構成を示す図であ
る。FIG. 26 is a diagram showing the overall configuration of a seventh embodiment of the present invention.
【図２７】従来のロボットの遠隔制御装置の全体構成を
示すブロック図である。FIG. 27 is a block diagram showing the overall configuration of a conventional robot remote control device.
１ オペレータ２ マスタアーム３ 遠隔操作指令手段４ ロボット制御手段５ マニピュレータ（ロボット）６ 環境８ 環境モデル９ 環境モデル提供手段１１ 環境解釈情報１２ 最終状態情報１０ 環境モデル更新手段２０ ワークステーション３０，４３ モニタ３１ ディスプレイ３２ マウス３３，４１ カメラ３５ 環境モデル表示手段３６ 形状データ３７ カメラ視点計算手段３８ 画像オーバレイ手段４０ 画像計測認識手段４２ マークデータ５０ 初期環境モデル５１（ｄ０） ハンド５２ 結合可能点地図５３ 動作履歴情報６０ コマンドヒストリ記憶手段６１ 結合相手変更スイッチＡ，Ｂ，Ｃ，Ｅ，Ｆ 物体Ｒ ロボット操作コマンド列Ｗ 基準座標系ａ０，ｂ０ ｃ０，ｄ０，ｅ０，ｆ０ 代表点ａ１
，ａ２，ａ３，ｂ１，ｂ２，ｃ１，ｅ１，ｅ２，ｅ３，
ｆ１ 結合部ｂ３ マーク○，◎ 座標系1 Operator 2 Master arm 3 Remote operation command means 4 Robot control means 5 Manipulator (robot) 6 Environment 8 Environment model 9 Environment model providing means 11 Environment interpretation information 12 Final state information 10 Environment model updating means 20 Workstations 30, 43 Monitor 31 Display 32 Mouse 33, 41 Camera 35 Environment model display means 36 Shape data 37 Camera viewpoint calculation means 38 Image overlay means 40 Image measurement recognition means 42 Mark data 50 Initial environment model 51 (d0) Hand 52 Connectable point map 53 Operation history information 60 Command history storage means 61 Binding partner change switches A, B, C, E, F Object R Robot operation command sequence W Reference coordinate system a0, b0 c0, d0, e0, f0 Representative point a1
, a2, a3, b1, b2, c1, e1, e2, e3,
f1 Joint b3 Mark ○, ◎ Coordinate system
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2603291AJPH04269185A (en) | 1991-02-20 | 1991-02-20 | Remote control device for robot |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2603291AJPH04269185A (en) | 1991-02-20 | 1991-02-20 | Remote control device for robot |
| Publication Number | Publication Date |
|---|---|
| JPH04269185Atrue JPH04269185A (en) | 1992-09-25 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2603291APendingJPH04269185A (en) | 1991-02-20 | 1991-02-20 | Remote control device for robot |
| Country | Link |
|---|---|
| JP (1) | JPH04269185A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1993025355A1 (en)* | 1992-06-05 | 1993-12-23 | Fujitsu Limited | Simulation method for manipulator and apparatus therefor, simulation and control method for manipulator and apparatus therefor, and control method for manipulator and apparatus therefor |
| WO2015055085A1 (en)* | 2013-10-18 | 2015-04-23 | 中广核检测技术有限公司 | Intelligent testing method of nondestructive robot testing based on virtual reality technology |
| CN106094575A (en)* | 2016-08-26 | 2016-11-09 | 中南大学 | A kind of robotic conveyance's virtual visualization control method and system |
| EP3321044A4 (en)* | 2015-08-25 | 2019-05-29 | Kawasaki Jukogyo Kabushiki Kaisha | Remote control manipulator system and operation method thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1993025355A1 (en)* | 1992-06-05 | 1993-12-23 | Fujitsu Limited | Simulation method for manipulator and apparatus therefor, simulation and control method for manipulator and apparatus therefor, and control method for manipulator and apparatus therefor |
| US5526254A (en)* | 1992-06-05 | 1996-06-11 | Fujitsu Limited | Simulation method and apparatus for manipulator apparatus, simulation and control method and apparatus for manipulator apparatus, and control method and apparatus for manipulator apparatus |
| WO2015055085A1 (en)* | 2013-10-18 | 2015-04-23 | 中广核检测技术有限公司 | Intelligent testing method of nondestructive robot testing based on virtual reality technology |
| EP3321044A4 (en)* | 2015-08-25 | 2019-05-29 | Kawasaki Jukogyo Kabushiki Kaisha | Remote control manipulator system and operation method thereof |
| US10980606B2 (en) | 2015-08-25 | 2021-04-20 | Kawasaki Jukogyo Kabushiki Kaisha | Remote-control manipulator system and method of operating the same |
| CN106094575A (en)* | 2016-08-26 | 2016-11-09 | 中南大学 | A kind of robotic conveyance's virtual visualization control method and system |
| CN106094575B (en)* | 2016-08-26 | 2017-05-17 | 中南大学 | Virtual visual control method and virtual visual control system for robot transportation |
| Publication | Publication Date | Title |
|---|---|---|
| Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
| CN110394780B (en) | Simulation device of robot | |
| CN110977931B (en) | Robot control device and display device using augmented reality and mixed reality | |
| EP3342561B1 (en) | Remote control robot system | |
| EP2923806A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
| US10166673B2 (en) | Portable apparatus for controlling robot and method thereof | |
| US20150239127A1 (en) | Visual debugging of robotic tasks | |
| Fang et al. | Novel AR-based interface for human-robot interaction and visualization | |
| JP2004243516A (en) | Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment | |
| JP5108032B2 (en) | Multi-joint structure teaching device | |
| CN111093911A (en) | Robot system and method for operating the same | |
| CN115916480A (en) | Robot Teaching Method and Robot Working Method | |
| CN114734466B (en) | Mobile robot chemical experiment operation system and method | |
| JPH04269185A (en) | Remote control device for robot | |
| Pedersen et al. | Using human gestures and generic skills to instruct a mobile robot arm in a feeder filling scenario | |
| Yang et al. | An augmented-reality based human-robot interface for robotics programming in the complex environment | |
| JP7068416B2 (en) | Robot control device using augmented reality and mixed reality, computer program for defining the position and orientation of the robot, method for defining the position and orientation of the robot, computer program for acquiring the relative position and orientation, and method for acquiring the relative position and orientation. | |
| CN111899629B (en) | Flexible robot teaching system and method | |
| Brunner et al. | Programming robots via learning by showing in a virtual environment | |
| Raptis et al. | RobotIQ: Empowering Mobile Robots with Human-Level Planning for Real-World Execution | |
| JPH03287394A (en) | Remote handling device | |
| Sun et al. | Direct virtual-hand interface in robot assembly programming | |
| Tennakoon et al. | A Mixed Reality Human Robot Interaction Interface Using Hand Tracking and Stereo Vision for Construction Applications | |
| JP7340069B1 (en) | Marker position registration program, marker position registration device, marker position registration method, and marker used for the method | |
| Saad | Development & Validation of an Augmented-Reality-Based System for Intuitive Robot Programming |
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:19981117 |