WO2020171201A1 - Method for inserting shaft member into hole in segment, and control device - Google Patents

Abstract

A control device 200 which controls at least two robot arms 120, each having an end effector 122, to insert a shaft member into a hole in a segment is configured to execute: an action to cause one end effector 122b to come into contact with the segment; an action to grip the shaft member using the other end effector 122a; an action to move the shaft member toward the hole in the segment; if it is detected that the shaft member has come into contact with the segment, an action to move an end portion of the shaft member over the segment while pressing the shaft member against the segment; and, if it is detected that the end portion of the shaft member has entered the hole in the segment, an action to insert the shaft member into the hole in the segment.

Description

Translated fromJapanese

セグメントの孔にシャフト部材を挿入する方法および制御装置Method and control for inserting a shaft member into a hole in a segment

　本発明は、セグメントの孔にボルト等のシャフト部材を挿入する方法および制御装置に関する。The present invention relates to a method and a control device for inserting a shaft member such as a bolt into a hole of a segment.

　構造物の組み立ての要素技術として、複数のセグメントに形成された孔にシャフトを通してそれらのセグメントを連結したり、セグメントに形成されたボルト孔にボルトを通し、それをナットで締結したりすることが用いられる。孔にシャフト部材を通す作業を自動化するために、種々の提案がされている。As an elemental technology for assembling a structure, it is possible to connect the segments through a hole formed in a plurality of segments or to insert a bolt into a bolt hole formed in the segment and fasten it with a nut. Used. Various proposals have been made for automating the work of passing the shaft member through the hole.

　特許文献１は、第１のロボットアームのエンドエフェクタで、第２のロボットアームの位置合わせ用エンドエフェクタにより支持されるワークの先端側よりもワーク嵌合部から離れたワークの根元側を支持して、第１及び第２の２つのロボットアームを協調させて動作させることにより、ワークをワーク嵌合部に嵌合させるロボットシステムが開示されている。この先行技術には、ワーク嵌合部を探るために、ワークをワーク嵌合部に対して平面上で並進移動させることが記載されている。Patent Document 1 is an end effector of a first robot arm that supports a root side of a work that is farther from a work fitting portion than a tip end side of a work that is supported by a positioning end effector of a second robot arm. Then, a robot system is disclosed in which the first and second robot arms are operated in cooperation with each other to cause the work to be fitted into the work fitting portion. This prior art describes that the work is translated in a plane with respect to the work fitting portion in order to search for the work fitting portion.

　また近年では、ロボットアームを用いてシャフト部材の先端をセグメントの孔付近に当接させながら渦巻き状に移動させ、セグメントの孔を探る手法が提案されている（非特許文献１）。Also, in recent years, a method has been proposed in which a robot arm is used to move the tip of a shaft member in the shape of a spiral while abutting the tip of the shaft member in the vicinity of the hole of the segment to search for the hole of the segment (Non-Patent Document 1).

特開２０１４－６４６号公報JP, 2014-646, A

Ｒｏｂｏｔｉｃ，Ｓｋｉｌｌｓ　－　Ｓｐｉｒａｌ　Ｓｅａｒｃｈ，［online］，［平成３１年２月１５日検索］、インターネット＜URL：https://www.youtube.com/watch?v=lomlB6h1KJE＞Robotic, Skills-Spiral Search, [online], [February 15, 2019 search], Internet <URL: https://www.youtube.com/watch?v=lomlB6h1KJE>

　しかしながら、いずれの先行技術も、孔にシャフト部材が通されるセグメントが予め固定されているか、少なくとも容易に動かないように設置されていることを前提にしており、不安定な状態にあるセグメントの孔にシャフト部材を通すことまでは行うことができない。例えば、固定されず単に自立しているだけのセグメントの孔にシャフト部材を通すようなケースでは、シャフト部材を挿入する際にシャフト部材が孔の縁に少しでも当たると、セグメントがシャフト部材に押されてセグメントの位置や向きが変わってシャフト部材と孔との相対位置がずれたり、セグメントがシャフト部材に押されて倒れたりしてしまう。However, both of the prior arts assume that the segment through which the shaft member is passed through the hole is fixed in advance, or at least is installed so as not to move easily. It is not possible to pass the shaft member through the hole. For example, in the case where the shaft member is passed through the hole of a segment that is not fixed and is merely self-supporting, if the shaft member hits the edge of the hole even slightly when the shaft member is inserted, the segment will push against the shaft member. As a result, the position or orientation of the segment changes, the relative position of the shaft member and the hole shifts, or the segment is pushed by the shaft member and falls.

　また、例えば２つのセグメントの孔にシャフト部材を通す場合には、各セグメントの孔が予め正確に互いに位置合わせされていないと、それらのセグメントにシャフト部材を通すことはできない。上記の先行技術では、各セグメントの孔が予め互いに位置合わせされていないと、２つセグメントのうちの最初のセグメントの孔を検出してそこにシャフト部材を挿入することができても、その次のセグメントにシャフト部材が当たってそれ以上シャフト部材を挿入することができない。さらには、シャフト部材が次のセグメントを押して、次のセグメントの位置がずれたり、次のセグメントが倒れたりすることが生じうる。Also, for example, when passing the shaft member through the holes of the two segments, the shaft member cannot be passed through the segments unless the holes of the segments are accurately aligned with each other in advance. In the above prior art, if the holes of each segment were not pre-aligned with each other, the hole of the first of the two segments could be detected and the shaft member inserted there, but The shaft member hits the segment of and the shaft member cannot be inserted any more. Furthermore, the shaft member may push the next segment, which may cause the position of the next segment to shift or the next segment to fall.

　本発明の一態様によれば、本発明による制御装置は、セグメントの孔にシャフト部材を挿入するように、各々がエンドエフェクタを有する少なくとも２つのロボットアームを制御する制御装置であって、
　一方のエンドエフェクタでセグメントを支持する動作と、
　他方のエンドエフェクタでシャフト部材を把持する動作と、
　シャフト部材の端部をセグメントの孔に向けて、シャフト部材をセグメントの方向へ移動させる動作と、
　シャフト部材がセグメントに接触したことが検出された場合に、シャフト部材の端部をセグメントに押し当てながらシャフト部材の端部をセグメントの上で移動させる動作と、
　シャフト部材の端部がセグメントの孔に入ったことが検出された場合に、シャフト部材をセグメントの孔に挿入する動作と、を実行するように構成されたプロセッサを備えている。According to one aspect of the invention, a controller according to the invention is for controlling at least two robot arms each having an end effector so as to insert a shaft member in a hole of a segment,
The operation of supporting the segment with one end effector,
The operation of gripping the shaft member with the other end effector,
An operation of moving the shaft member in the direction of the segment with the end of the shaft member facing the hole of the segment;
Moving the end of the shaft member over the segment while pressing the end of the shaft member against the segment when it is detected that the shaft member has contacted the segment;
A processor configured to perform an operation of inserting the shaft member into the segment hole when it is detected that the end of the shaft member has entered the segment hole.

　また、本発明の他の態様によれば、本発明による方法は、各々がエンドエフェクタを有する少なくとも２つのロボットアームによってセグメントの孔にシャフト部材を挿入する方法であって、
　一方のエンドエフェクタでセグメントを支持するステップと、
　他方のエンドエフェクタでシャフト部材を把持するステップと、
　シャフト部材の端部をセグメントの孔に向けて、シャフト部材をセグメントの方向へ移動させるステップと、
　シャフト部材がセグメントに接触したことが検出された場合に、シャフト部材の端部をセグメントに押し当てながらシャフト部材の端部をセグメントの上で移動させるステップと、
　シャフト部材の端部がセグメントの孔に入ったことが検出された場合に、シャフト部材をセグメントの孔に挿入するステップと、を含む。According to another aspect of the invention, the method according to the invention is a method of inserting a shaft member into a hole of a segment by at least two robot arms each having an end effector,
Supporting the segment with one end effector,
Gripping the shaft member with the other end effector,
Moving the shaft member toward the segment with the end of the shaft member facing the hole in the segment;
Moving the end of the shaft member over the segment while pressing the end of the shaft member against the segment when it is detected that the shaft member contacts the segment;
Inserting the shaft member into the hole of the segment when it is detected that the end of the shaft member has entered the hole of the segment.

　また、本発明の他の態様によれば、本発明によるプロセッサによって実行可能なコンピュータ・プログラムは、上記方法を実施する命令を含む。According to another aspect of the present invention, a computer program executable by the processor according to the present invention includes instructions for implementing the above method.

　さらに、本発明の他の態様によれば、本発明による非一時的なコンピュータ可読媒体は、上記方法を実施する命令を含む、上記媒体に記憶され、プロセッサによって実行することができるコンピュータ・プログラムを含む。Furthermore, according to another aspect of the present invention, a non-transitory computer readable medium according to the present invention comprises a computer program stored on the medium and capable of being executed by a processor, the instructions including instructions for implementing the method. Including.

本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入するシステムの概略構成を示す図である。It is a figure which shows schematic structure of the system which inserts a shaft member in the hole of the segment which concerns on one Embodiment of this invention.本発明の一実施形態に係るシステムのブロック図である。1 is a block diagram of a system according to an embodiment of the present invention.本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第１の動作を示すフローチャートである。It is a flowchart which shows the 1st operation|movement which inserts a shaft member into the hole of the segment which concerns on one Embodiment of this invention.本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第１の動作におけるハンドの動きを示す図である。It is a figure which shows the movement of the hand in the 1st operation|movement which inserts a shaft member into the hole of the segment which concerns on one Embodiment of this invention.本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第１の動作におけるハンドの動きを示す図である。It is a figure which shows the movement of the hand in the 1st operation|movement which inserts a shaft member into the hole of the segment which concerns on one Embodiment of this invention.セグメントの孔を探索するためのハンドによる種々の動作パターン例を示す図である。It is a figure which shows the various operation pattern examples by the hand for searching the hole of a segment.発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第２の動作を示すフローチャートである。It is a flow chart which shows the 2nd operation which inserts a shaft member into a hole of a segment concerning one embodiment of the invention.発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第２の動作を示すフローチャートである。It is a flow chart which shows the 2nd operation which inserts a shaft member into a hole of a segment concerning one embodiment of the invention.本発明の一実施形態に係るセグメントの孔にボルトを挿入してナットで止める第２の動作におけるハンドの動きを示す図である。It is a figure which shows the movement of the hand in the 2nd operation|movement which inserts a bolt in the hole of the segment and stops with a nut which concerns on one Embodiment of this invention.本発明の一実施形態に係るセグメントの孔にボルトを挿入してナットで止める第２の動作におけるハンドの動きを示す図である。It is a figure which shows the movement of the hand in the 2nd operation|movement which inserts a bolt in the hole of the segment and stops with a nut which concerns on one Embodiment of this invention.

　以下、本発明の実施の形態を図面を参照して説明する。Embodiments of the present invention will be described below with reference to the drawings.

　図１は、本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入するシステムの概略構成を示す図である。図２は、本発明の一実施形態に係るシステムのブロック図である。FIG. 1 is a diagram showing a schematic configuration of a system for inserting a shaft member into a hole of a segment according to an embodiment of the present invention. FIG. 2 is a block diagram of a system according to an embodiment of the present invention.

　図１及び図２に示すように、本発明の一実施形態に係るシステム１は、ロボット１００と、ロボット１００を制御する制御装置２００と、制御装置２００と相互に通信するユーザ操作ユニット３００とを備えている。As shown in FIGS. 1 and 2, asystem 1 according to an embodiment of the present invention includes arobot 100, acontrol device 200 that controls therobot 100, and auser operation unit 300 that communicates with thecontrol device 200. I have it.

　本実施形態に開示するロボット１００は、一例として、少なくとも２つのロボットアーム１２０と、それらのロボットアーム１２０を支持するロボット筐体１４０と、ロボット１００の周囲環境をセンシングする環境センサ１６０と、送受信ユニット１８０とを備えている。As an example, therobot 100 disclosed in the present embodiment includes at least tworobot arms 120, arobot housing 140 that supports thoserobot arms 120, anenvironment sensor 160 that senses the surrounding environment of therobot 100, and a transmission/reception unit. And 180.

　本実施形態の各々のロボットアーム１２０は、例えば６軸の多関節アーム（以下、「アーム」とも称する。）であり、先端にはエンドエフェクタであるロボットハンド（以下、「ハンド」とも称する。）１２２を有している。ロボットアーム１２０は各回転軸にサーボモータを有するアクチュエータ（不図示）を備えている。各サーボモータは制御装置２００に接続されており、制御装置２００から送られる制御信号に基づいて動作制御されるように構成されている。本実施形態では、アーム１２０として６軸の多関節アームを用いているが、アームの軸数（関節数）はロボット１００の用途やそれに求められる機能等に応じて適宜定めることができる。また、本実施形態ではエンドエフェクタとして２本指のハンド１２２を用いているが、これに限らず、例えば、３本あるいはそれ以上の指を備えたロボットハンド、磁力あるいは負圧による吸着手段を備えたロボットハンド、ゴム膜内に充填された粉粒体のジャミング（詰まり）現象を応用した把持手段を備えたロボットハンド、その他任意の手段により把持対象物のグリップとリリースを繰り返し行うことができるものを用いることができる。各ハンド１２２ａ，１２２ｂは、その手首部分を中心として回転可能に構成されていることが好ましい。Eachrobot arm 120 of the present embodiment is, for example, a 6-axis articulated arm (hereinafter, also referred to as “arm”), and a robot hand (hereinafter, also referred to as “hand”) that is an end effector at the tip. It has 122. Therobot arm 120 is equipped with an actuator (not shown) having a servo motor on each rotation axis. Each servo motor is connected to thecontrol device 200 and is configured to be operated and controlled based on a control signal sent from thecontrol device 200. In this embodiment, a 6-axis multi-joint arm is used as thearm 120, but the number of axes (the number of joints) of the arm can be appropriately determined according to the application of therobot 100, the function required for it, and the like. Further, although the two-fingered hand 122 is used as the end effector in the present embodiment, the present invention is not limited to this, and, for example, a robot hand having three or more fingers, a magnetic attraction or negative pressure suction means is provided. A robot hand, a robot hand equipped with a gripping means that applies the jamming phenomenon of a powder or granular material filled in a rubber film, or any other means capable of repeatedly gripping and releasing an object to be gripped Can be used. Each of thehands 122a and 122b is preferably configured to be rotatable around its wrist portion.

　ハンド１２２には、ハンド１２２の変位量、ハンド１２２に作用する力・加速度・振動等を検出する動力学センサが備えられている。さらに、ハンド１２２は、ハンド１２２による把持力や触覚を検出する触覚センサを備えていることが好ましい。The hand 122 is equipped with a dynamic sensor that detects the amount of displacement of the hand 122 and the force, acceleration, vibration, etc. acting on the hand 122. Further, the hand 122 preferably includes a tactile sensor that detects a gripping force or a tactile sense of the hand 122.

　ロボット筐体１４０は、例えば、載置台（不図示）の上に固定した状態で設置してもよく、あるいは、載置台の上に回転駆動装置（不図示）を介して旋回可能に設置してもよい。ロボット筐体１４０を載置台の上に旋回可能に設置した場合には、ロボット１００の作業範囲をロボット１００の正面の領域だけでなく、ロボット１００の周囲の範囲に広げることができる。さらには、ロボット筐体１４０は、ロボット１００の用途や使用環境に応じて、複数の車輪や無限軌道等を備えた車両、船舶、潜水機、ヘリコプターやドローン等の飛行体、その他の移動体に載置されていてもよく、あるいは、ロボット筐体１４０がそのような移動体の一部として構成されていてもよい。さらには、ロボット筐体１４０は歩行手段として２足またはそれ以上の足を有していてもよい。ロボット筐体１４０がそのような移動手段を有することにより、ロボット１００の作業範囲をより広範囲とすることができる。ロボット１００の用途によっては、ロボットアーム１２０はロボット筐体１４０を介さずに載置台等に直接固定されていてもよい。Therobot housing 140 may be installed in a fixed state on a mounting table (not shown), or may be installed on the mounting table so as to be rotatable via a rotation drive device (not shown). Good. When therobot housing 140 is rotatably installed on the mounting table, the work range of therobot 100 can be expanded not only to the area in front of therobot 100 but also to the area around therobot 100. Furthermore, therobot housing 140 may be a vehicle equipped with a plurality of wheels, an endless track, or the like, a flying body such as a helicopter or a drone, or any other moving body, depending on the application and use environment of therobot 100. It may be mounted or therobot housing 140 may be configured as a part of such a moving body. Furthermore, therobot housing 140 may have two or more legs as a walking means. Since therobot housing 140 has such moving means, the work range of therobot 100 can be made wider. Depending on the application of therobot 100, therobot arm 120 may be directly fixed to a mounting table or the like without therobot housing 140.

　環境センサ１６０は、ロボット１００の周囲環境をセンシングする。周囲環境には例えば、電磁波（可視光線、非可視光線、Ｘ線、ガンマ線等を含む）、音、温度、湿度、風速、大気組成等が含まれ、したがって環境センサ１６０は、視覚センサ、Ｘ線・ガンマ線センサ、聴覚センサ、温度センサ、湿度センサ、風速センサ、大気分析装置等を含み得るが、これらに限定されない。なお、図では環境センサ１６０がロボット１００と一体であるように示されているが、環境センサ１６０はロボット１００とは一体でなくてもよい。例えば、環境センサ１６０はロボット１００から離れた位置に設置されていたり、車両やドローン等の移動体に設置されていてもよい。また、環境センサ１６０は、ＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、高度センサ、ジャイロセンサ等を備えていることが好ましい。さらに、環境センサ１６０は、ロボット１００の屋外または屋内における位置検出のため、位置検出手段として、上記ＧＰＳセンサの他、ＷｉＦｉ測位、ビーコン測位、自立航法測位、地磁気測位、音波測位、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：超広帯域無線）測位、可視光・非可視光測位等を行うための構成を備えていることが好ましい。Theenvironment sensor 160 senses the surrounding environment of therobot 100. The ambient environment includes, for example, electromagnetic waves (including visible light, invisible light, X-rays, gamma rays, etc.), sound, temperature, humidity, wind speed, atmospheric composition, etc. Therefore, theenvironment sensor 160 is a visual sensor, an X-ray. -It may include, but is not limited to, gamma ray sensors, hearing sensors, temperature sensors, humidity sensors, wind speed sensors, atmospheric analyzers, and the like. Although theenvironment sensor 160 is shown as being integral with therobot 100 in the figure, theenvironment sensor 160 need not be integral with therobot 100. For example, theenvironment sensor 160 may be installed at a position away from therobot 100, or may be installed on a moving body such as a vehicle or a drone. Further, theenvironment sensor 160 preferably includes a GPS (Global Positioning System) sensor, an altitude sensor, a gyro sensor, and the like. Further, theenvironment sensor 160 detects the position of therobot 100 outdoors or indoors, and therefore, as a position detecting means, in addition to the GPS sensor, WiFi positioning, beacon positioning, self-contained navigation positioning, geomagnetic positioning, sound wave positioning, UWB (Ultra Wide Wide). (Band: Ultra Wide Band Wireless) positioning, visible light/invisible light positioning, etc. are preferably provided.

　なお、図では環境センサ１６０がロボット１００と一体であるように示されているが、環境センサ１６０がロボット１００の周囲環境及び位置・姿勢等をセンシングできるのであれば、環境センサ１６０はロボット１００とは一体でなくてもよい。例えば、環境センサ１６０はロボット１００から離れた位置に設置されていたり、ロボット１００とは別の車両やドローン等の移動体に設置されていてもよい。Although theenvironment sensor 160 is shown as being integrated with therobot 100 in the figure, if theenvironment sensor 160 can sense the surrounding environment of therobot 100 and the position/orientation, theenvironment sensor 160 can be connected to therobot 100. Need not be integral. For example, theenvironment sensor 160 may be installed at a position distant from therobot 100, or may be installed in a vehicle other than therobot 100 or a moving body such as a drone.

　特に視覚センサとしては、例えば、２Ｄカメラ及び深度センサ、３Ｄカメラ、ＲＧＢ－Ｄセンサ、３Ｄ－ＬｉＤＡＲセンサ、Ｋｉｎｅｃｔ（商標）センサなどを用いることができる。環境センサ１６０で得られた視覚情報は制御装置２００へ送られ、制御装置２００において処理される。環境センサ１６０で得られるその他の環境情報も制御装置２００へ送信し、ロボット１００の周囲環境の解析に用いることができる。Especially as the visual sensor, for example, a 2D camera, a depth sensor, a 3D camera, an RGB-D sensor, a 3D-LiDAR sensor, a Kinect (trademark) sensor, or the like can be used. The visual information obtained by theenvironment sensor 160 is sent to thecontrol device 200 and processed by thecontrol device 200. Other environmental information obtained by theenvironmental sensor 160 can also be transmitted to thecontrol device 200 and used for analysis of the surrounding environment of therobot 100.

　送受信ユニット１８０は、制御装置２００との間での信号・情報の送受信を行う。送受信ユニット１８０は、制御装置２００と有線接続または無線接続によって接続することが可能であり、したがってそれらの信号・情報の送受信は有線または無線によって行うことができる。それらの信号・情報の送受信に用いられる通信プロトコル及び周波数等は、システム１が用いられる用途や環境等に応じて適宜選択しうる。さらに、送受信ユニット１８０はインターネット等のネットワークに接続されていてもよい。The transmission/reception unit 180 transmits/receives signals/information to/from thecontrol device 200. The transmission/reception unit 180 can be connected to thecontrol device 200 by a wired connection or a wireless connection, and therefore, transmission/reception of those signals/information can be performed by a wired or wireless connection. The communication protocol, frequency, and the like used for transmitting and receiving these signals/information can be appropriately selected according to the application and environment in which thesystem 1 is used. Further, the transmission/reception unit 180 may be connected to a network such as the Internet.

　次に、本実施形態のシステム１における制御装置２００について説明する。Next, thecontrol device 200 in thesystem 1 of the present embodiment will be described.

　図２を参照すると、本実施形態に係るシステム１の制御装置２００は、プロセッサ２２０、記憶媒体２４０および送受信ユニット２６０を備えている。Referring to FIG. 2, thecontrol device 200 of thesystem 1 according to the present embodiment includes aprocessor 220, astorage medium 240, and a transmission/reception unit 260.

　プロセッサ２２０は主として、ロボット１００のロボットアーム１２０及びボディ１４０の駆動部及びセンサ（共に不図示）の制御、環境センサ１６０の制御、環境センサ１６０から送信された情報の処理、送受信ユニット２６０の制御、ユーザ操作ユニット３００との相互作用を司る。プロセッサ２２０は、例えば、中央演算処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、組込みプロセッサ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、あるいはそれらの組み合わせで構成される。プロセッサ２２０は、１又は２以上のプロセッサで構成されていてもよい。Theprocessor 220 mainly controls therobot arm 120 of therobot 100 and the drive units and sensors (both not shown) of thebody 140, controls theenvironment sensor 160, processes information transmitted from theenvironment sensor 160, controls the transmission/reception unit 260, It controls the interaction with theuser operation unit 300. Theprocessor 220 is, for example, a central processing unit (CPU), an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, a digital signal processor (DSP), or a combination thereof. Theprocessor 220 may be composed of one or more processors.

　プロセッサ２２０は、環境センサ１６０から送られた情報の処理として、環境センサ１６０で得られた視覚情報に基づいてロボット１００の周囲環境に存在するオブジェクトの認識を行う。一例として、制御装置２００のプロセッサ２２０は、環境センサ１６０で得られた視覚情報（画像情報及びその画像中の深度情報）に基づいて、視覚情報中に含まれるオブジェクトの形状を検出し、制御装置２００の記憶媒体２４０に記憶されているオブジェクトの形状データや、あるいは、制御装置２００が接続されているネットワーク上に存在するオブジェクトの形状データを参照することにより、視覚情報中に含まれるオブジェクトを特定する。オブジェクトの特定は、例えば、オブジェクト形状の特徴点を参照し、既知のオブジェクトの形状データに関連付けられたルックアップテーブルを参照したり、あるいは、任意の機械学習やＡＩ技術を用いて未知のオブジェクトの形状データとの関連付けを行うことで、実行することができる。あるいは、ユーザ操作ユニット３００の後述するユーザ入力ユニット３５０を用いてユーザがオブジェクトを特定する操作をすることで、そのオブジェクトの特定を行うこともできる。オブジェクトは、例えば、孔が形成された１つまたは２つ以上のセグメントと、セグメントの孔に挿入されるシャフト部材とを含む。シャフト部材は、シャフト、ピン、ボルト、ねじ等であってもよい。ボルトに締結されるナットもオブジェクトに含まれ得る。Theprocessor 220 recognizes an object existing in the surrounding environment of therobot 100 based on the visual information obtained by theenvironment sensor 160 as processing of the information sent from theenvironment sensor 160. As an example, theprocessor 220 of thecontrol device 200 detects the shape of the object included in the visual information based on the visual information (image information and depth information in the image) obtained by theenvironment sensor 160, and the control device The object included in the visual information is specified by referring to the shape data of the object stored in thestorage medium 240 of thecomputer 200 or the shape data of the object existing on the network to which thecontrol device 200 is connected. To do. To identify an object, for example, a feature point of the object shape is referred to, a lookup table associated with shape data of a known object is referred to, or an unknown object is identified by using arbitrary machine learning or AI technology. It can be executed by associating with shape data. Alternatively, the user can specify the object by the user's operation of specifying the object using theuser input unit 350 of theuser operation unit 300 described later. The object includes, for example, one or more segments having a hole formed therein and a shaft member inserted into the hole of the segment. The shaft member may be a shaft, a pin, a bolt, a screw or the like. A nut fastened to a bolt may also be included in the object.

　記憶媒体２４０は、ロボット１００を制御するコンピュータ・プログラム、環境センサ１６０から送信された情報の処理を行うコンピュータ・プログラム、ユーザ操作ユニット３００との相互作用を行うコンピュータ・プログラム、送受信ユニット２６０を制御するコンピュータ・プログラム等を記憶している。好ましくは、記憶媒体２４０には、コンピュータに後述する動作を行わせて制御装置２００としての機能を生じさせるソフトウェアまたはプログラムが記憶されている。特に、記憶媒体２４０には、図３並びに図６Ａ及び図６Ｂを参照して後述する方法を実施する命令を含む、プロセッサ２２０によって実行可能なコンピュータ・プログラムが記憶されている。記憶媒体２４０は、上述したような既知のオブジェクトの形状データに関連付けられたルックアップテーブルを記憶していることが好ましい。さらに、記憶媒体２４０は、ロボット１００のロボットアーム１２０の各部（サーボ（不図示）、ハンド１２２等）の状態、環境センサ１６０から送信された情報、ユーザ操作ユニット３００から送られた情報及び制御信号等を少なくとも一時的に記憶する役割も有する。記憶媒体２４０は、制御装置２００の電源がオフされても記憶状態が保持される非一時的なコンピュータ可読媒体である不揮発性の記憶媒体で構成されていることが好ましく、例えば、ハードディスクドライブ（ＨＤＤ）、固体記憶装置（ＳＳＤ）、コンパクトディスク（ＣＤ）・ディジタル・バーサタイル・ディスク（ＤＶＤ）・ブルーレイディスク（ＢＤ）等の光学ディスクストレージ、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ等の不揮発性ストレージで構成される。Thestorage medium 240 controls a computer program that controls therobot 100, a computer program that processes information transmitted from theenvironment sensor 160, a computer program that interacts with theuser operation unit 300, and a transmission/reception unit 260. It stores computer programs, etc. Preferably, thestorage medium 240 stores software or a program that causes a computer to perform the operation described below to cause the function of thecontrol device 200. In particular,storage medium 240 stores a computer program executable byprocessor 220, including instructions for performing the methods described below with reference to FIGS. 3 and 6A and 6B. Thestorage medium 240 preferably stores a look-up table associated with the known object shape data as described above. Further, thestorage medium 240 includes the state of each part (servo (not shown), hand 122, etc.) of therobot arm 120 of therobot 100, information transmitted from theenvironment sensor 160, information transmitted from theuser operation unit 300, and control signals. Etc. is also stored at least temporarily. Thestorage medium 240 is preferably a non-volatile storage medium that is a non-transitory computer-readable medium that retains the storage state even when the power of thecontrol device 200 is turned off. For example, a hard disk drive (HDD) ), solid-state storage device (SSD), optical disk storage such as compact disk (CD)/digital versatile disk (DVD)/Blu-ray disk (BD), nonvolatile random access memory (NVRAM), nonvolatile memory such as flash memory Composed of storage.

　送受信ユニット２６０は、ロボット１００との間での信号・情報の送受信と、ユーザ操作ユニット３００との間での信号・情報の送受信とを行う。制御装置２００は、ロボット１００及びユーザ操作ユニット３００とそれぞれ有線接続または無線接続によって接続することが可能であり、したがってそれらの信号・情報の送受信は有線または無線によって行うことができる。それらの信号・情報の送受信に用いられる通信プロトコル及び周波数等は、システム１が用いられる用途や環境等に応じて適宜選択しうる。さらに、送受信ユニット２６０はインターネット等のネットワークに接続されていてもよい。The transmission/reception unit 260 transmits/receives signals/information to/from therobot 100 and transmits/receives signals/information to/from theuser operation unit 300. Thecontrol device 200 can be connected to therobot 100 and theuser operation unit 300 by a wired connection or a wireless connection, respectively, and therefore, transmission/reception of signals and information thereof can be performed by a wired or wireless connection. The communication protocol, frequency, and the like used for transmitting and receiving these signals/information can be appropriately selected according to the application and environment in which thesystem 1 is used. Further, the transmission/reception unit 260 may be connected to a network such as the Internet.

　なお、図１及び図２では制御装置２００がロボット１００及びユーザ操作ユニット３００から独立したものとして示されているが、これに限られない。例えば、制御装置２００はロボット１００の筐体１４０内に設けられていてもよく、あるいは、制御装置２００はユーザ操作ユニット３００と一体に構成されていてもよい。また、本システム１で用いるロボット１００は１つに限られず、複数のロボット１００を独立して、あるいは互いに協働させて動作させてもよい。この場合、単体の制御装置２００で複数のロボット１００を制御してもよく、あるいは、複数の制御装置２００を協働させて複数のロボット１００を制御してもよい。Although thecontrol device 200 is shown as being independent of therobot 100 and theuser operation unit 300 in FIGS. 1 and 2, it is not limited to this. For example, thecontrol device 200 may be provided inside thehousing 140 of therobot 100, or thecontrol device 200 may be configured integrally with theuser operation unit 300. Further, the number ofrobots 100 used in thepresent system 1 is not limited to one, and a plurality ofrobots 100 may be operated independently or in cooperation with each other. In this case, thesingle control device 200 may control the plurality ofrobots 100, or the plurality ofcontrol devices 200 may cooperate to control the plurality ofrobots 100.

　続いて、本実施形態のシステム１におけるユーザ操作ユニット３００について説明する。Next, theuser operation unit 300 in thesystem 1 of this embodiment will be described.

　図２に示すように、本実施形態に係るシステム１のユーザ操作ユニット３００は、プロセッサ３２０、記憶媒体３４０、入力デバイス３５０、送受信ユニット３６０、ディスプレイ３７０を備えている。As shown in FIG. 2, theuser operation unit 300 of thesystem 1 according to this embodiment includes aprocessor 320, astorage medium 340, aninput device 350, a transmission/reception unit 360, and adisplay 370.

　プロセッサ３２０は主として、制御装置２００との相互作用、入力デバイス３５０を介してユーザによって行われる入力に基づく処理、送受信ユニット２６０の制御、ディスプレイ３７０の表示を司る。とりわけ、プロセッサ３２０は、入力デバイス３５０によって入力されたユーザ入力を解釈し、ロボット１００にその解釈に応じた動作を実行させるための動作指示信号を生成して、制御装置２００に送信する。制御装置２００のプロセッサ２２０は、その動作指示信号に基づき、ロボット１００のロボットアーム１２０及びボディ１４０の各駆動部（不図示）や環境センサ１６０を動作させるための１つのあるいは複数の制御コマンドを生成する。ユーザ操作ユニット３００のプロセッサ３２０は、例えば、中央演算処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、組込みプロセッサ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、あるいはそれらの組み合わせで構成される。プロセッサ３２０は、１又は２以上のプロセッサで構成されていてもよい。Theprocessor 320 mainly controls the interaction with thecontrol device 200, the processing based on the input performed by the user via theinput device 350, the control of the transmission/reception unit 260, and the display of thedisplay 370. In particular, theprocessor 320 interprets a user input input by theinput device 350, generates an operation instruction signal for causing therobot 100 to perform an operation according to the interpretation, and transmits the operation instruction signal to thecontrol device 200. Based on the operation instruction signal, theprocessor 220 of thecontrol device 200 generates one or a plurality of control commands for operating the drive units (not shown) of therobot arm 120 and thebody 140 of therobot 100 and theenvironment sensor 160. To do. Theprocessor 320 of theuser operation unit 300 is composed of, for example, a central processing unit (CPU), an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, a digital signal processor (DSP), or a combination thereof. Theprocessor 320 may be composed of one or more processors.

　さらに、ユーザ操作ユニット３００のプロセッサ３２０は、ユーザに提示するＵＩ（ユーザ・インターフェース）画面を生成し、ディスプレイ３７０に表示するように構成されている。ＵＩ画面（不図示）は、例えば、複数の選択肢を階層的にユーザに提供する選択ボタンを含んでいることが好ましい。さらにプロセッサ３２０は、ロボット１００の環境センサ１６０によって撮影されたロボット１００の周囲環境の実空間の画像または動画をディスプレイ３７０に表示してもよく、あるいは、ロボット１００の環境センサ１６０によって撮影されたロボット１００の周囲環境の画像または動画に基づいて仮想空間（シミュレーション空間）の画像または動画を生成し、ディスプレイ３７０に表示してもよい。プロセッサ３２０は、現実世界の画像または動画に基づいて仮想世界の画像または動画を生成する際に、例えば現実世界の座標系と仮想世界の座標系とを対応付けることにより、現実世界と仮想世界との相関関係を構築する。さらに、実空間の画像または動画と仮想空間（シミュレーション空間）の画像または動画とを同時にディスプレイ３７０に表示してもよい。さらには、ＵＩ画面を、ロボット１００の周囲環境の画像または動画あるいは仮想空間の画像または動画に重ね合わせて表示してもよい。ロボット１００の周囲環境の現実世界の画像または動画に基づいて生成される仮想世界（シミュレーション空間）の画像または動画には、ロボット１００の周囲環境に存在するオブジェクトも含まれる。Further, theprocessor 320 of theuser operation unit 300 is configured to generate a UI (user interface) screen to be presented to the user and display it on thedisplay 370. The UI screen (not shown) preferably includes, for example, a selection button that hierarchically provides the user with a plurality of options. Further, theprocessor 320 may display a real space image or moving image of the surrounding environment of therobot 100 captured by theenvironment sensor 160 of therobot 100 on thedisplay 370, or the robot captured by theenvironment sensor 160 of therobot 100. An image or moving image of a virtual space (simulation space) may be generated based on the image or moving image of the surrounding environment of 100 and displayed on thedisplay 370. When theprocessor 320 generates an image or a moving image of the virtual world based on an image or a moving image of the real world, theprocessor 320 associates the coordinate system of the real world with the coordinate system of the virtual world, for example. Build a correlation. Further, the image or moving image in the real space and the image or moving image in the virtual space (simulation space) may be displayed on thedisplay 370 at the same time. Furthermore, the UI screen may be displayed by being superimposed on the image or moving image of the environment of therobot 100 or the image or moving image of the virtual space. The image or moving image of the virtual world (simulation space) generated based on the image or moving image of the real environment of the surrounding environment of therobot 100 also includes objects existing in the surrounding environment of therobot 100.

　記憶媒体３４０は、制御装置２００との相互作用を行うコンピュータ・プログラム、入力デバイス３５０を介してＵＩ画面においてユーザによってインタラクティブに行われる入力に基づく処理を行うコンピュータ・プログラム、送受信ユニット２６０の制御を行うコンピュータ・プログラム、ディスプレイ３７０の表示を行うコンピュータ・プログラム等を記憶している。さらに、記憶媒体２４０は、ロボット１００の環境センサ１６０によって撮影され、制御装置２００を介してユーザ操作ユニット３００に送られたロボット１００の周囲環境の画像または動画、あるいは、そのロボット１００の周囲環境の画像または動画に基づいてプロセッサ３２０によって生成された仮想空間（シミュレーション空間）の画像または動画を少なくとも一時的に記憶することが可能である。ユーザ操作ユニット３００の記憶媒体３４０も、ユニット３００の電源がオフされても記憶状態が保持される非一時的なコンピュータ可読媒体である不揮発性の記憶媒体で構成されていることが好ましく、例えば、ハードディスクドライブ（ＨＤＤ）、固体記憶装置（ＳＳＤ）、コンパクトディスク（ＣＤ）・ディジタル・バーサタイル・ディスク（ＤＶＤ）・ブルーレイディスク（ＢＤ）等の光学ディスクストレージ、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ等の不揮発性ストレージで構成される。Thestorage medium 340 controls a computer program that interacts with thecontrol device 200, a computer program that performs a process based on an input interactively performed by the user on the UI screen via theinput device 350, and the transmission/reception unit 260. A computer program, a computer program for displaying thedisplay 370, and the like are stored. Further, thestorage medium 240 is imaged by theenvironment sensor 160 of therobot 100 and sent to theuser operation unit 300 via thecontrol device 200, or an image or moving image of the surrounding environment of therobot 100, or the surrounding environment of therobot 100. It is possible to at least temporarily store the image or moving image of the virtual space (simulation space) generated by theprocessor 320 based on the image or moving image. Thestorage medium 340 of theuser operation unit 300 is also preferably configured by a non-volatile storage medium that is a non-transitory computer-readable medium that retains the storage state even when the power of theunit 300 is turned off. Optical disk storage such as hard disk drive (HDD), solid-state storage device (SSD), compact disk (CD), digital versatile disk (DVD), Blu-ray disk (BD), non-volatile random access memory (NVRAM), flash memory It is composed of non-volatile storage such as.

　入力デバイス３５０として、例えば、キーボード、マウス、ジョイスティックなどを用いることができる。さらには、赤外線等を用いて位置と姿勢をトラッキングすることが可能でトリガーボタンなどを備えたトラッカーと呼ばれるデバイスを用いることもできる。また、ディスプレイ３７０がタッチパネル式のディスプレイ・デバイスを備えている場合には、そのタッチパネルを入力デバイスとして用いることができる。さらには、ディスプレイ３７０がＶＲ（仮想現実）・ＡＲ（拡張現実）あるいはＭＲ（複合現実）等の表示デバイスとして用いられるヘッドマウントディスプレイであり、かつユーザの視線追跡機能を備えている場合には、その視線追跡機能を入力デバイスとして用いることができる。あるいは、視線追跡機能を備えているがディスプレイを備えていないデバイスであっても、その視線追跡機能を入力デバイスとして用いることができる。さらには、音声入力装置を入力デバイスとして用いることもできる。これらは入力デバイス３５０の例として例示したものであり、入力デバイス３５０に用いることができる手段はこれらに限られない。また、上述したような手段を任意に組み合わせて入力デバイス３５０として使用してもよい。上記のような入力デバイス３５０を用いることにより、ユーザはディスプレイ３７０に表示されたＵＩ画面において、例えば、選択ボタンを選択したり、文字を入力したり、ロボット１００の環境センサ１６０によって撮影されたロボット１００の周囲環境の画像または動画中に含まれるオブジェクト、あるいは、ロボット１００の環境センサ１６０によって撮影されたロボット１００の周囲環境の画像または動画に基づいて生成された仮想空間（シミュレーション空間）の画像または動画中に含まれるオブジェクトを選択したりすることができる。As theinput device 350, for example, a keyboard, a mouse, a joystick, etc. can be used. Furthermore, it is possible to use a device called a tracker that can track the position and orientation by using infrared rays and has a trigger button. If thedisplay 370 includes a touch panel type display device, the touch panel can be used as an input device. Further, when thedisplay 370 is a head mounted display used as a display device such as VR (virtual reality)/AR (augmented reality) or MR (mixed reality), and has a user's eye gaze tracking function, The gaze tracking function can be used as an input device. Alternatively, even a device having a gaze tracking function but not a display can use the gaze tracking function as an input device. Furthermore, a voice input device can be used as an input device. These are illustrated as examples of theinput device 350, and means that can be used for theinput device 350 are not limited to these. Moreover, you may use it as theinput device 350 combining arbitrary means as mentioned above. By using theinput device 350 as described above, the user selects, for example, a selection button on the UI screen displayed on thedisplay 370, inputs a character, or the robot imaged by theenvironment sensor 160 of therobot 100. An object included in the image or moving image of the surrounding environment of 100, or an image of a virtual space (simulation space) generated based on the image or moving image of the surrounding environment of therobot 100 captured by theenvironment sensor 160 of therobot 100, or You can select objects included in the video.

　送受信ユニット３６０は、制御装置２００との間での信号・情報の送受信とを行う。上述したように、ユーザ操作ユニット３００は制御装置２００と有線接続または無線接続によって接続することが可能であり、したがってそれらの信号・情報の送受信は有線または無線によって行うことができる。その信号・情報の送受信に用いられる通信プロトコル及び周波数等は、システム１が用いられる用途や環境等に応じて適宜選択しうる。さらに、送受信ユニット３６０はインターネット等のネットワークに接続されていてもよい。The transmission/reception unit 360 transmits/receives signals/information to/from thecontrol device 200. As described above, theuser operation unit 300 can be connected to thecontrol device 200 by a wired connection or a wireless connection, and therefore, the transmission/reception of those signals/information can be performed by a wired or wireless connection. The communication protocol, frequency, etc. used for transmitting/receiving the signal/information can be appropriately selected according to the application, environment, etc. in which thesystem 1 is used. Further, the transmission/reception unit 360 may be connected to a network such as the Internet.

　ディスプレイ３７０には、ディスプレイ・モニター、コンピュータ・タブレット装置（タッチパネル式のディスプレイを備えたものを含む）、ＶＲ（仮想現実）・ＡＲ（拡張現実）あるいはＭＲ（複合現実）等の表示デバイスとして用いられるヘッドマウントディスプレイ、プロジェクター等の任意の形態の表示装置を用いることができる。Thedisplay 370 is used as a display monitor, a computer/tablet device (including a touch panel type display), a display device such as VR (virtual reality)/AR (augmented reality) or MR (mixed reality). A display device of any form such as a head mounted display or a projector can be used.

　特に、ディスプレイ３７０としてヘッドマウントディスプレイが用いられる場合、ヘッドマウントディスプレイがユーザの左右の眼にそれぞれ視差を持たせた画像または動画を提供することで、ユーザに三次元の画像または動画を知覚させることができる。さらに、ヘッドマウントディスプレイがモーション・トラッキング機能を備えている場合は、ヘッドマウントディスプレイを装着しているユーザの頭の位置、方向に応じた画像または動画を表示させることができる。さらには、上述したようにヘッドマウントディスプレイがユーザの視線追跡機能を備えている場合には、その視線追跡機能を入力デバイスとして用いることができる。In particular, when a head-mounted display is used as thedisplay 370, the head-mounted display provides an image or a moving image in which the left and right eyes of the user have parallax, thereby allowing the user to perceive a three-dimensional image or moving image. You can Further, when the head mounted display has a motion tracking function, it is possible to display an image or a moving image according to the position and direction of the head of the user wearing the head mounted display. Furthermore, as described above, when the head-mounted display has a user's line-of-sight tracking function, the line-of-sight tracking function can be used as an input device.

［第１の動作例］
　次に、図３～図５を参照し、本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する方法の第１の動作例として、単体のセグメントの孔にシャフト部材を挿入する動作を説明する。図３は、本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第１の動作を示すフローチャートである。図４Ａ及び図４Ｂは、本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第１の動作におけるハンドの動きを示す図である。図５は、セグメントの孔を探索するためのハンドによる種々の動作パターン例を示す図である。[First operation example]
Next, referring to FIGS. 3 to 5, as a first operation example of the method of inserting the shaft member into the hole of the segment according to the embodiment of the present invention, the operation of inserting the shaft member into the hole of the single segment Will be explained. FIG. 3 is a flowchart showing a first operation of inserting the shaft member into the hole of the segment according to the embodiment of the present invention. 4A and 4B are diagrams showing movement of the hand in the first operation of inserting the shaft member into the hole of the segment according to the embodiment of the present invention. FIG. 5 is a diagram showing various operation pattern examples of a hand for searching a hole of a segment.

　最初に、ユーザ操作ユニット３００（図２）のＵＩ画面を通じて、シャフト部材とそれを通すセグメントとを指定し、セグメントの孔にシャフト部材を通す旨の指示を行い、これを実行させる（図３のステップＳ３００）。セグメントの孔にシャフト部材を通す旨の指示は、例えば、ＵＩ画面でシャフト部材とそれを通すセグメントとを指定した後に、セグメントの孔にシャフト部材を通す旨の制御コマンドを同じくＵＩ画面を通じて生成することによって行うことが可能である。あるいは、制御装置２００によって、セグメント及びシャフト部材がオブジェクトとして認識されており、かつシャフト部材はセグメントの孔に挿入されるべきものであることが関連付けされている場合には、ユーザ操作ユニット３００（図２）のＵＩ画面でシャフト部材とそれを通すセグメントとを指定することにより、指定したシャフト部材を指定したセグメントの孔に通す旨の制御コマンドが生成され得る。そのように生成された制御コマンドはユーザ操作ユニット３００から制御装置２００へ送られる。制御装置２００のプロセッサ２２０は、その制御コマンドに従ってロボット１００の動作制御を実行する命令を生成し、その命令を実行する。First, through the UI screen of the user operation unit 300 (FIG. 2), the shaft member and the segment through which it is to be specified are designated, an instruction to pass the shaft member through the hole of the segment is given, and this is executed (see FIG. 3). Step S300). For the instruction to pass the shaft member through the hole of the segment, for example, after the shaft member and the segment to be passed through the UI screen are designated, a control command for passing the shaft member through the hole of the segment is generated through the UI screen. It can be done by Alternatively, if the segment and the shaft member are recognized as objects by thecontrol device 200 and it is associated that the shaft member is to be inserted into the hole of the segment, the user operation unit 300 (Fig. By designating the shaft member and the segment through which it is passed on the UI screen of 2), a control command for passing the designated shaft member through the hole of the designated segment can be generated. The control command thus generated is sent from theuser operation unit 300 to thecontrol device 200. Theprocessor 220 of thecontrol device 200 generates an instruction to execute the motion control of therobot 100 according to the control command, and executes the instruction.

　上記命令に従ってロボット１００の動作制御が開始されると、まず図４Ａ（ａ）に示すように、ハンド１２２ａでセグメント１０を把持して略垂直の姿勢となるように移動させ、ハンド１２２ｂの先端に接触するようにハンド１２２ｂに立て掛けてハンド１２２ｂでセグメント１０を支持し、ハンド１２２ａによるセグメントの把持を解除する（図３のステップＳ３１０）。セグメント１０が予めハンド１２２ｂで支持可能な姿勢である場合には、ハンド１２２ａでセグメント１０を把持して略垂直の姿勢となるように移動させる動作は省略できる。ハンド１２２ｂでセグメント１０を支持することは、セグメント１０が固定されず不安定な状態である場合に特に有効であるが、セグメント１０が固定されている場合に行ってもよい。例えば、セグメント１０が接着剤等で固定されている場合であっても、セグメント１０をハンド１２２ａで押すと接着部が剥がれてセグメント１０が動いてしまうことがある。そのようなことを防ぐため、固定されているセグメント１０についてもハンド１２２ｂでセグメント１０を支持することが好ましい。When the operation control of therobot 100 is started in accordance with the above command, first, as shown in FIG. 4A(a), thesegment 10 is grasped by thehand 122a and moved so as to be in a substantially vertical posture, and then the tip of thehand 122b is reached. The segment is supported by thehand 122b by leaning against thehand 122b so as to come into contact with it, and the grip of the segment by thehand 122a is released (step S310 in FIG. 3). When thesegment 10 has a posture that can be supported by thehand 122b in advance, the operation of gripping thesegment 10 with thehand 122a and moving it to a substantially vertical posture can be omitted. Supporting thesegment 10 with thehand 122b is particularly effective when thesegment 10 is not fixed and is in an unstable state, but may be performed when thesegment 10 is fixed. For example, even if thesegment 10 is fixed with an adhesive or the like, when thesegment 10 is pushed by thehand 122a, the adhesive portion may be peeled off and thesegment 10 may move. In order to prevent such a situation, it is preferable that the fixedsegment 10 is also supported by thehand 122b.

　ハンド１２２ａによるセグメント１０の把持は任意の態様で制御可能である。例えば、ロボット１００の環境センサ１６０で検出した実空間のセグメント１０の周囲縁付近を挟むように把持したり（図４Ａ（ａ）参照）、セグメント１０の孔にハンド１２２ａの２つの爪を挿入してそれらを離間させて孔の内面に当接させることで把持したり、ハンド１２２ａの一方の爪をセグメント１０の孔に挿入し、他方の爪をセグメント１０の外縁に接触させ、それらの爪でセグメント１０の孔の内面とセグメント１０の外縁とを挟むように把持したりすることが可能である。ハンド１２２ａによってセグメント１０をどのように把持するかは、実空間に置かれているセグメント１０の姿勢とそれに対するロボット１００の相対位置等に応じて、ユーザ操作ユニット３００でユーザが適宜選択することが可能であり、あるいは、制御装置２００を所定のアルゴリズムまたは機械学習の結果に応じて動作させることで適宜選択可能である。The gripping of thesegment 10 by thehand 122a can be controlled in any manner. For example, thesegment 10 in the real space detected by theenvironment sensor 160 of therobot 100 may be gripped so as to sandwich the periphery of the segment 10 (see FIG. 4A(a)), or the two claws of thehand 122a may be inserted into the holes of thesegment 10. And grip them by abutting them on the inner surface of the hole, or by inserting one claw of thehand 122a into the hole of thesegment 10 and bringing the other claw into contact with the outer edge of thesegment 10 with those claws. It is possible to grip the inner surface of the hole of thesegment 10 and the outer edge of thesegment 10 so as to sandwich them. How the user grasps thesegment 10 with thehand 122a can be appropriately selected by the user using theuser operation unit 300 according to the posture of thesegment 10 placed in the real space, the relative position of therobot 100 with respect to the posture, and the like. It is possible, or it can be appropriately selected by operating thecontrol device 200 according to a predetermined algorithm or the result of machine learning.

　次に、図４Ａ（ｂ）に示すように、ハンド１２２ａでシャフト部材１５を把持して、セグメント１０の孔に対する位置合わせを行う（図３のステップＳ３２０）。例えば、ハンド１２２ａはシャフト部材１５の一方の端部付近を把持することが好ましいが、ハンド１２２ａがシャフト部材１５のどの部分をどのような姿勢で把持するかは、ハンド１２２ａがシャフト部材１５をセグメント１０の孔に挿入する動作に支障がない限りにおいて任意に決定することが可能である。また、セグメント１０の孔に対するシャフト部材１５の位置合わせは、好ましくは、シャフト部材１５の長手方向の中心軸がセグメント１０の孔の中心軸と一致するようにハンド１２２ａ及びそのアーム１２０を動作させることで行う。セグメント１０及びシャフト部材１５の位置と姿勢はロボット１００の環境センサ１６０でモニタリングされ、制御装置２００のプロセッサ２２０は環境センサ１６０から送られる情報に基づいてアーム１２０及びハンド１２２ａの上記の動作制御を行う。Next, as shown in FIG. 4A(b), theshaft member 15 is gripped by thehand 122a to align the hole with the segment 10 (step S320 in FIG. 3). For example, thehand 122a preferably grips one end portion of theshaft member 15 in the vicinity thereof. However, thehand 122a grips theshaft member 15 depending on which part of theshaft member 15 is held and in which posture. It can be arbitrarily determined as long as it does not hinder the operation of inserting it into the hole of 10. Further, the alignment of theshaft member 15 with respect to the hole of thesegment 10 is preferably performed by operating thehand 122a and itsarm 120 so that the central axis of theshaft member 15 in the longitudinal direction coincides with the central axis of the hole of thesegment 10. Done in. The positions and orientations of thesegment 10 and theshaft member 15 are monitored by theenvironment sensor 160 of therobot 100, and theprocessor 220 of thecontrol device 200 controls the above-described operation of thearm 120 and thehand 122a based on the information sent from theenvironment sensor 160. ..

　続いて、シャフト部材１５を把持しているハンド１２２ａ及びアーム１２０を動作させて、シャフト部材１５の端部をセグメント１０の孔へ向けてシャフト部材１５をセグメント１０の方向へ移動させ、このとき、いずれかのハンド１２２ａ，１２２ｂに所定以上の反力が作用するか否かにより、シャフト部材１５がセグメント１０に接触したか否かを検出する（図３のステップＳ３３０）。Subsequently, thehand 122a holding theshaft member 15 and thearm 120 are operated to move theshaft member 15 toward thesegment 10 with the end portion of theshaft member 15 toward the hole of thesegment 10. At this time, Whether or not theshaft member 15 contacts thesegment 10 is detected by whether or not a reaction force of a predetermined amount or more acts on any of thehands 122a and 122b (step S330 in FIG. 3).

　所定以上の反力が検出された場合は、シャフト部材１５の端部がセグメント１０の孔に挿入されておらず、セグメント１０の孔の付近に接触していると判断する。このような状態が生じるのは、シャフト部材１５とセグメント１０の孔との位置合わせは上記のようにロボット１００の環境センサ１６０からの出力情報に基づいてアーム１２０及びハンド１２２ａを動作させることで実行されるため、環境センサ１６０からの出力に含まれる誤差やアーム１２０及びハンド１２２ａの動作時に生じる誤差などにより、システム１００で認識されているシャフト部材１５及びセグメント１０の孔の位置と、実空間でのシャフト部材１５及びセグメント１０の孔との位置との間に差異が生じうるためである。If a reaction force greater than a predetermined value is detected, it is determined that the end of theshaft member 15 is not inserted into the hole of thesegment 10 and is in contact with the vicinity of the hole of thesegment 10. Such a state occurs when theshaft member 15 and the hole of thesegment 10 are aligned by operating thearm 120 and thehand 122a based on the output information from theenvironment sensor 160 of therobot 100 as described above. Therefore, due to an error included in the output from theenvironment sensor 160, an error generated when thearm 120 and thehand 122a are operated, and the like, the position of the hole of theshaft member 15 and thesegment 10 recognized by thesystem 100 and the real space are recognized. This is because a difference may occur between the position of theshaft member 15 and the position of thesegment 10 in the hole.

　一方で、そのような反力が検出されることなく、シャフト部材１５をその長手方向に所定の距離（例えば、セグメント１０の厚さの３分の１位置の距離）以上移動させることができた場合には、シャフト部材１５の端部がセグメント１０の孔と一致していたために、シャフト部材１５をセグメント１０の孔に通すことができたものと判断する。この場合は、続けてセグメント１０の孔にシャフト部材１５を挿入する動作を行い（図３のステップＳ３６０）、シャフト部材１５をその長手方向にさらに所定の距離（少なくとも、シャフト部材１５の端部がセグメント１０の孔の反対側から突出する程度の距離）移動させてシャフト部材１５をセグメント１０の孔に通し（図４Ｂ（ｅ）参照）、セグメント１０の孔にシャフト部材１５を挿入する動作を終了する。On the other hand, it was possible to move theshaft member 15 in the longitudinal direction by a predetermined distance (for example, a distance of a third position of the thickness of the segment 10) or more without detecting such a reaction force. In this case, it is determined that theshaft member 15 could be passed through the hole of thesegment 10 because the end of theshaft member 15 was aligned with the hole of thesegment 10. In this case, the operation of inserting theshaft member 15 into the hole of thesegment 10 is continuously performed (step S360 in FIG. 3), and theshaft member 15 is further moved in the longitudinal direction by a predetermined distance (at least at the end of the shaft member 15). Theshaft member 15 is moved through the hole of the segment 10 (see FIG. 4B(e)) by moving thesegment member 10 so that theshaft member 15 is inserted into the hole of thesegment 10. To do.

　所定以上の反力が検出された場合は、図４Ｂ（ｃ）に示すように、セグメント１０の孔を探索する動作を行う（図３のステップＳ３４０）。この動作は、シャフト部材１５の端部をセグメント１０にいくらかの力で押し付けながら、シャフト部材１５の端部をセグメント１０の上で移動させるように、シャフト部材１５を把持しているハンド１２２ａ及びアーム１２０を動作させることを含む。セグメント１０上でのシャフト部材１５の端部の移動パターンとして、例えば、図５（ａ）のように渦巻きを描くような移動、図５（ｂ）のようなジグザグ並進移動、図５（ｃ）のように円を描きながら一定方向へ移動、図５（ｄ）のように楕円を描きながら回転移動、図５（ｅ）のように８の字を描くような移動などのパターンが可能である。これらの移動パターンは例示的に列挙するものであり、セグメント１０上でのシャフト部材１５の端部の移動パターンはこれらに限定されない。When a reaction force equal to or larger than a predetermined value is detected, an operation for searching the hole of thesegment 10 is performed as shown in FIG. 4B(c) (step S340 in FIG. 3). This action causes thehand 122a and arm holding theshaft member 15 to move the end of theshaft member 15 over thesegment 10 while pressing the end of theshaft member 15 against thesegment 10 with some force. Includingoperating 120. As the movement pattern of the end portion of theshaft member 15 on thesegment 10, for example, movement that draws a spiral as shown in FIG. 5A, zigzag translational movement as shown in FIG. 5B, and FIG. Patterns such as moving in a certain direction while drawing a circle as shown in Fig. 5, rotating while drawing an ellipse as shown in Fig. 5(d), and moving like drawing a figure 8 as in Fig. 5(e) are possible. .. These movement patterns are listed as examples, and the movement patterns of the ends of theshaft member 15 on thesegment 10 are not limited thereto.

　ハンド１２２ａでこのようにシャフト部材１５の端部をセグメント１０にいくらかの力で押し付けながらシャフト部材１５の端部をセグメント１０の上で移動させている間、セグメント１０の他方の面を支えている他方のハンド１２２ｂの位置との関係によっては、セグメント１０に対してモーメント力が作用してセグメント１０が動いてしまい、セグメント１０の孔の探索動作を継続できなくなるおそれがある。これを防ぐため、ハンド１２２ｂをハンド１２２ａによるシャフト部材１５の動きに同期して移動させることが好ましい。具体的には、ハンド１２２ｂをセグメント１０の他方の面に押し付けながら、ハンド１２２ａによるシャフト部材１５の移動に追従するように移動させる。ハンド１２２ａがシャフト部材１５をセグメント１０に押し付けている間、ハンド１２２ｂがそれに押されないように位置を保つように動作する場合、ハンド１２２ｂをセグメント１０に押し付ける力は、ハンド１２２ａがシャフト部材１５をセグメント１０に押し付ける力と同じとなる。このようにして、シャフト部材１５の先端の少なくとも一部がセグメント１０の他方の面を支持するハンド１２２ｂの作用領域内に位置し続けるようにハンド１２２ｂを移動させることで、セグメント１０にモーメントが生じることを防ぐことが可能である。ハンド１２２ｂの作用領域は、例えば、ハンド１２２ｂが２本指の構成である場合にはそれらの２本の指の間の領域であり、ハンド１２２ｂが３本指の構成である場合にはそれらの３本の指で形成される三角形の領域である。The other surface of thesegment 10 is supported while the end of theshaft member 15 is moved over thesegment 10 while thus pushing the end of theshaft member 15 against thesegment 10 with some force with thehand 122a. Depending on the relationship with the position of theother hand 122b, a moment force acts on thesegment 10 to move thesegment 10, and it may not be possible to continue the hole searching operation of thesegment 10. In order to prevent this, it is preferable to move thehand 122b in synchronization with the movement of theshaft member 15 by thehand 122a. Specifically, thehand 122b is pressed against the other surface of thesegment 10 and moved so as to follow the movement of theshaft member 15 by thehand 122a. If thehand 122b operates to hold the position against pushing against theshaft member 15 against thesegment 10 while thehand 122a presses theshaft member 15 against thesegment 10, the force pushing thehand 122b against thesegment 10 causes thehand 122a to press theshaft member 15 onto thesegment 10. It is the same as the force to push it on 10. In this manner, by moving thehand 122b so that at least a part of the tip of theshaft member 15 continues to be located in the working area of thehand 122b supporting the other surface of thesegment 10, a moment is generated in thesegment 10. It is possible to prevent that. The action area of thehand 122b is, for example, an area between two fingers when thehand 122b has a two-finger configuration, and those areas when thehand 122b has a three-finger configuration. It is a triangular area formed by three fingers.

　このようにシャフト部材１５をセグメント１０に押し付けながらセグメント１０の孔の探索を続け、シャフト部材１５の端部がセグメント１０の孔に到達すると、シャフト部材１５の端部がセグメント１０の孔にわずかながら入る（図４Ｂ（ｄ）参照）。このとき、シャフト部材１５を把持して移動させているハンド１２２ａには、例えば、セグメント１０に押し付けるシャフト部材１５に作用する反力やセグメント１０上で移動するシャフト部材１５に伝わる振動の変化、シャフト部材１５の長手方向への変位あるいは加速度が生じる。また、セグメント１０を支持しているハンド１２２ｂに作用する反力や振動の変化が生じる。これらの少なくとも１つをハンド１２２ａ，１２２ｂのセンサ（不図示）で検出することにより、シャフト部材１５の端部がセグメント１０の孔に入ったことを検出することができる（図３のステップＳ３５０）。さらには、シャフト部材１５の端部がセグメント１０の孔に入ったことは、環境センサ１６０により得られる視覚情報や聴覚情報等によっても検出することが可能である。In this manner, the search for the hole of thesegment 10 is continued while pressing theshaft member 15 against thesegment 10, and when the end of theshaft member 15 reaches the hole of thesegment 10, the end of theshaft member 15 slightly goes into the hole of thesegment 10. Enter (see FIG. 4B(d)). At this time, thehand 122a gripping and moving theshaft member 15 moves, for example, a reaction force acting on theshaft member 15 pressed against thesegment 10 or a change in vibration transmitted to theshaft member 15 moving on thesegment 10, a shaft Displacement or acceleration of themember 15 in the longitudinal direction occurs. Further, a reaction force acting on thehand 122b supporting thesegment 10 or a change in vibration occurs. By detecting at least one of these with a sensor (not shown) of thehands 122a and 122b, it is possible to detect that the end of theshaft member 15 has entered the hole of the segment 10 (step S350 in FIG. 3). .. Further, the fact that the end portion of theshaft member 15 has entered the hole of thesegment 10 can be detected also by visual information or auditory information obtained by theenvironment sensor 160.

　シャフト部材１５の端部がセグメント１０の孔に入ったことが検出された後、セグメント１０の孔にシャフト部材１５を挿入する動作を行い（図３のステップＳ３６０）、シャフト部材１５をその長手方向にさらに所定の距離（少なくとも、シャフト部材１５の端部がセグメント１０の孔の反対側から突出する程度の距離）移動させてシャフト部材１５をセグメント１０の孔に通し（図４Ｂ（ｅ）参照）、セグメント１０の孔にシャフト部材１５を挿入する動作を終了する。After it is detected that the end of theshaft member 15 has entered the hole of thesegment 10, the operation of inserting theshaft member 15 into the hole of thesegment 10 is performed (step S360 in FIG. 3), and theshaft member 15 is moved in its longitudinal direction. By a predetermined distance (at least the distance at which the end of theshaft member 15 projects from the opposite side of the hole of the segment 10) to pass theshaft member 15 through the hole of the segment 10 (see FIG. 4B(e)). The operation of inserting theshaft member 15 into the hole of thesegment 10 is completed.

　上記の動作により、固定されていないセグメント１０の孔に対してもシャフト部材１５を通すことができる。By the above operation, theshaft member 15 can be passed through the hole of thesegment 10 which is not fixed.

　なお、上記では１つのロボット１００に備えられた２つのアーム１２０及びハンド１２２を用いた動作を例に挙げて説明したが、上記動作を行う構成はこれに限られない。例えば、複数のロボット１００の一方のロボット１００の１つのアーム１２０及びハンド１２２と他方のロボット１００の１つのアーム１２０及びハンド１２２とを用いて上記の動作を行わせることも可能である。In the above description, the operation using the twoarms 120 and the hand 122 provided in onerobot 100 has been described as an example, but the configuration for performing the above operation is not limited to this. For example, the above-described operation can be performed using onearm 120 and the hand 122 of the onerobot 100 of the plurality ofrobots 100 and the onearm 120 and the hand 122 of theother robot 100.

［第２の動作例］
　次に、図６Ａ、図６Ｂ及び図７Ａ，図７Ｂを参照し、本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する方法の第２の動作例として、複数のセグメントの孔にボルトを挿入してナットで止める動作を説明する。図６Ａ及び図６Ｂは、本発明の一実施形態に係るセグメントの孔にシャフト部材を挿入する第２の動作を示すフローチャートである。図７Ａ及び図７Ｂは、本発明の一実施形態に係るセグメントの孔にボルトを挿入してナットで止める第２の動作におけるハンドの動きを示す図である。[Second operation example]
Next, referring to FIG. 6A, FIG. 6B, and FIG. 7A, FIG. 7B, as a second operation example of the method of inserting the shaft member into the hole of the segment according to the embodiment of the present invention, The operation of inserting the bolt and stopping with the nut will be described. 6A and 6B are flowcharts showing a second operation of inserting the shaft member into the hole of the segment according to the embodiment of the present invention. 7A and 7B are diagrams showing the movement of the hand in the second operation of inserting the bolt into the hole of the segment and stopping with the nut according to the embodiment of the present invention.

　最初に、ユーザ操作ユニット３００（図２）のＵＩ画面を通じて、ボルトと、それを通す複数のセグメント（本例では２つのセグメント）と、ボルトに締結するナットとを指定し、それらのセグメントの孔にボルトを通してナットで締結する旨の指示を行い、これを実行させる（図６ＡのステップＳ６００）。セグメントの孔にボルトを通してナットで締結する旨の指示は、例えば、ＵＩ画面でボルトとそれを通すセグメントとナットとを指定した後に、それらのセグメントの孔にボルトを通してナットで締結する旨の制御コマンドを同じくＵＩ画面を通じて生成することによって行うことが可能である。あるいは、制御装置２００によって、セグメント、ボルト及びナットがオブジェクトとして認識されており、かつボルトはセグメントの孔に挿入されるべきものであること、および、ナットはボルトに締結されるべきものであることが関連付けされている場合には、ユーザ操作ユニット３００（図２）のＵＩ画面でセグメント、ボルト及びナットを指定することにより、指定したセグメントの孔に指定したボルトを通して指定したナットでボルトを締結する旨の制御コマンドが生成され得る。この場合、例えば、「複数のセグメント」、「ボルト」、「ナット」の順に指定することで、「複数のセグメントの孔にボルトを通して、そのボルトにナットを締結せよ」を意味する制御コマンドを生成することも可能である。そのように生成された制御コマンドはユーザ操作ユニット３００から制御装置２００へ送られる。制御装置２００のプロセッサ２２０は、その制御コマンドに従ってロボット１００の動作制御を実行する命令を生成し、その命令を実行する。First, through the UI screen of the user operation unit 300 (FIG. 2), specify a bolt, a plurality of segments (two segments in this example) through which the bolt is passed, and a nut to be fastened to the bolt, and specify holes for those segments. Then, the bolt is instructed to be fastened with the nut, and this is executed (step S600 in FIG. 6A). The instruction to tighten with a nut through a hole in a segment is, for example, a control command to specify a bolt and a segment and a nut through which it is passed on a UI screen, and then through a bolt through the hole in the segment, with a nut. Is also generated through the UI screen. Alternatively, thecontroller 200 recognizes the segment, the bolt and the nut as objects, and the bolt should be inserted into the hole of the segment, and the nut should be fastened to the bolt. Is associated with the user operation unit 300 (FIG. 2), by designating the segment, bolt and nut on the UI screen, the bolt is tightened with the designated nut through the designated bolt through the hole of the designated segment. A control command to the effect may be generated. In this case, for example, by specifying "multiple segments", "bolts", and "nuts" in that order, a control command that means "pass the bolts through the holes of multiple segments and fasten the nuts to the bolts" is generated. It is also possible to do so. The control command thus generated is sent from theuser operation unit 300 to thecontrol device 200. Theprocessor 220 of thecontrol device 200 generates an instruction to execute the motion control of therobot 100 according to the control command, and executes the instruction.

　図７Ａ（ａ）を参照すると、上記命令に従ってロボット１００の動作制御が開始されると、ハンド１２２ａで第２のセグメント１０ｂを把持して略垂直の姿勢となるように移動させる。その動作の前、間、あるいは後に、ハンド１２２ｂがナット２０の外周を挟むようにしてナット２０を把持する。そして、ハンド１２２ａが把持している第２のセグメント１０ｂを、ハンド１２２ｂが把持しているナット２０に接触するように立て掛けて、ハンド１２２ｂで第２のセグメント１０ｂを支持する。続いて、ハンド１２２ａで第１のセグメント１０ａを把持して略垂直の姿勢となるように移動させ、第１のセグメント１０ａを第２のセグメント１０ｂに接触するように立て掛けて、第２のセグメント１０ｂで第１のセグメント１０ａを支持する。その後、ハンド１２２ａによる第１のセグメント１０ａの把持を解除する（図６ＡのステップＳ６０５）。セグメント１０ｂが予めハンド１２２ｂで支持可能な姿勢である場合にはハンド１２２ａでセグメント１０ｂを把持して略垂直の姿勢となるように移動させる動作は省略できること、ハンド１２２ｂで第２のセグメント１０ｂによるセグメント１０の支持をセグメント１０が固定されている場合に行ってもよいこと、および、ハンド１２２ａによるセグメント１０の把持が任意の態様で制御可能であることは、上記の第１の動作において説明した通りである。Referring to FIG. 7A(a), when the operation control of therobot 100 is started in accordance with the above command, thesecond segment 10b is grasped by thehand 122a and moved so as to be in a substantially vertical posture. Before, during, or after the operation, thehand 122b grips thenut 20 so as to sandwich the outer periphery of thenut 20. Then, thesecond segment 10b held by thehand 122a is leaned against thenut 20 held by thehand 122b so that thesecond segment 10b is supported by thehand 122b. Then, thefirst segment 10a is grasped by thehand 122a and moved so as to be in a substantially vertical posture, and thefirst segment 10a is leaned against thesecond segment 10b so as to be in contact with thesecond segment 10b. To support thefirst segment 10a. After that, the grip of thefirst segment 10a by thehand 122a is released (step S605 in FIG. 6A). When thesegment 10b has a posture that can be supported by thehand 122b in advance, the operation of gripping thesegment 10b with thehand 122a and moving it to a substantially vertical posture can be omitted. The fact that the support of thesegment 10 may be performed when thesegment 10 is fixed, and that the gripping of thesegment 10 by thehand 122a can be controlled in an arbitrary manner is as described in the first operation above. Is.

　次に、図７Ａ（ｂ）に示すように、ハンド１２２でボルト３０のヘッド部分を把持して、第１のセグメント１０ａの孔に対する位置合わせを行う（図６ＡのステップＳ６１０）。ハンド１２２ａがボルト３０のヘッド部分をどのような姿勢で把持するかは、ハンド１２２ａがボルト３０のシャフト部分をセグメント１０の孔に挿入し、かつボルト３０を回転させる動作に支障がない限りにおいて任意に決定することが可能である。また、セグメント１０の孔に対するボルト３０のシャフト部分の位置合わせは、好ましくは、ボルト３０の長手方向の中心軸が第１のセグメント１０ａの孔の中心軸と一致するように一方のアーム１２０及びハンド１２２ａを動作させることで行う。セグメント１０及びボルト３０の位置と姿勢はロボット１００の環境センサ１６０でモニタリングされ、制御装置２００のプロセッサ２２０は環境センサ１６０から送られる情報に基づいてアーム１２０及びハンド１２２の上記の動作制御を行う。Next, as shown in FIG. 7A(b), the head portion of thebolt 30 is gripped by the hand 122 to align thefirst segment 10a with the hole (step S610 in FIG. 6A). The posture in which thehand 122a grips the head portion of thebolt 30 is arbitrary as long as thehand 122a does not interfere with the operation of inserting the shaft portion of thebolt 30 into the hole of thesegment 10 and rotating thebolt 30. It is possible to decide. Further, the alignment of the shaft portion of thebolt 30 with respect to the hole of thesegment 10 is preferably performed so that the central axis of thebolt 30 in the longitudinal direction coincides with the central axis of the hole of thefirst segment 10a. This is performed by operating 122a. The position and orientation of thesegment 10 and thebolt 30 are monitored by theenvironment sensor 160 of therobot 100, and theprocessor 220 of thecontrol device 200 controls the above-described operation of thearm 120 and the hand 122 based on the information sent from theenvironment sensor 160.

　続いて、ボルト３０を把持しているハンド１２２ａ及びそのアーム１２０を動作させて、ボルト３０の端部を第１のセグメント１０ａの孔へ向けてボルト３０を第１のセグメント１０ａの方向へ移動させ、このとき、いずれかのハンド１２２ａ，１２２ｂに所定以上の反力が作用するか否かにより、ボルト３０が第１のセグメント１０ａに接触したか否かを検出する（図６ＡのステップＳ６１５）。Then, thehand 122a holding thebolt 30 and itsarm 120 are operated to move thebolt 30 toward thefirst segment 10a so that the end of thebolt 30 is directed toward the hole of thefirst segment 10a. At this time, it is detected whether or not thebolt 30 comes into contact with thefirst segment 10a depending on whether or not a reaction force of a predetermined amount or more acts on one of thehands 122a and 122b (step S615 in FIG. 6A).

　所定以上の反力が検出された場合は、ボルト３０の端部が第１のセグメント１０ａの孔に挿入されておらず、セグメント１０ａの孔の付近に接触していると判断する。このような状態が生じるのは、ボルト３０とセグメント１０ａの孔との位置合わせが上記のようにロボット１００の環境センサ１６０からの出力情報に基づいてアーム１２２及びハンド１２２ａを動作させることで実行されるため、環境センサ１６０からの出力に含まれる誤差やアーム１２２及びハンド１２２ａの動作時に生じる誤差などにより、システム１００内で認識されているボルト３０及びセグメント１０ａの孔の位置と、実空間でのボルト３０及びセグメント１０ａの孔の位置との間に差異が生じうるためである。If a reaction force above a predetermined level is detected, it is determined that the end of thebolt 30 is not inserted into the hole of thefirst segment 10a and is in contact with the vicinity of the hole of thesegment 10a. The occurrence of such a state is performed by aligning thebolt 30 with the hole of thesegment 10a by operating the arm 122 and thehand 122a based on the output information from theenvironment sensor 160 of therobot 100 as described above. Therefore, the positions of the holes of thebolts 30 and thesegments 10a recognized in thesystem 100 and the positions in the real space are recognized in thesystem 100 due to an error included in the output from theenvironment sensor 160 and an error that occurs when the arm 122 and thehand 122a operate. This is because a difference may occur between thebolt 30 and the position of the hole of thesegment 10a.

　一方で、そのような反力が検出されることなく、ボルト３０をその長手方向に所定の距離（例えば、セグメント１０ａの厚さの３分の１位置の距離）以上移動させることができた場合には、ボルト３０の端部が第１のセグメント１０ａの孔と一致していたために、ボルト３０のシャフト部分を第１のセグメント１０ａの孔に通すことができたものと判断する。この場合は、ボルト３０をその長手方向にさらに移動させて、第１のセグメント１０ａの孔にボルトを挿入する動作を行う（図６ＡのステップＳ６３０）。On the other hand, when such a reaction force is not detected, thebolt 30 can be moved in the longitudinal direction by a predetermined distance (for example, a distance at a position of a third of the thickness of thesegment 10a) or more. It is determined that the shaft portion of thebolt 30 could be passed through the hole of thefirst segment 10a because the end of thebolt 30 was aligned with the hole of thefirst segment 10a. In this case, thebolt 30 is further moved in the longitudinal direction to insert the bolt into the hole of thefirst segment 10a (step S630 in FIG. 6A).

　所定以上の反力が検出された場合は、図７Ａ（ｃ）に示すように、第１のセグメント１０ａの孔を探索する動作を行う（図６ＡのステップＳ６２０）。この動作は、ボルト３０の端部を第１のセグメント１０ａにいくらかの力で押し付けながら、ボルト３０の端部を第１のセグメント１０ａの上で移動させるように、ボルト３０を把持しているハンド１２２ａ及びそのアーム１２０を動作させることを含む。本例においても、セグメント１０ａ上でのボルト端部の移動パターンとして、例えば図５に示すような種々のパターンを用いることができる。When a reaction force equal to or more than a predetermined value is detected, an operation for searching the hole of thefirst segment 10a is performed as shown in FIG. 7A(c) (step S620 in FIG. 6A). This action involves holding thebolt 30 so that the end of thebolt 30 is moved over thefirst segment 10a while pressing the end of thebolt 30 against thefirst segment 10a with some force. 122a and itsarm 120. Also in this example, as the movement pattern of the bolt end portion on thesegment 10a, various patterns as shown in FIG. 5, for example, can be used.

　本例においても、ハンド１２２ａでこのようにボルト３０の端部を第１のセグメント１０ａにいくらかの力で押し付けながらボルト３０の端部を第１のセグメント１０ａの上で移動させている間、セグメント１０の他方の面を支えているハンド１２２ｂの位置との関係によっては、セグメント１０に対してモーメント力が作用してセグメント１０ａ，１０ｂが動いてしまい、第１のセグメント１０ａの孔の探索動作を継続できなくなるおそれがある。これを防ぐため、ハンド１２２ｂをハンド１２２ａによるボルト３０の動きに同期して移動させることが好ましい。具体的には、ハンド１２２ｂを第２のセグメント１０ｂに押し付けながら、ハンド１２２ｂによるボルト３０の移動に追従するように移動させる。ハンド１２２ａがボルト３０の端部を第１のセグメント１０ａに押し付けている間、ハンド１２２ｂがそれに押されないように位置を保つように動作する場合、ハンド１２２ｂを第２のセグメント１０ｂに押し付ける力は、ハンド１２２ａがボルト３０を第１のセグメント１０ａに押し付ける力と同じとなる。このようにしてボルト３０の先端の少なくとも一部が他方のハンド１２２ｂの作用領域内に位置し続けるようにハンド１２２ｂを移動させることで、セグメント１０ａ，１０ｂにモーメントが生じることを防ぐことが可能である。本例ではハンド１２２ｂが把持するナット２０を介してセグメント１０を支持しているため、ハンド１２２ｂの作用領域はハンド１２２ｂが把持しているナット２０の外周で囲まれる領域である。Also in this example, while moving the end of thebolt 30 over thefirst segment 10a while pressing the end of thebolt 30 against thefirst segment 10a with some force with thehand 122a, the segment Depending on the relationship with the position of thehand 122b supporting the other surface of 10, the moment force acts on thesegment 10 to cause thesegments 10a and 10b to move, and the search operation of the hole of thefirst segment 10a may be performed. It may not be possible to continue. In order to prevent this, it is preferable to move thehand 122b in synchronization with the movement of thebolt 30 by thehand 122a. Specifically, thehand 122b is pressed against thesecond segment 10b and moved so as to follow the movement of thebolt 30 by thehand 122b. If thehand 122a operates to hold the position of the bolt 122 against the end of thebolt 30 against thefirst segment 10a, the force pressing thehand 122b against thesecond segment 10b is: Thehand 122a has the same force as pressing thebolt 30 against thefirst segment 10a. In this way, by moving thehand 122b so that at least a part of the tip of thebolt 30 continues to be located in the operation area of theother hand 122b, it is possible to prevent a moment from being generated in thesegments 10a and 10b. is there. In this example, since thesegment 10 is supported via thenut 20 gripped by thehand 122b, the operation area of thehand 122b is an area surrounded by the outer circumference of thenut 20 gripped by thehand 122b.

　このようにボルト３０を第１のセグメント１０ａに押し付けながらセグメント１０ａの孔の探索を続け、ボルト３０の端部が第１のセグメント１０ａの孔に到達すると、ボルト３０の端部がセグメント１０ａの孔にわずかながら入る（図７Ａ（ｄ）参照）。このとき、ボルト３０を把持して移動させているハンド１２２ａには、例えば、セグメント１０に押し付けるボルト３０に作用する反力やセグメント１０上で移動するボルト３０に伝わる振動の変化、ボルト３０の長手方向への変位あるいは加速度が生じる。また、セグメント１０を支持しているハンド１２２ｂに作用する反力や上記の振動の変化が生じる。これらの少なくとも１つをいずれかのハンド１２２ａ，１２２ｂのセンサ（不図示）で検出することにより、シャフト部材１５の端部がセグメント１０の孔に入ったことを検出することができる（図６のステップＳ６２５）。さらには、ボルト２０の端部がセグメント１０の孔に入ったことは、環境センサ１６０により得られる視覚情報や聴覚情報等によっても検出することが可能である。In this way, thebolt 30 is pressed against thefirst segment 10a and the search for the hole of thesegment 10a is continued. When the end of thebolt 30 reaches the hole of thefirst segment 10a, the end of thebolt 30 reaches the hole of thesegment 10a. A little (see FIG. 7A(d)). At this time, in thehand 122a that holds and moves thebolt 30, for example, a reaction force acting on thebolt 30 that is pressed against thesegment 10, a change in vibration transmitted to thebolt 30 that moves on thesegment 10, and a length of thebolt 30. Directional displacement or acceleration occurs. Further, the reaction force acting on thehand 122b supporting thesegment 10 and the above-described change in vibration occur. By detecting at least one of these with a sensor (not shown) of one of thehands 122a and 122b, it is possible to detect that the end of theshaft member 15 has entered the hole of the segment 10 (see FIG. 6). Step S625). Further, the fact that the end portion of thebolt 20 has entered the hole of thesegment 10 can be detected also by visual information or auditory information obtained by theenvironment sensor 160.

　ボルト３０の端部が第１のセグメント１０ａの孔に入ったことが検出された後、ボルト３０を長手方向に移動させて、第１のセグメント１０ａの孔にボルト３０のシャフト部分を挿入する動作を行う（図６ＡのステップＳ６３０）。上記動作により、第１のセグメント１０ａの孔へのボルト３０の挿入が行われる。第１のセグメント１０ａの孔にボルト３０が挿入されたどうかは、ボルト３０を長手方向に第１のセグメント１０ａの厚さの分だけ移動できたか否かを検出することで判断できる。Operation of moving thebolt 30 in the longitudinal direction to insert the shaft portion of thebolt 30 into the hole of thefirst segment 10a after it is detected that the end of thebolt 30 has entered the hole of thefirst segment 10a. Is performed (step S630 of FIG. 6A). By the above operation, thebolt 30 is inserted into the hole of thefirst segment 10a. Whether or not thebolt 30 is inserted into the hole of thefirst segment 10a can be determined by detecting whether or not thebolt 30 can be moved in the longitudinal direction by the thickness of thefirst segment 10a.

　第１のセグメント１０ａの孔にボルト３０が挿入されたことが検出された場合、ボルト３０を長手方向に移動させる動作を継続する。このとき、いずれかのハンド１２２ａ，１２２ｂに所定以上の反力が作用するか否かにより、ボルト３０が第２のセグメント１０ｂに接触したか否かを検出する（図６ＢのステップＳ６３５）。When it is detected that thebolt 30 is inserted into the hole of thefirst segment 10a, the operation of moving thebolt 30 in the longitudinal direction is continued. At this time, it is detected whether or not thebolt 30 has come into contact with thesecond segment 10b depending on whether or not a reaction force of a predetermined amount or more acts on one of thehands 122a and 122b (step S635 in FIG. 6B).

　所定以上の反力が検出されることなく、ボルト３０をその長手方向に所定の距離（例えば、第２のセグメント１０ｂの厚さの３分の１位置の距離）以上移動させることができた場合には、ボルト３０の端部が第２のセグメント１０ｂの孔と一致していたために、ボルト３０のシャフト部分を第２のセグメント１０ｂの孔に通すことができたものと判断する。この場合は、ボルト３０をその長手方向に沿ってさらに移動させて、第２のセグメント１０ｂの孔にボルトを挿入する動作を行う（図６ＢのステップＳ６５０）。In the case where thebolt 30 can be moved in the longitudinal direction by a predetermined distance (for example, a distance at a position of ⅓ of the thickness of thesecond segment 10b) or more without detecting a reaction force of a predetermined amount or more. It is judged that the shaft portion of thebolt 30 could be passed through the hole of thesecond segment 10b because the end of thebolt 30 was aligned with the hole of thesecond segment 10b. In this case, thebolt 30 is further moved along the longitudinal direction to insert the bolt into the hole of thesecond segment 10b (step S650 in FIG. 6B).

　所定以上の反力が検出された場合は、ボルト３０の端部が第２のセグメント１０ｂの孔に挿入されておらず、セグメントの孔の付近に接触していると判断する。この場合は、上述したステップＳ６２０、ステップＳ６２５、ステップＳ６３０と同様の動作を繰り返し、ボルト３０を第２のセグメント１０ｂの孔に挿入する（図６ＢのステップＳ６４０、ステップＳ６４５、ステップＳ６５０；（図７Ｂ（ｅ）及び図７Ｂ（ｆ）参照））。なお、ボルト３０が第１のセグメント１０ａの孔を通っていれば、ステップＳ６４０で第２のセグメント１０ｂの孔を探索する動作の際に第１のセグメント１０ａもボルト３０と一緒に移動するため、その間にハンド１２２ａに加わる負荷は第１のセグメント１０ａの質量の分だけ増えることとなる。そのため、ステップＳ６４０の動作においてハンド１２２ａに加わる負荷が増えたかどうかを検出することによっても、ボルト３０が第１のセグメント１０ａの孔を通っているかどうかを判断することができる。上記動作により、第２のセグメント１０ｂの孔へのボルト３０の挿入が行われる。第２のセグメント１０ｂの孔にボルト３０が挿入されたどうかは、ボルト３０を長手方向に第２のセグメント１０ｂの厚さの分だけ移動できたか否かを検出することで判断できる。If a reaction force of a predetermined amount or more is detected, it is determined that the end of thebolt 30 is not inserted in the hole of thesecond segment 10b and is in contact with the vicinity of the hole of the segment. In this case, the same operations as those in steps S620, S625, and S630 described above are repeated, and thebolt 30 is inserted into the hole of thesecond segment 10b (steps S640, S645, and S650 in FIG. 6B; (E) and FIG. 7B(f))). If thebolt 30 passes through the hole of thefirst segment 10a, thefirst segment 10a also moves together with thebolt 30 during the operation of searching for the hole of thesecond segment 10b in step S640. During that time, the load applied to thehand 122a is increased by the amount of the mass of thefirst segment 10a. Therefore, it is possible to determine whether or not thebolt 30 passes through the hole of thefirst segment 10a by detecting whether or not the load applied to thehand 122a has increased in the operation of step S640. By the above operation, thebolt 30 is inserted into the hole of thesecond segment 10b. Whether or not thebolt 30 is inserted into the hole of thesecond segment 10b can be determined by detecting whether or not thebolt 30 can be moved in the longitudinal direction by the thickness of thesecond segment 10b.

　ボルト３０を把持しているアーム１２０及びハンド１２２を動作させて、ボルト３０とナット２０とが接触していずれかのハンド１２２ａ，１２２ｂに所定以上の反力が作用するまでボルト３０を長手方向に移動させる動作を継続し、ボルト３０とナット２０とが接触いて所定以上の反力が検出された後（図６ＢのステップＳ６５５）、ボルト３０を把持しているアーム１２０及びハンド１２２ａを動作させ、ボルト３０をその長手方向に対して垂直な任意の方向へ移動させることができるかどうかを判定する（図６ＢのステップＳ６６０）。Thearm 120 and the hand 122 holding thebolt 30 are operated to move thebolt 30 in the longitudinal direction until thebolt 30 and thenut 20 come into contact with each other and a reaction force of a predetermined amount or more acts on one of thehands 122a and 122b. The operation of continuing the movement is continued, and after thebolt 30 and thenut 20 come into contact with each other and a reaction force of a predetermined value or more is detected (step S655 in FIG. 6B), thearm 120 and thehand 122a holding thebolt 30 are operated, It is determined whether or not thebolt 30 can be moved in an arbitrary direction perpendicular to its longitudinal direction (step S660 in FIG. 6B).

　ナット２０を把持したハンド１２２ｂは上述したようにボルト３０の動きに追従するように移動し、ボルト３０の端部の少なくとも一部はナット２０の外周縁よりも内側に位置している。そのため、所定以上の反力が検出されたとき、ボルト３０の先端はナット２０の縁に当接しているか、あるいは、ナット２０のねじ穴に入っている。ボルト３０の先端がナット２０のねじ穴に入っている場合にはボルト３０の端部をナットの上で移動させることはできないので、ステップＳ６６０においてボルト３０の移動ができないと判定された場合は、ボルト３０の先端がナット２０のねじ穴に入っていると判断することができるので、この場合にはボルト３０とナット２０とを締結する動作に移行する（図６ＢのステップＳ６７５）。Thehand 122b gripping thenut 20 moves so as to follow the movement of thebolt 30 as described above, and at least a part of the end of thebolt 30 is located inside the outer peripheral edge of thenut 20. Therefore, when a reaction force of a predetermined amount or more is detected, the tip of thebolt 30 is in contact with the edge of thenut 20 or is in the screw hole of thenut 20. When the tip of thebolt 30 is in the threaded hole of thenut 20, the end of thebolt 30 cannot be moved on the nut. Therefore, if it is determined in step S660 that thebolt 30 cannot be moved, Since it can be determined that the tip of thebolt 30 is in the screw hole of thenut 20, in this case, the operation shifts to the operation of fastening thebolt 30 and the nut 20 (step S675 in FIG. 6B).

　一方、ボルト３０の移動ができると判定された場合は、図７Ｂ（ｇ）に示すように、ナット２０のねじ穴を探索する動作を行う（図６ＢのステップＳ６６５）。この動作は、ボルト３０の端部をナット２０にいくらかの力で押し付けながら、ボルト３０の端部をナット２０の上で移動させるように、ボルト３０を把持しているハンド１２２ａ及びアーム１２０を動作させること、あるいは、ナット２０をボルト３０の端部にいくらかの力で押し付けながら、ナット２０をボルト３０の端部の上で移動させるように、ナット２０を把持しているハンド１２２ｂ及びアーム１２０を動作させることを含む。本例においても、ナット２０上でのボルト端部の移動パターンとして例えば図５に示すような種々のパターンを用いることができる。On the other hand, when it is determined that thebolt 30 can be moved, as shown in FIG. 7B(g), the operation of searching the screw hole of thenut 20 is performed (step S665 in FIG. 6B). This action operates thehand 122a and thearm 120 holding thebolt 30 such that the end of thebolt 30 is moved over thenut 20 while pressing the end of thebolt 30 against thenut 20 with some force. Alternatively, thehand 122b and thearm 120 holding thenut 20 are moved so that thenut 20 is moved over the end of thebolt 30 while pressing thenut 20 against the end of thebolt 30 with some force. Including operating. Also in this example, various patterns as shown in FIG. 5 can be used as the movement pattern of the bolt end portion on thenut 20.

　このようにナット２０のねじ穴の探索を続け、ボルト３０の端部がナット２０のねじ穴に到達すると、ボルト３０の端部がナット２０のねじ穴にわずかながら入る。このとき、ボルト３０を把持して移動させているハンド１２２ａには、例えば、セグメント１０に押し付けるボルト３０に作用する反力やセグメント１０上で移動するボルト３０に伝わる振動の変化、ボルト３０の長手方向への変位あるいは加速度が生じる。また、セグメント１０を支持しているハンド１２２ｂに作用する反力や上記の振動の変化が生じる。これらの少なくとも１つをハンド１２２ａ，１２２ｂのセンサ（不図示）で検出することにより、シャフト部材１５の端部がセグメント１０の孔に入ったことを検出することができる（図６のステップＳ６７０）。さらには、ボルト２０の端部がセグメント１０の孔に入ったことは、環境センサ１６０により得られる視覚情報や聴覚情報等によっても検出することが可能である。In this way, the search for the screw hole of thenut 20 is continued, and when the end of thebolt 30 reaches the screw hole of thenut 20, the end of thebolt 30 slightly enters the screw hole of thenut 20. At this time, in thehand 122a that holds and moves thebolt 30, for example, a reaction force acting on thebolt 30 that is pressed against thesegment 10, a change in vibration transmitted to thebolt 30 that moves on thesegment 10, and a length of thebolt 30. Directional displacement or acceleration occurs. Further, the reaction force acting on thehand 122b supporting thesegment 10 and the above-described change in vibration occur. By detecting at least one of these with a sensor (not shown) of thehands 122a and 122b, it is possible to detect that the end of theshaft member 15 has entered the hole of the segment 10 (step S670 in FIG. 6). .. Further, the fact that the end portion of thebolt 20 has entered the hole of thesegment 10 can be detected also by visual information or auditory information obtained by theenvironment sensor 160.

　ボルト３０の端部がナット２０のねじ穴に入ったことが検出された後、ボルト３０を把持しているハンド１２２ａおよびナット２０を把持しているハンド１２２ｂの少なくとも一方によってボルト３０及びナット２０の少なくとも一方を回転させ、ボルト３０をナット２０のねじ穴にねじ込む動作を行い、ボルト３０とナット２０で２つのセグメント１０ａ，１０ｂを締結し（図６のステップＳ６７５；図７Ｂ（ｈ））、動作を終了する。
　上記の動作により、固定されていない複数のセグメント１０ａ，１０ｂの孔に対してボルト２０を通してナット３０で固定することができる。After it is detected that the end portion of thebolt 30 has entered the screw hole of thenut 20, at least one of thehand 122a holding thebolt 30 and thehand 122b holding thenut 20 detects thebolt 30 and thenut 20. At least one of them is rotated and thebolt 30 is screwed into the screw hole of thenut 20 to fasten the twosegments 10a and 10b with thebolt 30 and the nut 20 (step S675 of FIG. 6; FIG. 7B(h)), and the operation. To finish.
With the above operation, thebolts 20 can be passed through the holes of the plurality ofunfixed segments 10a and 10b to be fixed with the nuts 30.

　なお、上記では１つのロボット１００に備えられた２つのアーム１２０及びハンド１２２を用いた動作を例に挙げて説明したが、上記動作を行う構成はこれに限られない。例えば、複数のロボット１００の一方のロボット１００の１つのアーム１２０及びハンド１２２と他方のロボット１００の１つのアーム１２０及びハンド１２２とを用いて上記の動作を行わせることも可能である。In the above description, the operation using the twoarms 120 and the hand 122 provided in onerobot 100 has been described as an example, but the configuration for performing the above operation is not limited to this. For example, the above-described operation can be performed using onearm 120 and the hand 122 of the onerobot 100 of the plurality ofrobots 100 and the onearm 120 and the hand 122 of theother robot 100.

　また、上記では２つのセグメントの孔にボルトを通す例について説明したが、セグメントの数は２つに限られない。セグメントの数が１つの場合には、図６Ａに示したステップＳ６００においてセグメントを１つのみ指定し、ステップＳ６１０においてそのセグメントのみを移動させ、ステップＳ６３５～Ｓ６５０を省略する。また、セグメントの数がｎ（ｎは３以上）の場合には、図６Ａに示したステップＳ６００においてそれらの全てのセグメントを指定し、ステップＳ６１０においてそれらのセグメントを第ｎ，第ｎ－１，…，第２，第１の順に移動させて順次立てかけ、ステップＳ６３５～Ｓ６５０をセグメントの数に応じて必要な回数だけ繰り返す。Also, in the above, an example of passing bolts through the holes of two segments was explained, but the number of segments is not limited to two. When the number of segments is one, only one segment is designated in step S600 shown in FIG. 6A, only that segment is moved in step S610, and steps S635 to S650 are omitted. If the number of segments is n (n is 3 or more), all of those segments are designated in step S600 shown in FIG. 6A, and those segments are designated as the nth, n−1th, and nth segments in step S610. ..., the second and first positions are sequentially moved to lean against each other, and steps S635 to S650 are repeated as many times as necessary according to the number of segments.

　また、上記ではボルト３０をセグメント１０の孔に挿入する動作の前にハンド１２２ｂでナット２０を把持し、ハンド１２２ｂがそのナット２０を介してセグメント１０を支持する例を説明したが、ハンド１２２ｂでナット２０を把持する動作はボルト３０をセグメント１０の孔に挿入する動作の後に行ってもよい。この場合、ステップＳ６０５では、ハンド１２２ｂによるナット２０の把持は行われず、したがって、ナット２０を介してではなくハンド１２２ｂの先端で第２のセグメント１０ｂを支持する。その代わりに、ステップ６５０で全てのセグメント１０の孔にボルト３０を挿入させた後に、ハンド１２２ｂでナット２０を把持して、いずれかのハンド１２２ａ，１２２ｂに所定以上の反力が作用するまで、全てのセグメント１０の孔に通されているボルト３０の先端に向けて移動させる。そして、所定以上の反力が検出された後（図６ＢのステップＳ６５５）は、上記と同様にステップＳ６００～Ｓ６７５の動作を行う。Further, in the above, the example in which thehand 122b grips thenut 20 and thehand 122b supports thesegment 10 through thenut 20 before the operation of inserting thebolt 30 into the hole of thesegment 10 has been described. The operation of gripping thenut 20 may be performed after the operation of inserting thebolt 30 into the hole of thesegment 10. In this case, in step S605, the gripping of thenut 20 by thehand 122b is not performed, and therefore, thesecond segment 10b is supported not by the hand of thenut 20 but by the tip of thehand 122b. Instead, after thebolts 30 are inserted into the holes of all thesegments 10 in step 650, the nuts 20 are gripped by thehand 122b until a reaction force of a predetermined amount or more acts on one of thehands 122a and 122b. Thebolt 30 is moved toward the tip of thebolt 30 that is passed through the holes of all thesegments 10. Then, after a reaction force equal to or larger than a predetermined value is detected (step S655 of FIG. 6B), the operations of steps S600 to S675 are performed in the same manner as above.

　以上、発明の実施形態を通じて本発明を説明したが、上述の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、本発明の実施形態の中で説明されている特徴を組み合わせた形態も本発明の技術的範囲に含まれ得る。さらに、上述の実施形態に、多様な変更または改良を加えることが可能であることも当業者に明らかである。The present invention has been described above through the embodiments of the invention, but the above-described embodiments do not limit the invention according to the claims. Further, a form in which the features described in the embodiments of the present invention are combined may be included in the technical scope of the present invention. Further, it will be apparent to those skilled in the art that various modifications and improvements can be added to the above-described embodiment.

Claims (15)

Translated fromJapanese

　セグメントの孔にシャフト部材を挿入するように、各々がエンドエフェクタを有する少なくとも２つのロボットアームを制御する制御装置であって、
　一方の前記エンドエフェクタで前記セグメントを支持する動作ａと、
　他方の前記エンドエフェクタで前記シャフト部材を把持する動作ｂと、
　前記シャフト部材の端部を前記セグメントの前記孔に向けて、前記シャフト部材を前記セグメントの方向へ移動させる動作ｃと、
　前記シャフト部材が前記セグメントに接触したことが検出された場合に、前記シャフト部材の前記端部を前記セグメントに押し当てながら前記シャフト部材の前記端部を前記セグメントの上で移動させる動作ｄと、
　前記シャフト部材の前記端部が前記セグメントの孔に入ったことが検出された場合に、前記シャフト部材を前記セグメントの前記孔に挿入する動作ｅと、
を実行するように構成されたプロセッサを備えている制御装置。A controller for controlling at least two robot arms each having an end effector for inserting a shaft member into a hole in a segment, the controller comprising:
An operation a of supporting the segment by one of the end effectors,
An operation b of gripping the shaft member by the other end effector,
An operation c of moving the shaft member in the direction of the segment, with the end portion of the shaft member facing the hole of the segment;
An act d of moving the end of the shaft member over the segment while pressing the end of the shaft member against the segment when it is detected that the shaft member contacts the segment;
An operation e of inserting the shaft member into the hole of the segment when it is detected that the end portion of the shaft member has entered the hole of the segment;
A controller comprising a processor configured to perform.　前記動作ａは、前記他方のエンドエフェクタで前記セグメントを把持して移動させて前記一方のエンドエフェクタに前記セグメントを支持させた後に、前記他方のエンドエフェクタによる前記セグメントの把持を解除することを含む、請求項１に記載の制御装置。The operation a includes grasping and moving the segment by the other end effector to cause the one end effector to support the segment, and then releasing the grasping of the segment by the other end effector. The control device according to claim 1.　前記動作ｄにおいて、前記シャフト部材の前記端部が前記一方のエンドエフェクタの作用領域内に位置し続けるように、前記一方のエンドエフェクタを前記シャフト部材の前記端部の動きに追従させて前記セグメントの上で移動させる、請求項１に記載の制御装置。In the operation d, the one end effector is made to follow the movement of the end portion of the shaft member so that the end portion of the shaft member continues to be located in the action region of the one end effector. The control device according to claim 1, wherein the control device is moved on the above.　前記セグメントは第１～第ｎの複数の前記セグメントを含み、
　前記動作ａにおいて、前記一方のエンドエフェクタで第ｎの前記セグメントを支持し、次に第ｎの前記セグメントで第ｎ－１の前記セグメントを支持し、これを第２の前記セグメントで第１の前記セグメントを支持するまで繰り返し、
　前記動作ｃ～ｅを前記第１のセグメントから前記第ｎのセグメントのそれぞれに対して繰り返し行うことを含む、請求項１に記載の制御装置。The segment includes a plurality of the first to nth segments,
In the operation a, the one end effector supports the nth segment, then the nth segment supports the (n-1)th segment, and the second end segment supports the nth segment. Repeat until supporting the segment,
The control device according to claim 1, comprising repeating the operations c to e for each of the first segment to the nth segment.　前記シャフト部材はボルトであり、
　前記動作ａは、前記他方のエンドエフェクタでナットを把持し、前記他方のエンドエフェクタで前記セグメントを前記ナットを介して支持することを含み、
　前記プロセッサは、前記動作ｅの後に、
　前記ボルトの端部を前記ナットのねじ穴に向けて、前記ボルトを前記ナットの方向へ移動させる動作ｆと、
　前記ボルトと前記ナットとが接触したことが検出された場合に、前記ボルトの前記端部を前記ナットに押し当てながら前記ボルトの前記端部を前記ナットの上で移動させるか、あるいは、前記ナットの前記端部を前記ボルトに押し当てながら前記ナットを前記ボルトの前記端部の上で移動させる動作ｇと、
　前記ボルトの前記端部が前記ナットのねじ穴に入ったことが検出された場合に、前記ボルトを前記ナットに締結させる動作ｈと、
をさらに実行するように構成されている、請求項１または４に記載の制御装置。The shaft member is a bolt,
The operation a includes grasping a nut by the other end effector and supporting the segment by the other end effector via the nut,
The processor, after the operation e,
An operation f of moving the bolt in the direction of the nut, with the end portion of the bolt facing the screw hole of the nut,
When it is detected that the bolt and the nut are in contact with each other, the end portion of the bolt is moved on the nut while pressing the end portion of the bolt against the nut, or the nut. An operation g of moving the nut over the end of the bolt while pressing the end of the bolt against the bolt;
An operation h of fastening the bolt to the nut when it is detected that the end portion of the bolt has entered a screw hole of the nut,
The control device according to claim 1, wherein the control device is configured to further execute.　前記シャフト部材はボルトであり、
　前記プロセッサは、前記動作ｅの後に、
　前記他方のエンドエフェクタでナットを把持する動作ｉと、
　前記ナットを前記ボルトの端部に向けて移動させる動作ｊと、
　前記ボルトと前記ナットとが接触したことが検出された場合に、前記ボルトの前記端部を前記ナットに押し当てながら前記ボルトの前記端部を前記ナットの上で移動させるか、あるいは、前記ナットを前記ボルトの前記端部に押し当てながら前記ナットを前記ボルトの前記端部の上で移動させる動作ｋと、
　前記ボルトの前記端部が前記ナットのねじ穴に入ったことが検出された場合に、前記ボルトを前記ナットに締結させる動作ｌと、
をさらに実行するように構成されている、請求項１または４に記載の制御装置。The shaft member is a bolt,
The processor, after the operation e,
An operation i of gripping the nut with the other end effector,
An operation j of moving the nut toward the end of the bolt,
When it is detected that the bolt and the nut are in contact with each other, the end portion of the bolt is moved on the nut while pressing the end portion of the bolt against the nut, or the nut. Pressing k against the end of the bolt to move the nut over the end of the bolt;
An operation 1 for fastening the bolt to the nut when it is detected that the end portion of the bolt has entered a screw hole of the nut;
The control device according to claim 1, wherein the control device is configured to further execute.　各々がエンドエフェクタを有する少なくとも２つのロボットアームによってセグメントの孔にシャフト部材を挿入する方法であって、
　一方の前記エンドエフェクタで前記セグメントを支持するステップａと、
　他方の前記エンドエフェクタで前記シャフト部材を把持するステップｂと、
　前記シャフト部材の端部を前記セグメントの前記孔に向けて、前記シャフト部材を前記セグメントの方向へ移動させるステップｃと、
　前記シャフト部材が前記セグメントに接触したことが検出された場合に、前記シャフト部材の前記端部を前記セグメントに押し当てながら前記シャフト部材の前記端部を前記セグメントの上で移動させるステップｄと、
　前記シャフト部材の前記端部が前記セグメントの前記孔に入ったことが検出された場合に、前記シャフト部材を前記セグメントの孔に挿入するステップｅと、
を含む方法。A method of inserting a shaft member into a hole of a segment by at least two robot arms, each having an end effector, comprising:
Supporting the segment with one of the end effectors,
Step b of gripping the shaft member with the other end effector,
Moving the shaft member in the direction of the segment, with the end of the shaft member facing the hole of the segment;
Moving the end of the shaft member over the segment while pressing the end of the shaft member against the segment when it is detected that the shaft member contacts the segment;
Inserting the shaft member into the hole of the segment when it is detected that the end of the shaft member has entered the hole of the segment;
Including the method.　前記ステップａは、前記他方のエンドエフェクタで前記セグメントを把持して移動させて前記一方のエンドエフェクタに前記セグメントを支持させた後に、前記他方のエンドエフェクタによる前記セグメントの把持を解除することを含む、請求項７に記載の方法。The step a includes grasping and moving the segment by the other end effector to cause the one end effector to support the segment, and then releasing the grasping of the segment by the other end effector. The method of claim 7.　前記ステップｄは、前記シャフト部材の前記端部が前記一方のエンドエフェクタの作用領域内に位置し続けるように、前記一方のエンドエフェクタを前記シャフト部材の前記端部の動きに追従させて前記セグメントの上で移動させることを含む、請求項７に記載の方法。The step d causes the one end effector to follow the movement of the end portion of the shaft member so that the end portion of the shaft member continues to be located in the working region of the one end effector. 8. The method of claim 7, including moving over.　前記セグメントは第１～第ｎの複数の前記セグメントを含み、
　前記ステップａは、前記一方のエンドエフェクタで第ｎの前記セグメントを支持し、次に第ｎの前記セグメントで第ｎ－１の前記セグメントを支持し、これを第２の前記セグメントで第１の前記セグメントを支持するまで繰り返すことを含み、
　前記ステップｃ～ｅを前記第１のセグメントから前記第ｎのセグメントのそれぞれに対して繰り返し行うことを含む、請求項７に記載の方法。The segment includes a plurality of the first to nth segments,
The step a includes supporting the nth segment with the one end effector, then supporting the (n-1)th segment with the nth segment, which is the first with the second segment. Repeating until the segment is supported,
The method of claim 7, comprising repeating steps c-e for each of the first segment through the nth segment.　前記シャフト部材はボルトであり、
　前記ステップａは、前記他方のエンドエフェクタでナットを把持し、前記他方のエンドエフェクタで前記セグメントを前記ナットを介して支持することを含み、
　前記ステップｅの後に、
　前記ボルトの端部を前記ナットのねじ穴に向けて、前記ボルトを前記ナットの方向へ移動させるステップｆと、
　前記ボルトと前記ナットとが接触したことが検出された場合に、前記ボルトの前記端部を前記ナットに押し当てながら前記ボルトの前記端部を前記ナットの上で移動させるか、あるいは、前記ナットの前記端部を前記ボルトに押し当てながら前記ナットを前記ボルトの前記端部の上で移動させるステップｇと、
　前記ボルトの前記端部が前記ナットのねじ穴に入ったことが検出された場合に、前記ボルトを前記ナットに締結させるステップｈと、
をさらに含む、請求項７または１０に記載の方法。The shaft member is a bolt,
Step a includes gripping a nut with the other end effector and supporting the segment with the other end effector via the nut,
After step e,
A step f of moving the bolt toward the nut, with the end of the bolt facing the screw hole of the nut,
When it is detected that the bolt and the nut are in contact with each other, the end portion of the bolt is moved on the nut while pressing the end portion of the bolt against the nut, or the nut. Moving the nut over the end of the bolt while pressing the end of the bolt against the bolt;
Step h of fastening the bolt to the nut when it is detected that the end of the bolt has entered a screw hole of the nut;
11. The method of claim 7 or 10, further comprising:　前記シャフト部材はボルトであり、
　前記動作ｅの後に、
　前記他方のエンドエフェクタでナットを把持するステップｉと、
　前記ナットを前記ボルトの端部に向けて移動させるステップｊと、
　前記ボルトと前記ナットとが接触したことが検出された場合に、前記ボルトの前記端部を前記ナットに押し当てながら前記ボルトの前記端部を前記ナットの上で移動させるか、あるいは、前記ナットを前記ボルトの前記端部に押し当てながら前記ナットを前記ボルトの前記端部の上で移動させるステップｋと、
　前記ボルトの前記端部が前記ナットのねじ穴に入ったことが検出された場合に、前記ボルトを前記ナットに締結させるステップｌと、
をさらに含む、請求項７または１０に記載の方法。The shaft member is a bolt,
After the operation e,
Step i of gripping the nut with the other end effector,
Moving the nut toward the end of the bolt, j
When it is detected that the bolt and the nut are in contact with each other, the end portion of the bolt is moved on the nut while pressing the end portion of the bolt against the nut, or the nut. Moving the nut over the end of the bolt while pressing the nut against the end of the bolt;
Fastening the bolt to the nut when it is detected that the end of the bolt has entered a threaded hole of the nut;
11. The method of claim 7 or 10, further comprising:　各々がエンドエフェクタを有する少なくとも２つのロボットアームと、
　請求項１から請求項６のいずれか１項に記載の制御装置と、
を備えたシステム。At least two robot arms each having an end effector;
A control device according to any one of claims 1 to 6,
System with.　プロセッサによって実行可能なコンピュータ・プログラムであって、請求項７から１２のいずれか１項に記載の方法を実施する命令を含む、コンピュータ・プログラム。A computer program executable by a processor, the computer program comprising instructions for performing the method according to any one of claims 7-12.　非一時的なコンピュータ可読媒体であって、請求項７から１２のいずれか１項に記載の方法を実施する命令を含む、前記媒体に記憶され、プロセッサによって実行することができるコンピュータ・プログラムを含む、非一時的なコンピュータ可読媒体。
 A non-transitory computer readable medium, comprising a computer program stored on the medium and comprising instructions for performing the method of any one of claims 7 to 12 and executable by a processor. , A non-transitory computer-readable medium.

Images