JP7589833B1 - ROBOT CONTROL DEVICE, ROBOT CONTROL SYSTEM, AND ROBOT CONTROL METHOD - Google Patents

Abstract

Translated fromJapanese

制御プログラムで動作するロボット制御装置（３）であって、制御プログラムを先読みし、制御プログラムに規定された情報であるロボット動作情報を算出する先読み動作計算部（１１）と、ロボット動作情報を示す表示画像を生成する表示画像生成部（１２）と、検出装置（４）から受信した検出信号に含まれるものが人か否かを識別する認識処理部（１３）と、認識処理部（１３）が人を含むと認識した場合と、人を含まないと認識した場合で表示画像を切り替える表示切替処理部（１５）を備える。これにより、人の安全に関わるロボットの動作を人が把握しやすくなる。The robot control device (3) operates according to a control program and includes a look-ahead operation calculation unit (11) that looks ahead at the control program and calculates robot operation information that is information defined in the control program, a display image generation unit (12) that generates a display image showing the robot operation information, a recognition processing unit (13) that identifies whether or not a detection signal received from a detection device (4) contains a human, and a display switching processing unit (15) that switches the display image between when the recognition processing unit (13) recognizes that the signal contains a human and when it does not. This makes it easier for people to understand the robot's operations that are related to human safety.

Description

Translated fromJapanese

この開示はロボット制御装置、ロボット制御システム、およびロボット制御方法に関するものである。This disclosure relates to a robot control device, a robot control system, and a robot control method.

ロボット制御装置は、制御プログラムや、ユーザーインターフェイスを通じたユーザからの指令に従ってロボットの動作を制御する。このようなロボット制御装置に制御されたロボットと作業者が作業空間を共有して作業をする場合、作業者の安全性を担保する必要がある。作業者がロボットの近くで安全に作業できるよう支援する方法が提案されている。A robot control device controls the robot's movements according to a control program or instructions from the user via a user interface. When a worker works in a shared workspace with a robot controlled by such a robot control device, the worker's safety must be ensured. Methods have been proposed to help workers work safely near robots.

例えば、特許文献１のロボット用の表示システムでは、ロボットの動作を制御する制御プログラムを先読みし分岐命令がある場合に、分岐元位置から分岐先毎のそれぞれの目標位置までの軌跡である複数の予想軌跡を仮想画像として生成し、ロボットとともに表示する。さらに、分岐先となる可能性に応じて複数の予想軌跡の太さ等を変える。For example, in the robot display system ofPatent Document 1, the control program that controls the robot's operations is read ahead, and when a branch command is found, multiple predicted trajectories, which are the trajectories from the branch origin position to each target position for each branch destination, are generated as virtual images and displayed together with the robot. Furthermore, the thickness of the multiple predicted trajectories is changed depending on the possibility of the branch destination.

特開２０１８－０５１６５３号公報JP 2018-051653 A

しかしながら、特許文献１においては、ロボットの予想軌跡が分岐可能性とともに表示されるにすぎない。したがって、作業者がその予想軌跡を見ただけでは人の安全に関わる重要なものであるか否か素早く判断することが難しい。However, inPatent Document 1, the robot's predicted trajectory is simply displayed along with possible branching paths. Therefore, it is difficult for workers to quickly determine whether the predicted trajectory is important for human safety just by looking at it.

本開示は上記問題に鑑みてなされたものであって、人の安全に関わるロボットの動作を人が把握しやすい、ロボット制御装置、ロボット制御システム、およびロボット制御方法を提供することを目的としている。This disclosure has been made in consideration of the above problems, and aims to provide a robot control device, a robot control system, and a robot control method that make it easy for people to understand the behavior of a robot that affects human safety.

この開示によるロボット制御装置は、制御プログラムで動作するロボット制御装置であって、ユーザの設定により変更可能な表示区間を記憶装置に記憶する表示区間設定部を有し、制御プログラムを先読みし、制御プログラムに規定されたロボットの動作を示すロボット動作情報を算出する先読み動作計算部と、ロボット動作情報を示す表示画像であって、表示区間に対応したロボットの位置を含む表示画像を生成する表示画像生成部と、ロボットの動作領域内の人および物体を検出する検出装置から受信した検出信号に人が含まれるか否かを認識する認識処理部と、認識処理部が人を含むと認識した場合は、前記表示画像に警告表示を追加し、人を含まないと認識した場合は、前記表示画像に警告表示を追加しない表示切替処理部とを備え、表示切替処理部は、回避行動をとらなければ人がロボットと衝突しそうな場合に、物体がロボットと衝突する場合よりも目立つ態様で警告表示を追加するものである。 The robot control device according to this disclosure is a robot control device that operates on a control program and has a display interval setting unit that stores in a storage device a display interval that can be changed by a user's setting, and is equipped with a look-ahead operation calculation unit that reads ahead the control program and calculates robot operation information that shows the robot's operation defined in the control program, a display image generation unit that generates a display image that shows the robot operation information, the display image including the position of the robot corresponding to the display interval, a recognition processing unit that recognizes whether or not a person is included in a detection signal received from a detection device that detects people and objects within the robot's operation area,and a display switching processing unit that adds a warning display to the display image if the recognition processing unit recognizes that it includes a person, and does not add the warning display to the display image if it recognizes that it does not include a person, and the display switching processing unit adds a warning display in a manner that is more noticeable than when an object is to collide with the robot if evasive action is not taken ,

この開示によるロボット制御システムは、この開示によるロボット制御装置と、ロボット制御装置により制御されるロボットと、ロボットの動作領域を含む領域を検出する検出装置と、ロボット制御装置から表示画像を受信し表示する表示装置とを備えるものである。The robot control system according to this disclosure comprises a robot control device according to this disclosure, a robot controlled by the robot control device, a detection device that detects an area including the robot's operating area, and a display device that receives and displays a display image from the robot control device.

この開示によるロボット制御方法は、ユーザの設定により変更可能な表示区間を記憶装置に記憶するステップと、制御プログラムを先読みし、制御プログラムに規定されたロボットの動作を示すロボット動作情報を算出するステップと、ロボット動作情報を示す表示画像であって、表示区間に対応したロボットの位置を含む表示画像を生成するステップと、ロボットの動作領域内の人および物体を検出する検出装置から受信した検出信号に人が含まれるか否かを認識するステップと、人を含むと認識した場合は、前記表示画像に警告表示を追加し、人を含まないと認識した場合は、前記表示画像に警告表示を追加しない表示切替ステップとを含み、表示切替ステップは、回避行動をとらなければ人がロボットと衝突しそうな場合に、物体がロボットと衝突する場合よりも目立つ態様で警告表示を追加するものである。

The robot control method disclosed herein includes the steps of: storing in a storage device a display section that can be changed by a user's settings; reading ahead a control program and calculating robot operation information that indicates the robot's operation defined in the control program; generating a display image that indicates the robot operation information, the display image including the position of the robot corresponding to the display section; recognizing whether a person is included in a detection signal received from a detection device that detects people and objects within the robot's operation area; and a display switching step of adding a warning display to the display image if it is recognized that a person is included, and not adding the warning display to the display image if it is recognized that a person is not included, wherein the displayswitchingstep adds a warning display in a manner that is more noticeable than when an object is to collide with the robot if an evasive action is not taken .

本開示によれば、人の安全に関わるロボットの動作を人が熟練度に応じて把握しやすくなる。
According to the present disclosure, it becomes easier for people to understand the behavior of a robot that is related to human safetyaccording to their level of proficiency .

実施の形態１にかかるロボット制御システムを示す概略構成図。FIG. 1 is a schematic configuration diagram showing a robot control system according to a first embodiment.実施の形態１にかかるロボット制御システムの機能ブロック図。FIG. 1 is a functional block diagram of a robot control system according to a first embodiment.実施の形態１にかかるロボット制御装置が行う処理のフローチャート。4 is a flowchart of a process performed by the robot control device according to the first embodiment.実施の形態１にかかる人がロボットに接近している場合に警告を表示した例。13 is an example of displaying a warning when a person approaches the robot according to the first embodiment.実施の形態１にかかるロボット制御装置を実現するためのハードウェア構成図。FIG. 2 is a hardware configuration diagram for implementing the robot control device according to the first embodiment.実施の形態１にかかるロボット動作情報をロボットの姿勢とした表示画像の例。13 is an example of a display image in which the robot operation information according to the first embodiment is expressed as a robot posture.実施の形態１にかかる表示装置の投影面をベルトコンベアとした場合の例。1 is an example in which the projection surface of the display device according to the first embodiment is a conveyor belt.実施の形態１にかかるロボットの台座に表示装置であるＬＥＤディスプレイを組み込んだ場合の例。13 is an example of a case in which an LED display, which is a display device, is incorporated in the base of the robot according to the first embodiment.実施の形態１にかかるロボット制御システムのロボットが停止中であることを表示させた例。13 is an example of displaying that the robot of the robot control system according to the first embodiment is stopped.実施の形態２にかかるロボット制御システムの機能ブロック図。FIG. 11 is a functional block diagram of a robot control system according to a second embodiment.実施の形態２にかかるロボット制御装置が行う処理のフローチャート。13 is a flowchart of a process performed by a robot control device according to the second embodiment.実施の形態３にかかるロボット制御システムの機能ブロック図。FIG. 13 is a functional block diagram of a robot control system according to a third embodiment.実施の形態３にかかる画像方向変更部により文字方向を変更した例。13 shows an example of changing the character direction by the image direction changing unit according to the third embodiment.実施の形態４にかかるロボット制御システムを示す機能ブロック図。FIG. 13 is a functional block diagram showing a robot control system according to a fourth embodiment.実施の形態４にかかる表示区間を説明する図。FIG. 13 is a diagram for explaining a display section according to the fourth embodiment.実施の形態４にかかるロボット制御システムにおいて表示区間を変更した例。13 shows an example in which a display section is changed in the robot control system according to the fourth embodiment.実施の形態４にかかるロボット制御システムにおける表示区間の設定例。13 shows an example of setting a display section in the robot control system according to the fourth embodiment.実施の形態４にかかるロボット制御システムにおける表示区間の設定例。13 shows an example of setting a display section in the robot control system according to the fourth embodiment.

以下、本開示の実施の形態について、図を用いて説明する。図中の同一の符号は、同一または相当する部分を表す。Hereinafter, the embodiments of the present disclosure will be described with reference to the drawings. The same reference numerals in the drawings represent the same or corresponding parts.

実施の形態１．
図１はロボット制御システム１００を示す概略構成図である。ロボット制御システム１００は、ロボット１、ロボット１の動作を制御するロボット制御装置３、ロボット１の動作領域にある作業者２等の人や物体を検出する撮像装置４、後述するロボット動作情報を実作業空間に表示する表示装置５を備える。Embodiment 1.
1 is a schematic diagram showing arobot control system 100. Therobot control system 100 includes arobot 1, arobot control device 3 that controls the operation of therobot 1, animaging device 4 that detects people and objects such as aworker 2 in the operating area of therobot 1, and adisplay device 5 that displays robot operation information (to be described later) in the actual working space.

ロボット１は、例えば６軸の垂直多関節型ロボットであり、各軸に搭載されたモータにより、各軸のアームが駆動する。ロボット１には図示しないエンコーダが備えられ、エンコーダはモータの現在の回転角度を計測する。例えば、ロボット１はベルトコンベア６に置かれたワーク７を把持し、移動させる等の作業を作業者と協働して行う。Robot 1 is, for example, a six-axis vertical articulated robot, with the arms of each axis driven by a motor mounted on each axis.Robot 1 is equipped with an encoder (not shown) that measures the current rotation angle of the motor. For example,robot 1grasps workpiece 7 placed onbelt conveyor 6 and performs tasks such as moving it in collaboration with an operator.

ここでは、ロボット１がベルトコンベア６に置かれたワーク７に対し動作を行う例について説明するが、これに限られない。ベルトコンベア６以外の作業台等の周辺装置があってもよいし、ワーク７への動作ではなく他の動作を行ってもよい。Here, an example will be described in which therobot 1 operates on aworkpiece 7 placed on thebelt conveyor 6, but this is not limiting. There may be peripheral devices other than thebelt conveyor 6, such as a workbench, and therobot 1 may perform an operation other than an operation on theworkpiece 7.

作業者２は、ロボット１と同じ作業空間で作業を行う協働作業者である。作業者２はロボット１の動作領域を含む作業空間でワーク７に対し作業を行う。撮像装置４は、ロボット１の動作領域を含む領域を検出する。すなわち、撮像装置４は、ロボットの周囲に存在する人および物体を検出する検出装置であり、撮像装置４で撮像した撮像情報は検出信号である。Worker 2 is a collaborative worker who works in the same workspace asrobot 1.Worker 2 works onworkpiece 7 in a workspace that includes the operating area ofrobot 1.Imaging device 4 detects an area that includes the operating area ofrobot 1. In other words,imaging device 4 is a detection device that detects people and objects present around the robot, and the imaging information captured byimaging device 4 is a detection signal.

ロボット制御装置３は制御プログラムを先読みし、ロボット１のアームやエンドエフェクタの位置を参照したロボット１の動作開始位置、現在位置、目的位置、動作経路（軌跡）、動作方向、動作速度、等のロボット動作情報を算出する。ここで、制御プログラムに規定されたロボット１の動作に関する情報をロボット動作情報とする。またロボット制御装置３は、各軸のアームの長さや回転方向を持つロボットモデルを有しており、ロボット１のエンコーダから送られるモータの回転角度を取得することで、エンドエフェクタの現在フィードバック位置、現在フィードバック姿勢、現在フィードバック速度等を計算する。ロボット制御装置３は、作業者２にロボット動作情報を示す画像を生成し表示装置５に送信する。Therobot control device 3 reads ahead the control program and calculates robot operation information such as the operation start position, current position, destination position, operation path (trajectory), operation direction, operation speed, etc. ofrobot 1 by referencing the positions of the arms and end effector ofrobot 1. Here, information related to the operation ofrobot 1 defined in the control program is referred to as robot operation information. Therobot control device 3 also has a robot model with the arm length and rotation direction of each axis, and calculates the current feedback position, current feedback posture, current feedback speed, etc. of the end effector by acquiring the rotation angle of the motor sent from the encoder ofrobot 1. Therobot control device 3 generates an image showing the robot operation information to theworker 2 and sends it to thedisplay device 5.

表示装置５は、例えばプロジェクタでありロボット制御装置３と無線または有線で接続される。表示装置５は、ロボット制御装置３から受信したロボット動作情報を示す画像を作業空間上に表示する。図１では、点線で囲まれた部分が表示画像である。表示画像は、エンドエフェクタの動作開始位置Ｐ１、現在位置Ｐｃ、目的位置Ｐ２、動作経路Ｌ１、動作方向等を含む。動作方向は矢印で表現されている。動作開始位置Ｐ１、現在位置Ｐｃ、目的位置Ｐ２、動作経路Ｌ１、動作方向、動作速度は、ロボット動作情報である。動作経路Ｌ１は動作開始位置Ｐ１から目的位置Ｐ２の間の動作軌跡である。Thedisplay device 5 is, for example, a projector, and is connected to therobot control device 3 wirelessly or via a wire. Thedisplay device 5 displays an image showing the robot operation information received from therobot control device 3 in the workspace. In FIG. 1, the area surrounded by a dotted line is the display image. The display image includes the operation start position P1, current position Pc, destination position P2, operation path L1, operation direction, etc. of the end effector. The operation direction is represented by an arrow. The operation start position P1, current position Pc, destination position P2, operation path L1, operation direction, and operation speed are robot operation information. The operation path L1 is the operation trajectory between the operation start position P1 and the destination position P2.

図２は、実施の形態１にかかるロボット制御システム１００の機能ブロック図である。ロボット制御装置３は、ロボット制御部１０、先読み動作計算部１１、表示画像生成部１２、認識処理部１３、判定処理部１４、表示切替処理部１５を備える。2 is a functional block diagram of therobot control system 100 according to the first embodiment. Therobot control device 3 includes arobot control unit 10, a look-aheadoperation calculation unit 11, a displayimage generation unit 12, arecognition processing unit 13, ajudgment processing unit 14, and a displayswitching processing unit 15.

先読み動作計算部１１は、制御プログラムを先読みし、目的位置Ｐ２および動作補間の種類を取得する。動作補間の種類は、エンドエフェクタを直線上に動作させる補間、円弧上を動作させる補間、あらかじめ設定された自由曲線上を動作させる補間等があり、その他の補間方法を指定することも可能である。The look-aheadmotion calculation unit 11 looks ahead at the control program and obtains the target position P2 and the type of motion interpolation. The types of motion interpolation include interpolation that moves the end effector in a straight line, interpolation that moves it on an arc, and interpolation that moves it on a pre-defined free curve, and other interpolation methods can also be specified.

先読み動作計算部１１は、制御プログラムの目的位置Ｐ２および動作補間の種類から、各時刻ｔ毎のエンドエフェクタの指令位置Ｐ（t）を計算することで補間処理を行う。先読み動作計算部１１は、指令位置Ｐ（t）をもとに動作経路Ｌ１を算出する。先読み動作計算部１１は、ロボット動作情報として、動作経路Ｌ１、動作開始位置Ｐ１、目的位置Ｐ２、現在位置Ｐｃ、動作速度等を計算し、表示画像生成部１２、認識処理部１３およびロボット制御部１０に送信する。ここで動作開始位置Ｐ１は、目的位置Ｐ２までの補間が開始される位置またはロボットの停止中の位置から得られる位置である。The look-aheadmotion calculation unit 11 performs interpolation processing by calculating the command position P(t) of the end effector for each time t from the target position P2 of the control program and the type of motion interpolation. The look-aheadmotion calculation unit 11 calculates the motion path L1 based on the command position P(t). The look-aheadmotion calculation unit 11 calculates the motion path L1, motion start position P1, target position P2, current position Pc, motion speed, etc. as robot motion information, and transmits them to the displayimage generation unit 12,recognition processing unit 13, androbot control unit 10. Here, the motion start position P1 is the position where interpolation to the target position P2 starts or the position obtained from the position where the robot is stopped.

ロボット制御部１０は、先読み動作計算部１１から取得したロボット動作情報に基づき、ロボット１の各軸のモータを駆動させることでロボット１の動きを制御する。Therobot control unit 10 controls the movement of therobot 1 by driving the motors of each axis of therobot 1 based on the robot operation information obtained from the look-aheadoperation calculation unit 11.

認識処理部１３は、撮像装置４から撮像情報を受信し、工作機械、構造物、ワーク７等の物体および作業者２等の人の位置や動きを含む情報を取得する。認識処理部１３は、撮像情報に人が含まれるか否かを認識する。また、人が含まれる場合どの位置に人がいるか、人がどのような動き（例えば動作方向、動作速度等）をしているか等を撮像情報に基づき解析する。また認識処理部１３は、どの位置に物体があるか等を解析する。例えば、工作機械や構造物等の物体や人のモデル画像をあらかじめ登録しておき、撮像情報とモデル画像とを照合することで解析する。認識処理部１３は、解析結果を判定処理部１４に送信する。Therecognition processing unit 13 receives imaging information from theimaging device 4 and acquires information including the positions and movements of objects such as machine tools, structures, andworkpieces 7, and people such asworkers 2. Therecognition processing unit 13 recognizes whether or not a person is included in the imaging information. If a person is included, therecognition processing unit 13 analyzes, based on the imaging information, where the person is located and what kind of movement the person is making (e.g., direction of movement, speed of movement, etc.). Therecognition processing unit 13 also analyzes where objects are located, etc. For example, model images of objects such as machine tools and structures and people are registered in advance, and analysis is performed by comparing the imaging information with the model images. Therecognition processing unit 13 transmits the analysis results to thejudgment processing unit 14.

判定処理部１４は、先読み動作計算部１１から受信したロボット動作情報、および認識処理部１３の解析結果に基づき、人とロボット１が接近しているか否かを判定する。人とロボット１が接近しているか否かの判定は、例えば、人とロボット１の時間ごとの相対距離を算出し、相対距離が時間経過に従い短くなっていれば、接近していると判定する。判定処理部１４は、判定結果を表示切替処理部１５に送信する。Thejudgment processing unit 14 judges whether or not the person and therobot 1 are approaching each other based on the robot operation information received from the predictiveoperation calculation unit 11 and the analysis result of therecognition processing unit 13. To judge whether or not the person and therobot 1 are approaching each other, for example, the relative distance between the person and therobot 1 over time is calculated, and if the relative distance becomes shorter over time, it is judged that the person and therobot 1 are approaching each other. Thejudgment processing unit 14 transmits the judgment result to the display switchingprocessing unit 15.

表示画像生成部１２は、先読み動作計算部１１から得たロボット動作情報から、ロボット動作情報を示す表示画像を生成し、表示切替処理部１５に送信する。図１の例では、動作開始位置Ｐ１、現在位置Ｐｃ、目的位置Ｐ２、動作経路Ｌ１の表示画像を生成する。The displayimage generation unit 12 generates a display image showing the robot operation information from the robot operation information obtained from the look-aheadoperation calculation unit 11, and transmits it to the display switchingprocessing unit 15. In the example of Figure 1, display images of the operation start position P1, the current position Pc, the target position P2, and the operation path L1 are generated.

表示切替処理部１５は、判定処理部１４の判定結果に基づき、表示画像を切り替える。表示切替処理部１５は、認識処理部１３が人を含むと認識した場合と、人を含まないと認識した場合で表示画像を切り替える。具体的には、判定処理部１４により人がロボット１の動作方向に接近していると判定されれば、表示画像生成部１２から受信した表示画像に警告を追加等することで表示画像を変更し、変更後の表示画像を表示装置５に送信する。The displayswitching processing unit 15 switches the display image based on the judgment result of thejudgment processing unit 14. The displayswitching processing unit 15 switches the display image between when therecognition processing unit 13 recognizes that the image includes a person and when it recognizes that the image does not include a person. Specifically, if thejudgment processing unit 14 determines that a person is approaching in the direction of movement of therobot 1, the display image received from the displayimage generation unit 12 is changed by adding a warning or the like, and the changed display image is transmitted to thedisplay device 5.

図３は、実施の形態１にかかるロボット制御装置３が行う処理のフローチャートである。まず、ロボット制御装置３の先読み動作計算部１１は、制御プログラムを先読みしてロボット動作情報を計算し、表示画像生成部１２に送信する（ステップＳ１）。次に、表示画像生成部１２は、ロボット動作情報に基づき表示画像を生成し、表示切替処理部１５に送信する（ステップＳ２）。次に、認識処理部１３は、撮像装置４が撮像した撮像情報を取得する（ステップＳ３）。Figure 3 is a flowchart of the processing performed by therobot control device 3 according to the first embodiment. First, the look-aheadmotion calculation unit 11 of therobot control device 3 looks ahead at the control program to calculate robot motion information and transmits it to the display image generation unit 12 (step S1). Next, the displayimage generation unit 12 generates a display image based on the robot motion information and transmits it to the display switching processing unit 15 (step S2). Next, therecognition processing unit 13 acquires the imaging information captured by the imaging device 4 (step S3).

次に、認識処理部１３は、撮像情報から、どの位置に物体があるか、人がいるか、人がいる場合にはどの位置にいるのか、人の動作方向および動作速度等を解析し、解析結果を判定処理部１４に送信する（ステップＳ４）。人がいる場合（ステップＳ４ Ｙｅｓ）、ステップＳ５に進み、人がいない場合（ステップＳ４ Ｎｏ）、ステップＳ７に進む。判定処理部１４は、受信した解析結果から、人とロボット１が接近しているか否かを判定し、表示切替処理部１５に結果を送信する（ステップＳ５）。Next, therecognition processing unit 13 analyzes the image information to determine where an object is located, whether there is a person, and if so, where the person is located, as well as the direction and speed of the person's movement, and transmits the analysis results to the judgment processing unit 14 (step S4). If there is a person (step S4 Yes), the process proceeds to step S5, and if there is no person (step S4 No), the process proceeds to step S7. Thejudgment processing unit 14 determines from the received analysis results whether the person and therobot 1 are approaching each other, and transmits the result to the display switching processing unit 15 (step S5).

人とロボット１が接近している場合（ステップＳ５ Ｙｅｓ）、表示切替処理部１５は、表示画像に警告の追加等の変更を加えた表示画像を表示装置５に送信する（ステップＳ６）。具体的な変更内容は、例えば、警告を追加する、文字の大きさを変える等であり、警告以外の表示画像が警告と干渉する場合は警告を優先して表示する。人とロボット１が接近していない場合（ステップＳ５ Ｎｏ）、表示切替処理部１５は、表示画像生成部１２から受信した表示画像をそのまま表示装置５に送信する（ステップＳ７）。If the person and therobot 1 are approaching each other (step S5 Yes), the display switchingprocessing unit 15 transmits the display image with modifications such as adding a warning to the display device 5 (step S6). Specific modifications include, for example, adding a warning or changing the size of the characters, and if a display image other than the warning interferes with the warning, the warning is displayed with priority. If the person and therobot 1 are not approaching each other (step S5 No), the display switchingprocessing unit 15 transmits the display image received from the displayimage generation unit 12 as is to the display device 5 (step S7).

ここで、ステップＳ１およびステップＳ２と、ステップＳ３およびステップＳ４の順序はこれに限られない。ステップＳ３およびステップＳ４が、ステップＳ１およびステップＳ２の前であってもよい。Here, the order of steps S1 and S2 and steps S3 and S4 is not limited to this. Steps S3 and S4 may be performed before steps S1 and S2.

図４に点線で示す表示画像は、図１に示す表示画像を表示切替処理部１５によって変更した例である。例えば表示切替処理部１５は、警告を表す文字２０および警告を示すマーク２１を追加し、文字「Ｐ１」、「Ｐｃ」の大きさを警告を表す文字２０より小さくし、優先順位の低い文字「Ｐ２」、「Ｌ１」、および矢印を削除する変更を行っている。The display image indicated by the dotted line in Figure 4 is an example of the display image shown in Figure 1 modified by the display switchingprocessing unit 15. For example, the display switchingprocessing unit 15 adds warningcharacter 20 and amark 21, makes the size of the characters "P1" and "Pc" smaller than the warningcharacter 20, and deletes the low priority characters "P2" and "L1", and the arrow.

図５は、ロボット制御装置３を実現するためのハードウェア構成図である。図５に示すとおり、上記ロボット制御装置３の一部又は全部は、具体的には、ＣＰＵ３１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、記憶装置３２、ＩＯ（ＩＮＰＵＴ ＯＵＴＰＵＴ：入出力）インターフェース３３等により構成される。Figure 5 is a hardware configuration diagram for realizing therobot control device 3. As shown in Figure 5, a part or all of therobot control device 3 is specifically composed of a CPU 31 (Central Processing Unit), astorage device 32, an IO (INPUT OUTPUT)interface 33, etc.

記憶装置３２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等から構成される。ロボット制御装置３のＩＯインターフェース３３には、撮像装置４、表示装置５、ロボット１が無線または有線で接続される。記憶装置３２には、制御プログラム、認識処理部１３で用いる工作機械、構造物等の物体や人のモデル画像、ロボット１のアームモデル等が保存されている。ロボット制御装置３の一連の処理は、記憶装置３２に保存されている制御プログラムをＣＰＵ３１が実行することで実現される。Thestorage device 32 is composed of a ROM (Read Only Memory), a HDD (Hard Disk Drive), etc. Theimaging device 4, thedisplay device 5, and therobot 1 are connected wirelessly or by wire to theIO interface 33 of therobot control device 3. Thestorage device 32 stores a control program, model images of objects such as machine tools and structures and people used by therecognition processing unit 13, an arm model of therobot 1, etc. A series of processes of therobot control device 3 is realized by theCPU 31 executing the control program stored in thestorage device 32.

このように、本実施の形態によれば、撮像装置４でロボット１の周囲の状況を取得し、人がいるか否かを検出し、人がいる場合にはロボット動作情報および人の動きに基づいて人とロボット１が近づいているか否かを判定処理部１４で判定する。人が近づいている（危険が予想される）場合には、表示画像生成部１２で生成した画像に警告を追加する等画像を変更して表示するので、人の安全に関わるロボットの動作を人にわかりやすく表示することができる。Thus, according to this embodiment, theimaging device 4 acquires the situation around therobot 1 and detects whether or not a person is present, and if a person is present, thejudgment processing unit 14 judges whether or not the person and therobot 1 are approaching based on the robot operation information and the movement of the person. If a person is approaching (danger is anticipated), the image generated by the displayimage generation unit 12 is modified and displayed, for example by adding a warning, so that the robot's operations related to human safety can be displayed in a way that is easy for people to understand.

なお、ロボット制御システム１００が撮像装置４を備える場合について述べたが、撮像装置４の代わりに距離センサ、視覚センサ、赤外線センサ、位置受信機を用いてもよい。位置受信機を用いる場合には、作業者２は位置送信機を所持して作業を行えばよい。位置受信機が作業者２の位置送信機から位置を受信すると、認識処理部１３でその位置に人がいると認識できる。この場合にも上述と同様の効果を奏する。Although therobot control system 100 has been described as being equipped with animaging device 4, a distance sensor, visual sensor, infrared sensor, or position receiver may be used instead of theimaging device 4. When a position receiver is used, theworker 2 only needs to carry a position transmitter while performing the work. When the position receiver receives a position from the position transmitter of theworker 2, therecognition processing unit 13 can recognize that there is a person at that position. In this case as well, the same effect as described above can be achieved.

また、認識処理部１３が、あらかじめ登録された画像とのマッチングを行うことで解析を行う例を示したが、取得した撮像情報の時刻毎の変化量から人と物体を識別してもよい。撮像装置４の代わりに距離センサ、視覚センサ等を用いる場合には、取得したセンサ情報の時刻毎の変化量から人と物体を識別する。撮像装置４の代わりに赤外線センサを用いた場合には、人の体温に対応する閾値をあらかじめ登録しておき、センサ出力が閾値を超えた場合に人であると認識処理部１３に認識させればよい。これらの場合にも上述と同様の効果を奏する。Although an example has been shown in which therecognition processing unit 13 performs analysis by matching with pre-registered images, people and objects may also be identified from the amount of change in the acquired imaging information over time. When a distance sensor, visual sensor, etc. is used instead of theimaging device 4, people and objects are identified from the amount of change in the acquired sensor information over time. When an infrared sensor is used instead of theimaging device 4, a threshold value corresponding to a person's body temperature can be registered in advance, and therecognition processing unit 13 can recognize that a person is present when the sensor output exceeds the threshold. In these cases as well, the same effects as described above can be achieved.

また、図３のステップＳ７で、人とロボットが接近していない場合に表示画像をそのまま送信する例を示したが、人とロボットが接近している場合（ステップＳ６）の変更と異なる変更を行ってもよい。その場合には、人に注意を向けさせるステップＳ６の変更よりも目立たない変更を行う。具体的には色を目立たなくする、字を小さくする等の変更を行う。In addition, in step S7 of FIG. 3, an example was shown in which the display image is sent as is when the person and the robot are not in close proximity, but changes different from those made when the person and the robot are in close proximity (step S6) may be made. In that case, changes that are less noticeable than the changes made in step S6 to draw the person's attention are made. Specifically, changes are made such as making the colors less noticeable or making the text smaller.

また、ロボット動作情報として、動作開始位置Ｐ１、現在位置Ｐｃ、目的位置Ｐ２、動作経路Ｌ１、動作方向を表示させたが、ロボット１の姿勢をロボット動作情報として表示させてもよい。図６は、ロボット動作情報をロボット１の姿勢とした表示画像の一例である。この場合、表示画像生成部１２は、アームモデルを用いて一定時間後のロボットの姿勢を生成する。このようにすると、ロボット動作情報を人に立体的に認識させることができる。つまり、人の安全に関わるロボットの動作を、よりわかりやすく表示できる。In addition, while the operation start position P1, current position Pc, destination position P2, operation path L1, and operation direction are displayed as the robot operation information, the posture of therobot 1 may also be displayed as the robot operation information. Figure 6 is an example of a display image in which the robot operation information is the posture of therobot 1. In this case, the displayimage generation unit 12 uses an arm model to generate the posture of the robot after a certain period of time. In this way, the robot operation information can be recognized three-dimensionally by people. In other words, the robot's operations related to people's safety can be displayed in a more understandable manner.

また、表示装置５が空間上に画像を表示させる例について説明したが、表示装置５がプロジェクタであれば投影面を決めて画像を表示させてもよい。図７は、投影面をベルトコンベア６とした例である。Although an example in which thedisplay device 5 displays an image in space has been described, if thedisplay device 5 is a projector, the image may be displayed on a determined projection surface. Figure 7 shows an example in which the projection surface is aconveyor belt 6.

また、表示装置５をヘッドマウントディスプレイとしてもよいし、ＬＥＤディスプレイとしてもよい。図８は、ロボット１の台座に表示装置５であるＬＥＤディスプレイを組み込んだ例である。ロボット動作情報として、動作方向を図形で、動作速度を文字で表示している。Thedisplay device 5 may also be a head-mounted display or an LED display. Figure 8 shows an example in which an LED display as thedisplay device 5 is incorporated into the base of therobot 1. As robot operation information, the direction of movement is displayed as a graphic figure, and the speed of movement is displayed as text.

また、ロボット１が停止中の場合、警告の追加に加えロボット１が停止中である旨の表示をしてもよい。図９はロボット１が停止中であることを表示させた例である。実際の作業では、ロボット１を一時停止し、再始動により動作を途中から行う場合がある。人がロボット１の動作範囲内にいると、再始動したときにロボット１と衝突したり、人がロボット１の動作に驚いて転倒したりする可能性がある。そのため、停止中であること、および、再始動後の動作軌跡を表示することで、停止中であっても再始動時のロボット１の動作であって、人の安全に関わる動作を人に知らせることができる。Furthermore, when therobot 1 is stopped, in addition to adding a warning, a display may be displayed indicating that therobot 1 is stopped. Figure 9 is an example of a display indicating that therobot 1 is stopped. In actual work, therobot 1 may be temporarily stopped and then restarted to continue its operation from the middle. If a person is within the operating range of therobot 1, there is a possibility that therobot 1 may collide with therobot 1 when it is restarted, or that the person may be startled by therobot 1's movements and fall over. Therefore, by displaying that therobot 1 is stopped and the trajectory of its movements after restart, it is possible to inform the person of the movements that are related to the safety of the person, even when therobot 1 is stopped, as these are the movements of therobot 1 at the time of restart.

また、作業者２を人の例として説明したが、指令者、見学者等の作業者２以外の人を検出して、同様の操作をすることも可能である。Although theworker 2 has been described as an example of a human, it is also possible to detect people other than theworker 2, such as a commander or visitor, and perform similar operations.

実施の形態２．
図１０は実施の形態２にかかるロボット制御システム１００を示す機能ブロック図である。実施の形態１と同じ箇所は説明を省略する。Embodiment 2.
10 is a functional block diagram showing arobot control system 100 according to the second embodiment. Descriptions of the same parts as those in the first embodiment will be omitted.

図１０に基づき、実施の形態２にかかるロボット制御システム１００について説明する。実施の形態２のロボット制御システム１００は、実施の形態１のロボット制御システム１００に対し、判定処理部１４が衝突判定部１６となる点が異なる。その他は、実施の形態１と同様である。Arobot control system 100 according to the second embodiment will be described with reference to Fig. 10. Therobot control system 100 according to the second embodiment differs from therobot control system 100 according to the first embodiment in that thejudgment processing unit 14 is replaced by acollision judgment unit 16. The rest of the system is the same as the first embodiment.

認識処理部１３は、撮像情報から、人がいるか、どの位置に人がいるか、どの位置に物体があるか、人または物体の速度等を解析し、結果を衝突判定部１６に送信する。衝突判定部１６は、先読み動作計算部１１から受信したロボット動作情報、および認識処理部１３の解析結果に基づいて、人または物体がロボット１と衝突するか否かを判定する。衝突判定部１６は、判定結果を表示切替処理部１５に送信する。Therecognition processing unit 13 analyzes the imaging information to determine whether there is a person, where the person is, where an object is, the speed of the person or object, etc., and transmits the results to thecollision determination unit 16. Thecollision determination unit 16 determines whether or not a person or object will collide with therobot 1 based on the robot operation information received from the look-aheadoperation calculation unit 11 and the analysis results of therecognition processing unit 13. Thecollision determination unit 16 transmits the determination result to the display switchingprocessing unit 15.

図１１は、実施の形態２にかかるロボット制御装置３が行う処理のフローチャートである。図３のフローチャートと比べると、ステップＳ５およびステップＳ６がなく、ステップＳ８からステップＳ１１が追加されている点が異なり、その他は同様である。図３と同様の箇所は説明を省略する。Figure 11 is a flowchart of the processing performed by therobot control device 3 according to the second embodiment. Compared to the flowchart in Figure 3, it differs in that steps S5 and S6 are not included and steps S8 to S11 have been added, but otherwise it is the same. Explanations of the same parts as in Figure 3 will be omitted.

まず、ステップＳ４がＹｅｓの場合、衝突判定部１６は認識処理部１３の解析結果から、人がロボット１と衝突するか否かを判定する（ステップＳ８）。衝突すると判定された場合（ステップＳ８ Ｙｅｓ）、表示切替処理部１５は、表示画像に警告を追加して表示装置５に送信する（ステップＳ１０）。衝突しない場合（ステップＳ８ Ｎｏ）、表示切替処理部１５は表示画像をそのまま送信する（ステップＳ７）。First, if step S4 is Yes, thecollision determination unit 16 determines whether or not the person will collide with therobot 1 based on the analysis result of the recognition processing unit 13 (step S8). If it is determined that a collision will occur (step S8 Yes), the display switchingprocessing unit 15 adds a warning to the display image and transmits it to the display device 5 (step S10). If there will be no collision (step S8 No), the display switchingprocessing unit 15 transmits the display image as is (step S7).

ステップＳ４で人がいると判定されない場合（ステップＳ４ Ｎｏ）、衝突判定部１６は認識処理部１３の解析結果から、物体がロボット１と衝突するか否かを判定する（ステップＳ９）。物体がロボット１と衝突する場合（ステップＳ９ Ｙｅｓ）、表示切替処理部１５は、ステップＳ１０の警告より目立たない態様で表示画像に警告を追加して表示装置５に送信する（ステップＳ１１）。衝突しない場合（ステップＳ９ Ｎｏ）、表示切替処理部１５は表示画像をそのまま送信する（ステップＳ７）。If it is not determined in step S4 that a person is present (step S4 No), thecollision determination unit 16 determines whether or not the object will collide with therobot 1 from the analysis result of the recognition processing unit 13 (step S9). If the object will collide with the robot 1 (step S9 Yes), the display switchingprocessing unit 15 adds a warning to the display image in a manner that is less noticeable than the warning in step S10 and transmits the warning to the display device 5 (step S11). If there is no collision (step S9 No), the display switchingprocessing unit 15 transmits the display image as is (step S7).

ステップＳ１０では、例えば、警告に用いる線の太さを、物体とロボット１が衝突した場合の警告に用いる線の太さより太くしたり、文字の大きさを大きくしたり、色をステップＳ１１の警告とは異なる色にして、警告を目立たせる。ここで、ステップＳ１０では、画像の変更だけでなく音を発生させてもよい。In step S10, the warning is made more noticeable by, for example, making the line thickness used for the warning thicker than the line thickness used for the warning when the object collides with therobot 1, making the font larger, or changing the color of the warning in step S11. Here, in step S10, not only the image may be changed but also a sound may be generated.

このように本実施の形態によれば、回避行動をとらなければ人がロボット１と衝突しそうな場合に、表示切替処理部１５が、物体がロボット１と衝突する場合よりも目立つ態様で警告を追加する。これにより、回避行動をとらなければ人と衝突してしまうという安全上影響が大きいロボット１の動作を、作業者２が把握しやすくなる。Thus, according to this embodiment, when a person is likely to collide with therobot 1 unless evasive action is taken, the display switchingprocessing unit 15 adds a warning in a more conspicuous manner than when an object collides with therobot 1. This makes it easier for theworker 2 to understand the behavior of therobot 1, which has a large impact on safety, such as a collision with a person unless evasive action is taken.

ロボット１と作業者２の協働作業中には、作業者２が作業していたワーク７をロボット１の動作軌跡上に置いてしまうことがある。本実施の形態によれば、物体がロボット１と衝突しそうな場合に表示切替処理部１５が警告を追加するので、このような場合でも、作業者２が、ワーク７の衝突前にワーク７を取り除く等の対処をさせることができる。すなわち、作業を一時的に停止することなく、物体とロボット１との干渉が防げるので作業効率が向上する。When therobot 1 and theworker 2 are working together, theworkpiece 7 that theworker 2 is working on may end up being placed on the motion trajectory of therobot 1. According to this embodiment, the display switchingprocessing unit 15 adds a warning if an object is about to collide with therobot 1, so that even in such a case, theworker 2 can take action such as removing theworkpiece 7 before it collides with therobot 1. In other words, interference between the object and therobot 1 can be prevented without temporarily stopping the work, improving work efficiency.

なお、本実施の形態において実施の形態１の判定処理部１４の代わりに衝突判定部１６を備えたが、判定処理部１４に加え衝突判定部１６があってもよい。その場合には、人が衝突すると判定された場合、表示切替処理部１５は、人が接近している場合の警告よりも目立つ態様で警告を追加して表示する。これにより、人の安全に関わるロボット１の動作について、安全に関わるレベルを分けて作業者に知らせることができる。In this embodiment, acollision determination unit 16 is provided instead of thedetermination processing unit 14 ofembodiment 1, but acollision determination unit 16 may be provided in addition to thedetermination processing unit 14. In that case, when it is determined that a person will collide with the robot, the display switchingprocessing unit 15 displays an additional warning that is more noticeable than the warning when a person is approaching. This makes it possible to inform the operator of the operation of therobot 1 that is related to human safety by dividing it into safety-related levels.

実施の形態３．
図１２は、実施の形態３にかかるロボット制御システム１００を示す機能ブロック図である。図１２に基づき、実施の形態３にかかるロボット制御システム１００について説明する。実施の形態３では、実施の形態１の表示切替処理部１５に画像方向変更部１７が追加されている点が異なり、その他の構成は同様である。実施の形態１と同じ箇所は説明を省略する。Embodiment 3.
Fig. 12 is a functional block diagram showing arobot control system 100 according to the third embodiment. Therobot control system 100 according to the third embodiment will be described with reference to Fig. 12. The third embodiment is different from the first embodiment in that an imagedirection changing unit 17 is added to the display switchingprocessing unit 15, but the other configurations are the same. Descriptions of the same parts as in the first embodiment will be omitted.

画像方向変更部１７は、認識処理部１３から人の位置を取得する。画像方向変更部１７は、取得した位置から見やすくなるよう、警告等追加した表示画像をさらに変更する。すなわち、画像方向変更部１７は、人の位置によって表示画像の向きを変更する。図１３は、画像方向変更部１７により文字方向を変更した一例である。表示画像生成部１２が作成した表示画像の文字を作業者２の位置が正面になるよう回転させる変更を行っている。The imageorientation change unit 17 acquires the person's position from therecognition processing unit 13. The imageorientation change unit 17 further changes the display image to which a warning or the like has been added so that it is easier to see from the acquired position. In other words, the imageorientation change unit 17 changes the orientation of the display image depending on the person's position. Figure 13 is an example of changing the character direction by the imageorientation change unit 17. The character of the display image created by the displayimage generation unit 12 is rotated so that theworker 2 is positioned in front.

このようにすれば、作業者２に表示画像を把握させやすくなるので、人の安全に関わるロボットの動作をより把握しやすくできる。This makes it easier forworker 2 to understand the displayed image, making it easier for him or her to understand the robot's operations that are related to human safety.

なお、実施の形態１のロボット制御システム１００の表示切替処理部１５に画像方向変更部１７を追加させる例について説明したが、同様に実施の形態２のロボット制御システム１００に追加させてもよい。この場合にも人の安全に関わるロボット１の動作をより把握しやすくできる。Although an example of adding the imagedirection change unit 17 to the display switchingprocessing unit 15 of therobot control system 100 of the first embodiment has been described, it may be added to therobot control system 100 of the second embodiment in a similar manner. In this case as well, it is possible to make it easier to understand the operation of therobot 1 that is related to human safety.

実施の形態４．
図１４は、実施の形態４にかかるロボット制御システム１００を示す機能ブロック図である。図１４に基づき、実施の形態４にかかるロボット制御システム１００について説明する。実施の形態４のロボット制御システム１００は、実施の形態１における先読み動作計算部１１に表示区間設定部１８を備える点が異なり、その他の構成は同様である。実施の形態１と同じ箇所は説明を省略する。Embodiment 4.
Fig. 14 is a functional block diagram showing arobot control system 100 according to the fourth embodiment. Therobot control system 100 according to the fourth embodiment will be described with reference to Fig. 14. Therobot control system 100 of the fourth embodiment is different from that of the first embodiment in that the look-aheadoperation calculation unit 11 includes a displayinterval setting unit 18, and the other configurations are the same. Descriptions of the same parts as those of the first embodiment will be omitted.

先読み動作計算部１１は、表示画像の表示区間を取得する表示区間設定部１８を有する。表示区間設定部１８は、図示しないＲＯＭ等の記憶装置３２を有し、作業者２からあらかじめ取得した表示区間を記憶装置３２に記憶させる。図１５は、表示区間を説明する図である。図１５において、現在位置はＰｃ、現在時刻はＴｃ、動作開始位置はＰ１、開始時刻はＴ１、目的位置はＰ２、目的位置に対応する時刻はＴ２である。現在時刻Ｔｃを起点に過去表示区間Ｔｓだけ過去の時刻Ｔｃ－Ｔｓから、現在時刻Ｔｃを起点に未来表示区間Ｔｅだけ未来の時刻Ｔｃ＋Ｔｅまでが表示区間である。表示区間設定部１８は、過去表示区間Ｔｓおよび未来表示区間Ｔｅを記憶装置３２に記憶させる。The look-aheadmotion calculation unit 11 has a displayinterval setting unit 18 that acquires the display interval of the display image. The displayinterval setting unit 18 has astorage device 32 such as a ROM (not shown), and stores the display interval acquired in advance from theworker 2 in thestorage device 32. Figure 15 is a diagram explaining the display interval. In Figure 15, the current position is Pc, the current time is Tc, the motion start position is P1, the start time is T1, the destination position is P2, and the time corresponding to the destination position is T2. The display interval is from time Tc-Ts, which is the past display interval Ts from the current time Tc as the starting point, to time Tc+Te, which is the future display interval Te from the current time Tc as the starting point. The displayinterval setting unit 18 stores the past display interval Ts and the future display interval Te in thestorage device 32.

先読み動作計算部１１は、過去表示区間Ｔｓ、未来表示区間Ｔｅを用いて、時刻Ｔｃ－Ｔｓに対応する変更表示開始位置Ｐｓ、時刻Ｔｃ＋Ｔｅに対応する変更表示終了位置Ｐｅ、および変更表示開始位置Ｐｓから変更表示終了位置Ｐｅまでのロボット１の動作軌跡をロボット動作情報として算出し、表示画像生成部１２に送信する。先読み動作計算部１１は、現在時刻Ｔｃから未来表示区間Ｔｅの時間未来に到る時刻（Ｔｃ＋Ｔｅ）に対応するロボット１の位置をロボット動作情報として算出する。The look-aheadmovement calculation unit 11 uses the past display section Ts and the future display section Te to calculate the changed display start position Ps corresponding to time Tc-Ts, the changed display end position Pe corresponding to time Tc+Te, and the movement trajectory of therobot 1 from the changed display start position Ps to the changed display end position Pe as robot movement information, and transmits this to the displayimage generation unit 12. The look-aheadmovement calculation unit 11 calculates the position of therobot 1 corresponding to a time (Tc+Te) that is from the current time Tc to the future of the future display section Te as robot movement information.

表示画像生成部１２は、現在時刻Ｔｃから未来表示区間Ｔｅ分未来の時刻（Ｔｃ＋Ｔｅ）に対応するロボット１の位置を含む表示画像を生成する。The displayimage generation unit 12 generates a display image including the position of therobot 1 corresponding to a time (Tc+Te) that is a future display interval Te from the current time Tc.

図１６は、実施の形態４にかかる表示画像生成部１２により表示区間を変更した一例である。表示画像は、動作開始位置Ｐ１、現在位置Ｐｃ、動作経路Ｌ１、動作開始位置Ｐ１と現在位置Ｐｃの間の軌跡上にある変更表示開始位置Ｐｓ、現在位置Ｐｃと目的位置Ｐ２の間の軌跡上にある変更表示終了位置Ｐｅ、変更表示開始位置Ｐｓから変更表示終了位置Ｐｅまでの動作軌跡、動作方向を含んでいる。Figure 16 is an example in which the display section is changed by the displayimage generating unit 12 according toembodiment 4. The display image includes an action start position P1, a current position Pc, an action path L1, a changed display start position Ps on the trajectory between the action start position P1 and the current position Pc, a changed display end position Pe on the trajectory between the current position Pc and the destination position P2, a motion trajectory from the changed display start position Ps to the changed display end position Pe, and a motion direction.

図１７、図１８は、実施の形態４にかかるロボット制御システム１００における表示区間の設定例である。図１７は、図１８よりも表示区間を長く設定している。表示区間の長さは作業者２に応じて決定する。例えば、作業者２が初心者の場合、作業者２はロボットの動作を予測することが難しいため、表示区間を長くする。逆に作業者２が熟練者の場合、作業者２はロボットの動作を予測することができるので、表示区間を短くする。図１８の例では、変更表示開始位置Ｐｓは現在位置Ｐｃと同じ位置としている。Figures 17 and 18 are examples of display interval settings in therobot control system 100 according toembodiment 4. In Figure 17, the display interval is set longer than in Figure 18. The length of the display interval is determined according to theworker 2. For example, if theworker 2 is a beginner, it is difficult for theworker 2 to predict the robot's movements, so the display interval is made longer. Conversely, if theworker 2 is an expert, theworker 2 can predict the robot's movements, so the display interval is made shorter. In the example of Figure 18, the changed display start position Ps is set to the same position as the current position Pc.

このように、本実施の形態では、表示区間設定部１８で表示区間を設定できるようにしたので、例えば作業者２の熟練度に応じて表示区間の変更が可能となる。表示区間を長くすることで、ロボット１の動作の予測が難しい作業者２でもロボットの動作を把握でき、安全性が向上する。また、表示区間を短くすることで、作業者２が作業に集中でき作業効率を向上させることができる。In this way, in this embodiment, the display interval can be set by the displayinterval setting unit 18, so that the display interval can be changed according to the proficiency of theworker 2, for example. By lengthening the display interval, even aworker 2 who has difficulty predicting the movements of therobot 1 can understand the movements of the robot, improving safety. Furthermore, by shortening the display interval, theworker 2 can concentrate on the work, improving work efficiency.

なお、ここでは過去表示区間Ｔｓおよび未来表示区間Ｔｅを取得する例について説明したが、過去表示区間Ｔｓと未来表示区間Ｔｅを同一の値とし、１つの値を取得してもよい。過去表示区間Ｔｓを固定値とし、未来表示区間Ｔｅのみ取得してもよい。これらの場合も上述と同様の効果を奏する。Note that, although an example of acquiring the past display section Ts and the future display section Te has been described here, the past display section Ts and the future display section Te may be set to the same value and a single value may be acquired. The past display section Ts may be set to a fixed value and only the future display section Te may be acquired. In these cases, the same effect as described above is achieved.

また、実施の形態１のロボット制御システム１００の先読み動作計算部１１に表示区間設定部１８を備える例について説明したが、実施の形態２、実施の形態３のロボット制御システム１００に備えてもよい。これらの場合も上述と同様の効果を奏する。Although an example in which the look-aheadoperation calculation unit 11 of therobot control system 100 of the first embodiment is provided with the displayinterval setting unit 18 has been described, it may also be provided in therobot control system 100 of the second and third embodiments. In these cases, the same effects as those described above can be achieved.

以上の実施の形態に示した構成は、本開示の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、上記の実施の形態の組み合わせや、本開示の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。The configurations shown in the above embodiments are examples of the contents of the present disclosure, and may be combined with other known technologies. It is also possible to combine the above embodiments, or omit or modify parts of the configurations without departing from the gist of the present disclosure.

１ ロボット、２ 作業者、３ ロボット制御装置、４ 撮像装置、５ 表示装置、６ ベルトコンベア、７ ワーク、１０ ロボット制御部、１１ 先読み動作計算部、１２ 表示画像生成部、１３ 認識処理部、１４ 判定処理部、１５ 表示切替処理部、１６ 衝突判定部、１７ 画像方向変更部、１００ ロボット制御システム。1 Robot, 2 Worker, 3 Robot control device, 4 Imaging device, 5 Display device, 6 Conveyor belt, 7 Work, 10 Robot control unit, 11 Look-ahead operation calculation unit, 12 Display image generation unit, 13 Recognition processing unit, 14 Judgment processing unit, 15 Display switching processing unit, 16 Collision judgment unit, 17 Image direction change unit, 100 Robot control system.

Claims (5)

Translated fromJapanese

制御プログラムで動作するロボット制御装置であって、
ユーザの設定により変更可能な表示区間を記憶装置に記憶する表示区間設定部を有し、前記制御プログラムを先読みし、前記制御プログラムに規定されたロボットの動作を示すロボット動作情報を算出する先読み動作計算部と、
前記ロボット動作情報を示す表示画像であって、前記表示区間に対応した前記ロボットの位置を含む前記表示画像を生成する表示画像生成部と、
前記ロボットの動作領域内の人および物体を検出する検出装置から受信した検出信号に人が含まれるか否かを認識する認識処理部と、
前記認識処理部が人を含むと認識した場合は、前記表示画像に警告表示を追加し、人を含まないと認識した場合は、前記表示画像に警告表示を追加しない表示切替処理部と、
を備え、
前記表示切替処理部は、回避行動をとらなければ前記認識処理部により前記検出信号に含まれると認識された人が前記ロボットと衝突しそうな場合に、前記物体が前記ロボットと衝突する場合よりも目立つ態様で前記警告表示を追加する、
ロボット制御装置。 A robot control device that operates according to a control program,
a display section setting unit that stores a display section that can be changed by a user in a storage device, and a look-ahead motion calculation unit that looks ahead at the control program and calculates robot motion information that indicates a robot motion defined in the control program;
a display image generating unit that generates a display image showing the robot operation information, the display image including a position of the robot corresponding to the display section;
a recognition processing unit that recognizes whether a person is included in a detection signal received from a detection device that detects people and objects within an operating area of the robot;
a display switching processing unit that adds a warning display to the display image when the recognition processing unit recognizes that the display image includes a person, and does not add a warning display to the display image when the recognition processing unit recognizes that the display image does not include a person;
Equipped with
the display switching processing unit, when a person recognized by the recognition processing unit as being included in the detection signal is likely to collide with the robot unless an avoidance action is taken, adds the warning display in a more conspicuous manner than when the object is to collide with the robot.
Robot control device. 前記表示区間は、時間の長さに関する情報であることを特徴とする請求項１に記載のロボット制御装置。The robot control device according to claim 1, characterized in that the display interval is information relating to a length of time. 前記認識処理部は、前記人の位置を解析し、
前記表示切替処理部は、前記人の位置によって前記表示画像の向きを変更する画像方向変更部を有することを特徴とする請求項１に記載のロボット制御装置。 The recognition processing unit analyzes a position of the person,
The robot control device according to claim 1 , wherein the display switching processing unit includes an image direction changing unit that changes the direction of the display image depending on the position of the person. 請求項１から３のいずれか一項に記載のロボット制御装置と、
前記ロボット制御装置により制御されるロボットと、
前記ロボットの動作領域を含む領域を検出する検出装置と、
前記ロボット制御装置から表示画像を受信し表示する表示装置と
を備えるロボット制御システム。 A robot control device according to any one of claims 1 to 3,
a robot controlled by the robot control device;
A detection device for detecting an area including a motion area of the robot;
A robot control system comprising a display device that receives and displays a display image from the robot control device. ユーザの設定により変更可能な表示区間を記憶装置に記憶するステップと、
制御プログラムを先読みし、前記制御プログラムに規定されたロボットの動作を示すロボット動作情報を算出するステップと、
前記ロボット動作情報を示す表示画像であって、前記表示区間に対応した前記ロボットの位置を含む前記表示画像を生成するステップと、
前記ロボットの動作領域内の人および物体を検出する検出装置から受信した検出信号に人が含まれるか否かを認識する認識ステップと、
人を含むと認識した場合は、前記表示画像に警告表示を追加し、人を含まないと認識した場合は、前記表示画像に警告表示を追加しない表示切替ステップと
を含み、
前記表示切替ステップは、回避行動をとらなければ前記認識ステップにおいて前記検出信号に含まれると認識された人が前記ロボットと衝突しそうな場合に、前記物体が前記ロボットと衝突する場合よりも目立つ態様で前記警告表示を追加する、
ロボット制御方法。 storing a display section that can be changed by a user in a storage device;
A step of reading ahead a control program and calculating robot operation information indicating a robot operation defined in the control program;
generating a display image showing the robot operation information, the display image including a position of the robot corresponding to the display section;
a recognition step of recognizing whether a person is included in a detection signal received from a detection device that detects people and objects within an operating area of the robot;
a display switching step of adding a warning display to the display image when it is recognized that the display image includes a person, and not adding a warning display to the display image when it is recognized that the display image does not include a person,
the display switching step adds the warning display in a more conspicuous manner than in a case where the object collides with the robot, when the person recognized in the recognition step as being included in the detection signal is likely to collide with the robot unless an avoidance action is taken;
A method for controlling a robot.

Images