JP7619397B1

Movatterモバイル変換

Info

Publication number: JP7619397B1
Application number: JP2023120698A
Authority: JP
Inventors: 優樹末廣
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2023-07-25
Filing date: 2023-07-25
Publication date: 2025-01-22
Anticipated expiration: 2043-07-25
Also published as: JP2025017575A

Abstract

【課題】遠隔オペレータが移動体を右折あるいは左折させる際の安全確認をより容易に行うことができる技術を提供する。【解決手段】遠隔オペレータ端末は、移動体の遠隔操作を行う遠隔オペレータによって用いられる。遠隔オペレータ端末は、移動体に搭載された後側方カメラによって撮影される後側方画像を表示する表示装置を備える。表示装置は、更に、移動体の後方における移動体の軌跡を後側方画像に重ねて表示する。【選択図】図５[Problem] To provide a technology that enables a remote operator to more easily check for safety when turning a mobile object right or left. [Solution] A remote operator terminal is used by a remote operator who remotely controls the mobile object. The remote operator terminal is equipped with a display device that displays a rear-side image captured by a rear-side camera mounted on the mobile object. The display device further displays the trajectory of the mobile object behind the mobile object by superimposing it on the rear-side image. [Selected Figure] Figure 5

Description

Translated fromJapanese

本開示は、遠隔オペレータにより行われる移動体の遠隔操作に関する。This disclosure relates to remote operation of a moving object performed by a remote operator.

特許文献１は、作業機械を遠隔制御する際の画像表示方法を開示している。作業機械には前方カメラと後方カメラが取り付けられる。前方カメラと後方カメラによって撮影される画像が、遠隔操作側のディスプレイに表示される。このとき、前方カメラと後方カメラのいずれか一方により撮影される画像が、他方により撮影される画像よりも大きく表示される。Patent Document 1 discloses an image display method for remotely controlling a work machine. A front camera and a rear camera are attached to the work machine. Images captured by the front camera and the rear camera are displayed on the display of the remote control device. At this time, the image captured by either the front camera or the rear camera is displayed larger than the image captured by the other camera.

特開２０１１－００９８２３号公報JP 2011-009823 A

遠隔オペレータにより行われる移動体の遠隔操作について考える。移動体を右折あるいは左折させる際、遠隔オペレータは、移動体が他の物体を巻き込まないように移動体の周囲の状況を確認する。Consider remote control of a moving object by a remote operator. When turning right or left, the remote operator checks the situation around the moving object to ensure that the moving object does not hit other objects.

本開示の１つの目的は、遠隔オペレータが移動体を右折あるいは左折させる際の安全確認をより容易に行うことができる技術を提供することにある。One objective of the present disclosure is to provide technology that enables a remote operator to more easily check for safety when turning a mobile vehicle right or left.

第１の観点は、移動体の遠隔操作を行う遠隔オペレータのための遠隔オペレータ端末に関する。
遠隔オペレータ端末は、移動体に搭載された後側方カメラによって撮影される後側方画像を表示する表示装置を備える。
表示装置は、更に、移動体の後方における移動体の軌跡を後側方画像に重ねて表示する。 The first aspect relates to a remote operator terminal for a remote operator who remotely operates a mobile object.
The remote operator terminal includes a display device that displays rear-side images captured by the rear-side cameras mounted on the vehicle.
The display device further displays the trajectory of the moving object behind the moving object by superimposing it on the rear side image.

第２の観点は、移動体の遠隔操作を行う遠隔オペレータに対する情報を表示装置に表示する遠隔操作支援方法に関する。
遠隔操作支援方法は、
移動体に搭載された後側方カメラによって撮影される後側方画像を表示装置に表示することと、
移動体の後方における移動体の軌跡を後側方画像に重ねて表示することと
を含む
。 The second aspect relates to a remote operation support method for displaying information for a remote operator who remotely operates a mobile object on a display device.
The remote operation support method is as follows:
Displaying a rear-side image captured by a rear-side camera mounted on the moving object on a display device;
and displaying a trajectory of the moving object behind the moving object in a manner superimposed on the rear side image.

第３の観点は、遠隔操作システムに関する。
遠隔操作システムは、
移動体の遠隔操作を制御する１又は複数のプロセッサと、
移動体の遠隔操作を行う遠隔オペレータに対する情報を表示する表示装置と
を備える。
１又は複数のプロセッサは、移動体に搭載された後側方カメラによって撮影される後側方画像を取得する。
１又は複数のプロセッサは、移動体の後方における移動体の軌跡の情報を取得する。
１又は複数のプロセッサは、移動体の軌跡を後側方画像に重ねて表示装置に表示する。 The third aspect relates to a remote control system.
The remote control system is
One or more processors for controlling remote operation of the mobile object;
and a display device that displays information for a remote operator who remotely controls the mobile object.
The one or more processors acquire rear-side images taken by a rear-side camera mounted on the vehicle.
The one or more processors obtain information on the trajectory of the moving object behind the moving object.
The one or more processors display the trajectory of the moving object on the display device by superimposing the trajectory on the rear-side image.

本開示によれば、移動体の遠隔操作に用いられる表示装置は、移動体に搭載された後側方カメラによって撮影される後側方画像を表示する。更に、表示装置は、移動体の後方における移動体の軌跡を後側方画像に重ねて表示する。遠隔オペレータは、移動体の軌跡が重ねられた後側方画像を見ることによって、移動体の左折あるいは右折時の安全確認をより容易に行うことができる。これにより、遠隔オペレータは、より安全に移動体の遠隔操作を行うことが可能となる。According to the present disclosure, a display device used for remotely controlling a moving body displays a rear-side image captured by a rear-side camera mounted on the moving body. Furthermore, the display device displays the trajectory of the moving body behind the moving body superimposed on the rear-side image. By looking at the rear-side image with the trajectory of the moving body superimposed, the remote operator can more easily check for safety when the moving body turns left or right. This allows the remote operator to remotely control the moving body more safely.

実施の形態に係る遠隔操作システムの構成例を示す概略図である。1 is a schematic diagram illustrating a configuration example of a remote control system according to an embodiment;実施の形態に係る車両に搭載されるカメラの例を示す概念図である。1 is a conceptual diagram illustrating an example of a camera mounted on a vehicle according to an embodiment;実施の形態に係る遠隔オペレータ端末の表示装置の一例を説明するための概念図である。FIG. 2 is a conceptual diagram for explaining an example of a display device of a remote operator terminal according to an embodiment.遠隔オペレータが車両を左折させるシーンを説明するための概念図である。FIG. 13 is a conceptual diagram for explaining a scene in which a remote operator turns a vehicle left.実施の形態に係る軌跡表示処理の一例を説明するための概念図である。10A to 10C are conceptual diagrams for explaining an example of a path display process according to an embodiment.実施の形態に係る軌跡表示処理の他の例を説明するための概念図である。10A to 10C are conceptual diagrams for explaining another example of the path display process according to the embodiment.実施の形態に係る軌跡表示処理の更に他の例を説明するための概念図である。13 is a conceptual diagram for explaining still another example of the path display process according to the embodiment. FIG.実施の形態に係る軌跡表示処理のＯＮ／ＯＦＦを説明するための概念図である。11 is a conceptual diagram for explaining ON/OFF of a path display process according to an embodiment. FIG.実施の形態に係る軌跡表示処理に関連する機能構成例を示すブロック図である。4 is a block diagram showing an example of a functional configuration related to a path display process according to an embodiment; FIG.実施の形態に係る軌跡表示処理に関連する処理を示すフローチャートである。10 is a flowchart showing a process related to a path display process according to an embodiment.実施の形態に係る車両の構成例を示すブロック図である。1 is a block diagram showing an example of the configuration of a vehicle according to an embodiment;実施の形態に係る遠隔オペレータ端末の構成例を示すブロック図である。2 is a block diagram showing a configuration example of a remote operator terminal according to an embodiment; FIG.

添付図面を参照して、本開示の実施の形態を説明する。An embodiment of the present disclosure will be described with reference to the attached drawings.

１．遠隔操作システムの概要
移動体の遠隔操作（遠隔運転）について考える。特に、地上を走行する移動体の遠隔操作について考える。遠隔操作の対象である移動体としては、車両、ロボット、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。一例として、以下の説明においては、移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。 1. Overview of the Remote Control System Consider the remote control (remote driving) of a moving object. In particular, consider the remote control of a moving object traveling on the ground. Examples of moving objects that are the subject of remote control include vehicles and robots. The vehicle may be an autonomous vehicle or a vehicle driven by a driver. Examples of robots include logistics robots and work robots. As an example, in the following explanation, consider the case where the moving object is a vehicle. When generalizing, "vehicle" in the following explanation should be read as "moving object".

図１は、本実施の形態に係る遠隔操作システム１の構成例を示す概略図である。遠隔操作システム１は、車両１００、遠隔オペレータ端末２００、及び管理装置３００を含んでいる。車両１００は、遠隔操作の対象である。遠隔オペレータ端末２００は、遠隔オペレータＯが車両１００を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末２００を遠隔操作ＨＭＩ（Human Machine Interface）と言うこともできる。管理装置３００は、遠隔操作システム１の管理を行う。典型的には、管理装置３００は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。FIG. 1 is a schematic diagram showing an example of the configuration of a remote operation system 1 according to the present embodiment. The remote operation system 1 includes avehicle 100, aremote operator terminal 200, and amanagement device 300. Thevehicle 100 is the target of remote operation. Theremote operator terminal 200 is a terminal device used by a remote operator O to remotely operate thevehicle 100. Theremote operator terminal 200 can also be called a remote operation HMI (Human Machine Interface). Themanagement device 300 manages the remote operation system 1. Typically, themanagement device 300 is a management server on the cloud. The management server may be composed of multiple servers that perform distributed processing.

車両１００、遠隔オペレータ端末２００、及び管理装置３００は、通信ネットワークを介して互いに通信可能である。車両１００と遠隔オペレータ端末２００は、管理装置３００を介して互いに通信可能である。また、車両１００と遠隔オペレータ端末２００は、管理装置３００を介さずに直接通信を行ってもよい。Thevehicle 100, theremote operator terminal 200, and themanagement device 300 can communicate with each other via a communication network. Thevehicle 100 and theremote operator terminal 200 can communicate with each other via themanagement device 300. Thevehicle 100 and theremote operator terminal 200 may also communicate directly without going through themanagement device 300.

車両１００には、カメラＣを含む各種センサが搭載されている。カメラＣは、車両１００の周囲を撮影し、車両１００の周囲の状況を示す画像（映像）ＩＭＧを取得する。センサ検出情報ＳＥＮは、各種センサにより得られる情報を含む。センサ検出情報ＳＥＮは、少なくとも、カメラＣにより撮影される画像ＩＭＧを含む。センサ検出情報ＳＥＮは、車両１００の位置及び状態（例：速度、操舵角、等）を含んでいてもよい。車両１００は、センサ検出情報ＳＥＮを遠隔オペレータ端末２００に送信する。Thevehicle 100 is equipped with various sensors including a camera C. The camera C captures the surroundings of thevehicle 100 and acquires an image (video) IMG showing the situation around thevehicle 100. The sensor detection information SEN includes information obtained by the various sensors. The sensor detection information SEN includes at least the image IMG captured by the camera C. The sensor detection information SEN may include the position and state of the vehicle 100 (e.g. speed, steering angle, etc.). Thevehicle 100 transmits the sensor detection information SEN to theremote operator terminal 200.

遠隔オペレータ端末２００は、車両１００から送信されたセンサ検出情報ＳＥＮを受け取る。遠隔オペレータ端末２００は、センサ検出情報ＳＥＮを遠隔オペレータＯに提示する。具体的には、遠隔オペレータ端末２００は、表示装置２２０を備えており、画像ＩＭＧ等の情報を表示装置２２０に表示する。遠隔オペレータＯは、表示された情報をみて、車両１００の周囲の状況を認識し、車両１００の遠隔操作を行う。つまり、遠隔オペレータＯに対する情報を表示装置２２０に表示することによって、遠隔オペレータＯによる車両１００の遠隔操作が支援される。Theremote operator terminal 200 receives the sensor detection information SEN transmitted from thevehicle 100. Theremote operator terminal 200 presents the sensor detection information SEN to the remote operator O. Specifically, theremote operator terminal 200 is equipped with adisplay device 220, and displays information such as an image IMG on thedisplay device 220. The remote operator O looks at the displayed information, recognizes the situation around thevehicle 100, and remotely operates thevehicle 100. In other words, by displaying information for the remote operator O on thedisplay device 220, the remote operation of thevehicle 100 by the remote operator O is assisted.

遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。遠隔オペレータ端末２００は、遠隔操作情報ＯＰＥを車両１００に送信する。車両１００は、遠隔オペレータ端末２００から送信された遠隔操作情報ＯＰＥを受け取る。車両１００は、受け取った遠隔操作情報ＯＰＥに従って車両走行制御を行う。このようにして、車両１００の遠隔操作が実現される。The remote operation information OPE is information related to remote operation by the remote operator O. For example, the remote operation information OPE includes the amount of operation by the remote operator O. Theremote operator terminal 200 transmits the remote operation information OPE to thevehicle 100. Thevehicle 100 receives the remote operation information OPE transmitted from theremote operator terminal 200. Thevehicle 100 performs vehicle driving control according to the received remote operation information OPE. In this manner, remote operation of thevehicle 100 is realized.

２．表示装置及び表示される画像の例
図２は、車両１００に搭載されるカメラＣの例を示す概念図である。図２に示される例では、車両１００は、前方カメラＣ１、左前方カメラＣ２、右前方カメラＣ３、左後方カメラＣ４、右後方カメラＣ５、及び後方カメラＣ６を備えている。前方カメラＣ１は、車両１００の前方を撮影するように設置されている。左前方カメラＣ２は、車両１００の左前方を撮影するように設置されている。右前方カメラＣ３は、車両１００の右前方を撮影するように設置されている。左後方カメラＣ４は、車両１００の左後方を撮影するように設置されている。右後方カメラＣ５は、車両１００の右後方を撮影するように設置されている。後方カメラＣ６は、車両１００の後方を撮影するように設置されている。 2. Example of display device and displayed image FIG. 2 is a conceptual diagram showing an example of a camera C mounted on avehicle 100. In the example shown in FIG. 2, thevehicle 100 is equipped with a front camera C1, a left front camera C2, a right front camera C3, a left rear camera C4, a right rear camera C5, and a rear camera C6. The front camera C1 is installed to capture the front of thevehicle 100. The left front camera C2 is installed to capture the left front of thevehicle 100. The right front camera C3 is installed to capture the right front of thevehicle 100. The left rear camera C4 is installed to capture the left rear of thevehicle 100. The right rear camera C5 is installed to capture the right rear of thevehicle 100. The rear camera C6 is installed to capture the rear of thevehicle 100.

図３は、遠隔オペレータ端末２００の表示装置２２０の一例を説明するための概念図である。表示装置２２０は、車両１００に搭載されたカメラＣによって撮影される画像ＩＭＧを表示する。図３に示される例では、表示装置２２０は、表示領域（表示部）２２１～２２６を含んでいる。表示領域２２１には、前方カメラＣ１によって撮影され、車両１００の前方の状況を示す前方画像ＩＭＧ１が表示される。表示領域２２２には、左前方カメラＣ２によって撮影され、車両１００の左前方の状況を示す左前方画像ＩＭＧ２が表示される。表示領域２２３には、右前方カメラＣ３によって撮影され、車両１００の右前方の状況を示す右前方画像ＩＭＧ３が表示される。表示領域２２４には、左後方カメラＣ４によって撮影され、車両１００の左後方の状況を示す左後方画像ＩＭＧ４が表示される。表示領域２２５には、右後方カメラＣ５によって撮影され、車両１００の右後方の状況を示す右後方画像ＩＭＧ５が表示される。表示領域２２６には、後方カメラＣ６によって撮影され、車両１００の後方の状況を示す後方画像ＩＭＧ６が表示される。Figure 3 is a conceptual diagram for explaining an example of thedisplay device 220 of theremote operator terminal 200. Thedisplay device 220 displays an image IMG captured by a camera C mounted on thevehicle 100. In the example shown in Figure 3, thedisplay device 220 includes display areas (display sections) 221 to 226. In thedisplay area 221, a forward image IMG1 captured by the forward camera C1 and showing the situation in front of thevehicle 100 is displayed. In thedisplay area 222, a left forward image IMG2 captured by the left forward camera C2 and showing the situation in the left front of thevehicle 100 is displayed. In thedisplay area 223, a right forward image IMG3 captured by the right front camera C3 and showing the situation in the right front of thevehicle 100 is displayed. In thedisplay area 224, a left rear image IMG4 captured by the left rear camera C4 and showing the situation in the left rear of thevehicle 100 is displayed.Display area 225 displays a right rear image IMG5 captured by right rear camera C5 and showing the situation to the right rear ofvehicle 100.Display area 226 displays a rear image IMG6 captured by rear camera C6 and showing the situation to the rear ofvehicle 100.

尚、遠隔オペレータ端末２００はタブレット型であってもよい。遠隔オペレータ端末２００の表示装置２２０は、タッチパネルであってもよい。タッチパネルには、遠隔オペレータＯが車両１００を遠隔操作するための操作部２３１、２３２が表示されてもよい。遠隔オペレータＯは、タッチパネル上の操作部２３１、２３２をタッチすることによって、車両１００を遠隔操作することができる。Theremote operator terminal 200 may be a tablet type. Thedisplay device 220 of theremote operator terminal 200 may be a touch panel. The touch panel may displayoperation units 231, 232 that allow the remote operator O to remotely operate thevehicle 100. The remote operator O can remotely operate thevehicle 100 by touching theoperation units 231, 232 on the touch panel.

図２で例示された左後方カメラＣ４と右後方カメラＣ５は、車両１００の後側方を撮影するための「後側方カメラ」であると言える。また、図３で例示された左後方画像ＩＭＧ４と右後方画像ＩＭＧ５は、車両１００の後側方の状況を示す「後側方画像」であると言える。表示装置２２０は、後側方カメラによって撮影される後側方画像を表示する。遠隔オペレータＯは、表示される後側方画像を見ることによって、車両１００の後側方の状況を確認することができる。これは、車両１００に搭乗しているドライバがサイドミラーを見て後側方の状況を確認することに相当する。The left rear camera C4 and right rear camera C5 illustrated in FIG. 2 can be considered to be "rear side cameras" for capturing images of the rear sides of thevehicle 100. The left rear image IMG4 and right rear image IMG5 illustrated in FIG. 3 can be considered to be "rear side images" showing the situation behind thevehicle 100. Thedisplay device 220 displays the rear side images captured by the rear side cameras. The remote operator O can check the situation behind thevehicle 100 by looking at the displayed rear side images. This is equivalent to a driver in thevehicle 100 checking the situation behind thevehicle 100 by looking at the side mirrors.

表示装置２２０に表示される後側方画像は、例えば、遠隔オペレータＯが車両１００を左折あるいは右折させる際の安全確認に有用である。一例として、図４は、遠隔オペレータＯが車両１００を左折させるシーンを示している。遠隔オペレータＯは、左後方カメラＣ４によって撮影される左後方画像ＩＭＧ４を見ることによって、車両１００が他の物体Ｘ（例：歩行者、自転車）を巻き込まないように注意することができる。すなわち、遠隔オペレータＯは、左後方画像ＩＭＧ４を見て安全確認を行いながら、車両１００を慎重に左折させることができる。このように、遠隔オペレータＯによる車両１００の遠隔操作が支援される。The rear side image displayed on thedisplay device 220 is useful, for example, for the remote operator O to check for safety when turning thevehicle 100 left or right. As an example, FIG. 4 shows a scene in which the remote operator O turns thevehicle 100 left. By looking at the left rear image IMG4 captured by the left rear camera C4, the remote operator O can be careful not to cause thevehicle 100 to hit other objects X (e.g., pedestrians, bicycles). In other words, the remote operator O can carefully turn thevehicle 100 left while checking for safety by looking at the left rear image IMG4. In this way, the remote operation of thevehicle 100 by the remote operator O is supported.

３．軌跡表示処理
遠隔オペレータＯが車両１００を右折あるいは左折させる際の安全確認をより容易に行うことができることが望まれる。 3. Trajectory Display Processing It is desirable for the remote operator O to be able to more easily check for safety when turning thevehicle 100 to the right or left.

一例として、後側方画像（ＩＭＧ４，ＩＭＧ５）が表示される表示領域（２２４、２２５）を大きくすることが考えられる。但し、表示装置２２０のサイズに制限がある場合もあり、特定の表示領域を自由に拡大することができるとは限らない。また、表示装置２２０のサイズに制限がある場合、特定の表示領域が大きくなると、その分、他の表示領域が小さくなってしまう。他の表示領域が小さくなると、遠隔オペレータＯが遠隔操作を円滑に行いづらくなるおそれがある。As an example, it is possible to enlarge the display area (224, 225) in which the rear side images (IMG4, IMG5) are displayed. However, there may be limitations on the size of thedisplay device 220, and it is not always possible to freely enlarge a specific display area. Furthermore, if there is a limitation on the size of thedisplay device 220, when a specific display area is enlarged, the other display areas become correspondingly smaller. If the other display areas become smaller, it may become more difficult for the remote operator O to smoothly perform remote operation.

そこで、本実施の形態では、別のアプローチが採用される。より詳細には、遠隔オペレータ端末２００の表示装置２２０は、必要に応じて、車両１００の後方における車両１００の軌跡ＴＲを後側方画像（ＩＭＧ４，ＩＭＧ５）に重ねて表示する。車両１００の軌跡ＴＲを後側方画像に重ねて表示することを、以下、「軌跡表示処理」と呼ぶ。軌跡表示処理は、例えば、拡張現実（ＡＲ）技術により実現される。Therefore, in this embodiment, a different approach is adopted. More specifically, thedisplay device 220 of theremote operator terminal 200 displays the trajectory TR of thevehicle 100 behind thevehicle 100 by superimposing it on the rear side image (IMG4, IMG5) as necessary. The display of the trajectory TR of thevehicle 100 by superimposing it on the rear side image is hereinafter referred to as "trajectory display processing." The trajectory display processing is realized, for example, by augmented reality (AR) technology.

図５は、軌跡表示処理の一例を説明するための概念図である。図５に示される例において、車両１００の軌跡ＴＲは、過去の一定期間内に車両１００が通過した領域である。過去の一定期間内に車両１００が通過した領域を、以下、「通過領域」と呼ぶ。Figure 5 is a conceptual diagram for explaining an example of the trajectory display process. In the example shown in Figure 5, the trajectory TR of thevehicle 100 is an area that thevehicle 100 has passed through within a certain period of time in the past. The area that thevehicle 100 has passed through within a certain period of time in the past is hereinafter referred to as the "passage area."

車両位置ＰＶは、車両１００の代表点の位置である。例えば、車両位置ＰＶは、車両１００の中心点の位置である。現在の車両位置ＰＶから見た過去の一定期間における車両位置ＰＶの履歴は、過去の一定期間における車両１００の操舵角と速度に基づいて算出可能である。車幅Ｗは、車両１００の横幅であり、既知情報である。図５に示されるように、通過領域は、車両位置ＰＶの履歴に沿って延在する車幅Ｗの領域である。車両位置ＰＶが車両１００の中心点の位置である場合、通過領域の中心線は車両位置ＰＶの履歴に一致する。車両位置ＰＶの履歴と車両１００の車幅Ｗを組み合わせることによって、過去の一定期間における通過領域を推定することが可能である。The vehicle position PV is the position of a representative point of thevehicle 100. For example, the vehicle position PV is the position of the center point of thevehicle 100. The history of the vehicle position PV in a certain period of time in the past as viewed from the current vehicle position PV can be calculated based on the steering angle and speed of thevehicle 100 in the certain period of time in the past. The vehicle width W is the width of thevehicle 100 and is known information. As shown in FIG. 5, the passing area is an area of the vehicle width W that extends along the history of the vehicle position PV. When the vehicle position PV is the position of the center point of thevehicle 100, the center line of the passing area coincides with the history of the vehicle position PV. By combining the history of the vehicle position PV and the vehicle width W of thevehicle 100, it is possible to estimate the passing area in a certain period of time in the past.

他の例として、車両位置ＰＶの履歴から、車両１００の各車輪の位置の履歴が算出されてもよい。車両位置ＰＶから見た各車輪の設置位置は既知情報であり、その既知情報に基づいて各車輪の位置の履歴を算出することができる。この場合、車両１００の全車輪の位置の履歴によって囲まれる領域が、通過領域として用いられる。As another example, the position history of each wheel of thevehicle 100 may be calculated from the history of the vehicle position PV. The installation position of each wheel as viewed from the vehicle position PV is known information, and the position history of each wheel can be calculated based on the known information. In this case, the area surrounded by the position history of all wheels of thevehicle 100 is used as the passing area.

更に他の例として、絶対座標系における車両位置ＰＶの履歴が用いられてもよい。絶対座標系における車両位置ＰＶは、車両１００に搭載されたＧＮＳＳ（Global Navigation Satellite System）センサによって計測される。あるいは、絶対座標系における車両位置ＰＶは、周知の自己位置推定（Localization）によって算出される。現在の車両位置ＰＶを用いることによって、絶対座標系における車両位置ＰＶの履歴を、現在の車両位置ＰＶから見た車両位置ＰＶの履歴に変換することができる。As yet another example, a history of the vehicle position PV in the absolute coordinate system may be used. The vehicle position PV in the absolute coordinate system is measured by a Global Navigation Satellite System (GNSS) sensor mounted on thevehicle 100. Alternatively, the vehicle position PV in the absolute coordinate system is calculated by well-known self-location estimation (localization). By using the current vehicle position PV, the history of the vehicle position PV in the absolute coordinate system can be converted into a history of the vehicle position PV as seen from the current vehicle position PV.

遠隔オペレータ端末２００の表示装置２２０は、車両１００の通過領域（軌跡ＴＲ）を後側方画像に重ねて表示する。車両１００に搭載された後側方カメラの設置位置、設置向き、及び画角は既知情報である。その既知情報と現在の車両位置ＰＶから見た通過領域を組み合わせることによって、通過領域を後側方画像に重ねて表示することができる。通過領域を後側方画像に重ねることは、例えば拡張現実（ＡＲ）技術に基づいて行われる。図５に示される例では、左後方カメラＣ４によって撮影される左後方画像ＩＭＧ４に通過領域が重ねられる。そして、通過領域が重ねられた左後方画像ＩＭＧ４が表示領域２２４に表示される。Thedisplay device 220 of theremote operator terminal 200 displays the passing area (trajectory TR) of thevehicle 100 superimposed on the rear side image. The installation position, installation orientation, and angle of view of the rear side camera mounted on thevehicle 100 are known information. By combining the known information with the passing area as seen from the current vehicle position PV, the passing area can be superimposed and displayed on the rear side image. The passing area is superimposed on the rear side image, for example, based on augmented reality (AR) technology. In the example shown in FIG. 5, the passing area is superimposed on the left rear image IMG4 captured by the left rear camera C4. Then, the left rear image IMG4 with the passing area superimposed is displayed in thedisplay area 224.

遠隔オペレータＯは、通過領域が重ねられた後側方画像を見て、安全確認を行う。他の物体Ｘ（例：歩行者、自転車）が通過領域の外側に映っている場合、車両１００が物体Ｘを巻き込まないように特に注意が必要である。遠隔オペレータＯは、車両１００を停止させてもよい。車両１００の近傍に存在する他の物体Ｘが検知された場合、遠隔オペレータ端末２００は、表示及び音声の少なくとも一方を通して遠隔オペレータＯに注意喚起を行ってもよい。The remote operator O checks for safety by looking at the rear-side image with the passing area superimposed. If another object X (e.g., a pedestrian or a bicycle) is shown outside the passing area, special care must be taken to ensure that thevehicle 100 does not hit the object X. The remote operator O may stop thevehicle 100. If another object X is detected in the vicinity of thevehicle 100, theremote operator terminal 200 may alert the remote operator O by displaying and/or sounding a warning.

図６は、軌跡表示処理の他の例を説明するための概念図である。図６に示される例において、車両１００の軌跡ＴＲは、上述の通過領域の境界線である。通過領域の境界線の位置は、通過領域の位置から算出可能である。その他は、図５で説明された例と同様である。Figure 6 is a conceptual diagram for explaining another example of the trajectory display process. In the example shown in Figure 6, the trajectory TR of thevehicle 100 is the boundary line of the passing area described above. The position of the boundary line of the passing area can be calculated from the position of the passing area. The rest is the same as the example described in Figure 5.

図７は、軌跡表示処理の更に他の例を説明するための概念図である。図７に示される例では、車両１００は、トラクタ１０１と、トラクタ１０１によって牽引されるトレーラ１０２を含んでいる。後側方カメラは、トラクタ１０１に搭載されている。図７に示される例では、車両１００の軌跡ＴＲは、トレーラ１０２の軌跡ＴＲである。トラクタ１０１とトレーラ１０２との接続態様、トラクタ１０１とトレーラ１０２の各々の車輪の位置、等は既知情報である。その既知情報と車両位置ＰＶに基づいて、トレーラ１０２の軌跡ＴＲを推定することができる。そして、トレーラ１０２の軌跡ＴＲが後側方画像に重ねられる。Figure 7 is a conceptual diagram for explaining yet another example of the trajectory display process. In the example shown in Figure 7, thevehicle 100 includes atractor 101 and atrailer 102 towed by thetractor 101. The rear side camera is mounted on thetractor 101. In the example shown in Figure 7, the trajectory TR of thevehicle 100 is the trajectory TR of thetrailer 102. The connection state between thetractor 101 and thetrailer 102, the positions of the wheels of thetractor 101 and thetrailer 102, etc. are known information. Based on the known information and the vehicle position PV, the trajectory TR of thetrailer 102 can be estimated. Then, the trajectory TR of thetrailer 102 is superimposed on the rear side image.

図８は、軌跡表示処理のＯＮ／ＯＦＦを説明するための概念図である。軌跡表示処理は、所定の軌跡表示条件が成立する場合にのみ選択的に実行されてもよい。例えば、軌跡表示処理は、車両１００の左折あるいは右折と連動して行われる。そのために、車両１００の操舵角、遠隔オペレータＯによる操舵量、あるいは、車両１００のウィンカの作動状態がモニタされる。例えば、車両１００の操舵角が閾値を超えている場合に軌跡表示処理がＯＮし、操舵角が閾値以下である場合に軌跡表示処理がＯＦＦする。他の例として、遠隔オペレータＯによる操舵量が閾値を超えている場合に軌跡表示処理がＯＮし、操舵量が閾値以下である場合に軌跡表示処理がＯＦＦする。更に他の例として、車両１００のウィンカが作動中の場合に軌跡表示処理がＯＮし、ウィンカが作動していない場合は軌跡表示処理がＯＦＦしてもよい。Figure 8 is a conceptual diagram for explaining ON/OFF of the trajectory display process. The trajectory display process may be selectively executed only when a predetermined trajectory display condition is satisfied. For example, the trajectory display process is performed in conjunction with a left or right turn of thevehicle 100. For this purpose, the steering angle of thevehicle 100, the steering amount by the remote operator O, or the operating state of the blinker of thevehicle 100 are monitored. For example, when the steering angle of thevehicle 100 exceeds a threshold, the trajectory display process is turned ON, and when the steering angle is equal to or less than the threshold, the trajectory display process is turned OFF. As another example, when the steering amount by the remote operator O exceeds a threshold, the trajectory display process is turned ON, and when the steering amount is equal to or less than the threshold, the trajectory display process is turned OFF. As yet another example, the trajectory display process may be turned ON when the blinker of thevehicle 100 is operating, and turned OFF when the blinker is not operating.

＜効果＞
以上に説明されたように、本実施の形態によれば、車両１００の遠隔操作に用いられる表示装置２２０は、車両１００に搭載された後側方カメラによって撮影される後側方画像を表示する。更に、表示装置２２０は、車両１００の後方における車両１００の軌跡ＴＲを後側方画像に重ねて表示する。遠隔オペレータＯは、車両１００の軌跡ＴＲが重ねられた後側方画像を見ることによって、車両１００の左折あるいは右折時の安全確認をより容易に行うことができる。例えば、他の物体Ｘ（例：歩行者、自転車）が車両１００の軌跡ＴＲの外側に映っている場合、遠隔オペレータＯは、車両１００が物体Ｘを巻き込まないように特に注意を払うことができる。これにより、遠隔オペレータＯは、より安全に車両１００の遠隔操作を行うことが可能となる。＜Effects＞
As described above, according to the present embodiment, thedisplay device 220 used for remotely controlling thevehicle 100 displays a rear-side image captured by a rear-side camera mounted on thevehicle 100. Furthermore, thedisplay device 220 displays the trajectory TR of thevehicle 100 behind thevehicle 100 superimposed on the rear-side image. By looking at the rear-side image on which the trajectory TR of thevehicle 100 is superimposed, the remote operator O can more easily check for safety when turning left or right of thevehicle 100. For example, when another object X (e.g., a pedestrian, a bicycle) is reflected outside the trajectory TR of thevehicle 100, the remote operator O can pay particular attention so that thevehicle 100 does not get involved in the object X. This allows the remote operator O to remotely control thevehicle 100 more safely.

また、本実施の形態によれば、後側方画像（ＩＭＧ４，ＩＭＧ５）が表示される表示領域（２２４、２２５）を必要以上に大きくする必要がない。よって、表示装置２２０のサイズに制限がある場合であっても、他の表示領域をいたずらに狭める必要がない。このことは、円滑な遠隔操作の観点から好適である。Furthermore, according to this embodiment, it is not necessary to make the display areas (224, 225) in which the rear side images (IMG4, IMG5) are displayed larger than necessary. Therefore, even if there is a limit to the size of thedisplay device 220, there is no need to unnecessarily narrow other display areas. This is advantageous from the viewpoint of smooth remote operation.

軌跡表示処理は、所定の軌跡表示条件が成立する場合にのみ選択的に実行されてもよい。この場合、軌跡表示処理が常時実行されるわけではないため、遠隔操作システム１における処理負荷が軽減される。The trajectory display process may be selectively executed only when a predetermined trajectory display condition is met. In this case, the trajectory display process is not executed all the time, so the processing load on the remote control system 1 is reduced.

４．機能構成例
図９は、本実施の形態に係る軌跡表示処理に関連する機能構成例を示すブロック図である。遠隔操作システム１は、機能ブロックとして、情報取得部１０、判定部２０、画像処理部３０、及び表示制御部４０を含んでいる。図１０は、本実施の形態に係る軌跡表示処理に関連する処理を示すフローチャートである。以下、図９及び図１０を参照して、本実施の形態に係る軌跡表示装置に関連する処理について説明する。 4. Functional Configuration Example Fig. 9 is a block diagram showing a functional configuration example related to the path display processing according to this embodiment. The remote control system 1 includes, as functional blocks, aninformation acquisition unit 10, adetermination unit 20, animage processing unit 30, and adisplay control unit 40. Fig. 10 is a flowchart showing processing related to the path display processing according to this embodiment. Hereinafter, processing related to the path display device according to this embodiment will be described with reference to Figs. 9 and 10.

４－１．情報取得処理（ステップＳ１０）
ステップＳ１０において、情報取得部１０は、各種情報を取得する。より詳細には、情報取得部１０は、車両１００に搭載されたカメラＣによって撮影される画像ＩＭＧを取得する。また、情報取得部１０は、車両１００に関する車両情報ＶＣＬを取得する。 4-1. Information acquisition process (step S10)
In step S10, theinformation acquisition unit 10 acquires various pieces of information. More specifically, theinformation acquisition unit 10 acquires an image IMG captured by a camera C mounted on thevehicle 100. Theinformation acquisition unit 10 also acquires vehicle information VCL related to thevehicle 100.

例えば、車両情報ＶＣＬは、車両１００に搭載された各カメラＣの設置位置、設置向き、及び画角の情報を含んでいる。この情報は、既知情報である。For example, the vehicle information VCL includes information on the installation position, installation direction, and angle of view of each camera C mounted on thevehicle 100. This information is known information.

車両情報ＶＣＬは、車両１００の諸元情報を含んでいてもよい。諸元情報は、車幅Ｗ、各車輪の設置位置、ホイールベース、トレッド、等を含む。車両１００がトラクタ１０１とトレーラ１０２を含む場合（図７参照）、車両１００の諸元情報は、トラクタ１０１とトレーラ１０２との接続態様、トラクタ１０１とトレーラ１０２の各々の車輪の位置、等を含んでいてもよい。The vehicle information VCL may include specification information of thevehicle 100. The specification information includes the vehicle width W, the installation position of each wheel, the wheelbase, the tread, etc. If thevehicle 100 includes atractor 101 and a trailer 102 (see FIG. 7), the specification information of thevehicle 100 may include the connection mode between thetractor 101 and thetrailer 102, the position of each wheel of thetractor 101 and thetrailer 102, etc.

車両情報ＶＣＬは、車両１００の操舵角と速度の情報を含んでいてもよい。車両１００の操舵角と速度は、センサ検出情報ＳＥＮから得られる。The vehicle information VCL may include information on the steering angle and speed of thevehicle 100. The steering angle and speed of thevehicle 100 are obtained from the sensor detection information SEN.

車両情報ＶＣＬは、車両１００のウィンカの作動状態を示す情報を含んでいてもよい。ウィンカの作動状態は、センサ検出情報ＳＥＮから得られる。The vehicle information VCL may include information indicating the operation status of the turn signal of thevehicle 100. The operation status of the turn signal is obtained from the sensor detection information SEN.

車両情報ＶＣＬは、絶対座標系における車両位置ＰＶの情報を含んでいてもよい。絶対座標系における車両位置ＰＶは、例えば、車両１００に搭載されたＧＮＳＳセンサによって計測される。The vehicle information VCL may include information on the vehicle position PV in an absolute coordinate system. The vehicle position PV in the absolute coordinate system is measured, for example, by a GNSS sensor mounted on thevehicle 100.

情報取得部１０は、更に、車両１００の後方における車両１００の軌跡ＴＲの情報を取得する。図５で示された例では、車両１００の軌跡ＴＲは、過去の一定期間内に車両１００が通過した通過領域である。図６で示された例では、車両１００の軌跡ＴＲは、通過領域の境界線である。図７で示された例では、車両１００の軌跡ＴＲは、トレーラ１０２の軌跡ＴＲである。いずれの場合であっても、情報取得部１０は、上述の車両情報ＶＣＬに基づいて、車両１００の軌跡ＴＲを算出（推定）することができる。Theinformation acquisition unit 10 further acquires information on the trajectory TR of thevehicle 100 behind thevehicle 100. In the example shown in FIG. 5, the trajectory TR of thevehicle 100 is a passing area that thevehicle 100 passed through within a certain period of time in the past. In the example shown in FIG. 6, the trajectory TR of thevehicle 100 is the boundary line of the passing area. In the example shown in FIG. 7, the trajectory TR of thevehicle 100 is the trajectory TR of thetrailer 102. In either case, theinformation acquisition unit 10 can calculate (estimate) the trajectory TR of thevehicle 100 based on the above-mentioned vehicle information VCL.

情報取得部１０は、更に、遠隔操作情報ＯＰＥを取得してもよい。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量（例：操舵量）を含む。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる方向指示器の操作状態を含んでいてもよい。Theinformation acquisition unit 10 may further acquire remote operation information OPE. The remote operation information OPE includes the amount of operation (e.g., steering amount) by the remote operator O. The remote operation information OPE may also include the operation state of the turn signal by the remote operator O.

４－２．判定処理（ステップＳ２０）
ステップＳ２０において、判定部２０は、所定の軌跡表示条件が成立するか否かを判定する。 4-2. Judgment process (step S20)
In step S20, thedetermination unit 20 determines whether or not a predetermined path display condition is met.

例えば、所定の軌跡表示条件は、「車両１００の操舵角あるいは遠隔オペレータＯによる操舵量が閾値を超えていること」である。車両１００の操舵角は、上述の車両情報ＶＣＬに含まれている。遠隔オペレータＯによる操舵量は、遠隔操作情報ＯＰＥに含まれている。車両１００の操舵角は、遠隔オペレータＯによる操舵量から算出されてもよい。判定部２０は、車両情報ＶＣＬあるいは遠隔操作情報ＯＰＥに基づいて、車両１００の操舵角あるいは遠隔オペレータＯによる操舵量が閾値を超えているか否かを判定することができる。For example, the specified trajectory display condition is that "the steering angle of thevehicle 100 or the steering amount by the remote operator O exceeds a threshold value." The steering angle of thevehicle 100 is included in the above-mentioned vehicle information VCL. The steering amount by the remote operator O is included in the remote operation information OPE. The steering angle of thevehicle 100 may be calculated from the steering amount by the remote operator O. Thedetermination unit 20 can determine whether the steering angle of thevehicle 100 or the steering amount by the remote operator O exceeds a threshold value based on the vehicle information VCL or the remote operation information OPE.

他の例として、所定の軌跡表示条件は、「車両１００のウィンカが作動中であること」である。車両１００のウィンカの作動状態は、上述の車両情報ＶＣＬから得られる。あるいは、遠隔オペレータＯによる方向指示器の操作状態が、車両１００のウィンカの作動状態とみなされてもよい。判定部２０は、車両情報ＶＣＬあるいは遠隔操作情報ＯＰＥに基づいて、車両１００のウィンカが作動中であるか否かを判定することができる。As another example, the specified trajectory display condition is "the blinker of thevehicle 100 is in operation." The operation state of the blinker of thevehicle 100 is obtained from the vehicle information VCL described above. Alternatively, the operation state of the turn signal by the remote operator O may be regarded as the operation state of the blinker of thevehicle 100. Thedetermination unit 20 can determine whether the blinker of thevehicle 100 is in operation based on the vehicle information VCL or the remote operation information OPE.

更に他の例として、所定の軌跡表示条件は、遠隔オペレータＯが軌跡表示機能をＯＮしていることを含んでいてもよい。As yet another example, the specified trajectory display condition may include the remote operator O having the trajectory display function turned ON.

所定の軌跡表示条件が成立する場合（ステップＳ２０；Ｙｅｓ）、処理は、ステップＳ３０に進む。一方、所定の軌跡表示条件が成立しない場合（ステップＳ２０；Ｎｏ）、処理は、ステップＳ３５に進む。If the specified path display condition is met (step S20; Yes), the process proceeds to step S30. On the other hand, if the specified path display condition is not met (step S20; No), the process proceeds to step S35.

４－３．画像処理（ステップＳ３０、Ｓ３５）
ステップＳ３０において、画像処理部３０は、後側方カメラによって撮影された後側方画像に車両１００の軌跡ＴＲを重ね合わせる。車両１００に搭載された後側方カメラの設置位置、設置向き、及び画角は、車両情報ＶＣＬから得られる。よって、画像処理部３０は、画像ＩＭＧ、軌跡ＴＲ、及び車両情報ＶＣＬに基づいて、後側方画像に車両１００の軌跡ＴＲを重ね合わせることができる。画像処理部３０は、車両１００の軌跡ＴＲが重ねられた後側方画像を含む画像ＩＭＧを表示制御部４０に出力する。 4-3. Image processing (steps S30, S35)
In step S30, theimage processing unit 30 superimposes the trajectory TR of thevehicle 100 on the rear-side image captured by the rear-side camera. The installation position, installation orientation, and angle of view of the rear-side camera mounted on thevehicle 100 are obtained from the vehicle information VCL. Thus, theimage processing unit 30 can superimpose the trajectory TR of thevehicle 100 on the rear-side image based on the image IMG, the trajectory TR, and the vehicle information VCL. Theimage processing unit 30 outputs the image IMG including the rear-side image on which the trajectory TR of thevehicle 100 is superimposed to thedisplay control unit 40.

一方、ステップＳ３５において、画像処理部３０は、後側方画像に車両１００の軌跡ＴＲを重ね合わせない。画像処理部３０は、画像ＩＭＧをそのまま表示制御部４０に出力する。On the other hand, in step S35, theimage processing unit 30 does not superimpose the trajectory TR of thevehicle 100 on the rear side image. Theimage processing unit 30 outputs the image IMG as is to thedisplay control unit 40.

４－４．表示制御処理（ステップＳ４０）
ステップＳ４０において、表示制御部４０は、遠隔オペレータ端末２００の表示装置２２０に画像ＩＭＧを表示する。車両１００の軌跡ＴＲが後側方画像に重ねられている場合、表示制御部４０は、車両１００の軌跡ＴＲが重ねられた後側方画像を表示装置２２０に表示する。一方、車両１００の軌跡ＴＲが後側方画像に重ねられていない場合、表示制御部４０は、後側方画像をそのまま表示装置２２０に表示する。 4-4. Display control process (step S40)
In step S40, thedisplay control unit 40 displays an image IMG on thedisplay device 220 of theremote operator terminal 200. When the trajectory TR of thevehicle 100 is superimposed on the rear-side image, thedisplay control unit 40 displays the rear-side image on which the trajectory TR of thevehicle 100 is superimposed on thedisplay device 220. On the other hand, when the trajectory TR of thevehicle 100 is not superimposed on the rear-side image, thedisplay control unit 40 displays the rear-side image as it is on thedisplay device 220.

尚、図１で示されたように、車両１００、遠隔オペレータ端末２００、及び管理装置３００は、通信ネットワークを介して互いに通信可能であり、必要な情報をやり取り可能である。よって、情報取得部１０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のいずれに含まれていてもよい。同様に、判定部２０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のいずれに含まれていてもよい。同様に、画像処理部３０は、車両１００、遠隔オペレータ端末２００、及び管理装置３００のいずれに含まれていてもよい。表示制御部４０は、遠隔オペレータ端末２００に含まれている。As shown in FIG. 1, thevehicle 100, theremote operator terminal 200, and themanagement device 300 can communicate with each other via a communication network and can exchange necessary information. Therefore, theinformation acquisition unit 10 may be included in any of thevehicle 100, theremote operator terminal 200, and themanagement device 300. Similarly, thedetermination unit 20 may be included in any of thevehicle 100, theremote operator terminal 200, and themanagement device 300. Similarly, theimage processing unit 30 may be included in any of thevehicle 100, theremote operator terminal 200, and themanagement device 300. Thedisplay control unit 40 is included in theremote operator terminal 200.

５．車両の構成例
５－１．構成例
図１１は、車両１００の構成例を示すブロック図である。車両１００は、通信装置１１０、センサ群１２０、走行装置１３０、及び制御装置１５０を備えている。 11 is a block diagram showing an example of the configuration of avehicle 100. Thevehicle 100 includes acommunication device 110, asensor group 120, adriving device 130, and acontrol device 150.

通信装置１１０は、車両１００の外部と通信を行う。例えば、通信装置１１０は、遠隔オペレータ端末２００や管理装置３００と通信を行う。Thecommunication device 110 communicates with the outside of thevehicle 100. For example, thecommunication device 110 communicates with theremote operator terminal 200 and themanagement device 300.

センサ群１２０は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両１００の周辺の状況を認識（検出）する。認識センサとしては、カメラＣ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。車両状態センサは、車両１００の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両１００の位置及び方位を検出する。例えば、位置センサは、ＧＮＳＳセンサを含んでいる。Thesensor group 120 includes a recognition sensor, a vehicle state sensor, a position sensor, etc. The recognition sensor recognizes (detects) the situation around thevehicle 100. Examples of the recognition sensor include a camera C, a LIDAR (Laser Imaging Detection and Ranging), and a radar. The vehicle state sensor detects the state of thevehicle 100. The vehicle state sensor includes a speed sensor, an acceleration sensor, a yaw rate sensor, a steering angle sensor, etc. The position sensor detects the position and orientation of thevehicle 100. For example, the position sensor includes a GNSS sensor.

走行装置１３０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。The travelingdevice 130 includes a steering device, a drive device, and a braking device. The steering device steers the wheels. For example, the steering device includes an electric power steering (EPS) device. The drive device is a power source that generates a driving force. Examples of the drive device include an engine, an electric motor, and an in-wheel motor. The braking device generates a braking force.

制御装置１５０は、車両１００を制御するコンピュータである。制御装置１５０は、１又は複数のプロセッサ１６０（以下、単にプロセッサ１６０と呼ぶ）と１又は複数の記憶装置１７０（以下、単に記憶装置１７０と呼ぶ）を含んでいる。プロセッサ１６０は、各種処理を実行する。プロセッサ１６０として、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、等が例示される。記憶装置１７０は、各種情報を格納する。記憶装置１７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。制御装置１５０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。Thecontrol device 150 is a computer that controls thevehicle 100. Thecontrol device 150 includes one or more processors 160 (hereinafter simply referred to as processor 160) and one or more storage devices 170 (hereinafter simply referred to as storage devices 170). Theprocessor 160 executes various processes. Examples of theprocessor 160 include a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). Thestorage device 170 stores various information. Examples of thestorage device 170 include a volatile memory, a non-volatile memory, an HDD (Hard Disk Drive), and an SSD (Solid State Drive). Thecontrol device 150 may include one or more ECUs (Electronic Control Units).

車両制御プログラムＰＲＯＧ１は、プロセッサ１６０によって実行されるコンピュータプログラムである。車両制御プログラムＰＲＯＧ１を実行するプロセッサ１６０と記憶装置１７０との協働により、制御装置１５０の機能が実現されてもよい。車両制御プログラムＰＲＯＧ１は、記憶装置１７０に格納される。あるいは、車両制御プログラムＰＲＯＧ１は、コンピュータ読み取り可能な記録媒体に記録されてもよい。The vehicle control program PROG1 is a computer program executed by theprocessor 160. The functions of thecontrol device 150 may be realized by cooperation between theprocessor 160, which executes the vehicle control program PROG1, and thestorage device 170. The vehicle control program PROG1 is stored in thestorage device 170. Alternatively, the vehicle control program PROG1 may be recorded on a computer-readable recording medium.

５－２．センサ検出情報
制御装置１５０は、センサ群１２０を用いてセンサ検出情報ＳＥＮを取得する。センサ検出情報ＳＥＮは、記憶装置１７０に格納される。センサ検出情報ＳＥＮは、画像ＩＭＧ、物体情報、等を含んでいる。画像ＩＭＧは、カメラＣによって撮影される。 Thecontrol device 150 acquires sensor detection information SEN using thesensor group 120. The sensor detection information SEN is stored in thestorage device 170. The sensor detection information SEN includes an image IMG, object information, etc. The image IMG is captured by a camera C.

物体情報は、車両１００の周囲の物体に関する情報である。車両１００の周囲の物体としては、歩行者、自転車、二輪車、他車両（先行車両、並走車両、後続車両、等）、白線、道路構造物（例：縁石、ガードレール）、ポール、信号、標識、等が例示される。制御装置１５０は、認識センサを用いることによって車両１００の周囲の物体を認識することができる。例えば、画像ＩＭＧを解析することによって、物体を識別し、その物体の相対位置を算出することができる。また、ＬＩＤＡＲによって得られた点群情報に基づいて、物体を識別し、その物体の相対位置と相対速度を取得することもできる。物体情報は、車両１００に対する物体の相対位置を含む。物体情報は、更に、物体の相対速度を含んでいてもよい。The object information is information about objects around thevehicle 100. Examples of objects around thevehicle 100 include pedestrians, bicycles, two-wheeled vehicles, other vehicles (preceding vehicles, vehicles running parallel to each other, following vehicles, etc.), white lines, road structures (e.g., curbs, guardrails), poles, traffic lights, signs, etc. Thecontrol device 150 can recognize objects around thevehicle 100 by using a recognition sensor. For example, by analyzing the image IMG, it is possible to identify an object and calculate the relative position of the object. It is also possible to identify an object and obtain the relative position and relative speed of the object based on point cloud information obtained by LIDAR. The object information includes the relative position of the object with respect to thevehicle 100. The object information may further include the relative speed of the object.

５－３．車両走行制御
制御装置１５０は、車両１００の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置１５０は、走行装置１３０（操舵装置、駆動装置、及び制動装置）を制御することによって車両走行制御を実行する。 5-3. Vehicle Driving Control Thecontrol device 150 executes vehicle driving control for controlling the driving of thevehicle 100. The vehicle driving control includes steering control, drive control, and braking control. Thecontrol device 150 executes vehicle driving control by controlling the driving device 130 (the steering device, the drive device, and the braking device).

制御装置１５０は、センサ検出情報ＳＥＮに基づいて自動運転制御を行ってもよい。より詳細には、制御装置１５０は、センサ検出情報ＳＥＮに基づいて、車両１００の走行プランを生成する。更に、制御装置１５０は、センサ検出情報ＳＥＮに基づいて、車両１００が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置１５０は、車両１００が目標トラジェクトリに追従するように車両走行制御を行う。Thecontrol device 150 may perform automatic driving control based on the sensor detection information SEN. More specifically, thecontrol device 150 generates a driving plan for thevehicle 100 based on the sensor detection information SEN. Furthermore, thecontrol device 150 generates a target trajectory required for thevehicle 100 to drive according to the driving plan based on the sensor detection information SEN. The target trajectory includes a target position and a target speed. Then, thecontrol device 150 performs vehicle driving control so that thevehicle 100 follows the target trajectory.

５－４．遠隔操作に関連する処理
車両１００の遠隔操作が行われる場合、制御装置１５０は、通信装置１１０を介して遠隔オペレータ端末２００と通信を行う。 5-4. Processing Related to Remote Operation When thevehicle 100 is remotely operated, thecontrol device 150 communicates with theremote operator terminal 200 via thecommunication device 110.

制御装置１５０は、センサ検出情報ＳＥＮの少なくとも一部を遠隔オペレータ端末２００に送信する。典型的には、制御装置１５０は、画像ＩＭＧを遠隔オペレータ端末２００に送信する。制御装置１５０は、物体情報を遠隔オペレータ端末２００に送信してもよい。制御装置１５０は、車両情報ＶＣＬを遠隔オペレータ端末２００に送信してもよい。Thecontrol device 150 transmits at least a portion of the sensor detection information SEN to theremote operator terminal 200. Typically, thecontrol device 150 transmits an image IMG to theremote operator terminal 200. Thecontrol device 150 may transmit object information to theremote operator terminal 200. Thecontrol device 150 may transmit vehicle information VCL to theremote operator terminal 200.

また、制御装置１５０は、遠隔操作情報ＯＰＥを遠隔オペレータ端末２００から受信する。遠隔操作情報ＯＰＥは、遠隔オペレータＯによる遠隔操作に関する情報である。例えば、遠隔操作情報ＯＰＥは、遠隔オペレータＯによる操作量を含む。制御装置１５０は、受信した遠隔操作情報ＯＰＥに従って車両走行制御を行う。Thecontrol device 150 also receives remote operation information OPE from theremote operator terminal 200. The remote operation information OPE is information related to remote operation by the remote operator O. For example, the remote operation information OPE includes the amount of operation by the remote operator O. Thecontrol device 150 performs vehicle driving control according to the received remote operation information OPE.

更に、制御装置１５０は、図９で示された情報取得部１０、判定部２０、及び画像処理部３０のうち少なくとも１つの機能を備えていてもよい。Furthermore, thecontrol device 150 may have at least one of the functions of theinformation acquisition unit 10, thedetermination unit 20, and theimage processing unit 30 shown in FIG. 9.

６．遠隔オペレータ端末の構成例
図１２は、遠隔オペレータ端末２００の構成例を示すブロック図である。遠隔オペレータ端末２００は、通信装置２１０、表示装置２２０、入力装置２３０、及び制御装置２５０を含んでいる。 12 is a block diagram showing an example of the configuration of theremote operator terminal 200. Theremote operator terminal 200 includes acommunication device 210, adisplay device 220, aninput device 230, and acontrol device 250.

通信装置２１０は、車両１００及び管理装置３００と通信を行う。Thecommunication device 210 communicates with thevehicle 100 and themanagement device 300.

表示装置２２０は、遠隔操作を行う遠隔オペレータＯに対する各種情報を表示する。言い換えれば、表示装置２２０は、各種情報を表示することにより、各種情報を遠隔オペレータＯに提示する。表示装置２２０は、タッチパネルであってもよい（図３参照）。Thedisplay device 220 displays various information for the remote operator O who performs remote operation. In other words, thedisplay device 220 presents various information to the remote operator O by displaying the various information. Thedisplay device 220 may be a touch panel (see FIG. 3).

入力装置２３０は、遠隔オペレータＯが車両１００を遠隔操作する際に操作する部材である。例えば、入力装置２３０は、遠隔操作部材を含んでいる。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。Theinput device 230 is a member that the remote operator O operates when remotely operating thevehicle 100. For example, theinput device 230 includes remote operation members. The remote operation members include a steering wheel, an accelerator pedal, a brake pedal, a turn signal, etc.

表示装置２２０と入力装置２３０は、一体的に構成されたユーザインタフェースであってもよい。例えば、表示装置２２０と入力装置２３０は、一体的に構成されたタッチパネルであってもよい。タッチパネルは、表示領域（表示部）２２１～２２６や操作部２３１、２３２を含んでいてもよい（図３参照）。Thedisplay device 220 and theinput device 230 may be an integrated user interface. For example, thedisplay device 220 and theinput device 230 may be an integrated touch panel. The touch panel may include display areas (display units) 221 to 226 andoperation units 231 and 232 (see FIG. 3).

制御装置２５０は、遠隔オペレータ端末２００を制御する。制御装置２５０は、１又は複数のプロセッサ２６０（以下、単にプロセッサ２６０と呼ぶ）と１又は複数の記憶装置２７０（以下、単に記憶装置２７０と呼ぶ）を含んでいる。プロセッサ２６０は、各種処理を実行する。プロセッサ２６０として、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、等が例示される。記憶装置２７０は、プ各種情報を格納する。記憶装置２７０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。Thecontrol device 250 controls theremote operator terminal 200. Thecontrol device 250 includes one or more processors 260 (hereinafter simply referred to as processor 260) and one or more storage devices 270 (hereinafter simply referred to as storage device 270). Theprocessor 260 executes various processes. Examples of theprocessor 260 include a CPU, a GPU, an ASIC, an FPGA, etc. Thestorage device 270 stores various information. Examples of thestorage device 270 include a volatile memory, a non-volatile memory, an HDD, an SSD, etc.

遠隔操作制御プログラムＰＲＯＧ２は、プロセッサ２６０によって実行されるコンピュータプログラムである。遠隔操作制御プログラムＰＲＯＧ２を実行するプロセッサ２６０と記憶装置２７０の協働により、制御装置２５０の機能が実現されてもよい。遠隔操作制御プログラムＰＲＯＧ２は、記憶装置２７０に格納される。あるいは、遠隔操作制御プログラムＰＲＯＧ２は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作制御プログラムＰＲＯＧ２は、ネットワーク経由で提供されてもよい。The remote operation control program PROG2 is a computer program executed by theprocessor 260. The functions of thecontrol device 250 may be realized by cooperation between theprocessor 260, which executes the remote operation control program PROG2, and thestorage device 270. The remote operation control program PROG2 is stored in thestorage device 270. Alternatively, the remote operation control program PROG2 may be recorded on a computer-readable recording medium. The remote operation control program PROG2 may be provided via a network.

制御装置２５０は、通信装置２１０を介して、車両１００と通信を行う。制御装置２５０は、車両１００から送信されるセンサ検出情報ＳＥＮを受信する。制御装置２５０は、受信したセンサ検出情報ＳＥＮのうち必要な情報を遠隔オペレータＯに提示する。例えば、制御装置２５０は、画像ＩＭＧを表示装置２２０に表示することによって、画像ＩＭＧを遠隔オペレータＯに提示する。つまり、制御装置２５０は、図９で示された表示制御部４０の機能を有する。遠隔オペレータＯは、提示された情報に基づいて、車両１００の状態や周囲の状況を認識することができる。Thecontrol device 250 communicates with thevehicle 100 via thecommunication device 210. Thecontrol device 250 receives sensor detection information SEN transmitted from thevehicle 100. Thecontrol device 250 presents necessary information from the received sensor detection information SEN to the remote operator O. For example, thecontrol device 250 presents the image IMG to the remote operator O by displaying the image IMG on thedisplay device 220. In other words, thecontrol device 250 has the function of thedisplay control unit 40 shown in FIG. 9. The remote operator O can recognize the state of thevehicle 100 and the surrounding situation based on the presented information.

遠隔オペレータＯは、入力装置２３０を操作する。入力装置２３０の操作量は、入力装置２３０に設置されたセンサにより検出される。制御装置２５０は、遠隔オペレータＯによる入力装置２３０の操作量を反映した遠隔操作情報ＯＰＥを生成する。そして、制御装置２５０は、その遠隔操作情報ＯＰＥを通信装置２１０を介して車両１００に送信する。The remote operator O operates theinput device 230. The amount of operation of theinput device 230 is detected by a sensor installed on theinput device 230. Thecontrol device 250 generates remote operation information OPE that reflects the amount of operation of theinput device 230 by the remote operator O. Then, thecontrol device 250 transmits the remote operation information OPE to thevehicle 100 via thecommunication device 210.

更に、制御装置２５０は、図９で示された情報取得部１０、判定部２０、及び画像処理部３０のうち少なくとも１つの機能を備えていてもよい。Furthermore, thecontrol device 250 may have at least one of the functions of theinformation acquisition unit 10, thedetermination unit 20, and theimage processing unit 30 shown in FIG. 9.

１遠隔操作システム
１０情報取得部
２０判定部
３０画像処理部
４０表示制御部
１００車両
１０１トラクタ
１０２トレーラ
２００遠隔オペレータ端末
２２０表示装置
２５０制御装置
２６０プロセッサ
２７０記憶装置
３００管理装置
ＩＭＧ画像
ＯＰＥ遠隔操作情報
ＳＥＮセンサ検出情報
ＴＲ軌跡
ＶＣＬ車両情報 REFERENCE SIGNS LIST 1Remote operation system 10Information acquisition unit 20Determination unit 30Image processing unit 40Display control unit 100Vehicle 101Tractor 102Trailer 200Remote operator terminal 220Display device 250Control device 260Processor 270Storage device 300 Management device IMG Image OPE Remote operation information SEN Sensor detection information TR Trajectory VCL Vehicle information

Claims

Translated fromJapanese

移動体の遠隔操作を行う遠隔オペレータのための遠隔オペレータ端末であって、
前記移動体と通信を行い、前記移動体に搭載されたカメラによって撮影される画像を前記移動体から取得し、また、前記遠隔オペレータによる前記遠隔操作に関する遠隔操作情報を前記移動体に送信するように構成された制御装置と、
複数の表示領域を有する表示装置と
を備え、
前記画像は、前記移動体に搭載された後側方カメラによって撮影される後側方画像と、前記移動体に搭載された後方カメラによって撮影される後方画像とを含み、
前記表示装置は、前記後側方画像と前記後方画像とをそれぞれ異なる表示領域に表示し、
前記表示装置は、更に、前記移動体の左折あるいは右折と連動して、過去の一定期間内に前記移動体が通過した通過領域を前記後側方画像に重ねて表示し、
前記通過領域は、前記移動体の車輪以外の部分が通過した領域も含む
遠隔オペレータ端末。 A remote operator terminal for a remote operator who remotely operates a moving object, comprising:
a control device configured to communicate with the mobile body, acquire from the mobile body an image captured by a camera mounted on the mobile body, and transmit to the mobile body remote operation information regarding the remote operation by the remote operator;
A display device having a plurality of display areas;
Equipped with
The images include a rear-side image captured by a rear-side camera mounted on the moving body and a rear image captured by a rear camera mounted on the moving body,
The display device displays therear side image and therear image in different display areas,
The display device further displays, in conjunction with a left turn or a right turn of the moving object, a passing area through which the moving object has passed within a certain period of time in the past, superimposed on the rear-side image;
The passing area includes an area through which parts of the moving object other than the wheels have passed.

請求項１に記載の遠隔オペレータ端末であって、
前記移動体の操舵角あるいは前記遠隔オペレータによる操舵量が閾値を超えている場合、前記表示装置は、前記通過領域を前記後側方画像に重ねて表示し、
前記移動体の前記操舵角あるいは前記遠隔オペレータによる前記操舵量が前記閾値以下である場合、前記表示装置は、前記通過領域を重ね合わせることなく前記後側方画像を表示する
遠隔オペレータ端末。 2. A remote operator terminal according to claim 1, comprising:
When the steering angle of the moving object or the steering amount by the remote operator exceeds a threshold, the display device displays the passing area by superimposing it on the rear side image,
When the steering angle of the moving object or the steering amount by the remote operator is equal to or smaller than the threshold value, the display device displays the rear side image without superimposing the passing area.

請求項１に記載の遠隔オペレータ端末であって、
前記移動体のウィンカが作動中である場合、前記表示装置は、前記通過領域を前記後側方画像に重ねて表示し、
前記移動体の前記ウィンカが作動していない場合、前記表示装置は、前記通過領域を重ね合わせることなく前記後側方画像を表示する
遠隔オペレータ端末。 2. A remote operator terminal according to claim 1, comprising:
When a blinker of the moving object is in operation, the display device displays the passing area by superimposing it on the rear side image,
When the turn signal of the vehicle is not activated, the display device displays the rear side image without superimposing the passing area.

請求項１乃至３のいずれか一項に記載の遠隔オペレータ端末であって、
前記通過領域は、前記移動体の現在位置から見た前記過去の一定期間における前記移動体の位置履歴に基づいて推定される
遠隔オペレータ端末。 A remote operator terminal according to any one of claims 1 to 3, comprising:
The passing area is estimated based on a position history of the mobile object during the past certain period of time as viewed from the current position of the mobile object.

請求項４に記載の遠隔オペレータ端末であって、
前記通過領域は、前記過去の一定期間における前記移動体の前記位置履歴に沿って延在する前記移動体の横幅と同じ幅の領域である
遠隔オペレータ端末。 5. A remote operator terminal as claimed in claim 4, comprising:
The passing area is an area having the same width as the width of the moving object extending along the position history of the moving object during the past certain period of time.

請求項４に記載の遠隔オペレータ端末であって、
前記通過領域は、前記過去の一定期間における前記移動体の前記位置履歴に対応する前記移動体の全車輪の位置履歴によって囲まれる領域である
遠隔オペレータ端末。 5. A remote operator terminal as claimed in claim 4, comprising:
The passing area is an area bounded by the position history of all wheels of the moving body corresponding to the position history of the moving body during the past fixed period of time.

移動体の遠隔操作を行う遠隔オペレータに対する情報を遠隔オペレータ端末の表示装置に表示する遠隔操作支援方法であって、
前記遠隔オペレータ端末は、前記移動体と通信を行い、前記移動体に搭載されたカメラによって撮影される画像を前記移動体から取得し、また、前記遠隔オペレータによる前記遠隔操作に関する遠隔操作情報を前記移動体に送信するように構成され、
前記画像は、前記移動体に搭載された後側方カメラによって撮影される後側方画像と、前記移動体に搭載された後方カメラによって撮影される後方画像とを含み、
前記表示装置は、複数の表示領域を有し、
前記遠隔操作支援方法は、
前記後側方画像と前記後方画像とをそれぞれ異なる表示領域に表示することと、
前記移動体の左折あるいは右折と連動して、過去の一定期間内に前記移動体が通過した通過領域を前記後側方画像に重ねて表示することと
を含み、
前記通過領域は、前記移動体の車輪以外の部分が通過した領域も含む
遠隔操作支援方法。 A remote operation support method for displaying information for a remote operator who remotely operates a mobile object on a display deviceof a remote operator terminal , comprising:
the remote operator terminal is configured to communicate with the mobile body, acquire from the mobile body an image captured by a camera mounted on the mobile body, and transmit to the mobile body remote operation information regarding the remote operation by the remote operator;
The images include a rear-side image captured by a rear-side camera mounted on the moving body and a rear image captured by a rear camera mounted on the moving body,
The display device has a plurality of display areas,
The remote operation assistance method includes:
Displaying therear side image and therear image in different display areas;
and displaying, in conjunction with a left or right turn of the moving object, a passing area through which the moving object has passed within a certain period of time in the past, superimposed on the rear-side image,
The said passing area includes an area through which parts of the moving object other than the wheels have passed.

移動体の遠隔操作を制御する１又は複数のプロセッサと、
前記移動体の前記遠隔操作を行う遠隔オペレータに対する情報を表示する遠隔オペレータ端末の表示装置と
を備え、
前記遠隔オペレータ端末は、前記移動体と通信を行い、前記移動体に搭載されたカメラによって撮影される画像を前記移動体から取得し、また、前記遠隔オペレータによる前記遠隔操作に関する遠隔操作情報を前記移動体に送信するように構成され、
前記画像は、前記移動体に搭載された後側方カメラによって撮影される後側方画像と、前記移動体に搭載された後方カメラによって撮影される後方画像とを含み、
前記表示装置は、複数の表示領域を有し、
前記１又は複数のプロセッサは、更に、
前記後側方画像と前記後方画像とをそれぞれ異なる表示領域に表示し、
前記移動体の左折あるいは右折と連動して、過去の一定期間内に前記移動体が通過した通過領域を前記後側方画像に重ねて前記表示装置に表示する
ように構成され、
前記通過領域は、前記移動体の車輪以外の部分が通過した領域も含む
遠隔操作システム。 One or more processors for controlling remote operation of the mobile object;
a display deviceof a remote operator terminal that displays information for a remote operator who remotely operates the moving object,
the remote operator terminal is configured to communicate with the mobile body, acquire from the mobile body an image captured by a camera mounted on the mobile body, and transmit to the mobile body remote operation information regarding the remote operation by the remote operator;
The images include a rear-side image captured by a rear-side camera mounted on the moving body and a rear image captured by a rear camera mounted on the moving body,
The display device has a plurality of display areas,
The one or more processorsfurther include:
Therear side image and therear image are displayed in different display areas,
In conjunction with a left or right turn of the moving object, a passing area through which the moving object has passed within a certain period of time in the past is displayed on the display device by being superimposed on the rear side image,
A remote control system, wherein the passing area includes an area through which parts of the moving object other than the wheels have passed.