RU2709943C2

Movatterモバイル変換

Info

Publication number: RU2709943C2
Application number: RU2015155538A
Authority: RU
Inventors: Майкл Роберт ТИНСКИ; Донна Л. БЕЛЛ; Дэвид МАККРИДИ; Ренука Викрам ГОКХАЛЕ; Хассан АЛ-РЕГИБ; Тарик АЛШАВИ; Мохаммед ААБЕД; Бердинус БРАС
Original assignee: ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи; Джорджия Тек Рисерч Корпорейшн
Priority date: 2014-12-30
Filing date: 2015-12-24
Publication date: 2019-12-23
Also published as: DE102015122090A1; GB2535837A; RU2015155538A3; RU2015155538A; US20160191861A1; GB2535837B; US10367869B2; GB201522760D0

Abstract

FIELD: physics.

SUBSTANCE: invention relates to a system and a method of transmitting data from a vehicle to a remote control station. Multiple data streams are received from the vehicle, at least one of which includes multimedia data. Priority determination of data streams is performed according to one or more factors. At least one of correction of at least one of data streams is performed and prevention of transfer of at least one of data streams according to definition of priorities.

EFFECT: higher efficiency of data transmission.

17 cl, 2 dwg

Description

Translated fromRussian

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУCROSS REFERENCE TO A RELATED APPLICATION

По настоящей заявке испрашивается приоритет по предварительной заявке США № 62/097,633, поданной 30 декабря 2014 года, которая настоящим включена в описание во всей своей полноте посредством ссылки.This application claims priority to provisional application US No. 62/097,633, filed December 30, 2014, which is hereby incorporated into the description in its entirety by reference.

УРОВЕНЬ ТЕХНИКИBACKGROUND

Дистанционно управляемые транспортные средства передают данные от различных датчиков, например, данные изображения с камер, установленных на дистанционно управляемом транспортном средстве. Например, оператор, дистанционно управляющий одним или более транспортными средствами, может иметь доступные виды, предоставленные посредством множества камер на транспортном средстве. К несчастью, механизмы для обработки и эффективного предоставления таких видов в пункт дистанционного управления и механизмы для оптимизации качества восприятия удаленного оператора транспортного средства являются недостаточными.Remote-controlled vehicles transmit data from various sensors, for example, image data from cameras mounted on a remotely controlled vehicle. For example, an operator remotely controlling one or more vehicles may have accessible views provided by a plurality of cameras on the vehicle. Unfortunately, mechanisms for processing and efficiently providing such species to a remote control point and mechanisms for optimizing the perception of a remote vehicle operator are inadequate.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Для преодоления по меньшей мере некоторых из проблем уровня техники в одном из аспектов изобретения предложена система передачи данных с транспортного средства в пункт дистанционного управления, содержащая:To overcome at least some of the problems of the prior art, in one aspect of the invention, there is provided a system for transmitting data from a vehicle to a remote control station, comprising:

компьютер в пункте дистанционного управления, содержащий процессор и память, иa computer at a remote control station containing a processor and memory, and

компьютер транспортного средства на транспортном средстве, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства, причемthe vehicle’s computer on the vehicle, the vehicle’s computer and the vehicle being geographically remote from the computer at the remote control point, the vehicle being a computer-controlled operator at the remote control point, the operator being geographically remote from the vehicle and the vehicle’s computer, moreover

память компьютера в пункте дистанционного управления хранит инструкции, исполняемые процессором компьютера в пункте дистанционного управления для:the computer memory in the remote control point stores instructions executed by the computer processor in the remote control point for:

приема множества потоков данных от транспортного средства через компьютер транспортного средства, по меньшей мере некоторые из которых включают мультимедийные данные;receiving multiple data streams from the vehicle through the vehicle computer, at least some of which include multimedia data;

определения доступной полосы пропускания и расходования полосы пропускания каждым из потоков данных;determining the available bandwidth and bandwidth consumption of each of the data streams;

определения приоритетов потоков данных согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания; причем определение приоритетов включает в себя определение по меньшей мере одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; иprioritizing data streams according to one or more factors, including at least data describing an operator at a remote control point controlling a vehicle and available bandwidth; moreover, the determination of priorities includes the determination of at least one of the data streams, which has a higher priority than the other of the data streams, based on sensor data indicating the behavior of the operator in the remote control; and

выдачи команды компьютеру транспортного средства на по меньшей мере одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных компьютеру в пункте дистанционного управления согласно определению приоритетов.issuing a command to the vehicle computer for at least one of adjusting at least one of the data streams and preventing at least one of the data streams from being transmitted to the computer at the remote control station according to the determination of priorities.

В одном из вариантов предложена система, в которой по меньшей мере один из потоков данных включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.In one embodiment, a system is provided in which at least one of the data streams includes at least one of speed and steering angle data from a vehicle.

В одном из вариантов предложена система, в которой корректировка по меньшей мере одного из потоков данных включает в себя корректировку по меньшей мере одного из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.In one embodiment, a system is provided in which adjusting at least one of the data streams includes adjusting at least one of a resolution and an image size transmitted in at least one of the data streams.

В одном из вариантов предложена система, в которой некоторые из потоков данных включают в себя изображения от соответствующих мультимедийных датчиков, установленных на транспортном средстве.In one embodiment, a system is provided in which some of the data streams include images from respective multimedia sensors mounted on a vehicle.

В одном из вариантов предложена система, в которой один или более факторов включают в себя данные о состоянии транспортного средства.In one embodiment, a system is provided in which one or more factors include vehicle condition data.

В одном из вариантов предложена система, в которой данные о состоянии транспортного средства включают в себя по меньшей мере одно из скорости транспортного средства, направление движения, угол поворота рулевого колеса, быстроту изменения угла поворота рулевого колеса и ориентацию датчика транспортного средства.In one embodiment, a system is provided in which vehicle status information includes at least one of a vehicle speed, a driving direction, a steering angle, a steering angle of a steering wheel, and a vehicle sensor orientation.

В одном из вариантов предложена система, в которой по меньшей мере один из потоков данных включает в себя команду для приведения в действие компонента транспортного средства.In one embodiment, a system is provided in which at least one of the data streams includes a command for driving a vehicle component.

В одном из вариантов предложена система, в которой данные о поведении оператора компьютера в пункте дистанционного управления включают в себя по меньшей мере одно из движения глаз и направления взгляда оператора.In one embodiment, a system is proposed in which data on the behavior of a computer operator at a remote control station includes at least one of eye movement and the direction of the operator's gaze.

В одном из дополнительных аспектов предложен способ передачи данных с транспортного средства в пункт дистанционного управления, включающий в себя этапы, на которых:In one of the additional aspects, a method for transmitting data from a vehicle to a remote control point, comprising the steps of:

управляют компьютером транспортного средства на транспортном средстве посредством компьютера в пункте дистанционного управления, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства,controlling a vehicle’s computer on the vehicle by means of a computer at a remote control station, the vehicle computer and the vehicle being geographically remote from the computer at the remote control station, the vehicle being a computer-controlled operator at the remote control station, the operator being geographically remote from vehicle and vehicle computer,

принимают на компьютере в пункте дистанционного управления множество потоков данных от транспортного средства через компьютер транспортного средства, по меньшей мере некоторые из которых включают в себя мультимедийные данные;receiving a plurality of data streams from the vehicle through the vehicle computer at a remote control computer, at least some of which include multimedia data;

определяют доступную полосу пропускания и расходование полосы пропускания каждым из потоков данных;determining the available bandwidth and bandwidth consumption of each of the data streams;

определяют посредством компьютера в пункте дистанционного управления приоритеты потоков данных согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания; причем определение приоритетов включает в себя определение по меньшей мере одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; иdetermining, by means of a computer at the remote control station, the priorities of the data streams according to one or more factors, including at least data describing the operator at the remote control station controlling the vehicle and the available bandwidth; moreover, the determination of priorities includes the determination of at least one of the data streams, which has a higher priority than the other of the data streams, based on sensor data indicating the behavior of the operator in the remote control; and

выдают команду компьютеру транспортного средства на по меньшей мере одно из корректировки по меньшей мере одного из потоков данных и предотвращения передачи по меньшей мере одного из потоков данных компьютеру в пункте дистанционного управления согласно определению приоритетов.instruct the vehicle computer at least one of adjusting at least one of the data streams and prevent at least one of the data streams from being transmitted to the computer at the remote control station according to the determination of priorities.

В одном из вариантов предложен способ, в котором по меньшей мере один из потоков данных включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.In one embodiment, a method is provided in which at least one of the data streams includes at least one of speed and steering angle data from a vehicle.

В одном из вариантов предложен способ, в котором некоторые из потоков данных включают в себя изображения от соответствующих мультимедийных датчиков, установленных на транспортном средстве.In one embodiment, a method is provided in which some of the data streams include images from respective multimedia sensors mounted on a vehicle.

В одном из вариантов предложен способ, в котором один или более факторов включают в себя данные о состоянии транспортного средства.In one embodiment, a method is provided in which one or more factors include vehicle condition data.

В одном из вариантов предложен способ, в котором корректировка по меньшей мере одного из потоков данных включает в себя этап, на котором корректируют по меньшей мере одно из разрешения и размера изображения, передаваемого по меньшей мере в одном из потоков данных.In one embodiment, a method is provided in which the adjustment of at least one of the data streams includes the step of correcting at least one of the resolution and size of the image transmitted in at least one of the data streams.

В одном из вариантов предложен способ, в котором по меньшей мере один из потоков данных включает в себя команду для приведения в действие компонента транспортного средства.In one embodiment, a method is provided in which at least one of the data streams includes a command for driving a vehicle component.

В одном из еще дополнительных аспектов предложена система передачи данных с транспортного средства в пункт дистанционного управления, содержащая:In one additional aspect, a system is proposed for transmitting data from a vehicle to a remote control station, comprising:

в пункте дистанционного управления, содержащий процессор и память, иin the remote control containing the processor and memory, and

компьютер транспортного средства на транспортном средстве, причем компьютер транспортного средства и транспортное средство находятся географически удаленно от компьютера в пункте дистанционного управления, причем транспортное средство является управляемым оператором компьютера в пункте дистанционного управления, при этом оператор находится географически удаленно от транспортного средства и компьютера транспортного средства, при этом компьютер запрограммирован с возможностью:the vehicle’s computer on the vehicle, the vehicle’s computer and the vehicle being geographically remote from the computer at the remote control point, the vehicle being a computer-controlled operator at the remote control point, the operator being geographically remote from the vehicle and the vehicle’s computer, the computer is programmed with the ability to:

приема данных от множества мультимедийных датчиков, установленных на транспортном средстве, через компьютер транспортного средства;receiving data from a plurality of multimedia sensors mounted on a vehicle through a vehicle computer;

определения приоритетов согласно одному или более факторам, включая по меньшей мере данные, описывающие оператора в пункте дистанционного контроля, осуществляющего управление транспортным средством, и доступную полосу пропускания, соответствующих потоков данных, каждый из которых включает в себя данные от одного из мультимедийных датчиков;prioritization according to one or more factors, including at least data describing the operator at the remote control point controlling the vehicle and the available bandwidth of the respective data streams, each of which includes data from one of the multimedia sensors;

причем определение приоритетов включает в себя определение одного из потоков данных, который обладает большим приоритетом, чем другие из потоков данных, на основании данных датчика, указывающих поведение оператора в пункте дистанционного управления; иmoreover, the determination of priorities includes the determination of one of the data streams, which has a higher priority than the other of the data streams, based on sensor data indicating the behavior of the operator in the remote control; and

выдачи команды компьютеру транспортного средства на корректировку по меньшей мере одного из потоков данных согласно определению приоритетов.issuing a command to the vehicle computer to adjust at least one of the data streams according to the prioritization.

В одном из вариантов предложена система, в которой компьютер запрограммирован с возможностью предоставления по меньшей мере одного потока данных через сеть, который включает в себя по меньшей мере одно из данных о скорости и угле поворота рулевого колеса от транспортного средства.In one embodiment, a system is provided in which a computer is programmed to provide at least one data stream through a network that includes at least one of speed and steering angle data from a vehicle.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

Фиг. 1 – функциональная схема примерной системы дистанционно управляемого транспортного средства.FIG. 1 is a functional diagram of an exemplary system of a remotely controlled vehicle.

Фиг. 2 – блок-схема примерного процесса корректировки отображения в пункте дистанционного управления.FIG. 2 is a flowchart of an example display adjustment process at a remote control point.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯDESCRIPTION OF THE PREFERRED EMBODIMENTS OF THE INVENTION

ОБЗОР СИСТЕМЫSYSTEM OVERVIEW

Фиг. 1 – функциональная схема примерной системы 100 дистанционно управляемого транспортного средства, включающей в себя одно или более транспортных средств 101, действия каждого транспортного средства 101 управляются из пункта 125 дистанционного управления. Компьютер 105 транспортного средства 101 собирает и обрабатывает данные от различных датчиков, например, в примерах, обсужденных в данном документе, мультимедийных датчиков 110. Данные от мультимедийных датчиков 110 обрабатываются и затем предоставляются, например, в соответствующих потоках 115 данных, через сеть 120 компьютеру 130 контроля и управления в пункте 125 дистанционного управления. Компьютер 130 контроля и управления, как правило, программируется, чтобы предоставлять данные из одного или более потоков 115 на одном или более устройствах 135 отображения, и чтобы предоставлять возможность оператору в пункте 125 предоставлять входные данные, например, через устройства 140 ввода, чтобы управлять, например, управлять механизмом рулевого управления, скоростью и т.д. транспортного средства 101.FIG. 1 is a functional diagram of an example remotecontrol vehicle system 100 including one ormore vehicles 101, the actions of eachvehicle 101 are controlled from a remote control point 125. Vehicle computer 105 collects and processes data from various sensors, for example, in the examples discussed herein,multimedia sensors 110. Data frommultimedia sensors 110 are processed and then provided, for example, inrespective data streams 115, through a network 120 to computer 130 control and management in paragraph 125 of the remote control. The control and management computer 130 is typically programmed to provide data from one ormore streams 115 on one or more display devices 135, and to enable the operator in step 125 to provide input, for example, throughinput devices 140, to control e.g. control steering gear, speed, etc.vehicle 101.

Компьютер 130 дополнительно программируется, чтобы определять приоритеты и/или корректировать потоки 115 данных, которые должны быть предоставлены на одном или более устройствах 135 отображения, согласно одному или более факторам. Например, корректировка потоков 115 данных может включать в себя корректировку размера и/или разрешения видеоизображения, предоставленного посредством потока 115; альтернативно или дополнительно, физическая регулировка мультимедийного датчика 110 может быть выполнена согласно инструкции от управляющего компьютера 130, например, чтобы перемещать мультимедийный датчик 110 горизонтально, вращательно и/или вертикально, чтобы изменять вид, предоставляемый оператору транспортного средства. Дополнительно, например, определение приоритетов потоков данных может включать в себя определение или классификацию уместности потоков 115 данных от соответствующих мультимедийных датчиков 110 в транспортном средстве 101. Факторы, уместные для изменения и/или установления приоритетов потоков 115 данных, могут включать в себя величину полосы пропускания и сквозную задержку в сети 120, определенную в качестве доступной для потоков 115 данных от транспортного средства 101 до пункта 125 управления. Дополнительно, уместные факторы могут включать в себя направление и/или скорость движения транспортного средства 101, указания, воспринимаемые от оператора в пункте 125 управления, движение и события, которые заслуживают внимания оператора в некотором направлении и т.д.Computer 130 is further programmed to prioritize and / or adjustdata streams 115 to be provided on one or more display devices 135, according to one or more factors. For example, adjustingdata streams 115 may include adjusting the size and / or resolution of the video image provided bystream 115; alternatively or additionally, the physical adjustment of themultimedia sensor 110 may be performed according to instructions from the control computer 130, for example, to move themultimedia sensor 110 horizontally, rotationally and / or vertically to change the view provided to the vehicle operator. Additionally, for example, prioritizing data streams may include determining or classifying the relevance of thedata streams 115 from therespective multimedia sensors 110 in thevehicle 101. Factors relevant to changing and / or prioritizing thedata streams 115 may include the amount of bandwidth and an end-to-end delay in the network 120, determined to be available fordata streams 115 from thevehicle 101 to the control point 125. Additionally, relevant factors may include the direction and / or speed of thevehicle 101, directions perceived from the operator at control 125, traffic and events that deserve the attention of the operator in a certain direction, etc.

ПРИМЕРНЫЕ ЭЛЕМЕНТЫ СИСТЕМЫEXAMPLE SYSTEM ELEMENTS

Система 100 может включать в себя два или более транспортных средств 101; единственное транспортное средство 101 показано на фиг. 1 для легкости иллюстрации. Транспортное средство 101 включает в себя компьютер 105 транспортного средства, который, как правило, включает в себя процессор и память, память включает в себя одну или более форм компьютерно-читаемых носителей и хранит инструкции, исполняемые процессором для выполнения различных операций, включающих в себя те, которые раскрыты в данном документе. Память компьютера 105 дополнительно принимает и хранит данные от датчиков транспортного средства 101, таких как мультимедийные датчики 110.System 100 may include two ormore vehicles 101; asingle vehicle 101 is shown in FIG. 1 for ease of illustration.Vehicle 101 includes a vehicle computer 105, which typically includes a processor and memory, the memory includes one or more forms of computer-readable media, and stores instructions executed by a processor to perform various operations, including those which are disclosed in this document. The computer memory 105 further receives and stores data from sensors of thevehicle 101, such asmultimedia sensors 110.

Соответственно, компьютер 105, как правило, конфигурируется для связи по шине локальной сети контроллеров (CAN) или т.п. известным образом. Компьютер 105 может также иметь соединение с бортовым диагностическим разъемом (OBD-II). Через CAN-шину, OBD-II, и/или другие проводные или беспроводные механизмы, компьютер 105 может передавать сообщения различным компонентам 107 в транспортном средстве и/или принимать сообщения от различных компонентов 107, например, контроллеров, включающих в себя электронные блоки управления (ECU), такие, которые известны, актуаторов, датчиков и т.д., включающих в себя мультимедийные датчики 110. Кроме того, компьютер 105 может быть выполнен с возможностью предоставления потоков 115 данных и/или отправки и приема других сообщений, через сеть 120, которая, как описано ниже, может включать в себя различные проводные и/или беспроводные технологии сетевого взаимодействия, например, сотовые, Bluetooth, проводные и/или беспроводные пакетные сети, и т.д.Accordingly, computer 105 is typically configured to communicate over a local area network (CAN) controller bus or the like. in a known way. Computer 105 may also be connected to an on-board diagnostic connector (OBD-II). Through the CAN bus, OBD-II, and / or other wired or wireless mechanisms, the computer 105 may transmit messages to various components 107 in the vehicle and / or receive messages from various components 107, for example, controllers including electronic control units ( ECUs), such as are known, actuators, sensors, etc., includingmultimedia sensors 110. In addition, computer 105 may be configured to providedata streams 115 and / or send and receive other messages through network 120 which, ka described below can include various wired and / or wireless networking technology, for example, cellular, Bluetooth, wired and / or wireless packet network, etc.

Потоки 115 данных, например, потоки данных и/или управляющие потоки, используются, чтобы предоставлять данные в реальном времени или почти в реальном времени от компьютера 105 транспортного средства 101 компьютеру 130. Потоки 115 данных могут быть предоставлены согласно известным протоколам, таким как «webRTC» (веб-связь в реальном времени), FFmpeg, TCP Friendly UDP или т.п., webRTC, как известно, включает в себя систему для передачи мультимедийных потоков, которая разрабатывается консорциумом всемирной паутины (W3C), включающую в себя наборы API (прикладных программных интерфейсов), чтобы взаимодействовать с системой потоковой передачи. Аналогично, FFmpeg является известным набором библиотек с открытым исходным кодом для управления потоковой передачей мультимедийных данных, включающих в себя видеоданные. Хотя упоминается в данном документе, прежде всего, как содержащий видеоданные, следует понимать, что поток 115 данных может также включать в себя аудиоданные, и что подходы, описанные в данном документе для управления потоками 115 данных, применяются в случае аудиоданных в дополнение или как альтернативы видеоданным в потоке 115 данных. Дополнительно, в дополнение к включению видео- и/или аудиоданных в мультимедийный поток, такой, который известен, поток 115 данных может включать в себя данные других датчиков, также как и данные транспортного средства 101, например, компьютер 105 может предоставлять данные, относящиеся к скорости транспортного средства 101, направлению движения, ускорению, замедлению, углу поворота рулевого колеса, быстроте изменения угла поворота рулевого колеса и т.д.Data streams 115, for example, data streams and / or control streams, are used to provide real-time or near real-time data from vehicle computer 105 to computer 130. Data streams 115 can be provided according to known protocols, such as "webRTC "(Real-time web communication), FFmpeg, TCP Friendly UDP or the like, webRTC, as you know, includes a system for transmitting multimedia streams, which is being developed by the World Wide Web Consortium (W3C), which includes API sets ( application software x interfaces) to interact with the streaming system. Similarly, FFmpeg is a well-known set of open source libraries for controlling the streaming of multimedia data including video data. Although mentioned herein primarily as containing video data, it should be understood that thedata stream 115 may also include audio data, and that the approaches described herein to control the data streams 115 are applied to audio data in addition or as alternatives. video data in thedata stream 115. Additionally, in addition to including video and / or audio data in a multimedia stream, such as is known, thedata stream 115 may include other sensor data, as well asvehicle data 101, for example, computer 105 may provide data related tovehicle speed 101, direction of travel, acceleration, deceleration, angle of rotation of the steering wheel, speed of change of angle of rotation of the steering wheel, etc.

Потоки 115 данных могут включать в себя данные об окружениях, например, представление окружающей обстановки транспортного средства 101, и т.д. Вместо аудио- и видеоданных, которые могут требовать больших величин пропускной способности, компьютер 105 может быть запрограммирован для извлечения признака и анализа сцены видеоданных. Например, видеоданные могут быть обработаны посредством известных методик, чтобы удалять детали объектов вдали от транспортного средства 101 или не имеющих отношения к работе транспортного средства 101. Измененный поток 115 видеоданных может иметь более низкое требование пропускной способности с более низкой сквозной задержкой, чем перед изменением.Data streams 115 may include environmental data, for example, a representation of the environment of thevehicle 101, etc. Instead of audio and video data, which may require large amounts of bandwidth, computer 105 can be programmed to extract a feature and analyze a scene of video data. For example, the video data may be processed by known techniques to remove object details away from thevehicle 101 or not related to the operation of thevehicle 101. The modifiedvideo stream 115 may have a lower throughput requirement with a lower end-to-end delay than before the change.

Потоки 115 данных могут включать в себя данные управления, т.е., данные для управления различными компонентами транспортного средства, например, системой рулевого управления, системой подвески и т.д. Примерный поток 115 данных может включать в себя только данные управления или может включать в себя как данные управления, так и данные датчиков; т.е., некоторые из потоков 115 данных могут быть предназначены специально для данных управления. Например, данные управления могут включать в себя инструкции электронному блоку управления (ECU) транспортного средства 101 или т.п. приводить в действие или модифицировать работу компонента транспортного средства, например, регулировать дроссельную заслонку транспортного средства 101, ускоряться или тормозить до заданной скорости, изменять угол поворота рулевого колеса и т.д.The data streams 115 may include control data, i.e., data for controlling various vehicle components, for example, a steering system, a suspension system, etc. Anexemplary data stream 115 may include only control data, or may include both control data and sensor data; i.e., some of the data streams 115 may be designed specifically for control data. For example, the control data may include instructions to the electronic control unit (ECU) of thevehicle 101 or the like. actuate or modify the operation of a vehicle component, for example, adjust the throttle of avehicle 101, accelerate or brake to a predetermined speed, change the angle of rotation of the steering wheel, etc.

Потоки 115 данных могут дополнительно включать в себя телеметрические данные, т.е., данные системы транспортного средства, собранные от телеметрических датчиков 106 транспортного средства. Телеметрические датчики 106 транспортного средства могут включать в себя, например, индикатор уровня аккумулятора, датчик балансировки транспортного средства, датчики состояния двигателя, датчики давления в шинах и т.д. Телеметрические данные могут включать в себя, например, уровень заряда аккумулятора, балансировку транспортного средства, состояние двигателя, давление в шинах, нагрузку обработки на компьютер 105, отслеживаемость алгоритма обработки видео, устойчивость системы управления и т.д. Телеметрические данные могут быть сохранены в компьютере 105 и отправлены управляющему компьютеру 130 через сеть 120. Потоки 115 данных могут дополнительно включать в себя данные об окружающей среде, т.е., данные об окружающей обстановке, собранные посредством датчиков 108 состояния окружающей среды. Датчики 108 состояния окружающей среды могут быть любого известного типа, включающего в себя радар, лидар, фотодатчики для общего освещения и т.д.The data streams 115 may further include telemetry data, i.e., vehicle system data collected from the telemetry sensors 106 of the vehicle. Vehicle telemetry sensors 106 may include, for example, a battery level indicator, a vehicle balance sensor, engine condition sensors, tire pressure sensors, etc. Telemetry data may include, for example, battery level, vehicle balancing, engine condition, tire pressure, processing load on computer 105, traceability of the video processing algorithm, stability of the control system, etc. Telemetry data may be stored in computer 105 and sent to control computer 130 via network 120. Data streams 115 may further include environmental data, i.e., environmental data collected by environmental sensors 108. The environmental sensors 108 may be of any known type, including radar, lidar, photosensors for general lighting, etc.

Мультимедийные датчики 110 могут включать в себя множество известных видеокамер для захвата и предоставления видеоданных компьютеру 105, например, в известном формате, таком как стандарт MPEG (экспертная группа по кинематографии), таком, который широко известен. Соответственно, поток 115 данных, предоставляемый от компьютера 105 транспортного средства управляющему компьютеру 130 через сеть 120, может включать в себя MPEG-данные. Следует понимать, что различные количества мультимедийных датчиков 110 могут быть установлены в или на транспортном средстве 101, четыре мультимедийных датчика 110 показаны на фиг.1 в целях иллюстрации. Например, может быть использован единственный мультимедийный датчик 110 с углом захвата 360 градусов. Дополнительно, следует понимать, что мультимедийные датчики 110 могут быть включены в различные местоположения на транспортном средстве 101, опять же, мультимедийные датчики 110 показываются на соответствующих сторонах, и спереди и сзади, транспортного средства 101 в целях иллюстрации.Multimedia sensors 110 may include many known video cameras for capturing and providing video data to computer 105, for example, in a well-known format, such as the MPEG standard (cinematography expert group), which is widely known. Accordingly, thedata stream 115 provided from the vehicle computer 105 to the control computer 130 via the network 120 may include MPEG data. It should be understood that various numbers ofmultimedia sensors 110 may be installed in or on thevehicle 101, fourmultimedia sensors 110 are shown in FIG. 1 for purposes of illustration. For example, asingle multimedia sensor 110 with a capture angle of 360 degrees can be used. Additionally, it should be understood that themultimedia sensors 110 may be included at various locations on thevehicle 101, again, themultimedia sensors 110 are shown on the respective sides, both front and rear, of thevehicle 101 for purposes of illustration.

Кроме того, следует понимать, что компьютер 105 может принимать данные от устройств и компонентов 107 в транспортном средстве 101, непоказанных на фиг. 1, и может предоставлять такие данные компьютеру 130 через сеть 120. Дополнительно, поток 115 данных (включающий в себя видео), передаваемый компьютеру 130, может включать в себя необработанные данные от различных датчиков или обработанные компьютером 105 перед потоковой передачей. Например, компьютер 105 может принимать данные от устройства системы глобального позиционирования (GPS) и/или других навигационных устройств в транспортном средстве 101. Аналогично, датчики 108 в дополнение к мультимедийным датчикам 110, например, радар, лидар, ультразвуковые датчики и т.д., могут быть включены в транспортное средство 101 и могут предоставлять данные компьютеру 105, чтобы помогать в операциях транспортного средства 101, включающих в себя навигацию. Кроме того, компьютер 105 программируется, чтобы принимать инструкции от управляющего компьютера 130 через сеть 120, касающиеся управления транспортным средством 101. Согласно инструкциям, принятым от компьютера 130, компьютер 105, например, согласно известным механизмам, может инструктировать различным компонентам транспортного средства 101, например, дроссельной заслонке, тормозам, рулевому управлению и т.д., предпринимать соответствующие действия, такие как поворот, ускорение, замедление и т.д. транспортного средства 101.In addition, it should be understood that the computer 105 can receive data from devices and components 107 in thevehicle 101, not shown in FIG. 1, and may provide such data to computer 130 via network 120. Additionally, data stream 115 (including video) transmitted to computer 130 may include raw data from various sensors or processed by computer 105 before streaming. For example, computer 105 may receive data from a global positioning system (GPS) device and / or other navigation devices in avehicle 101. Similarly, sensors 108 in addition tomultimedia sensors 110, such as radar, lidar, ultrasonic sensors, etc. can be included in thevehicle 101 and can provide data to the computer 105 to assist in the operations of thevehicle 101, including navigation. In addition, the computer 105 is programmed to receive instructions from the control computer 130 through the network 120 regarding the control of thevehicle 101. According to the instructions received from the computer 130, the computer 105, for example, according to known mechanisms, can instruct various components of thevehicle 101, for example , throttle, brakes, steering, etc., take appropriate actions such as turning, accelerating, decelerating, etc.vehicle 101.

Сеть 120 представляет один или более механизмов, посредством которых компьютер 105 транспортного средства может связываться с удаленным сервером 125. В одном примере 120 сеть содержит сотовую сеть, компьютер 105 оснащается, или соединяется с возможностью обмена данными, в транспортном средстве 101, сотовым модемом, таким, который известен, для связи по сотовой сети. В целом, сеть 120 может быть одним или более из различных проводных или беспроводных механизмов связи, включающих в себя любую желаемую комбинацию проводных (например, кабель и волокно) и/или беспроводных (например, сотовая связь, беспроводная связь, спутниковая связь, микроволновая связь и радиочастотная связь) механизмов связи и любую желаемую топологию сети (или топологии, когда используется множество механизмов связи). Примерные сети передачи данных, в дополнение к сотовой сети, которая уже указана, включают в себя беспроводные сети передачи данных (например, использующие Bluetooth, IEEE 802.11 и т.д.), локальные вычислительные сети (LAN) и/или глобальные вычислительные сети (WAN), включающие в себя Интернет, предоставляющие услуги передачи данных.Network 120 represents one or more mechanisms by which vehicle computer 105 can communicate with remote server 125. In one example 120, the network contains a cellular network, computer 105 is equipped with, or communicates with, thevehicle 101 with a cellular modem such , which is known for communication over a cellular network. In general, network 120 may be one or more of various wired or wireless communication mechanisms, including any desired combination of wired (e.g., cable and fiber) and / or wireless (e.g., cellular, wireless, satellite, microwave) and radio frequency communication) of communication mechanisms and any desired network topology (or topology when multiple communication mechanisms are used). Exemplary data networks, in addition to the cellular network that is already indicated, include wireless data networks (e.g., using Bluetooth, IEEE 802.11, etc.), local area networks (LANs) and / or wide area networks ( WAN), including the Internet, providing data services.

Пункт 125 управления, как правило, находится географически удаленно от транспортного средства 101, т.е., транспортное средство 101, как правило, находится в местоположении, которое не может быть физически или непосредственно видимо из пункта 125 управления. Таким образом, чтобы управлять транспортным средством 101, пункт 125 управления включает в себя один или более управляющих компьютеров 130, которые, как правило, включают в себя по меньшей мере один процессор и по меньшей мере одну память, память хранит инструкции, исполняемые процессором, включающие в себя инструкции для выполнения различных этапов и процессов, описанных в данном документе. Компьютер 130 может включать в себя энергозависимую память, энергонезависимое устройство хранения данных и т.д., и/или может быть соединен с возможностью обмена данными с хранилищем 130 данных для хранения 115 данных работы, записей, относящихся к потенциальным инцидентам, сформированных, как описано в данном документе, и т.д. Дополнительно, компьютер 130, как правило, программируется, чтобы принимать входные данные от одного или более устройств 140 ввода, которые могут управляться человеком-оператором в пункте 125 управления, также как от одного или более датчиков 145, которые могут предоставлять данные об операторе. Как указанно выше, компьютер 130, как правило, программируется, чтобы предоставлять инструкции компьютеру 105 транспортного средства, чтобы управлять операциями транспортного средства 101.The control point 125 is typically geographically remote from thevehicle 101, i.e., thevehicle 101 is typically located at a location that cannot be physically or directly visible from the control point 125. Thus, in order to drive thevehicle 101, the control point 125 includes one or more control computers 130, which typically include at least one processor and at least one memory, the memory stores instructions executed by the processor, including instructions for performing the various steps and processes described in this document. Computer 130 may include volatile memory, non-volatile data storage device, etc., and / or may be coupled to exchange data with data storage 130 to store 115 operation data, records related to potential incidents formed as described in this document, etc. Additionally, the computer 130 is typically programmed to receive input from one ormore input devices 140 that can be controlled by a human operator in a control point 125, as well as from one or more sensors 145 that can provide operator information. As indicated above, computer 130 is typically programmed to provide instructions to vehicle computer 105 in order to control the operations ofvehicle 101.

Пункт 125 управления может включать в себя центральный командный компьютер 150. Центральный командный компьютер 150, соединенный с управляющим компьютером 130, включает в себя процессор и память, память хранит инструкции, исполняемые процессором. Центральный командный компьютер 150 может быть запрограммирован, чтобы управлять множеством компьютеров 130, каждый компьютер 130 управляет одним транспортным средством 101. Центральный командный компьютер 150 программируется, чтобы собирать данные от компьютеров 130 и управлять задачами для парка транспортных средств 101, например, синхронизировать операции компьютеров 130, инициализировать и завершать сеансы управления транспортными средствами 101, управлять передачей сеанса управления между различными операторами, и т.д.The control point 125 may include a central command computer 150. The central command computer 150 connected to the control computer 130 includes a processor and memory, the memory stores instructions executed by the processor. The central command computer 150 may be programmed to control multiple computers 130, each computer 130 controls onevehicle 101. The central command computer 150 is programmed to collect data from computers 130 and manage tasks for the fleet ofvehicles 101, for example, to synchronize the operations of computers 130 initialize and terminatevehicle control sessions 101, control the transmission of a control session between various operators, etc.

Устройства 135 отображения, соединенные с компьютером 130, как правило, включают в себя двухмерные устройства отображения, например, плоскоэкранные мониторы или т.п., такие, которые известны. Устройства 135 отображения, как правило, используются, чтобы отображать одно или более видеоизображений из одного или более потоков 115 данных.Display devices 135 connected to computer 130 typically include two-dimensional display devices, such as flat-screen monitors or the like, such as are known. Display devices 135 are typically used to display one or more video images from one or more data streams 115.

Устройства ввода, соединенные с компьютером 130, могут включать в себя известные устройства, такие как клавиатура, джойстик, трекбол и т.д. Используя такие устройства ввода известным образом, оператор в пункте 125 может предоставлять инструкции для дистанционного управления транспортным средством 101.Input devices connected to computer 130 may include known devices such as a keyboard, joystick, trackball, etc. Using such input devices in a known manner, the operator in paragraph 125 may provide instructions for remotely controlling thevehicle 101.

Датчики 145 могут включать в себя камеры или другие датчики в пункте 125 управления для отслеживания движений человека-оператора. Например, камеры могут быть развернуты известным образом, чтобы обнаруживать движения глаз и/или направление взгляда оператора. Таким образом, данные, предоставляемые от одного или более датчиков 145 компьютеру 130, могут быть использованы компьютером 130, чтобы определять изображение или изображения, просматриваемые оператором. Соответственно, как обсуждается дополнительно ниже, компьютер 130 может определять приоритеты потоков 115 данных по меньшей мере частично согласно конкретному видеоизображению или изображениям, интересующим оператора в настоящий момент, из транспортного средства 101.Sensors 145 may include cameras or other sensors in a control item 125 for monitoring the movements of a human operator. For example, cameras can be deployed in a known manner to detect eye movements and / or the direction of the operator's gaze. Thus, data provided from one or more sensors 145 to computer 130 can be used by computer 130 to determine an image or images viewed by an operator. Accordingly, as discussed further below, the computer 130 can determine the priorities of the data streams 115 at least in part according to the specific video image or images of interest to the operator at the moment, from thevehicle 101.

ПРИМЕРНАЯ ПОСЛЕДОВАТЕЛЬНОСТЬ ОПЕРАЦИЙ ПРОЦЕССАEXAMPLE SEQUENCE OF PROCESS OPERATIONS

Фиг. 2 – блок-схема примерного процесса 200 корректировки устройства 135 отображения в пункте 125 дистанционного управления. Различные этапы процесса 200 выполняются согласно инструкциям, выполняемым посредством одного или более компьютеров 105, 130.FIG. 2 is a flowchart of anexemplary process 200 for adjusting a display device 135 in a remote control item 125. The various steps ofprocess 200 are performed according to instructions performed by one or more computers 105, 130.

Процесс 200 начинается на этапе 205, в котором компьютер 105 транспортного средства 101 предоставляет потоки 115 мультимедийных данных компьютеру 130. Как указанно выше, компьютер 105, как правило, предоставляет один или более потоков 115 мультимедийных данных, например, включающих в себя MPEG-видеоданные или т.п., от соответствующих мультимедийных датчиков 110, установленных в или на транспортном средстве 101. Кроме того, как также указанно выше, компьютер 105, как правило, предоставляет поток или потоки 115 данных, включающие в себя данные, относящиеся к работы транспортного средства 101, например, скорость, направление движения, угол поворота рулевого колеса, быстрота изменения угла поворота рулевого колеса и т.д. После этапа 205 процесс 200 переходит к этапу 210.Theprocess 200 begins atstep 205, in which the computer 105 of thevehicle 101 provides streams ofmultimedia data 115 to the computer 130. As described above, the computer 105 typically provides one ormore streams 115 of multimedia data, for example, including MPEG video data or etc., from correspondingmultimedia sensors 110 installed in or on thevehicle 101. In addition, as also indicated above, computer 105 typically provides data stream orstreams 115 including data related to operation svehicle 101, e.g., speed, direction, steering angle, rate of change of the steering angle, etc. Afterstep 205,process 200 proceeds to step 210.

На этапе 210, который может следовать либо за этапом 205, либо за этапом 250, компьютер 130 определяет состояние транспортного средства 101. Когда используется в данном документе, термин «состояние транспортного средства» может включать в себя множество атрибутов транспортного средства 101, включающих в себя скорость в реальном времени или почти в реальном времени транспортного средства 101, направление движения, угол поворота рулевого колеса, быстроту изменения угла поворота рулевого колеса и т.д. Состояние транспортного средства может дополнительно включать в себя ориентацию одного или более мультимедийных датчиков 110, например, вертикальный и/или горизонтальный угол мультимедийного датчика 110 относительно продольной и/или поперечной оси транспортного средства 101.Atstep 210, which can either followstep 205 or step 250, computer 130 determines the state of thevehicle 101. When used herein, the term "state of the vehicle" may include many attributes of thevehicle 101, including real-time or near-real-time speed of thevehicle 101, driving direction, steering angle, speed of change of steering angle, etc. The state of the vehicle may further include the orientation of one ormore multimedia sensors 110, for example, the vertical and / or horizontal angle of themultimedia sensor 110 relative to the longitudinal and / or transverse axis of thevehicle 101.

После этапа 210, на этапе 215, компьютер 130 принимает данные от датчиков 145, указывающие движения человека-оператора, например, указывающие движения головы оператора, направление взгляда или изменение в направлении взгляда на основе изображений глаз оператора, и т.д. Такие данные могут быть предоставлены компьютеру 105, например, указывающие приоритет или весовой коэффициент, который должен быть предоставлен одному или более мультимедийным датчикам 110 вследствие поведения оператора в удаленном пункте 125.Afterstep 210, at step 215, the computer 130 receives data from sensors 145 indicating the movements of the human operator, for example, indicating the movements of the operator’s head, the direction of view, or the change in direction of view based on images of the operator’s eyes, etc. Such data may be provided to computer 105, for example, indicating the priority or weighting factor to be provided to one ormore multimedia sensors 110 due to operator behavior in remote location 125.

После этапа 215, на этапе 220, компьютер 105 в транспортном средстве 101 определяет приоритеты видов от мультимедийных датчиков 110, например, которые представляются в соответствующих потоках 115 данных. Например, компьютер 105 может быть запрограммирован, чтобы принимать во внимание направление движения транспортного средства 101, которое указывается посредством угла поворота рулевого колеса транспортного средства 101, и/или данные от компьютера 101, указывающие скорость транспортного средства 101 и/или состояние трансмиссии, например, на передней или задней передаче, и т.д. Альтернативно или дополнительно, компьютер 105 может быть запрограммирован, чтобы принимать во внимание данные, предоставленные от компьютера 130, касающиеся оператора транспортного средства 101, например, направление или изменение в направлении глаз оператора, например, указывающее, что оператор смотрел на конкретный устройство 135 отображения, предоставляющий конкретный поток 115 данных, тем самым, указывая, что конкретный поток 115 данных в настоящее время был наиболее интересен оператору транспортного средства 101. Компьютер 130, на основе таких данных, может назначать более высокий приоритет потоку 115 данных от мультимедийного датчика 110, направленного в указанном направлении движения транспортного средства 101, например, в переднюю и/или в левую сторону транспортного средства 101, движущегося прямо и поворачивающего налево, и т.д., и/или предоставляющего поток 115 данных, указанный как интересный оператору транспортного средства 101 согласно данным от одного или более датчиков 145. Соответственно, определение приоритетов мультимедийных, например, видео, потоков 115 данных может включать в себя классификацию, например, от 1 до 4 и т.д., потоков 115 видеоданных согласно полезности для удаленного оператора транспортного средства 101.After step 215, at step 220, the computer 105 in thevehicle 101 determines the priorities of the views from themultimedia sensors 110, for example, which are represented in the respective data streams 115. For example, computer 105 may be programmed to take into account the direction of travel of thevehicle 101, which is indicated by the steering angle of the steering wheel of thevehicle 101, and / or data from thecomputer 101, indicating the speed of thevehicle 101 and / or the state of the transmission, for example, in forward or reverse gear, etc. Alternatively or additionally, computer 105 may be programmed to take into account data provided from computer 130 regarding the operator of thevehicle 101, for example, a direction or change in the direction of the operator’s eyes, for example, indicating that the operator was looking at a particular display device 135, providing aspecific data stream 115, thereby indicating that theparticular data stream 115 was currently of most interest to the operator of thevehicle 101. Computer 130, based on of their data, may assign a higher priority to thedata stream 115 from themultimedia sensor 110 directed in the indicated direction of movement of thevehicle 101, for example, in the front and / or left side of thevehicle 101, moving straight and turning left, etc. , and / or providing adata stream 115, indicated as interesting to thevehicle operator 101 according to data from one or more sensors 145. Accordingly, prioritization of multimedia, for example, video, data streams 115 may include include a classification, for example, from 1 to 4, etc., of the video data streams 115 according to the utility for the remote operator of thevehicle 101.

После этапа 220, на этапе 225, компьютер 130 определяет величину полосы пропускания, потребляемой каждым из мультимедийных потоков 115 данных, например, в единицах битов в секунду, мегабитов в секунду (Мбит/с) и т.д. Альтернативно или дополнительно, такое определение может быть выполнено в компьютере 105.After step 220, at step 225, the computer 130 determines the amount of bandwidth consumed by each of the multimedia data streams 115, for example, in units of bits per second, megabits per second (Mbps), etc. Alternatively or additionally, such a determination may be made at computer 105.

После этапа 225, на этапе 230, компьютер 105 определяет величину доступной полосы пропускания и сквозную задержку для мультимедийных потоков 115 данных. Альтернативно или дополнительно, такое определение может быть выполнено в компьютере 130. В любом случае, это определение может быть выполнено посредством отправки «эхо-пакетов» по сети 120, как известно.After step 225, at step 230, computer 105 determines the amount of available bandwidth and end-to-end delay for multimedia data streams 115. Alternatively or additionally, such a determination can be made in the computer 130. In any case, this determination can be made by sending "echo packets" on the network 120, as is known.

На этапе 235, после этапа 225, компьютер 105 определяет, превышает ли доступная полоса пропускания для мультимедийных потоков 115 данных, расходуемая, как определено на этапе 225, и если так, то насколько, доступную полосу пропускания, определенную на этапе 230. Альтернативно или дополнительно, это определение может быть выполнено в компьютере 130. В любом случае, если расходуемая полоса пропускания превышает доступную полосу пропускания, тогда этап 240 выполняется следующим. Иначе, процесс 200 переходит к этапу 245.In step 235, after step 225, the computer 105 determines whether the available bandwidth for the multimedia data streams 115 is consumed as determined in step 225, and if so, how much, the available bandwidth determined in step 230. Alternative or additional , this determination can be made in the computer 130. In any case, if the consumed bandwidth exceeds the available bandwidth, then step 240 is performed as follows. Otherwise, theprocess 200 proceeds to step 245.

На этапе 240, компьютер 105 выполняет одну или более корректировок в потоках 115 данных, предоставляемых компьютеру 130. Альтернативно или дополнительно, компьютер 130 может определять такие корректировки и может предоставлять инструкции, касающиеся того же, компьютеру 105. В любом случае, чтобы уменьшать полосу пропускания, расходуемую мультимедийными потоками 115 данных, компьютер 105, 130 может определять, что один или более потоков данных, например, от одного или более мультимедийных датчиков 110 в транспортном средстве 101, не должен предоставляться компьютеру 130. Например, расходование полосы пропускания может быть уменьшено, когда только три из четырех, или даже два из четырех, доступных потока 115 данных предоставляются компьютеру 130 от компьютера 105, например, согласно классификации, такой, которая была определена, как описано выше относительно этапа 220. Альтернативно или дополнительно, расходование полосы пропускания может быть уменьшено посредством корректировки размера или разрешения некоторых или всех мультимедийных потоков 115 данных, предоставляемых компьютеру 130. Например, когда транспортное средство 101 движется в переднем направлении, мультимедийные датчики 110, предоставляющие изображения с левой и правой сторон транспортного средства 101, могут быть менее важны, чем когда транспортное средство 101 поворачивает. Соответственно, разрешение и/или размер такого изображения может быть уменьшен в потоке 115 данных. Кроме того, альтернативно или дополнительно, компьютер 130 может инструктировать компьютеру 105 корректировать позицию и/или ориентацию одного или более мультимедийных датчиков 110 на основе отслеживания движений оператора, направления взгляда и т.д. Еще дополнительно или альтернативно, компьютер 105 может предотвращать передачу по меньшей мере одного из потоков 115 данных компьютеру 130. В зависимости от доступной полосы пропускания компьютер 105 может отправлять только такие потоки 115 данных, которые имеют наивысший приоритет, и предотвращать передачу потоков 115 данных с наименьшим приоритетом, пока потоки более высокого приоритета не будут отправлены, и/или доступная полоса пропускания не увеличится.At step 240, computer 105 performs one or more adjustments in data streams 115 provided to computer 130. Alternatively or additionally, computer 130 may determine such adjustments and may provide instructions for the same to computer 105. In any case, to reduce bandwidth consumed by the multimedia data streams 115, the computer 105, 130 may determine that one or more data streams, for example, from one ormore multimedia sensors 110 in thevehicle 101, should not be provided computer 130. For example, bandwidth consumption can be reduced when only three out of four, or even two out of four available data streams 115 are provided to computer 130 from computer 105, for example, according to a classification that has been determined as described above with respect to step 220. Alternatively or additionally, bandwidth consumption can be reduced by adjusting the size or resolution of some or all of the multimedia data streams 115 provided to the computer 130. For example, to when thevehicle 101 is moving forward,multimedia sensors 110 providing images on the left and right sides of thevehicle 101 may be less important than when thevehicle 101 is turning. Accordingly, the resolution and / or size of such an image can be reduced in thedata stream 115. In addition, alternatively or additionally, computer 130 may instruct computer 105 to correct the position and / or orientation of one ormore multimedia sensors 110 based on tracking operator movements, viewing direction, etc. Still further or alternatively, computer 105 can prevent the transmission of at least one of the data streams 115 to computer 130. Depending on the available bandwidth, computer 105 can send only thosedata streams 115 that have the highest priority, and prevent the transmission of data streams 115 with the lowest Priority until higher priority streams are sent and / or the available bandwidth is increased.

Этап 245 выполняется после любого из этапов 235, 240. На этапе 245 компьютер 130 предоставляет изображение или изображения (и возможно также аудио и другие данные, как указанно выше) из одного или более потоков 115 данных на устройстве отображения или устройствах 135 отображения. Оператор может использовать информацию с устройства 135 отображения, чтобы предоставлять входные данные компьютеру 130, который, в свою очередь, может предоставлять управляющие сигналы для компьютера 105, чтобы предоставлять их компонентам транспортного средства 101, например, для рулевого управления, управления дроссельной заслонкой, управления торможением и т.д.Step 245 is performed after any of steps 235, 240. Atstep 245, the computer 130 provides an image or images (and possibly also audio and other data, as described above) from one or more data streams 115 on the display device or display devices 135. The operator can use the information from the display device 135 to provide input to the computer 130, which in turn can provide control signals for the computer 105 to provide them to the components of thevehicle 101, for example, for steering, throttle control, braking control etc.

После этапа 245, на этапе 250, компьютер 130 определяет, продолжается ли процесс 200. Например, удаленная работа транспортного средства 101 может быть завершена, транспортное средство 101 может быть выключено и т.д. Таким образом, процесс 200 может заканчиваться после этапа 250. Иначе, процесс 200 может продолжаться на этапе 205.Afterstep 245, at step 250, the computer 130 determines whether theprocess 200 continues. For example, the remote operation of thevehicle 101 may be completed, thevehicle 101 may be turned off, etc. Thus, theprocess 200 may end after step 250. Otherwise, theprocess 200 may continue atstep 205.

ЗАКЛЮЧЕНИЕCONCLUSION

Когда используется в данном документе, наречие «по существу» означает, что форма, структура, показатель, количество, время и т.д. могут отклоняться от точно описанной геометрии, расстояния, показателя, количества, времени и т.д. вследствие несовершенств в материалах, механической обработке, производстве и т.д.When used in this document, the adverb “essentially” means that form, structure, indicator, quantity, time, etc. may deviate from precisely described geometry, distance, metric, quantity, time, etc. due to imperfections in materials, machining, manufacturing, etc.

Вычислительные устройства, такие как обсужденные в данном документе, как правило, каждое включают в себя инструкции, исполняемые одним или более вычислительными устройствами, такими как идентифицированные выше, и чтобы выполнять блоки или этапы процессов, описанных выше. Например, блоки процесса, обсужденные выше, могут быть осуществлены как компьютерно-исполняемые инструкции.Computing devices, such as those discussed herein, typically each include instructions executed by one or more computing devices, such as those identified above, and to perform the blocks or steps of the processes described above. For example, the process units discussed above can be implemented as computer-executable instructions.

Компьютерно-исполняемые инструкции могут быть скомпилированы или интерпретированы из компьютерных программ, созданных посредством множества языков и/или технологий программирования, включающих в себя, без ограничения, и либо отдельно, либо в комбинации, Java™, C, C++, Visual Basic, Java Script, Perl, HTML и т.д. В целом, процессор (например, микропроцессор) принимает инструкции, например, из памяти, компьютерно-читаемого носителя и т.д. и выполняет эти инструкции, таким образом, выполняя один или более процессов, включающих в себя один или более процессов, описанных в данном документе. Такие инструкции и другие данные могут быть сохранены и передаваться посредством множества компьютерно-читаемых носителей. Файл в вычислительном устройстве, в целом, является совокупностью данных, сохраненных на считываемом компьютером носителе, таком как носитель хранения, оперативное запоминающее устройство и т.д.Computer-executable instructions can be compiled or interpreted from computer programs created through a variety of programming languages and / or technologies, including, without limitation, and either separately or in combination, Java ™, C, C ++, Visual Basic, Java Script , Perl, HTML, etc. In general, a processor (e.g., a microprocessor) receives instructions, e.g., from memory, computer-readable media, etc. and executes these instructions, thus performing one or more processes including one or more of the processes described herein. Such instructions and other data may be stored and transmitted through a variety of computer-readable media. A file in a computing device as a whole is a collection of data stored on a computer-readable medium, such as a storage medium, random access memory, etc.

Компьютерно-читаемый носитель включает в себя любой носитель, который участвует в предоставлении данных (например, инструкций), который может быть считан посредством компьютера. Такой носитель может принимать многие формы, включающие в себя, но не только, энергонезависимые носители, энергозависимые носители и т.д. Энергонезависимые носители включают в себя, например, оптические или магнитные диски и другое постоянное запоминающее устройство. Энергозависимые носители включают в себя, например, динамическое оперативное запоминающее устройство (DRAM), которое типично составляет основную память. Обычные формы компьютерно-читаемых носителей включают в себя, например, гибкий диск, дискету, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM, DVD, любой другой оптический носитель, перфорационную карту, бумажную ленту, любой другой физический носитель с рисунками отверстий, RAM, PROM, EPROM, FLASH-EEPROM, любую другую микросхему памяти или картридж, или любой другой носитель, с которого компьютер может выполнять считывание.A computer-readable medium includes any medium that is involved in providing data (e.g., instructions) that can be read by a computer. Such a medium can take many forms, including, but not limited to, non-volatile media, volatile media, etc. Non-volatile media include, for example, optical or magnetic disks and other read-only memory. Volatile media includes, for example, dynamic random access memory (DRAM), which typically constitutes main memory. Typical forms of computer-readable media include, for example, a floppy disk, floppy disk, hard disk, magnetic tape, any other magnetic medium, CD-ROM, DVD, any other optical medium, punch card, paper tape, any other physical medium with hole patterns, RAM, PROM, EPROM, FLASH-EEPROM, any other memory chip or cartridge, or any other medium from which the computer can read.

На чертежах одинаковые ссылочные позиции указывают одинаковые элементы. Дополнительно, некоторые или все из этих элементов могут быть изменены. Что касается носителей, процессов, систем, способов и т.д., описанных в данном документе, следует понимать, что, хотя этапы таких процессов и т.д. были описаны как происходящие согласно некой упорядоченной последовательности, такие процессы могут быть применены на практике посредством описанных этапов, выполняемых в порядке, отличном от порядка, описанного в данном документе. Дополнительно следует понимать, что некоторые этапы могут выполняться одновременно, что другие этапы могут быть добавлены, или что некоторые этапы, описанные в данном документе, могут быть опущены. Другими словами, описания процессов в данном документе предоставлены с целью иллюстрации некоторых вариантов осуществления и не должны никоим образом истолковываться так, чтобы ограничивать заявленное изобретение.In the drawings, like reference numerals indicate like elements. Additionally, some or all of these elements are subject to change. As for the media, processes, systems, methods, etc. described in this document, it should be understood that, although the stages of such processes, etc. have been described as occurring according to a certain ordered sequence, such processes can be applied in practice through the steps described, performed in an order different from the order described in this document. Additionally, it should be understood that some steps may be performed simultaneously, that other steps may be added, or that some steps described herein may be omitted. In other words, the process descriptions in this document are provided to illustrate certain embodiments and should not be construed in any way so as to limit the claimed invention.

Соответственно, следует понимать, что вышеприведенное описание предназначено быть иллюстративным, а не ограничивающим. Многие варианты осуществления и применения, отличные от предоставленных примеров, будут понятны специалистам в области техники по прочтении вышеприведенного описания. Рамки изобретения должны быть определены, не со ссылкой на вышеприведенное описание, но должны вместо этого быть определены со ссылкой на прилагаемую формулу изобретения, вместе с полными рамками эквивалентов, к которым такие пункты формулы приписаны. Ожидается и предполагается, что будущие разработки произойдут в технологиях, обсужденных в данном документе, и что раскрытые системы и способы будут включены в такие будущие варианты осуществления. Резюмируя, следует понимать, что изобретение способно к модификации и вариативности и ограничено только последующей формулой изобретения.Accordingly, it should be understood that the foregoing description is intended to be illustrative and not limiting. Many embodiments and applications other than those provided will be apparent to those skilled in the art upon reading the above description. The scope of the invention should be determined, not with reference to the above description, but should instead be determined with reference to the attached claims, together with the full scope of equivalents to which such claims have been assigned. It is expected and anticipated that future developments will occur in the technologies discussed in this document, and that the disclosed systems and methods will be included in such future embodiments. In summary, it should be understood that the invention is capable of modification and variability and is limited only by the following claims.

Все выражения, используемые в формуле изобретения, предназначены для использования их в общепринятом значении, понятном специалисту в области техники, кроме тех случаев, когда явно отмечено иное. В частности, использование выражения «указанный» должно читаться как перечисление одного или более указанных элементов, кроме тех случаев, когда пункт формулы изобретения явно указывает на обратное.All expressions used in the claims are intended to be used in a generally accepted meaning understood by a person skilled in the art, unless otherwise expressly stated. In particular, the use of the expression “indicated” should be read as an enumeration of one or more of the indicated elements, unless the claim clearly indicates otherwise.