DE102014218749A1 - Support of an operator of a work machine by means of an unmanned flying object - Google Patents

Abstract

Translated fromGerman

Die Erfindung offenbart ein Verfahren und eine Unterstützungsvorrichtung zum Unterstützen eines Betriebes einer Arbeitsmaschine, aufweisend die folgenden Schritte: – Erzeugen von Bilddaten eines Endeffektors und/oder eines von dem Endeffektor manipulierten Objektes mittels einer Kamera eines unbemannten Flugobjektes; – Übermitteln der Bilddaten an eine Anzeigeeinrichtung, die an der Arbeitsmaschine angeordnet ist; – Erfassen der Position und/oder der Orientierung des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes; und – Steuern des unbemannten Flugobjektes und/oder der Kamera in Abhängigkeit der erfassten Position des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes derart, dass die Kamera Bilddaten des Endeffektors der Arbeitsmaschine und/oder des von dem Endeffektor manipulierten Objektes erzeugt.The invention discloses a method and a support device for supporting an operation of a work machine, comprising the following steps: generating image data of an end effector and / or an object manipulated by the end effector by means of a camera of an unmanned flying object; - transmitting the image data to a display device which is arranged on the work machine; Detecting the position and / or orientation of the end effector of the work machine and / or of the object manipulated by the end effector of the work machine; and controlling the unmanned flying object and / or the camera as a function of the detected position of the end effector of the work machine and / or of the object manipulated by the end effector of the work machine such that the camera generates image data of the end effector of the work machine and / or of the object manipulated by the end effector ,

Description

Translated fromGerman

Die vorliegende Erfindung betrifft ein Verfahren und eine Unterstützungsvorrichtung, die einen Bediener einer Arbeitsmaschine mittels eines unbemannten Flugobjektes unterstützen.The present invention relates to a method and a support device that assist an operator of a work machine by means of an unmanned flying object.

Auf Baustellen werden Kräne, Bagger, Betonpumpen und andere Arbeitsmaschinen eingesetzt, um Objekte zu bewegen oder Erdbewegungen durchzuführen. Bei einigen Tätigkeiten ist ein Aktionsradius eines Endeffektors und/oder eines mittels des Endeffektors der Arbeitsmaschine bewegten Objektes nicht ausreichend für den Bediener der Maschine einsehbar. Um dieses Problem zu beheben, werden im Stand der Technik schwenkbare bzw. bewegliche Kabinen vorgeschlagen. Ferner werden im Stand der Technik ein Einweiser verwendet, der dem Bediener mittels Handzeichen und/oder einer Sprechfunkverbindung Anweisungen erteilt, wie der Endeffektor der Maschine zu bewegen ist.On construction sites, cranes, excavators, concrete pumps and other machinery are used to move objects or perform earthworks. In some operations, an operating radius of an end effector and / or an object moved by means of the end effector of the work machine may not be sufficiently visible to the operator of the machine. To remedy this problem, pivotable or movable cabins are proposed in the prior art. Further, the prior art employs a referrer that provides instructions to the operator as to how to move the end effector of the machine by means of a hand signal and / or a radio link.

Die Lösungen des Standes der Technik sind nicht zufriedenstellend, da durch den Einweiser zusätzliche Aufwände entstehen sowie lange Reaktionszeiten vorhanden sein können und/oder eine unklare Umgebungssituation entstehen kann. Ferner muss sich der Einweiser eventuell in einem Gefahrenbereich aufhalten. Ferner können schlechte ergonomisch Arbeitsbedingungen für den Bediener der Arbeitsmaschine entstehen, beispielsweise aufgrund der Kommunikation mit dem Einweiser und einem ungünstigen Betrachtungswinkel auf den Endeffektor und/oder das das zu manipulierende Objekt. Ferner kann die Sicht auf den Endeffektor und/oder auf das zu manipulierende Objekt durch die Maschine selbst oder ein anderes Objekt erschwert werden, beispielsweise wenn ein Kran ein Objekt in ein Gebäude heben oder senken soll oder ein Bagger Aushubarbeiten an einer steilen Kante ausführen soll.The solutions of the prior art are unsatisfactory, since additional costs are incurred by the instructor and long reaction times may be present and / or an unclear environmental situation may arise. Furthermore, the instructor may need to be in a hazardous area. Furthermore, poor ergonomic working conditions can arise for the operator of the work machine, for example due to communication with the referrer and an unfavorable viewing angle on the end effector and / or the object to be manipulated. Furthermore, the view of the end effector and / or the object to be manipulated may be made difficult by the machine itself or another object, for example when a crane is to raise or lower an object in a building or an excavator is to perform excavation work on a steep edge.

DieDE 10 2011 006 333 A1 offenbart ein fliegendes Trägersystem für eine Gleisbaustelle.The DE 10 2011 006 333 A1 discloses a flying support system for a track construction site.

DieDE 10 2008 058 481 A1 beschreibt, dass unbemannte Drohnen Maschinenpositionsdaten ermitteln und Temperaturdaten aufnehmen.The DE 10 2008 058 481 A1 describes that unmanned drones detect machine position data and record temperature data.

DieEP 2 465 582 A2 schlägt das Positionieren einer Leiter an einem brennenden Haus mittels einer Drohne vor.The EP 2 465 582 A2 suggests positioning a ladder on a burning house by means of a drone.

DieKR 1020110134076 A schlägt vor, dreidimensionale räumliche Information mittels einer Drohne mit einem GPS-Sensor zu erfassen.The KR 1020110134076 A proposes to capture three-dimensional spatial information by means of a drone with a GPS sensor.

DieWO 2010/026268 A1 beschreibt das Erfassen der tatsächlichen Abmessungen eines Geländes, beispielsweise bei Bau- und Wartungsarbeiten.The WO 2010/026268 A1 describes the detection of the actual dimensions of a site, for example during construction and maintenance.

Die Erfindung stellt sich zur Aufgabe, eine Vorrichtung und ein Verfahren zum Unterstützen eines Bedieners einer Arbeitsmaschine zu schaffen.The object of the invention is to provide an apparatus and a method for assisting an operator of a work machine.

Die Aufgabe der Erfindung wird durch eine Unterstützungsvorrichtung nach Anspruch 1, eine Arbeitsmaschine nach Anspruch 6, ein Verfahren nach Anspruch 8 und Computerprogrammprodukt nach Anspruch 9 gelöst. Die Unteransprüche beanspruchen bevorzugte Ausführungsformen.The object of the invention is achieved by a support device according to claim 1, a work machine according toclaim 6, a method according toclaim 8 and computer program product according to claim 9. The subclaims claim preferred embodiments.

Die erfindungsgemäße Unterstützungsvorrichtung für eine Arbeitsmaschine weist ein unbemanntes Flugobjekt mit einer Kamera und einer Sendeeinrichtung auf, wobei die Sendeeinrichtung dazu ausgebildet ist, mit der Kamera aufgenommene Bilddaten zu senden. Die Unterstützungsvorrichtung weist ferner eine Empfangseinrichtung auf, die dazu ausgebildet ist, an der Arbeitsmaschine angebracht zu werden und die von der Sendeeinrichtung gesendeten Bilddaten zu empfangen. Die Unterstützungsvorrichtung weist ferner eine Anzeigeeinrichtung auf, die dazu ausgebildet ist, an der Arbeitsmaschine angebracht zu werden und die von der Empfangseinrichtung empfangenen Bilddaten anzuzeigen. Eine Steuerungseinrichtung der Unterstützungseinrichtung ist dazu ausgebildet, das unbemannte Flugobjekt und/oder die Kamera in Abhängigkeit einer erfassten Position und/oder einer erfassten Orientierung eines Endeffektors der Arbeitsmaschine und/oder eines von dem Endeffektor manipulierten Objektes derart zu steuern, dass die Kamera Bilddaten des Endeffektors der Arbeitsmaschine und/oder des von dem Endeffektor manipulierten Objektes erzeugt. Der Endeffektor und/oder das vom Endeffektor manipulierte Objekt können sich an einem Ort befinden, der von einem Bediener der Arbeitsmaschine nicht einsehbar ist.The working machine support device according to the invention has an unmanned flying object with a camera and a transmitting device, wherein the transmitting device is designed to transmit image data recorded with the camera. The support device further comprises a receiving device, which is designed to be attached to the working machine and to receive the image data transmitted by the transmitting device. The support device further comprises a display device which is designed to be attached to the work machine and to display the image data received by the receiving device. A control device of the support device is designed to control the unmanned flying object and / or the camera in dependence on a detected position and / or a detected orientation of an end effector of the work machine and / or an object manipulated by the end effector in such a way that the camera receives image data of the end effector the work machine and / or manipulated by the end effector object generated. The end effector and / or the object manipulated by the end effector may be located in a location that is not visible to an operator of the work machine.

Die Unterstützungsvorrichtung kann ferner eine Erfassungseinrichtung aufweisen, die dazu ausgebildet ist, die Position und/oder die Orientierung des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes zu erfassen.The support device may further comprise a detection device configured to detect the position and / or orientation of the end effector of the work machine and / or the object manipulated by the end effector of the work machine.

Dadurch kann sichergestellt werden, dass das unbemannte Flugobjekt und/oder die Kamera und/oder das unbemannte Flugobjekt derart orientiert werden und/oder derart positioniert werden, dass der Endeffektor und/oder das von dem Endeffektor manipulierte Objekt im Gesichtsfeld der Kamera bleibt.As a result, it can be ensured that the unmanned flying object and / or the camera and / or the unmanned flying object are oriented and / or positioned such that the end effector and / or the object manipulated by the end effector remain in the field of view of the camera.

Die Erfindung hat den Vorteil, dass der Bediener der Arbeitsmaschine den Endeffektor und/oder das vom Endeffektor manipulierte Objekt permanent auf der Anzeigeeinrichtung beobachten kann. Dadurch wird einerseits die Sicherheit erhöht, weil sich kein Einweiser in einem Gefahrenbereich aufhalten muss und der Bediener der Arbeitsmaschine die Position des Endeffektors und/oder die Position des vom Endeffektor manipulierten Objektes sowie der jeweiligen relevanten Umgebung permanent beobachten kann. Ferner wird die Ergonomie erhöht, weil der Bediener während des Betätigens der Bedienelemente nicht mit einem Einweiser kommunizieren muss. Ferner wird die Ergonomie erhöht, weil der Bediener seine Position nicht verändern muss, um den Endeffektor und/oder das davon manipulierte Objekt zu sehen. Schließlich werden die Kosten gesenkt, da kein Einweiser mehr erforderlich ist.The invention has the advantage that the operator of the work machine can permanently observe the end effector and / or the object manipulated by the end effector on the display device. As a result, on the one hand the safety is increased because no instructor must be in a hazardous area and the operator of the machine Position of the end effector and / or the position of the manipulated by the end effector object and the relevant environment can permanently observe. Furthermore, the ergonomics are increased because the operator does not have to communicate with an instructor while operating the controls. Furthermore, the ergonomics are increased because the operator does not have to change his position to see the end effector and / or the manipulated object. Finally, the costs are reduced, since no more instructor is required.

Die Steuerungseinrichtung kann die Position des unbemannten Flugobjektes, die Orientierung des unbemannten Flugobjektes, die Position der Kamera des unbemannten Flugobjektes und/oder die Orientierung der Kamera des unbemannten Flugobjektes in Abhängigkeit der erfassten Position und/oder der erfassten Orientierung so verändern, dass die Kamera Bilddaten des sich bewegenden Endeffektors der Arbeitsmaschine und/oder des von dem Endeffektor manipulierten und sich bewegenden Objektes erzeugt.The control device can change the position of the unmanned flying object, the orientation of the unmanned flying object, the position of the camera of the unmanned flying object and / or the orientation of the camera of the unmanned flying object depending on the detected position and / or the detected orientation such that the camera image data of the moving end effector of the work machine and / or of the object manipulated and moving by the end effector.

Die Anzeigeeinrichtung kann derart angeordnet sein, dass der Bediener der Arbeitsmaschine die von der Kamera des unbemannten Flugobjektes aufgenommenen Bilddaten erkennen kann.The display device can be arranged such that the operator of the work machine can recognize the image data recorded by the camera of the unmanned flying object.

Die Unterstützungsvorrichtung kann eine Bedieneinrichtung aufweisen, die die Steuerungseinrichtung anweisen kann, den Endeffektor im Gesichtsfeld der Kamera unabhängig von der Position des Endeffektors zu halten. Die Bedieneinrichtung kann die Steuerungseinrichtung anweisen, das vom Endeffektor manipulierte Objekt im Gesichtsfeld der Kamera unabhängig von der Position des Objektes zu halten. Die Bedieneinrichtung kann die Position des unbemannten Flugobjektes manuell verändern. Die Bedieneinrichtung kann dazu ausgebildet sein, mehrere Positionen zu definieren, die das unbemannte Flugobjekt sukzessive anfliegt. Diese Positionen können kritische Arbeitsorte der Arbeitsmaschine sein, beispielsweise Orte, die der Bediener nicht einsehen kann. Die Bedieneinrichtung kann das unbemannte Flugobjekt anweisen, eine bestimmte Position stationär einzunehmen.The support device may include an operating device that may instruct the controller to hold the end effector in the field of view of the camera independent of the position of the end effector. The operator may instruct the controller to hold the object manipulated by the end effector in the field of view of the camera regardless of the position of the object. The operating device can manually change the position of the unmanned flying object. The operating device can be designed to define a plurality of positions, which the unmanned flying object approaches in succession. These positions can be critical work machine locations, such as places that the operator can not see. The operating device may instruct the unmanned flying object to take a certain position stationary.

Die Erfindung betrifft auch eine Arbeitsmaschine mit der zuvor beschriebenen Unterstützungsvorrichtung.The invention also relates to a work machine with the support device described above.

Die Arbeitsmaschine kann eine Baumaschine, beispielsweise ein Bagger, ein Kran oder eine Betonpumpe, sein.The work machine can be a construction machine, for example an excavator, a crane or a concrete pump.

Ein erfindungsgemäßes Verfahren zum Unterstützen eines Betriebes einer Arbeitsmaschine umfasst den Schritt des Erzeugens von Bilddaten eines Endeffektors und/oder eines von dem Endeffektor manipulierten Objektes mittels einer Kamera eines unbemannten Flugobjektes und das Übermitteln der Bilddaten an eine Anzeigeeinrichtung, die an der Arbeitsmaschine angeordnet ist. Die Position und/oder die Orientierung des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes wird erfasst. Das unbemannte Flugobjekt und/oder die Kamera werden in Abhängigkeit der erfassten Position des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor der Arbeitsmaschine manipulierten Objektes derart gesteuert, dass die Kamera Bilddaten des Endeffektors der Arbeitsmaschine und/oder des vom Endeffektor manipulierten Objektes erzeugt. Sobald sich der Endeffektor und/oder das vom Endeffektor manipulierte Objekt bewegen, werden die Orientierung und/oder die Position der Kamera und/oder des unbemannten Flugobjektes derart verändert, dass der Endeffektor und/oder das vom Endeffektor manipulierte Objekt im Gesichtsfeld der Kamera verbleiben. Folglich kann ein Bediener der Arbeitsmaschine den Endeffektor und/oder das vom Endeffektor manipulierte Objekt beobachten, während es durch die Arbeitsmaschine manipulierten wird, und zwar ohne dass ein direkter Sichtkontakt erforderlich ist.An inventive method for supporting operation of a work machine includes the step of generating image data of an end effector and / or an object manipulated by the end effector by means of a camera of an unmanned flying object and transmitting the image data to a display device disposed on the work machine. The position and / or orientation of the end effector of the work machine and / or the object manipulated by the end effector of the work machine is detected. The unmanned flying object and / or the camera are controlled in dependence on the detected position of the end effector of the working machine and / or of the object manipulated by the end effector of the working machine such that the camera generates image data of the end effector of the working machine and / or of the object manipulated by the end effector. Once the end effector and / or the object manipulated by the end effector moves, the orientation and / or position of the camera and / or the unmanned flying object are changed such that the end effector and / or the object manipulated by the end effector remain within the field of view of the camera. Consequently, an operator of the work machine may observe the end effector and / or the object being manipulated by the end effector while being manipulated by the work machine without requiring direct line of sight.

Die Erfindung betrifft auch ein Computerprogrammprodukt, das, wenn es in einen Computer mit einem Prozessor und einem Speicher geladen ist und von diesem ausgeführt wird, die Schritte des zuvor beschriebenen Verfahrens ausführt.The invention also relates to a computer program product which, when loaded into and executed by a computer having a processor and a memory, performs the steps of the method described above.

Die Erfindung wird nun mittels nicht beschränkender Ausführungsformen unter Bezugnahme auf die beigefügten Figuren beschrieben, wobeiThe invention will now be described by way of non-limiting embodiments with reference to the accompanying drawings, wherein

1 eine Anwendung der Erfindung bei einem Kran zeigt; und 1 an application of the invention in a crane shows; and

2 eine Anwendung der Erfindung bei einem Bagger zeigt. 2 an application of the invention in an excavator shows.

1 zeigt einen Kran2 an dessen Arm8 mittels einer Rolle ein Seil6 mit einem Haken7 verläuft, an dem über ein weiteres Seil5 eine Last4 gehalten wird. Die Last4 wurde von einem Anhänger eines Lastwagens10 angehoben und soll mittels des Krans2 im Inneren12 eines Gebäudes abgesetzt werden. Der Bediener des Krans2 hat keine Möglichkeit, in das Innere12 des Gebäudes zu blicken. Der Erfinder der vorliegenden Erfindung schlägt vor, ein unbemanntes Fluggerät14 mit einer Kamera16 einzusetzen, und die von der Kamera16 aufgenommenen Bilddaten auf einer Anzeigeeinrichtung20 anzuzeigen. Eine Sendeeinrichtung18 sendet die von der Kamera16 aufgenommenen Bilddaten an eine Empfangseinrichtung22 im Kran2. Die Empfangseinrichtung22 leitet die empfangenen Bilddaten zur Visualisierung an die Anzeigeeinrichtung20 weiter. Eine Erfassungseinrichtung24 erfasst die Position des Hakens7 und/oder der Last4, beispielsweise mittels der abgewickelten Länge des Seils6 und des Winkels und der aktuellen Länge des Arms8. Die erfasste Position wird an eine Steuerungseinrichtung25 übergeben. Die Steuerungseinrichtung sendet über eine Positionssendeeinrichtung32 an die Positionempfangseinrichtung28 des unbemannten Flugobjektes14 Positionsdaten und/oder Orientierungsdaten, die die Sollposition und/oder die Sollorientierung der Kamera16 und/oder die Sollposition und/oder die Sollorientierung des unbemannten Flugobjektes14 anzeigen. Ein Antrieb30 wird aufgrund der Sollpositionsdaten und/oder Sollorientierungsdaten derart angesteuert, dass das unbemannte Flugobjekt14 in Richtung der Sollposition und/oder Sollorientierung bewegt wird. 1 shows a crane 2 on his arm 8th by means of a roller arope 6 with ahook 7 runs, on which over another rope 5 a burden 4 is held. Weight 4 was from a trailer of atruck 10 raised and should by means of the crane 2 internally 12 of a building. The operator of the crane 2 has no way in theinterior 12 to look at the building. The inventor of the present invention proposes an unmannedaerial vehicle 14 with acamera 16 insert, and that of thecamera 16 recorded image data on adisplay device 20 display. A transmittingdevice 18 sends the from thecamera 16 recorded image data to areceiving device 22 in the crane 2 , Thereceiving device 22 Forwards the received image data to the display device forvisualization 20 further. Adetector 24 detects the position of thehook 7 and / or the load 4 , For example, by means of the unwound length of therope 6 and the angle and the current length of the arm 8th , The detected position is sent to a controller 25 to hand over. The control device transmits via a position transmitting device 32 to the position receiving device 28 of the unmannedaerial object 14 Position data and / or orientation data, the target position and / or the target orientation of thecamera 16 and / or the desired position and / or the desired orientation of the unmannedflying object 14 Show. A drive 30 is driven on the basis of the desired position data and / or desired orientation data such that the unmannedflying object 14 is moved in the direction of the desired position and / or target orientation.

Sobald der Haken7 und/oder das Objekt4 bewegt werden, wird dies durch die Erfassungseinrichtung22 erfasst, wodurch eine neue Sollposition und/oder eine neue Sollorientierung ermittelt werden, die an das unbemannte Flugobjekt14 übergeben wird, damit die Kamera16 und/oder das unbemannte Flugobjekt14 die neue Sollposition und/oder Sollorientierung einnehmen. Es auch möglich, die Position des Endeffektors, d. h. des Hakens7 und des vom Endeffektor manipulierten Objektes4 mittels Bildverarbeitungsmittel aus den Bilddaten der Kamera zu berechnen. Dabei kann die Position des unbemannten Flugobjektes14 mittels eines satellitengestützten Positionierungssystems oder eines Positionssensors, der auf der Arbeitsmaschine2 angeordnet ist, ermittelt werden.Once thehook 7 and / or the object 4 are moved, this is by thedetection device 22 detected, whereby a new target position and / or a new target orientation are determined, the unmannedaerial object 14 is passed to thecamera 16 and / or the unmannedaerial object 14 take the new target position and / or target orientation. It is also possible the position of the end effector, ie thehook 7 and the manipulated by the end effector object 4 using image processing means to calculate from the image data of the camera. In this case, the position of the unmannedflying object 14 by means of a satellite-based positioning system or a position sensor mounted on the work machine 2 is arranged to be determined.

Mittels der Bedieneinrichtung26 kann der Bediener der Arbeitsmaschine2 die Steuerungseinrichtung25 anweisen, das unbemannte Flugobjekt14 und/oder die Kamera16 so anzusteuern, dass sich der Endeffektor7 und/oder das davon manipulierte Objekt4 unabhängig von deren Position und Orientierung im Gesichtsfeld der Kamera16 befinden und auf der Anzeigeeinrichtung20 angezeigt werden. Ferner kann der Bediener mittels der Bedieneinrichtung26 die Steuerungseinrichtung25 anweisen, eine bestimmte Position stationär einzunehmen. Ferner kann der Bediener mittels der Bedieneinrichtung26 die Position und/oder Orientierung des unbemannten Flugobjektes und/oder der Kamera manuell verändern. Ferner kann der Bediener mittels der Bedieneinrichtung die Steuerungseinrichtung25 anweisen, mehrere Positionen sukzessive und zyklisch anzufliegen, die beispielsweise kritische (nicht oder schlecht einsehbare) Punkte bei einem Arbeitsgang sind.By means of theoperating device 26 can the operator of the working machine 2 the control device 25 instruct the unmannedaerial object 14 and / or thecamera 16 to head so that theend effector 7 and / or the manipulated object 4 regardless of their position and orientation in the field of view of thecamera 16 located and on thedisplay device 20 are displayed. Furthermore, the operator can use theoperating device 26 the control device 25 instruct you to take a certain position in a stationary position. Furthermore, the operator can use theoperating device 26 Manually change the position and / or orientation of the unmanned flying object and / or the camera. Further, the operator by means of the operating device, the control device 25 instruct them to approach several positions successively and cyclically, which are for example critical (not or poorly visible) points in a single operation.

2 zeigt die Anwendung der vorliegenden Erfindung bei einem Bagger102 mit einer Mehrzahl beweglicher Arme103 und einem Endeffektor104, der durch eine Schaufel gebildet wird. Der Bagger102 gräbt mittels der Schaufel104 einen Graben in das Erdreich106, der so tief ist, dass er für den Bediener nicht einsehbar ist. Die vorstehende Beschreibung der1 zur Arbeitsweise des unbemannten Flugobjektes14 und der in der Arbeitsmaschine angeordneten Komponenten gelten sinngemäß auch für die in2 gezeigte Anwendung, so dass auf die Beschreibung der1 verwiesen wird, um im Sinne der Prägnanz unnötige Wiederholungen zu vermeiden. 2 shows the application of the present invention to anexcavator 102 with a plurality of movable arms 103 and anend effector 104 which is made by a shovel. Theexcavator 102 Digs by means of the shovel 104 a ditch in thesoil 106 that is so deep that it is not visible to the operator. The above description of 1 to the operation of the unmanned flyingobject 14 and the components arranged in the working machine also apply mutatis mutandis to the in 2 shown application, so to the description of the 1 referred to in order to avoid unnecessary repetition in the sense of conciseness.

Die vorliegende Erfindung ist dahingehend vorteilhaft, dass die Ergonomie für den Bediener der Arbeitsmaschine erhöht wird, sowie die Sicherheit erhöht wird, weil kein Einweiser erforderlich ist und die Kosten somit auch reduziert werden können.The present invention is advantageous in that the ergonomics for the operator of the work machine is increased, as well as the safety is increased, because no Einweiser is required and the cost can thus be reduced.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 102011006333 A1[0004]DE 102011006333 A1[0004]
• DE 102008058481 A1[0005]DE 102008058481 A1[0005]
• EP 2465582 A2[0006]EP 2465582 A2[0006]
• KR 1020110134076 A[0007]KR 1020110134076 A[0007]
• WO 2010/026268 A1[0008]WO 2010/026268 A1[0008]

Claims (9)

Translated fromGerman

Unterstützungsvorrichtung für eine Arbeitsmaschine (2;102), aufweisend – ein unbemanntes Flugobjekt (14) mit einer Kamera (16) und einer Sendeeinrichtung (18), wobei die Sendeeinrichtung (18) dazu ausgebildet ist, mit der Kamera (16) aufgenommene Bilddaten zu senden; – eine Empfangseinrichtung (22), die dazu ausgebildet ist, an der Arbeitsmaschine (2;102) angebracht zu werden und die von der Sendeeinrichtung (18) gesendeten Bilddaten zu empfangen; – eine Anzeigeeinrichtung (20), die dazu ausgebildet ist, an der Arbeitsmaschine (2;102) angebracht zu werden und die von der Empfangseinrichtung (22) empfangenen Bilddaten anzuzeigen; und – eine Steuerungseinrichtung (25), die dazu ausgebildet ist, das unbemannte Flugobjekt (14) und/oder die Kamera (16) in Abhängigkeit einer erfassten Position und/oder einer erfassten Orientierung eines Endeffektors (7;104) der Arbeitsmaschine und/oder eines von dem Endeffektor (7) manipulierten Objektes (4) derart zu steuern, dass die Kamera (16) Bilddaten des Endeffektors (7;104) der Arbeitsmaschine (2;102) und/oder des von dem Endeffektor (7) manipulierten Objektes (4) erzeugt.Support device for a working machine ( 2 ; 102 ), comprising - an unmanned aerial object ( 14 ) with a camera ( 16 ) and a transmitting device ( 18 ), the transmitting device ( 18 ) is designed with the camera ( 16 ) to send recorded image data; A receiving device ( 22 ), which is adapted to the working machine ( 2 ; 102 ) and that of the transmitting device ( 18 ) to receive transmitted image data; A display device ( 20 ), which is adapted to the working machine ( 2 ; 102 ) and that of the receiving device ( 22 ) to receive received image data; and a control device ( 25 ), which is adapted to the unmanned aerial object ( 14 ) and / or the camera ( 16 ) as a function of a detected position and / or a detected orientation of an end effector ( 7 ; 104 ) of the work machine and / or one of the end effector ( 7 ) manipulated object ( 4 ) such that the camera ( 16 ) Image data of the end effector ( 7 ; 104 ) of the working machine ( 2 ; 102 ) and / or of the end effector ( 7 ) manipulated object ( 4 ) generated.Unterstützungsvorrichtung nach Anspruch 1, gekennzeichnet durch eine Erfassungseinrichtung (24), die dazu ausgebildet ist, die Position und/oder die Orientierung des Endeffektors (7;104) der Arbeitsmaschine (2;102) und/oder des vom Endeffektor (7) der Arbeitsmaschine (2;102) manipulierten Objektes zu erfassen.Support device according to claim 1, characterized by a detection device ( 24 ), which is adapted to the position and / or orientation of the end effector ( 7 ; 104 ) of the working machine ( 2 ; 102 ) and / or the end effector ( 7 ) of the working machine ( 2 ; 102 ) manipulated object to capture.Unterstützungsvorrichtung nach Anspruch 1 oder 2,dadurch gekennzeichnet, dass die Steuerungseinrichtung dazu ausgebildet ist, – die Position des unbemannten Flugobjektes (14), – die Orientierung des unbemannten Flugobjektes (14), – die Position der Kamera (16) des unbemannten Flugobjektes (14) und/oder – die Orientierung der Kamera (16) des unbemannten Flugobjektes (14) in Abhängigkeit der erfassten Position und/oder Orientierung so zu verändern, dass die Kamera (16) Bilddaten des sich bewegenden Endeffektors (7;104) der Arbeitsmaschine (2;102) und/oder des von dem Endeffektor (7) manipulierten und sich bewegenden Objektes (4) erzeugt.Support device according to claim 1 or 2,characterized in that the control device is designed to - the position of the unmanned flying object ( 14 ), - the orientation of the unmanned aerial object ( 14 ), - the position of the camera ( 16 ) of the unmanned aerial object ( 14 ) and / or - the orientation of the camera ( 16 ) of the unmanned aerial object ( 14 ) depending on the detected position and / or orientation so that the camera ( 16 ) Image data of the moving end effector ( 7 ; 104 ) of the working machine ( 2 ; 102 ) and / or of the end effector ( 7 ) manipulated and moving object ( 4 ) generated.Unterstützungsvorrichtung nach einem der Ansprüche 1 bis 3,dadurch gekennzeichnet, dass die Anzeigeeinrichtung (20) derart angeordnet ist, der Bediener der Arbeitsmaschine (2;102) die von der Kamera (16) des unbemannten Flugobjektes (14) aufgenommenen Bilddaten erkennen kann.Support device according to one of claims 1 to 3,characterized in that the display device ( 20 ) is arranged, the operator of the working machine ( 2 ; 102 ) from the camera ( 16 ) of the unmanned aerial object ( 14 ) can recognize captured image data.Unterstützungsvorrichtung nach einem der Ansprüche 1 bis 4, gekennzeichnet durch eine Bedieneinrichtung (26), die dazu ausgebildet ist, – die Steuerungseinrichtung (25) anzuweisen, den Endeffektor (7;104) im Gesichtsfeld der Kamera (16) unabhängig von der Position des Endeffektors (7;104) zu halten; – die Steuerungseinrichtung (25) anzuweisen, das vom Endeffektor (7) manipulierte Objekt (4) im Gesichtsfeld der Kamera (16) unabhängig von der Position des Objektes (4) zu halten; – die Position und/oder die Orientierung des unbemannte Flugobjektes (14) und/oder der Kamera (16) manuell zu verändern; – mehrere Positionen zu definieren, die das unbemannte Flugobjekt (14) sukzessive anfliegt; und/oder – das unbemannte Flugobjekt (14) anzuweisen, eine bestimmte Position stationär einzunehmen.Support device according to one of claims 1 to 4, characterized by an operating device ( 26 ), which is designed to - the control device ( 25 ) instruct the end effector ( 7 ; 104 ) in the field of view of the camera ( 16 ) regardless of the position of the end effector ( 7 ; 104 ) to keep; - the control device ( 25 ), the end effector ( 7 ) manipulated object ( 4 ) in the field of view of the camera ( 16 ) regardless of the position of the object ( 4 ) to keep; The position and / or orientation of the unmanned aerial object ( 14 ) and / or the camera ( 16 ) to change manually; - define several positions that the unmanned aerial object ( 14 ) arrives successively; and / or - the unmanned aerial object ( 14 ) to take a certain position in a stationary position.Arbeitsmaschine (2;102) mit der Unterstützungsvorrichtung nach einem der Ansprüche 1 bis 5.Working machine ( 2 ; 102 ) with the support device according to one of claims 1 to 5.Arbeitsmaschine (2;102) nach Anspruch 5,dadurch gekennzeichnet, dass die Arbeitsmaschine – eine beliebige Baumaschine; – ein Bagger (102); – ein Kran (2); oder – eine Betonpumpe ist.Working machine ( 2 ; 102 ) according to claim 5,characterized in that the working machine - any construction machine; - an excavator ( 102 ); - a crane ( 2 ); or - a concrete pump is.Verfahren zum Unterstützen eines Betriebes einer Arbeitsmaschine (2;102), aufweisend die folgenden Schritte: – Erzeugen von Bilddaten eines Endeffektors (7;104) und/oder eines von dem Endeffektor (7) manipulierten Objektes mittels einer Kamera (16) eines unbemannten Flugobjektes (14); – Übermitteln der Bilddaten an eine Anzeigeeinrichtung (20), die an der Arbeitsmaschine (2;102) angeordnet ist; – Erfassen der Position und/oder der Orientierung des Endeffektors (7;104) der Arbeitsmaschine (2;102) und/oder des vom Endeffektor (7) der Arbeitsmaschine (2) manipulierten Objektes (4); und – Steuern des unbemannten Flugobjektes (14) und/oder der Kamera (16) in Abhängigkeit der erfassten Position des Endeffektors (7;104) der Arbeitsmaschine und/oder des vom Endeffektor (7) der Arbeitsmaschine (2) manipulierten Objektes (4) derart, dass die Kamera (16) Bilddaten des Endeffektors (7;104) der Arbeitsmaschine (2;102) und/oder des von dem Endeffektor (7) manipulierten Objektes (4) erzeugt.Method for supporting operation of a work machine ( 2 ; 102 ), comprising the following steps: - generating image data of an end effector ( 7 ; 104 ) and / or one of the end effector ( 7 ) manipulated object by means of a camera ( 16 ) of an unmanned aerial object ( 14 ); Transmitting the image data to a display device ( 20 ) working on the working machine ( 2 ; 102 ) is arranged; Detecting the position and / or the orientation of the end effector ( 7 ; 104 ) of the working machine ( 2 ; 102 ) and / or the end effector ( 7 ) of the working machine ( 2 ) manipulated object ( 4 ); and - controlling the unmanned aerial object ( 14 ) and / or the camera ( 16 ) depending on the detected position of the end effector ( 7 ; 104 ) of the working machine and / or of the end effector ( 7 ) of the working machine ( 2 ) manipulated object ( 4 ) such that the camera ( 16 ) Image data of the end effector ( 7 ; 104 ) of the working machine ( 2 ; 102 ) and / or of the end effector ( 7 ) manipulated object ( 4 ) generated.Computerprogrammprodukt, das, wenn es von einem Computer mit einem Prozessor und einem Speicher ausgeführt wird, die Schritte des Verfahrens nach Anspruch 8 ausführt.A computer program product that, when executed by a computer having a processor and a memory, performs the steps of the method of claim 8.

Images