Verfahren und System zur Lageerkundung und/oder EinsatzunterstützungMethod and system for situation reconnaissance and/or mission support
Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zur Lageer kundung und/oder Einsatzunterstützung. Derartige Verfahren werden insbe- sondere eingesetzt zur Unterstützung von Behörden mit Organisations- undThe present invention relates to a method and a system for location reconnaissance and/or operational support. Such procedures are used in particular to support authorities with organizational and
Sicherheitsaufgaben (BOS) bei der Bewältigung und/oder Abwehr einer Ge fahrenlage in einem räumlichen Gebiet. Sie werden jedoch auch zu Erkundun gen allgemeiner Art eingesetzt.Security tasks (BOS) when dealing with and/or defending against a dangerous situation in a spatial area. However, they are also used for general investigations.
Bei der Lageerkundung ist es häufig wesentlich, möglichst zeitnah und rasch eine Übersicht über die Lage in einem Gebiet zu erhalten, um schnell und ziel führend Entscheidungen zu weiteren Maßnahmen, wie beispielsweise weite ren Erkundungen oder Lenkung des Einsatzes zu treffen.When assessing the situation, it is often essential to obtain an overview of the situation in an area as quickly and as promptly as possible in order to make quick and effective decisions on further measures, such as further reconnaissance or control of the operation.
Insbesondere bei größeren Einsätzen von BOS, die beispielsweise bei Scha denslagen, Unfällen, Sicherheitslagen , insbesondere wenn diese mit einem Massenanfall verletzter Personen (MANV) einhergehen, ist es für die Einsatz leitung essentiell, eine realzeitnahe Lageübersicht zu erhalten, um Einsatzent scheidungen und Rettungsmaßnahmen schnell, zielführend und wirksam zu treffen und zu koordinieren, um z.B. alle betroffenen Personen schnellstmög lich aufzufinden, medizinisch und anderweitig zu versorgen und/oder zu eva- kuieren. Außerdem kann es erforderlich sein, Maßnahmen zu priorisieren bzw. bezgl. ihrer Dringlichkeit einzuordnen und/oder zu kategorisieren. Dazu bedarf es einer informativen und aktuellen Lageübersicht.In the case of larger BOS deployments, for example in the event of damage, accidents, security situations, especially if these are accompanied by a mass casualty incident (MANV), it is essential for the operations management team to have a real-time overview of the situation in order to be able to make deployment decisions and rescue measures quickly , purposeful and effective, and to coordinate them, e.g. to locate all affected persons as quickly as possible, to provide them with medical and other care and/or to evacuate them. It may also be necessary to prioritize measures or classify and/or categorize them in terms of their urgency. This requires an informative and up-to-date overview of the situation.
Die Erstellung einer solchen Lageübersicht erfordert jedoch bisher viel Zeit und Personal, die in solchen Einsatzlagen jedoch ein knappes Gut sind. Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren zur Lageerkun dung und/oder Einsatzunterstützung zur Verfügung zu stellen, dass es ermög licht, rasch und effizient eine Lageübersicht mit hohem Informationsgehalt und hoher Genauigkeit zu erstellen und anhand dieser Übersicht eine ebenso effiziente und rasche, möglichst vollständige Bearbeitung und Verfolgung der Lage in einem Gebiet zu ermöglichen.However, the creation of such a situation overview has so far required a lot of time and personnel, which are scarce in such operational situations. It is therefore the object of the present invention to provide a method for situation reconnaissance and/or mission support that makes it possible to quickly and efficiently create a situational overview with a high level of information content and high accuracy and, based on this overview, an equally efficient and rapid, if possible allow full editing and tracking of the situation in an area.
Diese Aufgabe wird durch das Verfahren nach Anspruch 1 sowie das System nach Anspruch 16 gelöst. Vorteilhafte Weiterbildungen des erfindungsgemä ßen Verfahrens und des erfindungsgemäßen Systems werden in den jeweili gen abhängigen Ansprüchen gegeben.This object is achieved by the method according to claim 1 and the system according to claim 16. Advantageous further developments of the method according to the invention and the system according to the invention are given in the respective dependent claims.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass zur Lageer kundung und/oder Einsatzunterstützung in einem räumlichen Gebiet, z.B. zur Unterstützung von Behörden mit Organisations- und Sicherheitsaufgaben ins besondere bei der Bewältigung und/oder Abwehr einer Gefahrenlage in dem Gebiet zuerst eine Lageübersicht über das Gebiet erstellt wird, wobei die La geübersicht zumindest eines einer Mehrzahl von Attributen der Lage in Form von Metadaten enthält und in Form einer Datenbank verwaltet wird.The method according to the invention is characterized in that, for situation reconnaissance and/or operational support in a spatial area, e.g. to support authorities with organizational and security tasks, in particular when dealing with and/or averting a dangerous situation in the area, an overview of the situation in the area is first provided Territory is created, wherein the location contains at least one of a plurality of attributes of the location in the form of metadata and is managed in the form of a database.
Die Erstellung der Lageübersicht erfolgt insbesondere, indem durch Sensorträ ger, z.B. Flugzeuge, Drohnen, Fahrzeuge, Einsatzkräfte etc., Daten zur Lage in dem Gebiet erfaßt und gegebenenfalls bereits verarbeitet werden. Diese Da ten werden dann in die Datenbank eingespeist.The situation overview is created in particular by sensor carriers, e.g. aircraft, drones, vehicles, emergency services, etc., collecting and possibly already processing data on the situation in the area. This data is then fed into the database.
Mittels einer oder mehrerer Datenerfassungsvorrichtungen in dem Gebiet, eine Einsatzleitstelle und/oder eines oder mehrere mobile Geräte von Einsatz kräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwe send sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisatio nen wie Lazarette, Krankenhäuser und/oder Ärzte sowie Stellen, welche sich mit Information der Angehörigen und Nachforschungen über vermißte Perso nen beschäftigen, wie z.B. Kreisauskunftsbüros (KAB), können die in der Da tenbank verwalteten Informationen abgerufen und/oder aktualisiert und/o der ergänzt werden. Durch die rasche und frühzeitige Datenaufnahme und -Verarbeitung ist es möglich, rasch eine zuverlässige, detaillierte Lageübersicht mit hoher Genau igkeit und hohem Informationsgehalt zu erstellen und diese Lageübersicht von allen beteiligten Kräften zu nutzen. Damit wird beispielsweise die Zeit bis zur Auffindung, Vorsichtung, Triagierung und medizinischer Versorgung aller hilfs bedürftigen Personen verkürzt. Eine solche Datenbank ermöglicht auch die Zuordnung von Daten einer aktuell behandelten Person zu Daten, die bereits zuvor erfaßt wurden und damit eine lückenlose Verfolgung (Tracking) aller ge meldeten Personen (z.B. Patienten) über sämtliche Beteiligten, sämtliche Räume und die gesamte Dauer des Einsatzes bzw. darüber hinaus, beispiels weise während des Aufenthaltes in einem Krankenhaus / Leichenhalle.By means of one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, Hospitals and/or doctors and agencies that deal with informing relatives and researching missing persons, such as district information offices (KAB), can retrieve and/or update and/or supplement the information managed in the database. Rapid and early data acquisition and processing makes it possible to quickly create a reliable, detailed situation overview with a high degree of accuracy and high information content, and to use this situation overview by all forces involved. This shortens, for example, the time it takes to locate, sort out, triage and receive medical care for everyone in need of help. Such a database also enables the assignment of data of a person currently being treated to data that has already been recorded and thus a complete tracking (tracking) of all reported persons (e.g. patients) across all participants, all rooms and the entire duration of the assignment or .beyond that, for example during a stay in a hospital/morgue.
Insbesondere kann so auch eine möglichst lückenlose „Spur" einer Person über die Zeit während des Einsatzes erzeugt werden, die beispielsweise ein Kennzeichen, z.B. eine ID oder andere Merkmale der Person, Ihr Behandlungs status und dergleichen enthält. So kann ein Status der Person (z.B. vom Ret tungssanitäter X gesichtet, vom Notarzt Y vor Ort behandelt, im Krankenwa gen Z in das Krankenhaus A gefahren und dann in das Krankenhaus B verlegt) verfolgt werden. Dies baut wesentlich auf der Verwaltung der Patientendaten in einer Datenbank als Lageübersicht auf.In particular, a "trace" of a person that is as complete as possible can be generated over time during the deployment, which contains, for example, a license plate number, e.g. an ID or other characteristics of the person, your treatment status and the like. A status of the person (e.g. seen by paramedic X, treated on site by emergency doctor Y, driven to hospital A in ambulance Z and then transferred to hospital B. This is essentially based on the administration of patient data in a database as a situation overview.
Insbesondere ist es möglich durch das lückenlose Tracking von Personen von der ersten Datenaufnahme bis zur Suche nach vermißten Personen anhand der erhobenen und von allen beteiligten ggfls. aktualisierten Lageübersicht sämtliche dieser Prozesse kontinuierlich, effizient und genau durchzuführen und miteinander zu verknüpfen.In particular, it is possible through the complete tracking of people from the first data recording to the search for missing people based on the collected and by everyone involved if necessary. continuously, efficiently and accurately carry out and link all of these processes with an updated situational overview.
Aufbauend auf bisherigen Ansätzen und Systemen wird in der vorliegenden Erfindung vorteilhafterwiese eine komplette Kette der Abarbeitung einer Lage, z.B. eines Großschadensereignisses wie eines MANV-Vorfalls, von der Alarmierung der Rettungskräfte über die Lageerkundung, Vorsichtung hilfsbe dürftiger Personen und Klassifizierung der Hilfsbedürftigkeit bis hin zur ab schließenden Versorgung und ggfls. Einlieferung oder Aufnahme in ein Kran kenhaus zur Verfügung gestellt.Building on previous approaches and systems, the present invention advantageously uses a complete chain of processing a situation, e.g. a major damage event such as a MANV incident, from alerting the rescue services to situation assessment, screening of people in need and classification of the need for help through to the closing supply and possibly Admission or admission to a hospital provided.
Einige der mögliche Maßnahmen, die innerhalb des erfindungsgemäßen Ver fahrens durchgeführt werden, sind: a) Überfahrt und/oder Überflug des Gebiets mit einem oder mehreren be mannten oder unbemannten Land- , Wasser- und/oder Luftfahrzeugen als Sensorträger, insbesondere mit einem oder mehreren bemannten oder unbe mannten Luftfahrt-Systemen, z.B. einem Helikopter oder einem UAS, als Da tenerfassungsvorrichtung, b) Aufnahme eines oder mehrerer Bilder bzw. Bildströme zumindest von Be reichen des Gebiets durch die mobilen oder stationären Sensorträger und/o der durch mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, insbesondere durch die zu sätzliche Anwendung von Verfahren, mit denen in den Sensordaten Personen erfaßt und/oder ver/gefolgt werden können, c) Schritthaltende oder nachträgliche automatische Auswertung der aufge nommenen Bildern und/oder Videos sowie ggf. damit verknüpften Bildmeta daten (wie z.B. Aufnahmeposition und Ausrichtung der Kamera während der Aufnahme zur Gewinnung von semantischen Informationen (Attributen), d) Erstellung der Lageübersicht enthaltend zumindest eines einer Mehrzahl der Attribute der Lage, und/oder e) Übermittlung eines, mehrerer oder aller der Attribute der Lageübersicht an die Datenbank und ggfls. direkt an eine Einsatzleitstelle und/oder an eines o- der mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder an Versorgungsin stitutionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte.Some of the possible measures that are carried out within the process according to the invention are: a) Crossing and/or overflight of the area with one or more manned or unmanned land, water and/or air vehicles as sensor carriers, in particular with one or more manned or unmanned aviation systems, e.g. a helicopter or a UAS, as Data acquisition device, b) recording of one or more images or image streams at least of areas of the area by the mobile or stationary sensor carriers and/or by mobile devices of emergency services that have been deployed to the area or are present in the area, in particular through the additional use of methods with which people can be recorded and/or tracked/followed in the sensor data, c) Continuous or subsequent automatic evaluation of the recorded images and/or videos and any associated image metadata (e.g Recording position and orientation of the camera during recording to obtain semantic information (attributes), d) Creation of the situation overview containing at least one of a plurality of the attributes of the situation, and/or e) transmission of one, several or all of the attributes of the situation overview to the database and, if necessary. directly to an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or to supply institutions, in particular aid organizations, military hospitals, hospitals and/or doctors .
Jeder dieser Schritte bildet das erfindungsgemäße Verfahren weiter und dient dem Ziel einen optimalen Umgang mit der Lage in dem Gebiet zu gewährleis ten. Insbesondere ermöglichen diese Schritte in Kombination miteinander die präzise und schnelle Erstellung und Aktualisierung der Lageübersicht und das kontinuierliche Tracking einzelner Personen oder Gegenstände als Objekte der Lage bis zu deren abschließender Versorgung bzw. bis zur Identifikation in ei ner Suche nach Vermißten. Dies gilt auch für die nachfolgend beschriebenen weiterbildenden Maßnahmen der vorliegenden Erfindung.Each of these steps develops the method according to the invention and serves the goal of ensuring optimal handling of the situation in the area. In particular, these steps in combination with one another enable the precise and rapid creation and updating of the situation overview and the continuous tracking of individual persons or objects as Objects in the situation until they are finally taken care of or until they are identified in a search for missing persons. This also applies to the further development measures of the present invention described below.
Vorteilhafterweise ist die Datenbank/Lageübersicht derart ausgestaltet, dass in ihr nach Personen anhand von Attributen der Person gesucht werden kann, insbesondere anhand von textuellen Beschreibungen, beispielsweise zur Klei dung der Person, und/oder anhand eines oder mehrerer Bilder der Person.Advantageously, the database/situation overview is designed in such a way that people can be searched for using attributes of the person, in particular using textual descriptions, for example of the person's clothing, and/or using one or more images of the person.
Die Lageübersicht bzw. Datenbank kann vorteilhafterwiese modifiziert wer den, indem die Lageinformation bzw. einzelne Attribute der Lageinformation durch eine Einsatzleitstelle und/oder an eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisationen, Lazarette Krankenhäuser und/oder Ärzte oder auch auto matisch anhand von diesen vorliegenden Informationen wie Bildern etc. verifi ziert, ergänzt oder aktualisiert werden.The situation overview or database can advantageously be modified by the situation information or individual attributes of the situation information being sent by an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area. and/or care institutions, in particular aid organizations, military hospitals and/or doctors, or also automatically based on this available information such as images, etc., are verified, supplemented or updated.
Um die Verfolgung einzelner Gegenstände und Personen in dem Gebiet weiter zu vereinfachen und zu beschleunigen weist die Lageübersicht eines, mehrere oder alle der folgenden Attribute auf: a) Erkannte Objekte und Gebiete, insbesondere Personen, Fahrzeuge, Glutnester, Wege b) Zugehörigkeit zu einer oder mehreren Klassen, insbesondere Zugehörigkeit von Personen oder Fahrzeugen zu bestimmten BOS (z.B. Polizei, Feuerwehr, notärztlicher Rettungsdienst, THW) c) Abstrahierte Informationen zu einem oder mehreren Objekten, insbeson dere Zusammenfassung von mehreren sich zusammen aufhaltenden Personen zu Personengruppen d) Informationen über Bereiche des Gebietes, deren Erkundung bereits erfolgt ist, e) Informationen über Bereiche des Gebietes, deren Erkundung und/oder Ein sicht aus der Luft erschwert oder unmöglich ist, insbesondere durch Einsatz kräfte am Boden zu erkundende Bereiche, insbesondere vor Einsicht von oben abgeschattete Bereiche, Wald, Gebäudeinneres, Bereiche unter einer Wasser oberfläche, f) Geoposition der einzelnen Objekte und/oder Gebiete g) Hilfsbedürftigkeit von erkannten Personen, gegebenenfalls unter Einteilung in Klassen, h) Darstellungen von in dem Bildstrom erkannten Objekte, insbesondere Per sonen in einer oder mehreren nachfolgend geschilderten Formen: - bildliche Darstellung als Einzelbild, insbesondere auch hochaufgelöste Dar stellung, welche durch Verarbeitung mehreren Bildern mit Hilfe von Superre solutionsverfahren und/oder durch Auswahl der besten Kandidaten erstellt wirdIn order to further simplify and accelerate the tracking of individual objects and people in the area, the situation overview has one, several or all of the following attributes: a) Detected objects and areas, in particular people, vehicles, embers, paths b) Affiliation to one or several classes, in particular the affiliation of persons or vehicles to specific BOS (e.g. police, fire brigade, emergency medical rescue service, THW) c) Abstracted information on one or more objects, in particular grouping of several persons staying together into groups of persons d) Information about areas of the area that has already been explored, e) information about areas of the area that are difficult or impossible to explore and/or view from the air, in particular areas to be explored by emergency services on the ground, in particular areas shaded from view from above, forest , building interior, areas under a water obe area, f) Geoposition of the individual objects and/or areas g) Need for help of recognized persons, possibly divided into classes, h) Representations of objects recognized in the image stream, in particular persons, in one or more of the forms described below: - Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super resolution methods and/or by selecting the best candidates
- Darstellung als ein kurzes Videoclip- Presentation as a short video clip
- semantische oder textuelle Beschreibung gekennzeichnet durch ein zugewie senes Identifikationskennzeichen und weitere Attribute, insbesondere auch Bekleidungsattribute und deren Beschreibung und/oder sonstige besondere Merkmale von in dem Bildstrom erfaßten Personen, i) Informationen zur räumlichen Bewegung und/oder vergangenen, aktuellen und/oder in der Zukunft erwarteten räumlichen Positionen von, insbesondere in dem Bildstrom erfaßten, Personen und Fahrzeugen. j) Informationen zur Passierbarkeit der Straßenabschnitte, welche durch Ana lyse der Bewegungsprofile der im Bildstrom erfaßten Personen und Fahrzeuge gewonnen werden.- semantic or textual description characterized by an assigned identifier and other attributes, in particular also clothing attributes and their description and/or other special features of persons recorded in the image stream, i) information on the spatial movement and/or past, current and/or in future expected spatial positions of people and vehicles, particularly those detected in the image stream. j) Information on the passability of the road sections, which is obtained by analyzing the movement profiles of the people and vehicles recorded in the image stream.
Insbesondere kann die Lageübersicht als Attribute die Hilfsbedürftigkeit von in dem Bildstrom erkannten Personen enthalten, wobei die Hilfsbedürftigkeit ei ner Person vorteilhafterweise in eine Mehrzahl von Klassen eingeteilt wird (Hilfsbedürftigkeitsstatus). Insbesondere durch die Einteilung in Klassen ist es möglich, die Informationsmenge zu komprimieren und insbesondere den Ein satzkräften eine klare Entscheidungsgrundlage an die Hand zu geben. Die Hilfsbedürftigkeit von in den Einzelbildern und/oder in dem Bildstrom erkann ten Personen kann dabei anhand der Personenpose, insbesondere liegend, sit zend oder stehend, der Gliedmaßenstellung und/oder dergleichen abge schätzt werden, insbesondere mittels Skelettierungsverfahren.In particular, the situation overview can contain the need for help of persons identified in the image stream as attributes, with the need for help of a person advantageously being divided into a plurality of classes (need for help status). The division into classes in particular makes it possible to compress the amount of information and in particular to provide the emergency services with a clear basis for decision-making. The need for help of persons recognized in the individual images and/or in the image stream can be estimated on the basis of the person's pose, in particular lying, sitting or standing, the position of the limbs and/or the like, in particular by means of skeletonization methods.
Um die in der Lageübersicht enthaltenen Informationen zu verdichten und zu gleich die Informationsqualität zu erhalten oder gar zu verbessern, können die Attribute der Lageübersicht für die an der Abwehr und/oder Bewältigung der Gefahrenlage Beteiligte, insbesondere Einsatzkräfte und oder Einsatzleitungs kräfte, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwe send sind oder den Einsatz von der Ferne aus leiten, und/oder Versorgungsin stitutionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte, aufbereitet, insbesondere bedarfsgerecht aufbereitet, er gänzt oder aktualisiert werden. Dies kann insbesondere durch die Anzeige in einer digitalen Lagekarte und/oder durch eine Übernahme in das digitale Not- arzt-Protokoll, insbesondere zur späteren Übermittlung an ein Krankenhaus- Informationssystem (KIS), z.B. mittels eines interdisziplinären Versorgungs nachweises (IVENA) erfolgen.In order to consolidate the information contained in the situation overview and at the same time to maintain or even improve the information quality, the attributes of the situation overview can be used for those involved in defending against and/or managing the dangerous situation, in particular emergency services and/or command and control personnel who are deployed in are sent to the area or are present in the area or manage the operation remotely, and/or care institutions, in particular aid organizations, field hospitals, hospitals and/or doctors, are processed, in particular processed, supplemented or updated as needed. This can be done in particular by the display in a digital situation map and/or by being transferred to the digital emergency doctor protocol, in particular for later transmission to a hospital information system (HIS), eg by means of an interdisciplinary proof of care (IVENA).
Das erfindungsgemäße Verfahren ermöglicht insbesondere eine Wiedererken nung von Objekten, welche im System erfaßt worden sind, ausgehend von zur Verfügung gestellten Informationen, insbesondere Bildern und oder einzelnen oder mehreren Attributen aus einer anderen Quelle. So kann eine Wiederer kennung von Personen anhand einer textuellen und oder semantischen Be schreibung, insbesondere einer automatisch extrahierten Beschreibung, bei spielsweise auch eines automatisch oder manuell zugeordneten Identitäts kennzeichen (ID) erfolgen.In particular, the method according to the invention enables objects that have been detected in the system to be recognized, based on information that has been made available, in particular images and/or one or more attributes from another source. In this way, people can be recognized using a textual and/or semantic description, in particular an automatically extracted description, for example an automatically or manually assigned identifier (ID).
Sämtliche Schritte des erfindungsgemäßen Verfahrens profitieren auch von ei ner Unterstützung durch künstliche Intelligenz (Kl, AI), die zu einer verbesser ten automatisieren Auswertung der erhobenen Daten und/oder Zuordnung und/oder Klassifizierung verhilft.All steps of the method according to the invention also benefit from support from artificial intelligence (KI, AI), which helps to improve the automated evaluation of the data collected and/or assignment and/or classification.
Die Lageübersicht wird vorteilhafterwiese als Datenbank in einem zentralen Server oder verteilt gespeichert. Dies ermöglich den Zugriff, die Aktualisierung und die Abfrage der Lageübersicht durch sämtliche beteiligten Kräfte und/o der System, insbesondere die Suche nach Vermissten anhand von in der Da tenbank gespeicherten Attributen von in dem Gebiet erfaßten Personen.The situation overview is advantageously stored as a database in a central server or in a distributed manner. This enables the situation overview to be accessed, updated and queried by all the forces involved and/or the system, in particular the search for missing persons using attributes stored in the database of persons recorded in the area.
Als Sensorträger dienen - vor allem zu Beginn der Erstellung der Lageübersicht insbesondere luftgestützte Systeme, die rasch und unkompliziert zu dem Ge biet oder in das Gebiet verbracht werden können, insbesondere durch einen Anflug oder Überflug des Gebietes mit einem bemannten und/oder unbe mannten Flugzeug (UAS, Helikopter). Das UAS kann dabei innerhalb oder auch außerhalb der Sichtweite des Operators des UAS (BVLOS) eingesetzt werden. Als BVLOS-UAS eignen sich insbesondere senkrecht startende und landende Systeme, VTOL-AUS, insbesondere Starrflüglersysteme.Airborne systems in particular, which can be brought quickly and easily to the area or into the area, in particular by approaching or overflighting the area with a manned and/or unmanned aircraft ( UAS, helicopter). The UAS can be used within or outside the range of vision of the UAS operator (BVLOS). Systems that take off and land vertically, VTOL-AUS, in particular fixed-wing systems, are particularly suitable as BVLOS-UAS.
Vorteilhafterweise erfolgt auch die Verarbeitung, Reduktion und/oder Kom pression der von dem Sensorträger erhobenen Daten bereits in dem Sensor- träger selbst, z. B. in der Drohne selbst, so dass diese lediglich die verarbeite ten, reduzierten und/oder komprimierten Daten zur Erstellung und/oder Ak tualisierung der Lageübersicht an beispielsweise die entsprechende Daten bank sendet. Dies reduziert den Datenverkehr zur Aktualisierung der Lage übersicht und die ansonsten an andererstelle erforderliche Rechnerleistung zur Verarbeitung der Daten.Advantageously, the processing, reduction and/or compression of the data collected by the sensor carrier already takes place in the sensor carrier itself, e.g. B. in the drone itself, so that it only sends the processed, reduced and/or compressed data to create and/or update the situation overview to the corresponding database, for example. This reduces the data traffic for updating the situation overview and the computer power otherwise required elsewhere to process the data.
Die Erfindung weist weiterhin ein System zur Durchführung des bisher be schriebenen Verfahrens auf. Insbesondere weist sie auf:The invention also includes a system for performing the method previously described. In particular, it shows:
Ein System zur Lageerkundung und/oder Einsatzunterstützung in einem räum lichen Gebiet, z.B. zur Unterstützung von Behörden mit Organisations- und Si cherheitsaufgaben (BOS) insbesondere bei der Bewältigung und/oder Abwehr einer Gefahrenlage in dem Gebiet, wobei eine oder mehrere Vorrichtungen zum Erstellen einer Lageübersicht über das Gebiet, wobei die Lageübersicht zu mindest eines einer Mehrzahl von Attributen der Lage in Form von Metadaten enthält, eine Datenbank, die die Lageübersicht speichert und verwaltet, und mindestens eine Vorrichtung zum Abruf und/oder Aktualisierung und/oder Er gänzung der Lageübersicht, insbesondere eine oder mehrere Datenerfassungs vorrichtungen in dem Gebiet, eine Einsatzleitstelle und/oder eines oder meh rere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisationen wie Lazarette, Krankenhäuser und/oder Ärzte sowie Stellen, welche sich mit Information der Angehörigen und Nachfor schungen über vermißte Personen beschäftigen, wie z.B. Kreisauskunftsbüros (KAB).A system for situation reconnaissance and/or operational support in a spatial area, e.g. to support authorities with organizational and security tasks (BOS), in particular when dealing with and/or averting a dangerous situation in the area, with one or more devices for creating a Situational overview of the area, wherein the situational overview contains at least one of a plurality of attributes of the situation in the form of metadata, a database that stores and manages the situational overview, and at least one device for retrieving and/or updating and/or supplementing the situational overview , in particular one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, Hospitals and/or doctors and bodies which s I deal with informing relatives and researching missing persons, such as district information offices (KAB).
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, mit mindestens einer Vorrichtung zum Durchführen eineroder meh rerer der folgenden Maßnahmen:A situational awareness and/or mission support system as described above, comprising at least one device for performing one or more of the following:
Überfahrt und/oder Überflug des Gebiets mit einem oder mehreren Land-, Wasser- und/oder Luftfahrzeugen als Sensorträger, insbesondere mit einem o- der mehreren bemannten oder unbemannten Luftfahrt-Systemen, z.B. UAS (Unmanned Aerial System), als Datenerfassungsvorrichtung b) Aufnahme eines oder mehrerer Bilder bzw. Bildströme zumindest von Berei chen des Gebiets durch die mobilen oder stationären Sensorträger und/oder durch mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, c) Schritthaltende oder nachträgliche automatische Auswertung der aufgenom menen Bilder und/oder Videos sowie ggf. damit verknüpften Bildmetadaten (wie z.B. Aufnahmeposition und Ausrichtung der Kamera während der Auf nahme zur Gewinnung von semantischen Informationen (Attributen) d) Erstellung der Lageübersicht enthaltend zumindest eines einer Mehrzahl der Attribute der Lage und/oder e) Übermittlung eines, mehrerer oder aller der Attribute der Lageübersicht als Meldung an die Datenbank und ggfls. direkt an eine Einsatzleitstelle und/oder an eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder an Versor gungsinstitutionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäu ser und/oder Ärzte.Crossing and/or overflight of the area with one or more land, water and/or aircraft as sensor carriers, in particular with one or more manned or unmanned aviation systems, eg UAS (Unmanned Aerial System), as data acquisition device b) recording one or more images or image streams at least from areas of the area through the mobile or stationary sensor carrier and/or by mobile devices of emergency services who have been deployed to the area or are present in the area, c) Continuous or subsequent automatic evaluation of the recorded images and/or videos and any associated image metadata (e.g. recording position and orientation of the camera during recording to obtain semantic information (attributes) d) creation of the situational overview containing at least one of a plurality of the attributes of the situation and/or e) transmission of one, several or all of the attributes of the situational overview as a message to the database and, if necessary. directly to an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or to supply institutions, in particular aid organisations, military hospitals, hospitals and/or doctors.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, in der Datenbank nach Personen anhand von Attributen der Person zu suchen, insbesondere anhand von textu- ellen Beschreibungen, beispielsweise zur Kleidung der Person, und/oder an hand eines oder mehrerer Bilder der Person.A system for situation reconnaissance and/or mission support as described above, the device for retrieving and/or updating and/or supplementing the situation overview being set up to search for people in the database using attributes of the person, in particular using textual ones Descriptions, for example of the person's clothing, and/or based on one or more images of the person.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben wobei die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, die Lageinformation bzw. ein zelne Attribute der Lageinformation anhand von dieser vorliegenden Informa tionen wie Bildern etc. zu verifizieren, zu ergänzen oder zu aktualisieren.A system for situation reconnaissance and/or mission support as described above, the device for retrieving and/or updating and/or supplementing the situation overview being set up, the situation information or individual attributes of the situation information based on this available information such as images etc verify, amend or update.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Lageübersicht eines, mehrere oder alle der folgenden At tribute enthält:A situational awareness and/or mission support system as previously described, wherein the situational overview includes one, more or all of the following attributes:
Erkannte Objekte und Gebiete, insbesondere Personen, Fahrzeuge, Glutnester, Wege b) Zugehörigkeit zu einer oder mehreren Klassen, insbesondere Zugehörigkeit von Personen oder Fahrzeugen zu bestimmten BOS (z.B. Polizei, Feuerwehr, notärztliche Rettungsdienste, THW) c) Abstrahierte Informationen zu einem oder mehreren Objekten, insbeson dere Zusammenfassung von mehreren sich zusammen aufhaltenden Personen zu Personengruppen d) Informationen über Bereiche des Gebietes, deren Erkundung bereits erfolgt ist, e) Informationen über Bereiche des Gebietes, deren Erkundung und/oder Ein sicht aus der Luft erschwert oder unmöglich ist, insbesondere durch Einsatz kräfte am Boden zu erkundende Bereiche, insbesondere vor Einsicht von oben abgeschattete Bereiche, Wald, Gebäudeinneres, Bereiche unter einer Wasser oberfläche, f) Geoposition der einzelnen Objekte und/oder Gebiete g) Hilfsbedürftigkeit von erkannten Personen, gegebenenfalls unter Einteilung in Klassen, h) Darstellungen von in dem Bildstrom erkannten Objekte, insbesondere Per sonen in einer oder mehreren nachfolgend geschilderten Formen:Detected objects and areas, especially people, vehicles, embers, paths b) Affiliation to one or more classes, in particular the affiliation of persons or vehicles to specific BOS (e.g. police, fire brigade, emergency medical rescue services, THW) c) Abstracted information on one or more objects, in particular the combination of several people staying together to form groups of people d) information about areas of the area that have already been explored, e) information about areas of the area that are difficult or impossible to explore and/or view from the air, in particular areas to be explored by emergency services on the ground, in particular before viewing Areas shaded from above, forest, interior of buildings, areas below a water surface, f) Geoposition of the individual objects and/or areas g) Need for help of recognized persons, possibly divided into classes, h) Representations of objects recognized in the image stream, in particular per sons in one or more of the following est illustrated forms:
- bildliche Darstellung als Einzelbild, insbesondere auch hochaufgelöste Darstel lung, welche durch Verarbeitung mehreren Bildern mit Hilfe von Superresoluti onsverfahren und/oder durch Auswahl der besten Kandidaten erstellt wird- Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super-resolution methods and/or by selecting the best candidates
- Darstellung als ein kurzer Videoclip- Presentation as a short video clip
- semantische odertextuelle Beschreibung gekennzeichnet durch ein zugewie senes Identifikationskennzeichen und weitere Attribute, insbesondere auch Be kleidungsattribute und deren Beschreibung und/oder sonstige besondere Merkmale von in dem Bildstrom erfaßten Personen, i) Informationen zur räumlichen Bewegung und/oder vergangenen, aktuellen und/oder in der Zukunft erwarteten räumlichen Positionen von, insbesondere in dem Bildstrom erfaßten, Personen und Fahrzeugen. j) Informationen zur Passierbarkeit der Straßenabschnitte, welche durch Ana lyse der Bewegungsprofile der im Bildstrom erfaßten Personen und Fahrzeuge gewonnen werden.- semantic or textual description characterized by an assigned identifier and other attributes, in particular also clothing attributes and their description and/or other special features of persons recorded in the image stream, i) information on the spatial movement and/or past, current and/or in future expected spatial positions of people and vehicles, particularly those detected in the image stream. j) Information on the passability of the road sections, which is obtained by analyzing the movement profiles of the people and vehicles recorded in the image stream.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wobei die Lage übersicht als Attribute die Hilfsbedürftigkeit von in dem Bildstrom erkannten Personen enthält, wobei die Hilfsbedürftigkeit einer Person in eine einer Mehr zahl von Klassen eingeteilt wird.A system for situation reconnaissance and/or mission support, with the situation overview recognizing the need for help as attributes in the image stream Contains people, the need for help of a person is divided into one of a number of classes.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Hilfsbedürftigkeit von in den Einzelbildern und/oder in dem Bildstrom erkannten Personen anhand der Personenpose, insbesondere liegend, sitzend oder stehend, der Gliedmaßenstellung und/oder dergleichen abschätzbar ist, insbesondere mittels Skelettierungsverfahren.A system for situation reconnaissance and/or operational support as described above, wherein the need for help of persons recognized in the individual images and/or in the image stream can be estimated based on the person's pose, in particular lying, sitting or standing, the position of the limbs and/or the like, in particular by means of skeletonization process.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wobei die Lage übersicht als Attribute die Hilfsbedürftigkeit von Personen enthält.A system for situation reconnaissance and/or mission support, with the situation overview containing the need for help of people as attributes.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, die Attribute der Lageübersicht für die an der Abwehr und/oder Bewältigung der Gefahrenlage Beteiligte, ins besondere Einsatzkräfte und oder Einsatzleitungskräfte, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind oder den Einsatz von der ferne aus leiten, und/oder Versorgungsinstitutionen, insbesondere Hilfsor ganisationen, Lazarette, Krankenhäuser und/oder Ärzte, aufzubereiten, insbe sondere bedarfsgerecht aufzubereiten, zu ergänzen oder zu aktualisieren, ins besondere durch eine Anzeige in einer digitalen Lagekarte oder durch eine Übernahme in das digitale Notarzt-Protokoll, insbesondere zur späteren Über mittlung an ein Krankenhaus-Informationssystem (KIS), z.B. mittels eines inter disziplinären Versorgungsnachweises (IVENA).A system for situation reconnaissance and/or mission support as described above, the device being set up to call up and/or update and/or supplement the situation overview, the attributes of the situation overview for those involved in defending against and/or managing the dangerous situation, in particular Task forces and/or command and control personnel who have been deployed to the area or are present in the area or direct the operation remotely, and/or care institutions, in particular aid organizations, field hospitals, hospitals and/or doctors, to prepare them, in particular as needed to be processed, supplemented or updated, in particular by displaying it on a digital situation map or by including it in the digital emergency doctor protocol, in particular for later transmission to a hospital information system (HIS), e.g. using an interdisciplinary proof of care (IVENA). ).
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben eine Wiedererkennung von Objekten, welche im System erfaßt wor den sich, ausgehend von zur Verfügung gestellten Informationen, insbesondere Bildern und oder einzelnen oder mehreren Attributen aus einer anderen Quelle ermöglicht ist.A system for situation reconnaissance and/or mission support as described above enables objects that have been recorded in the system to be recognized based on information that has been made available, in particular images and/or one or more attributes from another source.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schreiben wobei die Datenbank in einem zentralen Server oder verteilt gespei chert ist. Im Folgenden werden nun einige Beispiele erfindungsgemäßer Verfahren und erfindungsgemäßer Systeme gegeben. Dabei zeigt jedes der Beispiele eine will kürliche Kombination der essentiellen Merkmalle des erfindungsgemäßen Ver fahrens oder Systems mit weiteren lediglich optionalen Merkmalen der Erfin dung. Die optionalen Merkmale können einzeln oder auch in beliebiger Kombi nation zur weiteren Verbesserung der vorliegenden Erfindung eingesetzt wer den.A situational awareness and/or mission support system as described above wherein the database is stored on a central server or distributed. Some examples of methods according to the invention and systems according to the invention are now given below. Each of the examples shows an arbitrary combination of the essential features of the method or system according to the invention with other only optional features of the inventions. The optional features can be used individually or in any combination to further improve the present invention.
Fig. 1 zeigt ein beispielhaftes Szenario eines erfindugsgemäßen Verfahrens, das im Folgenden beschrieben wird.1 shows an exemplary scenario of a method according to the invention, which is described below.
Einsatzszenariousage scenario
Als Beispielsszenario wird ein MANV (z.B. durch eine Großexplosion) auf einem großflächigen, schwer zu überschaubaren Gelände/Gebiet 10 betrachtet, wie z.B. ein Hafen mit vielen Hafenbecken und einem verzweigten Wegenetz mit vielen Sackgassen. Ein ähnliches Szenario bietet auch ein Zugunglück, oder ein Flugzeugabsturz in einer schwer zugänglichen Gegend, oder eine Hochwasser- Situation.As an example scenario, a MANV (e.g. due to a large explosion) on a large area/area 10 that is difficult to survey is considered, such as a port with many docks and a branched network of roads with many dead ends. A similar scenario also offers a train accident, or a plane crash in an area that is difficult to access, or a flood situation.
Initialisierunginitialization
Unmittelbar nach Eingang der Notrufmeldungen und initialer Bewertung in der zuständigen Leitstelle/Einsatzleitung 1, wird eine BVLOS - Drohne 2 von einem Gefahrenabwehrzentrum, Krankenhaus oder Flugplatz aus in das Ge biet 10, von dem die Notrufmeldung ausging, als Einsatzort entsendet. Dazu werden Zielkoordinaten auf einer Übersichtskarte durch den Disponenten zur Definition des Erkundungsgebietes definiert. Die gesamte Kommunikation mit dem UAV und auch die spätere Übermittlung der aufbereiteten Nutzlastdaten erfolgt über Mobilfunk 3.Immediately after receipt of the emergency call reports and initial evaluation in the responsible control center/operations center 1, a BVLOS drone 2 is sent from a danger prevention center, hospital or airfield to area 10, from which the emergency call message originated, as the deployment site. For this purpose, target coordinates are defined on an overview map by the dispatcher to define the exploration area. The entire communication with the UAV and also the later transmission of the processed payload data takes place via mobile communications 3.
Zeitgleich werden die zuständigen BOS - Kräfte 4 mit ihren Einsatzmitteln und Einheiten alarmiert. Auch BOS-Drohneneinheiten, welche mit UAVs, z.B. Mul- tikoptern ausgestattet sind, werden alarmiert und zum Einsatzort geschickt.At the same time, the responsible BOS - forces 4 are alerted with their resources and units. BOS drone units, which are equipped with UAVs, e.g. multicopters, are also alerted and sent to the scene.
Die Vergabe des Einsatzauftrages an das BVLOS-UAV erfolgt unmittelbar in der zuerst alarmierenden Leitstelle/Einsatzleitung 1. Dieser Einsatzauftrag be inhaltet folglich das zu erkundende Gebiet und den Zweck der Erkundung. Das ist im vorliegenden Beispiel die Lokalisierung von Betroffenen und sonstigen Personen 5 (ggfls. als Patienten) in dem zu erkundenden Gebiet sowie die Er fassung von Einsatzmitteln und Einsatzkräften 4 mit deren räumlicher Zuord nung. Für die so erfaßten Personen 5 wird die Hilfsbedürftigkeit geprüft und erforderlichenfalls eine Klassifizierung in grobe Triagestufen durchgeführt. Der Zweck der Erkundung ist also im vorliegenden Beispiel ein mehrfacher. Er kann jedoch bei anderen Szenarien auch nur einen dedizierten Zweck oder an dere oder weitere Zwecke enthalten.The deployment order is assigned to the BVLOS-UAV directly in the control center/operations control center 1 that first alerted. This operation order consequently includes the area to be explored and the purpose of the exploration. That in the present example is the localization of those affected and other persons 5 (possibly as patients) in the area to be explored as well as the detection of operational resources and operational forces 4 with their spatial assignment. The need for help is checked for the persons 5 recorded in this way and, if necessary, a classification into rough triage levels is carried out. The purpose of the exploration is therefore multiple in the present example. In other scenarios, however, it can also only contain a dedicated purpose or other or further purposes.
Ersterkundunginitial exploration
Im BVLOS-UAV 2 wird bei Alarmierung nun automatisch eine optimale Route, hinsichtlich einer minimalen Anflugdauer aber stets unter Berücksichtigung al ler regulatorischen Randbedingung für einen sicheren Flugbetrieb und eine si chere Integration in den Luftraum, generiert. Anschließend erfolgt ein vollau tomatischer Start des BVLOS-UAV 2. Der Einsatzort 10 wird dann außerhalb der Sichtweite schnell angeflogen.In the BVLOS-UAV 2, an optimal route is now automatically generated in the event of an alarm, with regard to a minimum approach duration, but always taking into account all regulatory boundary conditions for safe flight operations and safe integration into the airspace. The BVLOS-UAV 2 then starts fully automatically. The site 10 is then flown to quickly out of sight.
Durch einen strukturierten Überflug wird mittels bildgebende Sensorik ein Bilddatenstrom 6 erfaßt und (durch intelligente Aufbereitung) on-board zur Erzeugung eines ersten Lagebildes als Lageübersicht für die anrückenden Ein satzkräfte verarbeitet. Diese Informationen werden auch an einen zentralen Server zur Speicherung als Lageübersicht 11 / Datenbank gesendet. Diese La geübersicht 11 enthält insbesondere Informationen über Wege und deren Zu stand, Personen und deren Position, Klassifizierung bzgl. ihrer Hilfsbedürftig keit und weitere Attribute, die bei der Zuordnung bzw. Erkennung der Person helfen, z.B. textliche Beschreibungen der Kleidung oder photographische Auf nahmen der Person.By means of a structured overflight, an image data stream 6 is detected by means of imaging sensors and processed on-board (through intelligent processing) to generate a first situational image as a situational overview for the approaching rescue forces. This information is also sent to a central server for storage as a situational overview 11/database. This overview of the situation 11 contains in particular information about routes and their condition, people and their position, classification with regard to their need for assistance and other attributes that help with the assignment or identification of the person, e.g. textual descriptions of the clothing or photographs of the person Person.
Personenerfassungperson registration
Als eine schnelle Entscheidungshilfe für die Rettungskräfte und Einsatzleitung führen die Drohnen neben dem Entdecken und einem automatischen Verfol gen von hilfsbedürftigen Personen eine Vorsichtung durch, d.h. sie klassifiziert nach Hilfsbedürftigkeitskategorien (grün, gelb, rot) basierend auf ihren Posen (gehend/stehend, sitzend oder liegend).As a quick decision-making aid for rescue workers and operations management, the drones not only detect and automatically track people in need of help, but also carry out a screening, i.e. they classify them according to need for help categories (green, yellow, red) based on their poses (walking/standing, sitting or lying).
Weitere Datenerfassung Die einzelnen Einsatzkräfte 4 rufen auf einem mobilen Gerät 7, wie beispiels weise einem Tablet die Informationen des BVLOS-UAVs in übersichtlich aufbe reiteter Form aus der Lageübersicht/Datenbank ab. Sie fordern durch einfache und eindeutige Erkundungsaufträge weitere Informationen an. Diese werden dann je nach Auftrag von dem BVLOS-UAV oder anderen BOS-UAVs in Flug routen übersetzt und vollautomatisch abgeflogen, während parallel durch die in den BVLOS-UAV oder BOS-UAV implementiere On-Board-Software/Intelli- genz koordiniert Daten aufgenommen und für die Einsatzkräfte aufbereitet und komprimiert werden.More data collection The individual task forces 4 call up the information from the BVLOS UAV in a clearly prepared form from the situation overview/database on a mobile device 7, such as a tablet, for example. They request more information through simple and clear reconnaissance missions. Depending on the order, these are then translated into flight routes by the BVLOS-UAV or other BOS-UAVs and flown off fully automatically, while data is recorded in parallel by the on-board software/intelligence implemented in the BVLOS-UAV or BOS-UAV and processed and compressed for the emergency services.
Datenverarbeitungdata processing
Die während der Ausführung eines Erkundungsauftrages anfallende Sensorda ten von allen Sensorträgern werden nicht ausschließlich in einer Bodenkontroll station/Einsatzleitung verarbeitet und ausgewertet, sondern werden bereits di rekt in dem jeweiligen Sensorträger, beispielsweise der Drohne, analysiert und durch Kl-gestützte Prozesse auf wenige, aber aussagefähige Informationen, sog „Meldungen", reduziert. Vorteilhafterweise können diese auch über Verbin dungen mit geringen Bandbreite zu der Bodenkontrollstation/Einsatzleitung 11/Datenbank oder einer anderen zentralen Stelle (Portal zur digitalen Lageer fassung, -Verwaltung und -darstellung) übertragen werden. Diese Meldungen enthalten insbesondere geografische Position, Hilfsbedürftigkeitsklasse sowie eine bildliche oder automatisch extrahierte semantische Beschreibung von in dem Gebiet 10 befindlichen Personen 5, z.B. eine automatisch extrahierte Be schreibung der Bekleidung (blaue Hose, weißes T-Shirt) und/oder ein Bildaus schnitt von der Person. Statt oder ergänzend zu einem Bild kann auch ein kurzer Videoclip (z.B. eine „gif-Datei") aus mehreren Bildausschnitten erzeugt werden. Auch kann aus mehreren niedrig aufgelösten Bildausschnitten ein etwas höher aufgelöstes Bild der Person generiert werden.The sensor data from all sensor carriers generated during the execution of a reconnaissance mission is not exclusively processed and evaluated in a ground control station/operational command, but is already analyzed directly in the respective sensor carrier, for example the drone, and by AI-supported processes on a few, but Meaningful information, so-called "messages", reduced. Advantageously, these can also be transmitted via connections with low bandwidth to the ground control station/operations control 11/database or another central location (portal for digital situation detection, management and display). This Reports contain in particular geographic position, need for assistance class and a pictorial or automatically extracted semantic description of persons 5 located in the area 10, e.g. an automatically extracted description of the clothing (blue trousers, white T-shirt) and/or an image section from the person. Instead of or in addition to an image, a short video clip (e.g. a "gif file") can be generated from several image sections. A somewhat higher-resolution image of the person can also be generated from several low-resolution image sections.
In gleicher Weise werden auch die Positionen von Einsatzkräften 4 und/oder Einsatzfahrzeugen sowie deren Zugehörigkeitsklasse zu einer BOS (z.B. zu der Feuerwehr) erfasst und übermittelt.In the same way, the positions of emergency services 4 and/or emergency vehicles and their affiliation class to an BOS (e.g. to the fire brigade) are recorded and transmitted.
Diese komprimierten Informationen einzelner Sensorträger 2 werden in dem Einsatzleitwagen 11 als Bodenkontrollstation und Leitstelle zusammengeführt und können dann zeitnah im laufenden Einsatz auf üblichen Endgeräten 7 (Smartphones/Tablet-PCs/ Pads/ med. Datenerfassungsgeräten usw.) von Ein satzkräften 4 in Form eines zusätzlichen Darstellungsebene auf einer digitalen Lagekarte abgerufen werden.This compressed information from individual sensor carriers 2 is brought together in the command vehicle 11 as a ground control station and control center and can then be promptly used on standard end devices 7 (Smartphones/tablet PCs/pads/med. Data acquisition devices, etc.) can be accessed by emergency services 4 in the form of an additional display level on a digital situation map.
Die von weiteren Sensorträgern, insbesondere Bildinformationen der Erkun dungsaufträge weiterer Drohnen oder Aufnahmegeräten anderer Beteiligter, wie z.B. Bodenkräften mit z.B. Tablet, werden ebenfalls zusammengeführt, durch Kl - gestützte Prozesse komprimiert und auf wenige, aber aussagefä hige Informationen reduziert. Diese Informationen werden ebenfalls in die La geübersicht bzw. die Datenbank eingepflegt und können dann zeitnah im lau fenden Einsatz den Einsatzkräften - speziell der Einsatzleitung vor Ort - auf üb lichen Endgeräten (Smartphones / Pad / med. Datenerfassungsgeräte) zur Verfügung gestellt werden. Die Informationen werden dort u.a. in einer digita len Lagekarte z. B. als Layer dargestellt.The data from other sensor carriers, in particular image information from the reconnaissance missions of other drones or recording devices of other participants, such as ground forces with e.g. tablets, are also brought together, compressed by AI-supported processes and reduced to a few but meaningful pieces of information. This information is also entered into the situation overview or the database and can then be made available to the emergency services - especially the on-site operations management - on the usual end devices (smartphones / pad / medical data acquisition devices) in a timely manner during the ongoing operation. The information is presented there, among other things, in a digital situation map, e.g. B. shown as a layer.
Der hohe Automatisierungsgrad des BVLOS-UAVs und die Kl-basierte Auswer tung und Aufbereitung der Daten erlaubt eine maximale Unterstützung der Einsatzkräfte mit relevanten Informationen bei minimalem zusätzlichem Ar beitsaufwand.The high degree of automation of the BVLOS-UAV and the AI-based evaluation and processing of the data allows the emergency services to be given maximum support with relevant information with a minimum of additional work.
Lageverfolgunglocation tracking
Bei wiederholter Lageerkundung, lässt sich die räumliche Dynamik des Einsat zes darstellen und auch die Vollständigkeit von versorgten, zu unversorgten Personen. Ein personenbezogenes Tracking (z. B. Patienten) ermöglicht in die sem Beispiel einen zeitnahen Abgleich von personenbezogenen Informatio nen, wie beispielsweise Position, Kleidung und/oder Hilfsbedürftigkeit. Diese wiederholte Lageerkundung wird mit kleineren Drohnen (von BOS - Einhei ten) abschnittsbezogen ergänzt und ermöglicht ein leicht zu aktualisierendes, skalierbares Lagebild.If the situation is reconsidered repeatedly, the spatial dynamics of the deployment can be shown and also the completeness of people who are cared for and those who are not. In this example, personal tracking (e.g. patients) enables a timely comparison of personal information, such as position, clothing and/or need for help. This repeated situation reconnaissance is supplemented with smaller drones (from BOS units) on a section-by-section basis and enables an easily updated, scalable situation picture.
Die Kl - basierte Luftbilderfassung der Opfer wird mit der händischen Regist rierung der Einsatzkräfte zusammengeführt und abgeglichen. Hier verbindet eine Datenbank, die klassische TEL - Arbeit (Technische Einsatzleitung), mit den optischen, Kl - gestützten Lageinformationen. Hiermit wird nicht nur eine Vollständigkeitsbetrachtung ermöglicht, sondern es erfolgt auch eine Zuord nung von Opfern unmittelbar in der Prozesskette der Lagebearbeitung. Insbe sondere kann die Frage beantwortet werden: „Wo ist eigentlich Person X?".The AI-based aerial photograph of the victims is merged and compared with the manual registration of the emergency services. Here a database connects the classic TEL work (technical operations management) with the optical, AI-supported situation information. This will not just one completeness assessment, but there is also an allocation of victims directly in the process chain of handling the situation. In particular, the question can be answered: "Where is person X?".
Sofern keine eindeutige Zuordnung von Opfern möglich ist, kann die Daten bank auch zu Re-Identifikation eingesetzt werden.If it is not possible to clearly allocate victims, the database can also be used for re-identification.
Bildmetadatenimage metadata
Um eine Anzeige und eine Nachverfolgung von Objekten in einer Lagekarte zu ermöglichen, werden Bildmetadaten erfaßt. Hierzu zählen u.a. die Aufnahme parameter der Einzelbilder inclusive der BD-Position und 3D-Ausrichtung der Kamera, Zoom-Einstellung u.a., mit deren Hilfe man aus den Bildkoordinaten und ggf. vorhandenen Höhenmodellen des Gebiets die 3D-Geokoordinaten von abgelichteten Objekten ermitteln kann.Image metadata is collected to enable display and tracking of objects in a location map. These include the recording parameters of the individual images, including the BD position and 3D alignment of the camera, zoom setting, etc., with the help of which the 3D geocoordinates of photographed objects can be determined from the image coordinates and any existing elevation models of the area.
Information von EinsatzkräftenInformation from emergency services
Nachrückende Rettungskräfte 4 haben mobile Geräte 7 mit einer digitalen La gekarte, dort werden die Positionen der durch die Drohnen gemeldeten Perso nen eingetragen. Der Einsatzleiter unterteilt sie auf die Einsatzabschnitte und vergibt basierend entsprechende Aufträge.Responding rescue workers 4 have mobile devices 7 with a digital map, where the positions of the persons reported by the drones are entered. The operations manager divides them into the operational sections and assigns corresponding orders based on this.
Personenverfolgungpeople tracking
Durch die Anzeige der Positionen der verletzten Personen auf der digitalen La gekarte sowie durch deren bildliche und/oder textuelle Beschreibung wird den Einsatzkräften eine schnelle Auffindung und Identifizierung der von der Drohne gemeldeten Personen ermöglicht. Bei Antreffen einer hilfsbedürftigen Person können die Einsatzkräfte ein Foto der Person aufnehmen. Durch einen Kl-ba- sierter Abgleich mit dem Drohnenbild (basierend auf einem Kl-Re-Identifizie- rungsverfahren anhand bildlichen oder semantischen Informationen) kann die korrekte Wiedererkennung der gesuchten Person bestätigt werden. Dadurch kann eine Mehrdeutigkeitsauflösung durch den die Rettungskraft oder durch einen speziell dafür eingesetzten Operator in der Leitstelle erfolgen. Durch die Drohnenmeldung sollte ein Patientendatensatz bereits im System an gelegt worden sein (mit seinem Auffindungsort), ansonsten wird ein neuer Da tensatz angelegt. Nun kann eine richtige Sichtung und medizinische Erstversor gung beginnen.By displaying the positions of the injured persons on the digital map and by describing them in images and/or text, the emergency services are able to quickly find and identify the persons reported by the drone. If a person in need of help is found, the emergency services can take a photo of the person. Correct recognition of the person being searched for can be confirmed by means of a Kl-based comparison with the drone image (based on a Kl-re-identification process using pictorial or semantic information). As a result, an ambiguity can be resolved by the rescue worker or by an operator in the control center who is specially deployed for this purpose. A patient data record should already have been created in the system as a result of the drone report (with its location), otherwise a new data record will be created. Proper screening and medical first aid can now begin.
Bei wiederholter Lageerkundung, lässt sich so die räumliche Dynamik des Ein satzes darstellen und auch die Vollständigkeit der Erfassung von versorgten und unversorgten Personen gewährleistet werden.In the case of repeated situation reconnaissance, the spatial dynamics of the operation can be shown and the completeness of the recording of persons who have been cared for and not cared for can be guaranteed.
Diese wiederholte Lageerkundung wird mit weiteren kleineren Drohnen (BOS- Einheiten) abschnittsbezogen ergänzt und ermöglicht ein leicht zu aktualisie rendes, skalierbares Lagebild.This repeated reconnaissance of the situation is supplemented with other smaller drones (BOS units) on a section-by-section basis and enables an easily updatable, scalable picture of the situation.
SucheSeek
Die von den Rettungskräften aufgenommenen Bilder (Einzelbilder und/oder Videostreams) werden zusammen mit den Patientendaten in der Daten bank/Lageübersicht 11 abgelegt. Wenn die Person keine Papiere bei sich trägt und nicht identifizierbar bleibt, werden diese Bilder bei der Suche der Angehö rigen hilfreich sein. Dabei kann eine Suche anhand der von den Angehörigen zur Verfügung gestellten Fotos oder einer textuellen Beschreibung passieren.The images (single images and/or video streams) taken by the rescue services are stored in the database/situation overview 11 together with the patient data. If the person is undocumented and remains unidentifiable, these images will be helpful in tracing the family. A search can be carried out using the photos provided by the relatives or a textual description.
In ersten Fall kann eine Gesichts-Re-Identifikation auf Bildern, welche Ret tungssanitäter vor Ort aufgenommen haben, durchgeführt werden. Im zwei ten Fall kann ein Abgleich der textuellen Beschreibung der Kleidung mit der durch Kl automatisch generierten semantischen Beschreibung von in der Da tenbank erfassten Bildern von Rettungskräften gefundenen Personen gesche hen.In the first case, facial re-identification can be carried out on images taken by paramedics on site. In the second case, the textual description of the clothing can be compared with the semantic description automatically generated by Kl of images of people found by rescue workers recorded in the database.
Passierbarkeit der Straßenabschnittepassability of the road sections
Durch eine Erfaßung von Fahrzeugen und deren Trajektorien können bei spielsweise Rückschlüsse auf die Passierbarkeit der Straßen gemacht werden. Dies kann beispielsweise durch Ausbleiben von Verkehr an bestimmten nor malerweise hochfrequentierten Straßenabschnitten oder durch Feststellung häufiger Wendemanöver geschehen.By detecting vehicles and their trajectories, for example, conclusions can be drawn about the passability of the roads. This can happen, for example, when there is no traffic on certain normally highly frequented road sections or by detecting frequent turning manoeuvres.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22757256.7AEP4374306A1 (en) | 2021-07-23 | 2022-07-22 | Method and system for reconnaissance and/or operational support |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021207951.2 | 2021-07-23 | ||
| DE102021207951.2ADE102021207951A1 (en) | 2021-07-23 | 2021-07-23 | Procedures for situation reconnaissance and/or mission support |
| Publication Number | Publication Date |
|---|---|
| WO2023002041A1true WO2023002041A1 (en) | 2023-01-26 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2022/070686CeasedWO2023002041A1 (en) | 2021-07-23 | 2022-07-22 | Method and system for reconnaissance and/or operational support |
| Country | Link |
|---|---|
| EP (1) | EP4374306A1 (en) |
| DE (1) | DE102021207951A1 (en) |
| WO (1) | WO2023002041A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150019267A1 (en)* | 2013-07-11 | 2015-01-15 | Fluor Technology Corporation | Post-disaster assessment systems and methods |
| CN106325295A (en)* | 2016-08-29 | 2017-01-11 | 林为庆 | Field action situation map generating system and method based on unmanned aerial vehicle (UAV) |
| US9665094B1 (en)* | 2014-08-15 | 2017-05-30 | X Development Llc | Automatically deployed UAVs for disaster response |
| WO2017223531A1 (en)* | 2016-06-24 | 2017-12-28 | Culver Matthew | Systems and methods for unmanned aerial vehicles |
| US20180039262A1 (en)* | 2016-08-04 | 2018-02-08 | International Business Machines Corporation | Lost person rescue drone |
| US20200135036A1 (en)* | 2018-09-12 | 2020-04-30 | Alliance Solutions Group, Inc. | Systems and methods for collecting and analyzing hazardous materials information using an unmanned aerial vehicle |
| US20200401138A1 (en)* | 2019-06-20 | 2020-12-24 | Florida Power & Light Company | Large scale unmanned monitoring device assessment of utility system components |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130021475A1 (en) | 2011-07-21 | 2013-01-24 | Canant Ross L | Systems and methods for sensor control |
| US10776316B2 (en) | 2018-01-05 | 2020-09-15 | Goodrich Corporation | Automated multi-domain operational services |
| DE202018000429U1 (en) | 2018-01-27 | 2018-03-23 | Thorsten Surmann | Vertical take-off (vertical whistle), horizontal aerodynamic flying unmanned aerial vehicle (UAV, unmanned aerial Verhicle), transport drone in special flying wing hybrid design |
| US12084179B2 (en) | 2018-05-23 | 2024-09-10 | Aerovironment, Inc. | System and method for drone tethering |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150019267A1 (en)* | 2013-07-11 | 2015-01-15 | Fluor Technology Corporation | Post-disaster assessment systems and methods |
| US9665094B1 (en)* | 2014-08-15 | 2017-05-30 | X Development Llc | Automatically deployed UAVs for disaster response |
| WO2017223531A1 (en)* | 2016-06-24 | 2017-12-28 | Culver Matthew | Systems and methods for unmanned aerial vehicles |
| US20180039262A1 (en)* | 2016-08-04 | 2018-02-08 | International Business Machines Corporation | Lost person rescue drone |
| CN106325295A (en)* | 2016-08-29 | 2017-01-11 | 林为庆 | Field action situation map generating system and method based on unmanned aerial vehicle (UAV) |
| US20200135036A1 (en)* | 2018-09-12 | 2020-04-30 | Alliance Solutions Group, Inc. | Systems and methods for collecting and analyzing hazardous materials information using an unmanned aerial vehicle |
| US20200401138A1 (en)* | 2019-06-20 | 2020-12-24 | Florida Power & Light Company | Large scale unmanned monitoring device assessment of utility system components |
| Publication number | Publication date |
|---|---|
| DE102021207951A1 (en) | 2023-01-26 |
| EP4374306A1 (en) | 2024-05-29 |
| Publication | Publication Date | Title |
|---|---|---|
| EP3058556B1 (en) | Method and device for the automated early detection of forest fires by means of the optical detection of clouds of smoke | |
| DE112018006556T5 (en) | TRAINING A MACHINE LEARNING MODEL WITH DIGITAL AUDIO AND / OR VIDEO | |
| DE60213526T2 (en) | Method and system for improving situational awareness of command control units | |
| DE102020213360A1 (en) | JOB CLASSIFICATION SYSTEM AND PROCEDURES | |
| DE102012215544A1 (en) | Monitoring a railway line | |
| WO2015028294A1 (en) | Monitoring installation and method for presenting a monitored area | |
| EP3765999B1 (en) | System and method for identifying objects by means of distributed neural networks | |
| CN113470346A (en) | BIM-based municipal engineering traffic accident emergency processing method and device | |
| WO2018153563A1 (en) | Artificial neural network and unmanned aerial vehicle for recognizing a road accident | |
| DE102010003669B4 (en) | Method and device for locating people in a given area | |
| DE10151983A1 (en) | Method for automatic documentation of a traffic accident and recording of the layout of vehicles and objects involved in it, by use of a laser measurement device with an associated differential global positioning system | |
| EP3329432A1 (en) | System for monitoring and influencing objects of interest and processes carried out by the objects, and corresponding method | |
| DE102012222661A1 (en) | Monitoring system for a surveillance area, procedures and computer program | |
| DE102017222966A1 (en) | Control of a motor vehicle | |
| EP4374306A1 (en) | Method and system for reconnaissance and/or operational support | |
| EP1916644B1 (en) | Method and device for creating and transmitting georeferenced messages | |
| EP3622527B1 (en) | System for locating, triaging, classifying, managing and coordinating during accidents | |
| EP3627370B1 (en) | Method and system for processing person-related optical and / or acoustic signals | |
| Kieran et al. | Are smart walls smart solutions? The impact of technologically-charged borders on human rights in Europe | |
| JP7537744B2 (en) | Airfield operations support systems and programs | |
| DE102019210513A1 (en) | Procedure for accident assistance, unmanned aircraft and motor vehicle | |
| Eftychidis et al. | UAVs and their use in servicing the community | |
| EP4205137A1 (en) | Camera-based registration of patients in an event causing great damage | |
| Stahl et al. | Advanced automatic target recognition for police helicopter missions | |
| DE102023206904A1 (en) | Method for operating a large number of geographically distributed drones |
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application | Ref document number:22757256 Country of ref document:EP Kind code of ref document:A1 | |
| WWE | Wipo information: entry into national phase | Ref document number:2022757256 Country of ref document:EP | |
| NENP | Non-entry into the national phase | Ref country code:DE | |
| ENP | Entry into the national phase | Ref document number:2022757256 Country of ref document:EP Effective date:20240223 |