DE102016119920A1 - Method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imager - Google Patents
Method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imagerDownload PDFInfo
- Publication number
- DE102016119920A1 DE102016119920A1DE102016119920.6ADE102016119920ADE102016119920A1DE 102016119920 A1DE102016119920 A1DE 102016119920A1DE 102016119920 ADE102016119920 ADE 102016119920ADE 102016119920 A1DE102016119920 A1DE 102016119920A1
- Authority
- DE
- Germany
- Prior art keywords
- thermal
- reference data
- orientation
- information
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radiation Pyrometers (AREA)
Abstract
Translated fromGerman
Description
Translated fromGermanDie Erfindung betrifft ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera, die insbesondere in der mobilen elektronischen Einrichtung, welche ein Smartphone sein kann, implementiert ist.The invention relates to a method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imaging camera, which is implemented in particular in the mobile electronic device, which may be a smartphone.
Smartphones mit integrierter oder aufsteckbarer Wärmebildkamera sind bekannt (siehe zum Beispiel die Webseiten: www.areamobile.de/news/36787-cat-s60 und www.heise.de/newsticker/meldung/hands-on).Smartphones with integrated or attachable thermal imaging camera are known (see for example the websites: www.areamobile.de/news/36787-cat-s60 and www.heise.de/newsticker/meldung/hands-on).
Ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera ist aus der
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein weiteres Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera zur Verfügung zu stellen.The present invention is based on the object of providing a further method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imaging camera.
Ein Kerngedanke der Erfindung kann darin gesehen werden, vorzugsweise mehrere Referenzoberflächenbereiche, deren Positionen im Objektraum bekannt sind, hinsichtlich wenigstens eines Objekts bereitzustellen, wobei jedem Referenzoberflächenbereich i.d.R. zeitabhängige Positions- und i.d.R. zeitabhängige Farb- bzw. Temperaturinformationen nach einer Abbildung in die Bildebene einer digitalen Wärmebildkamera zugeordnet werden, die als Referenzdatensätze gespeichert werden.A core idea of the invention may be seen in providing preferably a plurality of reference surface areas whose positions are known in object space with respect to at least one object, each reference surface area i.d.R. time-dependent position and i.d.R. Time-dependent color or temperature information is assigned after an image in the image plane of a digital thermal imager, which are stored as reference data records.
Die jeweilige Temperatur der Oberflächenpunkte der jeweiligen Referenzoberflächenbereiche kann vorzugsweise über ein gegebenes Wärmemodell vorhergesagt werden. Ein solches Wärmemodell kann auf einem Finite-Element-Verfahren zur Zerlegung einer realen 3D-Struktur in eine endliche Anzahl von Elementen mit vereinfachten physikalischen Eigenschaften basieren, welches beispielsweise in dem Handbuch „HYDR Grundwasser-/Wärmeleitmodell“ der Firma SOFISTIK AG, Oberschleissheim, 2005 erläutert wird (siehe www.sofistik.de/fileadmin/FILES/produkte/sta). Unter Verwendung einer vorgegebenen Temperatur-Farb-Kennlinie der verwendeten digitalen Wärmebildkamera können dann die Farbwerte für die Abbildung der simulierten Oberflächentemperaturen in die Bildebene der mobilen digitalen Wärmebildkamera vorhergesagt bzw. berechnet werden.The particular temperature of the surface points of the respective reference surface areas may preferably be predicted over a given heat model. Such a heat model can be based on a finite element method for decomposing a real 3D structure into a finite number of elements with simplified physical properties, which are described, for example, in the manual "HYDR groundwater / heat conduction model" by SOFISTIK AG, Oberschleissheim, 2005 is explained (see www.sofistik.de/fileadmin/FILES/produkte/sta). Using a given temperature-color characteristic of the digital thermal imager used, the color values for imaging the simulated surface temperatures into the image plane of the mobile digital thermal imager can then be predicted.
Das oben genannte technische Problem wird durch die Verfahrensschritte des Anspruchs 1 gelöst.The above technical problem is solved by the method steps of
Danach wird ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera, deren innere Orientierung bekannt ist, zur Verfügung gestellt, welches folgende Schritte aufweist:
- a) Aufnehmen, mit der mobilen digitalen Wärmebildkamera eines Wärmebilds eines Objekts, wobei das Wärmebild in einer Farbendarstellung erzeugt wird;
- b) Bereitstellen für vorbestimmte Oberflächenbereiche eines vorbestimmten Objekts jeweils eines Referenzdatensatzes, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält, wobei die Farbinformation einer Temperatur des jeweiligen vorbestimmten Oberflächenbereichs entspricht;
- c) Auswählen mehrerer Referenzdatensätze aus den in Schritt b) bereitgestellten Referenzdatensätzen in Abhängigkeit des Ergebnisses eines Abgleichs der in den Referenzdatensätzen enthaltenen Farbinformationen mit Bereichen der Farbdarstellung des in Schritt a) aufgenommenen Wärmebilds; und
- d) Durchführen unter Verwendung der bekannten inneren Orientierung der Wärmebildkamera und der in den ausgewählten Referenzdatensätzen enthaltenen Positionsinformationen eines räumlichen Rückwärtsschnitts zur Bestimmung der Position und/oder Orientierung der mobilen elektronischen Einrichtung.
- a) capturing, with the mobile digital thermal imager, a thermal image of an object, wherein the thermal image is generated in a color representation;
- b) providing for predetermined surface areas of a predetermined object each a reference data set containing position and color information of the respective predetermined surface area, the color information corresponding to a temperature of the respective predetermined surface area;
- c) selecting a plurality of reference data records from the reference data records provided in step b) as a function of the result of matching the color information contained in the reference data records with regions of the color representation of the thermal image recorded in step a); and
- d) performing using the known internal orientation of the thermal imager and the spatial backward position information contained in the selected reference data sets to determine the position and / or orientation of the mobile electronic device.
Der räumliche Rückwärtsschnitt ist ein Verfahren aus der Photogrammetrie, das beispielsweise in dem Fachbuch
Angemerkt sei, dass mit Orientierung vorzugsweise die äußere und/oder innere Orientierung der der mobilen elektronischen Einrichtung zugeordneten Wärmebildkamera gemeint ist. Die Begriffe „äußere und innere Orientierung“ sind aus der Photogrammetrie bekannt. Erläutert werden sie beispielsweise in dem Fachbuch
Weiterhin sei angemerkt, dass eine Position vorzugsweise durch die Koordinaten eines vorgegebenen 3D-Koordinatensystem beschrieben wird.It should also be noted that a position is preferably described by the coordinates of a given 3D coordinate system.
Angemerkt sei ferner, dass ein Oberflächenbereich mindestens einen Oberflächenpunkt enthält. Der kleinstmögliche „Bereich“ auf der Objektoberfläche wäre ein Oberflächenpunkt, sodass die Temperatur in diesem Punkt auf der Objektoberfläche ermittelt wird. It should also be noted that a surface area contains at least one surface point. The smallest possible "area" on the object surface would be a surface point, so that the temperature at that point on the object surface is determined.
In der Regel wird jedoch ein vorbestimmter Oberflächenbereich mehrere Punkte enthalten, so dass dann die Temperatur in diesem Oberflächenbereich eine mittlere repräsentative Temperatur ist, die anschließend in einen entsprechenden Farbwert umgerechnet werden kann.In general, however, a predetermined surface area will contain several points, so that then the temperature in this surface area is a mean representative temperature, which can then be converted into a corresponding color value.
Rein praktisch gesehen, wird in der Bildebene einer digitalen Wärmebildkamera also nicht die Farbe in einem zu einem Oberflächenpunkt eines Objekts korrespondierenden Bildpunkt, sondern ein repräsentativer Farbwert als Mittelwert zum Beispiel in einem CMOS-Bildpixel (mit einer dx- und dy-Ausdehnung im Bild, die einem Bereich aus mehreren Punkten auf der Objektoberfläche entspricht) gemessen.In practical terms, in the image plane of a digital thermal imaging camera, therefore, not the color in a pixel corresponding to a surface point of an object, but a representative color value as an average, for example in a CMOS image pixel (with a dx and dy extension in the image, which corresponds to a range of several points on the object surface).
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.Advantageous developments are the subject of the dependent claims.
Mithilfe eines räumlichen Rückwärtsschnitts können mehrere im Objektraum konvergierende Strahlenbündel eines Kamerabildes berücksichtigt werden, um die Positionen aufgenommener Objekte eines Objektraumes und gleichzeitig die Position und/oder Orientierung der verwendeten Kamera bzw. der mobilen elektronischen Einrichtung zu bestimmen. Hierbei muss allerdings die Zuordnung von Objektpunkten zu Bildpunkten gegeben sein, was in der Praxis hauptsächlich durch eine reale Signalisierung am Objekt erzeugt wird, so z.B. mittels Aufkleben von Messmarken und einer Punktnummerninformation. Diese sogenannte Signalisierung ist also vorab manuell vorzunehmen und wird durch die Aufnahme im Bild der Kamera sichtbar.By means of a spatial backward section, a plurality of beam bundles of a camera image converging in the object space can be taken into account in order to determine the positions of recorded objects of an object space and simultaneously the position and / or orientation of the camera or mobile electronic device used. In this case, however, the assignment of object points to picture elements must be given, which in practice is mainly produced by a real signaling on the object, e.g. by sticking of measuring marks and point number information. So this so-called signaling is done in advance manually and is visible through the recording in the image of the camera.
Um das Verfahren vollständig automatisiert ausführen zu können, wird eine alternative Lösung für ein Signalisieren relevanter Punkte im Objektraum bereitgestellt, indem die Signalisierung nicht manuell direkt am Objekt, sondern virtuell erzeugt wird.In order to be able to carry out the method completely automatically, an alternative solution is provided for signaling relevant points in the object space by virtue of the fact that the signaling is not generated manually directly on the object, but virtually.
Dies wird dadurch erreicht, dass Schritt b) folgende Schritte umfasst:
- b1) Aufrufen, von einer Recheneinheit, wenigstens eines in einer Speichereinrichtung abgelegten Wärmemodells für das vorbestimmte Objekt;
- b2) Berechnen, unter Verwendung des in Schritt b1) aufgerufenen Wärmemodells, für mehrere vorbestimmte Oberflächenbereiche des vorbestimmten Objekts, deren Positionen bekannt sind, jeweils eine oberflächentemperaturabhängige Farbinformation. Angemerkt sei, dass die Berechnung gemäß Schritt b2) vorteilhafter Weise für einen Zeitpunkt und gegebenenfalls für ein Datum ausgeführt wird, zu denen in Schritt a) ein Wärmebild aufgenommen worden ist.
- b1) calling, by a computing unit, at least one heat model stored in a memory device for the predetermined object;
- b2) calculating, using the thermal model called in step b1), for each of a plurality of predetermined surface areas of the predetermined object whose positions are known, a color temperature-dependent color information. It should be noted that the calculation according to step b2) is advantageously carried out for a time and, if appropriate, for a datum for which a thermal image has been recorded in step a).
Mit anderen Worten: Die Signalisierung am Objekt erfolgt durch die Simulation von Temperaturwerten an vorgegebenen, also bekannten, Objektoberflächenpunkten, deren Positionen bekannt sind. Diesen Temperaturwerten sind über die Temperatur-Farb-Kennlinie der Wärmebildkamera eindeutige Farbwerte im Wärmebild zugeordnet. Wird ein Temperaturwert eines Objektpunktes eindeutig numerisch einem Farbwert im Bild zugeordnet und existiert dieser Farbwert nur an einer Stelle im Bild, so ist damit ein Bildstrahl zum Aufnahmezeitpunkt gegeben. Liegt dieser Farbwert an mehreren Stellen im Bild vor, so sind dem Fachmann unterschiedliche Kriterien und Algorithmen bekannt wie die Auswahl des am besten korrespondierenden Bildpunktes vollautomatisch durchgeführt werden kann. Mehrere dieser Bildstrahlen zu den am besten korrespondierenden Bildpunkten ergeben ein Strahlenbündel, das im Projektionszentrum gebündelt ist. Liegen beispielsweise mindestens 5 Strahlen in einem Strahlenbündel zu bekannten Oberflächenpunkten vor, so kann, wenn diese Strahlen die bekannte allgemeine Lage haben, die Position und/oder Orientierung der Wärmebildkamera bestimmt werden. Dieses Verfahren kann ausgleichungstechnisch iterativ im Gauss-Markov-Modell erfolgen, was bekannt ist. Es liegt somit ein räumlicher Rückwärtsschnitt vom Objekt ins Projektionszentrum der Wärmebildkamera vor, was einer Einbild-Bündelausgleichung entspricht.In other words, the signaling on the object takes place by the simulation of temperature values at predetermined, ie known, object surface points whose positions are known. These temperature values are assigned unique color values in the thermal image via the temperature-color characteristic of the thermal imager. If a temperature value of an object point is unambiguously numerically assigned to a color value in the image and this color value exists only at one point in the image, then an image beam at the time of recording is given. If this color value is present at several points in the image, different criteria and algorithms are known to the person skilled in the art, as the selection of the best-corresponding pixel can be carried out fully automatically. Several of these image rays to the best corresponding pixels result in a bundle of rays, which is bundled in the projection center. If, for example, at least 5 beams exist in a beam to known surface points, then if these beams have the known general position, the position and / or orientation of the thermal imager can be determined. This method can be performed iteratively in the Gauss-Markov model, which is known. There is thus a spatial rearward section from the object to the projection center of the thermal imaging camera, which corresponds to a single-image beam equalization.
Die Simulationsergebnisse können verbessert werden, wenn in Schritt b2) die Farbinformationen in Abhängigkeit von Zeitinformationen, und/oder von Informationen über die Materialeigenschaften der Oberfläche des vorbestimmten Objekts, und/oder von Wetterinformationen, und/oder von Temperaturinformationen des Objektraums, in dem sich das vorbestimmte Objekt befindet, und/oder von Informationen über die äußere und/oder innere Orientierung einer virtuellen Wärmebildkamera und/oder von Informationen über die Position einer virtuellen Wärmebildkamera berechnet werden.The simulation results can be improved if, in step b2), the color information depends on time information, and / or information about the material properties of the surface of the predetermined object, and / or weather information, and / or temperature information of the object space in which the predetermined object, and / or information about the outer and / or inner orientation of a virtual thermal imager and / or information about the position of a virtual thermal imager can be calculated.
Anstatt Referenzdatensätze mittels einer Simulation zu gewinnen, können diese alternativ aus vorab aufgenommenen Referenzwärmebildern gebildet werden. Diese Referenzwärmebilder können ebenfalls von der digitalen Wärmebildkamera aufgenommen werden. Hierzu kann Schritt b) folgende Schritte umfassen:
- Aufnehmen vor Ausführung des Schritts a) wenigstens eines Referenzwärmebildes des vorbestimmten Objekts, wobei das wenigstens eine Referenzwärmebild in einer Farbendarstellung erzeugt wird;
- Erstellen unter Verwendung des Referenzwärmebilds für vorbestimmte Oberflächenbereiche des vorbestimmten Objekts jeweils eines Referenzdatensatzes, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält; und Speichern der Referenzdatensätze.
- Recording before performing step a) at least one reference thermal image of the predetermined object, wherein the at least one reference thermal image is generated in a color representation;
- Creating using the reference thermal image for predetermined surface areas of the predetermined object each of a reference data set containing position and color information of the respective predetermined surface area; and storing the reference data sets.
Eine vorteilhafte und für die mobile elektronische Einrichtung energiesparende Maßnahme sieht vor, dass das in Schritt a) aufgenommene Wärmebild zu einer entfernten Rechnereinrichtung, die räumlich getrennt von der mobilen elektronischen Einrichtung angeordnet ist, übertragen wird, und dass
die Schritte b) bis d) in der Rechnereinrichtung (140) ausgeführt werden.An advantageous and energy-saving measure for the mobile electronic device provides that the recorded in step a) thermal image is transmitted to a remote computing device, which is spatially separated from the mobile electronic device, and that
the steps b) to d) are carried out in the computer device (140).
Ist die digitale Wärmebildkamera in der mobilen elektronischen Einrichtung, welche ein Mobilfunktelefon sein kann, integriert, können die Schritte b) bis d) auch in der mobilen elektronischen Einrichtung ausgeführt werden.If the digital thermal imaging camera is integrated in the mobile electronic device, which may be a mobile phone, steps b) to d) may also be performed in the mobile electronic device.
Der Rechenaufwand zur Bestimmung der Position und/oder der Orientierung der mobilen elektronischen Einrichtung kann dadurch reduziert werden, dass
aus dem in Schritt a) aufgenommenen Wärmebild ein Wärmebildausschnitt ausgewählt wird, dass
in Schritt b) aus den bereitgestellten Referenzdatensätzen eine Anzahl von ersten Referenzdatensätzen ausgewählt wird, und dass
in Schritt c) aus den in Schritt b) ausgewählten ersten Referenzdatensätzen mehrere erste Referenzdatensätze in Abhängigkeit des Ergebnisses eines Abgleichs der in den ersten Referenzdatensätzen enthaltenen Farbinformationen mit dem ausgewählten Wärmebildausschnitt ausgewählt werden.The computational effort for determining the position and / or the orientation of the mobile electronic device can be reduced by
from the thermal image recorded in step a), a thermal image detail is selected that
in step b) a number of first reference data records are selected from the provided reference data records, and that
in step c), a plurality of first reference data records are selected from the first reference data records selected in step b) as a function of the result of matching the color information contained in the first reference data records with the selected thermal image detail.
Das neue Verfahren verbindet somit eine Lösung zum automatisierten Signalisieren eines Objektes mit der Durchführung eines räumlichen Rückwärtsschnitts, um die Position und/oder Orientierung der mobilen elektronischen Einrichtung bzw. der Wärmebildkamera vollautomatisch zu bestimmen.The new method thus combines a solution for the automated signaling of an object with the implementation of a spatial reverse section in order to determine the position and / or orientation of the mobile electronic device or the thermal imaging camera fully automatically.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den beiliegenden Zeichnungen näher erläutert. Es zeigen:
1 ein beispielhaftes Kommunikationssystem, welches ein Mobilfunktelefon mit einer integrierten Wärmebildkamera aufweist,2 eine Hauswand mit zwei Fenstern als ein vorbestimmtes Objekt in einem vorgegebenen Objektraum.
1 an exemplary communication system comprising a mobile telephone with an integrated thermal imager,2 a house wall with two windows as a predetermined object in a given object space.
Der Server
Das Smartphone
Das Smartphone
Zudem kann das Smartphone
Die Wärmebildkamera
Zudem ist in an sich bekannter Weise mit diesen Größen bezüglich der Wärmebildkamera
In einem Programmspeicher
Wie nachfolgend noch detailliert erläutert wird, können in dem Programmspeicher
Die vorbestimmten Objekte können in einem vorgegebenen Objektraum oder in mehreren vorgegebenen Objekträumen liegen. Ein vorgegebener Objektraum kann ein Messegelände, ein Gebäude, eine Straße oder dergleichen sein. Objekträume können in der Datenbank
Jedem Objekt ist vorzugsweise ein Objektkoordinatensystem zugeordnet, in dem die 3D-Positionen seiner Oberfläche festgelegt sind. Zu einigen Oberflächenpunkten wenigstens eines vorbestimmten Objekts können in der Datenbank
Insbesondere können im Programmspeicher
Auch ein Algorithmus zum Prüfen der Übereinstimmung zwischen real aufgenommenen Wärmebildern und real aufgenommenen oder simulierten Referenzwärmebildern kann zum Beispiel im Programmspeicher
Mit Hilfe der Gleichungen und der Daten aus der Datenbank
Wird eine ausreichende Übereinstimmung zwischen der Farbdarstellung eines aktuell aufgenommenen Wärmebilds und den in einem oder mehreren Referenzdatensätzen enthaltenen Farbinformationen festgestellt, können die in diesen Referenzdatensätzen enthaltenen Positionsinformationen zusammen mit der bekannten inneren Orientierung der Wärmebildkamera
Die Funktionsweise des Smartphones
Die Position und/oder die Orientierung des Smartphones
Um für vorbestimmte Oberflächenbereiche bzw. Oberflächenpunkte eines vorbestimmten Objekts, zum Beispiel die sechs Ecken des Fensterrahmens
Ein beispielhafter erster Ansatz sieht vor, dass das Smartphone
Senden die Temperatursensoren
Auf diese Weise sind das Smartphone
Ein zweiter beispielhafter Ansatz sieht vor, dass im Speicher
Ein dritter beispielhafter Ansatz sieht vor, dass vorab, d.h. zeitlich vor der aktuellen Aufnahme eines Wärmebilds des in
Nunmehr sei angenommen, dass der Nutzer des Smartphones
Um die Position und/oder Orientierung mit Hilfe der digitalen Wärmebildkamera
Um geeignete Referenzdatensätze mit reduziertem Rechenaufwand auffinden zu können, kann vorab eine erste grobe Positionsbestimmung des Smartphones
Werden die Referenzdatensätze zum Beispiel in Echtzeit erst mit Hilfe gespeicherter Wärmemodelle erzeugt, werden diejenigen Wärmemodelle vom Smartphone
Nunmehr wird ein Abgleich der in den bereitgestellten Referenzdatensätzen enthaltenen Farbinformationen mit den Farbinformationen der Bildpunkte des mit der Wärmebildkamera
Als ein mögliches Übereinstimmungskriterium kann das Über- oder Unterschreiten eines vorgegebenen Schwellenwertes dienen, welches von einem angewandten Prüfalgorithmus abhängt. Beispielsweise kann ein Schwellenwert von beispielsweise 0,9 im Datenspeicher
Anschließend werden die in den ausgewählten Referenzdatensätzen enthaltenen Positionsinformationen ausgelesen und zusammen mit der bekannten inneren Orientierung der Wärmebildkamera
Angemerkt sei an dieser Stelle, dass das aktuell von der Wärmebildkamera
Um den Rechenaufwand insbesondere für das Smartphone
Dank der Erfindung kann die Position und/oder Orientierung einer mobilen elektronischen Einrichtung
Hierzu wird im Objektraum ein Objekt, zum Beispiel die Fensterrahmen
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102016109628 [0003]DE 102016109628 [0003]
Zitierte Nicht-PatentliteraturCited non-patent literature
- „Photogrammetrie“, von K. Schwidefsky und F. Ackermann, B.G. Teubner Stuttgart, 1976 [0009]"Photogrammetry" by K. Schwidefsky and F. Ackermann, B.G. Teubner Stuttgart, 1976 [0009]
- „Photogrammetrie, Grundlagen, Verfahren, Anwendungen“, von K. Schwidedfsky et al., 7. Auflage des „Grundriß der Photogrammetrie“, 1976 [0010]"Photogrammetry, Fundamentals, Methods, Applications" by K. Schwidedfsky et al., 7th Edition of the "Plan of Photogrammetry", 1976 [0010]
Claims (7)
Translated fromGermanPriority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016119920.6ADE102016119920B4 (en) | 2016-10-19 | 2016-10-19 | Method for determining the position and/or orientation of a mobile electronic device using a digital thermal imaging camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016119920.6ADE102016119920B4 (en) | 2016-10-19 | 2016-10-19 | Method for determining the position and/or orientation of a mobile electronic device using a digital thermal imaging camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102016119920A1true DE102016119920A1 (en) | 2018-04-19 |
| DE102016119920B4 DE102016119920B4 (en) | 2024-12-05 |
Family
ID=61765190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102016119920.6AActiveDE102016119920B4 (en) | 2016-10-19 | 2016-10-19 | Method for determining the position and/or orientation of a mobile electronic device using a digital thermal imaging camera |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102016119920B4 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016125372A1 (en) | 2016-12-22 | 2018-06-28 | Deutsche Telekom Ag | Method for determining the position and / or orientation by simultaneously recording object space information from considerably different wavelength ranges in an image, digital camera system and mobile electronic device |
| DE102016125381A1 (en) | 2016-12-22 | 2018-06-28 | Deutsche Telekom Ag | Fresnel lens, lens and digital camera system |
| DE102016125377A1 (en) | 2016-12-22 | 2018-06-28 | Deutsche Telekom Ag | Refractive lens, lens and digital camera system |
| DE102017111023A1 (en) | 2017-05-19 | 2018-11-22 | Deutsche Telekom Ag | Digital camera system, lens and method for determining position and / or orientation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130243250A1 (en)* | 2009-09-14 | 2013-09-19 | Trimble Navigation Limited | Location of image capture device and object features in a captured image |
| DE102014217963A1 (en)* | 2014-09-09 | 2016-03-10 | Bayerische Motoren Werke Aktiengesellschaft | Determine the pose of a data goggle using passive IR markers |
| DE102016109628A1 (en) | 2016-05-25 | 2017-11-30 | Deutsche Telekom Ag | Method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imager |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010038472A1 (en) | 2010-07-27 | 2012-02-02 | Testo Ag | Method for processing thermal images i.e. digital images, for thermographic examination of objects or scenes to detect alterations of insulating properties in building, involves representing base using deformation card |
| DE102012003256A1 (en) | 2012-02-21 | 2013-08-22 | Testo Ag | Method for evaluating thermographic data of spatially resolving measurement result, involves automatically determining transformation rule associated with pixels corresponding to item under test |
- 2016
- 2016-10-19DEDE102016119920.6Apatent/DE102016119920B4/enactiveActive
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130243250A1 (en)* | 2009-09-14 | 2013-09-19 | Trimble Navigation Limited | Location of image capture device and object features in a captured image |
| DE102014217963A1 (en)* | 2014-09-09 | 2016-03-10 | Bayerische Motoren Werke Aktiengesellschaft | Determine the pose of a data goggle using passive IR markers |
| DE102016109628A1 (en) | 2016-05-25 | 2017-11-30 | Deutsche Telekom Ag | Method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imager |
Non-Patent Citations (2)
| Title |
|---|
| „Photogrammetrie, Grundlagen, Verfahren, Anwendungen", von K. Schwidedfsky et al., 7. Auflage des „Grundriß der Photogrammetrie", 1976 |
| „Photogrammetrie", von K. Schwidefsky und F. Ackermann, B.G. Teubner Stuttgart, 1976 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016125372A1 (en) | 2016-12-22 | 2018-06-28 | Deutsche Telekom Ag | Method for determining the position and / or orientation by simultaneously recording object space information from considerably different wavelength ranges in an image, digital camera system and mobile electronic device |
| DE102016125381A1 (en) | 2016-12-22 | 2018-06-28 | Deutsche Telekom Ag | Fresnel lens, lens and digital camera system |
| DE102016125377A1 (en) | 2016-12-22 | 2018-06-28 | Deutsche Telekom Ag | Refractive lens, lens and digital camera system |
| DE102016125377B4 (en) | 2016-12-22 | 2019-01-03 | Deutsche Telekom Ag | Refractive lens, lens and digital camera system |
| DE102017111023A1 (en) | 2017-05-19 | 2018-11-22 | Deutsche Telekom Ag | Digital camera system, lens and method for determining position and / or orientation |
| DE102017111023B4 (en) | 2017-05-19 | 2020-06-18 | Deutsche Telekom Ag | Digital camera system, method for determining the position and / or orientation and mobile electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102016119920B4 (en) | 2024-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1010966B1 (en) | Method for generating a three dimensional object description | |
| DE112021000243B4 (en) | METHOD, SYSTEM AND COMPUTER PROGRAM PRODUCT FOR DETERMINING CROPS TYPE AND/OR SOWING DATE | |
| EP1637838B1 (en) | Processing of remote sensing data | |
| DE102016119920B4 (en) | Method for determining the position and/or orientation of a mobile electronic device using a digital thermal imaging camera | |
| DE202014010843U1 (en) | Align ground based images with aerial images | |
| DE112016001150T5 (en) | ESTIMATION OF EXTRINSIC CAMERA PARAMETERS ON THE BASIS OF IMAGES | |
| DE202012013403U1 (en) | Capture and process adaptive images with image analysis feedback | |
| DE202010018512U1 (en) | System for displaying images based on environmental conditions | |
| DE202014010927U1 (en) | Reference point identification from point clouds created from geographic image data | |
| DE202015009182U1 (en) | Aligning panoramic and aerial photography | |
| DE102016225595A1 (en) | Method and arrangement for calibrating at least one sensor of a rail vehicle | |
| DE102008002241A1 (en) | Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances | |
| WO2014079477A1 (en) | Method for the automatic creation of two- or three-dimensional building models | |
| EP2201524A2 (en) | Method for creating and/or updating textures of background object models, video monitoring system for carrying out the method, and computer program | |
| DE102012221667A1 (en) | Apparatus and method for processing remote sensing data | |
| DE202016008004U1 (en) | Automatically associate images using visual property references to related applications | |
| DE102016109628A1 (en) | Method for determining the position and / or orientation of a mobile electronic device with the aid of a digital thermal imager | |
| AT511460B1 (en) | METHOD FOR DETERMINING THE POSITION OF AN AIRCRAFT | |
| DE102021210256A1 (en) | Measurement system and recording medium that stores a measurement program on it | |
| DE102019133515B3 (en) | Method and device for parallax determination of recordings of a multi-lens camera system | |
| DE112007001011T5 (en) | An automated process for generating a computed design of a composite camera that includes multiple digital imaging devices | |
| DE102019105015A1 (en) | Construction of formwork and scaffolding using mobile devices | |
| WO2013057192A1 (en) | Method for surveying and visually displaying the physical circumstances of a production plant | |
| CN115147549A (en) | A method of generating and updating urban 3D model based on multi-source data fusion | |
| DE102012003256A1 (en) | Method for evaluating thermographic data of spatially resolving measurement result, involves automatically determining transformation rule associated with pixels corresponding to item under test |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division | ||
| R020 | Patent grant now final |