DE102016226206A1 - System and method for acquiring measurement images of a measurement object - Google Patents

Abstract

Translated fromGerman

Die Erfindung betrifft ein System (1) zum Erfassen von Messbildern eines Messobjekts, umfassend ein mobiles elektronisches Gerät, wobei das mobile elektronische Gerät (2) umfasst:- ein Gehäuse (5),- eine in dem Gehäuse (5) integrierte Kamera (6) zum Aufnehmen von Messbildern (39) eines Messobjekts (38) innerhalb eines Beobachtungsbereichs (20) der Kamera (6),- einen in dem Gehäuse (5) integrierten Bildschirm (7) zum lichtemittierenden Anzeigen von Bildern, wobei der Bildschirm (7) dem Beobachtungsbereich (20) der Kamera (6) zugewandt ist,- eine in dem Gehäuse (5) integrierte Steuereinheit (8), die eingerichtet ist, den Bildschirm (7) des mobilen elektronischen Geräts (2) anzusteuern, mehrere verschiedene Beleuchtungsbilder (23) einer vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen, wobei die Steuereinheit (8) eingerichtet ist, die Kamera (6) des mobilen elektronischen Geräts (2) anzusteuern, synchron zum Anzeigen eines jeden Beleuchtungsbildes (23) der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild (39) von dem Messobjekt zu erfassen. Die Erfindung betrifft außerdem ein entsprechendes Verfahren und ein Computerprogrammprodukt.The invention relates to a system (1) for acquiring measurement images of a measurement object, comprising a mobile electronic device, wherein the mobile electronic device (2) comprises: a housing (5), a camera (6) integrated in the housing (5) ) for taking measurement images (39) of a measurement object (38) within an observation area (20) of the camera (6), - a screen (7) integrated in the housing (5) for light-emitting display of images, the screen (7) facing the observation area (20) of the camera (6), - a control unit (8) integrated in the housing (5) and arranged to control the screen (7) of the mobile electronic device (2), several different illumination images (23 ) of a predefined illumination sequence successively, wherein the control unit (8) is arranged to control the camera (6) of the mobile electronic device (2) in synchronism with displaying each illumination image (23) of the predefined one en illumination sequence each capture a measurement image (39) of the measurement object. The invention also relates to a corresponding method and a computer program product.

Description

Translated fromGerman

Die Erfindung betrifft ein System zum Erfassen von Messbildern eines Messobjekts sowie ein Verfahren zum Erfassen von Messbildern eines Messobjekts mittels des Systems und ein entsprechendes Computerprogrammprodukt.The invention relates to a system for acquiring measurement images of a measurement object and to a method for acquiring measurement images of a measurement object by means of the system and a corresponding computer program product.

In vielen technischen und nicht-technischen Anwendungen hängen interessierende Eigenschaften eines Objektes von der (bio-)chemischen Zusammensetzung des Objekts ab. Auch können Strukturen auf der Oberfläche des Objektes, die mit bloßem Auge nicht sichtbar sind, bestimmte Eigenschaften des Objektes beeinflussen. Für eine zufriedenstellende Beurteilung solcher Eigenschaften ist daher die optische Erfassung von Größe, Form und Farbe des Objekts oder der makroskopischen (mit bloßem Auge noch erkennbaren) Oberflächentextur des Objekts in der Regel nicht ausreichend. Exemplarisch sei die objektive Erfassung des Zustandes von Lebensmitteln im Hinblick auf Frische oder Unbehandeltheit, die verschleierte Nachbesserung von Autolacken nach Unfallschäden, aber auch das Erkennen von Fälschungen bei Dokumenten, Medikamenten oder hochwertigen Textilien genannt.In many technical and non-technical applications, interesting properties of an object depend on the (bio) chemical composition of the object. Also, structures on the surface of the object that are invisible to the naked eye may affect certain properties of the object. For a satisfactory assessment of such properties, therefore, the optical detection of the size, shape and color of the object or the macroscopic (with the naked eye still recognizable) surface texture of the object is usually not sufficient. Exemplary is the objective recording of the condition of food in terms of freshness or untreatedness, the veiled repair of car paints after accident damage, but also the detection of counterfeits in documents, drugs or high-quality textiles.

In vielen Fällen, vor allem in gewerblichen Anwendungen und in der Forschung, kommt die hyperspektrale Bilderfassung von Objekten zur Anwendung. Hierbei werden von dem Objekt hyperspektrale Messbilder erfasst, welche die spektralen Reflexionseigenschaften des Objektes ortsaufgelöst darstellen. Auf der Grundlage dieser Messbilder können die jeweils interessierenden Eigenschaften des Objektes beurteilt werden. Für die Erfassung hyperspektraler Messbilder sind zwei Ansätze bekannt. Beim ersten Ansatz wird das Objekt mit einer breitbandigen Lichtquelle beleuchtet, das reflektierte Licht über schmalbandige Frequenzfilter, Prismen oder Gitter in seine spektralen Bestandteile getrennt und mittels einer Spektralkamera einzeln abgebildet. Die breitbandige gleichmäßige Beleuchtung lässt sich großflächig künstlich realisieren oder das Tageslicht als natürliche Beleuchtung nutzen. Gemäß dem zweiten Ansatz wird dieses Prinzip umgekehrt und eine breitbandige Grauwertkamera zur Bildaufnahme verwendet und das Objekt sequenziell mit schmalbandigen Lichtquellen beleuchtet. Diese Variante wird vor allem bei kleinflächigen Objekten im Laborbereich oder der Mikroskopie angewendet. Zur Beleuchtung werden dann beispielsweise nach Spektren sortierte LEDs oder Filterräder eingesetzt.In many cases, especially in commercial applications and in research, the hyperspectral imaging of objects is used. In this case, hyperspectral measurement images are acquired by the object, which represent the spectral reflection properties of the object spatially resolved. On the basis of these measurement images, the respectively interesting properties of the object can be assessed. Two approaches are known for the acquisition of hyperspectral measurement images. In the first approach, the object is illuminated with a broadband light source, the reflected light via narrow-band frequency filters, prisms or grids separated into its spectral components and individually imaged by means of a spectral camera. The broadband uniform illumination can be realized over a large area artificially or use daylight as natural lighting. According to the second approach, this principle is reversed and a broadband gray scale camera used for image acquisition and the object illuminated sequentially with narrow-band light sources. This variant is mainly used for small-scale objects in the laboratory or microscopy. For illumination then sorted by spectra LEDs or filter wheels are then used.

Ein Nachteil der bekannten Verfahren zur Erfassung hyperspektraler Messbilder eines Objekts sind insbesondere die hohen Kosten für die hierfür benötigten Geräte, bei denen es sich in der Regel um komplexe Labormessgeräte handelt, und die in vielen Fällen für bestimmte Anwendungen eingerichtet und optimiert sind. Diesen Nachteil haben auch viele andere Verfahren, mit denen Messbilder von zu untersuchenden Objekten erfasst werden. Viele technisch geeignete Verfahren lassen sich daher in der Praxis oftmals nicht wirtschaftlich sinnvoll umsetzen, insbesondere im Bereich des Konsumenten. Weitere Nachteile vieler bekannter Verfahren zum Erfassen von Messbildern von zu untersuchenden Objekte ist außerdem der hohe zeitliche Aufwand oder die Erfordernis technischen Spezialwissens bei der Bedienung der Geräte bzw. bei der Durchführung der Verfahren.A disadvantage of the known methods for acquiring hyperspectral measurement images of an object are, in particular, the high costs for the devices required for this, which are usually complex laboratory measuring devices, and which in many cases are set up and optimized for specific applications. This disadvantage also has many other methods by which measurement images of objects to be examined are detected. Many technically suitable methods can therefore often not be implemented economically in practice, in particular in the area of the consumer. Further disadvantages of many known methods for acquiring measurement images of objects to be examined is also the high expenditure of time or the requirement of special technical knowledge in the operation of the devices or in the implementation of the method.

Es stellt sich somit die Aufgabe, ein System zum Erfassen von Messbildern eines zu untersuchenden Objektes, welches auch als Messobjekt bezeichnet wird, vorzuschlagen, das möglichst kostengünstig, möglichst einfach bedienbar und möglichst flexibel einsetzbar ist. Die Messbilder sollen aber dennoch eine möglichst gute Beurteilung interessierender Eigenschaften des Objekts erlauben. Außerdem soll ein Verfahren zum Erfassen entsprechender Messbilder vorgeschlagen werden, das möglichst einfach und möglichst kostengünstig durchgeführt werden kann und flexibel einsetzbar ist. Schließlich soll ein entsprechendes Computerprogrammprodukt vorgeschlagen werden, dass direkt in einen internen Speicher des vorgeschlagenen Systems geladen werden kann, und Softwarecode umfasst, mit denen die Schritte des vorgeschlagenen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem System läuft.It is therefore the task of proposing a system for acquiring measurement images of an object to be examined, which is also referred to as a measurement object, which is as cost-effective as possible, easy to use and as flexible as possible. Nevertheless, the measurement images should allow the best possible evaluation of interesting properties of the object. In addition, a method for detecting corresponding measurement images is to be proposed, which can be carried out as simply and inexpensively as possible and can be used flexibly. Finally, a corresponding computer program product is to be proposed which can be loaded directly into an internal memory of the proposed system and software code with which the steps of the proposed method are executed when the computer program product runs on the system.

Diese Aufgabe wird gelöst durch ein System gemäß dem Hauptanspruch sowie durch ein Verfahren und ein Computerprogrammprodukt gemäß den nebengeordneten Patentansprüchen. Weiterentwicklungen und besondere Ausführungsbeispiele ergeben sich aus den abhängigen Ansprüchen, aus der nachfolgenden Beschreibung und aus den Figuren.This object is achieved by a system according to the main claim and by a method and a computer program product according to the independent claims. Further developments and particular embodiments will become apparent from the dependent claims, from the following description and from the figures.

Das vorgeschlagene System zum Erfassen von Messbildern eines Messobjekts umfasst somit mindestens ein mobiles elektronisches Gerät, wie beispielsweise ein Smartphone oder einen Tablet-Computer oder einen anderen (digitalen) Computer. Das (mindestens eine) mobile elektronische Gerät, das im Folgenden oftmals auch einfach als das „Gerät“ bezeichnet wird, umfasst (jeweils):

• - ein Gehäuse,
• - eine in dem Gehäuse integrierte Kamera zum Aufnehmen von Messbildern eines Messobjekts innerhalb eines Beobachtungsbereichs der Kamera, also eines mittels der Kamera erfassbaren Raumbereichs,
• - einen in dem Gehäuse integrierten Bildschirm zum lichtemittierenden Anzeigen von Bildern, wobei der Bildschirm dem Beobachtungsbereich der Kamera zugewandt ist,
• - eine in dem Gehäuse integrierte Steuereinheit, die eingerichtet ist, den Bildschirm des mobilen elektronischen Geräts anzusteuern, mehrere verschiedene Beleuchtungsbilder einer vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen, wobei die Steuereinheit eingerichtet ist, die Kamera des mobilen elektronischen Geräts anzusteuern, synchron zum Anzeigen eines jeden

The proposed system for acquiring measurement images of a measurement object thus comprises at least one mobile electronic device, such as a smartphone or a tablet computer or another (digital) computer. The (at least one) mobile electronic device, which is often referred to simply as the "device" hereinafter, includes (respectively):

• - a housing,
• a camera integrated in the housing for recording measurement images of a measurement object within an observation region of the camera, that is to say a spatial region which can be detected by means of the camera,
• a screen integrated in the housing for the light-emitting display of images, the screen facing the observation area of the camera,
• a control unit integrated in the housing and arranged to control the screen of the mobile electronic device to sequentially display a plurality of different illumination images of a predefined illumination sequence, the control unit being adapted to control the camera of the mobile electronic device synchronously with displaying each one

Beleuchtungsbildes der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild von dem Messobjekt zu erfassen.Illumination image of the predefined illumination sequence to capture a respective measurement image of the measurement object.

Das vorgeschlagene Verfahren zum Erfassen von Messbildern eines Messobjekts kann mit dem hier vorgeschlagenen System durchgeführt werden und umfasst die Schritte:

• - Ansteuern des Bildschirms des mobilen elektronischen Geräts mittels der Steuereinheit, mehrere verschiedene Beleuchtungsbilder der vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen,
• - Ansteuern der Kamera des mobilen elektronischen Geräts, synchron zum Anzeigen eines jeden Beleuchtungsbildes der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild von dem Messobjekt zu erfassen.

The proposed method for acquiring measurement images of a measurement object can be carried out with the system proposed here and comprises the steps:

• Driving the screen of the mobile electronic device by means of the control unit to display a plurality of different illumination images of the predefined illumination sequence one after the other,
• - Driving the camera of the mobile electronic device, synchronously to display each illumination image of the predefined illumination sequence to capture a respective measurement image of the measurement object.

Das elektronische mobile Gerät umfasst typischerweise mindestens einen internen Datenspeicher, der in das Gehäuse des Geräts integriert ist. Der interne Datenspeicher ist typischerweise ein volatiler oder nicht-volatiler Datenspeicher oder eine Kombination hiervon, beispielsweise ein RAM, ein ROM, ein Festplattenlaufwerk oder ein Solid-State-Drive (Halbleiterlaufwerk) oder eine Kombination hiervon.The electronic mobile device typically includes at least one internal data memory integrated with the device's housing. The internal data store is typically a volatile or non-volatile data store or a combination thereof, for example a RAM, a ROM, a hard disk drive or a solid state drive (semiconductor drive) or a combination thereof.

Das vorgeschlagene Computerprogrammprodukt kann direkt in den internen Datenspeicher des Geräts geladen werden. Das Computerprogrammprodukt umfasst Softwarecodeabschnitte, mit denen zumindest die oben genannten Schritte des vorgeschlagenen Verfahrens (und gegebenenfalls weitere Schritte des Verfahrens) ausgeführt werden, wenn das Computerprogrammprodukt auf dem mobilen elektronischen Gerät geladen ist und läuft.The proposed computer program product can be loaded directly into the internal data memory of the device. The computer program product comprises software code sections with which at least the above-mentioned steps of the proposed method (and optionally further steps of the method) are executed when the computer program product is loaded and running on the mobile electronic device.

Bei dem Computerprogrammprodukt handelt es sich beispielsweise um ein auf einem Datenspeicher („Träger“) gespeichertes Computerprogramm. Bei dem Datenspeicher handelt es sich beispielsweise um eine Computerhardware, wie beispielsweise einen volatilen oder nicht-volatilen Datenspeicher, beispielsweise um den genannten internen Datenspeicher des Geräts oder um einen weiteren Datenspeicher des Systems außerhalb des mobilen elektronischen Geräts, beispielsweise um einen Datenspeicher eines Computers wie beispielsweise eines Computerservers. Der Computer bzw. Computerserver kann beispielsweise eine weitere Komponente des Systems sein. Als möglicher (weiterer) Datenspeicher kommt beispielsweise ein RAM, ein ROM, ein Festplattenlaufwerk oder ein Solid-State-Drive oder Kombinationen hieraus in Frage oder aber auch eine CD, eine DVD oder ein USB-Stick.The computer program product is, for example, a computer program stored on a data memory ("carrier"). The data store is, for example, a computer hardware, such as a volatile or non-volatile data storage, for example, the said internal data memory of the device or another data storage of the system outside of the mobile electronic device, such as a data memory of a computer such as a computer server. For example, the computer or computer server may be another component of the system. As a possible (further) data storage is for example a RAM, a ROM, a hard disk drive or a solid-state drive or combinations thereof in question or even a CD, a DVD or a USB stick.

Das Gerät umfasst typischerweise mindestens einen (digitalen) Prozessor, zum Beispiel mindestens einen Hauptprozessor (CPU), welcher selbst beispielsweise eine oder mehrere integrierte Einheiten (Coprozessoren) aufweisen kann, wie beispielsweise einen Grafikprozessor. Der Prozessor kann beispielsweise in Form eines elektronischen Schaltkreises realisiert sein, beispielsweise als ein Halbleiterchip. Die oben genannte Steuereinheit des Geräts kann eine (logische oder integrierte) Einheit des Prozessors sein. Der Prozessor ist beispielsweise mit dem internen Datenspeicher des Geräts verbunden, um auf den Datenspeicher zuzugreifen, insbesondere um das in den internen Datenspeicher geladene Computerprogrammprodukt bzw. dessen geladenen Softwarecodeabschnitte abzurufen und anschließend (als Steuereinheit des Geräts) die oben genannten Schritte des Verfahrens (synchrones Ansteuern von Bildschirm und Kamera) auszuführen. Die jeweiligen Schritte des vorgeschlagenen Verfahrens können beispielweise in Form von Anweisungen in den Softwarecodeabschnitten codiert sein, die mittels des Prozessors des Geräts ausführbar sind. Bei der Ausführung dieser Anweisungen fungiert der Prozessor dann beispielsweise als die genannte Steuereinheit des Geräts.The device typically includes at least one (digital) processor, for example at least one main processor (CPU), which itself may, for example, comprise one or more integrated units (coprocessors), such as a graphics processor. The processor may, for example, be realized in the form of an electronic circuit, for example as a semiconductor chip. The above-mentioned control unit of the apparatus may be a (logical or integrated) unit of the processor. The processor is connected, for example, to the internal data memory of the device in order to access the data memory, in particular in order to retrieve the computer program product loaded in the internal data memory or its loaded software code sections and subsequently (as control unit of the device) the above-mentioned steps of the method (synchronous activation from the screen and the camera). The respective steps of the proposed method may, for example, be coded in the form of instructions in the software code sections that can be executed by means of the processor of the device. When executing these instructions, the processor then functions, for example, as the named control unit of the device.

Das vorgeschlagene Verfahren kann weitere Schritte umfassen, die weiter unten näher beschrieben werden. Die Steuereinheit des Geräts kann zur Ausführung dieser weiteren Verfahrensschritte eingerichtet sein. Entsprechend kann auch das Computerprogrammprodukt weitere Softwarecodeabschnitte enthalten, in denen entsprechende weitere Anweisungen codiert sein können, die mittels des Prozessors des Geräts ausgeführt werden können. Bei der Ausführung dieser weiteren Anweisungen fungiert der Prozessor dann beispielsweise wiederum als die genannte Steuereinheit des Geräts oder als eine weitere Einheit des Geräts, beispielsweise als eine Auswerteeinheit des Geräts. Alternativ können die weiteren Verfahrensschritte auch mittels anderer Komponenten des Systems ausgeführt werden. Beispielsweise kann die Auswerteeinheit extern des mobilen elektronischen Geräts angeordnet sein. Bei der Auswerteeinheit kann es sich daher beispielsweise auch um einen entsprechend eingerichteten Computer, beispielsweise einen Computerserver eines Computernetzwerkes, handeln oder um eine (logische oder integrierte) Einheit eines Prozessors des Computers. Es sind auch Mischformen möglich, in denen die Auswerteinheit auf mehrere Komponenten des Systems verteilt ist und sowohl durch (logische oder integrierte) Einheiten mehrerer Prozessoren gebildet ist, beispielsweise des Prozessors des Geräts und eines Prozessors des genannten Computers bzw. Computerservers.The proposed method may include further steps, which will be described in more detail below. The control unit of the device can be set up to carry out these further method steps be. Accordingly, the computer program product may also contain further software code sections in which corresponding further instructions that can be executed by means of the processor of the device can be coded. In the execution of these further instructions, the processor then acts, for example, again as the said control unit of the device or as a further unit of the device, for example as an evaluation unit of the device. Alternatively, the further method steps can also be carried out by means of other components of the system. For example, the evaluation unit can be arranged externally of the mobile electronic device. The evaluation unit can therefore also be, for example, a suitably equipped computer, for example a computer server of a computer network, or a (logical or integrated) unit of a processor of the computer. Mixed forms are also possible in which the evaluation unit is distributed over several components of the system and is formed both by (logical or integrated) units of several processors, for example the processor of the device and a processor of said computer or computer server.

In manchen Ausführungsbeispielen ist das Verfahren also mittels des mobilen elektronischen Geräts alleine vollständig durchführbar. In anderen Ausführungsbeispielen wird das Verfahren teilweise auch mittels anderer Komponenten des Systems durchgeführt, beispielsweise mittels eines oder mehreren Computern, wobei die Kommunikation und Datenübertragung zwischen dem Gerät und den anderen Komponenten beispielsweise über das Internet erfolgen kann.In some embodiments, therefore, the method is completely feasible by means of the mobile electronic device alone. In other embodiments, the method is also partly performed by means of other components of the system, for example by means of one or more computers, wherein the communication and data transmission between the device and the other components can take place, for example via the Internet.

Sofern im Folgenden oder in den Ansprüchen das „Eingerichtetsein“ der Steuereinheit oder der Auswerteeinheit zur Durchführung weiterer Operationen beschrieben ist, so sind diese Operationen auch als mögliche (optionale) Schritte des vorgeschlagenen Verfahrens zu verstehen. Entsprechend kann auch das Computerprogrammprodukt Softwarecodeabschnitte umfassen, in denen Anweisungen zum Ausführen dieser weiteren Operationen kodiert sind, beispielsweise zum Ausführen durch den Prozessor des Geräts oder einer anderen Komponente des Systems. Sofern im Folgenden umgekehrt beschrieben wird, das Verfahrensschritte mittels einer Komponente des Systems ausgeführt werden können, wie beispielsweise mittels der Steuereinheit, der Auswerteeinheit oder einer anderen Komponente, dann wird dadurch auch ein entsprechendes „Eingerichtetsein“ der jeweiligen Komponenten impliziert. Dieses „Eingerichtetsein“ kann beispielsweise wiederum durch Laden des entsprechend ausgestalteten Computerprogrammprodukts, beispielsweise auf das Gerät oder den genannten weiteren Computer des Systems, ermöglicht werden.If the "configuration" of the control unit or the evaluation unit for carrying out further operations is described below or in the claims, these operations are also to be understood as possible (optional) steps of the proposed method. Accordingly, the computer program product may also comprise software code portions in which instructions are encoded for performing such further operations, for example, for execution by the processor of the apparatus or other component of the system. If, conversely, it is described below that the method steps can be performed by means of a component of the system, for example by means of the control unit, the evaluation unit or another component, this also implies a corresponding "set-up" of the respective components. This "set-up" can in turn be made possible, for example, by loading the correspondingly designed computer program product, for example onto the device or the said further computer of the system.

Die vordefinierte Beleuchtungsbildfolge ist typischerweise durch Beleuchtungsparameter teilweise oder vorzugsweise vollständig definiert. Konkrete Beispiele für Beleuchtungsparameter werden weiter unten beschrieben. Die Beleuchtungsparameter sind typischerweise auf mindestens einem Datenspeicher des Systems gespeichert, beispielsweise auf dem internen Datenspeicher des mobilen elektronischen Geräts und/oder auf einem Datenspeicher einer anderen Komponente des Systems, beispielsweise des genannten Computers. Beispielsweise kann durch das Laden des Computerprogrammprodukts auf das Gerät eine automatische Speicherung der Beleuchtungsparameter auf dem internen Speicher des Geräts erfolgen. Beispielsweise kann der Softwarecode des Computerprogrammprodukts Definitionen und/oder Werte der Beleuchtungsparameter beinhalten. Die Steuereinheit des mobilen elektronischen Geräts kann eingerichtet sein, die in dem mindestens einen Datenspeicher gespeicherte Beleuchtungsparameter aus dem Datenspeicher abzurufen und auf der Grundlage der abgerufenen Beleuchtungsparameter die vordefinierte Beleuchtungsbildfolge zu ermitteln. Typischerweise steuert die Steuereinheit erst danach den Bildschirm zum Anzeigen der Beleuchtungsbilder der so ermittelten vordefinierten Beleuchtungsbildfolge an und synchron hierzu die Kamera zum Aufnehmen der Messbilder an.The predefined illumination sequence is typically partially or preferably completely defined by illumination parameters. Specific examples of lighting parameters will be described below. The illumination parameters are typically stored on at least one data memory of the system, for example on the internal data memory of the mobile electronic device and / or on a data memory of another component of the system, for example of said computer. For example, by loading the computer program product onto the device, the illumination parameters can be automatically stored on the internal memory of the device. For example, the software code of the computer program product may include definitions and / or values of the illumination parameters. The control unit of the mobile electronic device can be set up to retrieve the illumination parameters stored in the at least one data memory from the data memory and to determine the predefined illumination sequence on the basis of the retrieved illumination parameters. The control unit then typically activates the screen for displaying the illumination images of the predefined illumination sequence determined in this way, and synchronously for this purpose the camera for recording the measurement images.

Das mobile elektronische Gerät kann eine Benutzerschnittstelle aufweisen, mit Hilfe derer das Gerät bedient werden kann, beispielsweise um das vorgeschlagene Verfahren durchzuführen. Beispielsweise kann über die Benutzerschnittstelle die vordefinierte Beleuchtungsbildfolge einstellbar oder zumindest beeinflussbar sein, beispielsweise durch Einstellen oder Verändern mindestens eines der Beleuchtungsparameter. Zusätzlich oder alternativ kann mittels der Benutzerschnittstelle eine Auswahl zwischen verschiedenen (gespeicherten) vordefinierten Beleuchtungsbildfolgen ermöglicht sein, wobei sich die Beleuchtungsbildfolgen beispielsweise durch einen oder mehrere Beleuchtungsparameter voneinander unterscheiden. Zusätzlich oder alternativ ist es außerdem möglich, dass mittels der Benutzerschnittstelle die Art des zu untersuchenden Messobjekts eingegeben werden kann. Neben einer solchen Eingabe können mittels der Benutzerschnittstellen weitere Eingaben ermöglicht sein, beispielsweise eine Auswahl interessierender Eigenschaften des jeweils ausgewählten Messobjekts. Von derartigen Eingaben über die Benutzerschnittstelle kann neben der Definition der Beleuchtungsbildfolge auch die nachfolgende Auswertung der Messbilder abhängen. Beispielsweise können die Eingaben auch von einer Auswerteeinheit des Systems berücksichtigt werden, wie weiter unten beschrieben wird.The mobile electronic device may include a user interface by means of which the device can be operated, for example to perform the proposed method. For example, the predefined lighting image sequence can be adjustable or at least influenced via the user interface, for example by setting or changing at least one of the lighting parameters. Additionally or alternatively, a selection between different (stored) predefined illumination image sequences can be made possible by means of the user interface, wherein the illumination image sequences differ from one another, for example, by one or more illumination parameters. Additionally or alternatively, it is also possible that the type of the test object to be examined can be input by means of the user interface. In addition to such an input, further inputs can be made possible by means of the user interfaces, for example a selection of properties of interest of the respectively selected measurement object. From such inputs via the user interface, in addition to the definition of the illumination sequence, the subsequent evaluation of the measurement images may also depend. For example, the inputs can also be taken into account by an evaluation unit of the system, as described below.

Der Bildschirm kann als ein Touchscreen ausgestaltet sein und somit als die genannte Benutzerschnittstelle des Geräts dienen, beispielsweise über die Darstellung einer graphischen Nutzeroberfläche mit auf dem Touchscreen dargestellten Eingabefeldern. The screen can be configured as a touchscreen and thus serve as the device's user interface, for example via the representation of a graphical user interface with input fields displayed on the touchscreen.

Die Benutzerschnittstelle kann außerdem eingerichtet sein, eine Warnmeldung auszugeben, beispielsweise wenn Umgebungslichteinflüsse als zu groß beurteilt werden oder falls eine durchgeführte Bildregistrierung der Messbilder oder eine Objekterkennung nicht erfolgreich durchgeführt werden konnte.The user interface may also be configured to issue a warning message, for example, when ambient light effects are judged to be too large or when performed image registration of the measurement images or object recognition could not be successfully performed.

Die Benutzerschnittstelle kann ein Vibrationsmodul des Geräts beinhalten, welches beispielsweise die genannten Warnmeldungen erzeugen kann. Weitere Benutzerschnittstellen können beispielsweise mittels weiterer kommunizierender Geräte mit Display realisiert werden, wie zum Beispiel Smartwatches und Head-Mounted Displays.The user interface may include a vibration module of the device, which may, for example, generate the mentioned warning messages. Other user interfaces can be realized for example by means of other communicating devices with display, such as smartwatches and head-mounted displays.

Der mindestens eine interne Datenspeicher des Geräts oder ein externer Datenspeicher, beispielsweise des genannten weiteren Computers, kann zum (Zwischen-)Speichern der aufgenommenen Messbilder dienen. Entsprechend kann die Steuereinheit eingerichtet sein, eine Übertragung der aufgenommenen Messbilder auf diesen mindestens einen Datenspeicher durchzuführen oder zu initiieren.The at least one internal data memory of the device or an external data memory, for example of said additional computer, can be used for (intermediate) storage of the recorded measurement images. Accordingly, the control unit may be configured to perform or initiate a transmission of the recorded measurement images to this at least one data memory.

Außerdem kann die Steuereinheit eingerichtet sein, den Bildschirm anzusteuern, die aufgenommenen Messbilder anzuzeigen, beispielsweise automatisch nach dem Aufnehmen der Messbilder. Beispielsweise können mittels des Bildschirms beispielsweise Messergebnisse auf dem Bildschirm während oder unmittelbar nach der Messung auf dem Bildschirm des Geräts angezeigt werden und beispielsweise ein aufgenommenes Bild des Messobjekts oder ein momentanes Live-Bild der Kamera auf dem Bildschirm überlagern, um auf diese Weise beispielsweise Augmented-Reality-Techniken umzusetzen.In addition, the control unit can be set up to control the screen, to display the recorded measurement images, for example automatically after taking the measurement images. For example, by means of the screen, for example, measurement results on the screen during or immediately after the measurement can be displayed on the screen of the device and superimposed on the screen, for example, a recorded image of the measurement object or an instantaneous live image of the camera, in this way, for example, augmented Implement reality techniques.

Auf dem mindestens einen internen Datenspeicher des Geräts kann beispielsweise auch ein Betriebssystem des Geräts installiert sein, wie beispielsweise iOS, Android, Windows, Linux, Blackberry OS oder ein anderes Betriebssystem, sowie typischerweise weitere Anwendungsprogramme, wie beispielsweise ein Internetbrowser und/oder eine App-Store-Anwendung. Über die App-Store-Anwendung kann beispielsweise eine (Internet-)Verbindung des Geräts zu einem App-Store, also einer internetbasierten digitalen Vertriebsplattform für Anwendungssoftware, herstellbar sein, wie beispielsweise App Store von Apple oder Play Store von Google. In einem Ausführungsbeispiel ist das Computerprogrammprodukt als eine App über diese App-Store-Anwendung auf den internen Datenspeicher des Geräts ladbar und wird dort beispielsweise dauerhaft (beispielsweise bis zu einem von dem Nutzer initiierten und/oder bestätigten Löschvorgang) gespeichert. Eine weitere Möglichkeit ist, das Computerprogrammprodukt bzw. die App direkt (z.B. per USB-Kabel) auf das Gerät, insbesondere das Smartphone, zu kopieren, sofern dies durch das jeweilige Betriebssystem nicht blockiert wird. In einem weiteren Ausführungsbeispiel ist das Computerprogrammprodukt als eine Web-App über den Internet-Browser des Geräts von einer Internet-Seite eines Providers auf den internen Speicher des Geräts ladbar. Die Web-App wird beispielsweise temporär (beispielsweise nur für einen vordefinierten Zeitraum oder nur für eine vordefinierte Anzahl von Durchführungen des Verfahrens) auf dem internen Speicher gespeichert und anschließend automatisch wieder vom internen Speicher des Geräts gelöscht. In allen Fällen aber ist das Computerprogrammprodukt vorzugsweise direkt nach dem Laden in den internen Speicher des Geräts auf dem Gerät lauffähig und für einen Nutzer für die Durchführung des Verfahrens verwendbar.On the at least one internal data memory of the device, for example, an operating system of the device can be installed, such as iOS, Android, Windows, Linux, Blackberry OS or another operating system, and typically other application programs, such as an Internet browser and / or App Store application. For example, the App Store application can be used to connect (device) the device to an App Store, an Internet-based digital distribution platform for application software, such as Apple's App Store or Google's Play Store. In one embodiment, the computer program product is loadable as an app via this app store application to the internal data memory of the device and is stored there, for example, permanently (for example, up to an erase process initiated and / or confirmed by the user). Another possibility is to copy the computer program product or the app directly (for example via USB cable) to the device, in particular the smartphone, if this is not blocked by the respective operating system. In another embodiment, the computer program product is loadable as a web app via the internet browser of the device from an internet site of a provider to the internal memory of the device. For example, the web app is temporarily stored on internal storage (for example, only for a predefined period of time or just for a predefined number of process executions) and then automatically deleted from the device's internal storage. In all cases, however, the computer program product is preferably executable on the device directly after being loaded into the internal memory of the device and can be used by a user to carry out the method.

Das Gerät umfasst typischerweise einen oder mehrere kabelgebundene oder vorzugsweise drahtlose Datenschnittstellen, wie beispielsweise mindestens eine Funkschnittstelle, um das Gerät beispielsweise mit dem Internet oder möglichen weiteren Komponenten des Systems, wie beispielsweise einem oder mehreren Computerservern, verbinden zu können, beispielsweise über das Internet.The device typically includes one or more wired or preferably wireless data interfaces, such as at least one radio interface, for example, to connect the device to the Internet or possible other components of the system, such as one or more computer servers, such as the Internet.

Das mobile (portable) elektronische Gerät ist möglichst leicht, um von einem Nutzer (insbesondere während der oben genannten Verfahrensschritte, also während der Anzeige der Beleuchtungsbilder und der Erfassung der Messbilder) bequem mit zwei Händen oder vorzugsweise mit nur einer Hand in einer geeigneten Position relativ zum Messobjekt ausgerichtet und gehalten werden zu können. Das Gerät wiegt daher vorzugsweise weniger als 3 kg, weniger als 2 kg oder weniger als 1 kg. Eine maximale Kantenlänge des Gehäuses beträgt typischerweise nicht mehr als 30 cm, typischerweise weniger als 25 cm oder weniger als 20 cm. Beispielsweise kann das Gehäuse im Wesentlichen quaderförmig ausgestaltet sein. Eine minimale Kantenlänge beträgt typischerweise weniger als 5 cm, vorzugsweise weniger als 2 cm.The mobile (portable) electronic device is as light as possible to be relatively easy by a user (especially during the above method steps, ie during the display of the illumination images and the acquisition of the measurement images) with two hands or preferably with only one hand in a suitable position to be aligned and held to the measurement object. The device therefore preferably weighs less than 3 kg, less than 2 kg or less than 1 kg. A maximum edge length of the housing is typically no more than 30 cm, typically less than 25 cm or less than 20 cm. For example, the housing may be designed substantially cuboid. A minimum edge length is typically less than 5 cm, preferably less than 2 cm.

Die Kamera umfasst in der Regel ein Objektiv, das auf einer Vorderseite des Gehäuses angeordnet ist und den Beobachtungsbereich der Kamera definiert. Der Bildschirm ist dann typischerweise ebenfalls auf der Vorderseite des Gehäuses angeordnet. Die Kamera (zumindest das Objekt der Kamera) und der Bildschirm sind typischerweise auf der gleichen Seite des Gehäuses angeordnet bzw. von der gleichen Seite des Gehäuses aus sichtbar. Die Kamera umfasst typischerweise außerdem einen Bildsensor, beispielsweise einen lichtempfindlichen Halbleiterchip, wie beispielsweise ein CCD - oder CMOS-Sensor oder einen InGAs-Sensor.The camera typically includes a lens that is disposed on a front of the housing and defines the viewing area of the camera. The screen is then typically also on the screen Front of the housing arranged. The camera (at least the object of the camera) and the screen are typically arranged on the same side of the housing or visible from the same side of the housing. The camera also typically includes an image sensor, such as a photosensitive semiconductor chip, such as a CCD or CMOS sensor or an InGAs sensor.

Ferner kann das Gerät einen Lautsprecher und einen Mikrophon umfassen, um beispielsweise mittels einer in dem internen Speicher installierten Telefonie-Anwendung Telefonate über ein mobiles Funktelefonnetz oder über das Internet zu ermöglichen. Außerdem kann das Gerät einen (wiederaufladbaren) Energiespeicher umfassen zum Versorgen des Geräts mit elektrischer Energie, insbesondere des Bildschirms, der Kamera und der Steuereinheit des Geräts.Further, the apparatus may include a speaker and a microphone to enable telephone calls over a mobile cellular telephone network or over the Internet, for example, by means of a telephony application installed in the internal memory. In addition, the device may comprise a (rechargeable) energy store for supplying the device with electrical energy, in particular the screen, the camera and the control unit of the device.

Bei der Durchführung des Verfahrens mittels des Systems emittiert der Bildschirm des Geräts während des Anzeigens der Beleuchtungsbilder Licht. Dadurch, dass der Bildschirm dem Beobachtungsbereich der Kamera zugewandt ist, kann ein in dem Beobachtungsbereich der Kamera angeordnetes Messobjekt somit mittels des Bildschirms beleuchtet werden. Hierbei trifft von dem Bildschirm das beim Anzeigen der Beleuchtungsbilder emittierte Licht auf das Messobjekt, wird an dem Messobjekt reflektiert und von der Kamera erfasst. Hierbei tritt das reflektierte Licht typischerweise durch das Objektiv der Kamera in die Kamera ein und wird auf dem Bildsensor der Kamera abgebildet.In performing the method by the system, the screen of the device emits light while displaying the illumination images. Due to the fact that the screen faces the observation area of the camera, a measurement object arranged in the observation area of the camera can thus be illuminated by means of the screen. In this case, the light emitted when displaying the illumination images impinges on the measurement object from the screen, is reflected at the measurement object and detected by the camera. In this case, the reflected light typically enters the camera through the lens of the camera and is imaged on the image sensor of the camera.

Der Bildsensor der Kamera weist typischerweise eine Vielzahl in einem Gesamtraster angeordneter Sensoreinheiten auf. Jede der Sensoreinheiten kann ein oder mehrere Sensorelemente des Bildsensors aufweisen. Beispielsweise entspricht jede Sensoreinheit einem Bildpunkt (Pixel) eines mittels der Kamera erfassten Messbildes. Die Positionen der Sensoreinheiten und ihrer Sensorelemente innerhalb des Bildsensors sind durch zwei Sensorkoordinaten (XY) der jeweiligen Sensoreinheit definiert.The image sensor of the camera typically has a multiplicity of sensor units arranged in a total grid. Each of the sensor units may comprise one or more sensor elements of the image sensor. For example, each sensor unit corresponds to a pixel (pixel) of a captured by the camera measurement image. The positions of the sensor units and their sensor elements within the image sensor are defined by two sensor coordinates (XY) of the respective sensor unit.

Jedes der Messbilder umfasst somit ebenfalls eine Vielzahl in einem Gesamtraster angeordneter Bildpunkte (Pixel), die den Sensoreinheiten des Bildsensors zugeordnet sind und deren Positionen innerhalb des jeweiligen Messbildes durch zwei Bildkoordinaten (XY) definiert sind, die den Sensorkoordinaten der jeweiligen Sensoreinheiten typischerweise entsprechen. Die Messbilder beinhalten außerdem Bilddaten, in denen Bildinformationen kodiert sind. In den Bilddaten sind beispielsweise Helligkeitswerte der jeweiligen Bildpunkte der Messbilder kodiert. Die Helligkeitswerte der Bildpunkte der Messbilder sind typischerweise vom Ladungs- oder Entladungszustand von lichtempfindlichen Sensorelementen der Sensoreinheiten beim Erfassens des jeweiligen Messbildes abhängig.Each of the measurement images thus likewise comprises a multiplicity of pixels arranged in a total grid (pixels) which are assigned to the sensor units of the image sensor and whose positions within the respective measurement image are defined by two image coordinates (XY) which typically correspond to the sensor coordinates of the respective sensor units. The measurement images also contain image data in which image information is encoded. For example, brightness values of the respective pixels of the measurement images are encoded in the image data. The brightness values of the pixels of the measurement images are typically dependent on the charge or discharge state of photosensitive sensor elements of the sensor units when the respective measurement image is acquired.

Aufgrund der Unterschiedlichkeit der Beleuchtungsbilder enthalten verschiedene Messbilder unterschiedliche Informationen über das Messobjekt. Beispielsweise können sich die Beleuchtungsbilder durch die spektrale Zusammensetzung des Lichts, das bei ihrer Anzeige vom Bildschirm emittiert wird, voneinander unterscheiden. Alternativ oder zusätzlich ist es möglich, dass die Beleuchtungsbilder in unterschiedlichen Bereichen des Bildschirms angeordnet sind, so dass das Messobjekt aus Sicht der Kamera aus unterschiedlichen Richtungen beleuchtet wird.Due to the diversity of the illumination images, different measurement images contain different information about the measurement object. For example, the illumination images may differ from one another by the spectral composition of the light emitted from the screen when displayed. Alternatively or additionally, it is possible for the illumination images to be arranged in different regions of the screen, so that the measurement object is illuminated from different directions from the perspective of the camera.

Somit ist es vorteilhafterweise möglich, aus den jeweils aufgenommenen Messbildern unterschiedliche Informationen über die Reflexionseigenschaften oder andere Eigenschaften des Messobjekts zu gewinnen. Zudem kann der Informationsgehalt der Messbilder durch ein Verändern der Beleuchtungsbildfolge sehr einfach beeinflusst werden.Thus, it is advantageously possible to obtain different information about the reflection properties or other properties of the measurement object from the respectively recorded measurement images. In addition, the information content of the measurement images can be influenced very easily by changing the illumination sequence.

Ein weiterer wichtiger Vorteil besteht darin, dass das mobile elektronische Gerät beispielsweise ein Smartphone, eine Tablet-Computer („Tablet“), ein Laptop oder ein ähnlich verbreitetes mobiles elektronisches Gerät sein kann. Vorteilhafterweise ist es für den Nutzer/Konsumenten sehr einfach, ein solches handelsübliches Gerät für die Durchführung des vorgeschlagenen Verfahrens zu konfigurieren, beispielsweise nämlich einfach dadurch, dass der Nutzer/Konsument das vorgeschlagene Computerprogrammprodukt auf das Gerät lädt, beispielsweise von einem App-Store oder von einer Web-Site eines Anbieters des Computerprogrammprodukts, wie oben beschrieben. Somit sind das System und das Verfahren im Vergleich zu vielen herkömmlichen Messgeräten sehr kostengünstig, über die Beleuchtungsbildfolge sehr variabel konfigurierbar und zudem für viele Nutzer intuitiv anwendbar bzw. durchführbar. Ein weiterer Vorteil gegenüber bekannten Systemen ist, dass das mobile elektronische Gerät nicht mit weiterer (externer) optischer Hardware nachgerüstet werden muss.Another important advantage is that the mobile electronic device may be, for example, a smartphone, a tablet computer, a laptop, or a similar mobile electronic device. Advantageously, it is very easy for the user / consumer to configure such a commercially available device for carrying out the proposed method, for example simply by the user / consumer downloading the proposed computer program product to the device, for example from an app store or from a Web site of a provider of the computer program product as described above. Thus, the system and the method compared to many conventional measuring devices are very cost-effective, highly variable configurable on the illumination sequence and also for many users intuitively applicable or feasible. Another advantage over known systems is that the mobile electronic device does not need to be retrofitted with additional (external) optical hardware.

Vor der Aufnahme der Messbilder kann vorgesehen sein, dass Vorverarbeitungsschritte, die durch die Kamera automatisch durchgeführt werden können, ausgeschaltet oder deaktiviert werden. Beispielsweise kann vorgesehen sein, dass eine durch die Kamera automatisch vorgenommene Einstellung einer Farbtemperatur der aufgenommenen Bilder ausgeschaltet wird oder dass die Farbtemperatur beispielsweise auf einen festen Wert gesetzt und anschließend bei der Auswertung der Messbilder berücksichtigt wird. Entsprechendes gilt für automatische Einstellungen anderer Aufnahmeparameter der Kamera, wie beispielsweise Empfindlichkeit, Belichtungszeit und Weißabgleich.Before the acquisition of the measurement images it can be provided that preprocessing steps that can be automatically performed by the camera are switched off or deactivated. For example, can be provided that an automatically made by the camera setting a color temperature of the recorded images is turned off or that the color temperature, for example, set to a fixed value and then taken into account in the evaluation of the measurement images. The same applies to automatic settings of other recording parameters of the camera, such as sensitivity, exposure time and white balance.

Entsprechend kann vorgesehen sein, dass eine automatische Helltgkeitsregelung des Bildschirms (durch die Steuereinheit) abgeschaltet und die Beleuchtung beispielsweise auf die höchstmögliche Helligkeit gesetzt wird.Accordingly, it can be provided that an automatic brightness control of the screen is switched off (by the control unit) and the illumination is set to the highest possible brightness, for example.

Der Bildschirm des mobilen elektronischen Geräts emittiert Licht in der Regel hauptsächlich oder ausschließlich im sichtbaren Spektralbereich, also Licht mit den Wellenlängen zwischen etwa 400 nm und etwa 800 nm. Typischerweise ist der Bildschirm ein Farbbildschirm und somit zur Anzeige von Farbbildern eingerichtet. Beispielsweise weist der Bildschirm mehrere Farbkanäle auf. In jedem der Farbkanäle weist der Bildschirm eine kanalspezifische spektrale Emissionscharakteristik auf, welche im Folgenden auch als D_d(λ) bezeichnet wird. Das in einem Farbkanal emittierte Licht weist somit eine für diesen Farbkanal vordefinierte spektrale Intensitätsverteilung auf und entspricht einer mit dem Bildschirm darstellbaren Grundfarbe des Bildschirms. Beispielsweise kann der Bildschirm einen roten Farbkanal, einen blauen Farbkanal und einen grünen Farbkanal aufweisen. Die Farben der Farbkanäle, also beispielsweise rot, grün und blau, stellen dann die Grundfarben des Bildschirms dar. Der Bildschirm und die Kameras sind typischerweise an das menschliche Sehsystem angepasst. Sichtbares Licht mit Wellenlängen bis ca. 485 nm wird als blau, von ca. 500 nm bis ca. 550 nm als grün und ab ca. 630 nm als rot wahrgenommen wird. Entsprechend emittiert der rote Farbkanal (hauptsächlich) in einem roten Wellenlängenbereich, der grüne Farbkanal (hauptsächlich) in einem grünen Wellenlängenbereich und der blaue Farbkanal des Bildschirms Licht (hauptsächlich) in einem grünen Wellenlängenbereich.The screen of the mobile electronic device usually emits light mainly or exclusively in the visible spectral range, ie light with the wavelengths between about 400 nm and about 800 nm. Typically, the screen is a color screen and thus set up to display color images. For example, the screen has multiple color channels. In each of the color channels, the screen has a channel-specific spectral emission characteristic, which is also referred to below as D_d (λ). The light emitted in a color channel thus has a predefined for this color channel spectral intensity distribution and corresponds to a displayable with the screen basic color of the screen. For example, the screen may have a red color channel, a blue color channel, and a green color channel. The colors of the color channels, for example red, green and blue, then represent the basic colors of the screen. The screen and the cameras are typically adapted to the human visual system. Visible light with wavelengths up to about 485 nm is perceived as blue, from about 500 nm to about 550 nm as green and from about 630 nm as red. Accordingly, the red color channel (mainly) in a red wavelength region, the green color channel (mainly) in a green wavelength region, and the blue color channel of the screen emit light (mainly) in a green wavelength region.

Der Bildschirm weist typischerweise eine Vielzahl in einem Gesamtraster des Bildschirms angeordneter Leuchtelemente auf, welche Bildpunkte (Pixel) des Bildschirms bilden und zusammen eine Gesamtbildfläche des Bildschirms befüllen. Jeder der Farbkanäle ist dann durch eine Teilmenge der Leuchtelemente des Bildschirms gebildet ist, deren spektralen Emissionscharakteristika mit der kanalspezifischen spektralen Emissionscharakteristik des jeweiligen Farbkanals übereinstimmen. Jeder Bildpunkt des Bildschirms wird beispielsweise durch eine Gruppe benachbarter Leuchtelemente gebildet, die den unterschiedlichen Farbkanälen angehören. Die zu einem gemeinsamen Bildpunkt gehörigen Leuchtelemente verschiedener Farbkanäle werden auch als Subpixel des Bildschirms bezeichnet. Die Leuchtelemente jedes Farbkanals sind jeweils in einem Raster angeordnet. Die Raster der Farbkanäle überlagern sich räumlich gegenseitig und bilden so das Gesamtraster der Bildpunkte des Bildschirms.The screen typically has a plurality of luminous elements arranged in an overall grid of the screen, which form pixels of the screen and together fill an overall image area of the screen. Each of the color channels is then formed by a subset of the luminous elements of the screen whose spectral emission characteristics match the channel-specific spectral emission characteristics of the respective color channel. Each pixel of the screen is formed, for example, by a group of adjacent light elements that belong to the different color channels. The luminous elements belonging to a common pixel of different color channels are also referred to as subpixels of the screen. The luminous elements of each color channel are each arranged in a grid. The grids of the color channels are spatially superimposed on each other and thus form the overall grid of the pixels of the screen.

Typischerweise handelt es sich bei der Kamera des mobilen elektronischen Geräts um eine Farbkamera, die also für Licht mit den Wellenlängen zwischen etwa 400 nm und etwa 800 nm empfindlich ist und mehrere verschiedene Farbkanäle aufweist. Für jeden der Farbkanäle weist die Kamera typischerweise eine kanalspezifische spektrale Empfindlichkeit auf, welche im Folgenden auch als C_c(λ) bezeichnet wird. Beispielsweise kann die Kamera einen roten Farbkanal, einen blauen Farbkanal und einen grünen Farbkanal aufweisen. In vielen Fällen stimmen die Wellenlängenbereich der Farbkanäle der Kamera mit denen Farbkanäle des Bildschirms paarweise weitgehend (typischerweise aber nicht vollständig) überein.Typically, the camera of the mobile electronic device is a color camera, which is sensitive to light having the wavelengths between about 400 nm and about 800 nm and having a plurality of different color channels. For each of the color channels, the camera typically has a channel-specific spectral sensitivity, which is also referred to below as C_c (λ). For example, the camera may have a red color channel, a blue color channel, and a green color channel. In many cases, the wavelength ranges of the color channels of the camera match those of the color channels of the screen in pairs largely (but typically not completely).

Jeder der Farbkanäle der Kamera ist durch eine Teilmenge von Sensorelementen des Bildsensors gebildet, deren spektralen Empfindlichkeiten mit der kanalspezifischen spektralen Empfindlichkeit des jeweiligen Farbkanals der Kamera übereinstimmen. Jede Sensoreinheit des Bildsensors der Kamera wird beispielsweise durch eine Gruppe benachbarter Sensorelemente des Bildsensors gebildet, die den unterschiedlichen Farbkanälen der Kamera angehören.Each of the color channels of the camera is formed by a subset of sensor elements of the image sensor whose spectral sensitivities coincide with the channel-specific spectral sensitivity of the respective color channel of the camera. Each sensor unit of the image sensor of the camera is formed for example by a group of adjacent sensor elements of the image sensor, which belong to the different color channels of the camera.

Die Sensorelemente jedes Farbkanals sind somit jeweils in einem Teilraster angeordnet, dass sich über den Bildsensor erstreckt. Die Teilraster der Sensorelemente der verschiedenen Farbkanäle überlagern sich räumlich gegenseitig und bilden so das Gesamtraster der Sensoreinheiten des Bildsensors. Beispielsweise sind die Sensorelemente des roten Farbkanals am empfindlichsten für rotes Licht, die Sensorelemente des grünen Farbkanals am empfindlichsten für grünes Licht und die Sensorelemente des blauen Farbkanals am empfindlichsten für blaues Licht. Rotes Licht hat beispielsweise eine Wellenlänge von etwa 605 nm oder mehr, grünes Licht eine Wellenlänge von etwa 555 nm und blaues Licht von etwa 450 nm oder mehr. Weitere Beispiele für Wellenlängenbereiche für die verschiedenen Farben sind oben angegeben.The sensor elements of each color channel are thus each arranged in a sub-grid that extends over the image sensor. The sub-grids of the sensor elements of the different color channels are spatially superimposed on one another and thus form the overall grid of the sensor units of the image sensor. For example, the red color channel sensing elements are most sensitive to red light, the green color channel sensing elements most sensitive to green light, and the blue color channel sensing elements are the most sensitive to blue light. For example, red light has a wavelength of about 605 nm or more, green light has a wavelength of about 555 nm, and blue light has about 450 nm or more. Further examples of wavelength ranges for the different colors are given above.

Beispielsweise ist die Steuereinheit des mobilen elektronischen Geräts eingerichtet, den Bildschirm des mobilen elektronischen Geräts anzusteuern, eines oder mehrere der Beleuchtungsbilder der vordefinierten Beleuchtungsbildfolge anzuzeigen

• - durch ein Aktivieren der Leuchtelemente nur eines einzigen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente dieses Farbkanals mit einem für diesen Farbkanal vordefinierten einheitlichen Helligkeitswert, oder
• - durch ein Aktivieren der Leuchtelemente mehrerer Farbkanäle und durch ein Ansteuern aller aktivierten Leuchtelemente mit einem für den jeweiligen Farbkanal vordefinierten einheitlichen Helligkeitswert.

For example, the control unit of the mobile electronic device is configured to control the screen of the mobile electronic device to display one or more of the illumination images of the predefined illumination sequence

• by activating the luminous elements of only a single color channel of the screen and by activating all activated luminous elements of this color channel with a uniform brightness value predefined for this color channel, or
• by activating the luminous elements of a plurality of color channels and by activating all activated luminous elements with a uniform brightness value predefined for the respective color channel.

Das Aktivieren der Leuchtelemente eines Farbkanals kann beispielsweise durch ein Einschalten dieser Leuchtelemente erfolgen oder durch ein Ansteuern mit einem einheitlichen Helligkeitswert, der größer als ein kleinstmöglicher Helligkeitswert der Leuchtelemente ist. Um eine möglichst helle Beleuchtung des Messobjekts mittels der aktivierten Leuchtelemente zu erzielen, entspricht der jeweilige einheitliche Helligkeitswert vorzugsweise einem maximal möglichen Helligkeitswert der Leuchtelemente.The activation of the luminous elements of a color channel can be effected for example by switching on these luminous elements or by driving with a uniform brightness value which is greater than a smallest possible brightness value of the luminous elements. In order to achieve the brightest possible illumination of the measurement object by means of the activated luminous elements, the respective uniform brightness value preferably corresponds to a maximum possible brightness value of the luminous elements.

Entsprechend können die jeweils nicht-aktivierten Leuchtelemente der übrigen Farbkanäle ausgeschaltet werden oder ausgeschaltet bleiben oder jeweils mit einem kleinstmöglichen Helligkeitswert angesteuert werden.Accordingly, the respectively non-activated luminous elements of the remaining color channels can be switched off or remain switched off or can be controlled in each case with the smallest possible brightness value.

Durch die Ansteuerung mit einem einheitlichen Helligkeitswert wird erreicht, dass das jeweilige Beleuchtungsbild eine einheitliche Farbe hat, dass also jeder Bildpunkt des Bildschirms in dieser einheitlichen Farbe leuchtet oder, falls das Beleuchtungsbild nicht den gesamten Bildschirm, also die Gesamtbildfläche des Bildschirms, ausfüllt, ausgeschaltet ist oder nur mit der kleinstmöglichen Helligkeit leuchtet. Auf diese Weise kann mit dem Bildschirm das Messobjekt räumlich homogen mit Licht einer definierten spektralen Intensitätsverteilung beleuchtet werden.By controlling with a uniform brightness value is achieved that the respective illumination image has a uniform color, so that each pixel of the screen in this uniform color lights or, if the illumination image does not fill the entire screen, so the overall image area of the screen is turned off or only lit with the lowest possible brightness. In this way, the measured object can be spatially homogeneously illuminated with light of a defined spectral intensity distribution with the screen.

Falls beispielsweise nur ein einziger Farbkanal des Bildschirms aktiviert ist, leuchtet der Bildschirm einheitlich in der jeweiligen Grundfarbe des Bildschirms, zum Beispiel in rot, grün oder blau. Beispielsweise kann die Beleuchtungsabfolge ein rotes Beleuchtungsbild, ein grünes Beleuchtungsbild und ein blaues Beleuchtungsbild umfassen oder nur eines oder nur zwei dieser Beleuchtungsbilder. Die Steuereinheit ist beispielsweise dazu eingerichtet, den Bildschirm anzusteuern,

• - das rote Beleuchtungsbild anzuzeigen durch ein Aktivieren der Leuchtelemente nur des roten Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des roten Farbkanals mit einem für den roten Farbkanal vordefinierten einheitlichen Helligkeitswert,
• - das grüne Beleuchtungsbild anzuzeigen durch ein Aktivieren der Leuchtelemente nur des grünen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des grünen Farbkanals mit einem für den grünen Farbkanal vordefinierten einheitlichen Helligkeitswert, und/oder
• - das blaue Beleuchtungsbild anzuzeigen durch ein Aktivieren der Leuchtelemente nur des blauen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des blauen Farbkanals mit einem für den blauen Farbkanal vordefinierten einheitlichen Helligkeitswert. Die Reihenfolge der Beleuchtungsbilder kann beliebig vorgegeben sein.

If, for example, only one color channel of the screen is activated, the screen will be uniform in the respective basic color of the screen, for example in red, green or blue. For example, the illumination sequence may comprise a red illumination image, a green illumination image and a blue illumination image, or only one or only two of these illumination images. The control unit is for example set up to control the screen,

• to display the red illumination image by activating the illumination elements of only the red color channel of the screen and by activating all activated illumination elements of the red color channel with a uniform brightness value predefined for the red color channel,
• to display the green illumination image by activating the light elements of only the green color channel of the screen and by driving all activated light elements of the green color channel with a uniform brightness value predefined for the green color channel, and / or
• - To display the blue illumination image by activating the light elements only the blue color channel of the screen and by driving all activated light elements of the blue color channel with a predefined for the blue color channel uniform brightness value. The order of the illumination images can be specified as desired.

Durch Aktivieren mehrerer Farbkanäle gleichzeitig können einheitliche Mischungen der Grundfarben des Bildschirms erzeugt werden. Eines der Beleuchtungsbilder kann beispielsweise ein weißes Beleuchtungsbild (im Folgenden auch als Weißbild bezeichnet) sein, bei dem alle Leuchtelemente des Bildschirms aktiviert und mit dem größtmöglichen Helligkeitswert angesteuert werden. Ein weiteres Beleuchtungsbild kann beispielsweise ein schwarzes Beleuchtungsbild (im Folgenden auch als Schwarzbild bezeichnet) sein, bei dem alle Leuchtelemente des Bildschirms ausgeschaltet oder deaktiviert sind oder mit dem kleinstmöglichen Helligkeitswert angesteuert werden. Das weiße Beleuchtungsbild und das schwarze Beleuchtungsbild können beispielsweise zur Kalibrierung der übrigen Messbilder und zur Abschätzung von Umgebungslichteinflüssen verwendet werden. Die auf bestimmten Maximal- und Minimalhelligkeiten beruhende Kalibration zur Berücksichtigung von Umgebungslichteinflüssen kann beispielweise über eine lineare Funktion (Verschiebung und Skalierung) erreicht werden. Sie kann auch über eine nichtlineare Funktion erreicht werden, beispielsweise um dunkle Bereiche im Bild anzuheben oder helle Bereiche im Bild abzusenken.By activating several color channels simultaneously uniform blends of the basic colors of the screen can be generated. One of the illumination images can be, for example, a white illumination image (also referred to below as white image) in which all the illumination elements of the screen are activated and activated with the greatest possible brightness value. A further illumination image can be, for example, a black illumination image (also referred to below as a black image) in which all the illumination elements of the screen are switched off or deactivated or activated with the smallest possible brightness value. The white illumination image and the black illumination image can be used, for example, to calibrate the remaining measurement images and to estimate ambient light influences. The calibration based on certain maximum and minimum brightness levels for the consideration of ambient light influences can be achieved, for example, by a linear function (displacement and scaling). It can also be achieved via a non-linear function, for example, to raise dark areas in the image or to lower light areas in the image.

Zur Definition der Beleuchtungsbilder können beispielsweise einer oder mehrere der folgenden Beleuchtungsparameter verwendet werden:

• - spektrale Zusammensetzung des von dem Bildschirm beim Anzeigen des jeweiligen Beleuchtungsbildes emittierten Lichts, und/oder
• - für jeden Farbkanal des Bildschirms jeweils ein einheitlicher Helligkeitswert, und/oder
• - ein Bildschirmbereich, der durch das jeweilige Beleuchtungsbild ausgefüllt ist, insbesondere die Größe und Form des Bildschirmbereichs, und/oder
• - eine Anordnung eines Bildschirmbereichs, der durch das jeweilige Beleuchtungsbild ausgefüllt ist, innerhalb der Gesamtbildfläche des Bildschirms.

For example, one or more of the following illumination parameters may be used to define the illumination images:

• - Spectral composition of the emitted light from the screen when displaying the respective illumination image, and / or
• - For each color channel of the screen in each case a uniform brightness value, and / or
• a screen area filled by the respective illumination image, in particular the size and shape of the screen area, and / or
• - An arrangement of a screen area, which is filled by the respective illumination image, within the overall image area of the screen.

Jedes der Beleuchtungsbilder ist typischerweise zusammenhängend. Beispielsweise kann eines, mehrere oder jedes der Beleuchtungsbilder die Gesamtbildfläche des Bildschirms jeweils vollständig ausfüllen. Es ist aber auch möglich, dass eines, mehrere oder jedes der Beleuchtungsbilder jeweils nur einen Teilbereich der Gesamtbildfläche des Bildschirms ausfüllen, wobei der Bildschirm außerhalb des vom Beleuchtungsbild ausgefüllten Teilbereichs typischerweise schwarz ist (d.h. Leuchtelemente sind ausgeschaltet oder nicht aktiviert, leuchten also nicht oder nur mit der kleinstmöglichen Helligkeit). Der von den Beleuchtungsbildern jeweils ausgefüllte Bildschirmbereich entspricht beispielsweise mindestens 1/6, 1/5, 1/4, 1/3, 1/2 oder mehr der Gesamtbildfläche des Bildschirms. Beispielsweise kann die Beleuchtungsbildfolge R Beleuchtungsbilder umfassen, die jeweils etwa nur 1/R-tel der Gesamtbildfläche des Bildschirms ausfüllen, wobei R beispielsweise eine natürliche Zahl ist, die größer 2 und beispielsweise kleiner als 20 ist. Typischerweise liegt sie zwischen 3 und 10. Beispielsweise ist also R = 3, 4, 5 oder 6. Typischerweise überlappen die jeweils ausgefüllten Teilbereiche der Beleuchtungsbilder sich auf dem Bildschirm nicht gegenseitig.Each of the illumination images is typically contiguous. For example, one, several or each of the illumination images may completely fill the entire image area of the screen. But it is also possible that one, several or each of the illumination images each fill only a portion of the overall image area of the screen, the screen is outside the area filled by the illumination image typically black (ie lighting elements are off or not activated, so do not light or only with the smallest possible brightness). For example, the screen area filled in by the illumination images is at least 1/6, 1/5, 1/4, 1/3, 1/2, or more of the overall screen area. For example, the illumination image sequence R may comprise illumination images each filling approximately only 1 / Rth of the total image area of the screen, where R is for example a natural number that is greater than 2 and, for example, less than 20. Typically, it is between 3 and 10. Thus, for example, R = 3, 4, 5 or 6. Typically, the respective filled partial regions of the illumination images do not overlap one another on the screen.

Die ausgefüllten Teilbereiche der Beleuchtungsbilder können an einer gleichen Stelle innerhalb der Gesamtbildfläche des Bildschirms angeordnet sein. Typischerweise unterscheiden sich die Beleuchtungsbilder dann aber zumindest in ihrer Farbe voneinander. Alternativ ist es möglich, dass sich die Beleuchtungsbilder nicht nur in ihrer Farbe unterscheiden, sondern auch in ihrer Anordnung auf dem Bildschirm. Außerdem ist es möglich, dass sich die Beleuchtungsbilder nicht in ihrer Farbe unterscheiden, sondern nur in ihrer Anordnung auf dem Bildschirm.The filled-in portions of the illumination images may be located at a same location within the overall image area of the screen. Typically, however, the illumination images then differ from each other at least in their color. Alternatively, it is possible that the illumination images differ not only in their color but also in their arrangement on the screen. In addition, it is possible that the illumination images do not differ in their color, but only in their arrangement on the screen.

Beispielsweise kann der Bildinhalt eines jeden Beleuchtungsbildes jeweils eine einfarbig ausgefüllte Fläche sein (welche den genannten Teilbereich typischerweise vollständig ausfüllt), wobei die Farbe beispielsweise eine der Grundfarben (z.B. rot, grün oder blau) des Bildschirms sein kann oder weiß (alle Farbkanäle mit gleicher, vorzugsweiser maximaler Helligkeit), wie oben beschrieben wurde.For example, the image content of each illumination image may each be a solid filled area (which typically completely fills that portion), where the color may be one of the primary colors (eg, red, green, or blue) of the screen, or white (all color channels having the same, preferably maximum brightness) as described above.

Haben die Beleuchtungsbilder die gleiche Farbe und unterscheiden sie sich nur in ihrer Position auf dem Bildschirm, so handelt es sich bei den Beleuchtungsbildern typischerweise jeweils um einfarbig ausgefüllte Flächen (welche die jeweiligen Teilbereiche vollständig ausfüllen), wobei die Farbe beispielsweise jeweils die gleiche Grundfarbe (z.B. rot, grün oder blau) des Bildschirms oder weiß (alle Farbkanäle mit gleicher, vorzugsweiser maximaler Helligkeit) ist.If the illumination images have the same color and differ only in their position on the screen, then the illumination images are typically in each case filled with monochrome surfaces (which completely fill the respective subregions), the color, for example, each having the same base color (eg red, green or blue) of the screen or white (all color channels with the same, preferably maximum brightness).

Beispielsweise kann die Gesamtbildfläche des Bildschirms einen oberen Rand, einen unteren Rand, einen linken Rand und einen rechten Rand aufweisen, wobei sich die ausgefüllten Teilbereiche der Beleuchtungsbilder in ihrem Abstand von dem oberen Rand der Gesamtbildfläche des Bildschirms voneinander unterscheiden, wobei das Objektiv oberhalb des oberen Rands der Gesamtbildfläche des Bildschirms angeordnet ist.For example, the overall image area of the screen may have an upper edge, a lower edge, a left edge, and a right edge, with the filled portions of the illumination images being different in distance from the upper edge of the overall image area of the screen, with the lens above the upper Rands of the overall picture area of the screen is arranged.

Beispielsweise kann die Beleuchtungsbildfolge mittels eines oder mehrerer folgender weiterer Beleuchtungsparameter definiert sein:

• - Gesamtzahl der Beleuchtungsbilder,
• - Reihenfolge der Beleuchtungsbilder,
• - Anzeigedauer der Beleuchtungsbilder,
• - zeitlicher Abstand zwischen dem Anzeigen der einzelnen Beleuchtungsbilder.

For example, the lighting image sequence can be defined by means of one or more of the following further lighting parameters:

• - total number of lighting images,
• - sequence of lighting images,
• Display duration of the illumination images,
• - Time interval between displaying the individual lighting images.

Die Gesamtzahl der Beleuchtungsbilder ergibt sich beispielsweise aus der Anzahl der Farbkanäle der Kamera und des Bildschirms. Haben beide beispielsweise drei einander entsprechende Farbkanäle (beispielsweise rot, grün und blau), so kann die Beleuchtungsbildfolge zumindest drei Beleuchtungsbilder beinhalten, nämlich eines für jeden Farbkanal (rot, grün und blau). Zusätzlich kann die Beleuchtungsbildfolge das oben beschriebene Weißbild und das Schwarzbild beinhalten, so dass die Beleuchtungsbildfolge dann beispielsweise (zumindest) fünf Beleuchtungsbilder beinhaltet. Die Reihenfolge kann beispielsweise beliebig festgelegt sein. Die Anzeigedauer ist zumindest so lang gewählt, dass der Bildsensor beim Aufnehmen der Messbilder ausreichend belichtet werden kann. Die Anzeigedauer liegt typischerweise in einem Bereich zwischen 10 ms und 500 ms, vorzugsweise in einem Bereich zwischen 100 ms und 200 ms. Die Beleuchtungsbilder werden typischerweise zeitlich nacheinander und nicht gleichzeitig angezeigt. Der zeitliche Abstand zwischen dem Anzeigen der einzelnen Beleuchtungsbilder liegt typischerweise in einem Bereich zwischen 1 ms und 20 ms, vorzugsweise in einem Bereich zwischen 5 ms und 10 ms. Eine Gesamtdauer zum Erfassen der Messbilder liegt somit typischerweise in einem Bereich zwischen 60 ms und 3000 ms.The total number of illumination images results, for example, from the number of color channels of the camera and the screen. If, for example, both have three corresponding color channels (for example red, green and blue), then the illumination sequence can contain at least three illumination images, namely one for each color channel (red, green and blue). In addition, the illumination sequence may include the white image and the black image described above, so that the illumination image sequence then For example, includes (at least) five lighting images. The order can be set arbitrarily, for example. The display duration is at least selected so long that the image sensor can be sufficiently exposed when taking the measurement images. The display duration is typically in a range between 10 ms and 500 ms, preferably in a range between 100 ms and 200 ms. The illumination images are typically displayed one after the other and not simultaneously. The time interval between the display of the individual illumination images is typically in a range between 1 ms and 20 ms, preferably in a range between 5 ms and 10 ms. A total duration for acquiring the measurement images is thus typically in a range between 60 ms and 3000 ms.

Jedes der aufgenommenen Messbilder beinhaltet eine Vielzahl von Bildpunkten sowie Bilddaten, die den jeweiligen Bildpunkten zugeordnet sind. Wie oben beschrieben worden ist, kann das System eine Auswerteeinheit umfassen, welche Teil des Geräts (beispielsweise als logische oder integrierte Einheit des Prozessors des Geräts) oder Teil einer anderen Komponente des Systems (beispielsweise als logische oder integrierte Einheit des Prozessors dieser jeweiligen Komponente), beispielsweise eines Computerservers sein kann.Each of the captured measurement images includes a plurality of pixels and image data associated with the respective pixels. As described above, the system may comprise an evaluation unit which is part of the device (for example as a logical or integrated unit of the processor of the device) or part of another component of the system (for example as a logical or integrated unit of the processor of that particular component), For example, a computer server can be.

Die Auswerteeinheit ist beispielsweise eingerichtet, beispielsweise mittels des Computerprogrammprodukts, die Bildpunkte der Messbilder zusammenzuführen und die Bilddaten zusammengeführter Bildpunkte zu Messdatensätzen der jeweiligen zusammengeführten Bildpunkte zusammenzufassen. Typischerweise erfolgt die Zusammenführung der Bildpunkte mittels einer Bildregistrierung der Messbilder. Die zusammengeführten Bildpunkte bilden dann ein einzelnes registriertes Messbild, die Bildpunkte des registrierten Messbildes beinhalten die jeweils zugeordneten Messdatensätze.The evaluation unit is set up, for example, by means of the computer program product to merge the pixels of the measurement images and to combine the image data of merged pixels into measurement data sets of the respective merged pixels. Typically, the merging of the pixels takes place by means of an image registration of the measurement images. The merged pixels then form a single registered measurement image, the pixels of the registered measurement image contain the respectively associated measurement data records.

Für die Bildregistrierung der Messbilder sind typischerweise Bildtransformationen der Messbilder erforderlich, z.B. (lokale) Koordinatentransformationen (Drehungen, Verschiebungen, Verkippung und/oder (lokale) Reskalierungen, Subpixelinterpolation), um Relativbewegungen zwischen dem Gerät und dem Messobjekt während der Aufnahme der Messbilder zu kompensieren bzw. herauszurechnen. Im Idealfall besteht eine 1:1-Korrepondenz zwischen den Bildpunkten der Messbilder, typischerweise aber eine 1:X-Korrespondenz, wobei X ≠ 1. Bei X≠1 werden die Messwerte der zusammengeführten Bildpunkte typischerweise interpoliert oder gemittelt, um die Messdatensätze zu ermitteln.Image registration of the measurement images typically requires image transformations of the measurement images, e.g. (local) coordinate transformations (rotations, displacements, tilting and / or (local) rescaling, subpixel interpolation) in order to compensate for relative movements between the device and the measurement object during acquisition of the measurement images. Ideally, there is a 1: 1 correspondence between the pixels of the measurement images, but typically a 1: X correspondence, where X ≠ 1. At X ≠ 1, the measurements of the merged pixels are typically interpolated or averaged to determine the measurement data sets.

Beispielsweise kann auf der Grundlage der Messbilder, vorzugsweise auf der Grundlage des registrierten Messbildes, ein Objekterkennungsalgorithmus durchgeführt werden, um in dem Messbild bzw. in dem registrierten Messbild solche Bildpunkte zu erkennen, die das Messobjekt abbilden. Diese Bildpunkte werden im Folgenden als Objektbildpunkte bezeichnet. Jeder dieser erkannten Objektbildpunkte bildet in dem Messbild bzw. in dem registrierten Messbild einen Teilbereich auf der Oberfläche des Objektes ab. Diese Teilbereiche werden nachfolgend als Objektpunkte bezeichnet. Beispielsweise kann der Objekterkennungsalgorithmus einen „Region growing“-Algorithmus beinhalten. Zu Beginn dieses Algorithmus wird ein erster Bildpunkt definiert, von dem angenommen wird, dass er ein Objektbildpunkt ist. Als erster Bildpunkt kann beispielsweise ein Bildpunkt in der Mitte eines der Messbilder oder des registrierten Messbildes definiert werden. Alternativ kann der erste Bildpunkt auch durch den Nutzer über die Benutzerschnittstelle definiert werden. Beispielsweise durch Markieren eines Bereichs auf einem mit dem Bildschirm angezeigten Messbildes oder angezeigten registrierten Messbildes, insbesondere wenn der Bildschirm als Touchscreen ausgestaltet ist. Anschließend wird geprüft, wie stark die Messdatensätze benachbarter Bildpunkte von dem Messdatensatz des ersten Bildpunktes abweichen. Nur bei einer ausreichend geringen Abweichung wird ein benachbarter Bildpunkt ebenfalls als ein Objektbildpunkt klassifiziert. Dieser Algorithmus wird (ausgehend von den jeweils als neu klassifizierten Objektpunkten) solange fortgesetzt bzw. iteriert, bis keine weiteren Bildpunkte als Objektpunkte klassifiziert werden.For example, on the basis of the measurement images, preferably on the basis of the registered measurement image, an object recognition algorithm can be performed in order to recognize in the measurement image or in the registered measurement image those pixels which image the measurement object. These pixels are referred to below as object pixels. Each of these recognized object image points forms a partial area on the surface of the object in the measurement image or in the registered measurement image. These subareas are referred to below as object points. For example, the object recognition algorithm may include a "region growing" algorithm. At the beginning of this algorithm, a first pixel is defined, which is assumed to be an object pixel. For example, a pixel in the middle of one of the measurement images or the registered measurement image can be defined as the first pixel. Alternatively, the first pixel may also be defined by the user via the user interface. For example, by marking a region on a measurement image displayed on the screen or displayed registered measurement image, in particular if the screen is designed as a touchscreen. Subsequently, it is checked how much the measured data records of adjacent pixels deviate from the measured data record of the first pixel. Only with a sufficiently small deviation is an adjacent pixel also classified as an object pixel. This algorithm is continued or iterated (starting from the respectively newly classified object points) until no further pixels are classified as object points.

Weisen der Bildschirm und die Kamera mehrere Farbkanäle auf und unterscheiden sich die Beleuchtungsbilder in ihrer Farbe, wie oben beschrieben wurde, kann jeder der Messdatensätze beispielsweise ein sogenannter „spektraler Fingerabdruck“ des Messobjekts in dem zugehörigen Objektpunkt des Messobjekts sein. Weist der Bildschirm beispielsweise M Farbkanäle und die Kamera beispielsweise N Farbkanäle auf, so kann jeder der Messdatensätze beispielsweise M × N Messwerte oder mehr umfassten. Beispielsweise kann für jeden Farbkanal des Bildschirms ein Beleuchtungsbild angezeigt und für jedes dieser Beleuchtungsbilder ein Messbild aufgenommen werden, wobei die in den einzelnen Farbkanälen der Kamera gemessenen Helligkeitswerte als einzelne Messwerte in den Messdatensätzen enthalten sind. Die (ersten) M × N Messwerte des Messdatensatzes eines Objektpunktes entsprechen dabei beispielsweise den verschiedenen möglichen Kombinationen der Farbkanäle des Bildschirms mit den Farbkanälen der Kamera. Beispielsweise kann M = 3 und N=3 sein, wenn Kamera und Bildschirm jeweils die Farbkanäle rot, grün und blau aufweisen. Werden zusätzlich noch das oben beschriebene Weißbild und das Schwarzbild angezeigt und jeweils ein Messbild aufgenommen, kann jeder Messdatensatz (M + 2) × N Messwerte umfassen.If the screen and the camera have a plurality of color channels and the illumination images differ in their color, as described above, each of the measurement data sets can be, for example, a so-called "spectral fingerprint" of the measurement object in the associated object point of the measurement object. If, for example, the screen has M color channels and the camera has N color channels, for example, each of the measured data sets may comprise M × N measured values or more. For example, an illumination image can be displayed for each color channel of the screen and a measurement image can be recorded for each of these illumination images, the brightness values measured in the individual color channels of the camera being contained as individual measured values in the measurement data sets. The (first) M × N measured values of the measurement data set of an object point correspond, for example, to the various possible combinations of the color channels of the screen with the color channels of the camera. For example, M = 3 and N = 3 if the camera and the screen each have the color channels red, green and blue. Become In addition, the above-described white image and the black image are displayed and recorded in each case one measurement image, each measurement data set (M + 2) × N measured values include.

Der zu einem Objektpunkt des Messobjekts bzw. zu dessen Objektbildpunkt gehörige Messdatensatz wird im Folgenden auch mit F(d, c) bezeichnet, wenn die Kamera und der Bildschirm jeweils mehrere Farbkanäle aufweisen. Der Index d bezeichnet die Farben der Beleuchtungsbilder (oder die Farbkanäle des Bildschirms) und kann beispielsweise numerisch definiert sein und gemäß den obigen Beispielen beispielsweise 1≤d≤M oder 1≤d≤M+2 erfüllen, beispielsweise mit M=3. Alternativ kann der Index d auch durch entsprechende Buchtstaben definiert sein und gemäß den obigen Beispielen beispielsweise d = {r, g, b} oder d = {r, g, b, w, s} erfüllen, wobei r, g, b für den roten, grün bzw. blauen Farbkanal des Bildschirms oder das jeweilige rote, grüne bzw. blaue Beleuchtungsbild stehen und w für das Weißbild und s für das Schwarzbild. Entsprechend kann auch der Index c, der für die Farbkanäle der Kamera steht, numerisch definiert sein und gemäß den obigen Beispielen beispielsweise 1≤c≤N erfüllen, beispielsweise mit N=3. Alternativ kann auch der Index c durch entsprechende Buchtstaben definiert sein und gemäß den obigen Beispielen beispielsweise c = {r, g, b} erfüllen, wobei r, g, b für den roten, grün bzw. blauen Farbkanal der Kamera stehen. Beispielsweise können die in einem Messdatensatz enthaltenen Messdaten in Form einer Tabelle dargestellt werden. Für d = {r, g, b, w, s} und c = {r, g, b} beispielsweise als Tabelle 1: Beispiel für Komponenten eines Messdatensatz F(d, c) für einen Objektpunkt eines Messobjekts.Farben der Beleuchtungsbilder, d (Farbkanäle des Bildschirm)rgbswFarbkanäle der Kamera, crF(r,r)F(g,r)F(b,r)F(s,r)F(w,r)gF(r,g)F(g,g)F(b,g)F(s,g)F(w,g)bF(r,b)F(g,b)F(b,b)F(s,b)F(w,b)The measurement data record belonging to an object point of the measurement object or to its object image point is also referred to below as F (d, c) if the camera and the screen each have a plurality of color channels. The subscript d denotes the colors of the illumination images (or the color channels of the screen) and may, for example, be numerically defined and, for example, satisfy 1≤d≤M or 1≤d≤M + 2, for example M = 3, according to the above examples. Alternatively, the index d may also be defined by corresponding letters and, for example, satisfy d = {r, g, b} or d = {r, g, b, w, s}, where r, g, b for the red, green or blue color channel of the screen or the respective red, green or blue illumination image and w for the white image and s for the black image. Correspondingly, the index c, which stands for the color channels of the camera, can also be numerically defined and, for example, satisfy 1≤c≤N, for example with N = 3, according to the above examples. Alternatively, the index c may also be defined by corresponding letters and, for example, satisfy c = {r, g, b}, where r, g, b represent the red, green and blue color channels, respectively, of the camera according to the above examples. For example, the measurement data contained in a measurement data record can be displayed in the form of a table. For example, for d = {r, g, b, w, s} and c = {r, g, b} as Table 1: Example of components of a measurement data set F (d, c) for an object point of a measurement object. Colors of lighting images, d (color channels of the screen) r G b s w Color channels of the camera, c r F (r, r) F (g, r) F (b, r) F (s, r) F (w, r) G F (r, g) F (g, g) F (b, g) F (s, g) F (w, g) b F (r, b) F (g, b) F (b, b) F (s, b) F (w, b)

Beispielsweise enthält F(d, c) den unter der Beleuchtung mit einem Beleuchtungsbild der Grundfarbe d mit einem Sensorelement des Farbkanals c der Kamera gemessene Helligkeitswert für den jeweiligen Objektpunkt des Messobjekts.For example, F (d, c) contains the brightness value for the respective object point of the measurement object measured under illumination with an illumination image of the base color d with a sensor element of the color channel c of the camera.

Die Messdatensätze der einzelnen Bildpunkte können aber auch Gesamthelligkeitswerte ohne Farbinformationen sein. Beispielsweise kann der Messdatensatz ein sogenannter „Glanzmessvektor“ sein, der im Folgenden auch als G(a) bezeichnet wird, wobei der Index a die einzelnen Beleuchtungsbilder der Beleuchtungsbildfolge repräsentiert.However, the measurement data sets of the individual pixels can also be total brightness values without color information. For example, the measurement data set may be a so-called "gloss measurement vector", which is also referred to below as G (a), where the index a represents the individual illumination images of the illumination sequence.

Beispielsweise können, wie oben beschrieben, R Beleuchtungsbilder vorgesehen sein, welche, wie oben beschrieben, jeweils 1/R-tel der Gesamtbildschirmfläche abdecken und sich gegenseitig typischerweise nicht überschneiden. Sie unterscheiden sich in ihrer Position auf dem Bildschirm und decken zusammengenommen (würden sie gleichzeitig angezeigt werden) den Gesamtbildschirm ab. Die ausgefüllten Teilbereiche der Beleuchtungsbilder unterscheiden sich in ihrem Abstand von dem oberen Rand der Gesamtbildfläche des Bildschirms voneinander, wobei das Objektiv oberhalb des oberen Rands der Gesamtbildfläche des Bildschirms angeordnet ist. Außerdem kann die Beleuchtungsbildfolge das bereits oben beschriebene Weißbild und das Schwarzbild enthalten. Der Index a kann dann beispielsweise numerisch definiert sein und beispielsweise 1≤a≤R oder 1≤a≤R+2 (mit Weißbild und Schwarzbild) erfüllen. Der „Glanzmessvektor“ G(a) hat für R=3 beispielsweise die folgenden Komponenten: Tabelle 2: Beispiel für Komponenten eines Messdatensatz G(a) für einen Objektpunkt eines Messobjekts.Beleuchtungsbilder, a12345GesamthelligkeitswertG(1)G(2)G(3)G(4)G(5)For example, as described above, R lighting images may be provided which, as described above, eachcover 1 / Rth of the overall screen area and typically do not overlap each other. They differ in their position on the screen, and when taken together (would they be displayed simultaneously) cover the entire screen. The filled portions of the illumination images differ in their distance from the upper edge of the overall image area of the screen from each other, the lens being located above the upper edge of the overall image area of the screen. In addition, the illumination sequence may include the white image and the black image already described above. The index a can then be numerically defined, for example, and satisfy 1≤a≤R or 1≤a≤R + 2 (with white image and black image). The "gloss measurement vector" G (a) has for R = 3, for example, the following components: Table 2: Example of components of a measurement data set G (a) for an object point of a measurement object. Illumination images, a 1 2 3 4 5 Overall luminous intensity G (1) G (2) G (3) G (4) G (5)

Typischerweise sind alle Farbkanäle des Bildschirms in den jeweiligen Teilbereichen mit dem größtmöglichen Helligkeitswert angesteuert, so dass diese Beleuchtungsbilder weiß erscheinen. Beispielsweise enthält der Glanzmessvektor G(a) für jeden Index a einen Gesamthelligkeitswert, der unter der Beleuchtung mit dem Beleuchtungsbild mit dem Index a mit allen Sensorelementen der Kamera im jeweiligen Objektbildpunkt gemessenen worden ist.Typically, all the color channels of the screen in the respective subareas are driven with the greatest possible brightness value, so that these illumination images appear white. For example, the gloss measurement vector G (a) for each index a contains a total brightness value which has been measured under the illumination with the illumination image with the index a with all the sensor elements of the camera in the respective object pixel.

Prinzipiell ist es aber auch möglich, dass die Beleuchtungsbildfolge Beleuchtungsbilder umfasst, die sich sowohl in ihrer spektralen Zusammensetzung bzw. Farbe als auch, wie oben beschrieben, durch die Position a der jeweils ausgefüllten Teilbereiche voneinander unterscheiden. Beispielsweise kann für jede Position a der oben beschriebene spektrale Fingerabdruck F(c,d) erfasst werden, wobei die farbigen Beleuchtungsbilder nur den beschriebenen Teilbereich in dieser Position a ausfüllen. Auf diese Weise lässt sich für jeden Objektpunkt ein Messdatensatz H(c,d,a) erzeugen, der Informationen sowohl über die spektralen Reflexionseigenschaften wie auch über den Glanz des Messobjekts in dem jeweiligen Objektpunkt beinhaltet. In principle, however, it is also possible for the illumination sequence to comprise illumination images which differ from one another in terms of their spectral composition or color as well as, as described above, by the position a of the subregions filled in each case. For example, for each position a, the above-described spectral fingerprint F (c, d) can be detected, wherein the colored illumination images fill only the described partial area in this position a. In this way, a measurement data set H (c, d, a) can be generated for each object point, which contains information about both the spectral reflection properties and the gloss of the measurement object in the respective object point.

Durch eine Auswertung des Glanzmessvektors G(a) wie auch des Messdatensatzes H(c, d, a) können beispielsweise Rückschlüsse auf die Glanzeigenschaften eines Messobjekts gezogen werden. Als Messobjekt kommen, neben vielen anderen möglichen Beispielen, beispielsweise (menschliche oder tierische) Haare in Frage bzw. eine von vielen nebeneinander liegenden (menschlichen) Haaren gebildete Oberfläche.By evaluating the gloss measurement vector G (a) as well as the measurement data set H (c, d, a), it is possible, for example, to draw conclusions about the gloss properties of a measurement object. As a measuring object come, among many other possible examples, for example, (human or animal) hair in question or one of many adjacent (human) hair surface formed.

Je nach Anzahl der Bildpunkte bzw. Objektbildpunkten in den Messbildern können durch das Aufnehmen der Messbilder während einer Beleuchtungsbildfolge Hunderte, Tausende oder Millionen von Messdatensätzen des Messobjekts erzeugt werden.Depending on the number of pixels or object pixels in the measurement images, hundreds, thousands or millions of measurement data sets of the measurement object can be generated by taking the measurement images during an illumination sequence.

Die Auswerteeinheit kann beispielsweise eingerichtet sein, einen, mehrere oder jeden der Messdatensätze, wie beispielsweise den oben beschriebenen spektralen Fingerabdruck F(c, d), den Glanzmessvektor G(a) und/oder den Messdatensatz H(c, d, a), mit mindestens einem vordefinierten Referenzdatensatz zu vergleichen. Ein Ergebnis dieses Vergleichs kann beispielsweise eine Maßzahl sein, welche bemisst, wie stark sich der jeweilige Messdatensatz von dem jeweiligen Referenzdatensatz unterscheidet. Beispielsweise kann der mindestens eine Referenzdatensatz in einem Merkmalsraum definiert sein und die Messdatensätze vor dem Vergleich mittels der Auswerteeinheit zunächst in diesen Merkmalsraum transformiert werden, um anschließend den Vergleich zwischen Messdatensatz und Referenzdatensatz in dem Merkmalsraum durchzuführen.The evaluation unit may, for example, be equipped with one, several or each of the measurement data sets, such as the spectral fingerprint F (c, d) described above, the gloss measurement vector G (a) and / or the measurement data set H (c, d, a) to compare at least one predefined reference data set. A result of this comparison can be, for example, a measure which measures how much the respective measurement data record differs from the respective reference data record. For example, the at least one reference data record can be defined in a feature space and the measurement data records can first be transformed into this feature space by means of the evaluation unit before the comparison, in order then to perform the comparison between the measurement data set and the reference data record in the feature space.

Bei mehreren Referenzdatensätzen kann ein Ergebnis die Identifikation desjenigen Referenzdatensatzes sein, von dem sich der jeweilige Messdatensatz am wenigsten unterscheidet. Es kann beispielsweise ein Ranking erzeugt werden, wobei derjenige Referenzdatensatz einen umso höheren Rang erhält, je weniger sich der jeweilige Messdatensatz von diesem unterscheidet. Durch die Identifikation des Referenzdatensatzes mit dem höchsten Rang kann mittels der Auswerteeinheit eine Klassifikation des jeweiligen Messdatensatzes erfolgen.In the case of several reference data sets, a result may be the identification of the reference data record from which the respective measurement data set is the least different. For example, a ranking can be generated, wherein the reference data set acquires the higher the rank, the less the respective measurement data set differs from it. By the identification of the reference data record with the highest rank, a classification of the respective measurement data set can take place by means of the evaluation unit.

Nach dem Vergleich mehrerer oder aller Messdatensätze mit den (mehreren) Referenzdatensätzen kann derjenige Referenzdatensatz identifiziert werden, der bei dem beschriebenen Ranking am besten abgeschnitten hat, der beispielsweise am häufigsten den obersten Rang erhalten hat und somit einen höchsten Gesamtrang erhält (per „Mehrheitsentscheidung“). Hierdurch kann mittels der Auswerteeinheit eine Klassifikation des Messobjekts als Ganzes erfolgen.After comparing several or all measurement data sets with the (multiple) reference data records, the reference data set that has performed best in the described ranking can be identified, for example, which has most often received the highest rank and thus receives the highest overall rank (by "majority decision"). , In this way, by means of the evaluation unit, a classification of the measurement object as a whole can take place.

Der identifizierte Referenzdatensatz mit dem höchsten Gesamtrang kann beispielsweise über eine Nutzerschnittstelle, beispielsweise über den Bildschirm des Geräts, als Messergebnis ausgegeben werden. Anstelle des identifizierten Referenzdatensatzes mit dem höchsten Gesamtrang kann auch eine mit diesem Referenzdatensatz korrespondierende Eigenschaft des Messobjekts oder eine korrespondierende Klassifikation des Messobjekts auf entsprechende Weise ausgegeben werden.The identified reference data record with the highest overall rank can be output, for example via a user interface, for example via the screen of the device, as a measurement result. Instead of the identified reference data record having the highest overall rank, a property of the DUT corresponding to this reference data record or a corresponding classification of the DUT can also be output in a corresponding manner.

Die Auswerteeinheit kann eingerichtet sein, den oben beschriebenen Vergleich zwischen den Messdatensätzen und den Referenzdatensätzen mittels eines - entsprechend trainierten bzw. optimierten - künstlichen neuronalen Netzes durchzuführen. Die beschriebene Klassifikation der Messdatensätze und des Messobjekts als Ganzes kann in diesem Fall beispielsweise mittels eines mathematischen Klassifikationsmodells auf Basis dieses künstlichen neuronalen Netzes erfolgen. Das künstliche neuronale Netz kann beispielsweise ein Mehrschichtperzeptron sein, welches beispielsweise zwei Schichten oder mehr als zwei Schichten aufweisen kann, insbesondere verborgene (innere) Schichten.The evaluation unit can be set up to carry out the above-described comparison between the measurement data records and the reference data records by means of a - correspondingly trained or optimized - artificial neural network. The described classification of the measurement data sets and of the measurement object as a whole can be done in this case, for example, by means of a mathematical classification model based on this artificial neural network. The artificial neural network may, for example, be a multi-layer perceptron, which may for example have two layers or more than two layers, in particular hidden (inner) layers.

Das künstliche neuronale Netz kann mittels Trainingsfällen trainiert worden sein. Beispielsweise können bei einem überwachten Lernverfahren eine Vielzahl von Trainingsfällen jeweils durch einen Eingangsvektor und einen Ausgangsvektor gegeben sein. Als Eingangsvektoren dienen beispielsweise die oben beschriebenen Messdatensätze von Messbildern eines bekannten Messobjekts, die mit dem vorgeschlagenen Verfahren erzeugt wurden. Als Ausgangsvektoren dienen beispielsweise Messwerte, die unabhängig von den Messbildern gewonnen wurden und die bestimmte, interessierende Eigenschaften des Messobjekts charakterisieren (zum Beispiel chemische Zusammensetzung, Reifegrad, Glanzeigenschaften oder andere interessende Eigenschaften des Messobjekts). Anschließend wird das künstliche neuronale Netz (d.h. dessen Parameter) für diese Trainingsfälle optimiert, beispielsweise mittels einer Fehlerrückführung (Backpropagation). Weitere Details zu derartigen Techniken können beispielsweise den folgenden Lehrbüchern entnommen werden:

• R. Rojas: Theorie der neuronalen Netze : Eine systematische Einführung, Springer, 1996
• R. Brause: Neuronale Netze: Eine Einführung in die Neuroinformatik, Teubner, 1995
• J. Lunze: Künstliche Intelligenz für Ingenieure, Oldenbourg, 2010.

The artificial neural network may have been trained by means of training cases. For example, in a supervised learning method, a plurality of training cases may be given by an input vector and an output vector, respectively. By way of example, the measurement data sets described above of measurement images of a known measurement object which were generated by the proposed method serve as input vectors. The output vectors used are, for example, measured values which were obtained independently of the measurement images and which characterize certain properties of interest of the measurement object (for example chemical composition, degree of ripeness, gloss properties or other interesting properties) Properties of the DUT). Subsequently, the artificial neural network (ie its parameters) is optimized for these training cases, for example by means of an error feedback (backpropagation). Further details of such techniques may be found, for example, in the following textbooks:

• R. Rojas: Theory of Neural Networks: A Systematic Introduction, Springer, 1996
• R. Brause: Neuronal Networks: An Introduction to Neuroinformatics, Teubner, 1995
• J. Lunze: Artificial Intelligence for Engineers, Oldenbourg, 2010 ,

Der vordefinierte mindestens eine Referenzdatensatz kann beispielsweise in einem Datenspeicher gespeichert sein, beispielsweise in dem internen Datenspeicher des mobilen elektronischen Geräts oder einer anderen Komponente des Systems, beispielsweise eines Computerservers. Die Auswerteeinheit kann eingerichtet sein, automatisch auf diesen Datenspeicher zuzugreifen und die Referenzdatensätze von dem Datenspeicher abzurufen, um den beschriebenen Vergleich durchführen zu können. Beispielsweise kann die Auswerteinheit eingerichtet sein, die Referenzdatensätze in Abhängigkeit von einer Eingabe über die Nutzerschnittstelle durchzuführen. Beispielsweise kann vorgesehen sein, dass mittels der Nutzerschnittstelle eingegeben wird, welche Art von Messobjekt untersucht werden soll und welche Eigenschaften dieses Messobjekts untersucht werden sollen.The predefined at least one reference data record can be stored, for example, in a data memory, for example in the internal data memory of the mobile electronic device or another component of the system, for example a computer server. The evaluation unit can be set up to automatically access this data memory and to retrieve the reference data records from the data memory in order to be able to carry out the described comparison. For example, the evaluation unit may be set up to execute the reference data sets as a function of an input via the user interface. For example, it can be provided that the user interface is used to enter which type of measurement object is to be examined and which properties of this measurement object are to be investigated.

Die Auswerteeinheit kann eingerichtet sein, bei der Auswertung der Messdatensätze die spektrale Empfindlichkeit C_c(λ) der Kamera oder die spektrale Emissionscharakteristik D_d(λ) des Bildschirms oder beides zu berücksichtigen. (Die Indizes c und d sind definiert wie oben beschrieben.) Auf diese Weise ist es beispielsweise möglich, die Vergleichbarkeit der Messdatensätze, die mittels verschiedener Bildschirme und Kameras gewonnen wurden, zu verbessern, insbesondere die Vergleichbarkeit des oben beschriebenen spektralen Fingerabdrucks F(d, c) oder des Glanzmessvektors G(a). Die spektrale Empfindlichkeit C_c(λ) der Kamera und die spektrale Emissionscharakteristik D_d(λ) des Bildschirms können beispielsweise mittels eines Spektrometers gemessen werden oder den jeweiligen Herstellerangaben entnommen werden.The evaluation unit can be set up to take into account the spectral sensitivity C_c (λ) of the camera or the spectral emission characteristic D_d (λ) of the screen or both in the evaluation of the measurement data records. (The indices c and d are defined as described above.) In this way it is possible, for example, to improve the comparability of the measurement data records obtained by means of different screens and cameras, in particular the comparability of the spectral fingerprint F (d, d) described above. c) or the gloss measurement vector G (a). The spectral sensitivity C_c (λ) of the camera and the spectral emission characteristic D_d (λ) of the screen can be measured, for example, by means of a spectrometer or taken from the respective manufacturer's instructions.

Zusätzlich oder alternativ zur oben beschriebenen Auswertung kann die Auswerteeinheit eingerichtet sein, unter Berücksichtigung der spektralen Empfindlichkeit C_c(λ) der Kamera und der spektralen Emissionscharakteristik D_d(λ) des Bildschirms aus den Messdatensätzen eine Reflexionscharakteristik des Messobjekts zu ermitteln. Bei der genannten Reflexionscharakteristik kann es sich beispielsweise um das Reflexionsspektrum des Messobjekts (in den jeweiligen Objektpunkten) handeln, welche die Abhängigkeit des Reflexionsgrads des Messobjekts (in den jeweiligen Objektpunkten) von der Wellenlänge des Lichts bemisst. Das ermittelte Reflexionsspektrum erlaubt in vielen Fällen Rückschlüsse auf die (bio-)chemische Zusammensetzung des Messobjekts (zumindest auf dessen Oberfläche) oder hiermit korrelierten Eigenschaften des Messobjekts.In addition or as an alternative to the above-described evaluation, the evaluation unit can be set up to determine a reflection characteristic of the measurement object from the measurement data records, taking into account the spectral sensitivity C_c (λ) of the camera and the spectral emission characteristic D_d (λ) of the screen. The reflection characteristic mentioned can be, for example, the reflection spectrum of the measurement object (in the respective object points), which measures the dependence of the reflectance of the measurement object (in the respective object points) on the wavelength of the light. The determined reflection spectrum in many cases allows conclusions to be drawn about the (bio) chemical composition of the test object (at least on its surface) or correlated properties of the test object.

Allgemein lässt sich der Zusammenhang zwischen dem gemessenen „spektralen Fingerabdruck“ F(d, c) des Messobjekts in einem Objektpunkt und dem eigentlich interessierenden (unbekannten) Reflexionsspektrum S(λ) des Messobjekts in diesem Objektpunkt mathematisch schreiben als Integral über den gesamten Wellenlängenbereich:$$F\left(d,c\right)={\displaystyle \int D_d\left(\lambda \right)}{C}_c\left(\lambda \right)S\left(\lambda \right)d\lambda$$

In general, the relationship between the measured "spectral fingerprint" F (d, c) of the measurement object in an object point and the actually interesting (unknown) reflection spectrum S (λ) of the measurement object in this object point can be written mathematically as an integral over the entire wavelength range:$$F\left(d.c\right)={\displaystyle \int D_d\left(\lambda \right)}{C}_c\left(\lambda \right)S\left(\lambda \right)d\lambda$$

Die spektrale Emissionscharakteristik D_d(λ) mit d = {r, g, b, w, s} des Bildschirms und die die spektrale Empfindlichkeit C_c(λ) der Kamera c = {r, g, b} sind definiert wie oben beschrieben. Es können spektrale Kanäle S^k als Mittelwerte über den jeweiligen Wellenlängenbereich [A_k, A_k+1] zwischen den Wellenlängen A_k und A_k+1 definiert werden mit ΔA = A_k+1 - A_k:$$S^k=\frac{1}{\mathrm{\Delta {\rm A}}}{\displaystyle {\int }_{A_k}^{A_{k+1}}S\left(\lambda \right)}d\lambda$$

The spectral emission characteristic D_d (λ) with d = {r, g, b, w, s} of the screen and the spectral sensitivity C_c (λ) of the camera c = {r, g, b} are defined as described above , It is possible to define spectral channels S^k as average values over the respective wavelength range [A_k , A_{k + 1} ] between the wavelengths A_k and A_{k + 1} with ΔA = A_{k + 1} -A_k :$$S^k=\frac{1}{\mathrm{\Delta {\rm A}}}{\displaystyle {\int }_{A_k}^{A_{k+1}}S\left(\lambda \right)}d\lambda$$

Die Komponenten des spektralen Fingerabdrucks F(d, c) lassen sich dann näherungsweise als Summe über die spektralen Kanäle S^k auffassen, also als:$$F\left(d,c\right)={\displaystyle {\sum }_k{S}^k{B}_{dc}^k}$$

mit den für das jeweilige Gerät spezifischen Koeffizienten$$B_{dc}^k=\frac{1}{\mathrm{\Delta }{\rm A}}{\displaystyle {\int }_{A_k}^{A_{k+1}}{D}_d\left(\lambda \right)}{C}_c\left(\lambda \right)d\lambda$$

The components of the spectral fingerprint F (d, c) can then be approximated as a sum over the spectral channels S^k , ie as:$$F\left(d.c\right)={\displaystyle {\Sigma }_k{S}^k{B}_{dc}^k}$$

with the coefficients specific to each device$$B_{dc}^k=\frac{1}{\mathrm{\Delta }{\rm A}}{\displaystyle {\int }_{A_k}^{A_{k+1}}{D}_d\left(\lambda \right)}{C}_c\left(\lambda \right)d\lambda$$

Die spektrale Kanäle S^k sind von den gerätespezifischen Größen D_d(λ) und C_c(λ) nicht (oder nur relativ schwach) abhängig und eignen sich daher besonders gut für eine gerätetypübergreifende Anwendung. Typischerweise umfassen die spektralen Kanäle S^k den gesamten Wellenlängenbereich des Displays und der Kamera. Bei bekannten gerätespezifischen Größen D_d(λ) und C_c(λ) ergibt sich bei einer Messung des spektralen Fingerabdrucks F(d, c) ein Gleichungssystem (Gleichung 3) mit den spektralen Kanälen S^k als Unbekannte. Ist das Gleichungssystem hinreichend linear unabhängig, kann es gelöst werden und man erhält die gesuchten spektralen Kanäle S^k. Die Anzahl und Lage der spektralen Kanäle S^k können hierfür geeignet gewählt werden. Wird die Anzahl der spektralen Kanäle S^k zu hoch gewählt, ist das Gleichungssystem jedoch nicht mehr ausreichend linear unabhängig. In einigen Anwendungen, beispielsweise mit marktüblichen Smartphones, lässt sich das Gleichungssystem bei einer Anzahl von beispielsweise 5 bis 6 Kanälen S^k in vielen Fällen lösen. Unter Ausnutzung nichtlinearer Effekte lassen sich in manchen Fällen eine höhere Anzahl von Kanälen S^k erzielen. Die mögliche Anzahl und Lage der berechenbaren Kanäle S^k für das jeweilige Gerät hängen in der Regel von den Unterschieden zwischen den gerätespezifischen Größen D_d(λ) und C_c(λ) und von Rauscheinflüssen ab. In manchen Fällen lassen sich beispielsweise auch 15 Kanäle S^k realisieren.The spectral channels S^k are not dependent on the device-specific variables D_d (λ) and C_c (λ) (or only relatively weak) and are therefore particularly well suited for a device-type application. Typically, the spectral channels S^k cover the entire wavelength range of the display and the camera. In known device-specific sizes D_d (λ) and C_c (λ) results in a measurement of the spectral fingerprint F (d, c) a system of equations (Equation 3) with the spectral channels S^k as the unknowns. If the system of equations is sufficiently linearly independent, it can be solved and the desired spectral channels S^{k are obtained} . The number and location of the spectral channels S^k can be suitably selected for this purpose. If the number of spectral channels S^{k is selected} to be too high, however, the equation system is no longer sufficiently linearly independent. In some applications, for example with commercially available smartphones, the equation system can be solved in a number of, for example, 5 to 6 channels S^k in many cases. By taking advantage of nonlinear effects, in some cases a higher number of channels S^{k can be} achieved. The possible number and location of the calculable channels S^k for the respective device generally depend on the differences between the device-specific variables D_d (λ) and C_c (λ) and on noise influences. In some cases, for example, 15 channels S^k can also be realized.

Das auf die oben beschriebene Weise bestimmte Reflexionsspektrum S(λ) ist eine Näherung mit einer begrenzten Genauigkeit. Dennoch lassen sich hiermit nützliche Anwendungen umsetzen.The reflection spectrum S (λ) determined in the manner described above is an approximation with a limited accuracy. Nevertheless, useful applications can be implemented herewith.

Alternativ oder zusätzlich zu den spektralen Kanälen S^k kann die genannte Reflexionscharakteristik beispielsweise auch die Abhängigkeit des Reflexionsgrads des Messobjekts (in den jeweiligen Objektpunkten) von dem Einfallwinkel des Lichts auf das Messobjekt (in dem jeweiligen Objektpunkten) sein oder beinhalten. Der winkelabhängige Reflexionsgrad erlaubt In vielen Fällen objektive Rückschlüsse auf den Glanz einer Oberfläche, also auf den Anteil des auf der Oberfläche des Messobjekts gerichtet reflektierten Lichts (im Unterschied zum diffus reflektierten Licht). Beispielsweise kann dieser winkelabhängige Reflexionsgrad auf der Grundlage des oben beschriebenen Glanzmessvektors G(a) oder des Messdatensatzes H(c,d,a) für jeden Objektpunkt ermittelt oder quantitativ abgeschätzt werden. Bei einer stark glänzenden Oberfläche zeigt der winkelabhängige Reflex der Oberfläche typischerweise ein besonders hohes und schmales Intensitätsmaximum auf, wenn der Austrittswinkel der gemessenen reflektierten Strahlung genau dem Einfallswinkel der eintreffenden Strahlung entspricht. Beispielsweise kann ein Histogramm über die Helligkeiten der einzelnen Pixel berechnet werden. Auf Basis des Histogramms bzw. dessen Eigenschaften kann beispielsweise über Schwellwerte oder eine Analyse des Histogramms eine Maßzahl für die Reflexion bezogen auf den Winkel (entsprechend dem aktuell beleuchteten Teil des Bildschirms) berechnet werden.As an alternative or in addition to the spectral channels S^k , the reflection characteristic mentioned may also be or include the dependence of the reflectance of the measurement object (in the respective object points) on the angle of incidence of the light on the measurement object (in the respective object points). In many cases, the angle-dependent reflectance allows objective conclusions to be drawn about the gloss of a surface, ie the proportion of the light reflected on the surface of the test object (in contrast to the diffusely reflected light). For example, this angle-dependent reflectance can be determined or quantitatively estimated on the basis of the above described gloss measurement vector G (a) or the measurement data set H (c, d, a) for each object point. In the case of a strongly glossy surface, the angle-dependent reflection of the surface typically exhibits a particularly high and narrow intensity maximum if the exit angle of the measured reflected radiation exactly corresponds to the angle of incidence of the incident radiation. For example, a histogram of the brightnesses of the individual pixels can be calculated. On the basis of the histogram or its properties, it is possible to calculate, for example via threshold values or an analysis of the histogram, a measure of the reflection with respect to the angle (corresponding to the currently illuminated part of the screen).

Wie bereits zuvor im Zusammenhang mit den Messdatensätzen beschrieben worden ist, insbesondere im Zusammenhang mit dem spektralen Fingerabdruck F(c, d), dem Glanzvektor G(a) und dem Messdatensatzes H(c,d,a), kann die Auswerteeinheit zusätzlich oder alternativ eingerichtet sein, die ermittelten Reflexionscharakteristika des Messobjekts, also beispielsweise die spektralen Kanäle S^k oder die ermittelten Werte für den winkelabhängige Reflexionsgrad, mit mindestens einer vordefinierten Referenzreflexionscharakteristik zu vergleichen.As has already been described above in connection with the measurement data sets, in particular in connection with the spectral fingerprint F (c, d), the gloss vector G (a) and the measurement data set H (c, d, a), the evaluation unit may additionally or alternatively be set up to compare the determined reflection characteristics of the measurement object, so for example, the spectral channels S^k or the determined values for the angle-dependent reflectance, with at least one predefined reference reflection characteristic.

Für das System, das Verfahren und das Computerprogramm ergeben sich verschiedene Anwendungen, von denen einige exemplarisch und nach Anwendungskomplexen sortiert aufgezählt werden.The system, the method and the computer program result in various applications, some of which are listed as examples and sorted by application complex.

Anwendungskomplex 1:Application complex 1:

Mensch - Medizin:

• - Hauttyp
• - Haartyp
• - Hautfarbe
• - Verfärbung (Leberflecken, Melanome)
• - Wundheilung, Farbe von Entzündungen

Human - Medicine:

• - skin type
• - Hair type
• - Skin color
• - discoloration (liver spots, melanomas)
• - wound healing, color of inflammation

Mensch - Kosmetik (Empfehlung von Pflegeprodukten und Verhaltensweisen):

• - Hauttyp, Hautfarbe (allgemein)
• - Auswahl Kosmetika
• - Auswahl Sonnenschutz
• - Auswahl Färbemittel
• - Auswahl Pflegemittel
• - Hautfarbe (aktuell)
• - Bräunungsgrad
• - Haarfarbe (aktuell)
• - neue Färbung, Tönung nötig?

Human - Cosmetics (recommendation of care products and behaviors):

• - skin type, skin color (general)
• - Selection of cosmetics
• - Selection sun protection
• - Selection of colorants
• - Selection of care products
• - Skin color (current)
• - degree of browning
• - hair color (currently)
• - new coloring, tint necessary?

Haus- und Nutztier:

• - Haut, Fell
• - Pflegeprodukte
• - Gesundheit

Domestic and farm animal:

• - skin, fur
• - toiletries
• - Health

Anwendungskomplex 2:Application complex 2:

Produktion und Verarbeitung pflanzlicher Produkte:

• - Erkennung des Gesundheits- und Ernährungszustandes von Kulturpflanzen in vivo im Feldbestand, Gewächshaus und Labor (alle Arten von biotischem und abiotischem Stress)
• - Erkennung von Beikräutern und unerwünschten Pflanzen im Rahmen der landwirtschaftlichen Produktion im Feldbestand
• - Bestimmung von Qualitätsparametern von Erntegut direkt bei/nach der Ernte sowie bei der Lagerung, dem Verkauf und der Weiterverarbeitung
• - Erkennung von unerwünschten Produkten I Objekten I Verunreinigungen I Pilz- u. Schädlingsbefall im Erntegut direkt bei/nach der Ernte sowie bei der Lagerung, dem Verkauf und der Weiterverarbeitung
• - Bestimmung von Qualitätsparametern von Saatgut im Rahmen der Pflanzenzüchtung (Selektion) und der Saatgutproduktion (Qualitätssicherung)

Production and processing of vegetable products:

• - Detecting the health and nutritional status of crops in vivo in the field, greenhouse and laboratory (all types of biotic and abiotic stress)
• - Detection of weeds and unwanted plants in agricultural production in the field
• - Determination of quality parameters of crop directly during / after harvesting as well as during storage, sale and further processing
• - Detection of unwanted products I objects I impurities I mushroom u. Pest infestation in the crop directly during / after harvesting as well as during storage, sale and further processing
• - Determination of quality parameters of seeds in the context of plant breeding (selection) and seed production (quality assurance)

Anwendungskomplex 3:Application complex 3:

Bestimmung von Eigenschaften von Textilien, wie Leder, Fell, Stoffe natürlichen oder künstlichen Ursprungs:

• - Farbe
• - Textur
• - Zusammensetzung
• - Herkunft
• - Alter
• - Sauberkeit
• - Farbnuancen, Stilberatung (wann passt was zueinander)

Determination of properties of textiles, such as leather, fur, fabrics of natural or artificial origin:

• - Colour
• - texture
• - Composition
• - Origin
• - Age
• - cleanliness
• - color shades, style advice (when fits each other)

Anwendungskomplex 4:Application complex 4:

Bestimmung von Eigenschaften von Lebensmitteln (Obst, Gemüse, Fisch, Fleisch, Pilze, Molkereiprodukte, verarbeitete Produkte)

• - Haltbarkeit
• - Frische, Alter, Reifegrad
• - Reinheit, Zusammensetzung
• - Sorte
• - Verarbeitungsgrad
• - Behandlung bzw. Unbehandeltheit.

Determination of the properties of foods (fruits, vegetables, fish, meat, mushrooms, dairy products, processed products)

• - durability
• - freshness, age, maturity
• - purity, composition
• - Variety
• - degree of processing
• - Treatment or untreatedness.

Nachfolgend wird die Erfindung anhand von speziellen Ausführungsbeispielen näher erläutert, welche in den1 bis8 schematisch dargestellt sind. Es zeigt:

• 1 ein System hier vorgeschlagener Art,
• 2 ein mobiles elektronisches Gerät des in1 gezeigten Systems,
• 3A-3E das mobile elektronische Gerät des in1 gezeigten Systems in einer Ansicht von vorne, jeweils ein unterschiedliches Beleuchtungsbild einer ersten Beleuchtungsbildfolge anzeigend,
• 4 das mobile elektronische Gerät des in1 gezeigten Systems in einer Seitenansicht, ein Beleuchtungsbild der ersten Beleuchtungsbildfolge anzeigend, und ein Messobjekt
• 5A-5E das mobile elektronische Gerät des in1 gezeigten Systems in einer Ansicht von vorne, jeweils ein unterschiedliches Beleuchtungsbild einer zweiten Beleuchtungsbildfolge anzeigend,
• 6A-6C das mobile elektronische Gerät des in1 gezeigten Systems in einer Seitenansicht, jeweils ein unterschiedliches Beleuchtungsbild der ersten Beleuchtungsbildfolge anzeigend, und ein Messobjekt,
• 7 eine schematische Darstellung mehrerer Messbilder, die mit dem Gerät des in1 gezeigten Systems von einem Messobjekt erfasst worden sind, und
• 8 ein Flussdiagram mit Schritten eines Verfahrens hier vorgeschlagener Art.

The invention will be explained in more detail with reference to specific embodiments, which in the 1 to 8th are shown schematically. It shows:

• 1 a system of the kind proposed here,
• 2 a mobile electronic device of the 1 shown system,
• 3A - 3E the mobile electronic device of the 1 shown system in a front view, each indicating a different lighting image of a first illumination sequence,
• 4 the mobile electronic device of the 1 in a side view, displaying an illumination image of the first illumination sequence, and a measurement object
• 5A - 5E the mobile electronic device of the 1 shown system in a front view, each indicating a different lighting image of a second illumination sequence,
• 6A - 6C the mobile electronic device of the 1 shown system in a side view, each indicating a different illumination image of the first illumination sequence, and a measurement object,
• 7 a schematic representation of several measurement images, with the device of in 1 shown system have been detected by a measuring object, and
• 8th a flow chart with steps of a method proposed here type.

Identische oder einander entsprechende Merkmale sind in den Figuren mit den gleichen Bezugszeichen versehen.Identical or corresponding features are provided in the figures with the same reference numerals.

1 zeigt ein System1 hier vorgeschlagener Art zum Erfassen und Auswerten von Messbildern eines Messobjekts. Das System1 umfasst mehrere mobile elektronische Geräte2, von denen in1 der Übersichtlichkeit nur eines dargestellt ist. Außerdem umfasst das System1 in diesem Beispiel außerdem mehrere Computer3, wie beispielsweise Computerserver oder PCs, von denen ebenfalls nur einer gezeigt ist. Die nachfolgende Beschreibung kann sich auf jedes der Geräte2 bzw. Computer3 beziehen, obwohl jeweils nur von dem Gerät2 bzw. dem Computer3 die Rede ist. 1 shows asystem 1 Here proposed type for detecting and evaluating measurement images of a DUT. Thesystem 1 includes several mobileelectronic devices 2 of which in 1 the clarity of only one is shown. In addition, the system includes 1 In this example, more than onecomputer 3 such as computer servers or personal computers, of which only one is also shown. The following description may apply to any of thedevices 2 orcomputer 3 refer, although only from thedevice 2 or thecomputer 3 the speech is.

Im gezeigten Beispiel sind das Gerät2 und der Computer3 über ein Computernetzwerk4, beispielsweise über das Internet, miteinander verbunden. In einer anderen Ausführungsform umfasst das System keine weiteren Computer3.In the example shown are thedevice 2 and thecomputer 3 over acomputer network 4 For example, via the Internet, connected. In another embodiment, the system does not include anyother computers 3 ,

Bei dem Gerät2 kann es sich beispielsweise ein Smartphone handeln, beispielsweise um ein iPhone des Herstellers Apple. Es könnte sich bei dem Gerät 2 aber auch um ein Smartphone eines anderen Herstellers oder um ein anderes mobiles elektronisches Gerät handeln, beispielsweise um einen Tablet-Computer.At thedevice 2 For example, it can be a smartphone, for example, an iPhone from the manufacturer Apple. However, thedevice 2 could also be a smartphone from another manufacturer or another mobile electronic device, for example a tablet computer.

Das Gerät umfasst ein Gehäuse5 und eine in dem Gehäuse5 integrierte Kamera6 zum Aufnehmen von Messbildern eines Messobjekts innerhalb eines Beobachtungsbereichs der Kamera6. Das Gerät umfasst außerdem einen in dem Gehäuse4 integrierten Bildschirm7 zum lichtemittierenden Anzeigen von Bildern. Der Bildschirm7 ist dem Beobachtungsbereich der Kamera6 zugewandt.The device includes ahousing 5 and one in thehousing 5integrated camera 6 for capturing measurement images of a measurement object within an observation area of thecamera 6 , The device includes also one in thecase 4integrated screen 7 for light-emitting display of images. Thescreen 7 is the observation area of thecamera 6 facing.

2 zeigt eine weitere schematisierte Darstellung des Geräts2, in der einige der Komponenten des Geräts2 gezeigt sind. Das Gerät2 umfasst eine in dem Gehäuse integrierte Steuereinheit8, die eingerichtet ist, den Bildschirm6 anzusteuern, mehrere verschiedene Beleuchtungsbilder einer vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen. Die Steuereinheit8 ist außerdem eingerichtet, die Kamera6 anzusteuern, synchron zum Anzeigen eines jeden Beleuchtungsbildes der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild von dem Messobjekt zu erfassen. 2 shows a further schematic representation of thedevice 2 in which some of the components of thedevice 2 are shown. Thedevice 2 includes a control unit integrated in the housing 8th that is set up thescreen 6 to drive to display several different illumination images of a predefined illumination sequence successively. The control unit 8th is also set up thecamera 6 to control, in each case synchronously to display each illumination image of the predefined illumination sequence to capture a measurement image of the measurement object.

Das Gerät2 umfasst einen internen Datenspeicher9, der in das Gehäuse4 des Geräts2 integriert ist. Der interne Datenspeicher9 umfasst beispielsweise einen volatilen und einen nicht-volatiler Datenspeicher, beispielsweise ein RAM und ein ROM, beispielsweise in Form eines oder mehrerer Halbleiterlaufwerke.Thedevice 2 includes an internal data memory 9 in thecase 4 of thedevice 2 is integrated. The internal data store 9 includes, for example, a volatile and a non-volatile data memory, such as a RAM and a ROM, for example in the form of one or more semiconductor drives.

Auf dem Gerät2 ist ein Computerprogrammprodukt10 geladen, das Softwarecodeabschnitte umfasst. In den Softwarecodeabschnitten sind Anweisungen enthalten, welche durch die Steuereinheit ausführbar sind. Bei der Ausführung dieser Anweisungen führt die Steuereinheit die oben beschriebene Steuerung des Bildschirms6 und der Kamera5 sowie weitere Schritte, die nachfolgende beschrieben werden, aus, wenn das Computerprogrammprodukt auf dem Gerät2 läuft.On thedevice 2 is acomputer program product 10 loaded, which includes software code sections. The software code sections contain instructions that can be executed by the control unit. In executing these instructions, the control unit performs the above-described control of thescreen 6 and thecamera 5 and other steps described below when the computer program product is on thedevice 2 running.

Bei dem Computerprogrammprodukt9 handelt es sich um ein auf dem Datenspeicher9 gespeichertes Computerprogramm. Dieses Computerprogramm ist auch auf einem Datenspeicher11 des Computers3, beispielsweise einer Festplatte des Computers3, gespeichert und ist beispielsweise von dem Computer 3 über das Computernetzwerk 4auf das Gerät2 geladen worden.In the computer program product 9 it is on the data store 9 stored computer program. This computer program is also on adata store 11 of thecomputer 3 for example, a hard disk of thecomputer 3 , stored and is, for example, from thecomputer 3 via thecomputer network 4 to thedevice 2 been loaded.

Die Steuereinheit8 ist eine (logische oder integrierte) Einheit eines (digitalen) Prozessors12, zum Beispiel eines Hauptprozessors (CPU) des Geräts2 in Form eines elektronischen Schaltkreises, der beispielsweise als Halbleiterchip realisiert ist. Der Prozessor12 ist mit dem Datenspeicher9 des Geräts2 verbunden, um auf den Datenspeicher9 zuzugreifen und insbesondere das in dem Datenspeicher9 geladene Computerprogrammprodukt bzw. dessen geladenen Softwarecodeabschnitte abzurufen und anschließend (als Steuereinheit8 des Geräts) die oben genannten Schritte (synchrones Ansteuern des Bildschirms7 und der Kamera6) sowie weitere nachfolgend beschriebene Schritte auszuführen.The control unit 8th is a (logical or integrated) unit of a (digital)processor 12 , for example, a main processor (CPU) of thedevice 2 in the form of an electronic circuit, which is realized for example as a semiconductor chip. Theprocessor 12 is with the data store 9 of thedevice 2 connected to the data store 9 and in particular, that in the data store 9 retrieve loaded computer program product or its loaded software code sections and then (as a control unit 8th of the device) the above steps (synchronous driving of thescreen 7 and the camera 6 ) and further steps described below.

Das Gerät2 umfasst außerdem eine Auswerteeinheit13, welche ebenfalls eine (logische oder integrierte) Einheit eines (digitalen) Prozessors12 ist. Die Auswerteeinheit13 ist eingerichtet, Verfahrensschritte zur Auswertung der Messbilder durchzuführen. Das Computerprogrammprodukt enthält weitere Softwarecodeabschnitte, in denen entsprechende Anweisungen codiert sind, die mittels des Prozessors12 des Geräts ausgeführt werden können, so dass der Prozessor12 bei der Ausführung dieser weiteren Anweisungen als die genannte Auswerteeinheit13 des Geräts2 fungiert.Thedevice 2 also includes anevaluation unit 13 , which is also a (logical or integrated) unit of a (digital)processor 12 is. Theevaluation unit 13 is set up to carry out process steps for evaluating the measurement images. The computer program product contains further software code sections in which corresponding instructions are encoded, by means of theprocessor 12 of the device can be run so that theprocessor 12 in the execution of these further instructions as saidevaluation unit 13 of thedevice 2 acts.

Prinzipiell ist es zusätzlich oder alternativ auch möglich, dass entsprechende Auswerteschritte beispielsweise mittels des Computers3 ausgeführt werden. Hierzu kann der Computer (ebenfalls) eine entsprechend eingerichtete Auswerteeinheit14 umfassen, die beispielsweise eine (logische oder integrierte) Einheit eines Prozessors15 des Computers3 sein kann. Es ist auch möglich, dass die Auswertung der Messbilder teilweise durch die Auswerteeinheit13 des Geräts2 und teilweise durch die Auswerteeinheit14 des Computers3 durchgeführt wird.In principle, it is additionally or alternatively also possible for corresponding evaluation steps to be carried out, for example, by means of thecomputer 3 be executed. For this purpose, the computer (also) an appropriately equippedevaluation 14 include, for example, a (logical or integrated) unit of aprocessor 15 of thecomputer 3 can be. It is also possible that the evaluation of the measurement images partly by theevaluation unit 13 of thedevice 2 and partly by theevaluation unit 14 of thecomputer 3 is carried out.

Die vordefinierte Beleuchtungsbildfolge ist in diesem Beispiel durch einen Satz von Beleuchtungsparametern, die weiter unter näher beschrieben werden, vollständig definiert. Die Beleuchtungsparameter sind auf dem Datenspeicher 9 des mobilen elektronischen Geräts2 sowie auf dem Datenspeicher11 des Computers3 gespeichert. Beispielsweise enthält der Softwarecode des Computerprogrammprodukts10 Definitionen und Werte der Beleuchtungsparameter. Beispielsweise ist durch das Laden des Computerprogrammprodukts 10 auf das Gerät2 eine automatische Speicherung der Beleuchtungsparameter auf dem Datenspeicher9 des Geräts2 erfolgt. Bei der Durchführung der oben beschriebenen Verfahrensschritte ruft die Steuereinheit8 die gespeicherten Beleuchtungsparameter aus dem Datenspeicher11 ab, ermittelt anschließend auf der Grundlage der abgerufenen Beleuchtungsparameter die vordefinierte Beleuchtungsbildfolge und steuert anschließend den Bildschirm 7 zum Anzeigen der Beleuchtungsbilder der so ermittelten vordefinierten Beleuchtungsbildfolge an und synchron hierzu die Kamera6 zum Aufnehmen der Messbilder.The predefined illumination sequence is completely defined in this example by a set of illumination parameters, which are further described below. The illumination parameters are on the data memory 9 of the mobileelectronic device 2 as well as on thedata memory 11 of thecomputer 3 saved. For example, the software code of the computer program product contains 10 Definitions and values of the illumination parameters. For example, by loading thecomputer program product 10 onto thedevice 2 an automatic storage of lighting parameters on the data memory 9 of thedevice 2 he follows. In carrying out the method steps described above, the control unit calls 8th the stored lighting parameters from thedata memory 11 then, based on the retrieved illumination parameters, determines the predefined illumination sequence and then controls thescreen 7 to display the illumination images of the thus determined predefined illumination sequence and synchronously to thecamera 6 for recording the measurement images.

Der Bildschirm7 des Geräts2 ist ein Touchscreen, der als eine Benutzerschnittstelle des 16 des Geräts fungiert. Die Benutzerschnittstelle16 erlaubt insbesondere die Bedienung des Geräts zur Durchführung des vorgeschlagenen Verfahrens. Beispielsweise kann über die Benutzerschnittstelle16 die vordefinierte Beleuchtungsbildfolge direkt oder indirekt eingestellt werden. Beispielsweise ist mittels der Benutzerschnittstelle16 eine Auswahl zwischen verschiedenen (gespeicherten) vordefinierten Beleuchtungsbildfolgen ermöglicht. Dies kann beispielsweise dadurch erfolgen, dass mittels der Benutzerschnittstelle 16 die Art des zu untersuchenden Messobjekts eingegeben und eine Auswahl einer oder mehrerer interessierender Eigenschaften des ausgewählten Messobjekts getroffen wird. Von diesen Eingaben abhängig bestimmt die Steuereinheit8 beispielsweise die Beleuchtungsbilder der Beleuchtungsbildfolge und bestimmt die Auswerteeinheit13 beispielsweise die Art der Auswertung. Thescreen 7 of thedevice 2 is a touchscreen that acts as a user interface of the device's 16. The user interface 16 allows in particular the operation of the device for carrying out the proposed method. For example, via the user interface 16 the predefined illumination sequence can be set directly or indirectly. For example, by means of the user interface 16 allows a selection between different (stored) predefined illumination sequences. This can be done, for example, by entering the type of the test object to be examined by means of the user interface 16 and making a selection of one or more interesting properties of the selected test object. Dependent on these inputs, the control unit determines 8th For example, the illumination images of the illumination sequence and determines theevaluation 13 for example, the type of evaluation.

Der Datenspeicher9 des Geräts2 ist zum Speichern der aufgenommenen Messbilder eingerichtet. Hierzu überträgt die Steuereinheit8 die aufgenommenen Messbilder auf den Datenspeicher9 und initiiert die Speicherung. Beispielsweise kann die Auswerteeinheit13 des Geräts auf die in dem Datenspeicher9 gespeicherten Messbilder zugreifen, um die Auswertung durchzuführen. Außerdem kann die Steuereinheit8 den Bildschirm7 beispielsweise ansteuern, eines oder mehrere der aufgenommenen Messbilder automatisch nach dem Aufnehmen der Messbilder anzuzeigen. Prinzipiell ist es zusätzlich oder alternativ auch möglich, dass die Messbilder auf den Computer3 übertragen, dort im Datenspeicher11 gespeichert und mittels der Auswerteeinheit 14 ausgewertet werden.The data store 9 of thedevice 2 is set up to save the recorded measurement images. For this purpose, the control unit transmits 8th the recorded measurement images on the data memory 9 and initiates the storage. For example, theevaluation unit 13 of the device to the one in the data store 9 stored measurement images to perform the evaluation. In addition, the control unit 8th thescreen 7 For example, control to automatically display one or more of the recorded measurement images after recording the measurement images. In principle, it is additionally or alternatively also possible for the measurement images to be on thecomputer 3 transferred, there in thedata memory 11 stored and evaluated by theevaluation unit 14.

Auf dem Datenspeicher9 des Geräts2 ist außerdem ein Betriebssystem des Geräts2 installiert, wie beispielsweise iOS, sowie weitere Anwendungsprogramme, insbesondere ein Internetbrowser und eine App-Store-Anwendung. Über die App-Store-Anwendung kann eine (Internet-)Verbindung des Geräts2 zu einem App-Store herstellbar sein. Das Computerprogrammprodukt10 ist beispielsweise als eine App über diese App-Store-Anwendung von dem Datenspeicher11 des Computers3 auf den Datenspeicher11 des Geräts2 ladbar und wird dort dauerhaft gespeichert. Alternativ ist es aber auch möglich, dass das Computerprogrammprodukt10 als eine Web-App über den Internet-Browser des Geräts2 von einer Internet-Seite eines Providers von dem Datenspeicher11 des Computers3 auf den Datenspeicher9 des Geräts ladbar ist. Das Computerprogramm wird dann beispielsweise auf dem Datenspeicher9 temporär für die Durchführung des Verfahrens gespeichert und anschließend automatisch wieder gelöscht.On the data store 9 of thedevice 2 is also an operating system of thedevice 2 installed, such as iOS, as well as other application programs, in particular an Internet browser and an App Store application. Through the App Store application can connect to the (Internet)device 2 be produced to an App Store. Thecomputer program product 10 for example, as an app through this app store application from thedatastore 11 of thecomputer 3 to thedata store 11 of thedevice 2 loadable and is stored there permanently. Alternatively, it is also possible that thecomputer program product 10 as a web app through the internet browser of thedevice 2 from an Internet site of a provider of thedata store 11 of thecomputer 3 to the data store 9 of the device is loadable. The computer program is then for example on the data memory 9 temporarily stored for the execution of the method and then automatically deleted again.

Das Gerät umfasst mehrere (drahtlose) Datenschnittstellen17, wie beispielsweise eine Funkschnittstelle, um das Gerät mit dem Internet verbinden zu können.The device includes several (wireless) data interfaces 17 , such as a wireless interface, to connect the device to the Internet.

Das mobile (portable) elektronische Gerät2 ist leicht und klein, so dass es von einem Nutzer während der Anzeige der Beleuchtungsbilder und der Erfassung der Messbilder bequem mit nur einer Hand in einer geeigneten Position relativ zum Messobjekt ausgerichtet und gehalten werden kann. Das Gerät2 wiegt daher vorzugsweise weniger als 1 kg, beispielsweise etwa 200 g. Eine maximale Kantenlänge des ungefähr quaderförmigen Gehäuses5 beträgt beispielsweise weniger als 20 cm, beispielweise etwa 16 cm, und eine minimale Kantenlänge beträgt beispielsweise weniger als 1 cm, beispielsweise etwa 8 mm.The mobile (portable)electronic device 2 is light and small, so that it can be easily aligned and held by a user during the display of the illumination images and the acquisition of the measurement images with one hand in a suitable position relative to the measurement object. Thedevice 2 therefore preferably weighs less than 1 kg, for example about 200 g. A maximum edge length of the approximatelycuboid housing 5 For example, is less than 20 cm, for example, about 16 cm, and a minimum edge length is for example less than 1 cm, for example about 8 mm.

Die Kamera6 des Geräts umfasst ein Objektiv18, das auf einer Vorderseite19 des Gehäuses5 angeordnet ist und den Beobachtungsbereich20 der Kamera 6 definiert. Die Kamera5 umfasst einen Bildsensor21, beispielsweise einen lichtempfindlichen Halbleiterchip, wie beispielsweise ein CCD - oder CMOS-Sensor oder einen InGAs-Sensor. Der Bildsensor21 weist eine Vielzahl in einem Gesamtraster angeordneter Sensoreinheiten (nicht dargestellt) auf. Jede der Sensoreinheiten umfasst mehrere benachbarte lichtempfindliche Sensorelemente (nicht dargestellt) des Bildsensors21, die unterschiedlichen Farbkanälen der Kamera6 angehören. Jede Sensoreinheit entspricht einem Bildpunkt (Pixel) eines mittels der Kamera6 erfassten Messbildes. Die Positionen der Sensoreinheiten und ihrer Sensorelemente innerhalb des Bildsensors sind durch zwei Sensorkoordinaten (XY) der jeweiligen Sensoreinheit definiert.Thecamera 6 of the device includes alens 18 on afront side 19 of thehousing 5 is arranged and theobservation area 20 thecamera 6 defined. Thecamera 5 includes animage sensor 21 For example, a photosensitive semiconductor chip, such as a CCD or CMOS sensor or an InGAs sensor. Theimage sensor 21 has a plurality of arranged in a total grid sensor units (not shown). Each of the sensor units includes a plurality of adjacent photosensitive sensor elements (not shown) of theimage sensor 21 , the different color channels of thecamera 6 belong. Each sensor unit corresponds to a pixel (pixel) of one by means of thecamera 6 captured measurement image. The positions of the sensor units and their sensor elements within the image sensor are defined by two sensor coordinates (XY) of the respective sensor unit.

Die Kamera5 ist für Licht mit den Wellenlängen zwischen etwa 400 nm und etwa 800 nm empfindlich und weist einen roten, einen grünen und einen blauen Farbkanal auf. Für jeden der Farbkanäle weist die Kamera eine kanalspezifische spektrale Empfindlichkeit C_c(λ) auf. Jeder der Farbkanäle der Kamera ist durch eine Teilmenge der Sensorelemente des Bildsensors21 gebildet, deren spektralen Empfindlichkeiten mit der kanalspezifischen spektralen Empfindlichkeit des jeweiligen Farbkanals der Kamera übereinstimmen. Die Sensorelemente jedes Farbkanals sind somit jeweils in einem Teilraster angeordnet, dass sich über den Bildsensor21 erstreckt. Die Teilraster der Sensorelemente der verschiedenen Farbkanäle überlagern sich räumlich gegenseitig und bilden so das Gesamtraster der Sensoreinheiten des Bildsensors21.Thecamera 5 is sensitive to light with the wavelengths between about 400 nm and about 800 nm and has red, green and blue color channels. For each of the color channels, the camera has a channel-specific spectral sensitivity C_c (λ). Each of the color channels of the camera is through a subset of the sensor elements of theimage sensor 21 whose spectral sensitivities coincide with the channel-specific spectral sensitivity of the respective color channel of the camera. The sensor elements of each color channel are thus each arranged in a sub-grid that extends over theimage sensor 21 extends. The sub-grids of the sensor elements of the different color channels are spatially superimposed on one another and thus form the overall grid of the sensor units of theimage sensor 21 ,

Der Bildschirm7 ist ebenfalls auf der Vorderseite19 des Gehäuses5 angeordnet und emittiert Licht im sichtbaren Spektralbereich zwischen etwa 400 nm und etwa 800 nm. Der Bildschirm7 weist wie die Kamera6 einen roten, einen grünen und einen blauen Farbkanal auf. In jedem der Farbkanäle weist der Bildschirm7 eine kanalspezifische spektrale Emissionscharakteristik D_d(λ), welche den drei Grundfarben Rot, Grün und Blau des Bildschirms7 entsprechen. Der Bildschirm7 weist eine Vielzahl in einem Gesamtraster des Bildschirms7 angeordneter Leuchtelemente (nicht dargestellt) auf, welche Bildpunkte (Pixel) des Bildschirms7 bilden und zusammen eine Gesamtbildfläche 22 des Bildschirms7 befüllen. Jeder der Farbkanäle ist durch eine Teilmenge der Leuchtelemente des Bildschirms gebildet ist, deren spektralen Emissionscharakteristika mit der kanalspezifischen spektralen Emissionscharakteristik des jeweiligen Farbkanals übereinstimmen. Jeder Bildpunkt des Bildschirms wird durch eine Gruppe benachbarter Leuchtelemente gebildet, die den unterschiedlichen Farbkanälen angehören. Thescreen 7 is also on thefront 19 of thehousing 5 arranged and emits light in the visible spectral range between about 400 nm and about 800 nm. Thescreen 7 points like the camera 6 a red, a green and a blue color channel. In each of the color channels, the screen faces 7 a channel-specific spectral emission characteristic D_d (λ), which the three primary colors red, green and blue of thescreen 7 correspond. Thescreen 7 has a variety in a total grid of thescreen 7 arranged light elements (not shown), which pixels (pixels) of thescreen 7 form and together atotal image area 22 of thescreen 7 fill. Each of the color channels is formed by a subset of the luminous elements of the screen whose spectral emission characteristics match the channel-specific spectral emission characteristics of the respective color channel. Each pixel of the screen is formed by a group of adjacent luminous elements belonging to the different color channels.

Neben einem Lautsprecher und einem Mikrophon (beides nicht dargestellt) beispielsweise für Telefonie-Anwendungen umfasst das Gerät außerdem einen wiederaufladbaren Energiespeicher45 zum Versorgen der Komponenten des Geräts2 mit elektrischer Energie.In addition to a speaker and a microphone (both not shown), for example, for telephony applications, the device also includes arechargeable energy storage 45 to supply the components of thedevice 2 with electrical energy.

In3A bis3E ist das elektronische Gerät des in1 gezeigten Systems1 jeweils in einer Ansicht von vorne gezeigt, wobei mittels des Bildschirms7 jeweils ein Beleuchtungsbild einer ersten vordefinierten Beleuchtungsbildungsfolge angezeigt wird. In dem gezeigten Beispiel umfasst diese erste Beleuchtungsbildfolge: ein rotes Beleuchtungsbild 23, ein grünes Beleuchtungsbild 24, ein blaues Beleuchtungsbild 25 und ein weißes Beleuchtungsbild 26 (Weißbild). Außerdem wird ein schwarzes Beleuchtungsbild 27 (Schwarzbild) angezeigt.In 3A to 3E is the electronic device of the in 1 shownsystem 1 each shown in a view from the front, using thescreen 7 in each case an illumination image of a first predefined illumination formation sequence is displayed. In the example shown, this first illumination sequence comprises: ared illumination image 23, agreen illumination image 24, ablue illumination image 25 and a white illumination image 26 (white image). In addition, a black illumination image 27 (black image) is displayed.

Die Steuereinheit8 des mobilen elektronischen Geräts2 ist eingerichtet, den Bildschirm7 des mobilen elektronischen Geräts2 anzusteuern,

• -das rote Beleuchtungsbild 23 anzuzeigen durch ein Aktivieren der Leuchtelemente nur des roten Farbkanals des Bildschirms7 und durch ein Ansteuern aller aktivierten Leuchtelemente des roten Farbkanals mit einem für den roten Farbkanal vordefinierten einheitlichen Helligkeitswert,
• -das grüne Beleuchtungsbild 24 anzuzeigen durch ein Aktivieren der Leuchtelemente nur des grünen Farbkanals des Bildschirms7 und durch ein Ansteuern aller aktivierten Leuchtelemente des grünen Farbkanals mit einem für den grünen Farbkanal vordefinierten einheitlichen Helligkeitswert, und
• -das blaue Beleuchtungsbild 25 anzuzeigen durch ein Aktivieren der Leuchtelemente nur des blauen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des blauen Farbkanals mit einem für den blauen Farbkanal vordefinierten einheitlichen Helligkeitswert.

The control unit 8th of the mobileelectronic device 2 is set up thescreen 7 of the mobileelectronic device 2 head for,

• to display thered illumination image 23 by activating the light elements of only the red color channel of thescreen 7 and by activating all activated luminous elements of the red color channel with a uniform brightness value predefined for the red color channel,
• to display thegreen illumination image 24 by activating the light elements of only the green color channel of thescreen 7 and by activating all activated luminous elements of the green color channel with a uniform brightness value predefined for the green color channel, and
• - To display theblue illumination image 25 by activating the light elements only the blue color channel of the screen and by driving all activated light elements of the blue color channel with a predefined for the blue color channel uniform brightness value.

Die nicht-aktivierten Leuchtelemente der jeweils übrigen Farbkanäle werden ausgeschaltet oder jeweils mit einem kleinstmöglichen Helligkeitswert angesteuert werden.The non-activated light elements of the remaining color channels are switched off or each controlled with a minimum possible brightness value.

Das Weißbild 26 wird erzeugt, indem die Steuereinheit8 alle Leuchtelemente des Bildschirms7 aktiviert und mit dem größtmöglichen Helligkeitswert angesteuert. Das Schwarzbild 27 wird erzeugt, indem die Steuereinheit8 alle Leuchtelemente des Bildschirms7 ausschaltet oder deaktiviert oder mit dem kleinstmöglichen Helligkeitswert ansteuert. Das weiße Beleuchtungsbild und das schwarze Beleuchtungsbild werden von der Auswerteeinheit13 zur Kalibrierung der übrigen Messbilder und zur Abschätzung von Umgebungslichteinflüssen verwendet.Thewhite image 26 is generated by the control unit 8th all the light elements of thescreen 7 activated and controlled with the highest possible brightness value. Theblack image 27 is generated by the control unit 8th all the light elements of thescreen 7 switches off or deactivates or activates with the smallest possible brightness value. The white illumination image and the black illumination image are taken from theevaluation unit 13 used to calibrate the remaining measurement images and to estimate ambient light influences.

Die Beleuchtungsbilder 23, 24, 25, 26, 27 der ersten Beleuchtungsbildfolge füllen die Gesamtbildfläche22 des Bildschirms7 jeweils vollständig aus. Neben den oben genannten Helligkeitswerten ist die erste Beleuchtungsbildfolge durch folgende weitere Beleuchtungsparameter definiert:

• - Gesamtzahl der Beleuchtungsbilder, in diesem Fall drei Farbbilder, ein Weißbild und ein Schwarzbild,
• - Reihenfolge der Beleuchtungsbilder, in diesem Fall beispielsweise die Reihenfolge rot, grün, blau, weiß, schwarz (oder eine grundsätzlich beliebige andere vordefinierte Reihenfolge),
• - Anzeigedauer der Beleuchtungsbilder, in diesem Beispiel in einem Bereich zwischen 100 ms und 200 ms, beispielsweise 150 ms,
• - zeitlicher Abstand zwischen dem Anzeigen der einzelnen Beleuchtungsbilder, in diesem Beispiel in einem Bereich zwischen 5 ms und 10 ms, beispielsweise 7 ms.

Theillumination images 23, 24, 25, 26, 27 of the first illumination sequence fill theentire image area 22 Of thescreen 7 each completely off. In addition to the brightness values mentioned above, the first illumination sequence is defined by the following further illumination parameters:

• The total number of illumination images, in this case three color images, a white image and a black image,
• Sequence of illumination images, in this case, for example, the order red, green, blue, white, black (or basically any other predefined order),
• Display duration of the illumination images, in this example in a range between 100 ms and 200 ms, for example 150 ms,
• - Time interval between the display of the individual illumination images, in this example in a range between 5 ms and 10 ms, for example 7 ms.

In4 ist das mobile elektronische Gerät2 in einer Seitenansicht gezeigt, während mittels des Bildschirms7 eines der Beleuchtungsbilder der vordefinierten ersten Beleuchtungsbildfolge angezeigt wird, beispielsweise das rote Beleuchtungsbild 23. Außerdem ist ein Teil eines Messobjekts38 dargestellt, das in dem Beobachtungsbereich20 der Kamera6 angeordnet ist. Während des Anzeigens Beleuchtungsbildes 23 emittiert der Bildschirm7 des Geräts2 rotes Licht (in4 mit gestrichelten Linien dargestellt) und beleuchtet das Messobjekt38 mit diesem roten Licht. Beim synchronen Aufnehmen des zu dem Beleuchtungsbild 23 gehörigen Messbildes wird das vom Messobjekt 23 reflektierte Licht (in4 mit gestrichelten Linien dargestellt) von der Kamera6 erfasst und belichtet den Bildsensor21. Dies wird entsprechend für die anderen Beleuchtungsbilder der ersten Beleuchtungsbildfolge wiederholt. In 4 is the mobileelectronic device 2 shown in a side view while using thescreen 7 one of the illumination images of the predefined first illumination sequence is displayed, for example, thered illumination image 23. In addition, a part of ameasurement object 38 shown in theobservation area 20 thecamera 6 is arranged. During display ofillumination image 23, the screen emits 7 of thedevice 2 red light (in 4 shown with dashed lines) and illuminates themeasurement object 38 with this red light. During synchronous recording of the measurement image associated with theillumination image 23, the light reflected by the measurement object 23 (in FIG 4 shown with dashed lines) from thecamera 6 captures and exposes theimage sensor 21 , This is repeated accordingly for the other illumination images of the first illumination sequence.

In5A bis5E ist das elektronische Gerät des in1 gezeigten Systems1 erneut in einer Ansicht von vorne gezeigt, wobei mittels des Bildschirms7 jeweils ein Beleuchtungsbild einer zweiten vordefinierten Beleuchtungsbildungsfolge angezeigt wird. In dem gezeigten Beispiel umfasst diese zweite Beleuchtungsbildfolge: ein erstes Beleuchtungsbild 28, ein zweites Beleuchtungsbild 29, ein drittes Beleuchtungsbild 30 und ein weißes Beleuchtungsbild 31 (Weißbild). Außerdem wird ein schwarzes Beleuchtungsbild 32 (Schwarzbild) angezeigt. Das Weißbild 31 unterscheidet sich nicht von dem Weißbild 26 der ersten Beleuchtungsbildfolge. Ebenso unterscheidet sich das Schwarzbild 32 sich nicht von dem Schwarzbild 27 der ersten Beleuchtungsbildfolge.In 5A to 5E is the electronic device of the in 1 shownsystem 1 shown again in a front view, using thescreen 7 an illumination image of a second predefined illumination formation sequence is displayed in each case. In the example shown, this second illumination sequence comprises afirst illumination image 28, asecond illumination image 29, athird illumination image 30 and a white illumination image 31 (white image). In addition, a black illumination image 32 (black image) is displayed. Thewhite image 31 does not differ from thewhite image 26 of the first illumination sequence. Likewise, theblack image 32 does not differ from theblack image 27 of the first illumination sequence.

Das erste, zweite und dritte Beleuchtungsbild 28, 29, 30 sind jeweils zusammenhängend und füllen jeweils nur einen Teilbereich33 der Gesamtbildfläche 22 des Bildschirms7 aus. Beispielsweise werden die Leuchtelemente des Bildschirms7 innerhalb des jeweils ausgefüllten Teilbereichs33 in jedem Farbkanal mit dem größtmöglichen Helligkeitswert angesteuert. Außerhalb des jeweils ausgefüllten Teilbereich33 werden die Leuchtelemente ausgeschaltet oder nicht aktiviert, leuchten also nicht oder nur mit der kleinstmöglichen Helligkeit. Die jeweils ausgefüllten Teilbereiche33 der Beleuchtungsbilder überlappen sich auf dem Bildschirm7 nicht gegenseitig. Der von den Beleuchtungsbildern jeweils ausgefüllte Teilbereich33 entspricht in diesem Beispiel 1/3 der Gesamtbildfläche22 des Bildschirms7. Alternativ könnte die Beleuchtungsbildfolge aber auch eine andere Anzahl derartiger Beleuchtungsbilder umfassen, beispielsweise R Beleuchtungsbilder, die jeweils nur ein 1/R-tel der Gesamtbildfläche des Bildschirms ausfüllen, wobei R beispielsweise eine natürliche Zahl ist, die größer 3 und kleiner als 20 ist.The first, second andthird illumination images 28, 29, 30 are each continuous and each fill only aportion 33 theoverall picture area 22 of thescreen 7 out. For example, the lighting elements of thescreen 7 within each completedsubarea 33 in each color channel with the highest possible brightness value. Outside of each completedsection 33 If the light elements are switched off or not activated, they will not light up or only with the lowest possible brightness. The completedsubareas 33 the lighting images overlap on thescreen 7 not each other. The partial area filled in by thelighting images 33 corresponds to 1/3 of the total image area in this example 22 Of thescreen 7 , Alternatively, however, the illumination image sequence could also comprise a different number of such illumination images, for example R illumination images, each filling only a 1 / Rth of the total image area of the screen, where R is for example a natural number that is greater than 3 and less than 20.

Die ausgefüllten Teilbereiche33 des ersten, zweiten und dritten Beleuchtungsbildes 28, 29, 30 unterscheiden sich in ihrer Anordnung auf dem Bildschirm7. In der gezeigten Ansicht hat die Gesamtbildfläche 23 des Bildschirms 7 einen oberen Rand34, einen unteren Rand35, einen linken Rand36 und einen rechten Rand37. Die ausgefüllten Teilbereiche33 der Beleuchtungsbilder 28, 29, 30 unterscheiden sich in ihrem Abstand von dem oberen Rand34 und somit auch von dem Objektiv18 der Kamera5, das oberhalb des oberen Rands34 der Gesamtbildfläche 23 des Bildschirms7 angeordnet ist.The completedsections 33 of the first, second andthird illumination images 28, 29, 30 differ in their arrangement on thescreen 7 , In the view shown, theoverall image area 23 of thescreen 7 has anupper edge 34 , abottom edge 35 , aleft edge 36 and aright edge 37 , The completedsections 33 Theillumination images 28, 29, 30 differ in their distance from theupper edge 34 and therefore also from thelens 18 thecamera 5 above theupper edge 34 theoverall picture area 23 of thescreen 7 is arranged.

Neben den oben definierten Helligkeitswerten ist die zweite Beleuchtungsbild durch folgende weitere Beleuchtungsparameter definiert:

• - Gesamtzahl der Beleuchtungsbilder, in diesem Fall drei weiße Beleuchtungsbilder, die jeweils nur einen Teilbereich33 desBildschirms7 ausfüllen, sowie ein Weißbild und ein Schwarzbild,
• - Reihenfolge der Beleuchtungsbilder, in diesem Fall beispielsweise die Reihenfolge erstes, zweites, drittes Beleuchtungsbild 28, 29, 30,Weißbild 31, Schwarzbild 32 (oder eine grundsätzlich beliebige andere vordefinierte Reihenfolge),
• - Anzeigedauer der Beleuchtungsbilder, in diesem Beispiel in einem Bereich zwischen 100 ms und 200 ms, beispielsweise 150 ms,
• - zeitlicher Abstand zwischen dem Anzeigen der einzelnen Beleuchtungsbilder, in diesem Beispiel in einem Bereich zwischen 5 ms und 10 ms, beispielsweise 7 ms.

In addition to the brightness values defined above, the second illumination image is defined by the following further illumination parameters:

• - Total number of lighting images, in this case three white lighting images, each only apartial area 33 Of thescreen 7 fill out, as well as a white picture and a black picture,
• Sequence of the illumination images, in this case, for example, the sequence first, second,third illumination image 28, 29, 30,white image 31, black image 32 (or a basically any other predefined sequence),
• Display duration of the illumination images, in this example in a range between 100 ms and 200 ms, for example 150 ms,
• - Time interval between the display of the individual illumination images, in this example in a range between 5 ms and 10 ms, for example 7 ms.

Die Steuereinheit8 des mobilen elektronischen Geräts2 ist entsprechend eingerichtet, den Bildschirm7 des mobilen elektronischen Geräts2 anzusteuern, die Beleuchtungsbilder der zweiten Beleuchtungsbildfolge anzuzeigen und synchron hierzu Messbilder zu erfassen, wie bereits im Zusammenhang mit der ersten Beleuchtungsbildfolge beschrieben worden ist.The control unit 8th of the mobileelectronic device 2 is set up accordingly, thescreen 7 of the mobileelectronic device 2 to indicate the illumination images of the second illumination sequence and synchronously capture measurement images, as has already been described in connection with the first illumination sequence.

In6A bis6C ist das mobile elektronische Gerät2 jeweils in einer Seitenansicht gezeigt, während mittels des Bildschirms7 das erste, zweite bzw. dritte Beleuchtungsbild 28, 29, 30 der zweiten Beleuchtungsbildfolge angezeigt wird. Außerdem ist erneut ein Teil eines Messobjekts38 dargestellt, das in dem Beobachtungsbereich20 der Kamera6 angeordnet ist. Während des Anzeigens der Beleuchtungsbilder 23 emittiert der Bildschirm7 des Geräts2 Licht (in4 mit gestrichelten Linien dargestellt) und beleuchtet das Messobjekt 38 jeweils aus einer unterschiedlichen Richtung. Beim synchronen Aufnehmen des zu dem Beleuchtungsbild 23 gehörigen Messbildes wird das vom Messobjekt 23 reflektierte Licht (in4 mit gestrichelten Linien dargestellt) von der Kamera6 erfasst und belichtet den Bildsensor21.In 6A to 6C is the mobileelectronic device 2 each shown in a side view while using thescreen 7 the first, second andthird illumination image 28, 29, 30 of the second illumination sequence is displayed. In addition, again is part of ameasurement object 38 shown in theobservation area 20 thecamera 6 is arranged. During display of theillumination images 23, the screen emits 7 of thedevice 2 Light (in 4 shown with dashed lines) and illuminates themeasurement object 38 each from a different direction. During synchronous recording of the measurement image associated with theillumination image 23, the light reflected by the measurement object 23 (in FIG 4 shown with dashed lines) from thecamera 6 captures and exposes theimage sensor 21 ,

Über die Benutzerschnittstelle16 des Geräts2 ist es beispielsweise möglich, zwischen der ersten und der zweiten Beleuchtungsbildfolge auszuwählen. Es kann auch vorgesehen sein, dass die Steuereinheit8 automatisch zwischen der ersten und der zweiten Beleuchtungsbildfolge auswählt, beispielsweise in Abhängigkeit von der Art des Messobjekts38 oder in Abhängigkeit von einer zu untersuchenden Eigenschaft des Messobjekts38. Beispielsweise kann die Art des Messobjekts38 und die zu untersuchende Eigenschaft über die Benutzerschnittstelle16 eingegeben werden. Die Auswerteeinheit13 ist eingerichtet, die Auswertung der Messbilder in Abhängigkeit von dieser Eingabe durchzuführen.About the user interface 16 of thedevice 2 For example, it is possible to select between the first and second illumination sequences. It can also be provided that the control unit 8th automatically selects between the first and the second illumination sequence, for example, depending on the type ofmeasurement object 38 or depending on a property of the object to be examined 38 , For example, the type of themeasurement object 38 and the property to be examined via the user interface 16 be entered. Theevaluation unit 13 is set up to carry out the evaluation of the measurement images as a function of this input.

Die Auswertung kann prinzipiell von weiteren mittels des Geräts ermittelten Größen abhängen, beispielsweise von einer aktuellen Zeit und aktuellen Ortskoordinaten des Geräts2 während des Aufnehmens der Messbilder. Die Zeit kann beispielsweise mittels einer Systemuhr des Geräts und die Ortskoordinaten mittels eines GPS-Moduls44 des Geräts2 ermittelt worden sein. Beispielsweise kann jedes Messbild einen entsprechenden Zeit- und Ortsstempel tragen. Auf diese Weise können beispielsweise ortsabhängige Einflussgrößen ermittelt werden, die mit den zu untersuchenden Eigenschaften des Messobjekts korreliert sind oder diese beeinflussen können. Dies ist beispielsweise der Fall, wenn das zu untersuchende Messobjekt beispielsweise menschliche Haare sind und die zu untersuchende Eigenschaft beispielsweise der Glanz der Haare ist, da die jeweils vorherrschende Haarstruktur in verschiedenen Regionen der Erde unterschiedlich ist.The evaluation can in principle depend on further variables determined by means of the device, for example of a current time and current location coordinates of thedevice 2 while recording the measurement images. The time can be, for example, by means of a system clock of the device and the location coordinates by means of aGPS module 44 of thedevice 2 be determined. For example, each measurement image can carry a corresponding time and place stamp. In this way, for example, location-dependent influencing variables can be determined, which are correlated with the properties of the test object to be examined or which can influence them. This is the case, for example, if the measurement object to be examined is, for example, human hair and the property to be investigated is, for example, the luster of the hair, since the prevailing hair structure in different regions of the earth is different.

7 zeigt eine schematische Darstellung mehrerer Messbilder39, die mit dem Gerät2 des in1 gezeigten Systems1 von dem Messobjekt38 erfasst worden sind. Beispielsweise handelt es sich bei den gezeigten Messbildern39 um die Messbilder, die synchron zur Anzeige der Beleuchtungsbilder 23 bis 27 der ersten Beleuchtungsbildfolge erfasst wurden, oder um die Messbilder, die synchron zur Anzeige der Beleuchtungsbilder 28 bis 32 der zweiten Beleuchtungsbildfolge erfasst wurden. 7 shows a schematic representation ofseveral measurement images 39 that with thedevice 2 of in 1 shownsystem 1 from themeasurement object 38 have been recorded. For example, the measurement images shown are 39 around the measurement images acquired synchronously with the display of theillumination images 23 to 27 of the first illumination image sequence, or the measurement images acquired synchronously with the display of theillumination images 28 to 32 of the second illumination sequence.

Jedes der mittels der Kamera6 aufgenommenen Messbilder39 umfasst eine Vielzahl in einem Gesamtraster angeordneter Bildpunkte40 (Pixel), die den Sensoreinheiten des Bildsensors zugeordnet sind und deren Positionen innerhalb des jeweiligen Messbildes durch zwei Bildkoordinaten (XY) definiert sind, die von den Sensorkoordinaten der jeweiligen Sensoreinheiten abhängig sind bzw. diesen entsprechen. Die Messbilder39 beinhalten Bilddaten, in denen Bildinformationen kodiert sind, insbesondere Helligkeitswerte der jeweiligen Bildpunkte der Messbilder. Die Helligkeitswerte der Bildpunkte40 der Messbilder39 sind beispielsweise vom Ladungs- oder Entladungszustand der Sensorelemente jeweils zugeordneten Sensoreinheiten des Bildsensors21 beim Erfassen des jeweiligen Messbildes39 abhängig.Each one by means of thecamera 6 recordedmeasurement images 39 comprises a plurality of pixels arranged in a total grid 40 (Pixels) which are assigned to the sensor units of the image sensor and whose positions within the respective measurement image are defined by two image coordinates (XY) which are dependent on or correspond to the sensor coordinates of the respective sensor units. Themeasurement images 39 include image data in which image information is encoded, in particular brightness values of the respective pixels of the measurement images. The brightness values of thepixels 40 themeasurement images 39 are, for example, the charge or discharge state of the sensor elements respectively associated sensor units of theimage sensor 21 when capturing therespective measurement image 39 dependent.

Wie in6 ebenfalls dargestellt ist, werden die Bildpunkte40 der Messbilder39 mittels der Auswerteeinheit13 des Geräts2 (alternativ mittels der Auswerteeinheit14 des Computers3) beispielsweise mittels einer Bildregistrierung zu einem registrierten Messbild41 zusammengeführt und die Bilddaten zusammengeführter Bildpunkte40 zu Messdatensätzen der jeweiligen zusammengeführten Bildpunkte40 des registrierten Messbildes41 zusammengefasst. Für die Bildregistrierung der Messbilder39 werden, falls erforderlich Bildtransformationen der Messbilder39 durchgeführt, z.B. (lokale) Koordinatentransformationen (Drehungen, Verschiebungen, Verkippung und/oder (lokale) Reskalierungen, Subpixelinterpolation).As in 6 Also shown are thepixels 40 themeasurement images 39 by means of theevaluation unit 13 of the device 2 (Alternatively by means of theevaluation unit 14 of thecomputer 3 For example, by means of an image registration to a registeredmeasurement image 41 merged and the image data of merged pixels40 to measurement data sets of the respectivemerged pixels 40 of the registeredmeasurement image 41 summarized. For image registration of themeasurement images 39 if necessary image transformations of themeasurement images 39 performed, eg (local) coordinate transformations (rotations, shifts, tilting and / or (local) rescaling, subpixel interpolation).

Außerdem wird beispielsweise mittels der Auswerteeinheit13 des Geräts (alternativ mittels der Auswerteeinheit14 des Computer3) auf der Grundlage des registrierten Messbildes40 ein Objekterkennungsalgorithmus durchgeführt, um in dem registrierten Messbild41 Objektbildpunkte42 zu identifizieren, also solche Bildpunkte40, die Objektpunkte43 des Messobjekts38 abbilden. Der Objekterkennungsalgorithmus basiert beispielsweise auf einem „Region growing“-Algorithmus, wie weiter oben beschrieben.In addition, for example, by means of theevaluation unit 13 of the device (alternatively by means of theevaluation unit 14 of the computer 3 ) based on the registeredmeasurement image 40 an object detection algorithm is performed in the registeredmeasurement image 41Object pixels 42 to identify, sosuch pixels 40 , the object points 43 of themeasurement object 38 depict. The object recognition algorithm is based, for example, on a "region growing" algorithm, as described above.

Handelt es sich bei den Messbildern39 um die Messbilder, die synchron zur Anzeige der Beleuchtungsbilder 23 bis 27 der ersten Beleuchtungsbildfolge erfasst wurden, kann jeder der Messdatensätze beispielsweise der oben beschriebene „spektrale Fingerabdruck“ F(d, c) des Messobjekts in dem jeweils zugehörigen Objektpunkt43 des Messobjekts38 sein, dessen Komponenten beispielsweise wie in Tabelle 1 angegeben definiert sind. Der Index d ist durch d = {r, g, b, w, s} definiert, wobei r, g, b für das rote, grüne bzw. blaue Beleuchtungsbild 23, 24, 25 stehen und w für das Weißbild 26, und s für das Schwarzbild 27. Entsprechend steht Index c für die Farbkanäle der Kamera6 und ist durch c = {r, g, b} definiert, wobei r, g, b für den roten, grünen bzw. blauen Farbkanal der Kamera6 steht.Is it the measurement images? 39 For example, the above-described "spectral fingerprint" F (d, c) of the measurement object in the respectively associated object point can be the measurement images, which were acquired synchronously with the display of theillumination images 23 to 27 of thefirst illumination sequence 43 of themeasurement object 38 whose components are defined, for example, as indicated in Table 1. The index d is defined by d = {r, g, b, w, s}, where r, g, b represent the red, green andblue illumination images 23, 24, 25 respectively, and w represents thewhite image 26, and s for theblack image 27. Accordingly Index c stands for the color channels of thecamera 6 and is defined by c = {r, g, b} where r, g, b are the red, green and blue color channels, respectively, of thecamera 6 stands.

Handelt es sich bei den Messbildern39 um die Messbilder, die synchron zur Anzeige der Beleuchtungsbilder 28 bis 32 der zweiten Beleuchtungsbildfolge erfasst wurden, sind die zusammengefassten Messdatensätze der einzelnen Objektbildpunkte 52 beispielsweise die oben beschriebenen „Glanzmessvektoren“ G(a), wobei der Index a die einzelnen Beleuchtungsbilder der ersten Beleuchtungsbildfolge repräsentiert. Wie oben beschrieben worden ist, werden bei dem ersten, zweiten und dritten Beleuchtungsbild 28, 29, 30 der zweiten Beleuchtungsbildfolge alle Farbkanäle des Bildschirms7 in den jeweiligen Teilbereichen33 mit dem größtmöglichen Helligkeitswert angesteuert, so dass diese Beleuchtungsbilder weiß erscheinen. Beispielsweise enthält der Glanzmessvektor G(a) für jeden Index a den mit allen Sensorelementen der Kamera6 (im Objektbildpunkt42) gemessenen Gesamthelligkeitswert.Is it the measurement images? 39 The combined measurement data sets of the individual object image points 52 are, for example, the "gloss measurement vectors" G (a) described above, in which the index a represents the individual illumination images of the first illumination image sequence, around the measurement images acquired synchronously with the display of theillumination images 28 to 32 of the second illumination sequence , As described above, in the first, second andthird illumination images 28, 29, 30 of the second illumination sequence, all the color channels of the screen become 7 in therespective subareas 33 controlled with the highest possible brightness value, so that these illumination images appear white. For example, the glossiness measurement vector G (a) for each index a contains all the sensor elements of the camera 6 (in the object pixel 42 ) measured total brightness value.

Es lassen sich prinzipiell beliebig viele weitere Beleuchtungsbildfolgen definieren, welche auf den jeweiligen Anwendungsfall, d.h. auf das jeweilige Messobjekt und die jeweils zu untersuchenden Eigenschaften des Messobjekts abgestimmt sind. Wie bereits oben beschrieben wurde, kann eine Beleuchtungsbildfolge Beleuchtungsbilder beinhalten, die sich sowohl in ihrer Position a auf dem Bildschirm als auch in ihrer Farbe voneinander unterscheiden. Beispielsweise kann für jede Position a der oben beschriebene spektrale Fingerabdruck F(c, d) erfasst werden, wobei die farbigen Beleuchtungsbilder nur den beschriebenen Teilbereich33 in der jeweiligen Position ausfüllen. Auf diese Weise lässt sich für jeden Objektpunkt beispielsweise der oben beschriebene Messdatensatz H(c, d, a) erzeugen, der Informationen sowohl über die spektrale Reflexionseigenschaften wie auch über den Glanz des Messobjekts in dem jeweiligen Objektpunkt beinhaltet.In principle, it is possible to define any number of further illumination sequences which are matched to the respective application, ie to the respective measurement object and the particular properties of the measurement object to be investigated. As already described above, a lighting image sequence may include lighting images that differ in both their position a on the screen and in their color. For example, for each position a, the above-described spectral fingerprint F (c, d) can be detected, wherein the colored illumination images only the describedportion 33 in the respective position. In this way, for each object point, for example, the measurement data set H (c, d, a) described above can be generated, which contains information about both the spectral reflection properties and the gloss of the measurement object in the respective object point.

Die Auswerteeinheit13 ist beispielsweise eingerichtet, jeden zu einem Objektbildpunkt42 gehörigen Messdatensatz F(c, d) (oder alternativ G(a) oder H(c, d, a)) mit mehreren vordefinierten Referenzdatensätzen zu vergleichen. Die Referenzdatensätze sind beispielsweise in dem Datenspeicher9 des mobilen elektronischen Geräts2 gespeichert. Der Vergleich erfolgt beispielsweise mittels eines mathematischen Klassifikationsmodells auf Basis eines - entsprechend trainierten - künstlichen neuronalen Netzes. Es wird bei der Klassifikation beispielsweise ein Ranking erzeugt, bei dem derjenige Referenzdatensatz einen umso höheren Rang erhält, je weniger sich der jeweilige Messdatensatz von diesem unterscheidet. Nach dem Vergleich aller Messdatensätze mit den Referenzdatensätzen identifiziert die Auswerteeinheit13 denjenigen Referenzdatensatz, der am häufigsten den obersten Rang erhalten hat. Über die Benutzerschnittstelle16 wird anschließend eine zu diesem identifizierten Referenzdatensatz gehörige Bewertung einer Eigenschaft des Messobjekts oder eine Klassifikation des Messobjekts ausgegeben.Theevaluation unit 13 For example, each is set up to be anobject pixel 42 corresponding measurement data set F (c, d) (or alternatively G (a) or H (c, d, a)) to compare with a plurality of predefined reference data sets. For example, the reference records are in the data store 9 of the mobileelectronic device 2 saved. The comparison takes place, for example, by means of a mathematical classification model on the basis of a - appropriately trained - artificial neural network. For example, in the classification, a ranking is generated in which the reference data record acquires the higher rank the less the respective measurement data record differs from it. After the comparison of all measurement data records with the reference data sets, the evaluation unit identifies 13 the reference record that most often took the top rank. About the user interface 16 Subsequently, an evaluation of a property of the measurement object belonging to this identified reference data record or a classification of the measurement object is output.

Die Auswerteeinheit ist außerdem eingerichtet, unter Berücksichtigung der spektralen Empfindlichkeit C_c(λ) der Kamera und der spektralen Emissionscharakteristik D_d(λ) des Bildschirms aus den Messdatensätzen eine Reflexionscharakteristik des Messobjekts zu ermitteln.The evaluation unit is also set up, taking into account the spectral sensitivity C_c (λ) of the camera and the spectral emission characteristic D_d (λ) of the screen, to determine a reflection characteristic of the measurement object from the measurement data records.

Je nach Anwendungsfall, der beispielsweise über die Benutzerschnittstelle16 spezifiziert werden kann, handelt es sich bei der zu bestimmenden Reflexionscharakteristik beispielsweise um das Reflexionsspektrum S(λ) des Messobjekts (in den jeweiligen Objektpunkten). Beispielsweise kann die Auswerteeinheit 13 eingerichtet sein, das Reflexionsspektrum S(λ) aus dem gemessenen „spektralen Fingerabdruck“ F(d, c) unter Verwendung der oben angegebenen Gleichungen 1 bis 4 (näherungsweise) zu ermitteln bzw. als Näherung für das Reflexionsspektrum S(λ) Werte für die spektralen Kanälen S^k zu ermitteln.Depending on the application, for example via the user interface 16 can be specified, it is the reflection characteristic to be determined, for example, the reflection spectrum S (λ) of the measurement object (in the respective object points). For example, theevaluation unit 13 may be configured to determine (approximately) the reflection spectrum S (λ) from the measured "spectral fingerprint" F (d, c) using theequations 1 to 4 given above or as an approximation for the reflection spectrum S (FIG. λ) to determine values for the spectral channels S^k .

Alternativ handelt es sich bei der zu ermittelnden Reflexionscharakteristik beispielsweise um die Abhängigkeit des Reflexionsgrads des Messobjekts (in den jeweiligen Objektpunkten) von dem Einfallwinkel des Lichts auf das Messobjekt (in dem jeweiligen Objektpunkten). Beispielsweise kann die Auswerteeinheit eingerichtet sein, den winkelabhängigen Reflexionsgrad auf der Grundlage des oben beschriebenen Glanzmessvektors G(a) (oder des Messdatensatzes H(c, d, a)) für jeden Objektpunkt abzuschätzen.Alternatively, the reflection characteristic to be determined is, for example, the dependence of the reflectance of the measurement object (in the respective object points) on the angle of incidence of the light on the measurement object (in the respective object points). For example, the evaluation unit may be set up to estimate the angle-dependent reflectance on the basis of the gloss measurement vector G (a) (or the measurement data set H (c, d, a)) described above for each object point.

Die Auswerteeinheit13 ist ferner eingerichtet, die ermittelte Reflexionscharakteristik des Messobjekts, also beispielsweise die spektralen Kanäle S^k oder die ermittelten Werte für den winkelabhängige Reflexionsgrad, mit mindestens einer vordefinierten Referenzreflexionscharakteristik zu vergleichen und das Messobjekt entsprechend zu klassifizieren, beispielsweise mittels eines Klassifikationsmodells auf der Basis eines künstlichen neuronalen Netzwerkes, wie oben beschrieben.Theevaluation unit 13 is further configured to compare the determined reflection characteristic of the measurement object, that is, for example, the spectral channels S^k or the determined values for the angle-dependent reflectance, with at least one predefined reference reflection characteristic and to classify the measurement object accordingly, for example by means of a classification model based on an artificial neural Network, as described above.

Anschließend können die Ergebnisse der Auswertung auf dem Bildschirm7 angezeigt werden und in dem Datenspeicher11 des Geräts gespeichert werden.Subsequently, the results of the evaluation on thescreen 7 are displayed and in thedata store 11 of the device.

In7 ist das mit dem System1 ausführbare Verfahren in Form eines Flussdiagrams dargestellt. In 7 is that with thesystem 1 executable method shown in the form of a flowchart.

Schritt S1 umfasst:

• - Ansteuern des Bildschirms7 des mobilen elektronischen Geräts2 mittels der Steuereinheit8, mehrere verschiedene Beleuchtungsbilder der vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen,
• -Ansteuern der Kamera6 des mobilen elektronischen Geräts2, synchron zum Anzeigen eines jeden Beleuchtungsbildes der vordefinierten Beleuchtungsbildfolge jeweilsein Messbild39von dem Messobjekt38 zu erfassen.

Step S1 includes:

• - driving thescreen 7 of the mobileelectronic device 2 by means of the control unit 8th to display several different illumination images of the predefined illumination sequence one after the other,
• - driving thecamera 6 of the mobileelectronic device 2 in synchronism with the display of each illumination image of the predefined illumination sequence, in each case onemeasurement image 39 from themeasurement object 38 capture.

Schritt S2 umfasst:

• -Registrieren der Messbilder39 zu einem registrierten Messbild41.

Step S2 includes:

• - Register themeasurement images 39 to a registeredmeasurement image 41 ,

Schritt S3 umfasst:

• - eine spektrale Vorverarbeitung, wie beispielsweise eine Berücksichtigung von Umgebungslichteinflüssen, insbesondere unter Verwendung einer oder mehrerer Messbilder vom Messobjekt, die bei abgeschaltetem Display bzw. während der Anzeige eines schwarzen Beleuchtungsbildes aufgenommen worden sind. Bei zu starken Umgebungslichteinflüssen kann eine entsprechende Warnung an den Nutzer ausgegeben werden, beispielsweise mittels des Bildschirms7 oder mittels eines Ton- oder Vibrationsalarms.

Step S3 includes:

• - A spectral preprocessing, such as a consideration of ambient light influences, in particular using one or more measurement images from the measurement object, which have been taken with the display off or during the display of a black illumination image. If the ambient light influences too much, a corresponding warning can be output to the user, for example by means of thescreen 7 or by means of a sound or vibration alarm.

Schritt S4 umfasst:

• - eine pixelweise Musterklassifikation, bei der Messdatensätze, die zu Bildpunkten oder Objektbildpunkten42 des registrierten Messbildes41 gehörigen, beispielsweise mittels eines mathematischen Klassifikationsmodells auf der Basis eines künstlichen neuronalen Netzes, klassifiziert werden.

Step S4 includes:

• a pixel-by-pixel pattern classification, in which measurement data records are assigned to pixels or objectpixels 42 of the registeredmeasurement image 41 belonging, for example by means of a mathematical classification model on the basis of an artificial neural network classified.

Schritt S5 umfasst:

• - Aggregation der Ergebnisse, beispielsweise mittels eines Ranking und/oder einer Mehrheitsabstimmung.

Step S5 includes:

• - Aggregation of results, for example by means of a ranking and / or a majority vote.

Schritt S6 umfasst:

• - Anzeigen der Ergebnisse, beispielsweise mittels desBildschirms7, und Speichern der Ergebnisse, beispielsweise mittels des Datenspeichers9 des Geräts und/oder des Datenspeichers11 desComputers3.

Step S6 includes:

• - Display the results, for example by means of thescreen 7 , and storing the results, for example by means of the data memory 9 of the device and / or thedata memory 11 of thecomputer 3 ,

Prinzipiell ist es möglich, die Schritte S2 bis S6 alleine mit der Auswerteeinheit 13 des Geräts2 oder aber, nach einer entsprechenden Übertragung der Messbilder39, mit der Auswerteeinheit14 des Computers3 durchzuführen.In principle, it is possible to carry out the steps S2 to S6 alone with theevaluation unit 13 of thedevice 2 or after a corresponding transmission of themeasurement images 39 , with theevaluation unit 14 of thecomputer 3 perform.

Das Messobjekt38 kann beispielsweise durch menschliche (oder alternativ tierische) Haare gebildet sein. Eine zu untersuchende Eigenschaft kann beispielsweise der Glanz der Haare sein. Andere mögliche Beispiele für das Messobjekt38 und zu untersuchende Eigenschaften sind unter den oben aufgeführten Anwendungskomplexen1 bis4 angegeben.Themeasurement object 38 may be formed for example by human (or alternatively animal) hair. A property to be investigated may be, for example, the shine of the hair. Other possible examples of themeasurement object 38 and properties to be investigated are among the application complexes listed above 1 to 4 specified.

Für das vorgeschlagene Verfahren werden unter anderem folgende Ausführungsbeispiele beschrieben:

1. 1. Verfahren zum Erfassen von Messbildern eines Messobjekts mit einem System hier vorgeschlagener Art, umfassend die Schritte:
   • - Ansteuern des Bildschirms des mobilen elektronischen Geräts mittels der Steuereinheit, mehrere verschiedene Beleuchtungsbilder der vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen,
   • - Ansteuern der Kamera des mobilen elektronischen Geräts, synchron zum Anzeigen eines jeden Beleuchtungsbildes der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild von dem Messobjekt zu erfassen.
2. 2. Verfahren nach Beispiel 1, wobei der Bildschirm des mobilen elektronischen Geräts mehrere Farbkanäle aufweist, wobei der Bildschirm in jedem der Farbkanäle eine kanalspezifische spektrale Emissionscharakteristik aufweist, wobei der Bildschirm eine Vielzahl in einem Raster angeordneter Leuchtelemente aufweist, wobei jeder der Farbkanäle durch eine Teilmenge der Leuchtelemente des Bildschirms gebildet ist, deren spektralen Emissionscharakteristika mit der kanalspezifischen spektralen Emissionscharakteristik des jeweiligen Farbkanals übereinstimmen.
3. 3. Verfahren nach Beispiel 2, außerdem umfassend:
   • Ansteuern des Bildschirms des mobilen elektronischen Geräts, eines oder mehrere der Beleuchtungsbilder der vordefinierten Beleuchtungsbildfolge anzuzeigen
     • - durch ein Aktivieren der Leuchtelemente nur eines einzigen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente dieses Farbkanals mit einem für diesen Farbkanal vordefinierten einheitlichen Helligkeitswert, oder
     • - durch ein Aktivieren der Leuchtelemente mehrerer Farbkanäle und durch ein Ansteuern aller aktivierten Leuchtelemente mit einem für den jeweiligen Farbkanal vordefinierten einheitlichen Helligkeitswert.
4. 4. Verfahren nach einem der Beispiele 2oder 3, wobei der Bildschirm des mobilen elektronischen Geräts einen roten Farbkanal, einen grünen Farbkanal und einen blauen Farbkanal umfasst, wobei die Beleuchtungsabfolge ein rotes Beleuchtungsbild, ein grünes Beleuchtungsbild und ein blaues Beleuchtungsbild umfasst, wobei das Verfahren umfasst:
   • Ansteuern des Bildschirms
     • - das rote Beleuchtungsbild anzuzeigen durch ein Aktivieren der Leuchtelemente nur des roten Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des roten Farbkanals mit einem für den roten Farbkanal vordefinierten einheitlichen Helligkeitswert,
     • - das grüne Beleuchtungsbild anzuzeigen durch ein Aktivieren der Leuchtelemente nur des grünen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des grünen Farbkanals mit einem für den grünen Farbkanal vordefinierten einheitlichen Helligkeitswert, und
     • - das blaue Beleuchtungsbild anzuzeigen durch ein Aktivieren der Leuchtelemente nur des blauen Farbkanals des Bildschirms und durch ein Ansteuern aller aktivierten Leuchtelemente des blauen Farbkanals mit einem für den blauen Farbkanal vordefinierten einheitlichen Helligkeitswert.
5. 5. Verfahren nach einem der vorangehenden Beispiele, wobei eine oder mehrere folgender Bildeigenschaften eines jedes Beleuchtungsbild der vordefinierten Beleuchtungsbildfolge vordefiniert ist bzw. sind:
   • - eine spektrale Zusammensetzung des von dem Bildschirm beim Anzeigen des jeweiligen Beleuchtungsbildes emittierten Lichts, und/oder
   • - für jeden Farbkanal des Bildschirms jeweils ein einheitlicher Helligkeitswert, soweit dieses Beispiel auf eines der Beispiele 2bis 4 zurückbezogen ist, und/oder
   • - ein Bildschirmbereich, der durch das jeweilige Beleuchtungsbild ausgefüllt ist, und/oder
   • - eine Anordnung eines Bildschirmbereichs, der durch das jeweilige Beleuchtungsbild ausgefüllt ist, innerhalb einer Gesamtbildfläche des Bildschirms.
6. 6. Verfahren nach einem der vorausgehenden Beispiele, wobei jedes der Beleuchtungsbilder jeweils nur einen Teilbereich einer Gesamtbildfläche des Bildschirms ausfüllt, wobei sich die ausgefüllten Teilbereiche der Beleuchtungsbilder in ihrer Anordnung auf der Gesamtbildfläche des Bildschirms voneinander unterscheiden.
7. 7. Verfahren nach Beispiel 6, wobei die Gesamtbildfläche des Bildschirms einen oberen Rand, einen unteren Rand, einen linken Rand und einen rechten Rand aufweist, wobei sich die aus-gefüllten Teilbereiche der Beleuchtungsbilder in ihrem Abstand von dem oberen Rand der Gesamtbildfläche des Bildschirms voneinander unterscheiden, wobei das Objektiv oberhalb des oberen Rands der Gesamtbildfläche des Bildschirms angeordnet ist.
8. 8. Verfahren nach einem der vorausgehenden Beispiele, wobei das System mindestens einen Datenspeicher umfasst, in dem Beleuchtungsparameter, welche die vordefinierte Beleuchtungsbildfolge vollständig definieren, gespeichert sind, wobei das Verfahren umfasst:
   • - Abrufen der in dem mindestens einen Datenspeicher gespeicherte Beleuchtungsparameter aus dem Datenspeicher und
   • - Ermitteln der vordefinierten Beleuchtungsbildfolge auf der Grundlage der abgerufenen Beleuchtungsparameter.
9. 9. Verfahren nach einem der vorangehenden Beispiele, wobei die Kamera des mobilen elektronischen Geräts mehrere verschiedene Farbkanäle aufweist, wobei die Kamera für jeden der Farbkanäle eine kanalspezifische spektrale Empfindlichkeit aufweist, wobei die Kamera einen Bildsensor umfasst, der eine Vielzahl in einem Raster angeordneter Sensorelemente aufweist, wobei jeder der Farbkanäle der Kamera durch eine Teilmenge der Sensorelemente des Bildsensors gebildet ist, deren spektralen Empfindlichkeiten mit der kanalspezifischen spektralen Empfindlichkeit des jeweiligen Farbkanals der Kamera übereinstimmen.
10. 10. Verfahren nach Beispiel 9, wobei die Kamera des mobilen elektronischen Geräts einen roten Farbkanal, einen grünen Farbkanal und einen blauen Farbkanal aufweist.
11. 11. Verfahren nach einem der vorangehenden Beispiele, wobei ein jedes der Messbilder eine Vielzahl von Bildpunkten sowie Bilddaten, die den Bildpunkten zugeordnet sind, beinhaltet, wobei das Verfahren umfasst:
    • - Zusammenführen der Bildpunkte der Messbilder mittels einer Bildregistrierung der Messbilder,
    • - Zusammenfassen der Bilddaten zusammengeführter Bildpunkte zu Messdatensätzen der jeweiligen zusammengeführten Bildpunkten.
12. 12. Verfahren nach Beispiel 11, umfassend:
    • - Vergleichen jeder der Messdatensätze mit mindestens einem vordefinierten Referenzdatensatz.
13. 13. Verfahren nach einem der Beispiele 11oder 12, umfassend:
    • - Ermitteln einer Reflexionscharakteristik des Messobjekts aus den Messdatensätzen, vorzugsweise unter Berücksichtigung einer spektralen Empfindlichkeit der Kamera und einer spektralen Emissionscharakteristik des Bildschirms.
14. 14. Verfahren nach einem der Beispiele 11bis 13, umfassend:
    • - Vergleichen der ermittelten Reflexionscharakteristika des Messobjekts mit mindestens einer vordefinierten Referenzreflexionscharakteristik.
15. 15. Verfahren nach einem der Beispiele 11bis 13 kombiniert mit einem der Beispiele 2bis 5 und einem der Beispiele 9oder 10, wobei der Bildschirm M Farbkanäle und die Kamera N Farbkanäle aufweist, wobei M > 1 und N > 1, wobei jeder Messdatensatz jeweils mindestens M × N Messwerte umfasst (F(d, c)mit 1≤d≤M und 1≤ c ≤ N), wobei die M × N Messwerte M × N verschiedenen Kombinationen von Farbkanäle des Bildschirms mit den Farbkanäle der Kamera entsprechen.
16. 16. Verfahren nach einem der vorangehenden Beispiele, wobei das mobile elektronische Gerät eine Benutzerschnittstelle aufweist, umfassend:
    • - Einstellen oder vorgeben der vordefinierte Beleuchtungsbildfolge über die Benutzerschnittstelle und/oder
    • - Auswählen zwischen verschiedenen vordefinierten Beleuchtungsbildfolgen mittels der Benutzerschnittstelle.
17. 17. Verfahren nach einem der vorangehenden Beispiele, wobei der Bildschirm als ein Touchscreen ausgestaltet ist.
18. 18. Verfahren nach einem der vorangehenden Beispiele, wobei das mobile elektronische Gerät ein Smartphone oder ein Tablet-Computer ist.

The following exemplary embodiments are described for the proposed method:

1. 1. A method for acquiring measurement images of a measurement object with a system of a type proposed here, comprising the steps:
   • Driving the screen of the mobile electronic device by means of the control unit to display a plurality of different illumination images of the predefined illumination sequence one after the other,
   • - Driving the camera of the mobile electronic device, synchronously to display each illumination image of the predefined illumination sequence to capture a respective measurement image of the measurement object.
2. 2. The method of Example 1, wherein the screen of the mobile electronic device comprises a plurality of color channels, wherein the screen has a channel-specific spectral emission characteristic in each of the color channels, wherein the screen has a plurality of arranged in a grid light elements, each of the color channels by a subset the luminous elements of the screen is formed whose spectral emission characteristics match the channel-specific spectral emission characteristic of the respective color channel.
3. 3. The method of Example 2, further comprising:
   • Driving the screen of the mobile electronic device to display one or more of the illumination images of the predefined illumination sequence
     • by activating the luminous elements of only a single color channel of the screen and by activating all activated luminous elements of this color channel with a uniform brightness value predefined for this color channel, or
     • by activating the luminous elements of a plurality of color channels and by activating all activated luminous elements with a uniform brightness value predefined for the respective color channel.
4. 4. The method of one of examples 2 or 3, wherein the screen of the mobile electronic device comprises a red color channel, a green color channel, and a blue color channel, the illumination sequence comprising a red illumination image, a green illumination image, and a blue illumination image, wherein the method includes:
   • Driving the screen
     • to display the red illumination image by activating the illumination elements of only the red color channel of the screen and by activating all activated illumination elements of the red color channel with a uniform brightness value predefined for the red color channel,
     • to display the green illumination image by activating the light elements of only the green color channel of the screen and by driving all activated light elements of the green color channel with a uniform brightness value predefined for the green color channel, and
     • - To display the blue illumination image by activating the light elements only the blue color channel of the screen and by driving all activated light elements of the blue color channel with a predefined for the blue color channel uniform brightness value.
5. 5. Method according to one of the preceding examples, wherein one or more of the following image properties of each illumination image of the predefined illumination sequence is / are predefined:
   • a spectral composition of the light emitted by the screen when the respective illumination image is displayed, and / or
   • - For each color channel of the screen in each case a uniform brightness value, as far as this example is based on one of the examples 2 to 4, and / or
   • a screen area filled by the respective illumination image, and / or
   • - An arrangement of a screen area, which is filled by the respective illumination image, within an overall image area of the screen.
6. 6. The method of one of the preceding examples, wherein each of the illumination images fills only a portion of a total image area of the screen, wherein the filled portions of the illumination images differ in their arrangement on the overall image area of the screen from each other.
7. 7. The method of Example 6, wherein the overall image area of the screen has an upper edge, a lower edge, a left edge, and a right edge, the filled-in portions of the illumination images being spaced from the upper edge of the overall image area of the screen differ, wherein the lens is arranged above the upper edge of the overall image area of the screen.
8. 8. The method of one of the preceding examples, wherein the system includes at least one data store in which illumination parameters that completely define the predefined illumination image sequence are stored, the method comprising:
   • Retrieving the illumination parameters stored in the at least one data memory from the data memory and
   • Determining the predefined illumination sequence based on the retrieved illumination parameters.
9. 9. The method of any of the preceding examples, wherein the camera of the mobile electronic device comprises a plurality of different color channels, wherein the camera has a channel-specific spectral sensitivity for each of the color channels, wherein the camera comprises an image sensor having a plurality of arranged in a grid sensor elements where each of the color channels of the camera is formed by a subset of the sensor elements of the image sensor whose spectral sensitivities coincide with the channel-specific spectral sensitivity of the respective color channel of the camera.
10. 10. The method of Example 9, wherein the camera of the mobile electronic device has a red color channel, a green color channel, and a blue color channel.
11. 11. The method of one of the preceding examples, wherein each of the measurement images includes a plurality of pixels and image data associated with the pixels, the method comprising:
    • Merging the pixels of the measurement images by means of image registration of the measurement images,
    • - Combining the image data merged pixels to measurement data sets of the respective merged pixels.
12. 12. The method of Example 11, comprising:
    • - Compare each of the measured data sets with at least one predefined reference data set.
13. 13. A method according to any one of Examples 11 or 12, comprising:
    • Determining a reflection characteristic of the measurement object from the measurement data sets, preferably taking into account a spectral sensitivity of the camera and a spectral emission characteristic of the screen.
14. 14. A method according to any one of Examples 11 to 13, comprising:
    • Comparing the determined reflection characteristics of the measurement object with at least one predefined reference reflection characteristic.
15. 15. The method of any one of Examples 11 to 13 combined with any of Examples 2 to 5 and any of Examples 9 or 10, wherein the screen has M color channels and the camera has N color channels, where M> 1 and N> 1, each measurement data set each comprise at least M × N measurements (F (d, c) with 1≤d≤M and 1≤c≤N), where the M × N measurements M × N correspond to different combinations of color channels of the screen with the camera's color channels.
16. 16. The method of any of the preceding examples, wherein the mobile electronic device has a user interface, comprising:
    • Set or specify the predefined illumination sequence via the user interface and / or
    • Selecting between different predefined illumination sequences using the user interface.
17. 17. The method of any of the preceding examples, wherein the screen is configured as a touch screen.
18. 18. The method according to one of the preceding examples, wherein the mobile electronic device is a smartphone or a tablet computer.

Das vorgeschlagene Computerprogrammprodukt, das in einen internen Datenspeicher des mobilen elektronischen Geräts geladen werden kann, umfasst beispielsweise Softwarecodeabschnitte, mit denen die Schritte des Verfahrens gemäß einem der Beispiele 1 bis 18 ausgeführt werden, wenn das Computerprogrammprodukt auf dem mobilen elektronischen Gerät läuft.The proposed computer program product that can be loaded into an internal data memory of the mobile electronic device comprises, for example, software code sections with which the steps of the method according to one of Examples 1 to 18 are executed when the computer program product is running on the mobile electronic device.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11

Systemsystem

22

Gerätdevice

33

Computercomputer

44

ComputernetzwerkComputer network

55

Gehäusecasing

66

Kameracamera

77

Bildschirmscreen

8 8th

Steuereinheitcontrol unit

99

Datenspeicherdata storage

1010

ComputerprogrammproduktA computer program product

1111

Datenspeicherdata storage

1212

Prozessorprocessor

1313

Auswerteeinheitevaluation

1414

Auswerteeinheitevaluation

1515

Prozessorprocessor

1616

BenutzerschnittstelleUser interface

1717

DatenschnittstelleData Interface

1818

Objektivlens

1919

Vorderseitefront

2020

Beobachtungsbereichobservation area

2121

Bildsensorimage sensor

2222

GesamtbildflächeTotal scene

23 bis 3223 to 32

Beleuchtungsbildlighting image

3333

Teilbereichsubregion

3434

oberer Randupper edge

3535

unterer Randlower edge

3636

linker Randleft edge

3737

rechter Randright edge

3838

Messobjektmeasurement object

3939

Messbildermeasurement images

4040

Bildpunktpixel

4141

Messbildmeasuring image

4242

ObjektbildpunktObject pixel

4343

Objektpunktobject point

4444

GPS-ModulGPS module

4545

Energiespeicherenergy storage

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

• R. Brause: Neuronale Netze: Eine Einführung in die Neuroinformatik, Teubner, 1995 [0074]R. Brause: Neuronal Networks: An Introduction to Neuroinformatics, Teubner, 1995 [0074]
• J. Lunze: Künstliche Intelligenz für Ingenieure, Oldenbourg, 2010 [0074]J. Lunze: Artificial Intelligence for Engineers, Oldenbourg, 2010 [0074]

Claims (20)

Translated fromGerman

System (1) zum Erfassen von Messbildern eines Messobjekts, umfassend ein mobiles elektronisches Gerät, wobei das mobile elektronische Gerät (2) umfasst:- ein Gehäuse (5),- eine in dem Gehäuse (5) integrierte Kamera (6) zum Aufnehmen von Messbildern (39) eines Messobjekts (38) innerhalb eines Beobachtungsbereichs (20) der Kamera (6),- einen in dem Gehäuse (5) integrierten Bildschirm (7) zum lichtemittierenden Anzeigen von Bildern, wobei der Bildschirm (7) dem Beobachtungsbereich (20) der Kamera (6) zugewandt ist,- eine in dem Gehäuse (5) integrierte Steuereinheit (8), die eingerichtet ist, den Bildschirm (7) des mobilen elektronischen Geräts (2) anzusteuern, mehrere verschiedene Beleuchtungsbilder (23) einer vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen, wobei die Steuereinheit (8) eingerichtet ist, die Kamera (6) des mobilen elektronischen Geräts (2) anzusteuern, synchron zum Anzeigen eines jeden Beleuchtungsbildes (23) der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild (39) von dem Messobjekt zu erfassen.A system (1) for acquiring measurement images of a measurement object, comprising a mobile electronic device, wherein the mobile electronic device (2) comprises:a housing (5),a camera (6) integrated in the housing (5) for recording measurement images (39) of a measurement object (38) within an observation area (20) of the camera (6),a screen (7) integrated in the housing (5) for the light-emitting display of images, the screen (7) facing the observation area (20) of the camera (6),a control unit (8) integrated in the housing (5) and arranged to control the screen (7) of the mobile electronic device (2) to sequentially display a plurality of different illumination images (23) of a predefined illumination sequence, the control unit (8) is arranged to control the camera (6) of the mobile electronic device (2), in each case in synchronism with the display of each illumination image (23) of the predefined illumination sequence to capture a measurement image (39) of the measurement object.System (1) nachAnspruch 1,dadurch gekennzeichnet, dass der Bildschirm (7) des mobilen elektronischen Geräts (2) mehrere Farbkanäle aufweist, wobei der Bildschirm (7) in jedem der Farbkanäle eine kanalspezifische spektrale Emissionscharakteristik aufweist, wobei der Bildschirm (7) eine Vielzahl in einem Raster angeordneter Leuchtelemente aufweist, wobei jeder der Farbkanäle durch eine Teilmenge der Leuchtelemente des Bildschirms (7) gebildet ist, deren spektralen Emissionscharakteristika mit der kanalspezifischen spektralen Emissionscharakteristik des jeweiligen Farbkanals übereinstimmen.System (1) to Claim 1 ,characterized in that the screen (7) of the mobile electronic device (2) comprises a plurality of color channels, wherein the screen (7) has a channel-specific spectral emission characteristic in each of the color channels, wherein the screen (7) comprises a plurality of arranged in a grid light elements wherein each of the color channels is formed by a subset of the luminous elements of the screen (7) whose spectral emission characteristics match the channel-specific spectral emission characteristic of the respective color channel.System (1) nachAnspruch 2,dadurch gekennzeichnet, dass die Steuereinheit (8) des mobilen elektronischen Geräts (2) eingerichtet ist, den Bildschirm (7) des mobilen elektronischen Geräts (2) anzusteuern, eines oder mehrere der Beleuchtungsbilder (23) der vordefinierten Beleuchtungsbildfolge anzuzeigen- durch ein Aktivieren der Leuchtelemente nur eines einzigen Farbkanals des Bildschirms (7) und durch ein Ansteuern aller aktivierten Leuchtelemente dieses Farbkanals mit einem für diesen Farbkanal vordefinierten einheitlichen Helligkeitswert, oder- durch ein Aktivieren der Leuchtelemente mehrerer Farbkanäle und durch ein Ansteuern aller aktivierten Leuchtelemente mit einem für den jeweiligen Farbkanal vordefinierten einheitlichen Helligkeitswert.System (1) to Claim 2characterized in that the control unit (8) of the mobile electronic device (2) is arranged to control the screen (7) of the mobile electronic device (2) to display one or more of the illumination images (23) of the predefined illumination sequence - by activating the lighting elements of only a single color channel of the screen (7) and by driving all activated light elements of this color channel with a predefined for this color channel uniform brightness value, or - by activating the light elements of multiple color channels and by driving all activated light elements with one for the respective Color channel predefined uniform brightness value.System (1) nach einem derAnsprüche 2 oder3,dadurch gekennzeichnet, dass der Bildschirm (7) des mobilen elektronischen Geräts (2) einen roten Farbkanal, einen grünen Farbkanal und einen blauen Farbkanal umfasst, wobei die Beleuchtungsabfolge ein rotes Beleuchtungsbild (23), ein grünes Beleuchtungsbild (24) und ein blaues Beleuchtungsbild (25) umfasst, wobei die Steuereinheit (8) des mobilen elektronischen Geräts (2) eingerichtet ist, den Bildschirm (7) anzusteuern,- das rote Beleuchtungsbild (23) anzuzeigen durch ein Aktivieren der Leuchtelemente nur des roten Farbkanals des Bildschirms (7) und durch ein Ansteuern aller aktivierten Leuchtelemente des roten Farbkanals mit einem für den roten Farbkanal vordefinierten einheitlichen Helligkeitswert,- das grüne Beleuchtungsbild (24) anzuzeigen durch ein Aktivieren der Leuchtelemente nur des grünen Farbkanals des Bildschirms (7) und durch ein Ansteuern aller aktivierten Leuchtelemente des grünen Farbkanals mit einem für den grünen Farbkanal vordefinierten einheitlichen Helligkeitswert, und- das blaue Beleuchtungsbild (25) anzuzeigen durch ein Aktivieren der Leuchtelemente nur des blauen Farbkanals des Bildschirms (7) und durch ein Ansteuern aller aktivierten Leuchtelemente des blauen Farbkanals mit einem für den blauen Farbkanal vordefinierten einheitlichen Helligkeitswert.System (1) according to one of Claims 2 or 3characterized in that the screen (7) of the mobile electronic device (2) comprises a red color channel, a green color channel and a blue color channel, the illumination sequence comprising a red illumination image (23), a green illumination image (24) and a blue illumination image (25), wherein the control unit (8) of the mobile electronic device (2) is arranged to control the screen (7), - to display the red illumination image (23) by activating the light elements of only the red color channel of the screen (7) and by activating all activated light elements of the red color channel with a uniform brightness value predefined for the red color channel, the green illumination image (24) is activated by activating the light elements of only the green color channel of the screen (7) and activating all activated light elements of the screen green color channel with a uniform predefined for the green color channel Brightness value, and - the blue illumination image (25) by activating the light elements only the blue color channel of the screen (7) and by driving all activated light elements of the blue color channel with a predefined for the blue color channel uniform brightness value.System (1) nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass eine oder mehrere folgender Bildeigenschaften eines jedes Beleuchtungsbild (23) der vordefinierten Beleuchtungsbildfolge vordefiniert ist bzw. sind:- eine spektrale Zusammensetzung des von dem Bildschirm (7) beim Anzeigen des jeweiligen Beleuchtungsbildes emittierten Lichts, und/oder- für jeden Farbkanal des Bildschirms (7) jeweils ein einheitlicher Helligkeitswert, soweit dieser Anspruch auf einen derAnsprüche 2 bis4 zurückbezogen ist, und/oder- ein Bildschirmbereich, der durch das jeweilige Beleuchtungsbild (28, 29, 30) ausgefüllt ist, und/oder- eine Anordnung eines Bildschirmbereichs, der durch das jeweiligen Beleuchtungsbild (28, 29, 30) ausgefüllt ist, innerhalb einer Gesamtbildfläche (22) des Bildschirms (7).System (1) according to one of the preceding claims,characterized in that one or more following image characteristics of each illumination image (23) of the predefined illumination sequence is / are predefined: a spectral composition of the image from the screen (7) when the respective illumination image is displayed emitted light, and / or - for each color channel of the screen (7) each have a uniform brightness value, as far as this claim to one of Claims 2 to 4 is back, and / or - a screen area, which is filled by the respective illumination image (28, 29, 30), and / or - an arrangement of a screen area, which is filled by the respective illumination image (28, 29, 30), within an overall image area (22) of the screen (7).System (1) nach einem der vorausgehenden Ansprüche,dadurch gekennzeichnet, dass jedes der Beleuchtungsbilder jeweils nur einen Teilbereich (33) einer Gesamtbildfläche des Bildschirms (7) ausfüllt, wobei sich die ausgefüllten Teilbereiche (33) der Beleuchtungsbilder in ihrer Anordnung auf der Gesamtbildfläche des Bildschirms (7) voneinander unterscheiden.System (1) according to one of the preceding claims,characterized in that each of the illumination images fills in each case only a partial area (33) of an overall image area of the screen (7), wherein the filled subregions (33) of the illumination images differ in their arrangement on the overall image area of the screen (7).System (1) nachAnspruch 6,dadurch gekennzeichnet, dass die Gesamtbildfläche des Bildschirms (7) einen oberen Rand (34) aufweist, wobei sich die ausgefüllten Teilbereiche (33) der Beleuchtungsbilder in ihrem Abstand von dem oberen Rand (34) der Gesamtbildfläche des Bildschirms (7) voneinander unterscheiden, wobei das Objektiv oberhalb des oberen Rands (34) der Gesamtbildfläche des Bildschirms (7) angeordnet ist.System (1) to Claim 6characterized in that the overall image area of the screen (7) has an upper edge (34), the filled subregions (33) of the illumination images differing in their distance from the upper edge (34) of the overall image area of the screen (7), wherein the lens is disposed above the upper edge (34) of the overall image area of the screen (7).System (1) nach einem der vorausgehenden Ansprüche,dadurch gekennzeichnet, dass das System (1) mindestens einen Datenspeicher (9, 11) umfasst, in dem Beleuchtungsparameter, welche die vordefinierte Beleuchtungsbildfolge vollständig definieren, gespeichert sind, wobei die Steuereinheit (8) des mobilen elektronischen Geräts (2) eingerichtet ist, die in dem mindestens einen Datenspeicher (9, 11) gespeicherte Beleuchtungsparameter aus dem Datenspeicher (9, 11) abzurufen und auf der Grundlage der abgerufenen Beleuchtungsparameter die vordefinierte Beleuchtungsbildfolge zu ermitteln.System (1) according to any one of the preceding claims,characterized in that the system (1) comprises at least one data store (9, 11), are stored in the illumination parameters which completely define the predefined illumination image sequence, wherein the control unit (8) of the mobile electronic device (2) is arranged to retrieve the illumination parameters stored in the at least one data memory (9, 11) from the data memory (9, 11) and to determine the predefined illumination sequence on the basis of the retrieved illumination parameters.System (1) nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass die Kamera (6) des mobilen elektronischen Geräts (2) mehrere verschiedene Farbkanäle aufweist, wobei die Kamera (6) für jeden der Farbkanäle eine kanalspezifische spektrale Empfindlichkeit aufweist, wobei die Kamera (6) einen Bildsensor umfasst, der eine Vielzahl in einem Raster angeordneter Sensorelemente aufweist, wobei jeder der Farbkanäle der Kamera (6) durch eine Teilmenge der Sensorelemente des Bildsensors gebildet ist, deren spektralen Empfindlichkeiten mit der kanalspezifischen spektralen Empfindlichkeit des jeweiligen Farbkanals der Kamera (6) übereinstimmen.System (1) according to one of the preceding claims,characterized in that the camera (6) of the mobile electronic device (2) has a plurality of different color channels, wherein the camera (6) has a channel-specific spectral sensitivity for each of the color channels (6) comprises an image sensor having a plurality of sensor elements arranged in a grid, wherein each of the color channels of the camera (6) is formed by a subset of the sensor elements of the image sensor whose spectral sensitivities with the channel-specific spectral sensitivity of the respective color channel of the camera ( 6) match.System (1) nachAnspruch 9,dadurch gekennzeichnet, dass die Kamera (6) des mobilen elektronischen Geräts (2) einen roten Farbkanal, einen grünen Farbkanal und einen blauen Farbkanal aufweist.System (1) to Claim 9 ,characterized in that the camera (6) of the mobile electronic device (2) has a red color channel, a green color channel and a blue color channel.System (1) nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass ein jedes der Messbilder (39) eine Vielzahl von Bildpunkten (40) sowie Bilddaten, die den Bildpunkten (40) zugeordnet sind, beinhaltet, wobei das System (1) eine Auswerteeinheit (13, 14) umfasst, die eingerichtet ist, die Bildpunkte (40) der Messbilder (39) mittels einer Bildregistrierung der Messbilder (39) zusammenzuführen und die Bilddaten zusammengeführter Bildpunkte zu Messdatensätzen der jeweiligen zusammengeführten Bildpunkten (40) zusammenzufassen.System (1) according to any one of the preceding claims,characterized in that each of the measurement images (39) includes a plurality of pixels (40) and image data corresponding to the picture elements (40) are associated, said system (1) an evaluation unit (13, 14), which is set up to merge the pixels (40) of the measurement images (39) by means of an image registration of the measurement images (39) and to combine the image data of merged pixels into measurement data sets of the respective merged pixels (40).System (1) nachAnspruch 11,dadurch gekennzeichnet, dass die Auswerteeinheit (13, 14) eingerichtet ist, jeden der Messdatensätze mit mindestens einem vordefinierten Referenzdatensatz zu vergleichen.System (1) to Claim 11 ,characterized in that the evaluation unit (13, 14) is arranged to compare each of the measurement data records with at least one predefined reference data record.System (1) nach einem derAnsprüche 11 oder12,dadurch gekennzeichnet, dass die Auswerteeinheit (13, 14) eingerichtet ist, aus den Messdatensätzen eine Reflexionscharakteristik des Messobjekts (38) zu ermitteln, vorzugsweise unter Berücksichtigung einer spektralen Empfindlichkeit der Kamera (6) und einer spektralen Emissionscharakteristik des Bildschirms.System (1) according to one of Claims 11 or 12 ,characterized in that the evaluation unit (13, 14) is adapted to determine a reflection characteristic of the measurement object (38) from the measurement data records, preferably taking into account a spectral sensitivity of the camera (6) and a spectral emission characteristic of the screen.System (1) nach einem derAnsprüche 11 bis13,dadurch gekennzeichnet, dass die Auswerteeinheit (13, 14) eingerichtet ist, die ermittelten Reflexionscharakteristika des Messobjekts mit mindestens einer vordefinierten Referenzreflexionscharakteristik zu vergleichen.System (1) according to one of Claims 11 to 13 ,characterized in that the evaluation unit (13, 14) is arranged to compare the determined reflection characteristics of the measurement object with at least one predefined reference reflection characteristic.System (1) nach einem derAnsprüche 11 bis13 kombiniert mit einem der Ansprüchen 2 bis 5 und einem derAnsprüche 9 oder10,dadurch gekennzeichnet, dass der Bildschirm (7) M Farbkanäle und die Kamera (6) N Farbkanäle aufweist, wobei M > 1 und N > 1, wobei jeder Messdatensatz jeweils mindestens M × N Messwerte umfasst (F(d, c) mit 1≤d≤M und 1 ≤ c ≤ N), wobei die M × N Messwerte M × N verschiedenen Kombinationen von Farbkanäle des Bildschirms (7) mit den Farbkanäle der Kamera (6) entsprechen.System (1) according to one of Claims 11 to 13 Combined with one of claims 2 to 5 and one of Claims 9 or 10 ,characterized in that the screen (7) comprises M color channels and the camera (6) has N color channels, where M> 1 and N> 1, each measurement data set each comprising at least M × N measured values (F (d, c) with 1 ≤d≤M and 1≤c≤N), where the MxN measurements MxN correspond to different combinations of color channels of the screen (7) with the color channels of the camera (6).System (1) nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass das mobile elektronische Gerät (2) eine Benutzerschnittstelle (16) aufweist,- wobei die vordefinierte Beleuchtungsbildfolge über die Benutzerschnittstelle (16) einstellbar ist und/oder- wobei mittels der Benutzerschnittstelle (16) eine Auswahl zwischen verschiedenen vordefinierten Beleuchtungsbildfolgen ermöglicht ist.System (1) according to one of the preceding claims,characterized in that the mobile electronic device (2) has a user interface (16), - the predefined illumination sequence can be set via the user interface (16) and / or - whereby by means of the user interface ( 16) a selection between different predefined lighting image sequences is possible.System (1) nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass der Bildschirm (7) als ein Touchscreen ausgestaltet ist. System (1) according to one of the preceding claims,characterized in that the screen (7) is designed as a touch screen.System (1) nach einem der vorangehenden Ansprüche,dadurch gekennzeichnet, dass das mobile elektronische Gerät (2) ein Smartphone oder ein Tablet-Computer ist.System (1) according to one of the preceding claims,characterized in that the mobile electronic device (2) is a smartphone or a tablet computer.Verfahren zum Erfassen von Messbildern eines Messobjekts mittels eines Systems nach einem der vorangehenden Ansprüche, umfassend die Schritte:- Ansteuern des Bildschirms (7) des mobilen elektronischen Geräts (2) mittels der Steuereinheit (8), mehrere verschiedene Beleuchtungsbilder der vordefinierten Beleuchtungsbildfolge nacheinander anzuzeigen,- Ansteuern der Kamera (6) des mobilen elektronischen Geräts, synchron zum Anzeigen eines jeden Beleuchtungsbildes der vordefinierten Beleuchtungsbildfolge jeweils ein Messbild von dem Messobjekt zu erfassen.Method for acquiring measurement images of a measurement object by means of a system according to one of the preceding claims, comprising the steps:- driving the screen (7) of the mobile electronic device (2) by means of the control unit (8) to display several different illumination images of the predefined illumination sequence successively,- Driving the camera (6) of the mobile electronic device, synchronously to display each illumination image of the predefined illumination sequence to capture a respective measurement image of the measurement object.Computerprogrammprodukt (10), das direkt in einen internen Datenspeicher (11) des mobilen elektronischen Geräts (2) des Systems nach einem derAnsprüche 1 bis18 geladen werden kann, und Softwarecodeabschnitte umfasst, mit denen die Schritte des Verfahrens gemäßAnspruch 19 ausgeführt werden, wenn das Computerprogrammprodukt (10) auf dem mobilen elektronischen Gerät (2) läuft.Computer program product (10), which is stored directly in an internal data memory (11) of the mobile electronic device (2) of the system according to one of the Claims 1 to 18 can be loaded, and includes software code sections, with which the steps of the method according to Claim 19 are executed when the computer program product (10) on the mobile electronic device (2) is running.

Images