DE102023123907A1 - Method for detecting instruments in image data and device for analyzing image data - Google Patents
Method for detecting instruments in image data and device for analyzing image dataDownload PDFInfo
- Publication number
- DE102023123907A1 DE102023123907A1DE102023123907.4ADE102023123907ADE102023123907A1DE 102023123907 A1DE102023123907 A1DE 102023123907A1DE 102023123907 ADE102023123907 ADE 102023123907ADE 102023123907 A1DE102023123907 A1DE 102023123907A1
- Authority
- DE
- Germany
- Prior art keywords
- instrument
- event
- image data
- data
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Endoscopes (AREA)
Abstract
Translated fromGerman
Description
Translated fromGermanDie vorliegende Erfindung betrifft ein Verfahren zur visuellen Erkennung und Klassifizierung von Instrumenten in medizinischen Bilddaten, insbesondere in einem endoskopischen Livebild.The present invention relates to a method for the visual recognition and classification of instruments in medical image data, in particular in an endoscopic live image.
Optische Visualisierungssysteme wie Endoskope oder Mikroskope für medizinische Eingriffe sind bekannt und ermöglichen eine Darstellung einer Szene und/oder eines Arbeitsbereiches innerhalb eines menschlichen Körpers, beispielsweise während eines minimal-invasiven Eingriffs. Derartige Visualisierungssysteme geben erfasste Bild- bzw. Videodaten auf geeigneten Bildschirmen aus und sind üblicherweise mit einer Bildaufzeichnungsvorrichtung oder einem Bildaufzeichnungssystem verbunden, um die erfassten Bild- bzw. Videodaten sowie gegebenenfalls weitere geräte- und/oder patientenspezifische Daten aufzuzeichnen und/oder zur weiteren Bearbeitung und/oder Auswertung zu analysieren.Optical visualization systems such as endoscopes or microscopes for medical interventions are known and enable a representation of a scene and/or a work area within a human body, for example during a minimally invasive procedure. Such visualization systems output captured image or video data on suitable screens and are usually connected to an image recording device or an image recording system in order to record the captured image or video data and, if necessary, other device- and/or patient-specific data and/or to analyze them for further processing and/or evaluation.
Weiterhin sind Verfahren und Vorrichtungen bekannt, mittels derer die von einem Endoskop erfassten Bild- bzw. Videodaten zu Analyse- und/oder Dokumentationszwecken verarbeitet werden. Beispielsweise kann eine visuelle Erfassung der verwendeten chirurgischen Instrumente oder während des Eingriffs auftretender operativer Ereignisse erfolgen. Die resultierenden Daten und ermittelten Informationen können dann für die Beobachtung eines Behandlungsverlaufs, zur Optimierung von zukünftigen chirurgischen Eingriffen ähnlicher Natur oder zum Antrainieren von KI-Anwendungen verwendet werden.Furthermore, methods and devices are known by means of which the image or video data captured by an endoscope are processed for analysis and/or documentation purposes. For example, the surgical instruments used or surgical events occurring during the procedure can be visually recorded. The resulting data and information obtained can then be used to observe the course of treatment, to optimize future surgical interventions of a similar nature or to train AI applications.
Die
Die
Die
Basierend auf dem bekannten Stand der Technik ist es Aufgabe der vorliegenden Erfindung ein Verfahren und eine Vorrichtung zur visuellen Analyse von medizinischen Bilddaten bereitzustellen, welches bzw. welche eine optimierte Erkennung und Klassifizierung von Instrumenten in den Bilddaten ermöglicht.Based on the known prior art, it is the object of the present invention to provide a method and a device for the visual analysis of medical image data, which enables an optimized recognition and classification of instruments in the image data.
Gelöst wird diese Aufgabe durch das Verfahren zur Erkennung und die Vorrichtung zur Analyse gemäß den unabhängigen Ansprüchen. Die abhängigen Ansprüche beschreiben vorteilhafte Weiterbildungen der vorliegenden Erfindung. In den Rahmen der Erfindung fallen sämtliche Kombinationen aus zumindest zwei von in den Ansprüchen, der Beschreibung und/oder den Figuren offenbarten Merkmalen.This object is achieved by the method for detection and the device for analysis according to the independent claims. The dependent claims describe advantageous developments of the present invention. All combinations of at least two of the features disclosed in the claims, the description and/or the figures fall within the scope of the invention.
In einem ersten Aspekt betrifft die vorliegende Erfindung ein Verfahren zur Erkennung von chirurgischen Instrumenten in medizinischen Bilddaten, insbesondere zu Analyse- und Dokumentationszwecken, umfassend die Schritte:
- -Erfassen von vorzugsweise mittels eines Endoskops bereitgestellten Bilddaten, insbesondere einem endoskopischen Livebild,
- -visuelle Erkennung eines operativen Ereignisses in den erfassten Bilddaten, und
- -visuelle Erfassung wenigstens eines Instruments in den erfassten Bilddaten, wobei das Verfahren eine Erkennung und Zuordnung einer Instrumentenklassifikation zum erfassten Instrument basierend auf der Erkennung des operativen Ereignisses und einer Distanzermittlung zwischen dem erkannten operativen Ereignis und einem Instrumentenende des wenigstens eines Instruments.
- -Capturing image data preferably provided by an endoscope, in particular an endoscopic live image,
- -visual detection of an operative event in the acquired image data, and
- -visual detection of at least one instrument in the captured image data, wherein the method comprises recognizing and assigning an instrument classification to the captured instrument based on the detection of the operative event and a distance determination between the recognized operative event and an instrument end of the at least one instrument.
Unter einem Instrumentenende wird vorliegend insbesondere das distale Ende oder eine distale Endregion eines Instruments verstanden. Das Instrumentenende ist insbesondere ein Teil des Instruments, der visuell von einem Bilderfassungsgerät erfasst werden kann, welches die Bilddaten erfasst. Alternativ oder zusätzlich kann das Instrumentenende auch als eine Region of Interest (ROI) definiert sein, also eine Region im Bild in der das Instrumentenende erkannt oder vermutet wird. Das Instrumentenende kann innerhalb des Bildes visuell insbesondere durch Markierungen am Instrumentenende oder durch Segmentierung erkannt und bestimmt werden.In the present case, an instrument end is understood to mean in particular the distal end or a distal end region of an instrument. The instrument end is in particular a part of the instrument that can be visually captured by an image capture device that captures the image data. Alternatively or additionally, the instrument end can also be defined as a region of interest (ROI), i.e. a region in the image in which the instrument end is recognized or suspected. The instrument end can be visually recognized and determined within the image, in particular by markings on the instrument end or by segmentation.
Die vorliegende Erfindung ermöglicht die bevorzugt automatische Ermittlung und Zuteilung wenigstens eines Attributs und insbesondere einer Instrumentenklassifikation eines in den Bilddaten erfassten chirurgischen Instruments basierend auf Auswertung der erfassten Bilddaten.The present invention enables the preferably automatic determination and allocation of at least one attribute and in particular an instrument classification of a surgical instrument recorded in the image data based on evaluation of the recorded image data.
Unter visueller Erfassung und visueller Erkennung wird vorliegend eine jeweilige softwarebasierte Erfassung bzw. Erkennung mittels an sich bekannten Softwarealgorithmen und/oder mittels antrainierter Künstlicher Intelligenz (KI) verstanden, welche eine visuelle Analyse bzw. Auswertung der erfassten Bilddaten durchführt. Hierbei erfolgt beispielsweise eine Erfassung von Konturen und/oder Strukturen eines Instruments und/oder eines Gewebes und/oder eine Analyse weiterer Bildelemente und/oder Bilddaten, basierend auf welchen eine Erkennung eines operativen Ereignisses oder eines Instruments, bspw. mittels Abgleich mit zuvor hinterlegten Daten erfolgen kann. Eine visuelle Erfassung und Erkennung unterscheidet sich insbesondere von einer Sensor- oder Antennen-basierten Erfassung oder Erkennung von Objekten in Bilddaten bzw. einem Videobild.In this case, visual recording and visual recognition are understood to mean a respective software-based recording or recognition using known software algorithms and/or using trained artificial intelligence (AI), which carries out a visual analysis or evaluation of the recorded image data. This involves, for example, recording contours and/or structures of an instrument and/or tissue and/or analyzing further image elements and/or image data, based on which a surgical event or an instrument can be recognized, e.g. by comparing it with previously stored data. Visual recording and recognition differs in particular from sensor- or antenna-based recording or recognition of objects in image data or a video image.
Unter operativem Ereignis wird ein in Bilddaten visuell detektierbares Ereignis verstanden, insbesondere eine visuell erkennbare Wirkung einer Instrumentenanwendung.An operative event is understood to be an event that can be visually detected in image data, in particular a visually recognizable effect of an instrument application.
Unter Bilddaten werden vorliegend Bild- und/oder Videodaten, und insbesondere durch ein Videoendoskop, Exoskop oder medizinisches Mikroskop bereitgestellte Bilddaten, verstanden.Image data in this context means image and/or video data, and in particular image data provided by a video endoscope, exoscope or medical microscope.
Im Gegensatz zum Stand der Technik erfolgt erfindungsgemäß für ein chirurgisches Instrument keine visuelle Erkennung eines Attributs des Instruments auf Basis der Bilddaten des erfassten Instruments alleine, sondern eine auf einer Distanzermittlung zwischen einem jeweiligen Instrumentenende und einem erkannten operativen Ereignis basierte Erkennung und Zuordnung einer Klassifikation bzw. Klassifizierung des chirurgischen Instruments. Hierdurch wird eine optimierte und insbesondere genauere Klassifikation des jeweiligen Instruments ermöglicht. So können beispielsweise unterschiedliche chirurgische Instrumente, welche aber in Bilddaten eine ähnliche Kontur/Oberfläche aufweisen und somit bei einer Analyse der Bilddaten des Instruments alleine nicht oder nur schwer unterscheidbar sind, mittels eines damit assoziierten operativen Ereignisses näher bestimmt bzw. klassifiziert werden.In contrast to the prior art, according to the invention, for a surgical instrument, no visual recognition of an attribute of the instrument is carried out on the basis of the image data of the recorded instrument alone, but rather a recognition and assignment of a classification or classification of the surgical instrument based on a distance determination between a respective instrument end and a recognized surgical event. This enables an optimized and, in particular, more precise classification of the respective instrument. For example, different surgical instruments, which have a similar contour/surface in image data and are therefore not or only difficult to distinguish when analyzing the image data of the instrument alone, can be more precisely determined or classified using an associated surgical event.
Das Verfahren umfasst vorzugsweise den weiteren Schritt eines Speichervorgangs und/oder einer Ausgabe der ermittelten Daten, insbesondere der erkannten und zugeordneten Instrumentenklassifikation, vorzugsweise zusammen mit den erfassten Bilddaten. Vorteilhaft kann hierzu ein Ausgabemittel, wie beispielsweise ein Display, bereitgestellt werden, in welchem neben den erfassten Bilddaten wie einem endoskopischen Livebild die ermittelte Instrumentenklassifikation und/oder die weiteren erfassten und/oder ermittelten Daten einem Benutzer dargestellt werden. Weiterhin können die Bilddaten vorzugsweise zusammen mit den zugeordneten Daten in einem vorgesehenen internen oder externen Datenspeicher abgelegt werden. Der Speicher kann beispielsweise ein mit einer Bilderfassungsvorrichtung verbundener Zwischenspeicher sein, welcher in regelmäßigen oder unregelmäßigen Abständen die Daten an eine vorgesehene Datenbank, insbesondere zu Dokumentations- und/oder Auswertungszwecken übermittelt.The method preferably comprises the further step of storing and/or outputting the determined data, in particular the recognized and assigned instrument classification, preferably together with the captured image data. For this purpose, an output means, such as a display, can advantageously be provided in which, in addition to the captured image data such as an endoscopic live image, the determined instrument classification and/or the further captured and/or determined data are shown to a user. Furthermore, the image data can preferably be stored together with the assigned data in a provided internal or external data storage. The storage can, for example, be a buffer connected to an image capture device, which transmits the data to a provided database at regular or irregular intervals, in particular for documentation and/or evaluation purposes.
In einer bevorzugten Ausführungsform erfolgt bei einer visuellen Erfassung von zwei oder mehr Instrumenten bzw. zugeordneter Instrumentenenden in den erfassten Bilddaten die Erkennung und Zuordnung der Instrumentenklassifikation für das Instrument, dessen Instrumentenende die kürzeste ermittelte Distanz zum erfassten operativen Ereignis aufweist. Hierbei wird vorzugsweise nach einer Erfassung und Erkennung eines operativen Ereignisses und nach Erfassung von wenigstens zwei Instrumentenenden in den Bilddaten zunächst die jeweilige Distanz zwischen den Instrumentenenden und dem operativen Ereignis ermittelt. Anschließend erfolgt eine Zuordnung des Instrumentenendes, welches nächstliegend zum operativen Ereignis erfasst ist, als für die vorgehend beschriebene Instrumentenklassifikation maßgeblich. Dies erfolgt vorteilhaft auch bei wenigstens zwei oder mehreren erkannten operativen Ereignissen, bei welchen dann für jedes operative Ereignis eine Distanzermittlung zu den jeweils im Bild visuell erfassten chirurgischen Instrumenten erfolgt. Hierdurch kann bei einer Erfassung von mehr als zwei chirurgischen Instrumenten in den Bilddaten eine genauere Klassifizierung des einem operativen Ereignis zugeordneten Instruments erfolgen.In a preferred embodiment, when two or more instruments or associated instrument ends are visually recorded in the recorded image data, the instrument classification is recognized and assigned to the instrument whose instrument end has the shortest determined distance to the recorded operative event. Preferably, after recording and recognizing an operative event and after recording at least two instrument ends in the image data, the respective distance between the instrument ends and the operative event is first determined. The instrument end that is recorded closest to the operative event is then assigned. is decisive for the instrument classification described above. This is also advantageously done when at least two or more surgical events are detected, in which case a distance determination to the surgical instruments visually recorded in the image is then carried out for each surgical event. This allows a more precise classification of the instrument assigned to a surgical event when more than two surgical instruments are recorded in the image data.
Die Distanzermittlung zwischen dem operativen Ereignis und dem Instrumentenende des erfassten Instruments basiert vorzugsweise auf einer aus den Bilddaten direkt visuell detektierbaren Abstands- bzw. Entfernungsmessung. Vorteilhaft kann dies eine an sich bekannte softwarebasierte Entfernungsmessung zwischen zwei Bildpunkten, insbesondere zwischen jeweiligen Mittelpunkten des Instrumentenendes und dem erfassten Ereignis sein, und/oder eine auf einer zusätzlichen Tiefenvermessung basierende Bildauswertung umfassen, die den Abstand zwischen dem Bilderfassungsgerät und der Szene, insbesondere dem operativen Ereignis, für einzelne Bildpunkte ermittelt. Beispielsweise kann die Tiefe durch einen Sensor wie einen Time-of-Flight Sensor ermittelt werden. Alternativ kann einzelnen Bildpunkten der Szene eine Tiefe durch Triangulation zugeordnet werden, beispielsweise mit einem Stereoinstrument. Es kann, insbesondere fortlaufend, eine Tiefenkarte der Szene ermittelt werden und diese Information zur räumlichen Entfernungsbestimmung zwischen realen Punkten in der Szene, insbesondere dem Instrumentenende und dem operativen Ereignis verwendet werden. Die Distanzermittlung erfolgt dann in drei Dimensionen. Hierdurch kann mittels hinreichender Genauigkeit eine effiziente Analyse der Bilddaten erfolgen, ohne die Notwendigkeit komplexer zusätzlicher Vorrichtungen wie beispielsweise Sensoren und/oder Antennen an den jeweiligen Instrumenten.The distance determination between the operative event and the instrument end of the recorded instrument is preferably based on a distance or range measurement that can be directly visually detected from the image data. This can advantageously be a known software-based distance measurement between two image points, in particular between the respective centers of the instrument end and the recorded event, and/or an image analysis based on an additional depth measurement that determines the distance between the image capture device and the scene, in particular the operative event, for individual image points. For example, the depth can be determined by a sensor such as a time-of-flight sensor. Alternatively, a depth can be assigned to individual image points in the scene by triangulation, for example with a stereo instrument. A depth map of the scene can be determined, in particular continuously, and this information can be used to determine the spatial distance between real points in the scene, in particular the instrument end and the operative event. The distance is then determined in three dimensions. This allows efficient analysis of the image data with sufficient accuracy without the need for complex additional devices such as sensors and/or antennas on the respective instruments.
Alternativ oder zusätzlich kann für das erkannte Instrumentenende und das operative Ereignis im Bild jeweils eine sog. Region of Interest (ROI) definiert werden, beispielsweise ein Rechteck oder eine andere Form, das jeweils das Instrumentenende und die ROI einfasst. Die Distanz kann dann eine Distanz zwischen bestimmten Punkten dieser Rechtecke bzw. Formen sein, beispielsweise zwischen den Mittelpunkten.Alternatively or additionally, a so-called region of interest (ROI) can be defined for the detected instrument end and the operative event in the image, for example a rectangle or another shape that encloses the instrument end and the ROI. The distance can then be a distance between certain points of these rectangles or shapes, for example between the center points.
Der Schritt der Distanzermittlung zwischen dem operativen Ereignis und dem Instrumentenende des erfassten Instruments erfolgt zeitlich vorzugsweise unmittelbar nach visueller Erkennung des operativen Ereignisses und/oder der Erkennung des Instruments. Hierdurch kann eine genauere Zuordnung zwischen einem jeweiligen Instrument und dem operativen Ereignis erfolgen. Insbesondere kann damit eine Messung nächstmöglich am Entstehungsort des operativen Ereignisses erfolgen und somit eine die Messung negativ beeinflussende Ausweitung oder örtliche Veränderung bzw. ein Wandern des operativen Ereignisses in den Bilddaten vermieden werden.The step of determining the distance between the operative event and the end of the instrument recorded preferably takes place immediately after visual recognition of the operative event and/or recognition of the instrument. This allows a more precise assignment between a particular instrument and the operative event. In particular, this allows a measurement to be taken as close as possible to the location where the operative event occurred, thus avoiding an expansion or local change that could negatively affect the measurement or a migration of the operative event in the image data.
Eine Erkennung eines operativen Ereignisses umfasst vorzugsweise eine Ereignisklassifizierung aus den analysierten Bilddaten in eine oder mehrere der folgenden Ereignisklassifikationen: eine Rauchentwicklung, eine farbliche oder strukturelle Gewebeveränderung, eine entstehende und/oder sich verändernde Gewebeöffnung, eine Wassergehaltveränderung des erfassten Gewebes, eine Blutentwicklung des Gewebes, eine Nahterstellung im Gewebe, eine Einbringung von Fremdmaterial in das Gewebe, insbesondere eine Metalleinbringung, beispielsweise einen Clip, und/oder einen Sprühnebel oder Gasblasen.A detection of a surgical event preferably comprises an event classification from the analyzed image data into one or more of the following event classifications: a smoke development, a color or structural tissue change, a developing and/or changing tissue opening, a change in the water content of the detected tissue, a blood development in the tissue, a suture in the tissue, an introduction of foreign material into the tissue, in particular an introduction of metal, for example a clip, and/or a spray mist or gas bubbles.
Bei der visuellen Erkennung eines operativen Ereignisses erfolgt vorzugsweise eine visuelle Erfassung und Erkennung eines operativen Ereignisses mittels computer- bzw. softwareunterstützter Bildauswertung bzw. Bildanalyse, insbesondere mit an sich bekannten Bildauswertungsalgorithmen. Vorteilhaft erfolgt hierbei eine Auswertung der RGB-Bildwerte, eine Auswertung von multispektralen und/oder hyperspektralen Bildparametern, eine Identifikation von Konturen/Strukturen der erfassten Objekte im Bild, und/oder eine Auswertung unter Verwendung von an sich bekannten Algorithmen zur Objekterkennung in Bilddaten, insbesondere auch unter Abgleich mit zuvor erfassten und/oder gespeicherten Bilddaten bekannter und somit vordefinierter operativer Ereignisse. Beispielsweise kann ein Wassergehalt mittels Auswertung von Hyperspektraler- oder Multispektraler Bildparameter ermittelt werden. Die Erkennung kann auch durch oder mit Unterstützung einer künstlichen Intelligenz, beispielsweise unter Verwendung eines neuronalen Netzes, oder basierend auf maschinellem Lernen erfolgen. Diese werden dann anhand beobachteter operativer Ereignisse zur Erkennung dieser Ereignisse trainiert.When visually recognizing an operative event, a visual recording and recognition of an operative event is preferably carried out using computer or software-supported image evaluation or image analysis, in particular using image evaluation algorithms known per se. Advantageously, this involves an evaluation of the RGB image values, an evaluation of multispectral and/or hyperspectral image parameters, an identification of contours/structures of the objects captured in the image, and/or an evaluation using known algorithms for object recognition in image data, in particular also by comparing them with previously recorded and/or stored image data of known and thus predefined operative events. For example, a water content can be determined by evaluating hyperspectral or multispectral image parameters. Recognition can also be carried out by or with the support of artificial intelligence, for example using a neural network, or based on machine learning. These are then trained to recognize these events based on observed operative events.
Bei der visuellen Erkennung kann insbesondere auch eine Auswertung über den zeitlichen Verlauf bzw. eine Auswertung in einer Vielzahl von aufeinanderfolgenden Frames eines Videobildes bzw. der Bilddaten erfolgen. Beispielsweise kann eine Gewebeveränderung mittels Auswertung der RGB-Werte im zeitlichen Verlauf, insbesondere durch Detektion von farblichen Änderungen detektiert werden, beispielsweise für die Gewebefarbe von rosa zu schwarz zur Erkennung von Gewebeschäden, oder für die Bildfarbinformationen hin zu weiß oder grau zur Erkennung von Rauch.In visual detection, an evaluation can also be carried out over time or in a large number of consecutive frames of a video image or image data. For example, a change in tissue can be detected by evaluating the RGB values over time, in particular by detecting color changes, for example for the tissue color from pink to black to detect tissue damage, or for the image color information to white or gray to detect smoke.
Der Schritt der Erkennung eines operativen Ereignisses kann weiter bevorzugt eine Zuordnung einer Ereignisintensität und/oder eines weiteren Ereignisattributs umfassen. Auch dies kann mittels der vorgenannten, an sich bekannten computer- bzw. softwareunterstützten Bildauswertung bzw. Bildanalyse erfolgen. Beispielsweise kann eine visuelle Erkennung und anschließende Zuordnung einer Rauchintensität, einer Blutungsintensität und/oder eine Gewebeöffnungsgröße erfolgen. Hierfür kann ein jeweiliger Intensitäts- oder Größenfaktor dem Ereignis zugeordnet werden. Beispielsweise kann je nach Umfang oder Dichte einer visuell im Bild detektierbaren Rauchentwicklung am Gewebe eine kleinerer oder größerer Intensitätswert ermittelt und dem operativen Ereignis zugordnet werden.The step of detecting an operative event can further preferably include an assignment of an event intensity and/or another event attribute. This can also be done using the aforementioned, known computer or software-assisted image evaluation or image analysis. For example, a visual detection and subsequent assignment of a smoke intensity, a bleeding intensity and/or a tissue opening size can be carried out. For this purpose, a respective intensity or size factor can be assigned to the event. For example, depending on the extent or density of smoke development on the tissue that can be visually detected in the image, a smaller or larger intensity value can be determined and assigned to the operative event.
In einer bevorzugten Ausführungsform umfasst die Erkennung und Zuordnung einer Instrumentenklassifikation eine Erkennung und Zuordnung eines Instrumententyps und/oder eines weiteren Instrumentenattributs, insbesondere umfassend die Klassifikation: HF-Instrument, Nicht-HF-Instrument, Zange, Schere, Nahtinstrument, Klammernahtgerät, Biopsieinstrument, Stanze, Clip-Setzer und/oder ein Ultraschall-Gerät.In a preferred embodiment, the recognition and assignment of an instrument classification comprises a recognition and assignment of an instrument type and/or a further instrument attribute, in particular comprising the classification: HF instrument, non-HF instrument, forceps, scissors, suture instrument, stapler, biopsy instrument, punch, clip setter and/or an ultrasound device.
Die Erkennung und Zuordnung einer Instrumentenklassifikation des erfassten Instruments basiert erfindungsgemäß neben der zuvor beschriebenen Distanzermittlung auf einem erkannten operativen Ereignis. Das erkannte Ereignis umfasst dabei Informationen bzw. Daten zu einer erkannten Ereignisklassifikation, einer ermittelten Ereignisintensität, und/oder Daten zu einem weiteren Ereignisattribut. So kann beispielsweise durch die Erkennung einer in den Bilddaten detektierbaren Rauchentwicklung am Gewebe, welche durch die Distanzermittlung einem erfassten Instrumentenende zugeordnet wurde bzw. ist, das entsprechende Instrument als Hochfrequenz (HF) Instrument zur Anwendung von Hochfrequenz-Strom, beispielsweise zum Koagulieren oder Schneiden, klassifiziert werden. Hierdurch können insbesondere HF-Instrumente wie HF-Fasszangen, welche sich optisch nicht oder nur kaum von Fasszangen ohne HF-Funktionalität unterscheiden, von ebensolchen unterschieden werden.According to the invention, the recognition and assignment of an instrument classification of the detected instrument is based on a recognized operative event in addition to the distance determination described above. The recognized event includes information or data on a recognized event classification, a determined event intensity, and/or data on another event attribute. For example, by recognizing smoke development on the tissue that can be detected in the image data and which was or is assigned to a detected instrument end by the distance determination, the corresponding instrument can be classified as a high-frequency (HF) instrument for the application of high-frequency current, for example for coagulation or cutting. This makes it possible to distinguish HF instruments such as HF grasping forceps, which are visually indistinguishable or only slightly different from grasping forceps without HF functionality, from such instruments.
Hierbei kann die Erkennung und Zuordnung einer Instrumentenklassifikation neben den erfassten visuellen Bilddaten des Instruments basierend auf der Auswertung von für vordefinierte Instrumente in einer Datenbank hinterlegten Geräte- und/oder Eingriffsdaten und/oder für vordefinierte Eingriffe bzw. vordefinierte Ereignisse hinterlegte Instrumentendaten durchgeführt werden. So kann die Erkennung und Zuordnung einer Instrumentenklassifikation den Schritt einer Abfrage von in einem internen oder externen Datenspeicher hinterlegten und/oder abrufbaren Daten umfassen, die operative Ereignisse einem jeweiligen Instrument oder einer jeweiligen Instrumenteneigenschaft zuordnen. Beispielsweise kann in einem Speicher die Zuordnung hinterlegt sein, dass das operative Ereignis einer Rauchentwicklung im Gewebe durch ein chirurgisches Instrument mit HF-Funktionalität ausgelöst werden kann, oder dass eine entstehende Gewebeöffnung oder Gewebeteilung durch eine Schere ausgelöst sein kann.In addition to the recorded visual image data of the instrument, the recognition and assignment of an instrument classification can be carried out based on the evaluation of device and/or intervention data stored in a database for predefined instruments and/or instrument data stored for predefined interventions or predefined events. The recognition and assignment of an instrument classification can thus include the step of querying data stored and/or retrievable in an internal or external data storage device that assigns surgical events to a respective instrument or a respective instrument property. For example, the assignment that the surgical event of smoke development in the tissue can be triggered by a surgical instrument with HF functionality, or that a resulting tissue opening or tissue division can be triggered by scissors can be stored in a memory.
Das Verfahren umfasst bevorzugt den weiteren Schritt der Ermittlung einer Erkennung und Zuordnung einer Art der medizinischen Behandlung als Attribut für die analysierten Bilddaten. So kann mit Hilfe einer Erkennung des jeweiligen operativen Ereignisses und/oder der erkannten Instrumentenklassifikation auf eine vorliegende medizinische Behandlung bzw. Behandlungsart geschlossen werden, welche als Attribut den erfassten Bilddaten zugeordnet werden kann.The method preferably includes the further step of determining a recognition and assignment of a type of medical treatment as an attribute for the analyzed image data. With the help of recognition of the respective surgical event and/or the recognized instrument classification, it is possible to infer an existing medical treatment or type of treatment, which can be assigned as an attribute to the captured image data.
Weiterhin kann das Verfahren den Schritt der Auslesung und/oder Auswertung von Geräte- und/oder Instrumentendaten umfassen, welche für den jeweiligen Eingriff verwendet werden und beispielsweise an einer Vorrichtung zur Durchführung des Verfahrens angeschlossen sind. So können hierbei beispielsweise elektronisch auslesbare Gerätedaten analysiert werden und für die weitere Klassifizierung eines Instruments, zur Erkennung eines operativen Eingriffs und/oder zur Erkennung einer Art der medizinischen Behandlung bzw. einer Indikation verwendet werden. Wird beispielsweise ein HD-Rhinoskop als mit einer entsprechenden Vorrichtung verbunden erkannt, kann darauf geschlossen werden, dass es sich um einen diagnostischen Eingriff handelt, da dieses Endoskop keinen Arbeitskanal besitzt. Wird beispielsweise ein Zystoskop als mit einer entsprechenden Vorrichtung verbunden erkannt, kann darauf geschossen werden, dass es sich um einen endourologischen Eingriff handelt.Furthermore, the method can include the step of reading out and/or evaluating device and/or instrument data which are used for the respective procedure and are, for example, connected to a device for carrying out the procedure. For example, electronically readable device data can be analyzed and used for the further classification of an instrument, for the detection of a surgical procedure and/or for the detection of a type of medical treatment or an indication. If, for example, an HD rhinoscope is recognized as being connected to a corresponding device, it can be concluded that this is a diagnostic procedure because this endoscope does not have a working channel. If, for example, a cystoscope is recognized as being connected to a corresponding device, it can be assumed that this is an endourological procedure.
Hierauf basiert kann zudem bereits im Vorfeld der Bildauswertung darauf geschlossen werden, ob eine bestimmte Klassifikation und/oder ein bestimmtes operatives Ereignis vorliegen könnte oder eher unwahrscheinlich ist. Beispielsweise wird in einem endourologischen Eingriff unter Wasser gearbeitet. Wird hier HF-Strom angewandt so entsteht kein Rauch, sondern Blasen. Weiterhin gibt es beispielsweise rein diagnostische Eingriffe, in denen keine Anwendung von HF-Instrumentenerfolgt. Dies hat den Vorteil, dass ein jeweiliger Bildauswertungsalgorithmus effizienter gestaltet werden kann, da nur eine begrenzte Anzahl an Instrumenten bzw. Instrumentenklassifikationen für den jeweiligen Eingriff relevant sind und nicht pauschal alle.Based on this, it can also be concluded in advance of the image analysis whether a certain classification and/or a certain surgical event could be present or is rather unlikely. For example, if an endourological procedure is carried out underwater, then if HF current is used, no smoke is produced, but bubbles. There are also purely diagnostic procedures in which no HF instruments are used. This has the advantage that the respective image analysis algorithm can be designed more efficiently, since only a limited number of instruments or instrument classifications are relevant for the respective procedure and not all of them across the board.
Weiterhin kann das Verfahren den Schritt der zeitlichen Erfassung einer jeweiligen Nutzung eines klassifizierten chirurgischen Instruments und/oder eines operativen Ereignisses umfassen. Dies kann insbesondere den jeweiligen Zeitpunkt und die Länge der Nutzung bzw. die Dauer eines erkannten Ereignisses umfassen. Die entsprechenden Daten können den Bilddaten zugeordnet werden und für die weitere Auswertung, insbesondere auch zur Klassifizierung des Instruments und/oder zur Erkennung eines Ereignisses verwendet werden.Furthermore, the method may include the step of temporally recording a respective use of a classified surgical instrument and/or an operative event. This can include in particular the respective time and length of use or the duration of a detected event. The corresponding data can be assigned to the image data and used for further evaluation, in particular for classifying the instrument and/or for detecting an event.
Das Verfahren umfasst vorzugsweise weiterhin eine Berechnung und Zuordnung eines Validierungswerts für das jeweilige erkannte chirurgische Instrument, welcher wenigstens basierend auf einem Entfernungswert der jeweiligen Distanzermittlung zwischen einem erkannten operativen Ereignis und einem Instrumentenende ermittelt wird. Der Validierungswert kann dazu dienen, für das jeweilige chirurgische Instrument eine entsprechende Plausibilität der erkannten Instrumentenklassifikation bereitzustellen. Vorzugsweise wird bei einer relativ geringen ermittelten Distanz zwischen dem operativen Ereignis und dem Instrumentenende ein höherer Validierungswert zugeordnet als bei einer relativ größeren Distanz. Dies basiert darauf, dass bei einem direkt naheliegenden operativen Ereignis die Wahrscheinlichkeit höher ist, dass das chirurgische Instrument für das operative Ereignis verantwortlich ist, als bei einer relativ größeren Distanz zwischen Instrument und Ereignis. Der Validierungswert wird vorzugsweise den Bilddaten zugeordnet und kann zusammen mit den anderen Daten und/oder Werten in einem entsprechenden Speicher hinterlegt werden.The method preferably further comprises calculating and assigning a validation value for the respective recognized surgical instrument, which is determined at least based on a distance value of the respective distance determination between a recognized surgical event and an instrument end. The validation value can serve to provide a corresponding plausibility of the recognized instrument classification for the respective surgical instrument. Preferably, a higher validation value is assigned for a relatively small determined distance between the surgical event and the instrument end than for a relatively larger distance. This is based on the fact that in the case of a directly nearby surgical event, the probability that the surgical instrument is responsible for the surgical event is higher than in the case of a relatively larger distance between the instrument and the event. The validation value is preferably assigned to the image data and can be stored in a corresponding memory together with the other data and/or values.
Das Verfahren kann optional eine manuelle Validierung, beispielsweise eine während des Eingriffs erfolgende oder diesem nachgelagerte Validierung der erkannten Instrumentenklassifikation mittels Benutzerinteraktion umfassen. Diese kann vorteilhaft eine Ausgabe der erkannten Instrumentenklassifikation an einen Benutzer wie einen behandelnden Arzt mittels vorgesehenen Ausgabemitteln und eine Erfassung einer manuellen Rückmeldung mittels vorgesehener Eingabemittel umfassen. Neben der Ausgabe der erkannten Instrumentenklassifikation kann eine Ausgabe von zugeordneten weiteren Daten, insbesondere die Ausgabe eines zugeordneten Validierungswerts, umfassen. Weiter bevorzugt kann eine optionale manuelle Validierung lediglich für die Klassifikationsdaten bzw. erkannten Instrumente erfolgen, welchen ein relativ geringer Validierungswert zugeordnet ist. Hierdurch kann eine optionale manuelle Überprüfung für weniger plausible Daten erfolgen, wodurch einerseits die Validität der erfassten Daten insgesamt verbessert wird und andererseits eine manuelle Überprüfung lediglich für die als weniger valide erkannten Daten erfolgt und somit insgesamt die Effizienz für eine valide Datenerfassung optimiert wird.The method can optionally include manual validation, for example validation of the recognized instrument classification during the procedure or after it by means of user interaction. This can advantageously include output of the recognized instrument classification to a user such as a treating doctor by means of provided output means and recording manual feedback by means of provided input means. In addition to outputting the recognized instrument classification, output of additional associated data, in particular output of an associated validation value, can also be included. Optional manual validation can also preferably be carried out only for the classification data or recognized instruments that are assigned a relatively low validation value. This allows an optional manual check for less plausible data, which on the one hand improves the validity of the recorded data overall and on the other hand only carries out a manual check for the data recognized as less valid, thus optimizing the overall efficiency for valid data acquisition.
In einer weiteren bevorzugten Ausführungsform kann das Verfahren auch den Schritt einer Übersendung eines Feedbacksignals an eine mit dem erfassten Instrument oder den erfassten Instrumenten verbundene Vorrichtung basierend auf den durch die Bildauswertung erfassten Daten erfolgen. Hierdurch kann insbesondere eine Ansteuerung des jeweiligen Instruments basierend auf den mittels der Bildauswertung erfassten Daten erfolgen. Beispielsweise kann bei einer Ermittlung von zu starken Gewebeschäden bei einer HF-Strom Anwendung, eine entsprechende Ansteuerung zur Verminderung einer Leistung des mit dem HF-Instrument verbundenen Geräts bzw. Generators erfolgen, um eine weitere Schädigung des Gewebes zu vermeiden.In a further preferred embodiment, the method can also include the step of sending a feedback signal to a device connected to the detected instrument or instruments based on the data acquired by the image analysis. This makes it possible, in particular, to control the respective instrument based on the data acquired by means of the image analysis. For example, if excessive tissue damage is detected during an RF current application, a corresponding control can be carried out to reduce the power of the device or generator connected to the RF instrument in order to avoid further damage to the tissue.
In einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung zur Erfassung und Analyse von medizinischen Bilddaten, welche zur Durchführung des Verfahrens wie vorgehend beschrieben ausgebildet ist, umfassend:
- - eine Anschlusseinheit zur selektiven Verbindung eines Bilderfassungsgeräts für eine medizinische Behandlung, insbesondere ein Endoskop,
- - eine Datenerfassungseinheit zur Erfassung von Bilddaten von wenigstens dem mit der Anschlusseinheit verbundenen Bilderfassungsgerät, und
- - eine Recheneinheit, welche ausgebildet ist, eine visuelle Erfassung und Erkennung eines operativen Ereignisses in den erfassten Bilddaten durchzuführen, wobei die Recheneinheit ferner ausgebildet ist, eine Distanzermittlung zwischen dem erkannten operativen Ereignis und einem Instrumentenende wenigstens eines visuell in den Bilddaten erfassten Instruments, sowie eine darauf basierende Erkennung und Zuordnung einer Instrumentenklassifikation zum erfassten Instrument durchzuführen.
- - a connection unit for selectively connecting an image acquisition device for medical treatment, in particular an endoscope,
- - a data acquisition unit for acquiring image data from at least the image acquisition device connected to the connection unit, and
- - a computing unit which is designed to carry out a visual detection and recognition of an operative event in the captured image data, wherein the computing unit is further designed to carry out a distance determination between the detected operative event and an instrument end of at least one instrument visually captured in the image data, as well as a detection and assignment of an instrument classification to the captured instrument based thereon.
In einer bevorzugten Ausführungsform umfasst die Vorrichtung eine Dokumentationseinheit zur Aufzeichnung von durch die Datenerfassungseinheit bereitgestellte Bilddaten sowie der durch die Recheneinheit ermittelten Daten, insbesondere umfassend die ermittelte Instrumentenklassifikation. Hierbei kann die Dokumentationseinheit weiter vorteilhaft zur Aufzeichnung in Abhängigkeit einer ermittelten Instrumentenklassifikation ausgebildet sein. Hierdurch kann eine selektive Datenerfassung und Dokumentation lediglich für Daten erfolgen, welche von größerem Interesse für eine spätere Dokumentation oder Analyse sind, wodurch ein effizienterer Einsatz von Daten- und Rechenkapazität erfolgen kann.In a preferred embodiment, the device comprises a documentation unit for recording image data provided by the data acquisition unit and the data determined by the computing unit, in particular including the determined instrument classification. In this case, the documentation unit can also advantageously be designed for recording depending on a determined instrument classification. This allows selective data acquisition and documentation to only take place for data that is of greater interest for later documentation or analysis, which allows more efficient use of data and computing capacity.
Die Dokumentationseinheit ist vorzugsweise derart ausgebildet, die jeweiligen Bilddaten mit den von der Recheneinheit erfassten und/oder ermittelten Daten zur verknüpfen und als zueinander zugehörige Daten bzw. als entsprechend verknüpfter Datensatz abzuspeichern. Die ermittelten und/oder zugeordneten Daten können hierbei als Metadaten der jeweiligen Bilddaten abgespeichert werden. Hierdurch kann auch zu einem späteren Zeitpunkt eine eindeutige Zuordnung der Bilddaten zu den erfassten Daten erfolgen und insbesondere menschliche Fehlereinflüsse bei der aus dem Stand der Technik bekannten separaten Aufnahme von Bilddaten einerseits und bei der jeweiligen Untersuchung zusätzlich erfasster Datensätze andererseits vermieden werden. Die Dokumentationseinheit kann hierbei ferner ausgebildet sein, die jeweils zugeordneten Daten als Metadaten der Bilddaten in vordefinierten Frames oder weiter bevorzugt in jedem einzelnen Frame der Bilddaten zu hinterlegen.The documentation unit is preferably designed to store the respective image data with the to link the data recorded and/or determined by the computing unit and to save them as associated data or as a correspondingly linked data set. The determined and/or assigned data can be saved as metadata of the respective image data. This also makes it possible to clearly assign the image data to the recorded data at a later point in time and, in particular, to avoid human error in the separate recording of image data known from the prior art on the one hand and in the respective examination of additionally recorded data sets on the other. The documentation unit can also be designed to store the respectively assigned data as metadata of the image data in predefined frames or, more preferably, in each individual frame of the image data.
Weiterhin kann die Recheneinheit zur Einstellung und/oder Anpassung der Datenerfassungseinheit ausgebildet sein, insbesondere von die Datenaufzeichnung beeinflussenden Aufnahmeparametern, und diese in Abhängigkeit der ermittelten Instrumentenklassifikation und/oder in Abhängigkeit der zusätzlich erfassten Daten ansteuern. Hierbei kann beispielsweise eine Einstellung oder Anpassung einer Framerate, eines Bildausschnitts und/oder anderer Bildparameter des erfassten Bildsignals in Abhängigkeit der ermittelten und/oder zugeordneten Daten erfolgen.Furthermore, the computing unit can be designed to set and/or adapt the data acquisition unit, in particular recording parameters that influence data recording, and to control these depending on the determined instrument classification and/or depending on the additionally recorded data. In this case, for example, a setting or adaptation of a frame rate, an image section and/or other image parameters of the recorded image signal can be carried out depending on the determined and/or assigned data.
Die Recheneinheit umfasst vorteilhaft eine Speichereinheit, welche zur Hinterlegung und/oder Zuordnung von Attributen wie einer Instrumentenklassifikation, einer Ereignisklassifikation, einer Ereignisintensität, einer Art der medizinischen Behandlung, einem zugeordneten Validierungswert für ein jeweils erfasstes Ereignis und/oder ein jeweils erfasstes chirurgisches Instrument ausgebildet ist. Die Recheneinheit kann insbesondere eine oder mehrere Lookup-Tabellen umfassen, mittels welcher beispielsweise einem jeweils hinterlegten operativen Ereignis vordefinierte und/oder veränderbare Attribute zugeordnet sind, welche beispielsweise für die Instrumentenklassifizierung herangezogen werden können.The computing unit advantageously comprises a storage unit which is designed to store and/or assign attributes such as an instrument classification, an event classification, an event intensity, a type of medical treatment, an assigned validation value for a respectively recorded event and/or a respectively recorded surgical instrument. The computing unit can in particular comprise one or more lookup tables by means of which, for example, predefined and/or changeable attributes are assigned to a respectively stored surgical event, which can be used, for example, for the instrument classification.
In einer bevorzugten Ausführungsform ist die Datenerfassungseinheit zur Erfassung weiterer Gerätedaten und/oder Parameterdaten von mit der Vorrichtung drahtgebunden oder drahtlos verbundenen Geräten ausgebildet. Die Datenerfassungseinheit ist weiter vorteilhaft zur Erfassung von bereitgestellten Patientendaten und/oder Vitalparametern eines Patienten ausgebildet. Hierbei kann die Recheneinrichtung vorteilhaft ausgebildet sein, aus einer Kombination der erfassten Gerätedaten und/oder Parameterdaten sowie der erfassten Bilddaten Attribute des jeweiligen chirurgischen Instruments oder des jeweiligen medizinischen Eingriffs zu ermitteln.In a preferred embodiment, the data acquisition unit is designed to acquire further device data and/or parameter data from devices connected to the device in a wired or wireless manner. The data acquisition unit is also advantageously designed to acquire provided patient data and/or vital parameters of a patient. In this case, the computing device can advantageously be designed to determine attributes of the respective surgical instrument or the respective medical procedure from a combination of the acquired device data and/or parameter data and the acquired image data.
In einer bevorzugten Ausführungsform umfasst die Vorrichtung ferner eine Datenübertragungseinheit, welche zum vorzugsweise bidirektionalen Datenaustausch mit einem externen Netzwerk und/oder einer externen Servereinheit ausgebildet ist. Die Datenübertragungseinheit kann hierbei eine LAN- und/oder WLAN-Schnittstelle zur Anbindung an ein internes oder externes Netzwerk, wie beispielsweise ein Krankenhaus-LAN oder das Internet aufweisen. Hierbei kann die Vorrichtung zur Erfassung von Datenerfassungsbefehlen von der externen Servereinheit und/oder zur automatisierten und/oder nicht-automatisierten Übertragung von Aufzeichnungen der Datenerfassungseinheit an die externe Servereinheit ausgebildet sein. Die Übertragung an ein externes Netzwerk und/oder an eine externe Servereinheit kann in Echtzeit und/oder zeitversetzt zur Aufzeichnung der Dokumentationseinheit erfolgen. Besonders bevorzugt kann eine jeweilige Übertragung der erfassten Datensätze in vordefinierten Zeitintervallen oder zu vordefinierten Übertragungszeiten erfolgen. Eine jeweilige Zwischenspeicherung der Daten kann dabei in externen oder internen Speichereinheiten erfolgen.In a preferred embodiment, the device further comprises a data transmission unit which is designed for preferably bidirectional data exchange with an external network and/or an external server unit. The data transmission unit can have a LAN and/or WLAN interface for connection to an internal or external network, such as a hospital LAN or the Internet. The device can be designed for recording data recording commands from the external server unit and/or for the automated and/or non-automated transmission of recordings from the data recording unit to the external server unit. The transmission to an external network and/or to an external server unit can take place in real time and/or with a time delay to the recording of the documentation unit. Particularly preferably, the recorded data records can be transmitted at predefined time intervals or at predefined transmission times. The data can be temporarily stored in external or internal storage units.
Die vorgehend beschriebene Vorrichtung kann als separater oder integraler Bestandteil einer Endoskopievorrichtung oder eines Endoskopiesystems ausgebildet sein.The device described above can be designed as a separate or integral part of an endoscopy device or an endoscopy system.
Zur Vermeidung von Wiederholungen wird hierbei auf die vorgenannten Ausführungen zum erfindungsgemäßen Verfahren Bezug genommen, welche gleichermaßen als für die erfindungsgemäße Vorrichtung offenbart und beanspruchbar gelten sollen, sowie umgekehrt.In order to avoid repetition, reference is made here to the above-mentioned statements on the method according to the invention, which are equally to be considered as disclosed and claimable for the device according to the invention, and vice versa.
Einzelheiten, vorteilhafte Wirkungen und Details der vorliegenden Erfindung werden nachfolgend anhand der schematischen, lediglich beispielhaften Zeichnungen erläutert.Particulars, advantageous effects and details of the present invention are explained below with reference to the schematic, merely exemplary drawings.
Darin zeigen:
1 : eine schematische Darstellung einer bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung zur Analyse medizinischer Bilddaten;2 : ein beispielhaftes Livebild eines endoskopischen Eingriffs unter Analyse der erfassten Bilddaten; und3 : ein bevorzugtes Ausführungsbeispiel des erfindungsgemäßen Verfahrens als schematisch vereinfachtes Blockschaltbild.
1 : a schematic representation of a preferred embodiment of the device according to the invention for analyzing medical image data;2 : an example live image of an endoscopic procedure with analysis of the captured image data; and3 : a preferred embodiment of the method according to the invention as a schematically simplified block diagram.
Die Anschlusseinheit 1 kann ferner zur Anbindung von weiteren Geräten ausgebildet sein, wie beispielsweise einer Eingabeeinheit 7, beispielsweise einem Keyboard und/oder einer Maus, einer Displayeinheit 8 zur Ausgabe eines erfassten Videobildes an einen behandelnden Arzt. Hierzu kann die Anschlusseinheit 1 für den jeweiligen Anschluss und/oder die Kommunikation der Geräte 7,8 kabelgebundene oder kabellose Schnittstellen aufweisen.The connection unit 1 can also be designed to connect further devices, such as an
Die Vorrichtung umfasst weiterhin eine Datenerfassungseinheit 3 zur Erfassung von wenigstens durch das Bilderfassungsgerät 2 bereitgestellten Bilddaten 3a. Zusätzlich kann die Datenerfassungseinheit 3 ausgebildet sein, Gerätedaten 3b von wenigstens dem mit der Anschlusseinheit 1 verbundenen Bilderfassungsgerät 2 zu erfassen. Die Gerätedaten 3b können dabei beispielsweise eine Geräteidentifikationsnummer, ein Gerätekennung oder dergleichen umfassen, basierend auf welchen eine Identifikation und/oder Erkennung des mit der Vorrichtung 10 verbundenen Endoskops 2 möglich ist.The device further comprises a
Die Datenerfassungseinheit 3 kann zusätzlich Patientendaten und/oder zum Patienten zugehörige Vitalparameter 3c erfassen. Die Patientendaten und/oder Vitalparameter 3c können dabei entweder durch entsprechende Eingabemittel 7 manuell eingegeben oder durch weitere mit der Vorrichtung verbundene Geräte automatisiert übermittelt werden.The
Die Vorrichtung umfasst weiterhin eine Recheneinheit 4, welche ausgebildet ist, eine visuelle Erfassung und Erkennung eines operativen Ereignisses in den erfassten Bilddaten 3a durchzuführen. Weiterhin ist die Recheneinheit 4 ausgebildet, eine Distanzermittlung zwischen dem erkannten operativen Ereignis 32 und einem Instrumentenende 31a,31b wenigstens eines visuell in den Bilddaten 3a erfassten chirurgischen Instruments 30a,b (vgl.
Die Vorrichtung 10 umfasst vorzugsweise weiterhin eine Dokumentationseinheit 5 zur Aufzeichnung von durch die Datenerfassungseinheit 3 bereitgestellte Bilddaten 3a, Gerätedaten 3b und/oder den weiteren Patientendaten und/oder Vitalparametern 3c. Die Dokumentationseinheit 5 umfasst hierzu vorteilhaft eine interne oder externe Speichereinheit 5a, insbesondere einen nichtflüchtigen Speicher, auf welchem die zugeführten Daten abgespeichert werden können.The
Die Recheneinheit 4 kann weiter vorteilhaft ausgebildet sein, die Dokumentationseinheit 5 zur Aktivierung und/oder Deaktivierung einer Aufzeichnung, und/oder zur Einstellung und/oder Anpassung von die Datenaufzeichnung beeinflussenden Aufnahmeparametern in Abhängigkeit der ermittelten und/oder zugeteilten Attribute anzusteuern.The
Hierdurch kann im Gegensatz zu einem reinen Datenlogging aller Daten bei einer Untersuchung mit einem Endoskop eine Aufzeichnung beispielsweise nur dann aktiviert oder deaktiviert werden, wenn eine vorgegebene Instrumentenklassifikation und/oder ein vorgegebenes Attribut des chirurgischen Instruments oder eines erkannten operativen Eingriffs erfüllt oder nicht erfüllt ist. Dies kann insbesondere für das Datensammeln zum Antrainieren von KI-Anwendungen vorteilhaft sein, da beispielsweise nur Daten aufgezeichnet werden, welche für die jeweils gewünschte Anwendung sinnvoll erscheinen. Zusätzlich oder alternativ zur vorgenannte Ausbildung kann die Recheneinheit 4 konfiguriert sein, eine manuelle Aktivierung der Dokumentationseinheit 5, insbesondere durch einen behandelnden Arzt zu ermöglichen. So könnte eine Datenaufzeichnung insbesondere dann ausgelöst werden, wenn beispielsweise Interesse an einer bestimmten Behandlungsform besteht, so dass beim nächsten verfügbaren Eingriff, der ähnlich hierzu ist, die entsprechenden Bilddaten ebenfalls gespeichert werden.As a result, in contrast to pure data logging of all data during an examination with an endoscope, a recording can, for example, only be activated or deactivated if a predefined instrument classification and/or a predefined attribute of the surgical instrument or of a recognized surgical procedure is met or not met. This can be particularly advantageous for collecting data to train AI applications, since, for example, only data is recorded that appears to be useful for the respective desired application. In addition to or as an alternative to the aforementioned training, the
Die Vorrichtung 10 umfasst weiterhin vorzugsweise eine Datenübertragungseinheit 6, welche zum vorzugsweise bidirektionalen Datenaustausch mit einem externen Netzwerk und/oder einer externen Servereinheit 20 ausgebildet ist. Die Datenübertragungseinheit 6 kann hierbei eine LAN- und/oder WLAN-Schnittstelle zur Anbindung an ein internes oder externes Netzwerk, wie beispielsweise ein Krankenhaus-LAN oder das Internet aufweisen. Hierdurch kann die Vorrichtung die aufgezeichneten Daten an ein externes Netzwerk und/oder eine externe Servereinheit 20 übermitteln. Die jeweilige Übertragung kann hierbei während der tatsächlichen Aufzeichnung von Daten und somit während einer medizinischen Behandlung erfolgen. Alternativ kann eine jeweilige Übertragung auch in vordefinierten Zeiträumen erfolgen. Die Vorrichtung 10 kann weiterhin zur Erfassung von Datenerfassungsbefehlen durch die externe Servereinheit 20 und/oder zur automatisierten und/oder nicht-automatisierten Übertragung von Aufzeichnungen der Dokumentationseinheit 5 an die externe Servereinheit 20 ausgebildet sein.The
Mit Verweis auf die
In einem ersten Schritt 101 erfolgt eine Erfassung der von dem Endoskop 2 bereitgestellten Bilddaten. Insbesondere wird hierbei ein Livebild 40 des Endoskops erfasst, wie in
In einem weiteren Schritt 102 erfolgt eine Erkennung eines operativen Ereignisses 32 in den erfassten Bilddaten. Dieser Schritt umfasst vorzugsweise zunächst eine visuelle Erfassung 102a, d.h. eine räumliche Lokalisierung eines operativen Ereignisses 32 in den Bilddaten. Dies erfolgt mittels eines entsprechenden Algorithmus softwarebasiert in den erfassten Bilddaten und kann im Livebild 40 als vorzugsweise rechteckige, rahmenartige Begrenzung 32a dargestellt bzw. ausgegeben werden.In a
Zeitgleich und/oder anschließend erfolgt eine visuelle Erkennung 102b des operativen Ereignisses in den Bilddaten. Hierbei erfolgt mittels eines entsprechenden Algorithmus vorzugsweise ein Abgleich der erfassten Bilddaten mit gespeicherten und/oder abrufbaren Bilddaten vordefinierter operativer Ereignisse und eine darauf basierte Ereignisklassifizierung, beispielsweise in eine oder mehrere der folgenden Ereignisklassifikationen: eine Rauchentwicklung, eine farbliche oder strukturelle Gewebeveränderung, eine entstehende und/oder sich verändernde Gewebeöffnung, ein Wassergehaltveränderung des Gewebes, eine Blutentwicklung, eine Nahterstellung, eine Einbringung von Fremdmaterial in das Gewebe, insbesondere eine Metalleinbringung, beispielsweise einen Clip, und/oder einen Sprühnebel oder Gasblasen.At the same time and/or subsequently, a
Die erkannte Ereignisklassifikation, beispielsweise das Vorhandensein von Rauch kann in einem dem Rahmen 42 zugeordneten Textfeld A ausgegeben werden. Optional kann dieser Schritt zudem eine Erkennung und Zuordnung einer Ereignisintensität und/oder eines weiteren Ereignisattributs in einem entsprechenden Schritt 102c umfassen. Hierbei kann beispielsweise durch entsprechende Bildauswertung die Intensität des Ereignisses, beispielsweise eine Rauchstärke, klassifiziert werden und als zugehörige Information in einem dem Rahmen 32a zugeordneten Textfeld B ausgegeben werden.The detected event classification, for example the presence of smoke, can be output in a text field A assigned to the frame 42. Optionally, this step can also include a detection and assignment of an event intensity and/or another event attribute in a
In einem weiteren Schritt 103a erfolgt eine visuelle Erfassung der chirurgischen Instrumente 30a,30b in den Bilddaten. Dieser Schritt umfasst vorzugsweise die Erfassung, d.h. eine räumliche Lokalisierung der in den Bilddaten visuell erkennbaren chirurgischen Instrumente 30a,30b und deren jeweils zugeordneter Instrumentenenden 31a,31b. Dies erfolgt mittels eines entsprechenden Algorithmus softwarebasiert durch Analyse der erfassten Bilddaten und kann im Livebild 40 als vorzugsweise rechteckige, rahmenartige Begrenzung 33a,33b dargestellt bzw. ausgegeben werden.In a
In einem weiteren Schritt 103b erfolgt eine visuelle Erkennung der chirurgischen Instrumente 30a,30b in den Bilddaten. Hierbei kann zunächst mittels eines entsprechenden Algorithmus ein Abgleich der erfassten Bilddaten mit gespeicherten und/oder abrufbaren Bilddaten vordefinierter chirurgischer Instrumente und deren Instrumentenenden und eine darauf basierte Erkennung eines Instrumententyps erfolgen. Der entsprechende, erkannte Instrumententyp, beispielsweise ein Haken oder ein Greifer kann dann in einem dem Rahmen 33a,33b zugeordneten Textfeld C1,C2 ausgegeben werden.In a
Der Schritt 103b umfasst weiterhin eine Erkennung und Zuordnung einer Instrumentenklassifikation zum Instrument. Dies erfolgt erfindungsgemäß basierend auf der Erkennung des operativen Ereignisses im Vorhergehenden Schritt 102 und einer Distanzermittlung zwischen dem erkannten operativen Ereignis und einem jeweiligen Instrumentenende. Hierbei wird zunächst die jeweilige Distanz zwischen den Instrumentenenden 31a,31b und dem operativen Ereignis 32 ermittelt. Die Distanzermittlung zwischen dem operativen Ereignis 32 und dem jeweiligen Instrumentenende 31a,31b des erfassten Instruments erfolgt vorzugsweise mittels einer softwarebasierten Entfernungsmessung zwischen zwei Bildpunkten, insbesondere zwischen jeweiligen Mittelpunkten des Instrumentenendes 31a,31b und dem erfassten Ereignis 32, und/oder basierend auf einer zusätzlichen Tiefenvermessung, welche Verfahren an sich bekannt sind. Hierbei erfolgt sodann eine Zuordnung des Instrumentenendes 31a,31b, welches nächstliegend zum operativen Ereignis 32 erfasst ist, als für die Instrumentenklassifikation maßgeblich. Vorliegend ist das Instrumentenende 31a näher am operativen Ereignis 32 als das Instrumentenende 31b, so dass ersteres dem Ereignis 32 zugeordnet wird.Step 103b further comprises a recognition and assignment of an instrument classification to the instrument. According to the invention, this is done based on the recognition of the operative event in the preceding
Basierend auf dem erkannten operativen Ereignis 32 kann das dem Ereignis nächstliegend zugeordnete Instrument 30a nunmehr klassifiziert werden. So kann beispielsweise durch die Erkennung des operativen Ereignisses als Rauchentwicklung am Gewebe darauf geschlossen werden, dass das entsprechende Instrument als Hochfrequenz- bzw. HF-Instrument zu klassifizieren ist. Hierbei können insbesondere HF-Instrumente wie HF-Fasszangen, welche sich optisch nicht oder nur kaum von Fasszangen ohne HF-Funktionalität unterscheiden, von ebensolchen unterschieden werden. Weitere Beispiele für eine Instrumentenklassifikation sind unter anderem: HF-Instrument, Nicht-HF-Instrument, Zange, Schere, Nahtinstrument, Klammernahtgerät, Biopsieinstrument, Stanze, Clip-Setzer und/oder ein Ultraschall-Gerät.Based on the detected
Die entsprechende Klassifizierung erfolgt hierbei vorzugsweise unter Abruf und/oder Auswertung von beispielsweise in Look-up Tabellen gespeicherten Daten. Die erkannte Instrumentenklassifikation wird den Bilddaten auch zugeordnet, d.h. in einem entsprechenden Speicher für die spätere Auswertung und/oder zu Dokumentationszwecken hinterlegt. Weiterhin kann die erkannte Instrumentenklassifikation auch im Livebild beispielsweise in einem dem Rahmen 33a zugeordneten Textfeld D ausgegeben werden. Hierdurch wird eine optimierte Instrumentenerkennung in medizinischen Bilddaten wie einem endoskopischen Livebild ermöglicht. Insbesondere kann eine Instrumentenklassifikation erfolgen, welche mittels einer rein optischen bzw. visuellen Bildauswertung nicht möglich wäre.The corresponding classification is preferably carried out by retrieving and/or evaluating data stored in look-up tables, for example. The recognized instrument classification is also assigned to the image data, i.e. stored in a corresponding memory for later evaluation and/or for documentation purposes. Furthermore, the recognized instrument classification can also be output in the live image, for example in a text field D assigned to
In einem weiteren bevorzugten Schritt 104 erfolgt ein Abspeichern der erfassten und erkannten Daten, insbesondere zu Dokumentations- und/oder Auswertungszwecken.In a further
Die erfassten und erkannten Daten, insbesondere das erkannte operative Ereignis und/oder eine erkannte Intensität des Ereignisses können neben reinen Analyse- und/oder Dokumentationszwecken auch zur Ansteuerung der Vorrichtung 10 und/oder eines mit der Vorrichtung verbundenen Geräts verwendet werden. Beispielsweise kann aufgrund der erkannten Ereignisintensität, wie beispielsweise die Rauchintensität, auch eine HF-Leistung eines mit der Vorrichtung verbundenen HF-Geräts angesteuert werden. So kann beispielsweise bei einer relativ hohen Ereignisintensität, beispielsweise einer sehr starken Rauchentwicklung, die Stromstärke des mit der Vorrichtung verbundenen Geräts durch eine entsprechende Ansteuerung verringert werden.The recorded and recognized data, in particular the recognized operational event and/or a recognized intensity of the event, can be used not only for pure analysis and/or documentation purposes but also to control the
Bezugszeichenlistelist of reference symbols
- 11
- Anschlusseinheitconnection unit
- 22
- Bilderfassungsgerätimage capture device
- 33
- Datenerfassungseinheitdata acquisition unit
- 3a3a
- Bilddatenimage data
- 3b3b
- Gerätedatendevice data
- 3c3c
- Patientendatenpatient data
- 44
- Steuerungseinheitcontrol unit
- 4a4a
- Speichereinheitstorage unit
- 55
- Dokumentationseinheitdocumentation unit
- 5a5a
- Speichereinheitstorage unit
- 66
- Datenübertragungseinheitdata transmission unit
- 77
- Eingabemittelinput device
- 88
- Displayeinheitdisplay unit
- 1010
- Vorrichtungdevice
- 2020
- Servereinheitserver unit
- 30a,b30a,b
- chirurgisches Instrumentsurgical instrument
- 31a,b31a,b
- Instrumentenendeend of the instrument
- 3232
- operatives Ereignisoperative event
- 32a32a
- visuelle Begrenzung Ereignisvisual boundary event
- 33a,b33a,b
- visuelle Begrenzung Instrumentenendevisual limitation of the instrument end
- 4040
- Livebild Endoskoplive image endoscope
- 101101
- Erfassung operatives Ereignisrecording of operational events
- 102102
- Erkennung operatives Ereignisdetection of operative event
- 103a103a
- Erfassung Instrumentrecording instrument
- 103b103b
- Erkennung Instrumentenklassifikationrecognition instrument classification
- 104104
- Abspeicherungstorage
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 2019/0125455 A1 [0004]US 2019/0125455 A1 [0004]
- US 2018/0271603 A1 [0005]US 2018/0271603 A1 [0005]
- EP 3 505 113 A1 [0006]
EP 3 505 113 A1 [0006] - US 2021/142487 A1 [0007]US 2021/142487 A1 [0007]
- US 2019/0200985 A1 [0008]US 2019/0200985 A1 [0008]
Claims (16)
Translated fromGermanPriority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023123907.4ADE102023123907A1 (en) | 2023-09-05 | 2023-09-05 | Method for detecting instruments in image data and device for analyzing image data |
| PCT/EP2024/074669WO2025051775A1 (en) | 2023-09-05 | 2024-09-04 | Method for detecting instruments in image data, and device for analysing image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102023123907.4ADE102023123907A1 (en) | 2023-09-05 | 2023-09-05 | Method for detecting instruments in image data and device for analyzing image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102023123907A1true DE102023123907A1 (en) | 2025-03-06 |
Family
ID=92708814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102023123907.4APendingDE102023123907A1 (en) | 2023-09-05 | 2023-09-05 | Method for detecting instruments in image data and device for analyzing image data |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102023123907A1 (en) |
| WO (1) | WO2025051775A1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180271603A1 (en) | 2015-08-30 | 2018-09-27 | M.S.T. Medical Surgery Technologies Ltd | Intelligent surgical tool control system for laparoscopic surgeries |
| US20190125455A1 (en) | 2017-10-30 | 2019-05-02 | Ethicon Llc | Method of hub communication with surgical instrument systems |
| EP3505113A1 (en) | 2017-12-28 | 2019-07-03 | Ethicon LLC | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
| US20190200985A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Systems for detecting proximity of surgical end effector to cancerous tissue |
| US20200367974A1 (en)* | 2019-05-23 | 2020-11-26 | Surgical Safety Technologies Inc. | System and method for surgical performance tracking and measurement |
| US20210142487A1 (en) | 2019-11-08 | 2021-05-13 | Sony Corporation | Surgical scene assessment based on computer vision |
| WO2022263870A1 (en)* | 2021-06-16 | 2022-12-22 | Digital Surgery Limited | Detection of surgical states, motion profiles, and instruments |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10555775B2 (en)* | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
| CN106456267B (en)* | 2014-03-28 | 2020-04-03 | 直观外科手术操作公司 | Quantitative 3D visualization of instruments in the field of view |
| EP4235691A3 (en)* | 2019-02-21 | 2023-12-27 | Theator Inc. | Systems and methods to enable automatically populating a post-operative report of a surgical procedure |
| US11348682B2 (en)* | 2020-04-05 | 2022-05-31 | Theator, Inc. | Automated assessment of surgical competency from video analyses |
| DE102020131232B4 (en)* | 2020-11-25 | 2023-07-06 | Aktormed Gmbh | Operation assistance system and method for generating control signals for voice control of a motor-controlled moveable robot kinematics of such an operation assistance system |
- 2023
- 2023-09-05DEDE102023123907.4Apatent/DE102023123907A1/enactivePending
- 2024
- 2024-09-04WOPCT/EP2024/074669patent/WO2025051775A1/enactivePending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180271603A1 (en) | 2015-08-30 | 2018-09-27 | M.S.T. Medical Surgery Technologies Ltd | Intelligent surgical tool control system for laparoscopic surgeries |
| US20190125455A1 (en) | 2017-10-30 | 2019-05-02 | Ethicon Llc | Method of hub communication with surgical instrument systems |
| EP3505113A1 (en) | 2017-12-28 | 2019-07-03 | Ethicon LLC | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
| US20190200985A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Systems for detecting proximity of surgical end effector to cancerous tissue |
| US20200367974A1 (en)* | 2019-05-23 | 2020-11-26 | Surgical Safety Technologies Inc. | System and method for surgical performance tracking and measurement |
| US20210142487A1 (en) | 2019-11-08 | 2021-05-13 | Sony Corporation | Surgical scene assessment based on computer vision |
| WO2022263870A1 (en)* | 2021-06-16 | 2022-12-22 | Digital Surgery Limited | Detection of surgical states, motion profiles, and instruments |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2025051775A1 (en) | 2025-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102006012945B4 (en) | A method of virtual layer positioning in a 3D volume data set and medical imaging system | |
| EP3332730B1 (en) | Method and tracking system for tracking a medical object | |
| DE102022112136A1 (en) | MEDICAL IMAGE ANALYZER, METHOD AND MEDICAL IMAGE, VISUALIZATION DEVICE AND METHOD | |
| DE60317359T2 (en) | METHOD, CODE AND SYSTEM FOR THE INVESTIGATION OF VERTICAL DEFINITION | |
| EP3287914A1 (en) | Determination of outcome data based on medical test data from different measurements | |
| WO2020173516A1 (en) | Method for evaluating skin lesions using artificial intelligence | |
| DE102020102169A1 (en) | RETROSPECTIVE IMAGE STORAGE FOR ULTRASONIC DIAGNOSTICS | |
| DE102005026220A1 (en) | Subject e.g. person, examination region`s e.g. spinal column, medical image data acquisition, analysis and representation performing method, involves displaying part of data set at display with graphical representation | |
| DE102004003381B4 (en) | Method for determining the position of a layer in an investigation area, in which layer a tomographic image is to be taken | |
| DE102010000483A1 (en) | Automatic result analysis using radiological images | |
| DE102016215831A1 (en) | Automatic generation of synthetic projections | |
| EP1180258A1 (en) | Pattern recognition by means of an examination of supplementary features after a partial processing | |
| DE102006012943B4 (en) | Method for automatically evaluating an imaging data set of an object and medical imaging system | |
| DE102022103692A1 (en) | SYSTEMS AND METHODS FOR IDENTIFICATION OF BIOPSY POSITION COORDINATES | |
| DE102023123907A1 (en) | Method for detecting instruments in image data and device for analyzing image data | |
| DE10255527A1 (en) | Generation of candidates for vascular-associated pulmonary nodules | |
| DE102015114513A1 (en) | Medical image processing apparatus, method and program | |
| EP4345754A1 (en) | Method and system for assisting evaluation of a video-assisted medical intervention procedure | |
| DE102022126824A1 (en) | Method for superimposing overlay recording information with a live image and a corresponding device | |
| EP3185688B1 (en) | Apparatus and method for assessing compliance with animal welfare on an animal for slaughter | |
| DE102020111776A1 (en) | Method for calculating an output image and / or a sequence of output images from raw image data, image recording device, image recording system and overall system | |
| DE102020204608A1 (en) | Method for determining a temperature profile of a body part of a living being over time, as well as an electronic determination system | |
| EP3420903B1 (en) | Visualisation of at least one indicator | |
| DE102022132100B4 (en) | Methods for marking information in digital images | |
| DE10254941B4 (en) | Device for building a medical database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication |