DE102018113822A1 - Converting an image stream with stereoscopic image content - Google Patents

Abstract

Translated fromGerman

Verfahren zum Konvertieren eines Quell-Bildstroms (10), der Bilddaten in einem stereoskopischen Format enthält, in einen Ziel-Bildstrom (20), der Bilder (22) in einem vorgegebenen stereoskopischen Format aufweist, wobei die Bilder (22) jeweils ein links-Teilbild (26) für ein linkes Auge und ein rechts-Teilbild (28) für ein rechtes Auge umfassen, wobei das Verfahren die Schritte umfasst: Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms (10) basierend auf Bildinhalten der Bilddaten; Entnehmen von links-Teilbildern (16) für ein linkes Auge und rechts-Teilbildern (18) für ein rechtes Auge aus Bilddaten des Quell-Bildstroms (10), wobei diese Bilddaten des Quell-Bildstroms (10) gemäß dem erkannten stereoskopischen Format interpretiert werden; Erzeugen von Bildern (22) des Ziel-Bildstroms (20) im vorgegebenen stereoskopischen Format unter Einbeziehung der entnommenen links-Teilbilder (16) und rechts-Teilbilder (18); sowie Vorrichtung zur Durchführung des Verfahrens.A method of converting a source image stream (10) containing image data in a stereoscopic format into a target image stream (20) having images (22) in a predetermined stereoscopic format, each image (22) being left-aligned. Comprising a left eye and right field partial image (26) for a right eye, the method comprising the steps of: recognizing a stereoscopic format of image data of the source image stream (10) based on image contents of the image data; Taking left-hand sub-images (16) for a left eye and right-field images (18) for a right eye from image data of the source image stream (10), said image data of the source image stream (10) being interpreted according to the recognized stereoscopic format ; Generating images (22) of the target image stream (20) in the predetermined stereoscopic format, including the extracted left fields (16) and right fields (18); and device for carrying out the method.

Description

Translated fromGerman

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Konvertieren eines Quell-Bildstroms in einen Ziel-Bildstrom.The invention relates to a method and a device for converting a source image stream into a destination image stream.

Der eingehende Bildstrom eines 3D-Fernsehers enthält bei einem Bildstrom in einem stereoskopischen Format in der Regel separate Teilbilder für das linke Auge und für das rechte Auge eines Betrachters. Der 3D-Fernseher erzeugt daraus eine stereoskopische 3D-Wiedergabe, z.B. mittels abwechselnder Anzeige der Teilbilder für das linke Auge und für das rechte Auge und entsprechender Taktung einer Shutterbrille. Beispielsweise sind im HDMI (High Definition Multimedia Interface) Schnittstellenstandard in der HDMI Version 1.4a unter anderem drei Übertragungsformate definiert, die ein dem Standard entsprechender Fernseher entgegennehmen können muss: ein Frame Packing 3D-Videoformat, das einen Rahmenbereich definiert, der ein Teilbild für ein linkes Auge und ein Teilbild für ein rechtes Auge übereinander sowie aktiven Leerraum („active space“) zur Trennung der Teilbilder enthält; ein Side-by-Side (Half) 3D-Videoformat, das einen Rahmenbereich entsprechend einem Standard 2D Rahmen definiert, der horizontal um den Faktor 2 gestauchte Teilbilder für ein linkes Auge und ein rechtes Auge nebeneinander enthält; und ein Top-and-Bottom (Half) 3D-Videoformat, das einen Rahmenbereich entsprechend einem Standard 2D Rahmen definiert, der vertikal um den Faktor 2 gestauchte Teilbilder für ein linkes Auge und ein rechtes Auge übereinander enthält. Information, welches Übertragungsformat verwendet wird, kann über Metadaten in Form von 3D-InfoFrame-Datenpaketen übermittelt werden.The incoming image stream of a 3D television usually contains separate partial images for the left eye and for the right eye of an observer in the case of an image stream in a stereoscopic format. The 3D television generates therefrom a stereoscopic 3D reproduction, e.g. by alternately displaying the partial images for the left eye and for the right eye and corresponding timing of a shutter glasses. For example, in the HDMI (High Definition Multimedia Interface) interface standard in the HDMI version 1.4a, there are, among other things, defined three transmission formats that a standard television must be able to handle: aframe packing 3D video format that defines a frame area that is a field for a left eye and a field for a right eye on top of each other and active space for separation of the partial images contains; a side-by-side (half) 3D video format that defines a frame area according to a standard 2D frame that contains horizontally compressed by a factor of 2 sub-images for a left eye and a right eye side by side; and a top-and-bottom (half) 3D video format that defines a frame area according to a standard 2D frame containing vertically compressed by a factor of 2 sub-images for a left eye and a right eye on top of each other. Information on which transmission format is used can be transmitted via metadata in the form of 3D InfoFrame data packets.

Wird ein Bildstrom von einer Bildstromquelle nicht in einem für das 3D-Ausgabegerät geeigneten Format ausgegeben, oder sind beispielsweise bei der Bildausgabe eines Computers stereoskopische 3D-Bilder lediglich in einem Fenster einer Benutzeroberfläche in einem 2D-Bildstrom enthalten, so wird eine 3D-Wiedergabe erschwert oder verhindert.If an image stream from an image source is not output in a format suitable for the 3D output device, or if, for example, in the image output of a computer stereoscopic 3D images are contained only in a window of a user interface in a 2D image stream, a 3D reproduction is made more difficult or prevented.

Aufgabe der Erfindung ist es, eine Nutzung eines 3D-Ausgabegeräts, wie beispielsweise eines 3D-Fernsehers oder einer Datenbrille, zur stereoskopischen Wiedergabe von stereoskopischen Bilddaten mit unterschiedlichen stereoskopischen Formaten zu ermöglichen oder zu vereinfachen.The object of the invention is to enable or simplify the use of a 3D output device, such as a 3D television or data glasses, for the stereoscopic reproduction of stereoscopic image data with different stereoscopic formats.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Konvertieren eines Quell-Bildstroms, der Bilddaten in einem stereoskopischen Format enthält, in einen Ziel-Bildstrom, der Bilder in einem vorgegebenen stereoskopischen Format aufweist, wobei die Bilder jeweils ein links-Teilbild für ein linkes Auge und ein rechts-Teilbild für ein rechtes Auge umfassen, wobei das Verfahren die Schritte umfasst:

• Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms, basierend auf Bildinhalten der Bilddaten,
• Entnehmen von links-Teilbildern für ein linkes Auge und rechts-Teilbildern für ein rechtes Auge aus Bilddaten des Quell-Bildstroms, wobei diese Bilddaten des Quell-Bildstroms gemäß dem erkannten stereoskopischen Format interpretiert werden,
• Erzeugen von Bildern des Ziel-Bildstroms im vorgegebenen stereoskopischen Format unter Einbeziehung der entnommenen links-Teilbilder und rechts-Teilbilder.

This object is achieved according to the invention by a method for converting a source image stream containing image data in a stereoscopic format into a destination image stream having images in a predetermined stereoscopic format, the images each comprising a left field image for a left eye and a right-field image for a right eye, the method comprising the steps of:

• Recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data,
• Extracting left-field images for a left eye and right-field images for a right eye from image data of the source image stream, this image data of the source image stream being interpreted according to the recognized stereoscopic format,
• Generating images of the target image stream in the predetermined stereoscopic format, including the extracted left fields and right fields.

D.h. die Bilddaten des Quell-Bildstroms werden interpretiert als die links-Teilbilder und die rechts-Teilbilder repräsentierend.That the image data of the source image stream is interpreted as representing the left fields and the right fields.

Somit kann eine Konvertierung eines digitalen Quell-Bildstroms in einen digitalen Ziel-Bildstrom mit einem vorgegebenen stereoskopischen Format der Bilder des Ziel-Bildstroms erfolgen. Der jeweilige Bildstrom umfasst eine Sequenz von Bildern oder Rahmen. Der Ziel-Bildstrom kann separate Datenströme für links-Teilbilder und rechts-Teilbilder umfassen. Der Quell-Bildstrom kann Bild für Bild oder Rahmen für Rahmen entgegengenommen werden. Das Erzeugen von Bildern des Ziel-Bildstroms kann erfolgen, während fortlaufend weitere Bilddaten des Quell-Bildstroms entgegengenommen werden. Vorzugsweise ist die Latenz zwischen dem Entgegennehmen eines Bildes oder eines Rahmens des Quell-Bildstroms und einem Ausgeben eines daraus erzeugten Bildes des Ziel-Bildstroms kleiner als 100 ms, weiter vorzugsweise kleiner als 51 ms, kleiner als 34 ms, oder besonders bevorzugt kleiner als 17 ms.Thus, conversion of a source digital image stream to a destination digital image stream can be done with a predetermined stereoscopic format of the images of the target image stream. The respective image stream comprises a sequence of images or frames. The destination image stream may include separate data streams for left fields and right fields. The source image stream can be received frame by frame or frame by frame. The generation of images of the target image stream can take place while continuously receiving further image data of the source image stream. Preferably, the latency between accepting an image or frame of the source image stream and outputting an image of the target image stream generated therefrom is less than 100 ms, more preferably less than 51 ms, less than 34 ms, or most preferably less than 17 ms.

Das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms erfolgt anhand von Bildinhalten der Bilddaten, d.h. basierend auf Bildinhalten der Bilddaten. D.h., es kann zumindest auch basierend auf Bildinhalten der Bilddaten erfolgen.The recognition of a stereoscopic format of image data of the source image stream is based on image contents of the image data, i. based on image contents of the image data. That is, at least it may also be based on image contents of the image data.

Dabei werden die Bildinhalte durch die Bilddaten repräsentiert. Unter Bildinhalten werden hier für jeweilige Pixel definierte Inhalte verstanden, die durch die Bilddaten repräsentiert werden. D.h., das Erkennen erfolgt anhand von Bildinhalten in Form von für jeweilige Pixel definierten Inhalten, die durch die Bilddaten repräsentiert werden.The image contents are represented by the image data. Image contents are defined here for respective pixels defined content, which are represented by the image data. That is, the recognition is based on image contents in the form of contents defined for respective pixels represented by the image data.

Beispielsweise kann das Verfahren umfassen:

• Erkennen eines stereoskopischen Formats von ersten Bilddaten des Quell-Bildstroms, basierend auf Bildinhalten der ersten Bilddaten, und
• Entnehmen von links-Teilbildern für ein linkes Auge und rechts-Teilbildern für ein rechtes Auge aus weiteren Bilddaten des Quell-Bildstroms, wobei die weiteren Bilddaten des Quell-Bildstroms gemäß dem erkannten stereoskopischen Format der ersten Bilddaten interpretiert werden.

For example, the method may include:

• Recognizing a stereoscopic format of first image data of the source image stream based on image contents of the first image data, and
• Extracting left-field images for a left eye and right-field images for a right eye from further image data of the source image stream, the further image data of the source image stream being interpreted according to the recognized stereoscopic format of the first image data.

Der Schritt des Erkennens kann auch für neue erste Bilddaten wiederholt werden, um auf einen Wechsel einer Zusammensetzung und/oder des stereoskopischen Formats der Bilddaten des Quell-Bildstroms zu reagieren.The step of recognizing may also be repeated for new first image data to respond to a change in composition and / or the stereoscopic format of the image data of the source image stream.

Vorzugsweise ist wenigstens einer von dem Quell-Bildstrom und dem Ziel-Bildstrom ein digitaler Bildstrom mit aufeinanderfolgenden Rahmen, die Bilder enthalten, beispielsweise ein digitaler Bildstrom gemäß dem HDMI 1.4, HDMI 2.0 oder HDMI 2.1 Standard.Preferably, at least one of the source image stream and the destination image stream is a digital image stream having successive frames containing images, for example, a digital image stream according to the HDMI 1.4, HDMI 2.0 or HDMI 2.1 standard.

Der Quell-Bildstrom ist ein Rastergrafik-Bildstrom. Die Bilddaten des Quell-Bildstroms sind insbesondere Rastergrafik-Bilddaten (oder Bitmap-Bilddaten), d.h. sie können bezeichnet werden als pixelbasierte Bilddaten. Bei dem Ziel-Bildstrom kann es sich ebenfalls um einen Rastergrafik-Bildstrom handeln.The source image stream is a raster graphics image stream. The image data of the source image stream is, in particular, raster graphics image data (or bitmap image data), i. they can be referred to as pixel-based image data. The target image stream may also be a raster graphics image stream.

Unter einem Rahmen (engl.: frame) wird eine Struktur eines Bildsignals verstanden, in welcher in definierter zeitlicher Abfolge Bilddaten zeilenweise enthalten sind. Der Rahmen enthält üblicherweise horizontale Austastlücken und eine vertikale Austastlücke. Ein Rahmenbereich, der zeilenweise aufeinanderfolgend die Bilddaten enthält, entspricht einem x-y-Positionsbereich des Rahmens, wobei y die Zeile angibt und x die Position innerhalb einer Zeile. Bei HDMI-Bildströmen können nicht nur die Bilddaten übertragen werden, sondern es können zusätzliche Informationen in Datenpaketen in den Austastlücken übertragen werden, etwa Audiodaten. In einem HDMI-Bildstrom werden Bilddaten in z.B. drei Kanälen gleichzeitig jeweils in Form eines Bitstroms übertragen.A frame is understood to mean a structure of an image signal in which image data are contained in a defined time sequence. The frame usually contains horizontal blanking intervals and a vertical blanking interval. A frame area containing line by line the image data corresponds to an x-y position area of the frame, where y indicates the line and x indicates the position within a line. In HDMI image streams, not only the image data can be transmitted, but additional information can be transmitted in data packets in the blanking intervals, such as audio data. In an HDMI image stream, image data is stored in e.g. transmit three channels simultaneously in the form of a bit stream.

Das stereoskopische Format von Bilddaten des Quell-Bildstroms kann beispielsweise einer Anordnung von links-Teilbildern und rechts-Teilbildern in den stereoskopischen Bilddaten des Quell-Bildstroms entsprechen oder eine solche Anordnung umfassen. Das vorgegebene stereoskopische Format der Bilder des Ziel-Bildstroms kann beispielsweise einer Anordnung von links-Teilbildern und rechts-Teilbildern in den stereoskopischen Bildern des Ziel-Bildstroms entsprechen oder eine solche Anordnung umfassen.The stereoscopic format of image data of the source image stream may, for example, correspond to or include an arrangement of left field images and right field images in the stereoscopic image data of the source image stream. The predetermined stereoscopic format of the images of the target image stream may correspond, for example, to or include an arrangement of left and middle images in the stereoscopic images of the target image stream.

Das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten kann beispielsweise das Erkennen einer Anordnung von links-Teilbildern und rechts-Teilbildern in stereoskopischen Bilddaten des Quell-Bildstroms umfassen oder darin bestehen.For example, recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data may include or consist of recognizing an arrangement of left and right sub-images in stereoscopic image data of the source image stream.

Das vorgegebene stereoskopische Format der Bilder des Ziel-Bildstroms kann sich von dem stereoskopischen Format der Bilddaten des Quell-Bildstroms unterscheiden.The predetermined stereoscopic format of the images of the target image stream may differ from the stereoscopic format of the image data of the source image stream.

Beispielsweise kann sich eine Anordnung der links-Teilbilder und rechts-Teilbilder in Bildern des Ziel-Bildstroms unterscheiden von einer Anordnung von links-Teilbildern und rechts-Teilbildern in den stereoskopischen Bilddaten des Quell-Bildstroms, wobei die jeweilige Anordnung umfassen kann: eine Anordnung von links-Teilbild und rechts-Teilbild nebeneinander, eine Anordnung von links-Teilbild und rechts-Teilbild übereinander, eine zeilenweise verschachtelte Anordnung von links-Teilbild und rechts-Teilbild. Die Anordnung von links-Teilbildern und rechts-Teilbildern in den stereoskopischen Bilddaten des Quell-Bildstroms kann auch umfassen: eine Anordnung von links-Teilbild und rechts-Teilbild als Überlagerung, d.h. an gleicher Position in einem Bild, in unterschiedlichen Farben von links-Teilbild und rechts-Teilbild (farb-anaglyphisches Stereobild), eine Anordnung von links-Teilbildern und rechts-Teilbildern an gleicher Position abwechselnd in aufeinanderfolgenden Bildern des Quell-Bildstroms (das frame-interlacing oder frame-interlaced Format, auch bezeichnet als temporal interlacing), und eine Anordnung von links-Teilbild und rechts-Teilbild an gleicher Position in aufeinanderfolgenden Bildern des Quell-Bildstroms, wobei ein Teilbild zu unterschiedlichen Wiedergabezeitpunkten als links-Teilbild und als rechts-Teilbild dient (zur Ausnutzung des Pulfrich-Effektes).For example, an arrangement of the left fields and right fields in images of the target image stream may differ from an arrangement of left fields and right fields in the stereoscopic image data of the source image stream, which arrangement may include: an array of left partial image and right partial image next to each other, an arrangement of left partial image and right partial image one above the other, a line by line nested arrangement of left partial image and right partial image. The arrangement of left fields and right fields in the stereoscopic image data of the source image stream may also include: an arrangement of left field and right field as overlay, i. at the same position in an image, in different colors of the left partial image and the right partial image (color anaglyphic stereo image), an arrangement of left partial images and right partial images at the same position alternately in successive images of the source image current (the frame interlacing or frame-interlaced format, also referred to as temporal interlacing), and an arrangement of left-field and right-field at the same position in successive images of the source image stream, wherein one field at different playback times as left field and as right Partial image serves (to exploit the Pulfrich effect).

Der Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten kann beispielsweise dann durchgeführt werden, wenn Information über ein stereoskopisches Bildformat von Bildern des Quell-Bildstroms nicht aus Metadaten des Quell-Bildstroms ausgelesen werden konnte, wie beispielsweise aus 3D-InfoFrame-Datenpaketen eines 3D-Bildstroms gemäß einem HDMI-Standard.The step of recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data may be performed, for example, when information about a stereoscopic image format of images of the source image stream could not be read from metadata of the source image stream, such as 3D InfoFrame data packets of a 3D image stream according to an HDMI standard.

Beispielsweise kann das Verfahren umfassen:

• Überprüfen des Vorliegens von Information über ein stereoskopisches Bildformat von Bildern des Quell-Bildstroms in Metadaten des Quell-Bildstroms,
• Auslesen der Information über ein stereoskopisches Bildformat von Bildern des Quell-Bildstroms aus Metadaten des Quell-Bildstroms, wenn die Information vorliegt,
• wobei der Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten ausgeführt wird, wenn die Information nicht vorliegt, d.h. wenn Information über ein stereoskopisches Bildformat von Bildern des Quell-Bildstroms nicht aus Metadaten des Quell-Bildstroms ausgelesen werden konnte.

For example, the method may include:

• Checking the presence of information about a stereoscopic image format of images of the source image stream in metadata of the source image stream,
• Reading the information about a stereoscopic image format from images of the source Image stream of metadata of the source image stream, if the information is present
• wherein the step of recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data is carried out when the information is not present, that is, when information about a stereoscopic image format of images of the source image stream is not extracted from metadata of the source image stream could.

In einer oder mehreren Ausführungsformen umfasst das Verfahren:

• Vergleichen einer Bildgröße eines Bildes des Quell-Bildstroms mit unterschiedlichen stereoskopischen Formaten zugeordneten Bildgrößen, wobei beim Vergleichen jeweils überprüft wird, ob eine Vergleichsbedingung für ein einer jeweiligen Bildgröße zugeordnetes stereoskopisches Format erfüllt ist,
• wobei der Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten ausgeführt wird, wenn in dem Schritt des Vergleichens einer Bildgröße eines Bildes des Quell-Bildstroms mit unterschiedlichen stereoskopischen Formaten zugeordneten Bildgrößen keine der jeweiligen Vergleichsbedingungen erfüllt ist. D.h., der Schritt des Erkennens, basierend auf den Bildinhalten, wird durchgeführt, wenn in dem Schritt des Vergleichens der Bildgröße kein stereoskopisches Format von Bildern des Quell-Bildstroms erkannt wurde.

In one or more embodiments, the method comprises:

• Comparing an image size of an image of the source image stream with image sizes associated with different stereoscopic formats, wherein in each case it is checked whether a comparison condition for a stereoscopic format assigned to a respective image size is fulfilled,
• wherein the step of recognizing a stereoscopic format of image data of the source image stream is performed based on image contents of the image data if none of the respective comparison conditions is satisfied in the step of comparing an image size of an image of the source image stream with image sizes associated with different stereoscopic formats. That is, the step of recognizing based on the image contents is performed when no stereoscopic format of images of the source image stream has been recognized in the step of comparing the image size.

Beispielsweise können wenigstens folgende Zuordnungen zwischen stereoskopischen Formaten und jeweiligen Bildgrößen mit betreffenden Vergleichsbedingungen vorgenommen werden:

• Bildgröße ist exakt gleich 1920 x 2205 - Frame-Packing 1080p, d.h. links-Teilbild 1920 x 1080 über aktivem Leerraum 1920 x 45 über rechts-Teilbild 1920 x 1080 in einem Bild, entsprechend einem Seitenverhältnis des Bildes von 128/149, gleich etwa 0,87:1;
• Bildgröße ist exakt gleich 1280 x 1470 - Frame-Packing 720p, d.h. links-Teilbild 1280 x 720 über aktivem Leerraum 1280 x 30 über rechts-Teilbild 1280 x 720 in einem Bild, entsprechend einem Seitenverhältnis des Bildes von 128/149, gleich etwa 0,87: 1;
• Bildgröße hat ein Seitenverhältnis größer gleich 2:1, beispielsweise 3840 x 1080, - Side-by-Side-(full), d.h. links-Teilbild und rechts-Teilbild (z.B. beide 1920 x 1080) direkt nebeneinander in einem Bild (ohne horizontale Stauchung);
• Bildgröße hat ein Seitenverhältnis kleiner als 1:1 (außer obige Frame-Packing-Formate), beispielsweise 1920 x 2160 - Top-and-Bottom-(full), d.h. links-Teilbild direkt über rechts-Teilbild in einem Bild (ohne vertikale Stauchung).

For example, at least the following associations can be made between stereoscopic formats and respective image sizes with the relevant comparison conditions:

• Image size is exactly the same 1920 x 2205 - Frame Packing 1080p, ie left field 1920 x 1080 over active space 1920 x 45 over right field 1920 x 1080 in an image, corresponding to an aspect ratio of the image of 128/149, equal to about 0 , 87: 1;
• Image size is exactly equal to 1280 x 1470 - frame-packing 720p, ie left-field 1280 x 720 over active space 1280 x 30 over right-field 1280 x 720 in one image, corresponding to an aspect ratio of the image of 128/149, equal to about 0 , 87: 1;
• Image size has an aspect ratio greater than or equal to 2: 1, for example 3840 x 1080, - Side-by-Side (full), ie left field and right field (eg both 1920 x 1080) directly next to each other in one image (without horizontal compression );
• Image size has an aspect ratio smaller than 1: 1 (except for the above frame packing formats), for example 1920 x 2160 - top and bottom (full), ie left field directly over right field in a picture (without vertical compression) ).

Dabei können optional, etwa wenn, wie weiter unten erläutert, eine Erkennung für einen Teilbereich eines Bildes entsprechend einem angenommenen 3D-Bilddatenbereich erfolgen soll, die beiden erstgenannten Fälle Frame-Packing 1080p und Frame-Packing 720p umfasst sein durch die Zuordnung: Bildgröße hat ein Seitenverhältnis von 128/149 oder etwa gleich 0,87:1 - Frame-Packing, d.h. links-Teilbild über aktivem Leerraum über rechts-Teilbild in einem Bild, mit entsprechenden Höhenanteilen von links-Teilbild, aktivem Leerraum und rechts-Teilbild.Optionally, for example, as explained below, recognition for a partial area of an image corresponding to an assumed 3D image data area should be included, the first two cases frame packing 1080p and frame packing 720p by the assignment: image size has Aspect ratio of 128/149 or approximately equal to 0.87: 1 - Frame Packing, ie left partial image over active white space over right partial image in an image, with corresponding height components of left partial image, active white space and right partial image.

Für alle anderen Fälle, d.h. bei einer Bildgröße mit einem Seitenverhältnis im Bereich von einschließlich 1:1 bis kleiner als 2:1 (exclusive), erfolgt der Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten. Vorzugsweise wird dabei das zu erkennende Format von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten erkannt als eines von einem oder mehreren Formaten der nachfolgend genannten Formate (1) bis (2) und (6) bis (9).For all other cases, i. for an image size with an aspect ratio ranging from 1: 1 to less than 2: 1 (exclusive), the step of recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data is performed. Preferably, the format of image data of the source image stream to be recognized based on image contents of the image data is recognized as one of one or more formats of the following formats (1) to (2) and (6) to (9).

In einer oder mehreren Ausführungsformen wird das zu erkennende stereoskopische Format von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten erkannt als eines von mehreren stereoskopischen Formaten, wobei die mehreren stereoskopischen Formate stereoskopische Formate umfassen, welche eine jeweilige unterschiedliche Anordnung von links-Teilbildern und rechts-Teilbildern in den stereoskopischen Bilddaten des Quell-Bildstroms aufweisen.In one or more embodiments, the stereoscopic format of image data of the source image stream to be recognized based on image contents of the image data is recognized as one of a plurality of stereoscopic formats, the plurality of stereoscopic formats comprising stereoscopic formats having a respective different arrangement of left fields and right Have partial images in the stereoscopic image data of the source image stream.

In einer oder mehreren Ausführungsformen wird das zu erkennende Format von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten erkannt als eines von einem oder mehreren Formaten, welche umfassen:

1. (1) ein Side-by-Side-(half)-Format mit einem links-Teilbild und einem rechts-Teilbild nebeneinander, die jeweils ein Seitenverhältnis aufweisen, das jeweils einem in x-Richtung mit dem Faktor 0,5 gestauchten Vollbild entspricht, wobei das Seitenverhältnis des Vollbildes vorzugsweise eines von 4:3 und 16:9 ist;
2. (2) ein Top-and-Bottom-(half)-Format mit einem links-Teilbild und einem rechts-Teilbild in y-Richtung übereinander angeordnet, die jeweils ein Seitenverhältnis aufweisen, das jeweils einem in y-Richtung mit dem Faktor 0,5 gestauchten Vollbild entspricht, wobei das Seitenverhältnis des Vollbildes vorzugsweise eines von 4:3 und 16:9 ist,
3. (3) ein Side-by-Side-(full)-Format mit einem links-Teilbild und einem rechts-Teilbild direkt nebeneinander, wobei das Seitenverhältnis des gesamten Bildes aus links-Teilbild und rechts-Teilbild vorzugsweise zusammen 32:9, also etwa 3,56:1 ist;
4. (4) ein Top-and-Bottom-(full)-Format mit einem links-Teilbild und einem rechts-Teilbild direkt übereinander,
5. (5) ein Frame-Packing-Format mit einem links-Teilbild und einem rechts-Teilbild in y-Richtung übereinander und getrennt durch aktiven Leerraum angeordnet, wobei das Seitenverhältnis des gesamten Bildes aus links-Teilbild, Leerraum und rechts-Teilbild vorzugsweise 128:149 oder etwa gleich 0,87:1 ist;
6. (6) ein Line-Alternative-Format mit einem links-Teilbild und einem rechts-Teilbild zeilenweise verschachtelt, d.h. gerade Zeilen und ungerade Zeilen sind unterschiedlichen Teilbildern zugeordnet;
7. (7) ein Frame-Interlaced-Format, bei dem ein Rahmen mit einem links-Teilbild und ein Rahmen mit einem rechts-Teilbild abwechselnd aufeinander folgen;
8. (8) ein farb-anaglyphisches Format gemäß einer oder mehreren Kombinationen von links-kodierenden und rechts-kodierenden Farben, insbesondere eines oder mehrere von einem rot-blau-anaglyphischem Format, einem rot-grün-anaglyphischem Format, einem rot-cyan-anaglyphischem Format, einem gelb-blau-anaglyphischem Format;
9. (9) ein zur Ausnutzung des Pulfrich-Effektes eingerichtetes Format.

Beispielsweise kann eines der Formate (1) bis (9) als Format von Bilddaten des Quell-Bildstroms erkannt werden, welche Bilddaten einem Vollbild oder Rahmen des Quell-Bildstroms entsprechen.In one or more embodiments, the format of image data of the source image stream to be recognized based on image contents of the image data is recognized as one of one or more formats, comprising:

1. (1) a side-by-side (half) format with a left field and a right field side by side each having an aspect ratio each corresponding to a frame compressed in the x direction by a factor of 0.5, the aspect ratio of the Frame is preferably one of 4: 3 and 16: 9;
2. (2) a top-and-bottom (half) format with a left field and a right field in the y direction superimposed, each having an aspect ratio, each one in the y direction by a factor of 0, 5 compressed frame, wherein the aspect ratio of the frame is preferably one of 4: 3 and 16: 9,
3. (3) a side-by-side (full) format with a left field and a right field directly next to each other, wherein the aspect ratio of the entire picture of left field and right field preferably together 32: 9, so about 3.56: 1;
4. (4) a top-and-bottom (full) format with a left field and a right field directly on top of each other,
5. (5) a frame-packing format having a left field and a right field in the y direction superimposed and separated by active white space, wherein the aspect ratio of the entire image of left field, space and right field preferably 128: 149 or about 0.87: 1;
6. (6) line-by-line interleaving a line alternative format with a left field and a right field, that is, even lines and odd lines are assigned to different fields;
7. (7) a frame interlaced format in which one frame with a left field and one frame with a right field follow each other alternately;
8. (8) a color anaglyphic format according to one or more combinations of left-coding and right-coding colors, in particular one or more of a red-blue anaglyphic format, a red-green-anaglyphic format, a red-cyan-anaglyphic Format, a yellow-blue anaglyphic format;
9. (9) a format designed to exploit the Pulfrich effect.

For example, one of the formats (1) to (9) may be recognized as a format of image data of the source image stream, which image data corresponds to a frame or frame of the source image stream.

Beispielsweise kann eines der Formate (1) bis (5) sowie (7) bis (9) als Format von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten erkannt werden, welche Bilddaten einem Teilbereich eines Bildes des Quell-Bildstroms entsprechen, insbesondere einem rechtwinklig polygonalem oder einem rechteckigem Teilbereich. Außerhalb dieses Teilbereichs können beispielsweise 2D-Bilddaten vorliegen. Somit können beispielsweise auch skaliert wiedergegebene Videobilder oder Bilder als Stereobilder erkannt werden.For example, one of the formats (1) to (5) and (7) to (9) may be recognized as a format of image data of the source image stream based on image contents of the image data, which image data corresponds to a partial area of an image of the source image stream, especially one right-angled polygonal or rectangular section. Outside this subarea, for example, 2D image data may be present. Thus, for example, scaled reproduced video images or images can be recognized as stereo images.

Die Erkennung kann auch auf eines oder mehrere der genannten Formate beschränkt sein, oder weitere Formate umfassen.The recognition may also be limited to one or more of the mentioned formats, or comprise further formats.

Bei der Erkennung des Formats kann anhand des Seitenverhältnisses auf das Vorliegen einer Stauchung der Teilbilder in x-Richtung oder y-Richtung geschlossen werden, insbesondere bei einem Side-by-Side-(half)-Format bzw. einem Top-and-Bottom-(half)-Format. Dies wird beim Interpretieren der Bilddaten zur Entnahme der Teilbilder berücksichtigt.When recognizing the format, it can be concluded from the aspect ratio that there is a compression of the sub-images in the x-direction or y-direction, in particular in a side-by-side (half) format or a top-and-bottom (half) format. This is taken into account when interpreting the image data for the removal of the partial images.

Das beschriebene Vergleichen der Bildgröße kann beispielsweise durchgeführt werden, wenn die Information über ein stereoskopisches Bildformat von Bildern des Quell-Bildstroms in Metadaten des Quell-Bildstroms nicht vorliegt.The described comparison of the image size can be carried out, for example, if the information about a stereoscopic image format of images of the source image current is not present in metadata of the source image current.

Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.Advantageous embodiments of the invention are specified in the subclaims.

In einer oder mehreren Ausführungsformen umfasst das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten:

• Überprüfen von mehreren Hypothesen über ein stereoskopisches Format von Bilddaten des Quell-Bildstroms,
• Erkennen des stereoskopischen Formats einer Hypothese als das stereoskopische Format der Bilddaten, wenn in dem Schritt des Überprüfens die Hypothese als zutreffend erkannt wurde.

In one or more embodiments, recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data comprises:

• Examining several hypotheses about a stereoscopic format of image data of the source image stream,
• Recognizing the stereoscopic format of a hypothesis as the stereoscopic format of the image data if, in the step of checking, the hypothesis was found to be true.

Vorzugsweise umfasst eine Hypothese über ein stereoskopisches Format von Bilddaten des Quell-Bildstroms eine Hypothese über eine Anordnung von links-Teilbildern und rechts-Teilbildern in Bilddaten des Quell-Bildstroms. Beispielsweise kann eine Hypothese über ein stereoskopisches Format von Bilddaten des Quell-Bildstroms einer Hypothese über eine Anordnung von links-Teilbildern und rechts-Teilbildern in Bilddaten des Quell-Bildstroms entsprechen.Preferably, a hypothesis about a stereoscopic format of image data of the source image stream includes a hypothesis about an arrangement of left field images and right field images in image data of the source image stream. For example, a hypothesis about a stereoscopic format of image data of the source image stream may correspond to a hypothesis about an arrangement of left field images and right field images in image data of the source image stream.

Beispielsweise kann das Überprüfen von mehreren Hypothesen umfassen:

• Detektieren, für eine jeweilige Hypothese von zu überprüfenden Hypothesen, von paarweise korrespondierenden Merkmalen in links-Bildinhalten und rechts-Bildinhalten der Bilddaten, wobei die Bilddaten gemäß der betreffenden Hypothese als die links-Bildinhalte und die rechts-Bildinhalte repräsentierend interpretiert werden;
• Erkennen einer Hypothese als zutreffend basierend auf sich paarweise hauptsächlich in ihren x-Koordinaten unterscheidenden Positionen von detektierten, paarweise korrespondierenden Merkmalen.

For example, reviewing multiple hypotheses may include:

• Detecting, for a respective hypothesis of hypotheses to be tested, paired corresponding features in left image contents and right image contents of the image data, the image data being interpreted as representing the left image contents and the right image contents according to the hypothesis in question;
• Recognizing a hypothesis as true based on pairs of mainly differing positions of detected, pairwise corresponding features in their x-coordinates.

D.h., in dem Schritt des Detektierens von paarweise korrespondierenden Merkmalen werden die Bilddaten gemäß der betreffenden Hypothese als Repräsentation der links-Bildinhalte und der rechts-Bildinhalte interpretiert. Es erfolgt eine Zuordnung der Bilddaten zu links-Bildinhalten und rechts-Bildinhalten entsprechend der betreffenden Hypothese. That is, in the step of detecting pairs of corresponding features, the image data is interpreted according to the hypothesis in question as a representation of the left image contents and the right image contents. There is an assignment of image data to left-image content and right-image content according to the hypothesis in question.

Beispielsweise kann in dem Schritt des Erkennens einer Hypothese als zutreffend das Erkennen einer Hypothese als zutreffend erfolgen, wenn die Hypothese unter denjenigen Hypothesen, für die ein Ähnlichkeitskriterium für die y-Koordinaten der paarweise korrespondierenden Merkmale für die betreffende Hypothese erfüllt ist, einen größten Wert eines Maßes für die Streuung der paarweisen Differenzen der x-Koordinaten der paarweise korrespondierenden Merkmale aufweist.For example, in the step of recognizing a hypothesis, the hypothesis may be deemed to be true if the hypothesis among those hypotheses for which a similarity criterion for the y-coordinates of the pairwise corresponding features is satisfied for the hypothesis in question is a maximum value of one Measure for the scattering of the pairwise differences of the x-coordinates of the pairwise corresponding features.

Auf diese Weise erfolgt das Erkennen einer Hypothese als zutreffend anhand einer Vereinbarkeit von Koordinaten der paarweise korrespondierenden Merkmale mit typischen Merkmalen eines stereoskopischen Bildinhalts.In this way, the recognition of a hypothesis is made as appropriate based on a compatibility of coordinates of the pairwise corresponding features with typical features of a stereoscopic image content.

Je nach der betreffenden Hypothese können der links-Bildinhalt und der rechts-Bildinhalt in einem Bild oder Rahmen des Quell-Bildstroms enthalten sein oder in aufeinanderfolgenden Bildern oder Rahmen des Quell-Bildstroms enthalten sein.Depending on the hypothesis in question, the left-hand image content and the right-hand image content may be included in a frame or frame of the source image stream or contained in successive images or frames of the source image stream.

In einer oder mehreren Ausführungsformen erfolgt das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten mittels eines künstlichen Neuronalen Netzes. Insbesondere kann das Erkennen durch das künstliche Neuronale Netz erfolgen. Beispielsweise kann das Erkennen einer Anordnung von links-Teilbildern und rechts-Teilbildern in stereoskopischen Bilddaten des Quell-Bildstroms mittels eines künstlichen Neuronalen Netzes erfolgen.In one or more embodiments, the recognition of a stereoscopic format of image data of the source image stream is based on image contents of the image data by means of an artificial neural network. In particular, the recognition can be done by the artificial neural network. For example, the recognition of an arrangement of left partial images and right partial images in stereoscopic image data of the source image current can take place by means of an artificial neural network.

Beispielsweise kann das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten eine Vorverarbeitung von Bildinhalten der Bilddaten umfassen, bei der globale Bildmerkmale aus Bildinhalten der Bilddaten extrahiert werden und das künstliche Neuronale Netz die extrahierten globalen Bildmerkmale als Eingangssignale erhält. Somit werden bei der Vorverarbeitung von Bildinhalten der Bilddaten globale Bildmerkmale aus Bildinhalten in Form von für jeweilige Pixel definierten Inhalten, die durch die Bilddaten repräsentiert werden, extrahiert. Beispielsweise kann das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten das Erkennen einer Anordnung von links-Teilbildern und rechts-Teilbildern in stereoskopischen Bilddaten des Quell-Bildstroms umfassen, welches wiederum die Vorverarbeitung umfassen kann.For example, recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data may include preprocessing image contents of the image data, extracting global image features from image contents of the image data, and receiving the extracted global image features as inputs to the artificial neural network. Thus, in preprocessing image contents of the image data, global image features are extracted from image contents in the form of contents defined for respective pixels represented by the image data. For example, recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data may include recognizing an arrangement of left and right sub-images in stereoscopic image data of the source image stream, which in turn may include preprocessing.

In einer oder mehreren Ausführungsformen können die Bilddaten des Quell-Bildstroms, deren stereoskopisches Format erkannt wird, zusammen einem rechteckigen Teil eines Bildes des Quell-Bildstroms oder einem rechteckigen Teil aufeinanderfolgender Bilder des Quell-Bildstroms entsprechen. Die Bilddaten des Quell-Bildstroms, deren stereoskopisches Format erkannt wird, können auch einem Vollbild oder Gesamt-Bildbereich des Quell-Bildstroms oder Vollbildern oder einem Gesamt-Bildbereich von aufeinanderfolgenden Bildern des Quell-Bildstroms entsprechen.In one or more embodiments, the image data of the source image stream whose stereoscopic format is recognized may together correspond to a rectangular portion of an image of the source image stream or a rectangular portion of successive images of the source image stream. The image data of the source image stream whose stereoscopic format is recognized may also correspond to a frame or total image area of the source image stream or frames, or a total image area of successive images of the source image stream.

In einer oder mehreren Ausführungsformen umfasst das Verfahren: Erkennen eines Umfangs eines Bildbereichs von Bilddaten, die ein stereoskopisches Format aufweisen. Diese Bilddaten werden nachfolgend auch als 3D-Bilddaten bezeichnet, und der Bereich wird auch als 3D-Bilddatenbereich bezeichnet. Vorzugsweise wird der Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten dann durchgeführt für Bilddaten, die diesem Bildbereich entsprechen. Das Verfahren umfasst somit: Erkennen eines stereoskopischen Formats der Bilddaten, die diesem Bildbereich entsprechen. Das Verfahren kann insbesondere umfassen: Erkennen einer Anordnung von links-Teilbildern und rechts-Teilbildern in stereoskopischen Bilddaten des Quell-Bildstroms, die diesem Bildbereich entsprechen. Beispielsweise kann der Schritt des Erkennens eines Umfangs eines Bildbereichs von Bilddaten, die ein stereoskopisches Format aufweisen, durchgeführt werden, wenn in einem Schritt des Untersuchens von Bildinhalten von Bilddaten des Quell-Bildstroms zum Erkennen eines stereoskopischen Formats der Bilddaten basierend auf Bildinhalten der Bilddaten, wobei die Bilddaten einem Vollbild oder Gesamt-Bildbereich eines Bildes des Quell-Bildstroms entsprechen, kein stereoskopisches Format erkannt wird. Es kann dann ein weiterer Schritt des Untersuchens von Bildinhalten von Bilddaten des Quell-Bildstroms zum Erkennen eines stereoskopischen Formats der Bilddaten basierend auf Bildinhalten der Bilddaten erfolgen, wobei die Bilddaten dem erkannten Umfang des 3D-Bilddbereichs entsprechen. Dieser Schritt des Untersuchens von Bildinhalten von Bilddaten des Quell-Bildstroms umfasst dann beispielsweise den Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten. Er kann insbesondere den Schritt des Erkennens einer Anordnung von links-Teilbildern und rechts-Teilbildern in stereoskopischen Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten umfassen.In one or more embodiments, the method includes: detecting a perimeter of an image area of image data having a stereoscopic format. This image data will hereinafter also be referred to as 3D image data, and the area will also be referred to as 3D image data area. Preferably, the step of recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data is then performed for image data corresponding to that image region. The method thus comprises: recognizing a stereoscopic format of the image data corresponding to this image area. In particular, the method may include: detecting an arrangement of left and right sub-images in stereoscopic image data of the source image stream corresponding to that image region. For example, the step of recognizing a scope of an image area of image data having a stereoscopic format may be performed when, in a step of examining image contents of image data of the source image stream for recognizing a stereoscopic format of the image data based on image contents of the image data the image data corresponds to a frame or entire image area of an image of the source image stream, no stereoscopic format is recognized. There may then be another step of examining image contents of image data of the source image stream to recognize a stereoscopic format of the image data based on image contents of the image data, the image data corresponding to the detected amount of the 3D image area. This step of examining image contents of image data of the source image stream then includes, for example, the step of recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data. In particular, it may comprise the step of recognizing an arrangement of left fields and right fields in stereoscopic image data of the source image stream based on image contents of the image data.

Insbesondere kann es sich bei dem 3D-Bilddatenbereich um einen rechtwinkligpolygonalen oder einen rechteckigen Bildbereich handeln. Dieser Bildbereich kann auch als 3D-Bildbereich bezeichnet werden. Unter dem Umfang des Bildbereichs wird die Erstreckung oder die Größe des Bildbereichs der betreffenden Bilddaten verstanden. Das Erkennen eines stereoskopischen Formats der Bilddaten, die diesem Bildbereich entsprechen, basierend auf Bildinhalten der Bilddaten, kann beispielsweise, wie beschrieben, das Überprüfen von mehreren Hypothesen über ein stereoskopisches Format dieser Bilddaten des Quell-Bildstroms umfassen. Das Erkennen eines stereoskopischen Formats der Bilddaten, die diesem Bildbereich entsprechen, basierend auf Bildinhalten der Bilddaten, kann beispielsweise, wie beschrieben, mittels eines künstlichen Neuronalen Netzes erfolgen. Auch bei einem Schritt des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms, der für Bilddaten durchgeführt wird, die einem Vollbild oder Gesamt-Bildbereich eines Bildes des Quell-Bildstroms entsprechen, kann das Erkennen eines stereoskopischen Formats basierend auf Bildinhalten der Bilddaten beispielsweise, wie beschrieben, das Überprüfen von mehreren Hypothesen über ein stereoskopisches Format dieser Bilddaten des Quell-Bildstroms umfassen, oder, wie beschrieben, mittels eines künstlichen Neuronalen Netzes erfolgen. In particular, the 3D image data area may be a rectangular polygonal or a rectangular image area. This image area can also be called a 3D image area. The scope of the image area is understood to mean the extent or the size of the image area of the relevant image data. For example, recognizing a stereoscopic format of the image data corresponding to that image area based on image contents of the image data may include, as described, reviewing multiple hypotheses about a stereoscopic format of that image data of the source image stream. The recognition of a stereoscopic format of the image data that corresponds to this image area based on image contents of the image data can be done, for example, as described, by means of an artificial neural network. Also, in a step of recognizing a stereoscopic format of image data of the source image current performed for image data corresponding to a frame or entire image area of an image of the source image stream, recognizing a stereoscopic format based on image contents of the image data may be, for example, as described, include checking multiple hypotheses about a stereoscopic format of this image data of the source image stream, or, as described, using an artificial neural network.

In einer oder mehreren Ausführungsformen umfasst das Verfahren: Erkennen eines Umfangs eines Bildbereichs von 2D-Bilddaten; wobei das Verfahren weiter umfasst: Entnehmen von 2D-Teilbildern aus 2D-Bilddaten des Quell-Bildstroms, wobei das Erzeugen von Bildern des Ziel-Bildstroms im vorgegebenen stereoskopischen Format unter Einbeziehung der entnommenen links-Teilbilder und rechts-Teilbilder und unter Einbeziehung der entnommenen 2D-Teilbilder erfolgt. Die entnommenen 2D-Teilbilder werden beispielsweise dupliziert.In one or more embodiments, the method includes: detecting a perimeter of an image area of 2D image data; the method further comprising: extracting 2D subframes from 2D image data of the source image stream, generating images of the target image stream in the predetermined stereoscopic format, including the extracted left sub images and right sub images, and including the extracted 2D Partial images take place. The extracted 2D partial images are duplicated, for example.

Beispielsweise kann ein Bildbereich, welcher außerhalb eines Bildbereichs von Bilddaten liegt, die ein stereoskopisches Format aufweisen, als Bildbereich von 2D-Bilddaten erkannt werden.For example, an image area lying outside an image area of image data having a stereoscopic format can be recognized as an image area of 2D image data.

Beispielsweise kann, wenn für Bilddaten des Quell-Bildstroms kein stereoskopisches Format erkannt wird, ein Entnehmen von 2D-Bildern aus diesen Bilddaten des Quell-Bildstroms erfolgen, und es erfolgt ein Erzeugen von Bildern des Ziel-Bildstroms im vorgegebenen stereoskopischen Format unter Einbeziehung der entnommenen 2D-Teilbilder, welche dupliziert werden. Dadurch kann bei nur zeitweisem Vorhandensein von Bilddaten mit stereoskopischem Format in den übrigen Zeiten dennoch der Ziel-Bildstrom mit Bilddaten im vorgegebenen stereoskopischen Format erzeugt werden.For example, if no stereoscopic format is detected for image data of the source image stream, extraction of 2D images from these image data of the source image stream can be performed, and images of the target image stream are generated in the predetermined stereoscopic format including the extractedones 2D part images, which are duplicated. As a result, with only temporary presence of image data with stereoscopic format in the remaining times still the target image stream with image data in the predetermined stereoscopic format can be generated.

Beispielsweise kann das Erkennen eines Umfangs eines Bildbereichs von Bilddaten des Quell-Bildstroms, die ein stereoskopisches Format aufweisen, basierend auf Bildinhalten der Bilddaten des Quell-Bildstroms erfolgen.For example, recognizing a perimeter of an image area of image data of the source image stream having a stereoscopic format may be based on image contents of the image data of the source image stream.

Beispielsweise kann das Erkennen eines Umfangs eines Bildbereichs von Bilddaten des Quell-Bildstroms, die ein stereoskopisches Format aufweisen, basierend auf Bildinhalten der Bilddaten des Quell-Bildstroms umfassen:

• Detektieren von horizontalen und vertikalen Kanten in Bildinhalten der Bilddaten, die zusammen einen Rand eines Bildbereichs definieren, wobeidie Bilddaten als 2D-Bilddaten interpretiert werden, und
• Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms, die einem Bildbereich entsprechen, dessen Rand durch die detektierten Kanten definiert wird.

For example, recognizing a perimeter of an image area of image data of the source image stream having a stereoscopic format based on image contents of the image data of the source image stream may include:

• Detecting horizontal and vertical edges in image contents of the image data that together define an edge of an image area, the image data being interpreted as 2D image data, and
• Recognizing a stereoscopic format of image data of the source image stream corresponding to an image area whose boundary is defined by the detected edges.

Beispielsweise können horizontale und vertikale Kanten detektiert werden, die zusammen einen Rand eines polygonalen, auch als rechtwinklig-polygonal bezeichneten, Bildbereichs oder insbesondere eines rechteckigen Bildbereichs definieren.For example, horizontal and vertical edges can be detected, which together define an edge of a polygonal image region, also referred to as a right-angled polygonal image region, or in particular of a rectangular image region.

Beispielsweise kann der Quell-Bildstrom 2D-Bildinhalte in einem 2D-Format enthalten, in denen stereoskopische Bildinhalte eingebettet und in einem beispielsweise rechteckigen Bildbereich enthalten sind.For example, the source image stream may contain 2D image contents in a 2D format in which stereoscopic image contents are embedded and contained in, for example, a rectangular image area.

In einer oder mehreren Ausführungsformen können in dem Schritt des Entnehmens von links-Teilbildern für ein linkes Auge und rechts-Teilbildern für ein rechtes Auge aus Bilddaten des Quell-Bildstroms die entnommenen links-Teilbilder und rechts-Teilbilder unterschiedlichen Farbkanälen von Bilddaten entsprechen, wenn das erkannte stereoskopische Format der Bilddaten ein Farb-anaglyphisches stereoskopisches Format ist. Dadurch können Farb-anaglyphisch-kodierte stereoskopische Bildinhalte in das vorgegebene stereoskopische Format konvertiert werden.In one or more embodiments, in the step of extracting left-left images for a left eye and right-images for image data of the source image stream, the extracted left images and right images may correspond to different color channels of image data recognized stereoscopic format of image data is a color anaglyphic stereoscopic format. As a result, color anaglyphic coded stereoscopic image contents are converted into the predetermined stereoscopic format.

In einer oder mehreren Ausführungsformen kann in dem Schritt des Entnehmens von links-Teilbildern für ein linkes Auge und rechts-Teilbildern für ein rechtes Auge aus Bilddaten des Quell-Bildstroms ein Entnehmen eines links-Teilbildes für ein linkes Auge und eines zugeordneten rechts-Teilbildes für ein rechtes Auge aus jeweiligen nacheinander folgenden Bildern des Quell-Bildstroms erfolgen, wobei bei dem Erzeugen von Bildern des Ziel-Bildstroms im vorgegebenen stereoskopischen Format ein verzögertes Einbeziehen der entnommenen Teilbilder für eines der beiden Augen erfolgt. Dadurch können Pulfrich-kodierte stereoskopische Bildinhalte in das vorgegebene stereoskopische Format konvertiert werden.In one or more embodiments, in the step of extracting left-left images for a left eye and right-images for a right eye from image data of the source image stream, extracting a left-field for a left eye and an associated right-field for a right eye is made of respective successive images of the source image stream, wherein when generating images of the target image stream in the predetermined stereoscopic format, there is a delayed inclusion of the extracted partial images for one of the two eyes. As a result, Pulfrich-coded stereoscopic image contents can be converted into the predetermined stereoscopic format.

Die Aufgabe wird weiter gelöst durch eine Vorrichtung zum Konvertieren eines Quell-Bildstroms, der Bilddaten in einem stereoskopischen Format enthält, in einen Ziel-Bildstrom, der Bilder in einem vorgegebenen stereoskopischen Format aufweist, wobei die Bilder jeweils ein links-Teilbild für ein linkes Auge und ein rechts-Teilbild für ein rechtes Auge umfassen, umfassend: eine Erkennungseinrichtung zum Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten; und eine Konvertierungseinrichtung zum Konvertieren des Quell-Bildstroms in den Ziel-Bildstrom, wobei die Vorrichtung zur Durchführung des Verfahrens eingerichtet ist. Insbesondere kann die Erkennungseinrichtung zur Durchführung des Schrittes des Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten eingerichtet sein. Insbesondere kann die Konvertierungseinrichtung zum Durchführen der Schritte des Entnehmens von links-Teilbildern und rechts-Teilbildern sowie des Erzeugens von Bildern des Ziel-Bildstroms eingerichtet sein.The object is further achieved by an apparatus for converting a source image stream containing image data in a stereoscopic format into a destination image stream having images in a predetermined stereoscopic format, the images each comprising a left field image for a left eye and a right-eye right-field image comprising: detecting means for recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data; and converting means for converting the source image stream into the target image stream, the apparatus being arranged to perform the method. In particular, the recognition means may be arranged to perform the step of recognizing a stereoscopic format of image data of the source image stream based on image contents of the image data. In particular, the converting means may be arranged to perform the steps of extracting left fields and right fields and generating images of the target image stream.

Die Vorrichtung kann beispielsweise in einer Bildstromquelle implementiert sein, etwa einem PC (Personal Computer), und kann beispielsweise in einem Bildschirmtreiber oder einem Grafikadapter (z.B. einer Grafikkarte) implementiert sein. Die Vorrichtung kann auch beispielsweise ein Konverter zur Verbindung einer Bildstromquelle mit einem 3D-Ausgabegerät sein. Die Vorrichtung kann auch, beispielsweise als Konverter, in einem 3D-Ausgabegerät integriert sein und den Ziel-Bildstrom in einem zur Ausgabe durch das 3D-Ausgabegerät geeignetem stereoskopischen Format ausgeben, etwa in Form eines Rahmen-sequentiellen (frame-sequential) Bildstroms mit abwechselnden Teilbildern für das linke und das rechte Auge, oder in Form von getrennten Datenströmen für links-Teilbilder und rechts-Teilbilder.The device may, for example, be implemented in an image-current source, such as a personal computer (PC), and may be implemented, for example, in a display driver or graphics adapter (e.g., a graphics card). The device can also be, for example, a converter for connecting an image source with a 3D output device. The device can also be integrated, for example as a converter, in a 3D output device and output the target image stream in a stereoscopic format suitable for output by the 3D output device, for example in the form of a frame-sequential image stream with alternating Partial images for the left and the right eye, or in the form of separate data streams for left partial images and right partial images.

Bevorzugte Ausführungsformen der Erfindung werden im Folgenden anhand der Zeichnung näher erläutert. Es zeigen:

• 1 eine schematische Darstellung einer Konvertierung eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem Ausführungsbeispiel;
• 2 eine schematische Darstellung einer Konvertierung eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem weiteren Ausführungsbeispiel;
• 3 eine schematische Darstellung einer Konvertierung eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem weiteren Ausführungsbeispiel;
• 4 eine schematische Darstellung eines Konverters zum Konvertieren eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem Ausführungsbeispiel;
• 5 eine schematische Darstellung einer Erkennung eines Umfangs einesBildbereichs von 3D-Bilddaten;
• 6 eine schematische Darstellung von horizontalen und vertikalen Kanten in Bildinhalten der Bilddaten eines Bildes des Quell-Bildstroms;
• 7 eine schematische Darstellung eines Verfahrens zum Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms mittels eines künstlichen Neuronalen Netzes;
• 8 eine schematische Darstellung eines Verfahrens zum Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms mittels Merkmalsdetektoren;
• 9 eine schematische Darstellung einer Konvertierung eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem weiteren Ausführungsbeispiel;
• 10 eine schematische Darstellung einer Konvertierung eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem weiteren Ausführungsbeispiel; und
• 11 eine schematische Darstellung einer Konvertierung eines Quell-Bildstroms in einen Ziel-Bildstrom gemäß einem weiteren Ausführungsbeispiel.

Preferred embodiments of the invention are explained in more detail below with reference to the drawing. Show it:

• 1 a schematic representation of a conversion of a source image stream into a target image stream according to an embodiment;
• 2 a schematic representation of a conversion of a source image stream in a target image stream according to another embodiment;
• 3 a schematic representation of a conversion of a source image stream in a target image stream according to another embodiment;
• 4 a schematic representation of a converter for converting a source image stream into a target image stream according to an embodiment;
• 5 a schematic representation of a detection of a scope of an image area of 3D image data;
• 6 a schematic representation of horizontal and vertical edges in image contents of the image data of an image of the source image stream;
• 7 a schematic representation of a method for recognizing a stereoscopic format of image data of the source image stream by means of an artificial neural network;
• 8th a schematic representation of a method for detecting a stereoscopic format of image data of the source image stream by means of feature detectors;
• 9 a schematic representation of a conversion of a source image stream in a target image stream according to another embodiment;
• 10 a schematic representation of a conversion of a source image stream in a target image stream according to another embodiment; and
• 11 a schematic representation of a conversion of a source image stream in a target image stream according to another embodiment.

1 zeigt schematisch eine Konvertierung eines Quell-Bildstroms10 in einen Ziel-Bildstrom20 gemäß einem Ausführungsbeispiel. Der Quell-Bildstrom10 umfasst eine Folge von Bildern12, die jeweils durch entsprechende Bilddaten in Form von pixel-basierten Rastergrafiken (bitmap images) repräsentiert werden. Die Bilddaten eines jeweiligen Bildes12 des Quell-Bildstroms10 umfassen 2D-Bilddaten, welche ein 2D-Teilbild14 repräsentieren, und 3D-Bilddaten, welche ein links-Teilbild16 und ein rechts-Teilbild18 gemäß einem stereoskopischen Format repräsentieren. In1 ist das stereoskopische Format der 3D-Bilddaten des Quell-Bildstroms ein side-by-side Format mit inx-Richtung mit dem Faktor 0,5 gestauchtem Bildinhalt der Teilbilder16,18. Die 3D-Bilddaten liegen in einem 3D-Bilddatenbereich in Form eines rechteckigen Ausschnitts der Bilddaten des gesamten Bildes12 vor. Der obere Teil von1 zeigt die Bilder12 im Seitenverhältnis (aspect ratio) der 2D-Bilddaten. 1 schematically shows a conversion of asource image stream 10 into atarget image stream 20 according to an embodiment. Thesource image stream 10 includes a sequence ofimages 12 , which are each represented by corresponding image data in the form of pixel-based raster graphics (bitmap images). The image data of arespective image 12 thesource image stream 10 include 2D image data, which is a2D sub-image 14 and 3D image data, which is aleft field image 16 and a right-side image 18 according to a stereoscopic format. In 1 For example, the stereoscopic format of the 3D image data of the source image stream is a side-by-side format with x Direction with a factor of 0.5 compressed image content of thepartial images 16 . 18 , The 3D image data lies in a 3D image data area in the form of a rectangular section of the image data of theentire image 12 in front. The upper part of 1 shows thepictures 12 in the aspect ratio of the 2D image data.

1 zeigt die Konvertierung des Quell-Bildstroms in den Ziel-Bildstrom, nachdem das stereoskopische Format der 3D-Bilddaten erkannt wurde. 1 shows the conversion of the source image stream into the target image stream after recognizing the stereoscopic format of the 3D image data.

Die 3D-Bilddaten, welche den Teilbildern16,18 entsprechen, werden gemäß dem stereoskopischen Format der 3D-Bilddaten interpretiert, und es werden das links-Teilbild16 und das rechts-Teilbild18 aus den Bilddaten des Quell-Bildstroms10 entnommen. Der mittlere Teil von1 zeigt die links- und rechts-Teilbilder16,18 im richtigen Seitenverhältnis, d.h. ohne die Stauchung. Weiter wird das 2D-Teilbild14 aus den Bilddaten des Quell-Bildstroms10 entnommen. The 3D image data corresponding to thepartial images 16 . 18 are interpreted according to the stereoscopic format of the 3D image data, and it becomes theleft field 16 and the right-part image 18 from the image data of thesource image stream 10 taken. The middle part of 1 shows the left and right fields 16 . 18 in the correct aspect ratio, ie without the compression. Next is the 2D sub-picture 14 from the image data of thesource image stream 10 taken.

Es wird eine Folge von Bildern22 des Ziel-Bildstroms12 im vorgegebenen stereoskopischen Format erzeugt. Das vorgegebene stereoskopische Format ist in1 ein side-by-side-(full)-Format z.B. mit einer zweifachen vollen HD-Bildauflösung von 2x1920 Pixeln Breite und 1080 Pixeln Höhe, ohne Stauchung inx- odery-Richtung. Der untere Teil von1 zeigt die erzeugten Bilder22 im richtigen Seitenverhältnis (das tatsächliche Seitenverhältnis ist in den Figuren nur schematisch wiedergegeben). Ein jeweiliges Bild22 des Ziel-Bildstroms12 wird erzeugt unter Einbeziehung des links-Teilbildes16, des rechts-Teilbildes18, und des duplizierten 2D-Teilbildes14. Dabei umfasst ein erzeugtes links-Teilbild26 des Ziel-Bildstroms20 ein Exemplar des duplizierten 2D-Teilbildes14 und das entnommene links-Teilbild16 des Quell-Bildstroms im Zielformat, dem vorgegebenen stereoskopischen Format der Bilder22 des Ziel-Bildstroms20. Entsprechend umfasst ein erzeugtes rechts-Teilbild28 des Ziel-Bildstroms20 ein Exemplar des duplizierten 2D-Teilbildes14 und das entnommene rechts-Teilbild18 des Quell-Bildstroms im Zielformat.It will be a sequence ofpictures 22 of thetarget image stream 12 generated in the specified stereoscopic format. The default stereoscopic format is in 1 a side-by-side (full) format eg with a double full HD image resolution of 2x1920 pixels width and 1080 pixels height, without compression in x - or y- Direction. The lower part of 1 shows the generatedimages 22 in the correct aspect ratio (the actual aspect ratio is shown only schematically in the figures). Arespective picture 22 of thetarget image stream 12 is generated using theleft field 16 , the right-part image 18 , and the duplicated2D field 14 , It includes a generatedleft field 26 of the target image stream 20 a copy of the duplicated2D sub-image 14 and the extracted leftpartial image 16 the source image stream in the target format, the given stereoscopic format of theimages 22 of thetarget image stream 20 , Accordingly, a generated right field includes 28 of the target image stream 20 a copy of the duplicated2D sub-image 14 and the extracted right-part image 18 the source image stream in the target format.

2 zeigt vereinfacht eine Konvertierung eines Bildes12 eines Quell-Bildstroms in ein Bild22 eines Ziel-Bildstroms20 gemäß einem weiteren Ausführungsbeispiel. Die Darstellung ist gegenüber1 vereinfacht. Insbesondere sind die Zwischenschritte, die in1 im mittleren Teil der Figur dargestellt sind, zur Vereinfachung in2 nicht gezeigt, und es ist jeweils nur ein Bild12,22 des Quell-Bildstroms10 bzw. Ziel-Bildstroms20 dargestellt. In2 ist das stereoskopische Format der 3D-Bilddaten des Quell-Bildstroms ebenfalls ein side-by-side Format mit in x-Richtung mit dem Faktor 0,5 gestauchtem Bildinhalt der Teilbilder16,18. Die 3D-Bilddaten liegen in einem 3D-Bilddatenbereich in Form eines rechteckigen Ausschnitts der Bilddaten des gesamten Bildes12 vor. Die Bilddaten eines jeweiligen Bildes12 des Quell-Bildstroms10 umfassen außerdem 2D-Bilddaten, welche ein 2D-Teilbild 14 repräsentieren. Das vorgegebene stereoskopische Format (Zielformat) ist in2 ein Frame-Packing-Format z.B. mit einer zweifachen vollen HD-Bildauflösung von 1920 Pixeln Breite und 2x1080 Pixeln Höhe, ohne Stauchung inx- odery-Richtung, zuzüglich einem aktiven Leerraum27 zwischen einem links-Teilbild26 und einem rechts-Teilbild28. Die Konvertierung entspricht im Übrigen der Konvertierung gemäß1. Ein jeweiliges Bild22 des Ziel-Bildstroms12 wird erzeugt unter Einbeziehung des links-Teilbildes16, des rechts-Teilbildes18, und des duplizierten 2D-Teilbildes 14. 2 shows simplified a conversion of an image 12 a source image stream into an image 22 atarget image stream 20 according to a further embodiment. The presentation is opposite 1 simplified. In particular, the intermediate steps that are in 1 are shown in the middle part of the figure, for simplicity in 2 not shown, and there is only one picture at atime 12 . 22 thesource image stream 10 ortarget image stream 20 shown. In 2 For example, the stereoscopic format of the 3D image data of the source image stream is also a side-by-side format with image content of the partial images compressed in the x-direction by a factor of 0.5 16 . 18 , The 3D image data lies in a 3D image data area in the form of a rectangular section of the image data of theentire image 12 in front. The image data of arespective image 12 thesource image stream 10 also include 2D image data representing a2D subpicture 14. The default stereoscopic format (target format) is in 2 a frame-packing format eg with a double full HD image resolution of 1920 pixels wide and 2x1080 pixels high, without compression in x - or y Direction, plus an activewhite space 27 between aleft field 26 and a right-part image 28 , Incidentally, the conversion corresponds to the conversion according to 1 , Arespective picture 22 of thetarget image stream 12 is generated using theleft field 16 , the right-part image 18 , and the duplicated2D sub-image 14.

3 zeigt vereinfacht eine Konvertierung eines Bildes12 eines Quell-Bildstroms in ein Bild22 eines einen Ziel-Bildstrom gemäß einem weiteren Ausführungsbeispiel. In3 bestehen ein Bild12 des Quell-Bildstroms1 aus dem links-Teilbild16 und dem rechts-Teilbild18, jedoch in einem anderen stereoskopischen Format als das Zielformat. Ein jeweiliges Bild22 des Ziel-Bildstroms12 wird erzeugt unter Einbeziehung des entnommenen links-Teilbildes16 und des entnommenen rechts-Teilbildes18, jedoch keines duplizierten 2D-Teilbildes. Die Konvertierung entspricht im Übrigen der Konvertierung gemäß1 und2. 3 shows simplified a conversion of an image 12 a source image stream into animage 22 one of a target image stream according to another embodiment. In 3 exist apicture 12 thesource image stream 1 from the left part of thepicture 16 and the right-hand part of thepicture 18 , but in a different stereoscopic format than the target format. Arespective picture 22 of thetarget image stream 12 is generated using the extractedleft field 16 and the extracted right-part image 18 , but no duplicated 2D sub-image. Incidentally, the conversion corresponds to the conversion according to 1 and 2 ,

4 zeigt schematisch einen Konverter zum Durchführen eines wie oben oder wie nachfolgend beschriebenen Konvertierungsverfahrens. Der Konverter umfasst einen Bildstrom-Eingang40 zum Entgegennehmen eines Quell-Bildstroms10, eine Erkennungseinrichtung42 zum Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms10, eine Konvertierungseinrichtung44 zum Konvertieren des Quell-Bildstroms in einen Ziel-Bildstrom20, basierend auf dem erkannten stereoskopischen Format der Bilder des Quell-Bildstroms10, und einen Bildstrom-Ausgang46 zum Ausgeben des Ziel-Bildstroms20 in einem vorgegebenen stereoskopischen Format. Nachdem die Erkennung des stereoskopischen Formats der 3d-Bilddaten des Quell-Bildstroms10 basierend auf einem oder mehreren anfänglichen Bildern12 des Quell-Bildstroms10 durchgeführt wurde, werden weitere Bilder12 des Quell-Bildstroms10 und optional auch ggf. zwischengespeicherte anfängliche Bilder12 des Quell-Bildstroms10 in erzeugte Bilder22 des Ziel-Bildstroms20 konvertiert, gemäß Informationen48 über das erkannte Format. 4 schematically shows a converter for performing a conversion method as described above or as follows. The converter includes apicture stream input 40 for accepting asource image stream 10 , adetection device 42 for recognizing a stereoscopic format of image data of thesource image stream 10 , aconversion device 44 for converting the source image stream into adestination image stream 20 based on the recognized stereoscopic format of the images of thesource image stream 10 , and apicture stream output 46 to output thetarget image stream 20 in a given stereoscopic format. After the recognition of the stereoscopic format of the 3d image data of thesource image stream 10 based on one or moreinitial images 12 thesource image stream 10 was performed, will takemore pictures 12 thesource image stream 10 and optionally also optionally cachedinitial images 12 thesource image stream 10 in generatedimages 22 of thetarget image stream 20 converted, according toinformation 48 about the recognized format.

5 zeigt schematisch ein Verfahren zum Erkennen eines Umfangs eines Bildbereichs von 3D-Bilddaten innerhalb der Bilddaten eines Bildes12 des Quell-Bildstroms10 und zum Erkennen eines stereoskopischen Formats der 3D-Bilddaten des Quell-Bildstroms10. In einem SchrittS10 wird eine Hypothese angenommen über den Bildbereich der 3D-Bilddaten, also über einen 3D-Bilddatenbereich innerhalb der Bilddaten, welcher 3D-Bilddatenbereich einer Repräsentation von 3D-Bildinhalten entspricht. Dies entspricht einer Annahme über die Größe und die Lage eines Bereichs, der dem links-Teilbild16 und dem rechts-Teilbild18 entspricht, in den Bilddaten des Bildes12 des Quell-Bildstroms10. Dazu wird beispielsweise anfänglich angenommen, der Umfang der 3D-Bilddaten entspreche dem gesamten Umfang der Bilddaten des Bildes12, wie es im Beispiel der3 veranschaulicht ist. 5 schematically shows a method for recognizing a perimeter of an image area of 3D image data within the image data of animage 12 thesource image stream 10 and recognizing a stereoscopic format of the 3D image data of thesource image stream 10 , In one step S10 a hypothesis is assumed about the image area of the 3D image data, that is, about a 3D image data area within the image data, which 3D image data area corresponds to a representation of 3D image contents. This corresponds to an assumption about the size and location of an area, theleft field 16 and the right-hand part of thepicture 18 corresponds to, in the image data of theimage 12 thesource image stream 10 , For example, it is initially assumed that the amount of 3D image data corresponds to the entire circumference the image data of theimage 12 as in the example of the 3 is illustrated.

In SchrittS12 wird ein Verfahren zum Erkennen eines stereoskopischen Kodierungsformats von links-Bilddaten und rechts-Bilddaten innerhalb des angenommenen 3D-Bilddatenbereichs, basierend auf Bildinhalten der Bilddaten, ausgeführt; Beispiele eines solchen Verfahrens werden weiter unten erläutert werden. Optional kann in SchrittS12 eingangs ein Vergleichen einer Bildgröße eines Bildes entsprechend dem angenommenen 3D-Bilddatenbereich des Quell-Bildstroms mit unterschiedlichen stereoskopischen Formaten zugeordneten Bildgrößen erfolgen, wobei beim Vergleichen jeweils überprüft wird, ob eine Vergleichsbedingung für ein einer jeweiligen Bildgröße zugeordnetes stereoskopisches Format erfüllt ist. Auf diese Weise können beispielsweise, wie in der Beschreibung weiter oben erläutert, Kodierungsformate wie Frame-Packing, Side-by-Side-(full) und/oder Top-and-Bottom-(full) erkannt werden. Das genannte Verfahren basierend auf Bildinhalten der Bilddaten wird dann in SchrittS12 ausgeführt, wenn bei dem Vergleichen keine der jeweiligen Vergleichsbedingungen erfüllt ist.In step S12 a method of recognizing a stereoscopic encoding format of left image data and right image data within the assumed 3D image data area based on image contents of the image data is performed; Examples of such a method will be explained below. Optionally, in step S12 Initially, a comparison of an image size of an image corresponding to the assumed 3D image data area of the source image stream with image sizes assigned to different stereoscopic formats takes place, wherein in each case it is checked whether a comparison condition for a stereoscopic format assigned to a respective image size is fulfilled. In this way, for example, as explained in the description above, encoding formats such as frame-packing, side-by-side (full) and / or top-and-bottom (full) can be detected. Said method based on image contents of the image data is then in step S12 executed when none of the respective comparison conditions is met in the comparison.

In SchrittS14 wird basierend auf dem Ergebnis der Erkennung des stereoskopischen Kodierungsformats entschieden, ob ein stereoskopisches Format von 3D-Bilddaten des Quell-Bildstroms10 erkannt wurde. Falls ja, wurde das stereoskopisches Format erkannt. Information48 über das erkannte Format und den Umfang des 3D-Bilddatenbereichs wird ausgegeben und wird nachfolgend für die Konvertierung verwendet. Falls nein, wird in SchrittS16 festgestellt, ob eine weitere Hypothese über den Bildbereich der 3D-Bilddaten zu überprüfen ist.In step S14 is decided based on the result of the recognition of the stereoscopic encoding format, whether a stereoscopic format of 3D image data of thesource image stream 10 was detected. If so, the stereoscopic format was recognized.information 48 The recognized format and the extent of the 3D image data area are output and will subsequently be used for the conversion. If no, in step S16 determined whether another hypothesis on the image area of the 3D image data is to be checked.

Falls nein, wird festgestellt, dass kein stereoskopisches Format von Bilddaten des Quell-Bildstroms10 erkannt wurde. Die Bilddaten der Bilder12 des Quell-Bildstroms werden dann als 2D-Bilddaten interpretiert und unter Duplizierung in Bilder22 des Ziel-Bildstroms20 im vorgegebenen stereoskopischen Zielformat konvertiert.If not, it is determined that there is no stereoscopic format of image data of thesource image stream 10 was detected. The image data of thepictures 12 of the source image stream are then interpreted as 2D image data and duplicated inimages 22 of thetarget image stream 20 converted in the specified stereoscopic target format.

Falls ja (in SchrittS16), wird das Verfahren mit SchrittS10 fortgesetzt, wo eine neue Hypothese angenommen wird über den Bildbereich der 3D-Bilddaten. Dazu wird beispielsweise folgendes Verfahren ausgeführt, welches schematisch in6 veranschaulicht wird:

• - Detektieren von horizontalenKanten50 und vertikalenKanten52 in Bildinhalten der Bilddaten eines Bildes12, wobei die Bilddaten desBildes12als 2D-Bilddaten interpretiert werden;
• - Auswählen detektierter horizontalerKanten50 und vertikalerKanten52, die zusammen einen Rand eines rechteckigen Bildbereichs definieren, wobei die Bilddaten desBildes12als 2D-Bilddaten interpretiert werden.

If yes (in step S16 ), the procedure with step S10 where a new hypothesis is assumed about the image area of the 3D image data. For this purpose, for example, the following method is performed, which is schematically in 6 is illustrated:

• - Detectinghorizontal edges 50 andvertical edges 52 in image contents of the image data of animage 12 where the image data of theimage 12 interpreted as 2D image data;
• Selecting detectedhorizontal edges 50 andvertical edges 52 , which together define an edge of a rectangular image area, wherein the image data of theimage 12 be interpreted as 2D image data.

In6 entspricht der rechteckige Bildbereich dem links-Teilbild 16 und dem rechts-Teilbild 18. Die Kanten50,52 können beispielsweise basierend auf Kontrastwerten und/oder Farbwerten der Bildinhalte des Bildes12 mittels entsprechender Merkmalsdetektoren erkannt werden. Die Kanten50,52 können beispielsweise einem inneren Rahmen eines Fensters einer Benutzeroberfläche entsprechen.In 6 The rectangular image area corresponds to the leftpartial image 16 and the rightpartial image 18. The edges 50 . 52 For example, based on contrast values and / or color values of the image contents of theimage 12 be detected by means of appropriate feature detectors. The edges 50 . 52 For example, they may correspond to an inner frame of a window of a user interface.

Das Verfahren wird dann mit dem SchrittS12 fortgesetzt. Gegebenenfalls können nacheinander weitere Hypothesen über den Bildbereich der 3D-Bilddaten überprüft werden, wenn beispielsweise mehrere rechteckige Bereiche innerhalb eines Bildes12 vorhanden sind.The procedure then goes to the step S12 continued. Optionally, further hypotheses about the image area of the 3D image data can be successively checked, for example, if several rectangular areas within animage 12 available.

Die Hypothesen über den Bildbereich der 3D-Bilddaten können auch gleichzeitig oder zeitlich parallel überprüft werden.The hypotheses about the image area of the 3D image data can also be checked simultaneously or at the same time.

Das Erkennen eines stereoskopischen Formats von Bilddaten, basierend auf Bildinhalten der Bilddaten, d.h. insbesondere das Erkennen eines stereoskopischen Kodierungsformats von links-Bilddaten und rechts-Bilddaten innerhalb des angenommenen 3D-Bilddatenbereichs basierend auf Bildinhalten der Bilddaten in SchrittS12, und insbesondere das Erkennen einer Anordnung von links-Bilddaten und rechts-Bilddaten innerhalb des angenommenen 3D-Bilddatenbereichs, kann beispielsweise mittels eines künstlichen Neuronalen Netzes erfolgen. Das künstliche Neuronale Netz wird beispielsweise für die Klassifikation des stereoskopischen Kodierungsformats basierend auf Bildinhalten der Bilddaten eines Eingangsbildes12 trainiert. Das künstliche Neuronale Netz überprüft beispielsweise parallel mehrere zu überprüfende Hypothesen über das stereoskopische Format von Bilddaten des angenommenen 3D-Bilddatenbereichs.Recognizing a stereoscopic format of image data based on image contents of the image data, that is, particularly recognizing a stereoscopic encoding format of left image data and right image data within the supposed 3D image data region based on image contents of the image data in step S12 and, in particular, recognizing an arrangement of left image data and right image data within the assumed 3D image data region can be done, for example, by means of an artificial neural network. The artificial neural network is used, for example, for the classification of the stereoscopic coding format based on image contents of the image data of aninput image 12 trained. For example, the artificial neural network checks in parallel a plurality of hypotheses to be checked about the stereoscopic format of image data of the assumed 3D image data area.

Eine inzwischen etablierte Methode zur Klassifikation von Bildern ist, die Klassifikationsmethode von einem künstlichen Neuronalen Netz anhand von klassifizierten Beispielbildern lernen zu lassen. Für das vorliegende Klassifizierungsverfahren kann ein Deep Convolutional Neural Network (CNN) verwendet werden. Als Netzwerk-Topologie wird empfohlen, 6 oder mehr mal hintereinander eine Convolutional Layer (8 Filterkernel je 3x3 Pixel) mit einer Max-Pooling-Layer abzuwechseln, gefolgt von einer Fully Connected Layer. Als Aktivierungsfunktion wird in den verdeckten Schichten ReLU, und in der Ausgangsschicht SoftMax empfohlen. Zum Trainieren des Netzwerks werden beispielsweise ca. 10.000 Stereo-Bildpaare verwendet, die jeweils in jedem der zu unterscheidenden 3D-Formate als Eingabe Verwendung finden.An established method for classifying images is to have the classification method learned from an artificial neural network using classified example images. For the present classification method, a deep convolutional neural network (CNN) can be used. As a network topology, it is recommended to alternate a convolutional layer (8 filter cores each 3x3 pixels) 6 times or more in succession with a max pooling layer, followed by a fully connected layer. As an activation function in the hidden layers ReLU, and in the starting layer SoftMax is recommended. To train the network, for example, about 10,000 Stereo image pairs used, which are used in each of the different 3D formats as input.

7 zeigt schematisch ein Ausführungsbeispiel eines Erkennens eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms10 mittels eines (wesentlich kleineren) künstlichen Neuronalen Netzes. Das Verfahren nach7 hat den Vorteil, dass zur Ausführungszeit des Verfahrens nicht ein künstliches neuronales Netz von der oben beschriebenen Größe aufgerufen zu werden braucht. Das Verfahren kann beispielsweise für eine jeweilige Hypothese über den Bildbereich der 3D-Bilddaten ausgeführt werden, beispielsweise im SchrittS12 des Beispiels der5. 7 schematically shows an embodiment of recognizing a stereoscopic format of image data of thesource image stream 10 using a (much smaller) artificial neural network. The procedure according to 7 has the advantage that at the time of execution of the procedure, an artificial neural network of the size described above need not be called. The method may, for example, be carried out for a respective hypothesis about the image area of the 3D image data, for example in the step S12 of the example of 5 ,

In einem SchrittS20 werden Bildinhalte der Bilddaten eines Bildes12 des Quell-Bildstroms10 vorverarbeitet, indem globale Bildmerkmale aus Bildinhalten der Bilddaten des angenommenen 3D-Bilddatenbereichs extrahiert werden. Als Merkmale bieten sich an, die mittlere quadratische Summe der Differenzen von (a) horizontal benachbarten Pixeln, (b) vertikal benachbarten Pixeln, (c) um die halbe Bildbreite (oder die halbe Breite des angenommenen 3D-Bilddatenbereichs) zueinander versetzten Pixeln, (d) um die halbe Bildhöhe (oder die halbe Höhe des angenommenen 3D-Bilddatenbereichs) zueinander versetzten Pixeln und (e) Pixeln in jeder ungeraden Bildzeile zu Pixeln in der jeweils darauffolgenden geraden Bildzeile zu berechnen. Diese fünf skalaren Werte, die zu einem Eingangsbild12 berechnet werden, werden als Eingabe in ein künstliches Neuronales Netz zur Erkennung des stereoskopischen Formats gegeben (SchrittS22). Das künstliche Neuronale Netz kann beispielsweise ein vollständig vernetztes künstlichen Neuronales Netz mit einer verdeckten Schicht von 50 ReLU-Neuronen und einer SoftMax-Ausgabeschicht sein. Ausgegeben wird Information48 über das erkannte stereoskopische Format oder die Information49, dass kein stereoskopisches Format erkannt wurde. Das künstliche Neuronale Netz wird wiederum trainiert wie oben beschrieben.In one step S20 become image contents of image data of animage 12 thesource image stream 10 preprocessed by extracting global image features from image contents of the image data of the assumed 3D image data area. Features include, the mean square sum of the differences of (a) horizontally adjacent pixels, (b) vertically adjacent pixels, (c) by half the image width (or half the width of the assumed 3D image data area) pixels offset from each other, ( d) to calculate half the image height (or half the height of the assumed 3D image data area) pixels offset from each other and (e) pixels in each odd image line to pixels in the respective subsequent even image line. These five scalar values leading to aninput image 12 are computed as input to an artificial neural network for stereoscopic format recognition (step S22 ). For example, the artificial neural network may be a fully networked artificial neural network with a hidden layer of 50 ReLU neurons and a SoftMax output layer. Information is given 48 about the recognized stereoscopic format orinformation 49 that no stereoscopic format was detected. The artificial neural network is again trained as described above.

Zur Erkennung eines Frame-Interlaced-Formats können außerdem die folgenden globalen Bildmerkmale aus Bildinhalten der Bilddaten des angenommenen 3D-Bilddatenbereichs extrahiert werden und als Eingabe in das künstliche Neuronale Netz gegeben werden: Die mittlere quadratische Summe der Differenzen von (f) zeitlich um einen Frame versetzten Pixeln (an derselben Position), und von (g) zeitlich um zwei Frames versetzten Pixeln (an derselben Position). Im Falle eines Frame-Interlaced-Formats ist die Veränderung zwischen zeitlich direkt aufeinanderfolgenden Frames (d.h. Abstand von 1 Frame) größer als zwischen Frames mit dem Abstand2 (d.h. Abstand von 2 Frames). Es werden also sieben skalare Werte verwendet.For recognizing a frame interlaced format, the following global image features may also be extracted from image contents of the image data of the assumed 3D image data area and given as input to the artificial neural network: the mean square sum of the differences of (f) by one frame in time offset pixels (at the same position), and (g) temporally offset by two frames (at the same position). In the case of a frame-interlaced format, the change between temporally consecutive frames (ie, 1 frame spacing) is greater than between frames with the spacing 2 (ie distance of 2 frames). So seven scalar values are used.

Bei einem als zutreffend erkannten stereoskopischen Format, welches einer als zutreffend erkannten Anordnung von links-Teilbildern und rechts-Teilbildern in dem 3D-Bilddatenbereich des Quell-Bildstroms entspricht, kann außerdem in einem optionalen SchrittS24 eine Unterscheidung zwischen stereoskopischen Formaten mit oder ohne Stauchung des Bildinhalts in Richtung der Anordnung der links-Teilbilder und rechts-Teilbilder getroffen werden. Diese Unterscheidung kann beispielsweise dann erfolgen, wenn die links-Teilbilder und rechts-Teilbilder an separaten Positionen in einem Bild vorliegen (insbesondere also nicht bei zeilenweise verschachtelten Teilbildern, entsprechend einem Line-Alternative-Format, bei Farb-anaglyphischen Teilbildern, bei einem Frame-Interlaced-Format oder bei Teilbildern zur Ausnutzung des Pulfrich-Effektes).In an identified as true stereoscopic format, which corresponds to a true recognized arrangement of left fields and right fields in the 3D image data area of the source image stream, can also in an optional step S24 a distinction is made between stereoscopic formats with or without compression of the image content in the direction of the arrangement of the left fields and right fields. This distinction can be made, for example, if the left partial images and right partial images are present at separate positions in an image (in particular, not for line-interlaced partial images, corresponding to a line alternative format, for color anaglyphic partial images, for a frame). Interlaced format or in sub-images to exploit the Pulfrich effect).

Die Unterscheidung kann beispielsweise anhand eines Seitenverhältnisses des Bildbereichs der 3D-Bilddaten erfolgen. Beispielsweise kann bei einem Seitenverhältnis von 128/149 oder von etwa 0,87:1 auf ein Frame-Packing-Format geschlossen werden, welches keine Stauchung des Bildinhalts aufweist. Beispielsweise kann bei einem anderen Seitenverhältnis, welches kleiner als 1:1 ist, auf ein Top-Bottom-(full) Format geschlossen werden, welches keine Stauchung des Bildinhalts aufweist. Beispielsweise kann bei einem Seitenverhältnis von größer gleich 2:1 auf ein Side-by-Side-(full) Format geschlossen werden, welches keine Stauchung des Bildinhalts aufweist. Somit kann beispielsweise bei einem Seitenverhältnis von kleiner als 1:1 oder größer gleich 2:1 geschlossen werden, dass keine Stauchung des Bildinhalts vorliegt. Entsprechend kann beispielsweise bei einem Seitenverhältnis im Bereich von einschließlich 1:1 bis kleiner als 2:1 (exclusive) geschlossen werden, dass eine Stauchung des Bildinhalts mit dem Faktor 0,5 in der Richtung vorliegt, in welcher die Teilbilder nebeneinander oder übereinander angeordnet sind.The distinction can be made, for example, based on an aspect ratio of the image area of the 3D image data. For example, with an aspect ratio of 128/149 or about 0.87: 1, a frame-packing format may be inferred that does not compress the image content. For example, with a different aspect ratio that is less than 1: 1, a top-bottom (full) format may be inferred that does not compress the image content. For example, with an aspect ratio greater than or equal to 2: 1, a side-by-side (full) format can be deduced that does not compress the image content. Thus, for example, with an aspect ratio of less than 1: 1 or greater than 2: 1, it can be concluded that there is no compression of the image content. Accordingly, for example, with an aspect ratio in the range of 1: 1 to less than 2: 1 (exclusive), it can be concluded that the image content is compressed by a factor of 0.5 in the direction in which the partial images are arranged side by side or one above the other ,

Anstelle des SchrittsS24 kann aber auch eine Erkennung von Side-by-Side-(full)-, Top-and-Bottom-(full) oder Frame-Packing-Formaten anhand des Seitenverhältnisses bereits vor der Erkennung des stereoskopischen Formats der SchritteS20 undS22 erfolgen, wobei die Erkennung des stereoskopischen Formats in den SchrittenS20 undS22 nur durchgeführt wird, wenn anhand des Seitenverhältnisses noch nicht auf ein bestimmtes stereoskopisches Format geschlossen werden konnte, beispielsweise also dann, wenn das Seitenverhältnis innerhalb des genannten Bereichs von einschließlich 1:1 bis kleiner als 2:1 (exclusive) liegt (beispielsweise wenn das Seitenverhältnis 16:9, also etwa 1,78:1 ist).Instead of the step S24 however, it can also detect side-by-side (full), top-and-bottom (full), or frame-packing formats based on the aspect ratio even before recognizing the stereoscopic format of the steps S20 and S22 take place, wherein the recognition of the stereoscopic format in the steps S20 and S22 is performed only if it was not possible to deduce a particular stereoscopic format based on the aspect ratio, for example, if the aspect ratio is within the specified range of 1: 1 to less than 2: 1 (exclusive) (for example, if the aspect ratio 16: 9, that is about 1.78: 1).

Die genannte Unterscheidung in SchrittS24 kann aber auch basierend auf Bildinhalten der 3D-Bilddaten erfolgen. Dazu kann beispielsweise ein Algorithmus zur Erkennung von Gegenständen oder Gesichtern in den Bildinhalten ausgeführt werden, wobei die Bilddaten jeweils gemäß einem stereoskopischen Format mit Stauchung sowie gemäß einem stereoskopischen Format ohne Stauchung interpretiert werden. Die Unterscheidung kann dann anhand einer Erkennungsrate erfolgen, d.h. basierend auf Anzahlen von erkannten Gegenständen oder Gesichtern für die jeweilige Interpretation der Bilddaten. Vorteilhaft ist, dass dann eine Unterscheidung unabhängig vom Seitenverhältnis getroffen werden kann. Erkennungsalgorithmen für die Erkennung von Alltagsgegenständen in Bildern sind an sich bekannt. Zum Trainieren entsprechender Convolutional Neural Networks (CNN) wird beispielsweise die Bilddatenbank Image-Net verwendet. „MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications“, Andrew G. Howard et al., arXiv:1704.04861v1 [cs.CV], beschreibt einen Algorithmus für die Erkennung von Objekten in Bildern.The said distinction in step S24 but can also be based on image content of the 3D image data. This can, for example, a Algorithm for recognizing objects or faces are executed in the image content, wherein the image data are respectively interpreted according to a stereoscopic format with compression as well as a stereoscopic format without compression. The distinction can then be made on the basis of a recognition rate, ie based on numbers of detected objects or faces for the respective interpretation of the image data. It is advantageous that then a distinction can be made regardless of the aspect ratio. Recognition algorithms for the recognition of everyday objects in pictures are known per se. To train appropriate Convolutional Neural Networks (CNN), for example, the image database Image-Net is used. "MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications," Andrew G. Howard et al., ArXiv: 1704.04861v1 [cs.CV], describes an algorithm for detecting objects in images.

8 zeigt schematisch ein Verfahren zum Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms10 basierend auf Bildinhalten der Bilddaten mittels Merkmalsdetektoren. Das Verfahren kann beispielsweise im SchrittS12 des Beispiels der5 ausgeführt werden. 8th schematically shows a method for recognizing a stereoscopic format of image data of thesource image stream 10 based on image contents of the image data by means of feature detectors. The method can, for example, in step S12 of the example of 5 be executed.

In einem SchrittS30 wird eine zu überprüfende Hypothese über ein stereoskopisches Format der 3D-Bilddaten des Quell-Bildstroms10 ausgewählt, insbesondere eine zu überprüfende Hypothese über ein stereoskopisches Kodierungsformat von links-Bilddaten und rechts-Bilddaten innerhalb des angenommenen 3D-Bilddatenbereichs in SchrittS12, insbesondere eine zu überprüfende Hypothese über eine Anordnung von links-Bilddaten und rechts-Bilddaten innerhalb des angenommenen 3D-Bilddatenbereichs.In one step S30 becomes a hypothesis to be checked about a stereoscopic format of the 3D image data of thesource image stream 10 in particular, a hypothesis to be checked about a stereoscopic encoding format of left image data and right image data within the assumed 3D image data region in step S12 , in particular, a hypothesis to be checked about an arrangement of left image data and right image data within the assumed 3D image data region.

In einem SchrittS32 werden mittels eines Merkmals-Detektors paarweise korrespondierende Merkmale in links-Bildinhalten und rechts-Bildinhalten der 3D-Bilddaten detektiert, wobei die Annahme, welche Bilddaten die links-Bildinhalte repräsentieren, und welche Bilddaten die rechts-Bildinhalte repräsentieren, gemäß der aktuellen Hypothese getroffen wird. Es ist ein übliches Verfahren, für das Finden von einander korrespondierenden Objekten in Stereo-Bildpaaren sogenannte lokale MerkmalsDetektoren zu verwenden. Diese detektieren gut lokalisierbare Regionen in Bildern und ordnen diesen jeweils eine Beschreibung in Form eines Merkmalsvektors zu, die es ermöglicht, einander ähnliche Regionen zu identifizieren. Auf diese Weise lässt sich zu einzelnen Bildregionen detektieren, ob und wenn ja wo diese Regionen in einem zweiten Bild eines Stereo-Paars liegen. Beispiele für hierfür verwendbare Merkmalsdetektoren sind SIFT (U.S. Patent 6,711,293), SURF, GLOH, FAST, MSER und SKB (WO 2012/136642 A1).In one step S32 paired features in left image contents and right image contents of the 3D image data are detected by means of a feature detector, wherein the assumption of which image data represents the left image contents and which image data represents the right image contents is made according to the current hypothesis , It is a common practice to use so-called local feature detectors for finding corresponding objects in stereo image pairs. These detect well-locatable regions in images and assign each a description in the form of a feature vector, which makes it possible to identify similar regions. In this way it can be detected to individual image regions, if and if so where these regions are in a second image of a stereo pair. Examples of feature detectors usable for this purpose are SIFT ( US Patent 6,711,293 ), SURF, GLOH, FAST, MSER and SKB ( WO 2012/136642 A1 ).

Bei einem gültigen Stereo-Bildpaar liegen einander korrespondierende Regionen oder Merkmale in etwa auf derselben y-Koordinate bei je nach Disparität abweichender x-Koordinate. Wenn man nun ein Eingangsbild je nach möglichem 3D-Format (d.h. gemäß der jeweiligen Hypothese) in potentielle Stereo-Bildpaare zerlegt, so zeichnet sich das tatsächlich vorliegende 3D-Format durch zwei Bedingungen aus.In the case of a valid stereo image pair, corresponding regions or features lie approximately at the same y-coordinate, depending on the disparity of the x-coordinate. By decomposing an input image into potential stereo image pairs depending on the possible 3D format (i.e., according to the particular hypothesis), the 3D format actually present is characterized by two conditions.

Eine erste Bedingung ist, dass eine kritische Mindestmenge an korrespondierenden Regionen oder Merkmalen sich paarweise in dery-Koordinate nicht mehr als um einen kritischen Schwellenwert unterscheiden (gibt es zu einer Region in einem Stereo-Bild mehrere korrespondierende, d.h. hinreichend ähnliche Regionen in dem anderen Stereo-Bild, wird das zueinander nächste Korrespondenzpaar genommen). Dieses Ähnlichkeitskriterium für die y-Koordinaten der paarweise korrespondierenden Merkmale wird für die aktuelle Hypothese in SchrittS34 überprüft; falls nein, wird das Verfahren mit SchrittS38 fortgesetzt, in welchem festgestellt wird, ob noch eine weitere Hypothese zu überprüfen ist; in diesem Fall wird das Verfahren ab SchrittS30 für die nächste zu überprüfende Hypothese fortgesetzt. Falls das Ähnlichkeitskriterium in SchrittS34 erfüllt ist, wird in SchrittS36 ein Maß für die Streuung der paarweisen Differenzen der x-Koordinaten der paarweise korrespondierenden Merkmale berechnet, beispielsweise die Varianz in der paarweisen Differenz der x-Koordinaten der korrespondierenden Merkmale. In SchrittS38 erfolgt, falls eine weitere Hypothese zu überprüfen ist, eine Fortsetzung mit SchrittS30 für die nächste zu überprüfende Hypothese.A first condition is that a critical minimum set of corresponding regions or features pairs in the y- Coordinate not more than a critical threshold (if there are several corresponding, ie sufficiently similar regions in the other stereo image, to one region in a stereo image, the closest correspondence pair is taken). This similarity criterion for the y-coordinates of the pairwise corresponding features becomes for the current hypothesis in step S34 checks; if not, the process goes to step S38 in which it is determined whether there is yet another hypothesis to check; in this case, the procedure will start from step S30 continued for the next hypothesis to be tested. If the similarity criterion in step S34 is met in step S36 calculates a measure of the scattering of the pairwise differences of the x-coordinates of the pairwise corresponding features, for example the variance in the pairwise difference of the x-coordinates of the corresponding features. In step S38 if there is another hypothesis to check, continue with step S30 for the next hypothesis to be checked.

Falls in SchrittS38 alle Hypothesen überprüft wurden, erfolgt in SchrittS40 unter allen Hypothesen, die die erste Bedingung erfüllen, eine Bestimmung derjenigen Hypothese als zutreffend, die einen größten Wert des Maßes für die Streuung der paarweisen Differenzen der x-Koordinaten der paarweise korrespondierenden Merkmale aufweist.If in step S38 All hypotheses have been checked in step S40 among all the hypotheses satisfying the first condition, a determination of the hypothesis having a greatest value of the measure for the dispersion of the pairwise differences of the x-coordinates of the pairwise corresponding features.

Dies ist die zweite Bedingung für das tatsächlich vorliegende 3D-Format. Dadurch kann gewährleistet werden, dass z.B. ein stereoskopisches Side-by-Side-Bild nicht als stereoskopisches Zeilen-Interlaced-Bild interpretiert wird. Hypothesen, für die das Maß für die Streuung unterhalb eines unteren Schwellwertes liegt oder oberhalb eines oberen Schwellwertes liegt, können von dieser Auswertung ausgenommen werden.This is the second condition for the actual 3D format. This can ensure that e.g. a stereoscopic side-by-side image is not interpreted as a stereoscopic line interlaced image. Hypotheses for which the measure of the scattering lies below a lower threshold value or is above an upper threshold value can be excluded from this evaluation.

Die zu überprüfenden Hypothesen über ein stereoskopisches Format der 3D-Bilddaten des Quell-Bildstroms10 können auch gleichzeitig oder zeitlich parallel überprüft werden. D.h., anstelle einer Auswahl in SchrittS30 und eines Rücksprungs in SchrittS38 werden die SchritteS32 bisS36 für die jeweiligen Hypothesen parallel ausgeführt. Es wird dann in SchrittS40 die im Vergleich der Hypothesen beste Hypothese ausgewählt.The hypotheses to be tested on a stereoscopic format of the 3D image data of thesource image stream 10 can also be checked simultaneously or at the same time. That is, instead of a selection in step S30 and a return in step S38 become the steps S32 to S36 for the respective hypotheses executed in parallel. It will then be in step S40 selected the best hypothesis in comparison of the hypotheses.

In SchrittS42 wird festgestellt, ob eines der potentiellen 3D-Formate die erste und die zweite Bedingung erfüllt. Falls nein, wird ein 2D-Format angenommen. In SchrittS42 wird dann entschieden, dass die potentiellen 3D-Bilddaten kein stereoskopisches Format aufweisen. Falls ja, wird die betreffende Hypothese als zutreffend erkannt, und das entsprechende stereoskopische Format wird als das stereoskopische Format der 3D-Bilddaten des Quell-Bildstroms erkannt.In step S42 it is determined if any of the potential 3D formats meets the first and second conditions. If no, a 2D format is assumed. In step S42 it is then decided that the potential 3D image data does not have a stereoscopic format. If so, the hypothesis in question is recognized as true, and the corresponding stereoscopic format is recognized as the stereoscopic format of the 3D image data of the source image stream.

Bei einer als zutreffend erkannten Hypothese über ein 3D-Format, welches einer als zutreffend erkannten Hypothese über eine Anordnung von links-Teilbildern und rechts-Teilbildern in den 3D-Bilddaten des Quell-Bildstroms entspricht, kann außerdem eine Unterscheidung zwischen 3D-Formaten mit oder ohne Stauchung des Bildinhalts in Richtung der Anordnung der links-Teilbilder und rechts-Teilbilder getroffen werden. Dies kann auf die oben für den SchrittS24 beschriebenen Weisen durchgeführt werden. Wiederum kann eine Erkennung von Side-by-Side-(full), Top-and-Bottom-(full) oder Frame-Packing-Formaten anhand des Seitenverhältnisses aber auch bereits vor der Erkennung des stereoskopischen Formats der SchritteS30 bisS42 erfolgen, wie oben beschrieben.Moreover, in a true 3D hypothesis hypothesis corresponding to a true hypothesis of left and right fields in the 3D image data of the source image stream, a distinction may be made between 3D formats with or without compression of the image content in the direction of the arrangement of the left partial images and right partial images are taken. This may be on top of the step S24 described ways. Again, recognizing side-by-side (full), top-and-bottom (full), or frame-packing formats based on aspect ratio, but also before recognizing the stereoscopic format of the steps S30 to S42 done as described above.

9 zeigt schematisch eine Konvertierung eines Bildes12 eines Quell-Bildstroms in ein Bild22 eines Ziel-Bildstroms20 gemäß einem weiteren Ausführungsbeispiel. Das Eingangsbild22 enthält hier 3D-Bilddaten, die Farb-anaglyphisch kodiert sind, beispielsweise als Rot-Blau-Anaglyphenbild60, sowie 2D-Bilddaten eines 2D-Teilbildes14. Ein Rot-Blau-Anaglyphenbild enthält keine Farbinformation. Der Rotkanal des Analglyphenbildes60 wird als links-Teilbild16 entnommen und als Helligkeitswert (Grauwert) auf allen R,G,B-Farbkanälen des links-Teilbildes26 des erzeugten Ausgabebildes22 ausgegeben; entsprechend wird der Blaukanal des Analglyphenbildes60 als rechts-Teilbild18 entnommen und als Helligkeitswert (Grauwert) auf allen R,G,B-Farbkanälen des rechts-Teilbildes28 des erzeugten Ausgabebildes22 ausgegeben. Die 3D-Bilddaten werden somit monochromatisch ausgegeben. Die Konvertierung entspricht im Übrigen der Konvertierung gemäß1. Ein Rot-Grün-Anaglyphenbild kann in entsprechender Weise konvertiert werden. Bei Farb-Kombinationen, bei denen originale Farbinformation im Anaglyphenbild enthalten sein kann, wie etwa einem Rot-Cyan-Anaglyphenbild, kann auch eine annähernde Rekonstruktion von Farbinformation für die Teilbilder26,28 aus den beiden Teilbildern16,18 in an sich bekannter Weise durch Korrespondenzanalyse erfolgen. Die beschriebenen Erkennungsverfahren mittels künstlichem Neuronalen Netz oder mittels Merkmalsdetektion können leicht um die Erkennung von Farb-anaglyphisch kodierten stereoskopischen Formaten erweitert werden, wenn, z.B. zur Detektion korrespondierender Merkmale, die entnommenen links- und rechts-Teilbilder bei der betreffenden Hypothese monochromatisch ausgewertet werden oder, z.B. bei der Vorverarbeitung von Bildinhalten für ein künstliches Neuronales Netz zusätzlich als Merkmal die mittlere quadratische Summe der Differenzen von (h) Rotanteilen und Blauanteilen von Pixeln berechnet wird. 9 schematically shows a conversion of an image 12 a source image stream into an image 22 atarget image stream 20 according to a further embodiment. Theinput image 22 contains here 3D image data, which are color-anaglyphic encoded, for example as a red-blue anaglyph image 60 , as well as 2D image data of a2D field 14 , A red-blue anaglyph image does not contain color information. The red channel of theanalglyph image 60 becomes as leftpartial picture 16 taken as a brightness value (gray value) on all R, G, B color channels of theleft field 26 of the generatedoutput image 22 spent; accordingly, the blue channel of the analglyph image becomes 60 as right-part image 18 taken as a brightness value (gray value) on all R, G, B color channels of theright field 28 of the generatedoutput image 22 output. The 3D image data are thus output monochromatically. Incidentally, the conversion corresponds to the conversion according to 1 , A red-green anaglyph image can be converted accordingly. In color combinations where original color information may be included in the anaglyph image, such as a red cyan anaglyph image, an approximate reconstruction of color information for the subpictures may also be used 26 . 28 from the twopartial images 16 . 18 done in a conventional manner by correspondence analysis. The detection methods described by means of artificial neural network or by feature detection can be easily extended to the recognition of color anaglyphic encoded stereoscopic formats, if, for example, to detect corresponding features, the extracted left and right fields are evaluated monochromatically in the hypothesis concerned, or For example, in the preprocessing of image contents for an artificial neural network, the average squared sum of the differences of (h) red fractions and blue fractions of pixels is additionally calculated as a feature.

10 zeigt schematisch eine Konvertierung eines Bildes12 eines Quell-Bildstroms in ein Bild22 eines Ziel-Bildstroms20 gemäß einem weiteren Ausführungsbeispiel, das sich vom Beispiel der9 dadurch unterscheidet, dass keine Konvertierung der Farben stattfindet. So kann ein Rot-Cyan-Anaglyphenbild farbige stereoskopische Darstellungen ermöglichen. Die Ausgabe der links- und rechts-Teilbilder16,18 erfolgt hier mit den im Eingangsbild12 vorliegenden Farben. Bei einem Rot-Cyan-Anaglyphenbild kann aber auch das Verfahren gemäß dem Beispiel der9 eingesetzt werden. 10 schematically shows a conversion of an image 12 a source image stream into an image 22 atarget image stream 20 according to a further embodiment, which differs from the example of 9 differs in that no conversion of colors takes place. Thus, a red-cyan anaglyph image may allow for colored stereoscopic representations. The output of the left and right fields 16 . 18 takes place here with the in theinput image 12 present colors. In a red-cyan Anaglyphenbild but also the method according to the example of 9 be used.

11 zeigt schematisch eine Konvertierung von Bildern12 eines Quell-Bildstroms10 in Bilder22 eines Ziel-Bildstroms20 gemäß einem weiteren Ausführungsbeispiel. Die Bilder12 des Quell-Bildstroms10 sind für die Nutzung des Pulfrich-Effektes ausgelegt. Dies kann daran erkannt werden, dass eine vorherrschende Bewegung von Bildinhalten von rechts nach links oder umgekehrt vorliegt. Als rechts-Teilbild 28 für ein zu erzeugendes Ausgangsbild22 wird beispielsweise ein Teilbild62 eines Eingangsbildes12 entnommen, während als links-Teilbild 26 für das gleiche zu erzeugende Ausgangsbild22 eine Teilbild64 eines um ein Bild oder um zwei Bilder zurückliegenden Bildes12' des Quell-Bildstroms10 entnommen wird (oder umgekehrt, je nach Kodierungsformat). Die zueinander zugeordneten 3D-Bilddaten liegen in nacheinander folgenden Bildern12,12' vor. Die vorherrschende Bewegung kann beispielsweise dem Hintergrund zugeordnet werden, so dass aus der Richtung der Bewegung erkannt werden kann, ob das linke oder das rechte Auge das verzögerte Bild erhalten soll. Die beschriebenen Erkennungsverfahren mittels künstlichem Neuronalen Netz oder mittels Merkmalsdetektion können leicht um die Erkennung von zur Nutzung des Pulfrich-Effekts ausgelegten stereoskopischen Formaten erweitert werden, wenn, z.B. zur Detektion korrespondierender Merkmale, die links- und rechts-Teilbilder bei der betreffenden Hypothese aufeinanderfolgenden Bildern des Quell-Bildstroms entnommen werden oder z.B. bei der Vorverarbeitung von Bildinhalten für ein künstliches Neuronales Netz zusätzlich als Merkmal das oben beschriebene globale Bildmerkmal (f) und ggf. auch (g) berechnet wird. Bei für die Ausnutzung des Pulfrich-Effektes geeigneten Bildinhalten nimmt das Maß der Ähnlichkeit mit jedem weiteren Frame ab, im Gegensatz zum Frame-Interlaced-Format. 11 schematically shows a conversion of images 12 asource image stream 10 in pictures 22 atarget image stream 20 according to a further embodiment. Thepictures 12 thesource image stream 10 are designed for the use of the Pulfrich effect. This can be recognized by the fact that there is a predominant movement of image contents from right to left or vice versa. As aright field 28 for an output image to be generated 22 becomes, for example, adrawing file 62 aninput image 12 taken as the left-part image 26 for the same output image to be generated 22 a drawing file 64 a picture one frame or two pictures behind 12 ' thesource image stream 10 or vice versa, depending on the encoding format). The mutually associated 3D image data lie insuccessive images 12 . 12 ' in front. For example, the predominant motion may be associated with the background so that it can be seen from the direction of motion whether the left or right eye should receive the delayed image. The artificial neural network detection methods or feature detection methods described above can easily be extended to the recognition of stereoscopic formats designed for the use of the Pulfrich effect if, for example, to detect corresponding features, the left and right partial images in the relevant hypothesis follow successive images of the stereoscopic formats Source image stream are taken or, for example, in the preprocessing of image content for an artificial neural network additionally as a feature the above-described global image feature (f) and possibly also (g) is calculated. When to use the Pulfrich effect of appropriate image content decreases the degree of similarity with each additional frame, as opposed to the frame interlaced format.

Die beschriebenen Erkennungsverfahren mittels künstlichem Neuronalen Netz oder mittels Merkmalsdetektion können außerdem leicht um die Erkennung eines Frame-Interlaced-Formats erweitert werden; für ein künstliches Neuronales Netz wurde dies oben bereits beschrieben. Bei der Verwendung von Merkmalsdetektoren werden dazu beispielsweise korrespondierende Merkmale in Bildinhalten eines Frames f(n), eines direkt vorhergehenden Frames f(n-1) und eines diesem wiederum direkt vorhergehenden Frames f(n-2) ermittelt. Anhand des Vorzeichens der horizontalen Positionsunterschiede kann erkannt werden, welcher Frame links-Bilddaten entspricht, und welcher Frame rechts-Bildinhalten entspricht. Somit kann die Hypothese über das Format aufgestellt werden und wie oben beschrieben den SchrittenS34 und folgenden unterzogen werden. Bei einem Frame-Interlaced-Format sind aufgrund der Disparität die horizontalen Positionsunterschiede von korrespondierenden Merkmalen zwischen Frame f(n) und Frame f(n-1) signifikant größer als zwischen Frame f(n) und Frame f(n-2). Dieses Kriterium für die y-Koordinaten der für drei Frames korrespondierenden Merkmale kann für diese Hypothese zusätzlich zum Ähnlichkeitskriteriums in SchrittS34 überprüft werden. Bei einem Format zur Ausnutzung des Pulfrich-Effektes nehmen hingegen die horizontalen Positionsunterschiede von korrespondierenden Merkmalen mit größerem zeitlichen Abstand weiter zu, sind also zwischen Frame f(n) und Frame f(n-2) größer als zwischen Frame f(n) und Frame f(n-1). Dieses Kriterium für die y-Koordinaten der für drei Frames korrespondierenden Merkmale kann für diese Hypothese zusätzlich zum Ähnlichkeitskriteriums in SchrittS34 überprüft werden.Moreover, the artificial neural network detection methods or feature detection techniques described above can be easily extended to include the recognition of a frame interlaced format; This has already been described above for an artificial neural network. For example, when feature detectors are used, corresponding features are determined in image contents of a frame f (n), an immediately preceding frame f (n-1), and a frame f (n-2) immediately preceding it. The sign of the horizontal position differences can be used to identify which frame corresponds to left-hand image data and which frame corresponds to right-hand image content. Thus, the hypothesis can be made about the format and the steps as described above S34 and following. In a frame interlaced format, due to the disparity, the horizontal position differences of corresponding features between frame f (n) and frame f (n-1) are significantly larger than between frame f (n) and frame f (n-2). This criterion for the y-coordinates of the features corresponding to three frames may for this hypothesis in addition to the similarity criterion in step S34 be checked. In a format for exploiting the Pulfrich effect, on the other hand, the horizontal position differences of corresponding features continue to increase with a larger time interval, ie are greater between frame f (n) and frame f (n-2) than between frame f (n) and frame f (n-1). This criterion for the y-coordinates of the features corresponding to three frames may for this hypothesis in addition to the similarity criterion in step S34 be checked.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• US 6711293 [0082]US Pat. No. 6711293 [0082]
• WO 2012/136642 A1 [0082]WO 2012/136642 A1 [0082]

Claims (9)

Translated fromGerman

Verfahren zum Konvertieren eines Quell-Bildstroms (10), der Bilddaten in einem stereoskopischen Format enthält, in einen Ziel-Bildstrom (20), der Bilder (22) in einem vorgegebenen stereoskopischen Format aufweist, wobei die Bilder (22) jeweils ein links-Teilbild (26) für ein linkes Auge und ein rechts-Teilbild (28) für ein rechtes Auge umfassen, wobei das Verfahren die Schritte umfasst:Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms (10) basierend auf Bildinhalten der Bilddaten,Entnehmen von links-Teilbildern (16) für ein linkes Auge und rechts-Teilbildern (18) für ein rechtes Auge aus Bilddaten des Quell-Bildstroms (10), wobei diese Bilddaten des Quell-Bildstroms (10) gemäß dem erkannten stereoskopischen Format interpretiert werden,Erzeugen von Bildern (22) des Ziel-Bildstroms (20) im vorgegebenen stereoskopischen Format unter Einbeziehung der entnommenen links-Teilbilder (16) und rechts-Teilbilder (18).A method of converting a source image stream (10) containing image data in a stereoscopic format into a target image stream (20) having images (22) in a predetermined stereoscopic format, each image (22) being left-aligned. Comprising a left eye partial image (26) and a right eye partial image (28), the method comprising the steps of:Recognizing a stereoscopic format of image data of the source image stream (10) based on image contents of the image data,Taking left-hand sub-images (16) for a left eye and right-field images (18) for a right eye from image data of the source image stream (10), said image data of the source image stream (10) being interpreted according to the recognized stereoscopic format .Generating images (22) of the target image stream (20) in the predetermined stereoscopic format, including the extracted left fields (16) and right fields (18).Verfahren nachAnspruch 1, wobei das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten umfasst:Überprüfen (S30, S32, S34, S36, S38, S40) von mehreren Hypothesen über ein stereoskopisches Format von Bilddaten des Quell-Bildstroms (10),Erkennen (S42) des stereoskopischen Formats einer Hypothese als das stereoskopische Format der Bilddaten, wenn in dem Schritt des Überprüfens die Hypothese als zutreffend erkannt wurde.Method according to Claim 1 wherein detecting a stereoscopic format of image data of the source image stream based on image contents of the image data comprises: checking (S30, S32, S34, S36, S38, S40) of plural hypotheses about a stereoscopic format of image data of the source image stream (10) And recognizing (S42) the stereoscopic format of a hypothesis as the stereoscopic format of the image data if, in the step of checking, the hypothesis has been recognized as true.Verfahren nachAnspruch 2, wobei das Überprüfen von mehreren Hypothesen umfasst:Detektieren (S32), für eine jeweilige Hypothese von zu überprüfenden Hypothesen, von paarweise korrespondierenden Merkmalen in links-Bildinhalten und rechts-Bildinhalten der Bilddaten, wobei die Bilddaten gemäß der betreffenden Hypothese als die links-Bildinhalte und die rechts-Bildinhalte repräsentierend interpretiert werden; Erkennen (S34, S36, S40) einer Hypothese als zutreffend basierend auf sich paarweise hauptsächlich in ihren x-Koordinaten unterscheidenden Positionen von detektierten, paarweise korrespondierenden Merkmalen.Method according to Claim 2 wherein examining a plurality of hypotheses comprises: detecting (S32) for a respective hypothesis of hypotheses to be tested, pairwise corresponding features in left image contents, and right image contents of the image data, the image data being the left image contents according to the hypothesis in question and the right-hand picture contents are interpreted representative; Detecting (S34, S36, S40) a hypothesis as true based on pairs of mainly differing positions of detected, pairwise corresponding features in their x-coordinates.Verfahren nachAnspruch 3, bei dem in dem Schritt des Erkennens einer Hypothese als zutreffend das Erkennen einer Hypothese als zutreffend erfolgt, wenn die Hypothese unter denjenigen Hypothesen, für die ein Ähnlichkeitskriterium für die y-Koordinaten der paarweise korrespondierenden Merkmale für die betreffende Hypothese erfüllt ist, einen größten Wert eines Maßes für die Streuung der paarweisen Differenzen der x-Koordinaten der paarweise korrespondierenden Merkmale aufweist.Method according to Claim 3 in which, in the step of recognizing a hypothesis, the finding of a hypothesis as true is made if the hypothesis among those hypotheses for which a similarity criterion for the y-coordinates of the pairwise corresponding features is satisfied for the hypothesis in question is of the greatest value a measure of the variance of the pairwise differences of the x-coordinates of the pairwise corresponding features.Verfahren nach einem derAnsprüche 1 bis4, bei dem das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms basierend auf Bildinhalten der Bilddaten mittels eines künstlichen Neuronalen Netzes erfolgt (S22).Method according to one of Claims 1 to 4 in which the recognition of a stereoscopic format of image data of the source image stream is based on image contents of the image data by means of an artificial neural network (S22).Verfahren nachAnspruch 5, bei dem das Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms (10) basierend auf Bildinhalten der Bilddaten eine Vorverarbeitung (S20) von Bildinhalten der Bilddaten umfasst, bei der globale Bildmerkmale aus Bildinhalten der Bilddaten extrahiert werden und das künstliche Neuronale Netz die extrahierten globalen Bildmerkmale als Eingangssignale erhält.Method according to Claim 5 wherein recognizing a stereoscopic format of image data of the source image stream (10) based on image contents of the image data includes preprocessing (S20) image contents of the image data, extracting global image features from image contents of the image data, and extracting the artificial neural networks receives global image features as input signals.Verfahren nach einem der vorstehenden Ansprüche, wobei das Verfahren umfasst:Erkennen (S10, S12, 14, S16) eines Umfangs eines Bildbereichs von Bilddaten, die ein stereoskopisches Format aufweisen.The method of any one of the preceding claims, wherein the method comprises:Recognizing (S10, S12, 14, S16) a perimeter of an image area of image data having a stereoscopic format.Verfahren nach einem der vorstehenden Ansprüche, wobei das Verfahren umfasst:Erkennen eines Umfangs eines Bildbereichs von 2D-Bilddaten, undEntnehmen von 2D-Teilbildern (14) aus 2D-Bilddaten des Quell-Bildstroms (10),wobei das Erzeugen von Bildern (22) des Ziel-Bildstroms (12) im vorgegebenen stereoskopischen Format unter Einbeziehung der entnommenen links-Teilbilder (16) und rechts-Teilbilder (18) und unter Einbeziehung der entnommenen 2D-Teilbilder (14) erfolgt, welche dupliziert werden.The method of any one of the preceding claims, wherein the method comprises:Recognizing a perimeter of an image area of 2D image data, andExtracting 2D sub-images (14) from 2D image data of the source image stream (10),wherein generating images (22) of the target image stream (12) in the predetermined stereoscopic format including the extracted left sub-images (16) and right sub-images (18) and including the extracted 2D sub-images (14) be duplicated.Vorrichtung zum Konvertieren eines Quell-Bildstroms (10), der Bilddaten in einem stereoskopischen Format enthält, in einen Ziel-Bildstrom (20), der Bilder (22) in einem vorgegebenen stereoskopischen Format aufweist, wobei die Bilder (22) jeweils ein links-Teilbild (26) für ein linkes Auge und ein rechts-Teilbild (28) für ein rechtes Auge umfassen, umfassend:eine Erkennungseinrichtung (42) zum Erkennen eines stereoskopischen Formats von Bilddaten des Quell-Bildstroms (10) basierend auf Bildinhalten der Bilddaten; undeine Konvertierungseinrichtung (44) zum Konvertieren des Quell-Bildstroms (10) in den Ziel-Bildstrom (20),wobei die Vorrichtung zur Durchführung des Verfahrens nach einem derAnsprüche 1 bis8 eingerichtet ist.Apparatus for converting a source image stream (10) containing image data in a stereoscopic format into a target image stream (20) having images (22) in a predetermined stereoscopic format, each image (22) being left-aligned A right eye partial image (26) for a right eye and a right partial image (28), comprising: recognition means (42) for recognizing a stereoscopic format of image data of the source image stream (10) based on image contents of the image data; and conversion means (44) for converting the source image stream (10) into the target image stream (20), the apparatus for performing the method according to any one of Claims 1 to 8th is set up.

Images