DE102023129941A1 - Video processing system for imperceptible blending of objects with a video patch - Google Patents

Abstract

Translated fromGerman

Beschrieben wird ein Videoverarbeitungssystem (10), insbesondere als Teil eines Fernsehübertragungssystems, zur Verarbeitung von Videoeinzelbildern (VE, VEc) einer Videobildabfolge , insbesondere eines Videostreams, wobei das Videoverarbeitungssystem (10) dazu eingerichtet ist, zu jedem Videoeinzelbild (VE, VEc) wenigstens eine zugeordnete Bildmaske (PM, VM) und zugeordnete Kameradaten (KD) bereitzustellen und wobei das Videoverarbeitungssystem (10) aufweist:
eine Videoeinzelbild-Manipulationseinheit (12);
eine Videopatch-Erzeugungseinheit (14); die aufweist:
- eine Texturpatch-Erzeugungseinheit (16), die dazu eingerichtet ist, basierend auf einem Videoeinzelbild (VE) und wenigstens einer diesem Videoeinzelbild (VE) zugeordneten Bildmaske (PM, VM) ein Texturpatch (TP) zu berechnen;
- eine Referenzspeichereinheit (18), die dazu eingerichtet ist, wenigstens zwei Referenzbilder (RB1, RB2) mit jeweiligen Referenz-Texturpatches (RT1, RT2) zu speichern, wobei ein Referenzbild (RB1, RB2) einem Videoeinzelbild (VE) entspricht, auf dessen Basis das Texturpatch (TP) berechnet worden ist, wobei das Texturpatch als Referenz-Texturpatch (RT1, RT2) gespeichert wird;
- eine Anpassungseinheit (20), die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem (10) eingegangene Videoeinzelbild (VEc) das zugeordnete Videopatch (VP) zu berechnen, wobei bei der Berechnung die wenigstens zwei gespeicherten Referenzbilder (RB1, RB2) und Referenz-Texturpatches (RT1, RT2) berücksichtigt werden.

A video processing system (10) is described, in particular as part of a television transmission system, for processing individual video images (VE, VEc) of a video image sequence, in particular of a video stream, wherein the video processing system (10) is configured to provide at least one associated image mask (PM, VM) and associated camera data (KD) for each individual video image (VE, VEc), and wherein the video processing system (10) comprises:
a video frame manipulation unit (12);
a video patch generation unit (14) comprising:
- a texture patch generation unit (16) which is configured to calculate a texture patch (TP) based on a video frame (VE) and at least one image mask (PM, VM) associated with this video frame (VE);
- a reference storage unit (18) configured to store at least two reference images (RB1, RB2) with respective reference texture patches (RT1, RT2), wherein a reference image (RB1, RB2) corresponds to a single video image (VE) on the basis of which the texture patch (TP) has been calculated, wherein the texture patch is stored as a reference texture patch (RT1, RT2);
- an adaptation unit (20) which is configured to calculate the associated video patch (VP) for each video frame (VEc) input into the video processing system (10), wherein the at least two stored reference images (RB1, RB2) and reference texture patches (RT1, RT2) are taken into account in the calculation.

Description

Translated fromGerman

Die Erfindung betrifft ein Videoverarbeitungssystem, insbesondere als Teil eines Fernsehübertragungssystems, zur Verarbeitung von Videoeinzelbildern einer Videobildabfolge, insbesondere eines Videostreams, wobei das Videoverarbeitungssystem dazu eingerichtet ist, zu jedem Videoeinzelbild wenigstens eine zugeordnete Bildmaske und zugeordnete Kameradaten bereitzustellen und wobei das Videoverarbeitungssystem eine Videoeinzelbild-Manipulationseinheit aufweist, die dazu eingerichtet ist, jedes eingangsseitig eingehende Videoeinzelbild anzupassen und als manipuliertes Videoeinzelbild ausgangsseitig auszugeben, derart, dass eine Videobildabfolge aus manipulierten Videoeinzelbildern gebildet wird.The invention relates to a video processing system, in particular as part of a television transmission system, for processing individual video images of a video image sequence, in particular of a video stream, wherein the video processing system is configured to provide at least one associated image mask and associated camera data for each individual video image, and wherein the video processing system has a video image manipulation unit configured to adapt each individual video image arriving on the input side and to output it as a manipulated individual video image on the output side, such that a video image sequence is formed from manipulated individual video images.

Zum Stand der Technik wird beispielhaft auf dieDE 10 2016 119 637 A1,DE 10 2016 119 639 undDE 10 2016 119 640 A1 der Anmelderin hingewiesen. Aus diesen sind Techniken für die sogenannte Anreichung von Videoeinzelbildern insbesondere in Echtzeit, bekannt. Dabei kann ausgehend von einem sogenannten Worldfeed ein länderspezifischer Feed erzeugt werden, bei dem länderspezifische Anpassungen bzw. Anreicherungen vorgenommen werden. Dabei kann beispielweise eine in einer Sportstätte vorhandenen Werbung, die auf den Videoeinzelbildern des Worldfeeds abgebildet sind, durch eine länderspezifische Werbung überblendet werden.The state of the art is exemplified by the DE 10 2016 119 637 A1 , DE 10 2016 119 639 and DE 10 2016 119 640 A1 The applicant pointed out that these techniques are known for the so-called enrichment of individual video images, particularly in real time. Starting from a so-called world feed, a country-specific feed can be generated, in which country-specific adaptations or enrichments are made. For example, an advertisement in a sports venue, which is shown on the individual video images of the world feed, can be overlaid with a country-specific advertisement.

Die der Erfindung zu Grunde liegende Aufgabe wird darin gesehen, ein Videoverarbeitungssystem anzugeben, das eine verbesserte und für den Konsumenten eines manipulierten Videostreams nicht wahrnehmbare Bildanpassung bzw. Bildmanipulation ermöglicht.The object underlying the invention is to provide a video processing system that enables improved image adaptation or image manipulation that is imperceptible to the consumer of a manipulated video stream.

Diese Aufgabe wird gelöst durch ein Videoverarbeitungssystem mit den Merkmalen des unabhängigen Patentanspruchs Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen sind in den abhängigen Patentansprüchen angegeben.This object is achieved by a video processing system having the features of the independent patent claim. Advantageous embodiments with expedient further developments are specified in the dependent patent claims.

Vorgeschlagen wird also ein Videoverarbeitungssystem, insbesondere als Teil eines Fernsehübertragungssystems, zur Verarbeitung von Videoeinzelbildern einer Videobildabfolge, insbesondere eines Videostreams, wobei das Videoverarbeitungssystem dazu eingerichtet ist, zu jedem Videoeinzelbild wenigstens eine zugeordnete Bildmaske und zugeordnete Kameradaten bereitzustellen und wobei das Videoverarbeitungssystem aufweist:

• eine Videoeinzelbild-Manipulationseinheit, die dazu eingerichtet ist, jedes eingangsseitig eingehende Videoeinzelbild anzupassen und als manipuliertes Videoeinzelbild ausgangsseitig auszugeben, derart, dass eine Videobildabfolge aus manipulierten Videoeinzelbildern gebildet wird;
• eine Videopatch-Erzeugungseinheit, die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem eingehende Videoeinzelbild ein zugeordnetes Videopatch bereitzustellen, wobei die Videoeinzelbild-Manipulationseinheit dazu eingerichtet ist, das manipulierte Videoeinzelbild basierend auf dem Videopatch zu erzeugen;
• wobei die Videopatch-Erzeugungseinheit aufweist:
  • - eine Texturpatch-Erzeugungseinheit, die dazu eingerichtet ist, basierend auf einem Videoeinzelbild und wenigstens einer diesem Videoeinzelbild zugeordneten Bildmaske ein Texturpatch zu berechnen;
  • - eine Referenzspeichereinheit, die dazu eingerichtet ist, wenigstens zwei Referenzbilder mit jeweiligen Referenz-Texturpatches zu speichern, wobei ein Referenzbild einem Videoeinzelbild entspricht, auf dessen Basis das Texturpatch berechnet worden ist, wobei das Texturpatch als Referenz-Texturpatch gespeichert wird;
  • - eine Anpassungseinheit, die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem eingegangene Videoeinzelbild das zugeordnete Videopatch zu berechnen, wobei bei der Berechnung die wenigstens zwei gespeicherten Referenzbilder und Referenz-Texturpatches berücksichtigt werden.

A video processing system is therefore proposed, in particular as part of a television transmission system, for processing individual video images of a video image sequence, in particular of a video stream, wherein the video processing system is configured to provide at least one associated image mask and associated camera data for each individual video image, and wherein the video processing system comprises:

• a video frame manipulation unit configured to adapt each video frame received on the input side and output it as a manipulated video frame on the output side, such that a video frame sequence is formed from manipulated video frames;
• a video patch generation unit configured to provide an associated video patch for each video frame input to the video processing system, wherein the video frame manipulation unit is configured to generate the manipulated video frame based on the video patch;
• wherein the video patch generation unit comprises:
  • - a texture patch generation unit configured to calculate a texture patch based on a video frame and at least one image mask associated with this video frame;
  • - a reference storage unit configured to store at least two reference images with respective reference texture patches, wherein a reference image corresponds to a video frame on the basis of which the texture patch has been calculated, wherein the texture patch is stored as a reference texture patch;
  • - an adaptation unit configured to calculate the associated video patch for each video frame input to the video processing system, wherein the calculation takes into account the at least two stored reference images and reference texture patches.

Bei dem Videoverarbeitungssystem kann eine Bildmaske eine Patchmaske sein, wobei die Patchmaske eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild ist, wobei die Patchmaske Pixel angibt, die in dem Videoeinzelbild zu manipulieren sind. Dabei ist die Patchmaske jeweils einem Videoeinzelbild bzw. Frame zugeordnet, so dass für dieses Videoeinzelbild festgelegt ist, welche Pixel manipuliert werden sollen. Beispielweise können zu manipulierende Patchpixel mit „1“ gekennzeichnet sein, während alle anderen Pixel mit „0“ gekennzeichnet sind.In the video processing system, an image mask can be a patch mask. The patch mask is a binary mask with the same pixel resolution as the video frame. The patch mask specifies pixels to be manipulated in the video frame. The patch mask is assigned to each video frame, so that the pixels to be manipulated are determined for that video frame. For example, patch pixels to be manipulated can be marked with "1," while all other pixels are marked with "0."

Bei dem Videoverarbeitungssystem kann eine Bildmaske eine Vordergrundmaske sein, wobei die Vordergrundmaske eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild ist, wobei die Vordergrundmaske Pixel angibt, die aufgenommene Objekte repräsentieren, welche von der Patchmaske identifizierte Bereiche abdecken. Dabei ist die Vordergrundmaske jeweils einem Videoeinzelbild bzw. Frame zugeordnet, so dass für dieses Videoeinzelbild festgelegt ist, welches zu manipulierende (Patch-) Pixel von einem Vordergrundpixel abgedeckt ist. Beispielweise können Vordergrundpixel mit „1“ gekennzeichnet sein, während alle anderen Pixel mit „0“ gekennzeichnet sind.In the video processing system, an image mask can be a foreground mask. The foreground mask is a binary mask with the same pixel resolution as the video frame. The foreground mask specifies pixels representing recorded objects that cover areas identified by the patch mask. The foreground mask is assigned to each video frame, so that for this video frame, it is determined which (patch) pixel to be manipulated is covered by a foreground pixel. For example, foreground pixels can be labeled "1," while all other pixels are labeled "0."

Bei dem Videoverarbeitungssystem kann aus der Patchmaske und der Vordergrundmaske eine verschmolzene Maske gebildet werden, wobei die verschmolzene Maske eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild ist, wobei die verschmolzene Maske Pixel angibt, die ein Patchpixel oder/und ein Vordergrundpixel bilden. Beispielweise können zu manipulierende Patchpixel und Vordergrundpixel mit „1“ gekennzeichnet sein, während alle anderen Pixel mit „0“ gekennzeichnet sind.In the video processing system, a fused mask can be formed from the patch mask and the foreground mask. The fused mask is a binary mask with the same pixel resolution as the video frame. The fused mask specifies pixels that form a patch pixel and/or a foreground pixel. For example, patch pixels and foreground pixels to be manipulated can be labeled "1," while all other pixels are labeled "0."

Bei dem Videoverarbeitungssystem kann die Texturpatch-Erzeugungseinheit ein Vorbedingungsmodul aufweisen, das dazu eingerichtet ist, das Erfüllen von einer oder mehreren Vorbedingung(en) zu überprüfen, und das Berechnen des Texturpatches nur bei Erfüllen der Vorbedingung(en) durchzuführen. Mit anderen Worten wird mittels des Vorbedingungsmoduls das Berechnen von Texturpatches nur unter bestimmten bzw. gewünschten Umständen durchgeführt, wobei diese Umstände bzw. Vorbedingungen einstellbar bzw. anpassbar sind.In the video processing system, the texture patch generation unit may comprise a precondition module configured to check whether one or more preconditions are met and to calculate the texture patch only if the precondition(s) are met. In other words, the precondition module calculates texture patches only under specific or desired circumstances, wherein these circumstances or preconditions are adjustable or adaptable.

Dabei kann bzw. können die Vorbedingung(en) eine oder mehrere aus der folgenden Aufzählung sein:

1. a) die Texturpatch-Erzeugungseinheit weist freie Berechnungskapazitäten auf;
2. b) ein Bildrand eines Videoeinzelbildes befindet sich mehr als eine Pixelanzahl weg von einem nächst gelegenen Patchpixel der Patchmaske;
3. c) eine Vordergrundmaske weist mit einer Patchmaske eine flächige Überlappung auf, die weniger als ein Überlappungsgrenzwert beträgt;
4. d) eine Vordergrundmaske und eine Patchmaske weisen keine flächige Überlappung auf;
5. e) eine Vordergrundmaske weist mit einer Patchmaske eine flächige Überlappung während einer Zeitdauer auf, die größer ist als ein Zeitgrenzwert;
6. f) eine aktueller Wert für eine Kamerabewegung, der Teil der Kameradaten des Videoeinzelbildes ist, ist kleiner als ein Bewegungsgrenzwert.

The precondition(s) can be one or more of the following:

1. a) the texture patch generation unit has free computing capacity;
2. b) an edge of a video frame is located more than one pixel number away from a nearest patch pixel of the patch mask;
3. c) a foreground mask has a surface overlap with a patch mask that is less than an overlap threshold;
4. d) a foreground mask and a patch mask do not overlap;
5. (e) a foreground mask has a planar overlap with a patch mask for a period of time greater than a time limit;
6. f) a current value for a camera movement, which is part of the camera data of the video frame, is less than a movement threshold.

Bei der Vorbedingung a) wird also überprüft, ob die Texturpatch-Erzeugungseinheit mit der Berechnung eines vorherigen Texturpatches bereits fertig ist und in der Lage ist, ein neues Ergebnis bzw. Texturpatch zu berechnen.Precondition a) checks whether the texture patch generation unit has already finished calculating a previous texture patch and is able to calculate a new result or texture patch.

Bei der Vorbedingung b) wird überprüft, ob die mittels der Patchmaske festgelegten, zu manipulierenden Pixel innerhalb des Videoeinzelbildes liegen.Precondition b) checks whether the pixels to be manipulated, as defined by the patch mask, are located within the video frame.

Bei der Vorbedingung c) wird sichergestellt, dass ein überwiegender Teil der zu manipulierenden Pixel, also der Patchpixel der Patchmaske, nicht von Vordergrundpixeln abgedeckt sind.Precondition c) ensures that a predominant part of the pixels to be manipulated, i.e. the patch pixels of the patch mask, are not covered by foreground pixels.

Bei der Vorbedingung d) wird überprüft, ob gar keine Überlappung zwischen Vordergrundmaske und Pixelmaske vorliegt.Precondition d) checks whether there is no overlap at all between the foreground mask and the pixel mask.

Bei der Vorbedingung e) wird im Fall einer Überlappung, etwa gemäß Vorbedingung c), sichergestellt, dass diese Überlappung nicht nur kurzfristig vorliegt, sondern während einer längeren Zeitdauer, von beispielsweise mehreren Sekunden, wobei als Zeitgrenzwert beispielsweise 10 Sekunden oder länger angesetzt werden kann.In the case of an overlap, for example in accordance with precondition c), precondition e) ensures that this overlap does not only occur for a short time, but for a longer period of time, for example several seconds, whereby the time limit can be set to 10 seconds or longer.

Bei der Vorbedingung f) können die Kameradaten zu dem Videoeinzelbild ausgewertet werden, um sicherzustellen, dass ein Texturpatch nur dann berechnet wird, wenn keine zu schnelle Kamerabewegung durchgeführt wird.In precondition f), the camera data for the video frame can be evaluated to ensure that a texture patch is only calculated if the camera movement is not too fast.

Bei dem Videoverarbeitungssystem kann die Texturpatch-Erzeugungseinheit dazu eingerichtet sein, ein Videoeinzelbild, die zugeordnete Patchmaske und die Kameradaten so lange zu speichern, bis die Vorbedingung(en) ein nächstes Mal erfüllt ist bzw. sindIn the video processing system, the texture patch generation unit may be configured to store a video frame, the associated patch mask, and the camera data until the precondition(s) are met a next time

Dabei kann die Texturpatch-Erzeugungseinheit dazu eingerichtet sein, ein Textur-Videoeinzelbild zu berechnen, das gleich ist wie das Videoeinzelbild außer in den Bereichen mit Patchpixeln basierend auf der Patchmaske, und Pixelfarben für die Patchpixel derart zu berechnen, dass das Textur-Videoeinzelbild von einem Betrachter wie ein real aufgenommenes Kamerabild wahrgenommen wird.The texture patch generation unit may be configured to calculate a texture video frame that is the same as the video frame except in the areas with patch pixels based on the patch mask, and to calculate pixel colors for the patch pixels such that the texture video frame is perceived by a viewer as a real camera image.

Dabei kann die Texturpatch-Erzeugungseinheit ein Texturpatch-Extraktionsmodul aufweisen, das dazu eingerichtet ist, basierend auf dem berechneten Textur-Videoeinzelbild das Texturpatch in geometrisch normalisiertem Format zu erzeugen.The texture patch generation unit may comprise a texture patch extraction module configured to generate the texture patch in geometrically normalized format based on the calculated texture video frame.

In diesem Zusammenhang wird ergänzend darauf hingewiesen, dass die Texturpatch-Erzeugungseinheit potentiell auch ein Ergebnis (Textur-Videoeinzelbild) berechnen kann, das einen größeren Bereich manipuliert als durch die Patchmaske angegeben. Mit anderen Worten ist die Manipulation nicht zwingend auf die Patchpixel beschränkt, sondern kann auch benachbart zu diesen oder in anderen Bildbereichen erfolgen. Allerdings wird in einem solchen Fall das Texturpatch-Extraktionsmodul nur den Bereich, der durch die Patchmaske angegeben ist, von diesem Ergebnis extrahieren und das extrahierte Texturpatch in einem geometrisch normalisierten Format speichern.In this context, it should be noted that the texture patch generation unit can potentially also calculate a result (texture video frame) that manipulates a larger area than specified by the patch mask. In other words, the manipulation is not necessarily limited to the patch pixels, but can also occur adjacent to them or in other image areas. However, in such a case, the texture patch extraction module will only extract the area specified by the patch mask from this result and save the extracted texture patch in a geometrically normalized format.

Bei dem Videoverarbeitungssystem kann die Anpassungseinheit dazu eingerichtet sein,
ein erstes Videopatch basierend auf einem ersten Referenzbild und einem ersten Referenz-Texturpatch zu bestimmen,
ein zweites Videopatch basierend auf einem zweiten Referenzbild und einem zweiten Referenz-Texturpatch zu bestimmen,
ein auf das auszugebende Videoeinzelbild anwendbares Videopatch basierend auf dem ersten Videopatch und dem zweiten Videopatch zu berechnen, derart, dass während einer bestimmten Zeitdauer das erste Videopatch und das zweite Videopatch in Bezug auf die Farben gemischt werden.In the video processing system, the adaptation unit may be configured to
to determine a first video patch based on a first reference image and a first reference texture patch,
to determine a second video patch based on a second reference image and a second reference texture patch,
to calculate a video patch applicable to the video frame to be output based on the first video patch and the second video patch, such that during a certain period of time the first video patch and the second video patch are mixed in terms of colors.

Bei dem Videoverarbeitungssystem kann das anwendbare Videopatch berechnet werden nach der Formel:$$\begin{array}{l}anwendbaresVideopatch=alpha*erstesVideopatch+\\ \left(1-alpha\right)*zweitesVideopatch\end{array}$$

wobei alpha kontinuierlich zunimmt von 0 nach 1 von Videoeinzelbild zu Videoeinzelbild der Videobildabfolge während einer vorbestimmten Zeitdauer, wobei die Zeitdauer insbesondere einige Sekunden beträgt.In the video processing system, the applicable video patch can be calculated using the formula:$$\begin{array}{l}anwendbaresVideopatch=alpha*erstesVideopatch+\\ \left(1-alpha\right)*zweitesVideopatch\end{array}$$

where alpha increases continuously from 0 to 1 from video frame to video frame of the video image sequence during a predetermined period of time, the period of time being in particular a few seconds.

In diesem Zusammenhang wird darauf hingewiesen, dass ein Videoeinzelbild auch als Videoframe bzw. Frame bezeichnet werden kann. Ferner wird darauf hingewiesen, dass die Videoeinzelbild-Manipulationseinheit in Echtzeit bzw. real time arbeiten kann, derart, dass die Anpassung bzw. Manipulation an dem eingangsseitig erhaltenen Videoeinzelbild so schnell erfolgt, dass keine Verzögerung bei der Ausstrahlung bzw. Aussendung des manipulierten Videoeinzelbildes erfolgt. Hierdurch kann sichergestellt werden, dass ein Videostream der keine manipulierten Videoeinzelbilder enthält, und ein Videostream, der manipulierte Videoeinzelbilder enthält, gleichzeitig ausgestrahlt bzw. bereitgestellt werden können.In this context, it should be noted that a single video image can also be referred to as a video frame. Furthermore, it should be noted that the single video image manipulation unit can operate in real time, such that the adjustment or manipulation of the input video image is carried out so quickly that there is no delay in the transmission or broadcast of the manipulated video image. This ensures that a video stream containing no manipulated video images and a video stream containing manipulated video images can be transmitted or provided simultaneously.

Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsformen unter Bezugnahme auf die Figuren. Dabei zeigt:

• 1 eine schematische Darstellung eines Videoverarbeitungssystems;
• 2 eine schematische Darstellung von Videoeinzelbildern und zugeordneten Bildmasken;
• 3 eine schematische Darstellung von Videoeinzelbildern und manipulierten Videoeinzelbildern.

Further advantages and details of the invention will become apparent from the following description of embodiments with reference to the figures.

• 1 a schematic representation of a video processing system;
• 2 a schematic representation of individual video images and associated image masks;
• 3 a schematic representation of video frames and manipulated video frames.

In1 ist vereinfacht und schematisch ein Videoverarbeitungssystem 10 dargestellt. Das Videoverarbeitungssystem 10 kann Teil eines Fernsehübertragungssystems 200 sein, das stark vereinfach in3 gezeigt ist.In 1 A simplified and schematic representation of avideo processing system 10 is shown. Thevideo processing system 10 may be part of a television transmission system 200, which is greatly simplified in 3 is shown.

Das Videoverarbeitungssystem 10 dient der Verarbeitung von Videoeinzelbildern VE einer Videobildabfolge, insbesondere eines Videostreams. Dabei ist das Videoverarbeitungssystem 10 dazu eingerichtet, zu jedem Videoeinzelbild VE wenigstens eine zugeordnete Bildmaske PM, VM und zugeordnete Kameradaten KD bereitzustellen.Thevideo processing system 10 is used to process individual video images VE of a video image sequence, in particular a video stream. Thevideo processing system 10 is configured to provide at least one associated image mask PM, VM and associated camera data KD for each individual video image VE.

Das Videoverarbeitungssystem 10 weist eine Videoeinzelbild-Manipulationseinheit 12 auf, die dazu eingerichtet ist, jedes eingangsseitig eingehende Videoeinzelbild VE anzupassen und als manipuliertes Videoeinzelbild manVE ausgangsseitig auszugeben, derart, dass eine Videobildabfolge aus manipulierten Videoeinzelbildern manVE gebildet wird.Thevideo processing system 10 has a videoframe manipulation unit 12 which is configured to adapt each incoming video frame VE on the input side and to output it as a manipulated video frame manVE on the output side, such that a video frame sequence is formed from manipulated video frames manVE.

Das Videoverarbeitungssystem 10 weist ferner eine Videopatch-Erzeugungseinheit 14 auf, die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem 10 eingehende Videoeinzelbild VE ein zugeordnetes Videopatch VP bereitzustellen, wobei die Videoeinzelbild-Manipulationseinheit 12 dazu eingerichtet ist, das manipulierte Videoeinzelbild manVE basierend auf dem Videopatch VP zu erzeugen.Thevideo processing system 10 further comprises a video patch generation unit 14 configured to provide an associated video patch VP for each video frame VE entering thevideo processing system 10, wherein the videoframe manipulation unit 12 is configured to generate the manipulated video frame manVE based on the video patch VP.

Die Videopatch-Erzeugungseinheit 14 weist eine Texturpatch-Erzeugungseinheit 16 auf, die dazu eingerichtet ist, basierend auf einem Videoeinzelbild VE und wenigstens einer diesem Videoeinzelbild VE zugeordneten Bildmaske PM, VM ein Texturpatch TP zu berechnen.The video patch generation unit 14 has a texturepatch generation unit 16 which is configured to calculate a texture patch TP based on a video frame VE and at least one image mask PM, VM associated with this video frame VE.

Ferner weist die Videopatch-Erzeugungseinheit 14 eine Referenzspeichereinheit 18 auf, die dazu eingerichtet ist, wenigstens zwei Referenzbilder RB1m RB2 mit jeweiligen Referenz-Texturpatches RT1, RT2 zu speichern, wobei ein Referenzbild RB1, RB2 einem Videoeinzelbild VE entspricht, auf dessen Basis das Texturpatch TP berechnet worden ist, wobei das Texturpatch TP als Referenz-Texturpatch RT1, RT2 gespeichert wird.Furthermore, the video patch generation unit 14 has areference storage unit 18 which is configured to store at least two reference images RB1, RB2 with respective reference texture patches RT1, RT2, wherein a reference image RB1, RB2 corresponds to a video frame VE on the basis of which the texture patch TP has been calculated, wherein the texture patch TP is stored as a reference texture patch RT1, RT2.

Ferner weist die Videopatch-Erzeugungseinheit 14 eine Anpassungseinheit 20 auf, die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem 10 eingegangene Videoeinzelbild VE das zugeordnete Videopatch VP zu berechnen, wobei bei der Berechnung die wenigstens zwei gespeicherten Referenzbilder RB1, RB2 und Referenz-Texturpatches RT1, RT2 berücksichtigt werden.Furthermore, the video patch generation unit 14 has anadaptation unit 20 which is configured to calculate the associated video patch VP for each video frame VE input into thevideo processing system 10, wherein the at least two stored reference images RB1, RB2 and reference texture patches RT1, RT2 are taken into account in the calculation.

Bevor später wieder auf die1 Bezug genommen wird, um die Funktionsweise des Videoverarbeitungssystems 10 bzw. der Videoeinzelbild-Manipulationseinheit 12 genauer zu beschreiben, werden nachfolgend anhand der2 und3 einige Begrifflichkeiten in Bezug auf die zu verarbeitenden Videoeinzelbilder VE, die auch als Frames bezeichnet werden können, erläutert.Before returning to the 1 Reference is made to describe the operation of thevideo processing system 10 or the videoframe manipulation unit 12 in more detail, the following will be explained with reference to the 2 and 3 Some terms relating to the individual video images VE to be processed, which can also be referred to as frames, are explained.

In der2 sind in der ersten Reihe beispielhaft drei Videoeinzelbilder VE mit den jeweiligen Einzelbildnummern bzw. Framenummern N, N+x, N+y dargestellt. Die Videoeinzelbilder VEN, VEN+x, VEN+y sind Teil einer Videobildabfolge VBA, die auch als Videostream bezeichnet werden kann.In the 2 The first row shows three video frames VE with the respective frame numbers N, N+x, N+y. The video frames VEN, VEN+x, VEN+y are part of a video frame sequence VBA, which can also be referred to as a video stream.

Die erste Reihe zeigt die Abfolge von drei im Laufe einer Videobildabfolge von einer Kamera aufgenommenen Videoeinzelbilder. Diese drei Videoeinzelbilder VE können direkt aufeinander folgen, also mit x=1 und y=2, sie können aber innerhalb des Videostreams nicht direkt aufeinander folgen, beispielweise mit x=20 und y=40.The first row shows the sequence of three individual video frames recorded by a camera during a video frame sequence. These three individual video frames VE can directly follow one another, i.e., with x=1 and y=2, but they cannot directly follow one another within the video stream, for example, with x=20 and y=40.

In den jeweiligen Videoeinzelbildern sind von der Kamera aufgenommen: ein Untergrund UG, eine Begrenzung BG, beispielweise eine Wand oder eine Bande oder dergleichen, ein als Ellipse dargestelltes Objekt OB, das vor oder auf der Begrenzung BG angeordnet ist. Das Objekt OB kann beispielweise eine auf der Begrenzung BG dargestellte Gestaltung sein, etwa ein Text, ein Logo oder dergleichen. Ferner hat die Kamera ein im Vordergrund befindliches Objekt VB aufgenommen, das hier beispielhaft als Konturpfeil dargestellt ist.In each individual video frame, the camera captures: a background UG, a boundary BG, for example, a wall or a barrier or the like, and an object OB represented as an ellipse, which is located in front of or on the boundary BG. The object OB can, for example, be a design represented on the boundary BG, such as text, a logo, or the like. Furthermore, the camera has captured an object VB located in the foreground, which is represented here as an exemplary contour arrow.

Wie aus der Abfolge der Videoeinzelbilder VE (N, N+x, N+y) ersichtlich ist, bleibt das Objekt OB an Ort und Stelle und bildet einen statischen Teil der Bildszene. Die Kamera wird in diesem Beispiel nach links geschwenkt und gleichzeitig bewegt sich das im Vordergrund befindliche Objekt VB vor das Objekt OB bewegt und dieses teilweise abdeckt.As can be seen from the sequence of video frames VE (N, N+x, N+y), object OB remains in place and forms a static part of the scene. In this example, the camera pans to the left, and at the same time, object VB, located in the foreground, moves in front of object OB, partially covering it.

In den drei dargestellten Videoeinzelbildern VE (N, N+x, N+y) ist durch die enger werdende Schraffur des Untergrunds UG, des Objekts OB bzw. des im Vordergrund befindlichen Objekts VB sowie der zunehmenden Punktdichte auf der Begrenzung BG eine Veränderung von Lichtverhältnissen dargestellt. Anders ausgedrückt wird es vom Videoeinzelbild VEN zu dem Videoeinzelbild VEN+y immer etwas dunkler.In the three video frames VE (N, N+x, N+y) shown, a change in lighting conditions is represented by the narrowing hatching of the background UG, the object OB, and the foreground object VB, as well as the increasing dot density on the boundary BG. In other words, it becomes slightly darker from the video frame VEN to the video frame VEN+y.

In der zweiten Reihe ist die zu dem jeweiligen Videoeinzelbild VE (N, N+x, N+y) zugeordnete Patchmaske PM (N, N+x, N+y) dargestellt. Die dem Videoeinzelbild VE zugeordnete PM ist eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild VE, wobei die Patchmaske PM Pixel angibt, die in dem Videoeinzelbild VE zu manipulieren sind. Die zu manipulierenden Pixel werden als Patchpixel bezeichnet und sind in der2 in der zweiten Reihe schwarz dargestellt. Im gezeigten Beispiel soll also das als Ellipse dargestellte Objekt OB manipuliert werden.The second row shows the patch mask PM (N, N+x, N+y) assigned to the respective video frame VE (N, N+x, N+y). The PM assigned to the video frame VE is a binary mask with the same pixel resolution as the video frame VE, with the patch mask PM specifying pixels to be manipulated in the video frame VE. The pixels to be manipulated are referred to as patch pixels and are shown in the 2 shown in black in the second row. In the example shown, the object OB, represented as an ellipse, is to be manipulated.

In der dritten Reihe ist eine optionale zu dem jeweiligen Videoeinzelbild VE (N, N+x, N+y) zugeordnete Vordergrundmaske VM dargestellt. Die dem Videoeinzelbild VE zugeordnete Vordergrundmaske VM ist eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild VE, wobei die Vordergrundmaske VM Pixel angibt, die aufgenommene Objekte VB repräsentieren, welche von der Patchmaske PM identifizierte Bereiche, hier das Objekt OB, abdecken können. Solche Pixel der Vordergrundmaske VG werden als Vordergrundpixel bezeichnet und sind in der2 in der dritten Reihe schwarz dargestellt.The third row shows an optional foreground mask VM assigned to the respective video frame VE (N, N+x, N+y). The foreground mask VM assigned to the video frame VE is a binary mask with the same pixel resolution as the video frame VE, where the foreground mask VM specifies pixels that represent recorded objects VB that can cover areas identified by the patch mask PM, here the object OB. Such pixels of the foreground mask VG are referred to as foreground pixels and are in the 2 shown in black in the third row.

In der vierten Reihe ist eine optionale zu dem jeweiligen Videoeinzelbild VE (N, N+x, N+y) zugeordnete bzw. berechenbare verschmolzene Maske FM bzw. Fuse-Maske dargestellt. Die Fuse-Maske FM ist eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild VE, wobei die Fuse-Maske Pixel angibt, die ein Patchpixel oder/und ein Vordergrundpixel bilden. Solche Pixel können auch als Fuse-Pixel bezeichnet werden, die in der2 in der vierten Reihe schwarz dargestellt sind.The fourth row shows an optionally assigned or computable fused mask FM or fuse mask for the respective video frame VE (N, N+x, N+y). The fuse mask FM is a binary mask with the same pixel resolution as the video frame VE, where the fuse mask specifies pixels that form a patch pixel and/or a foreground pixel. Such pixels can also be referred to as fuse pixels, which are in the 2 are shown in black in the fourth row.

Anhand der3 soll illustriert werden, wie das jeweilige eingangsseitige Videoeinzelbild VE manipuliert werden soll. In der ersten Reihe sind die aus der2 bereits bekannten Videoeinzelbilder VE (N, N+x, N+y) dargestellt. Durch den Einsatz des Videoverarbeitungssystems 10 bzw. der Videoeinzelbild-Manipulationseinheit 12 soll jeweils das als Ellipse dargestellte Objekt OB an das Aussehen bzw. die Textur der Begrenzung BG angepasst werden. Mit anderen Worten, soll das Objekt OB im manipulierten Videoeinzelbild nicht mehr sichtbar sein, ohne dass ein Betrachter des manipulierten Videoeinzelbildes bzw. der Videobildabfolge das Ausblenden bzw. Überblenden des Objekts OB bemerkt. Dies ist in der zweiten und dritten Reihe vereinfacht dargestellt, wobei in der zweiten Reihe rein illustrativ noch die Kontur des Objekts OB gezeigt ist. Ein Endergebnis eines jeweils manipulierten Videoeinzelbildes manVE zeigt die dritte Reihe.Based on the 3 illustrates how the respective input video frame VE is to be manipulated. In the first row, the 2 already known video frames VE (N, N+x, N+y). By using thevideo processing system 10 or the videoframe manipulation unit 12, the object OB represented as an ellipse is to be adapted to the appearance or texture of the boundary BG. In other words, the object OB should no longer be visible in the manipulated video frame without a viewer of the manipulated video frame or the video frame sequence noticing the fading out or cross-fading of the object OB. This is shown in a simplified manner in the second and third rows, whereby the contour of the object OB is shown in the second row purely for illustrative purposes. The third row shows the end result of each manipulated video frame manVE.

Nachdem unter Bezugnahme auf die2 und3 das Anpassen bzw. Manipulieren von Videoeinzelbildern VE grafisch illustriert und erläutert worden ist, wird nun anhand der1 weiter die Funktionsweise des Videoverarbeitungssystems 10 erläutert.Having regard to the 2 and 3 The adjustment or manipulation of video frames VE has been graphically illustrated and explained, will now be explained using the 1 further explains the operation of thevideo processing system 10.

Die bereits oben erwähnte Texturpatch-Erzeugungseinheit 16 weist ein Vorbedingungsmodul 22 auf, das dazu eingerichtet ist, das Erfüllen von einer oder mehreren Vorbedingung(en) zu überprüfen, und das Berechnen des Texturpatches TP nur bei Erfüllen der Vorbedingung(en) durchzuführen.The texturepatch generation unit 16 already mentioned above has aprecondition module 22 which is configured to check the fulfillment of one or more precondition(s) and to calculate the texture patch TP only if the precondition(s) are fulfilled.

Die Vorbedingung kann dabei eine oder mehrere aus der folgenden Aufzählung sein:

1. a) die Texturpatch-Erzeugungseinheit 16 weist freie Berechnungskapazitäten auf;
2. b) ein Bildrand eines Videoeinzelbildes VE befindet sich mehr als eine Pixelanzahl weg von einem nächst gelegenen Patchpixel der Patchmaske PM;
3. c) eine Vordergrundmaske VM weist mit einer Patchmaske PM eine flächige Überlappung auf, die weniger als ein Überlappungsgrenzwert beträgt;
4. d) eine Vordergrundmaske VM und eine Patchmaske PM weisen keine flächige Überlappung auf;
5. e) eine Vordergrundmaske VM weist mit einer Patchmaske PM eine flächige Überlappung während einer Zeitdauer auf, die größer ist als ein Zeitgrenzwert;
6. f) ein aktueller Wert für eine Kamerabewegung, der Teil der Kameradaten KD des Videoeinzelbildes VE ist, ist kleiner als ein Bewegungsgrenzwert.

The precondition can be one or more of the following:

1. a) the texturepatch generation unit 16 has free computing capacity;
2. b) an image edge of a video frame VE is located more than one pixel number away from a nearest patch pixel of the patch mask PM;
3. c) a foreground mask VM has a surface overlap with a patch mask PM which is less than an overlap threshold;
4. d) a foreground mask VM and a patch mask PM do not have any areal overlap;
5. (e) a foreground mask VM has a planar overlap with a patch mask PM for a period of time which is greater than a time limit;
6. f) a current value for a camera movement, which is part of the camera data KD of the video frame VE, is smaller than a movement threshold value.

Wenn die geforderte(n) Vorbedingung(en) erfüllt ist bzw. sind, werden ein Videoeinzelbild VE, Kameradaten KD, Patchmaske PM und optional eine Fuse-Maske FM solange gespeichert, bis sie von dem Vorbedingungsmodul 22 wieder überschrieben werden.If the required precondition(s) is/are met, a video frame VE, camera data KD, patch mask PM and optionally a fuse mask FM are stored until they are overwritten again by theprecondition module 22.

Das Videoeinzelbild VE und die Fuse-Maske FM sind Eingaben an ein Texturmodul 24. Sofern keine Fuse-Maske FM verfügbar ist, kann die Patchmaske PM als Eingabe in das Texturmodul 24 genutzt werden. Das Texturmodul 24 erzeugt bzw. berechnet ein Textur-Videoeinzelbild TVE, das gleich ist wie das Videoeinzelbild VE außer in den Bereichen mit Patchpixeln basierend auf der Patchmaske PM. Dabei werden Pixelfarben für die Patchpixel derart berechnet, dass das Textur-Videoeinzelbild TVE von einem Betrachter wie ein real aufgenommenes Kamerabild wahrgenommen wird.The video frame VE and the fuse mask FM are inputs to atexture module 24. If no fuse mask FM is available, the patch mask PM can be used as input to thetexture module 24. Thetexture module 24 generates or calculates a texture video frame TVE, which is the same as the video input Single image VE except in the areas with patch pixels based on the patch mask PM. Pixel colors for the patch pixels are calculated in such a way that the texture video single image TVE is perceived by a viewer as a real camera image.

Das Texturmodul 24 ist insbesondere derart ausgeführt, dass es beispielsweise Informationen über die oben unter Bezugnahme auf die2 und3 erläuterte Begrenzung BG, insbesondere deren farbliche Ausgestaltung, berücksichtigt, um für die Patchpixel entsprechende Anpassungen zu bestimmen. Dabei können über die von einer Kamera aufgenommenen Videoeinzelbilder auch sich verändernde Lichtverhältnisse berücksichtigt werden.Thetexture module 24 is designed in particular in such a way that it can, for example, store information about the 2 and 3 The BG limitation explained above, particularly its color scheme, is taken into account to determine appropriate adjustments for the patch pixels. Changing lighting conditions can also be taken into account via the individual video frames recorded by a camera.

Das Textur-Videoeinzelbild TVE wird einem Patch-Extraktions-Modul 26 zur Verfügung gestellt. Das Patch-Extraktions-Modul 26 nutzt die Kameradaten KD und die Patchmaske PM als Eingangsgrößen und speichert die Farbinformationen des Textur-Videoeinzelbildes TVE in Bereichen, die durch die Patchmaske PM spezifiziert sind, in geometrisch normalisierter Form, was als Texturpatch TP bezeichnet wird.The texture video frame TVE is provided to apatch extraction module 26. Thepatch extraction module 26 uses the camera data KD and the patch mask PM as input variables and stores the color information of the texture video frame TVE in areas specified by the patch mask PM in geometrically normalized form, which is referred to as texture patch TP.

Texturpatches TP speichern dabei nur die Farbinformation an Pixelstellen, die durch die Patchmaske PM angezeigt sind, wobei deren geometrische Repräsentation unabhängig von Kameradaten KD des spezifischen Videoeinzelbildes VE ist. Dieses Speicherformat des Texturpatches TP ermöglicht die Anwendung von einem Texturpatch in geometrisch korrekter Weise auch in einem anderen Videoeinzelbild VE, das andere zugeordnete Kameradaten KD aufweist.Texture patches TP store only the color information at pixel locations indicated by the patch mask PM, whereby their geometric representation is independent of the camera data KD of the specific video frame VE. This storage format of the texture patch TP enables the geometrically correct application of a texture patch to another video frame VE that has different associated camera data KD.

In diesem Zusammenhang wird ergänzend darauf hingewiesen, dass das Texturmodul 24 potentiell auch ein Ergebnis (Textur-Videoeinzelbild TVE) berechnen kann, das einen größeren Bereich manipuliert als durch die Patchmaske PM angegeben. Mit anderen Worten ist die Manipulation nicht zwingend auf die Patchpixel beschränkt, sondern kann auch benachbart zu diesen oder in anderen Bildbereichen erfolgen. Insbesondere kann es für eine optimale Wahrnehmung hilfreich sein, wenn in der Nachbarschaft der Patchpixel vorhandene Bildinhalte ebenfalls manipuliert werden. Allerdings wird in einem solchen Fall das Texturpatch-Extraktions-Modul 26 nur den Bereich, der durch die Patchmaske angegeben ist, von diesem Ergebnis extrahieren und das extrahierte Texturpatch in einem geometrisch normalisierten Format speichern.In this context, it should be noted that thetexture module 24 can potentially also calculate a result (texture video frame TVE) that manipulates a larger area than specified by the patch mask PM. In other words, the manipulation is not necessarily limited to the patch pixels, but can also occur adjacent to them or in other image areas. In particular, it can be helpful for optimal perception if image content present in the vicinity of the patch pixels is also manipulated. However, in such a case, the texturepatch extraction module 26 will only extract the area specified by the patch mask from this result and save the extracted texture patch in a geometrically normalized format.

Da die Berechnung eines Texturpatches TP nicht unbedingt in Echtzeit (realtime) erfolgen kann bzw. muss, kann ein für ein Videoeinzelbild VE berechnetes Texturpatch TP nicht für dieses Videoeinzelbild verwendet werden, um das manipulierte Videoeinzelbild manVE zu erzeugen.Since the calculation of a texture patch TP cannot or does not necessarily have to be done in real time, a texture patch TP calculated for a video frame VE cannot be used for this video frame to generate the manipulated video frame manVE.

Daher wird ein Texturpatch TP dauerhaft gespeichert, bis ein aktualisiertes Texturpatch TP berechnet wird. Hierzu dient die bereits oben erwähnte Referenzspeichereinheit 18, die dazu eingerichtet ist, wenigstens zwei Referenzbilder RB1, RB2 mit jeweiligen Referenz-Texturpatches RT1, RT2 zu speichern, wobei ein Referenzbild RB1, RB2 einem Videoeinzelbild VE entspricht, auf dessen Basis das Texturpatch TP berechnet worden ist, wobei das Texturpatch TP als Referenz-Texturpatch RT1, RT2 gespeichert wird.Therefore, a texture patch TP is permanently stored until an updated texture patch TP is calculated. This is done by the above-mentionedreference storage unit 18, which is configured to store at least two reference images RB1, RB2 with respective reference texture patches RT1, RT2. A reference image RB1, RB2 corresponds to a single video image VE on the basis of which the texture patch TP was calculated. The texture patch TP is stored as a reference texture patch RT1, RT2.

Werden in der Referenzspeichereinheit 18 zwei Referenzdatensätze, die jeweils ein Referenz-Texturpatch RT1 bzw. RT2, und ein Referenzbild RB1 bzw. RB2 enthalten, kann eine Aktualisierung beispielsweise wie folgt durchgeführt werden.If two reference data sets, each containing a reference texture patch RT1 or RT2, and a reference image RB1 or RB2, are stored in thereference storage unit 18, an update can be carried out, for example, as follows.

Sobald, nach Erfüllen entsprechender Vorbedingungen, in der Texturpatch-Erzeugungseinheit 16 ein neues Videoeinzelbild VE verendet wird, um ein neues Texturpatch TP zu berechnen, wird das Referenzbild RB2 mit den Daten des Referenzbildes RB1 überschrieben. Das Referenz-Texturpatch RT2 wird mit den Daten des Referenz-Texturpatches RT1 überschrieben. Als Referenzbild RB1 wird das neue Videoeinzelbild VE verwendet und als Referenz-Texturpatch RT1 wird das neu berechnete Tetxurpatch TP verwendet.As soon as, after fulfilling corresponding preconditions, a new video frame VE is used in the texturepatch generation unit 16 to calculate a new texture patch TP, the reference image RB2 is overwritten with the data from the reference image RB1. The reference texture patch RT2 is overwritten with the data from the reference texture patch RT1. The new video frame VE is used as the reference image RB1, and the newly calculated texture patch TP is used as the reference texture patch RT1.

Mit anderen Worten werden die Referenz-Texturpatches RT1, RT2 und die Referenzbilder RB1, RB2 bedarfsweise aktualisiert bzw. ersetzt, wobei der ältere Referendatensatz (RB2, RT2) jeweils durch den jüngeren Referenzdatensatz (RB1, RT1) ersetzt wird.In other words, the reference texture patches RT1, RT2 and the reference images RB1, RB2 are updated or replaced as needed, whereby the older reference data set (RB2, RT2) is replaced by the younger reference data set (RB1, RT1).

Die in1 gezeigte Anpassungseinheit 20 ist dazu eingerichtet, beispielsweise unter Einsatz eines Patch-Anpassungsmoduls 28,
ein erstes Videopatch VP1 basierend auf dem ersten Referenzbild RB1 und dem ersten Referenz-Texturpatch RT1 zu bestimmen,
ein zweites Videopatch VP2 basierend auf dem zweiten Referenzbild RB1 und dem zweiten Referenz-Texturpatch RT2 zu bestimmen, und das auf das auszugebende Videoeinzelbild VE anwendbares Videopatch VP basierend auf dem ersten Videopatch VP1 oder/und dem zweiten Videopatch VP2 zu berechnen, derart, dass während einer bestimmten Zeitdauer das erste Videopatch VP1 und das zweite Videopatch in Bezug auf die Farben gemischt werden.The 1 Theadaptation unit 20 shown is designed, for example using apatch adaptation module 28,
to determine a first video patch VP1 based on the first reference image RB1 and the first reference texture patch RT1,
to determine a second video patch VP2 based on the second reference image RB1 and the second reference texture patch RT2, and the video patch VP applicable to the video frame VE to be output based on the first video patch VP1 and/or the second video patch VP2, such that during a certain period of time the first video patch VP1 and the second video patch are mixed in terms of colors.

Dabei kann das auf ein aktuelles Videoeinzelbild VEc anwendbare Videopatch VP berechnet werden nach der Formel:$$\begin{array}{l}anwendbaresVideopatchVP=alpha*erstesVideopatchVP1+\\ \left(1-alpha\right)*zweitesVideopatchVP2\end{array}$$

wobei alpha kontinuierlich zunimmt von 0 nach 1 von Videoeinzelbild VE zu Videoeinzelbild VE der Videobildabfolge während einer vorbestimmten Zeitdauer, wobei die Zeitdauer insbesondere einige Sekunden beträgt.The video patch VP applicable to a current video frame VEc can be calculated using the formula:$$\begin{array}{l}anwendbaresVideopatchVP=alpha*erstesVideopatchVP1+\\ \left(1-alpha\right)*zweitesVideopatchVP2\end{array}$$

where alpha increases continuously from 0 to 1 from video frame VE to video frame VE of the video image sequence during a predetermined period of time, the period of time being in particular a few seconds.

Mit anderen Worten ist die Anpassungseinheit 20 dazu eingerichtet die Farbe der Referenz-Texturpatches RT1, RT2 so anzupassen, dass Videopatches VP1, VP2 erzeugt werden, die eine nicht wahrnehmbare Videobildmanipulation für eine aktuelles Videoeinzelbild VEc ermöglichen.In other words, theadjustment unit 20 is configured to adjust the color of the reference texture patches RT1, RT2 such that video patches VP1, VP2 are generated that enable imperceptible video image manipulation for a current video frame VEc.

Es ist möglich, dass nur das erste Videopatch VP1 direkt verwendet wird, um eine Manipulation an einem aktuellen Videoeinzelbild VE vorzunehmen und das manipulierte Videoeinzelbild manVE zu berechnen.It is possible that only the first video patch VP1 is used directly to perform a manipulation on a current video frame VE and to calculate the manipulated video frame manVE.

Ein aktuelles Videoeinzelbild VEc kann beispielweise in einer Rendereinheit 30 mit dem Videopatch VP zusammengeführt werden, so dass das manipulierte Videoeinzelbild manVE ausgegeben werden kann.For example, a current video frame VEc can be merged with the video patch VP in arendering unit 30 so that the manipulated video frame manVE can be output.

Das hier vorgestellte Videoverarbeitungssystem 10 kann beispielweise bei einer Sportübertragung oder dergleichen eingesetzt werden. Nachfolgend soll der Einsatz anhand eines konkreten Beispiels erläutert werden, wobei bedarfsweise Bezug genommen wird auf die1 bis 3, um konkrete Beispiele mit den hier verallgemeinerten Begrifflichkeiten in Verbindung bringen zu können.Thevideo processing system 10 presented here can be used, for example, in a sports broadcast or the like. The use will be explained below using a concrete example, with reference to the 1 to 3 in order to be able to link concrete examples with the generalized terms used here.

Bei einem Tennisevent kann von einem Rechtehalter/Organisator des Events gewünscht sein, dass bestimmte fest im Stadion installierte Werbung (z.B. bestimmte Bandenwerbung), unsichtbar gemacht wird in dem Fernsehsignal, welches in bestimme Länder übertragen wird. In Bezug auf die2 ist die Werbung die Ellipse OB und das Stadion umfasst den Untergrund UG und die Begrenzung BG.At a tennis event, a rights holder/organizer of the event may wish to have certain advertisements permanently installed in the stadium (e.g. certain perimeter advertising) made invisible in the television signal that is transmitted to certain countries. 2 the advertisement is the ellipse OB and the stadium includes the underground UG and the boundary BG.

Ein solche Maßnahme ist beispielweise erforderlich, weil es beispielweise länderspezifische, rechtliche Regelungen gibt, die bestimme Arten von Werbung verbieten (z.B. Alkohol oder Glücksspiel). Sollte solche Werbung im Stadion installiert sein und man möchte dennoch das Signal in einem Land mit entsprechendem Werbeverbot übertragen, so muss man vor der Übertagung des Fernsehsignals diese Werbung visuell im Fernsehsignal entfernen.Such a measure is necessary, for example, because there are country-specific legal regulations that prohibit certain types of advertising (e.g., alcohol or gambling). If such advertising is installed in the stadium and the broadcaster still wants to transmit the signal in a country with a corresponding advertising ban, the advertising must be visually removed from the television signal before transmitting the television signal.

Zusätzlich kommt bei dem hier betrachteten Beispiel eines Tennisevents noch hinzu, dass die farbliche Ausgestaltung der Werbebanden oft vom Organisator vorgegeben ist. In Bezug auf die2 betrifft dies also insbesondere die farbliche Gestaltung der Begrenzung BG, auf welcher die Werbung (Ellipse OB) angeordnet ist. Die Werbeträger können die Farben ihrer Werbung (Ellipse OB) oft nicht frei wählen.In addition, in the example of a tennis event considered here, the color scheme of the advertising boards is often specified by the organizer. 2 This particularly affects the color design of the boundary BG, on which the advertising (ellipse OB) is located. Advertising media often cannot freely choose the colors of their advertising (ellipse OB).

Soll daher eine bestehende Werbung (Ellipse OB) entfernt werden, so muss man die Farbgebung, welche physisch im Stadion vorhanden ist, berücksichtigen bei der Berechnung einer Bildtextur (Videopatch VP), die die Werbung (Ellipse OB) als verschwunden erscheinen lässt.Therefore, if an existing advertisement (Ellipse OB) is to be removed, the color scheme that is physically present in the stadium must be taken into account when calculating an image texture (Video Patch VP) that makes the advertisement (Ellipse OB) appear to have disappeared.

Zusätzlich müssen Farbvariationen, verursacht durch Veränderung der Lichtverhältnisse (Sonnenlicht, Flutlicht, Wolken, Schatten) oder Eigenschaften des Bandenmaterials (Stoff, Plastik, etc.), bei der Berechnung der Textur berücksichtigt werden. Schlussendlich wird ein manipuliertes Fernsehsignal manVE erzeugt, in dem die Werbung (Ellipse OB) durch eine berechnete Textur (Videopatch VP) so überdeckt wird, dass die Werbung (Ellipse OB) als nicht vorhanden im Fernsehsignal erscheint für die TV-Zuschauer. Es wird hierzu erneut auf3 und deren Beschreibung verwiesen.Additionally, color variations caused by changes in lighting conditions (sunlight, floodlight, clouds, shadows) or the properties of the advertising material (fabric, plastic, etc.) must be taken into account when calculating the texture. Finally, a manipulated television signal (manVE) is generated in which the advertisement (ellipse OB) is covered by a calculated texture (video patch VP) in such a way that the advertisement (ellipse OB) appears to be absent from the television signal for the TV viewer. For this purpose, 3 and their description.

Mittels des hier vorgestellten Videobearbeitungssystems 10 kann eine Werbung (Ellipse OB) mittels einer berechneten Textur, die final als Videopatch VP für ein aktuelles Videoeinzelbild VE zur Verfügung gestellt wird, überdeckt bzw. überblendet werden, wobei das Videopatch VP unter Berücksichtigung der Umgebung der zu überblendenden Werbung (Ellipse OB) laufend bzw. unter bestimmten Bedingungen angepasst wird. Selbstverständlich ist es auch denkbar, nicht nur eine Werbung (Ellipse OB) mit einer Textur zu überblenden, sondern statt der ursprünglichen Werbung eine andere Werbung einzublenden, ggf. in Kombination mit der berechneten Textur.By means of thevideo processing system 10 presented here, an advertisement (ellipse OB) can be covered or blended using a calculated texture, which is finally made available as a video patch VP for a current video frame VE, wherein the video patch VP is calculated taking into account the The environment of the ad to be blended (ellipse OB) is continuously adjusted or adjusted under certain conditions. Of course, it is also conceivable to not only blend an ad (ellipse OB) with a texture, but also to blend in another ad instead of the original one, possibly in combination with the calculated texture.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 10 2016 119 637 A1 [0002]DE 10 2016 119 637 A1 [0002]
• DE 10 2016 119 639 [0002]DE 10 2016 119 639 [0002]
• DE 10 2016 119 640 A1 [0002]DE 10 2016 119 640 A1 [0002]

Claims (10)

Translated fromGerman

Videoverarbeitungssystem (10), insbesondere als Teil eines Fernsehübertragungssystems, zur Verarbeitung von Videoeinzelbildern (VE, VEc) einer Videobildabfolge , insbesondere eines Videostreams, wobei das Videoverarbeitungssystem (10) dazu eingerichtet ist, zu jedem Videoeinzelbild (VE, VEc) wenigstens eine zugeordnete Bildmaske (PM, VM) und zugeordnete Kameradaten (KD) bereitzustellen und wobei das Videoverarbeitungssystem (10) aufweist:eine Videoeinzelbild-Manipulationseinheit (12), die dazu eingerichtet ist, jedes eingangsseitig eingehende Videoeinzelbild (VE, VEc) anzupassen und als manipuliertes Videoeinzelbild (manVE) ausgangsseitig auszugeben, derart, dass eine Videobildabfolge aus manipulierten Videoeinzelbildern (manVE) gebildet wird;eine Videopatch-Erzeugungseinheit (14), die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem (10) eingehende Videoeinzelbild (VE, VEc) ein zugeordnetes Videopatch (VP) bereitzustellen, wobei die Videoeinzelbild-Manipulationseinheit (12) dazu eingerichtet ist, das manipulierte Videoeinzelbild (manVE) basierend auf dem Videopatch (VP) zu erzeugen; wobei die Videopatch-Erzeugungseinheit (14) aufweist:- eine Texturpatch-Erzeugungseinheit (16), die dazu eingerichtet ist, basierend auf einem Videoeinzelbild (VE) und wenigstens einer diesem Videoeinzelbild (VE) zugeordneten Bildmaske (PM, VM) ein Texturpatch (TP) zu berechnen;- eine Referenzspeichereinheit (18), die dazu eingerichtet ist, wenigstens zwei Referenzbilder (RB1, RB2) mit jeweiligen Referenz-Texturpatches (RT1, RT2) zu speichern, wobei ein Referenzbild (RB1, RB2) einem Videoeinzelbild (VE) entspricht, auf dessen Basis das Texturpatch (TP) berechnet worden ist, wobei das Texturpatch als Referenz-Texturpatch (RT1, RT2) gespeichert wird;- eine Anpassungseinheit (20), die dazu eingerichtet ist, für jedes in das Videoverarbeitungssystem (10) eingegangene Videoeinzelbild (VEc) das zugeordnete Videopatch (VP) zu berechnen, wobei bei der Berechnung die wenigstens zwei gespeicherten Referenzbilder (RB1, RB2) und Referenz-Texturpatches (RT1, RT2) berücksichtigt werden.A video processing system (10), particularly as part of a television transmission system, for processing individual video images (VE, VEc) of a video image sequence, particularly a video stream, wherein the video processing system (10) is configured to provide at least one associated image mask (PM, VM) and associated camera data (KD) for each individual video image (VE, VEc), and wherein the video processing system (10) comprises:a video image manipulation unit (12) configured to adapt each individual video image (VE, VEc) arriving on the input side and output it as a manipulated individual video image (manVE) on the output side, such that a video image sequence is formed from manipulated individual video images (manVE);a video patch generation unit (14) configured to provide an associated video patch (VP) for each video frame (VE, VEc) entering the video processing system (10), wherein the video frame manipulation unit (12) is configured to generate the manipulated video frame (manVE) based on the video patch (VP); wherein the video patch generation unit (14) comprises:- a texture patch generation unit (16) configured to calculate a texture patch (TP) based on a video frame (VE) and at least one image mask (PM, VM) assigned to this video frame (VE);- a reference storage unit (18) configured to store at least two reference images (RB1, RB2) with respective reference texture patches (RT1, RT2), wherein a reference image (RB1, RB2) corresponds to a single video image (VE) on the basis of which the texture patch (TP) has been calculated, wherein the texture patch is stored as a reference texture patch (RT1, RT2);- an adaptation unit (20) configured to calculate the associated video patch (VP) for each single video image (VEc) input to the video processing system (10), wherein the at least two stored reference images (RB1, RB2) and reference texture patches (RT1, RT2) are taken into account during the calculation.Videoverarbeitungssystem (10) nachAnspruch 1, wobei eine Bildmaske eine Patchmaske (PM) ist, wobei die Patchmaske (PM) eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild (VE) ist, wobei die Patchmaske Pixel angibt, die in dem Videoeinzelbild (VE) zu manipulieren sind.Video processing system (10) according to Claim 1 , wherein an image mask is a patch mask (PM), wherein the patch mask (PM) is a binary mask with the same pixel resolution as the video frame (VE), wherein the patch mask specifies pixels to be manipulated in the video frame (VE).Videoverarbeitungssystem (10) nachAnspruch 2, wobei eine Bildmaske eine Vordergrundmaske (VM) ist, wobei die Vordergrundmaske (VM) eine binäre Maske mit gleicher Pixelauflösung wie das Videoeinzelbild (VE) ist, wobei die Vordergrundmaske (VM) Pixel angibt, die aufgenommene Objekte (VB) repräsentieren, welche von der Patchmaske (PM) identifizierte Bereiche (OB) abdecken.Video processing system (10) according to Claim 2 , wherein an image mask is a foreground mask (VM), wherein the foreground mask (VM) is a binary mask with the same pixel resolution as the video frame (VE), wherein the foreground mask (VM) indicates pixels representing recorded objects (VB) covering areas (OB) identified by the patch mask (PM).Videoverarbeitungssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Texturpatch-Erzeugungseinheit (16) ein Vorbedingungsmodul (22) aufweist, das dazu eingerichtet ist, das Erfüllen von einer oder mehreren Vorbedingung(en) zu überprüfen, und das Berechnen des Texturpatches (TP) nur bei Erfüllen der Vorbedingung(en) durchzuführen.Video processing system (10) according to one of the preceding claims, wherein the texture patch generation unit (16) comprises a precondition module (22) configured to check the fulfillment of one or more precondition(s) and to perform the calculation of the texture patch (TP) only if the precondition(s) are fulfilled.Videoverarbeitungssystem (10) nachAnspruch 4, wobei die Vorbedingung(en) eine oder mehrere aus der folgenden Aufzählung ist:die Texturpatch-Erzeugungseinheit (16) weist freie Berechnungskapazitäten auf;ein Bildrand eines Videoeinzelbildes (VE) befindet sich mehr als eine Pixelanzahl weg von einem nächst gelegenen Patchpixel der Patchmaske (PM);eine Vordergrundmaske (VM) weist mit einer Patchmaske (PM) eine flächige Überlappung auf, die weniger als ein Überlappungsgrenzwert beträgt; eine Vordergrundmaske (VM) und eine Patchmaske (PM) weisen keine flächige Überlappung auf;eine Vordergrundmaske (VM) weist mit einer Patchmaske (PM) eine flächige Überlappung während einer Zeitdauer auf, die größer ist als ein Zeitgrenzwert;ein aktueller Wert für eine Kamerabewegung, der Teil der Kameradaten (KD) des Videoeinzelbildes (VE) ist, ist kleiner als ein Bewegungsgrenzwert.Video processing system (10) according to Claim 4 , wherein the precondition(s) is one or more of the following list: the texture patch generation unit (16) has free computing capacity; an image edge of a video frame (VE) is located more than one pixel number away from a nearest patch pixel of the patch mask (PM); a foreground mask (VM) has a surface overlap with a patch mask (PM) that is less than an overlap threshold; a foreground mask (VM) and a patch mask (PM) have no surface overlap; a foreground mask (VM) has a surface overlap with a patch mask (PM) for a time period that is greater than a time threshold; a current value for a camera movement that is part of the camera data (KD) of the video frame (VE) is less than a movement threshold.Videoverarbeitungssystem (10) nachAnspruch 4 oder5, wobei die Texturpatch-Erzeugungseinheit (16) dazu eingerichtet ist, ein Videoeinzelbild (VE), die zugeordnete Patchmaske (PM) und die Kameradaten (KD) so lange zu speichern, bis die Vorbedingung(en) ein nächstes Mal erfüllt ist bzw. sindVideo processing system (10) according to Claim 4 or 5 , wherein the texture patch generation unit (16) is configured to store a video frame (VE), the associated patch mask (PM) and the camera data (KD) until the precondition(s) is/are fulfilled a next timeVideoverarbeitungssystem (10) nachAnspruch 6, wobei die Texturpatch-Erzeugungseinheit (16) dazu eingerichtet ist,ein Textur-Videoeinzelbild zu berechnen, das gleich ist wie das Videoeinzelbild (VE) außer in den Bereichen mit Patchpixeln basierend auf der Patchmaske (PM), undPixelfarben für die Patchpixel derart zu berechnen, dass das Textur-Videoeinzelbild von einem Betrachter wie ein real aufgenommenes Kamerabild wahrgenommen wird.Video processing system (10) according to Claim 6 , wherein the texture patch generation unit (16) is arranged to to calculate a texture video frame that is the same as the video frame (VE) except in the areas with patch pixels based on the patch mask (PM), and to calculate pixel colors for the patch pixels such that the texture video frame is perceived by a viewer as a real camera image.Videoverarbeitungssystem (10) nachAnspruch 7, wobei die Texturpatch-Erzeugungseinheit (16) ein Texturpatch-Extraktionsmodul (26) aufweist, das dazu eingerichtet ist, basierend auf dem berechneten Textur-Videoeinzelbild das Texturpatch (TP) in geometrisch normalisiertem Format zu erzeugen.Video processing system (10) according to Claim 7 , wherein the texture patch generation unit (16) comprises a texture patch extraction module (26) configured to generate the texture patch (TP) in geometrically normalized format based on the calculated texture video frame.Videoverarbeitungssystem (10) nach einem der vorhergehenden Ansprüche, wobei die Anpassungseinheit (20) dazu eingerichtet ist,ein erstes Videopatch (VP1) basierend auf einem ersten Referenzbild (RB1) und einem ersten Referenz-Texturpatch (RT1) zu bestimmen, ein zweites Videopatch (VP2) basierend auf einem zweiten Referenzbild (RB2) und einem zweiten Referenz-Texturpatch (RT2) zu bestimmen,ein auf das auszugebende Videoeinzelbild (VE, VEc) anwendbares Videopatch (VP) basierend auf dem ersten Videopatch (VP1) und dem zweiten Videopatch (VP2) zu berechnen, derart, dass während einer bestimmten Zeitdauer das erste Videopatch (VP1) und das zweite Videopatch (VP2) in Bezug auf die Farben gemischt werden.The video processing system (10) according to any one of the preceding claims, wherein the adaptation unit (20) is configured to:determine a first video patch (VP1) based on a first reference image (RB1) and a first reference texture patch (RT1);determine a second video patch (VP2) based on a second reference image (RB2) and a second reference texture patch (RT2);calculate a video patch (VP) applicable to the video frame (VE, VEc) to be output based on the first video patch (VP1) and the second video patch (VP2), such that the first video patch (VP1) and the second video patch (VP2) are mixed in terms of colors during a specific period of time.Videoverarbeitungssystem (10) nachAnspruch 9, wobei das anwendbare Videopatch (VP) berechnet wird nach der Formel:$$\begin{array}{l}anwendbaresVideopatch=alpha*erstesVideopatch+\\ \left(1-alpha\right)*zweitesVideopatch\end{array}$$

wobei alpha kontinuierlich zunimmt von 0 nach 1 von Videoeinzelbild zu Videoeinzelbild der Videobildabfolge während einer vorbestimmten Zeitdauer, wobei die Zeitdauer insbesondere einige Sekunden beträgt.Video processing system (10) according to Claim 9 , where the applicable video patch (VP) is calculated according to the formula:$$\begin{array}{l}anwendbaresVideopatch=alpha*erstesVideopatch+\\ \left(1-alpha\right)*zweitesVideopatch\end{array}$$

where alpha increases continuously from 0 to 1 from video frame to video frame of the video image sequence during a predetermined period of time, the period of time being in particular a few seconds.

Images