DieErfindung bezieht sich auf eine Vorrichtung zum Überblenden von Flachen mitvirtuellen Bildern oder Filmen währendeiner aufgezeichneten oder Live-Fernsehübertragung nach dem Oberbegriff desSchutzanspruches 1.TheThe invention relates to a device for blending surfaces withvirtual pictures or movies duringa recorded or live television broadcast according to the preamble ofProtection claim 1.
Stand der Technik:State of the art:
Inder heutigen Praxis sind in der modernen Fernsehtechnik viele Verfahrenbekannt, mit denen sich in ein normales Fernsehbild ein zweitesBild virtuell ein- oder besser überblendenlasst, z. B. die wechselnde Wetterkarte oder unterschiedliche Nachrichtenbilderim Hintergrund eines Fernsehsprechers. Das bedeutet, daß sich dasreale Bild z. B. im Fernsehstudio von dem, das zum Fernsehschirmzuhause beim Zuschauer gesendet wird, unterscheidet.InToday's practice is many methods in modern television technologyknown, with which in a normal television picture a secondVirtual image on or better crossfadelet, for. B. the changing weather map or different news imagesin the background of a television speaker. That means that thatreal picture z. B. in the TV studio of the, to the television screenhome when the viewer is sent differs.
Dieswird heute zum Beispiel mit der so genannten Bluebox-Technik oderauch Chromakey-Verfahren bewerkstelligt, welche dem gängigen Stand derTechnik entsprechen. Um etwas ersetzen oder überblenden zu können, muß ein darinintegriertes Bildanalyseverfahren zuerst erkennen, was es zu ersetzenhat, das ebenfalls integrierte Bildsyntheseverfahren beschäftigt sichdann damit, wie und womit es ersetzt wird. Wie der Name schon sagt,benutzt diese Technologie Farbinformationen, um Unterscheidungenim aufgenommenen Bild zu treffen, bleibt also in einer einzigenBetrachtungsebene.ThisToday, for example, with the so-called bluebox technology orChromakey process accomplished, which is the current state of theTechnique correspond. In order to be able to substitute or crossfade, one has to be in itintegrated image analysis method first recognize what to replace ithas, also integrated image synthesis method dealsthen with how and with what it is replaced. As the name indicates,This technology uses color information to make distinctionsin the captured image, so remains in a singleViewing plane.
ZumBeispiel wird dazu im Aufnahmestudio eine definierte, einheitlichgefärbte,meist blaue Flache aufgestellt, die von den realen Zuschauern im Studiovor Ort auch als solche wahrgenommen wird: sie sehen eine blaueFläche.To theExample becomes in the recording studio a defined, uniformcolored,mostly blue surface set up by the real onlookers in the studiois perceived locally as such: they see a blueArea.
DasChromakey-Geräthat nun, vereinfacht gesagt, die Aufgabe, in dem von einer herkömmlichenFernsehkamera aufgenommenen Bild alles was Blau ist, auszuschneidenund durch etwas anderes zu ersetzen, z. B. das Bild eines Hauses.Dieses Hausbild muß vorherdem Chromakey-Gerätdigital zur Verfügunggestellt und an die Größe der blauen Fläche angepasstwerden bevor es „eingesetzt” werdenkann, um die blaue Flache zu „überlagern”. Die nötige Rechnerleistungwird von einem externen oder integrierten PC erledigt.TheChromakey devicehas now, in simple terms, the task in which of a conventionalTV picture taken everything that is blue to cut outand replace it with something else, eg. For example, the picture of a house.This house picture must be beforethe Chromakey devicedigitally availableand adapted to the size of the blue areabefore being "used"can to "overlay" the blue surface. The necessary computer poweris done by an external or integrated PC.
Erstnach der Synthese wird das „gemischte” Bild über einenSender zum Fernsehzuschauer nach hause übermittelt. Der sieht nun nichtsblaues mehr, sondern das Bild des Hauses in das eigentliche Fernsehbildunterschiedslos integriert. Der Studiogast sieht immer noch nurdie blaue Flache. Die als letztes genannte Übertragung vom Sender zum Empfänger (Zuschauer)ist nicht Gegenstand dieser Ausführung. Generellkann man also sagen, daß dieBlue-Box- oder Chromakey-Verfahren, die Farbwerte zur Unterscheidungbenutzen, nur unter sehr speziellen Produktionsbedingungen (wiez. B. eben die Farbe oder eine perfekt abgestimmte Beleuchtung)gut funktionieren, die eigentlich nur im Studio zu finden sind. Dortsind sie technisch ausgereift, funktionieren weitgehend problemlosund fürden Fernsehzuschauer unsichtbar, haben sich in der Praxis in ihremEinsatzgebiet durchgesetzt.Firstafter the synthesis, the "mixed" image becomes aTransmitter to the television viewer sent home. He sees nothing nowblue more, but the image of the house in the actual television pictureintegrated without distinction. The studio guest still only looksthe blue surface. Last transmission from sender to receiver (viewers)is not the subject of this embodiment. As a general ruleSo you can say that theBlue box or chromakey method, the color values for distinctionuse only under very specific production conditions (such asz. B. just the color or a perfectly matched lighting)work well, which are actually only found in the studio. Thereif they are technically mature, they work largely problem-freeand forinvisible to the television viewer, have in practice in theirField of application enforced.
Auftretende Probleme:Occurring problems:
Versuchtman nun aber, diese Technik des Bluebox- oder Chromakey-Verfahrensauf andere Anwendungsgebiete zu übertragen,entstehen trotz aller technischen Ausgereiftheit wie unten angeführt, neue,bisher weitgehend ungelösteProbleme, insbesondere bei Außenaufnahmen,bei Kameraschwenks und -Zooms, bei Live-Übertragungenund natürlich auchverstärktbei deren Kombinationen untereinander.Triesbut now, this technique of Bluebox or Chromakey methodto transfer to other applications,despite all technical maturity, as stated below, new,previously largely unresolvedProblems, especially when shooting outdoors,in camera pans and zooms, during live broadcastsand of course alsoreinforcedin their combinations with each other.
Diesesind unter anderem:
- • Prinzipiell funktioniert dasChromakey-Verfahren mit jeder Farbe, nicht nur mit Blau. Dies verhindert abernicht die Probleme, die entstehen, wenn auch andere Dinge im vonder Kamera erfassten Aufnahmebereich (des Studios) die gleiche Farbe habenwie der Chromakey-Bereich, z. B. ein blaues Mikro, ein blaues Hemd,blaue Augen oder auch ein blauer Himmel, denn diese sollten ja nicht überblendetwerden, würdenes dann aber aufgrund fehlender Unterscheidungsmöglichkeit. Zumindest sind unerwünschte Flimmer-Erscheinungendie Folge.
- • Wiebereits ausgeführt,funktioniert das Chromakey-Verfahren prinzipiell mit allen Farben.Nur mit Einschränkungenallerdings bei Weiß und Schwarz,da die erstere eigentlich aus allen Farben besteht und letzteredurch das Fehlen jeglicher Farbe entsteht. Und genau diese beidenFarben sind aber in fast allen Werbebotschaften enthalten, weilsie gute Kontraste bilden und somit für den Zuschauer sehr gut erkennbarsind. Somit fallen bestehende, beschriftete Werbebanden als quasi „Bluebox-Hintergrund” für ein eventuelles Chromakey-Verfahrenschon mal aus.
- • WeitereRänderproblemekönnenentstehen, wenn sich Dinge direkt vor der blauen Fläche befinden(Unschärfenbei der Definition der Innenränder)und sich womöglichauch noch bewegen
- • Wenndie Kamera sich bewegt oder schwenkt, da wird sehr schnell die heuteverfügbareRechnerleistung zu gering und deshalb die Verzögerung bei Live-Übertragungenzu groß
- • Dieperspektivisch korrekte Zusammenführung der unterschiedlichenBildteile ist nicht gewährleistet,denn die zur Unterscheidung verwendeten Farbinformationen „blau odernicht blau” befinden sichin einer gemeinsamen, nur 2-dimensionalen Ebene und kennen kein „nah undfern”.
- • Zuschauer,die live bei den Aufnahmen dabei sind, sehen nur eine eintönige, einfarbigeFläche
These include:- • In principle, the Chromakey process works with any color, not just blue. However, this does not prevent the problems that arise when other things in the camera's captured recording area (the studio) are the same color as the Chromakey area, eg. As a blue micro, a blue shirt, blue eyes or even a blue sky, because these should indeed not be blended, but then it would be due to lack of discrimination. At least unwanted flicker appearances are the result.
- • As stated above, the Chromakey process works in principle with all colors. Only with limitations, however, in white and black, since the former is actually made of all colors and the latter is due to the lack of any color. And exactly these two colors are contained in almost all advertising messages, because they form good contrasts and thus are very well recognizable to the viewer. Thus, existing, labeled adboards as a quasi "Bluebox-background" for a possible Chromakey process ever.
- • Other edge problems can arise when things are directly in front of the blue surface (blurring in the definition of the inner edges) and may even move
- • If the camera is moving or panning, the computing power available today will quickly become too low and therefore the delay in live broadcasts becomes too great
- • The perspectively correct merging of the different parts of the image is not guaranteed, because the color information used to distinguish "blue or not blue" are in a common, only 2-dimensional Level and do not know "near and far".
- • Spectators who are present during the recording see only a monotonous, monochrome surface
DerErfindung liegt also die Aufgabe zugrunde, eine Vorrichtung dereingangs erwähntenArt zu schaffen, mit deren Hilfe die generelle Aufgabe gelöst und diebeschriebenen Probleme vermieden werden können.Of theThe invention is therefore based on the object, a device ofmentioned in the beginningTo create kind, with whose help the general task solved and thedescribed problems can be avoided.
Einevon mehreren möglichenAusführungsartenwird nun anhand auch von (schematischen, handgezeichneten und nichtmaßstabsgerechten) Zeichnungendargestellt und im folgenden nähererläutert:
AlsAnwendungsbeispiel soll hier eine Fernseh-Live-Fußballübertragungin verschiedene Länderdienen. Dabei soll es möglichsein, auf den Werbebanden des Stadions virtuell länderspezifischunterschiedliche Werbebotschaften einzublenden, ohne dass die Stadionbesucherin ihrem Blick auf die Werbebanden beeinträchtigt werden. Dies hätte zurFolge, dass die Einnahmen aus Werbung immens ansteigen würden, dennman könntesie z. B. gemäß der Länderanzahlvervielfachen und auch maßschneidern.Es macht doch nicht wirklich Sinn, z. B. in heißen Ländern wie Afrika Werbung für Heizungen zumachen, sondern eher fürKlimaanlagen. Selbst die Produkte und damit auch die Werbung vonso genannten Global Playern müssennicht in aller Welt benötigtwerden.One of several possible embodiments will now be described with reference to (schematic, hand-drawn and not drawn to scale) drawings and explained in more detail below:
As an example of use here is a live TV football broadcast in different countries. It should be possible to display on the advertising boards of the stadium virtually country-specific different advertising messages without the stadium visitors are impaired in their view of the advertising boards. This would mean that the revenue from advertising would increase immensely, because you could z. B. multiply and tailor according to the number of countries. It does not really make sense, for. For example, in hot countries like Africa, they promote heating systems, but rather air conditioners. Even the products and thus the advertising of so-called global players do not have to be needed all over the world.
(Generellist zu virtueller Werbung anzumerken, dass in Deutschland gemäß Rundfunkstaatsvertrag §7 die Einfügung virtuellerWerbung in Sendungen zulässigist, wenn am Anfang und am Ende der betreffenden Sendung daraufhingewiesen wird und durch sie eine am Ort der Übertragung ohnehin bestehendeWerbung ersetzt wird. Bei vorliegender Erfindung ist dies der Fall,sie verstößt alsonicht gegen geltendes Recht.)(As a general ruleis to be noted to virtual advertising that in Germany according to broadcasting state treaty §7 the insertion of virtualAdvertising in programs allowedis if at the beginning and at the end of the shipment in questionis pointed out and through them at the place of the transfer anywayAdvertising is replaced. In the present invention this is the caseso she breaksnot against applicable law.)
Obengenannte Aufgabe wird also erfindungsgemäß durch eine Vorrichtung mitden Merkmalen des Anspruchs 1 gelöst,
da das angeführte Positionserfassungsgerät (8)in seiner besonderen Ausgestaltung und in Kombination mit dem Grundkörper (4)es ermöglicht,von der bisher üblichen(zu wenig Informationen liefernden), zweidimensionalen Positionsbetrachtungin die 3D-Ansicht zu wechseln (nachfolgend beschrieben). Natürlich muß auch hiereine definierte „Projektionsfläche” vorhandensein, an deren Stelle dann im Fernsehbild die Überlagerung stattfindet. DieseAufgabe wird von den Grundkörpern(4) oder Flächenerfüllt,auf die zwar real nichts wirkliches projiziert wird, wie z. B. aufeine Filmleinwand, sondern die nur als „Platzhalter” den „Rahmen” für die virtuelleEinblendung bilden. An dieser Stelle soll dann quasi ein Teil desFernsehbildes ausgestanzt und durch ein anderes ersetzt werden.The above object is thus achieved by a device having the features of claim 1,
because the mentioned position detection device ( 8th ) in its particular embodiment and in combination with the basic body ( 4 ) makes it possible to switch from the usual (not enough informative), two-dimensional position analysis in the 3D view (described below). Of course, here too a defined "projection surface" must be present, in its place then takes place in the television image, the superposition. This task is performed by the basic bodies ( 4 ) or surfaces to which nothing real is actually projected, such as B. on a movie screen, but only as a "placeholder" form the "frame" for the virtual overlay. At this point, then quasi a part of the television picture is punched out and replaced by another.
1 zeigteine schematische Draufsicht des genannten Beispiels eines Fußballstadions(1) mit den Zuschauertribünen (2), dem Spielfeld(3), zwei von mehreren möglichen Grundkörpern (4),die sich zwischen Spielfeld (3) und Tribüne (2)befinden und 3 von mehreren möglichenKamerapositionen (5). Erfindungsgemäß können die bereits jetzt für Werbungeingesetzten Banden an 3 Seiten des Spielfelds die Funktion derGrundkörper(4) übernehmen.Auf der 4. Seite befinden sich üblicherweisedie Fernsehkameras, die ihre eigene Seite naturgemäß nichteinsehen können. 1 shows a schematic plan view of the example of a football stadium ( 1 ) with the spectator stands ( 2 ), the playing field ( 3 ), two of several possible basic bodies ( 4 ), located between the playing field ( 3 ) and grandstand ( 2 ) and 3 of several possible camera positions ( 5 ). According to the invention, the bands already used for advertising on 3 sides of the playing field can function as the basic body ( 4 ) take. On the 4th page are usually the television cameras, which naturally can not see their own page.
2 zeigtschematisch den Weg eines Fernsehbildes von einem herkömmlichenBilderfassungsgerät(6) (Fernsehkamera) die sich auf den Positionen (5)befindet, bis hin zu einem Fernsehgerät (7), irgendwo imAusland. Mit der Kamera (6) ist fest verbunden ein speziellesPositionserfassungsgerät (8).Gemäß einerWeiterbildung des Schutzanspruchs 1 kann die Form der Grundkörper (4)unterschiedlich sein, z. B. ein längliches Rechteck (4a), dasentweder als solches auf dem Boden steht oder z. B. an einem Zuschauerabsperrgitterbefestigt ist, oder ein kreisförmigesGebilde (4b), das z. B. hinter einem Tor liegt. Gleichförmige geometrischeFlächen sindkein Muß abervorzuziehen, da sie wegen der einfacheren Form weniger Rechenleistungbei Bildanalyse und -synthese erfordern. Auch die Oberfläche istnicht entscheidend, da bei der Positionsbestimmung durch das Erfassungsgerät (8)ein bestimmtes Muster entsteht, das immer erkannt wird. Jedoch ist auchhier aus gleichen gründendie einfache, „glatte” Oberfläche vorzuziehen. 2 schematically shows the path of a television picture from a conventional image acquisition device ( 6 ) (TV camera) located on the positions ( 5 ), right through to a TV set ( 7 ), somewhere abroad. With the camera ( 6 ) is a special position detection device ( 8th ). According to one embodiment of the protection claim 1, the shape of the basic body ( 4 ) be different, for. B. an elongated rectangle ( 4a ), which is either as such on the ground or z. B. is attached to an audience safety gate, or a circular structure ( 4b ), the Z. B. is behind a goal. However, uniform geometric surfaces are not a must because they require less computational power for image analysis and synthesis because of the simpler shape. Also, the surface is not critical, since in the position determination by the detection device ( 8th ) creates a certain pattern that is always recognized. However, for the same reasons, too, the simple, "smooth" surface is preferable.
DieAusprägungder Erfindung gestattet es weiterhin gemäß dem nächsten Schutzanspruch, dassdie Farbe der Grundkörper(4) fürdas Funktionieren der Vorrichtung nicht relevant ist, denn als Positionierungs-und Unterscheidungskriterium wird nicht wie beim Chromakey-Verfahrensie, sondern die räumlicheAusdehnung (ermittelt überdie Entfernung) des Grundkörpers(4) verwendet. Die Vorrichtung ist somit gemäß oben genanntemAnwendungsbeispiel geeignet, z. B. für die Zuschauer in einem Sportstadion(1) ständigWerbe-Botschaftenzu präsentieren,die ja schließlicheinen bedeutenden wirtschaftlichen Faktor darstellen. Die Grundkörper (4) dienendaher nicht nur als „Projektionsfläche” für virtuelleEinblendungen, sondern gleichzeitig auch für den realen Betrachter (nichtFernsehzuschauer) als Trägerfür beliebigesBildmaterial (auch bewegte Bilder).The embodiment of the invention further allows, according to the next claim for protection, that the color of the basic body ( 4 ) is not relevant to the functioning of the device, because as positioning and distinguishing criterion is not like the Chromakey method, but the spatial extent (determined over the distance) of the body ( 4 ) used. The device is thus suitable according to the above-mentioned application example, for. B. for the spectators in a sports stadium ( 1 ) to constantly present promotional messages that are, after all, a significant economic factor. The basic body ( 4 ) therefore not only serve as a "projection screen" for virtual overlays, but at the same time also for the real viewer (not television viewers) as a carrier for any picture material (even moving pictures).
Sehrwichtig dabei ist nach einer Weiterbildung des nächsten Schutzanspruchs, dassdie Zuschauer auf der Tribüne(2) die Werbebotschaften ständig, d. h. auch während einervirtuellen Überblendungerkennen können,da ja hier im Stadion sonst schon eine große Anzahl an Werbekonsumentenentgehen würden.Beim Chromakey-Verfahrenmüssten sieauf eine „leere” blaueFluche schauen.It is very important for a further development of the next protection claim that the spectators in the stands ( 2 ) the advertising messages constantly, ie even during a virtual Überblen can recognize, since here in the stadium would otherwise miss a large number of advertising consumers. In the Chromakey process, they would have to look at an "empty" blue curse.
Gemäß einerWeiterbildung im 5. Schutzanspruch funktioniert die Vorrichtungunabhängigdavon, wo sich die Grundkörper(4) befinden, Hauptsache sie sind im Sichtbereich des Bild-(6) und Positionserfassungsgeräts (8). Sie können stehen,liegen, hängenetc., sich in einem Fernsehstudio, innerhalb oder auch außerhalbeiner Sportstättez. B. in beliebiger Landschaft befinden, wo auch immer man eine Live-Fernsehübertragungmachen möchte.Selbstverständlichist es möglich,an all diesen Orten neue Grundkörper(4) zu installieren, ein wesentliches Merkmal ist aber,dass man fast jeden beliebigen, bereits vorhandenen, wie oben beschriebenenGrundkörper(4) verwenden kann.According to a development in the 5th protection claim, the device works regardless of where the main body ( 4 ) are the main thing they are in the field of vision 6 ) and position sensing device ( 8th ). You can stand, lie, hang, etc., in a TV studio, inside or outside a sports venue z. B. in any landscape, wherever you want to make a live TV broadcast. Of course, it is possible in all these places new basic body ( 4 However, an essential feature is that you can almost any, already existing, as described above basic body ( 4 ) can use.
Gemäß einerWeiterbildung im 6. Schutzanspruch finden noch die zur Zeit gängigstenGrundkörper(4) eine spezielle Erwähnung.3 zeigtin A den Querschnitt einer „Rolltapete” mit einemGehäuse(9), zwei sich darin befindlichen Rollen (10),auf denen sich aufgewickelt als Bildträgermaterial z. B. eine Folie(11) mit mehreren Einzelbildern befindet. Die Rollen (10)werden durch ein Steuergerätin Bewegung gesetzt, um ein neues Bild zu „laden”. Das Gehäuse (9) ist nach vorneoffenen, so dass die Bilder der Folie (11) von Zuschauernzu sehen sind. Die Folie (11) bildet nach vorne eine glatte,länglichrechteckige Fläche,die ohne weiteres als Grundkörper(4) dienen kann. Als weiterer Grundkörper (4) kann der in3B dargestelltedienen, im Prinzip einfach ein länglicherBildschirm oder Monitor (12). Vergrößert man seine Oberfläche wiein C, erkennt man einzelne Bildpunkte (13), die z. B. ausLED's, Leuchtdioden bestehenkönnen.Auch sie, oder ein davor sitzendes Schutzglas, geben in ihrer Summeeinen guten Grundkörper(4) mit länglicherglatter Oberfläche.According to a further development in the 6th protection claim, the currently most common basic bodies ( 4 ) a special mention. 3 shows in A the cross section of a "roll wallpaper" with a housing ( 9 ), two roles ( 10 ), on which wound up as image carrier material z. B. a foil ( 11 ) with multiple frames. The roles ( 10 ) are set in motion by a controller to "load" a new image. The housing ( 9 ) is open at the front so that the images of the film ( 11 ) can be seen by spectators. The foil ( 11 ) forms to the front a smooth, oblong rectangular surface, which readily as basic body ( 4 ) can serve. As another basic body ( 4 ) can the in 3B illustrated, in principle simply an elongated screen or monitor ( 12 ). If one enlarges its surface as in C, one recognizes individual pixels ( 13 ), the z. B. LED's, LEDs can exist. They too, or a protective glass sitting in front of them, together give a good basic body ( 4 ) with an elongated smooth surface.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruchgegeben. Diese Weiterbildung ermöglichtes, dass der Grundkörper(4) quasi von sich aus aktiv dem Positionserfassungsgerät (8)mitteilt, wo er sich befindet, welche Ausmaße er hat oder ob sich etwaszwischen ihm und einem Bilderfassungsgerät (6) befindet. Dazu sindzumindest an den Randkonturen (14) des Grundkörpers (4)gesonderte Signalgeber (15a) anzubringen. Wird das Signal(16) wie in4 zu sehen, vom Positionserfassungsgerät (8)nicht mehr empfangen, muß sichan dieser Stelle etwas zwischen Grundkörper (4) und dem gekoppeltenBilderfassungsgerät(6) befinden. Vorteilhafterweise werden auch auf der sichtbarenOberflächedes Grundkörpers(4) Signalgeber (15b) angebracht. Je mehr, umsohöher istdie Auflösungund umso genauer ist die Positionserfassung. Allerdings nimmt danndie Schärfedes real gezeigten Bildes ab, es ist also ein sinnvoller Kompromisszu wählen.A further advantageous embodiment of the invention is given in the next protection claim. This development makes it possible that the main body ( 4 ) virtually active on its own the position detection device ( 8th ) tells you where it is, what its dimensions are, or if there is something between it and an image capture device ( 6 ) is located. For this purpose, at least at the edge contours ( 14 ) of the basic body ( 4 ) separate signal transmitter ( 15a ). Is the signal ( 16 ) as in 4 to be seen by the position acquisition device ( 8th ) is no longer received, something must at this point between basic body ( 4 ) and the coupled image capture device ( 6 ) are located. Advantageously, also on the visible surface of the basic body ( 4 ) Signal transmitter ( 15b ) appropriate. The more, the higher the resolution and the more accurate the position detection. However, then decreases the sharpness of the real picture, so it is a wise compromise to choose.
Ist,wie im vorherigen Schutzanspruch beschrieben, der Grundkörper (4)bereits mit signalgeberartigen Vorrichtungen wie z. B. LED's (13) bestückt, kannman auch diese ein entsprechendes Signal (16) aussendenlassen oder einzelne durch solche ersetzen, die ein derartiges Signal(16) aussenden können.Is, as described in the previous protection claim, the main body ( 4 ) already with signaling device-like devices such. B. LEDs ( 13 ), you can also send this a corresponding signal ( 16 ) or substitute individual ones with such a signal ( 16 ) can send out.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im 8. Schutzanspruchgegeben, denn bei den abgestrahlten Signalen (16) muß es sich,um vom Zuschauer – egalob real oder vor dem Fernseher – unbemerktzu bleiben, um fürihn außerhalbseiner Wahrnehmung liegende, unsichtbare Signale handeln, wie z.B. Infrarot, Wärmestrahlung,Ultraviolett, spezielles Laserlicht, Radarstrahlen oder aber auchUltraschall o. ä.etc. Wichtig dabei ist natürlich auch,dass die Signale (16) mit dem Positionserfassungsgerät (8)derart abgestimmt sind, dass dieses sie auch empfangen und „lesen” kann.A further advantageous embodiment of the invention is given in the 8th protection claim, because in the radiated signals ( 16 ), it must, in order to remain unnoticed by the viewer - whether real or in front of the TV - to act for him lying outside his perception, invisible signals such. As infrared, heat radiation, ultraviolet, special laser light, radar, or even ultrasound o. Ä., Etc. It is important, of course, that the signals ( 16 ) with the position detection device ( 8th ) are tuned so that they can also receive and "read".
Vorzugsweisebesteht die Vorrichtung gemäß der Weiterbildungdes nächstenSchutzanspruchs aus den (normalerweise standardmäßig vorhandenen) Modulen Grundkörper (GK)(4) und Bilderfassungsgerät (BE) (6) sowie denbeiden Zusatzmodulen Positionserfassungsgerät (PE) (8) und dem Bildanalyse-/-synthesegerät (BAS)(17), das sich (wie2 zeigt)im Normalfall im Übertragungswagen(Ü-Wagen)(18) zusammen mit dem Zentralbildmischpult (19)befindet. Charakteristischerweise ist das Positions-(8)mit dem Bilderfassungsgerät(6) und das Bildanalyse-/-synthesegerät (17) mit dem Zentralbildmischpult(ZM) (19) verbunden. Zwischen Bilderfassungsgerät (6)und Ü-Wagen(18) befindet sich ein so genanntes Control Unit (CU) (20),in dem bereits erste Verarbeitungen des Bildsignals geschehen, dieaber hier nicht naher behandelt und nur der Vollständigkeithalber erwähntwerden.Preferably, the device according to the development of the next protection claim from the (normally standard available) modules basic body (GK) ( 4 ) and image acquisition device (BE) ( 6 ) as well as the two add-on modules Position Detection Device (PE) ( 8th ) and the image analysis / synthesis device (BAS) ( 17 ), which (like 2 normally shows in the OB truck (OB truck) ( 18 ) together with the central image mixing console ( 19 ) is located. Characteristically, the positional ( 8th ) with the image acquisition device ( 6 ) and the image analysis / synthesis device ( 17 ) with the central image mixing console (ZM) ( 19 ) connected. Between image capture device ( 6 ) and OB ( 18 ) there is a so-called Control Unit (CU) ( 20 ), in which already first processing of the image signal happen, but which are not dealt with here and only for the sake of completeness mentioned.
Diemodulare Bauweise gestattet es nun, bereits bestehende, vorhandeneStandardtechnik zu nutzen und mit einzubeziehen und gleichzeitigvöllig flexibelauf alle technischen Anforderungen zu reagieren. Dies spart Zeit,Kosten und technische Ressourcen.Themodular design now allows existing, existing onesStandard technology to use and involve and at the same timecompletely flexibleto respond to all technical requirements. This saves timeCosts and technical resources.
Gemäß einerWeiterbildung des nächsten Schutzanspruchs10, ist das Bildanalyse-/-synthesegerät (17) nicht nur aufGrund seiner datenverarbeitungstechnischen Funktionen die Schnittstellezwischen den Modulen, sondern hat auch die entscheidende Aufgabe,als Verbindungsglied, Adapter oder Andockstelle zwischen bestehender,vorhandener Film- und neuer Technik zur virtuellen Einblendung zudienen.According to a development of the next protective claim 10, the image analysis / synthesis device ( 17 ) not only because of its data processing functions, the interface between the modules, but also has the crucial task of serving as a link, adapter or docking point between existing, existing film and new technology for virtual overlay.
Dieim Schutzanspruch 11 beschriebene Weiterbildung, nämlich diebauliche Trennung zwischen Positionserfassungsgerät (8)und Standard-Bilderfassungsgerät(6) ist natürlichsinnvoll und nötig,da normale „Kameras” überhauptnicht in der Lage sind, die Position des Grundkörpers (4) und evtl.Hindernisse davor, geeignet zu erkennen. Darüber hinaus ist es technischund ökonomischgesehen fragwürdigund daher weniger sinnvoll, mit riesigem Aufwand eine Fernsehkamerazu entwickeln, in der diese Fähigkeitintegriert ist.The development described in the protection claim 11, namely the physical separation between position detection device ( 8th ) and standard image capture device ( 6 ) is of course useful and necessary, since normal "cameras" are not able at all, the position of the main body ( 4 ) and possibly obstacles from being able to recognize it. Moreover, it is technically and economically questionable and therefore less useful to develop with huge effort a television camera in which this ability is integrated.
Dievorteilhafte Ausbildung im Schutzanspruch 12 ermöglicht es weiterhin, über geeignete Adapter(24) ein und dasselbe Positionserfassungsgerät (8)mit den unterschiedlichsten Standard-Bilderfassungsgeräten (6)zu verbinden und zu kombinieren. Die Einsparung an technischem Anpassungs- und Änderungsaufwandist enorm, insbesondere natürlichauch der Kosten.The advantageous embodiment of protection claim 12 also makes it possible, via suitable adapter ( 24 ) one and the same position detection device ( 8th ) with a wide variety of standard image acquisition devices ( 6 ) and combine. The saving of technical adjustment and modification effort is enormous, especially, of course, the cost.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im 13. Schutzanspruchgegeben, denn wie die Realitätzeigt, sind heutzutage die große Mehrheitaller Grundkörper(4) nicht in der Lage, selbständig und aktiv eigene Signale(16) auszusenden, anhand denen die Position auszumachenwäre. Diesbedeutet, dass das Positionserfassungsgerät (8) primär selbstden Grundkörperaktiv orten können muß und erstsekundär,alternativ in der Lage ist, die grundkörpereigenen Signale (6)zu erkennen (Passivortung). Siehe dazu auch die Beschreibung zu Schutzanspruch15.A further, advantageous embodiment of the invention is given in the 13th protection claim, because as reality shows, today the vast majority of all basic bodies ( 4 ) are not able to independently and actively generate their own signals ( 16 ) to identify the position. This means that the position acquisition device ( 8th ) primary itself must be able to locate the main body actively and only secondarily, alternatively able, the fundamental body signals ( 6 ) (passive location). See also the description of protection claim 15.
EineWeiterbildung nach Schutzanspruch 14 beschreibt, dass es sich beidem Signal (27),6 um unterschiedlicheArten von Signalen handeln kann, Hauptsache, sie sind zur Entfernungsmessung geeignetund fürden Zuschauer (30) auf der Tribüne (2) im Stadion(1) oder zuhause am Fernseher (7) nicht zu sehen.Analog zu Schutzanspruch 8 können diesz. B. Infrarot, Wärmestrahlung,Ultraviolett, spezielles Laserlicht, Radarstrahlen oder aber auchUltraschall o. ä.etc. sein.A further development according to protection claim 14 describes that the signal ( 27 ) 6 can be different types of signals, the main thing, they are suitable for distance measurement and for the viewer ( 30 ) in the stands ( 2 ) in the stadium ( 1 ) or at home on the TV ( 7 ) not to see. Analogous to protection claim 8, this z. As infrared, heat radiation, ultraviolet, special laser light, radar beams or even ultrasound o. Ä., Etc. be.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im Schutzanspruch15 gegeben. Durch die zusätzlicheNutzung der 3. Dimension (Tiefe) ist es nicht nur möglich, denGK (4) zweifelsfrei zu identifizieren, sondern auch eindeutigeAussagen darübertreffen zu können,ob etwas Bestandteil des GK (4) ist, sich davor oder dahinterbefindet.A further advantageous embodiment of the invention is given in the protection claim 15. Due to the additional use of the 3rd dimension (depth), it is not only possible to use the GK ( 4 ) to unambiguously identify, but also to be able to make clear statements about whether something is part of the GK ( 4 ), is in front of or behind it.
5 zeigtuns hierbei einen GK (4), davor einen Spieler (29)und dahinter einen Zuschauer (30) in einer Frontalansicht(E), bei der das BE (6), falls z. B. alle 3 „Körper” die gleicheFarbe hätten,quasi nur die 2-dimensionaleProjektionsfläche(F) sieht, eine Seitenansicht (G), bei der man nur in Verbindung/Vergleichmit (F) ein „davor” und „dahinter” erkenntund eine schrägeDraufsicht (H), die erst die wirklichen Verhältnisse erkennen lässt. Letztereist nur mit Höhe,Breite und Tiefe, d. h. mit allen drei Dimensionen zu erzeugen. 5 shows us a GK ( 4 ), in front of it a player ( 29 ) and behind it a spectator ( 30 ) in a frontal view (E), where the BE ( 6 ), if z. B. all 3 "body" would have the same color, almost only the 2-dimensional projection surface (F) sees a side view (G), in which one only in conjunction / comparison with (F) a "before" and "behind" recognizes and an oblique top view (H), which reveals only the real conditions. The latter can only be created with height, width and depth, ie with all three dimensions.
6 zeigtuns als Beispiel füreine Entfernungsmessung dazu ein PE (8) mit einer Sender-/Empfängereinheit(SE) (25) (die sich auch im Innern des Geräts befindenkönnte), über einenAdapter (24) fest und parallel verbunden mit dem BE (6), ausgestattetmit einem Objektiv (26). Vorzugsweise haben BE (6)und PE (8) das gleiche „Blickfeld”. SE (25) und Objektiv(26) zeigen in die exakt gleiche Richtung, der hier schematisch dargestellteAbstand (AA) ist real absolut minimal und vor allem auch im Verhältnis zumAbstand bis zum GK (4) (Spielfeldbreite bis zu 100 m) zuvernachlässigen. 6 shows us an example of a distance measurement to a PE ( 8th ) with a transmitter / receiver unit (SE) ( 25 ) (which could also be inside the device), via an adapter ( 24 ) fixed and connected in parallel to the BE ( 6 ), equipped with a lens ( 26 ). Preferably, BE ( 6 ) and PE ( 8th ) the same "field of vision". SE ( 25 ) and lens ( 26 ) point in the exact same direction, the distance (AA) schematically shown here is absolutely minimal in absolute terms and above all in relation to the distance up to the GK (FIG. 4 ) (Field width up to 100 m) to neglect.
DieSE (25) sendet nun ständigein oder mehrere Signale (27), immer in gleicher Richtungwie das BE (6). Gelangt nun ein Grundkörper (4), ein Vordergrund,z. B. Spieler (29) oder ein Hintergrund z. B. Zuschauer(30) in das „Blickfeld”, werdendiese vom Signal (27) „getroffen” und reflektieren es als Signal (28)in die entgegen gesetzte Richtung zum SE (25) zurück. Diesgeschieht natürlichin Sekundenbruchteilen und mehrmals pro Sekunde, auch in breiterer Streuung,um eine größere Fläche abzudecken.Die BE (6) nimmt währendder ganzen Zeit das normale Bild auf.These ( 25 ) constantly sends one or more signals ( 27 ), always in the same direction as the BE ( 6 ). If now a basic body ( 4 ), a foreground, z. B. Player ( 29 ) or a background z. B. Spectators ( 30 ) into the "field of vision", these are replaced by the signal ( 27 ) And reflect it as a signal ( 28 ) in the opposite direction to the SE ( 25 ) back. This happens, of course, in fractions of a second and several times a second, even in a wider spread to cover a larger area. Thieves ( 6 ) takes the normal picture during the whole time.
Dasich Vordergrund (29), der GK (4) und der Hintergrund(30) in unterschiedlicher Entfernung zum SE (25)befinden und sich die Signale mit gleich bleibender Geschwindigkeitbewegen, brauchen sie unterschiedlich lange, um die Strecken zurück zu legen. Durchden Zeitunterschied zwischen dem Abschicken des Signals (27)und der Rückkehrdes Signals (28) lasst sich also absolut die Entfernungmessen und relativ zueinander ein 3-dimensionales „Entfernungsrelief” erstellen,d. h. es werden Langen, Breiten und Tiefen erkannt. Diese Datenwerden dann an das Bildanalyse-/-synthesegerät (17) zur Weiterverarbeitungweitergeleitet, ebenso wie das zeitgleich vom BE (6) aufgenommeneFernsehbild.Because foreground ( 29 ), the GK ( 4 ) and the background ( 30 ) at different distances to the SE ( 25 ) and the signals move at a constant speed, they take different amounts of time to put the tracks back. Due to the time difference between sending the signal ( 27 ) and the return of the signal ( 28 ) lets you measure the absolute distance and create a 3-dimensional "distance relief" relative to each other, ie long, latitudes and depths are detected. These data are then sent to the image analysis / synthesis device ( 17 ) for further processing, as well as at the same time as the BE ( 6 ) recorded TV picture.
Im übrigen lassensich aus dem Unterschied der Signalstärken zwischen Ausgangs-(27)und Rückkehrsignal(28) Rückschlüsse ziehen.Moreover, the difference in signal strengths between output ( 27 ) and return signal ( 28 ) Draw conclusions.
DieWeiterbildungen der Erfindung gemäß den Schutzansprüchen 16und 17 werden im Prinzip eingehend in5 gezeigtund wurden in den vorherigen Absätzenbereits beschrieben. Die Unterscheidung von eigentlicher Betrachtungsebeneund Vorder- bzw. Hintergründenist von wesentlicher Bedeutung. Auf Grund der Ausprägung dereingesetzten Positionserfassungstechnik ist es folglich unerheblich,ob die „Körper” rund,eckig, dick, dünn,gleich- oder ungleichförmig,nah oder fern, gleichfarbig oder unterschiedlich sind. Sie können beliebigsein.The developments of the invention according to the claims 16 and 17 are in detail in detail 5 and have already been described in the previous paragraphs. The distinction between the actual level of consideration and the foreground or background is essential. Due to the nature of the position detection technique used, it is therefore irrelevant whether the "body" round, square, thick, thin, uniform or non-uniform, near or far, the same color or are different. They can be arbitrary.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung beschreibt im18. Schutzanspruch die Notwendigkeit, dass bevor überhauptdie Position eines GK (4) bestimmt werden kann, zuersteinmal definiert werden muß,welcher GK (4) überhauptals „Projektionsfläche” für spätere virtuelleEinblendungen dienen soll. Dazu sind seine Grundabmessungen nötig unddie Definition seiner „Anfangsposition”, von der ausdas BAS (17) mit diversen Algorithmen dann die jeweiligenGK-Positionen (in Relation zum Fernsehbild) unter Berücksichtigungder Schwenks des BE (6), des Zoom etc. berechnet. Man kannhier durchaus von einer Erst-Kalibrierung sprechen.A further, advantageous embodiment of the invention describes in the 18th protection claim the necessity that before ever the position of a GK ( 4 ), it must first be defined which GK ( 4 ) should serve as a "projection screen" for later virtual overlays. This requires its basic dimensions and the definition of its "starting position" from which the BAS ( 17 ) with various algorithms then the respective GK positions (in relation to the television picture) taking into account the pans of the BE ( 6 ), zoom etc. One can certainly speak of a first calibration here.
Erfindungsgemäß sind imSchutzanspruch 19 mehrere Möglichkeitender Dateneingabe fürdas BAS (17) vorgegeben, die sich in direkte und indirekteunterscheiden. Unter direkter Eingabe ist zu verstehen, dass diePosition vorzugsweise z. B. wie bei einem CAD-System direkt über eineMaus oder einen Touch-Screen/-Pad erfasst wird, alternativ auchnumerisch überdie Tastatur in Form von z. B. Maßen, Entfernungen oder Punkt- bzw. Vektor-Koordinaten. DieseVariante ist immer möglich.According to the invention, several possibilities of data input for the BAS ( 17 ), which differ in direct and indirect. By direct input is meant that the position preferably z. B. as in a CAD system directly via a mouse or a touch screen / pad is detected, alternatively numerically on the keyboard in the form of z. Dimensions, distances or point or vector coordinates. This variant is always possible.
Eineindirekte Eingabe der Positionsdaten kann jedoch nur erfolgen, wennder Grundkörper(4), wie im Vorfeld bereits beschrieben, selbst in derLage ist, aktiv Signale auszusenden, die vom PE (8) erkanntwerden können,um dann an das BAS (17) zur Verarbeitung weitergeleitetzu werden.An indirect input of the position data, however, can only take place if the main body ( 4 ), as described above, is able to actively send out signals from the PE ( 8th ) can be recognized, and then sent to the BAS ( 17 ) for processing.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch20 beschrieben. BE (6) und PE (8) sind über einenAdapter (24) fest verbunden, d. h. dass beide zwangsweise sämtlicheBewegungen miteinander exakt gleich ausführen. In7(1) sehenwir, dass wenn sich nun ein Gegenstand (31) anfangs inder Mitte eines Fernsehbildes (32) befindet und sich dieKamera (BE6) nach unten bewegt, wandert der Gegenstand(31) im neuen Fernsehbild (33) in Relation gesehenlogischerweise nach oben, schwenkt die Kamera (BE6) nachlinks, wandert der Gegenstand (31) relativ gesehen im wiederumneuen Fernsehbild (34) nach rechts usw. Und genau dieserelative Position des Gegenstandes (31) (in diesem Falledes Grundkörpers(4)) zum Fernsehbild ist es, die benötigt wird, um ihn an dieserStelle auszustanzen und durch ein neues virtuelles Bild in der gleichen,ausgestanzten Form, zu ersetzen.A further advantageous embodiment of the invention is described in the next protection claim 20. BE ( 6 ) and PE ( 8th ) are connected via an adapter ( 24 ), ie that both forcibly perform all movements exactly the same. In 7 (1) we see that when an object ( 31 ) initially in the middle of a television picture ( 32 ) and the camera (BE 6 ) moves downwards, the object ( 31 ) in the new TV picture ( 33 Logically, when viewed in relation to the top, the camera (BE 6 ) to the left, the object ( 31 ) relative in the again new television picture ( 34 ) to the right, etc. And exactly this relative position of the object ( 31 ) (in this case the basic body ( 4 )) to the television picture is what is needed to punch it out at this point and replace it with a new virtual picture in the same, punched-out form.
Dabeiberücksichtigtdie Erfindung auch die richtige Perspektive, denn wie7(J) vereinfacht zeigt, wird aus dem rechtwinkligenGK (4.1), wenn man mit dem BE (6) daran entlangsieht, ein trapezförmigerGK (4.2), da das weiter entfernte Ende quasi zum Horizonthin immer kleiner wird. Das BAS (17) passt das neue, ursprünglich auchrechteckige Bild, entsprechend an und gleicht dies aus.The invention also takes into account the right perspective, because how 7 (J) simplified, becomes from the rectangular GK ( 4.1 ), when using the BE ( 6 ) along it, a trapezoidal GK ( 4.2 ), because the farther end is getting smaller and smaller towards the horizon. The BAS ( 17 ) adjusts the new, originally rectangular image, accordingly and compensates for this.
Einweiteres Problem entsteht durch die Zoom-Funktion (Vergrößerung)des BE (6). Position und Perspektive des GK (4)verändernsich zwar nicht, aber eben die Größenverhältnisse. Das BAS (17)gleicht jedoch auch diesen Faktor bei der Anpassung des virtuellenBildes an, die Information hierzu, sprich den Zoom-Faktor, erhält es vomBE (6).Another problem arises due to the zoom function (magnification) of the BE ( 6 ). Position and perspective of the GK ( 4 ) are not changing, but just the proportions. The BAS ( 17 ), however, also adapts this factor in the adaptation of the virtual image, the information on this, ie the zoom factor, it receives from the BE ( 6 ).
Gemäß einerWeiterbildung des nächsten Schutzanspruchs21 ist die Erfindung je nach Ausprägung in der Lage, in einervon mehrerer alternative Arten die Position eines GK (4)zu verfolgen.According to a development of the next claim for protection 21, the invention is able, depending on the severity, in one of a number of alternative ways, to determine the position of a GK (FIG. 4 ) to pursue.
EinBeispiel ist, daß vonder durch die Erstkalibrierung definierten Ausgangsposition desGK (4) aus, jede Bewegung des BE (6) zur Positiondes GK (4) entsprechend hinzugerechnet oder abgezogen wird,die neue Position also ständigaus der alten berechnet wird.An example is that of the starting position of the GK defined by the initial calibration ( 4 ), every movement of the BE ( 6 ) on the position of the GK ( 4 ) is added or deducted accordingly, so the new position is constantly calculated from the old one.
Einanderes Beispiel ist, daß mitder Erstkalibrierung ein charakteristisches, unverwechselbares elektronischesMuster des GK (4) erzeugt wird, das von dem PE (8)immer erkannt, gesucht, verfolgt und gemeldet wird, die Positionalso nicht in einer Kette weitergerechnet sondern ständig neu „festgestellt” wird.Another example is that initial calibration results in a distinctive, distinctive electronic pattern of GK ( 4 ) generated by the PE ( 8th ) is always recognized, searched, tracked and reported, so the position is not counted further in a chain but constantly "redeemed".
Einweiteres Beispiel ist, dass die Koordinaten oder Winkel der Bewegungdes BE (6) direkt, analog erfasst werden.8 zeigtuns dazu ein BE (6) mit Objektiv (26), Adapter(24) und PE (8) stehend, von vorne gesehen. Machtdas BE (6) eine HöhenbewegungH oder eine Seitenbewegung S, ändertsich, vom Nullpunkt 0 ausgehend die x- und y-Koordinate. Diese Koordinatenwerden an das BAS weitergeleitet. Der GK (4) steht fixund befindet sich idealer Weise mit einer „Ecke” im Nullpunkt 0. Die x-y-Koordinatenbestimmen direkt seine relative Position zum aufgenommenen Bild.Anstelle von x-y-Koordinaten könnenentsprechend auch Winkelmaßeverwendet werden, die beiden Nullebenen sollten sich vorteilhafterWeise auch in einem „Eck” des GK(4) kreuzen. Das Prinzip ist im Bild W angedeutet.Another example is that the coordinates or angles of movement of the BE ( 6 ) directly, analogously. 8th shows us a BE ( 6 ) with lens ( 26 ), Adapters ( 24 ) and PE ( 8th ) standing, seen from the front. Does the BE ( 6 ) a height movement H or a side movement S, changes, starting from the zero point 0, the x and y coordinates. These coordinates are forwarded to the BAS. The GK ( 4 ) is fixed and ideally located with a "corner" at zero 0. The xy coordinates directly determine its relative position to the captured image. Instead of xy coordinates, angle measurements can also be used correspondingly, the two null planes should advantageously also be located in a "corner" of the GK (FIG. 4 ). The principle is indicated in the image W.
DergroßeVorteil der letzten Methode ist, dass eigentlich keine Berechnungendurchgeführt werdenmüssen,sie also sehr schnell ist und sich auch keine Fortsetzungsfehlerwie bei der Kettenberechnung ereignen können. Um zum besten Ergebniszu gelangen, sind erfindungsgemäß all diese Möglichkeitenauch kombiniert.Of thesizeAdvantage of the last method is that actually no calculationsbe performedhave to,So it is very fast and also no continuation errorsas in the chain calculation can occur. To the best resultto arrive, are all these possibilities according to the inventionalso combined.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch22 beschrieben.2 zeigt dabei beispielhaft denWeg der Bilder, Signale, Daten und Informationen bis hin zur Bildsynthese:
DasBE (6) nimmt ein herkömmlichesFernsehbild als Eingangsbild auf und sendet es über die CU (20) in den Ü-Wagen (18)zum ZM (19), von wo aus es in das BAS (17) weitergeleitetwird. Das PE (8), fest verbunden mit dem BE (6),erfasst die Position des GK (4), gibt diese ebenfalls insZM (19) zur Weiterleitung an das BAS (17), dortwird das Bild bzgl. der GK-Position „analysiert”. Als drittenInput gibt das ZM (19) dasjenige Bild an das BAS (17),das überden GK (4) eingeblendet werden soll, quasi auf ihn projiziert.Das BAS (17) mm hat die Position des GK (4) inRelation zum Eingangsbild, schneidet die gewünschte Form des GK (4)aus, berücksichtigtdabei evtl. Hindernisse zwischen GK (4) und BE (6)(z. B. Fußballspieler, dieja nicht überblendetwerden sollen), passt das einzublendende Bild bzgl. Größe und Perspektive derForm des verbleibenden GK (4) an, berücksichtigt dabei die Winkelder BE-Schwenks, ihre Geschwindigkeit und den Zoom-Faktor und setztes genau an dessen Position wieder ein, fügt also ein neues Ausgangsbildzusammen und gibt es zurückan das ZM (19). Es werden also ein Eingangsbild und einvirtuelles Bild unter Berücksichtigungder verschiedensten Informationen zu einem „sendefähigen” Ausgangsbild als Endproduktzusammengeführt,d. h. es erfolgt eine Synthese.A further advantageous embodiment of the invention is described in the next protection claim 22. 2 shows an example of the way the pictures, signals, data and information up to for image synthesis:
The BE ( 6 ) takes a conventional television picture as input picture and sends it over the CU ( 20 ) in the OB vans ( 18 ) to the ZM ( 19 ), from where it enters the BAS ( 17 ) is forwarded. The PE ( 8th ), firmly linked to the BE ( 6 ), the position of the GK ( 4 ), this is also in the ZM ( 19 ) for forwarding to the BAS ( 17 ), where the picture is "analyzed" regarding the GK position. As a third input, the ZM ( 19 ) that image to the BAS ( 17 ), which is about the GK ( 4 ) should be displayed, virtually projected onto it. The BAS ( 17 ) mm has the position of the GK ( 4 ) in relation to the input image, cuts the desired shape of the GK ( 4 ) takes into account possible obstacles between GK ( 4 ) and BE ( 6 ) (eg football players, who should not be crossfaded), the image to be overlaid matches the size and perspective of the shape of the remaining GK ( 4 ), taking into account the angles of the BE pans, their speed and the zoom factor and reinserting them exactly at their position, thus merging a new output image and returning it to the ZM ( 19 ). Thus, an input image and a virtual image, taking into account the most diverse information, are combined to form a "broadcastable" output image as the end product, ie a synthesis takes place.
DerVollständigkeithalber zeigt2. auch noch den restlichenWeg des Ausgangsbildes bis zum Endkunden im In- und Ausland, eswird nun in komprimierter Form überSatellit (21) zu einem heimischen Sendezentrum (22)gelangt, von wo aus es an überKabel, Satellit oder terrestrisch an die einzelnen Fernsehkundenim Inland weiterverbreitet wird. Ebenfalls über Satellit erhalten die ausländischen Sendezentren(23) ihr Bild, die Weiterverbreitung von dort erfolgt wievorhin entsprechend bis hin zum Fernsehzuschauer im Ausland (7).For the sake of completeness shows 2 , even the remainder of the output image to the end customer at home and abroad, it is now in compressed form via satellite ( 21 ) to a domestic broadcasting center ( 22 ) from where it is transmitted to the individual television customers inland via cable, satellite or terrestrial. Also via satellite, the foreign broadcasting centers ( 23 ) their image, the retransmission from there as before corresponding to the television viewer abroad ( 7 ).
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch23 beschrieben. Da das BAS (17) ja nun sowieso über alle relevantenDaten verfügt,ist es erfindungsgemäß in derLage, dass wenn ihm verschiedene, sich z. B. in der Sprache derWerbetexte unterscheidende virtuelle Bilder zur Verfügung gestelltwerden, damit aus einem Eingangsbild mehrere verschiedene Ausgangsbilderzu produzieren, die dann in verschiedene, den Sprachen entsprechendeLänder „verschickt” werden können.A further advantageous embodiment of the invention is described in the next protection claim 23. Because the BAS ( 17 ) yes anyway has all the relevant data, it is according to the invention in the situation that if different, z. B. in the language of the advertising texts differing virtual images are provided so as to produce from an input image several different output images, which can then be "sent" to different countries corresponding to the languages.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch24 beschrieben. Sollte auf Grund äußerst komplexer und anspruchsvollerAufgaben, aus Kapazitäts-,Leistungs- oder anderen Gründenein einzelnes BAS (17) nicht in der Lage sein, genügend unterschiedliche Ausgangsbilderzu erzeugen, so ist es erfindungsgemäß möglich, gleichzeitig mehrereBAS (17) zu verwenden und diese z. B. parallel zu schalten.A further advantageous embodiment of the invention is described in the next protection claim 24. Should, due to very complex and demanding tasks, for capacity, performance or other reasons, consider a single BAS ( 17 ) are not able to generate sufficiently different output images, it is possible according to the invention to simultaneously 17 ) to use and this z. B. to switch in parallel.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch25 beschrieben. GK (4), BE (6) und PE (8)müssensich naturgemäß am Orteiner Fernsehaufnahme befinden. Üblicherweiseerfolgt dann die Bildver- und Bearbeitung ebenfalls relativ ortsnah,in einem Übertragungswagen(18), in dem sich alle dazu relevanten Geräte und oftauch noch eine Satelliten-Sendeanlage befinden. Auch das Zentralbildmischpult(19) und die anfangs erwähnten Chromakey-Geräte gehören dazu,ebenso das bereits beschriebene Bildanalyse-/-Synthese-Gerät. Falls das ZM nun in derLage ist, alle relevanten Daten gesammelt und in sich getrennt anandere Orte wie z. B. ein Sendezentrum (22,23)im In- oder Ausland zu übermitteln,gibt es erfindungsgemäß keinetechnischen Gründe,weshalb das BAS (17) nicht dort installiert werden soll undso jedes Sendezentrum zusammen mit seinem eigenen Zentralbildmischpultund seinen eigenen virtuellen Bildern seine eignen Ausgangsbilderproduziert.A further advantageous embodiment of the invention is described in the next protection claim 25. GK ( 4 ), BE ( 6 ) and PE ( 8th ) must naturally be located at the location of a television recording. Usually, the image processing then also takes place relatively close to the location, in a broadcasting vehicle ( 18 ), in which all relevant devices and often also a satellite transmitter are located. Also the central image mixing console ( 19 ) and the initially mentioned Chromakey devices, as well as the already described image analysis / synthesis device. If the ZM is now able to collect all relevant data and separate it to other locations such. B. a broadcast center ( 22 . 23 ) in domestic or foreign countries, according to the invention, there are no technical reasons why the BAS ( 17 ) should not be installed there and so each broadcast center together with its own image mixing console and its own virtual images produces its own output images.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch26 beschrieben. Bei der Übertragungvon Fernsehbildern z. B. überSatellit werden diese komprimiert. Nachdem sie z. B. in einem Sendezentrumwieder dekomprimiert wurden, sind die Bearbeitungsmöglichkeiten nichtmehr optimal gegeben. Aus diesem Grunde ist es erfindungsgemäß möglich, dieAusgangsbilder des BAS (17) über das ZM (19) direktin das World Wide Web (Internet) einzuspeisen. Zu dem alle z. B. ausländischenSendezentren schnellen und bequemen Zugang haben. Bzgl. der Übertragungskosten perSatellit bedeutet dies eine immense Kosteneinsparungen, davon abgesehendie Übertragungskapazitäten begrenztund könnenauf diese weise fast unbegrenzt erweitert werden.A further advantageous embodiment of the invention is described in the next protection claim 26. In the transmission of television pictures z. B. via satellite, these are compressed. After they z. B. were decompressed again in a broadcast center, the editing options are no longer optimal. For this reason, it is possible according to the invention, the output images of the BAS ( 17 ) about the ZM ( 19 ) directly into the World Wide Web (Internet) feed. To the all z. For example, foreign broadcasting centers have fast and convenient access. Concerning. The cost of transmission via satellite means a huge cost savings, apart from the limited transmission capacity and can be extended in this way almost unlimited.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch27 beschrieben. Da die Erfindung auch speziell für den Einsatz bei Live-Fernsehübertragungentechnisch und datenverarbeitungsbezogen optimiert ist, ist es selbstverständlich möglich, bisauf unvermeidliche, bei der reinen Datenübertragung entstehende, für den Normalzuschauernicht zu erkennende Zeitverzögerungenquasi in Echtzeit zu übertragen,was dem heutigen Standard entspricht.AAnother advantageous embodiment of the invention is in the next protection claim27 described. As the invention is also specifically for use in live television broadcaststechnically optimized and data processing-related, it is of course possible toon inevitable, resulting in pure data transmission, for the normal viewerunrecognizable time delaysto transmit in real time,which corresponds to today's standard.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch28 beschrieben. Ihre Ausprägunggestattet es, da sie zur Positionsbestimmung alle 3 Dimensionenerfasst, mit anderen Fernseh-3D-Aufnahmeund Übertragungssystemen,die dies ebenfalls tun, zu kooperieren und mit diesen Daten auszutauschen.Entsprechend könnenderen Positionsdaten zu eigenen Zwecken weiterverwendet werden.A further advantageous embodiment of the invention is described in the next claim 28 protection. Its expression allows it to capture all three dimensions for positioning, to cooperate with and to exchange data with other television 3D recording and transmission systems that do likewise. Accordingly, their position data knows for their own purposes be used.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch29 beschrieben. Um nahezu gigantische Kosten durch technische Änderungenbei bestehender Fernsehaufnahme- und -übertragungstechnik oder garsämtlichenFernsehgerätenzu vermeiden, werden erfindungsgemäß bei der Bildsynthese nurgängigeStandardformate verwendet, wie auch im Schutzanspruch 12 beschrieben.AAnother advantageous embodiment of the invention is in the next protection claim29 described. At almost gigantic costs due to technical changesin existing television recording and transmission technology or evenalltelevisionsTo avoid, according to the invention in the image synthesis onlycommonStandard formats used, as described in the protection claim 12.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch30 beschrieben. In ihrer Ausprägunggestattet es die Erfindung, obwohl sie die bekannten Chromakey-Geräte wegenderen Probleme zu recht mehr als nur ersetzt und einen überdeutlichenFortschritt und Weiterentwicklung darstellt, trotzdem mit diesenDaten auszutauschen und zu kooperieren. Kleinere deren Teilfunktionenkönntendabei genutzt werden, ihrer Daseinsberechtigung bei ihrer weiterenVerwendung für Aufzeichnungenund im Studio spricht nichts entgegen. Auch können z. B. Teile der bekanntenVerfahren zur Bildnachführung(Tracking) zusätzlichmit verwendet werden.AAnother advantageous embodiment of the invention is in the next protection claim30 described. In its expressionIt allows the invention, although the known Chromakey devices becausetheir problems quite rightly more than just replaced and an over-clearProgress and development represents, nevertheless, with theseExchange data and cooperate. Smaller their sub-functionscouldbe used, their right to exist in their furtherUse for recordingsand nothing speaks in the studio. Also z. B. parts of the knownMethod for image tracking(Tracking) in additionto be used with.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch31 beschrieben. Die in Schutzanspruch 6 beschriebenen Grundkörper (4),die entweder als „Rolltapete” oder bildschirmartigeVorrichtung ausgeführtsind, haben den Zweck, dem Zuschauer im Stadion und vor dem Fernseherwährendder Dauer eines Fußballspiels mehrund verschiedene Werbung zu zeigen, nicht nur eine. Mehr Werbekundenbedeuten auch mehr Werbeeinnahmen. Doch speziell letztere Anlagensind sehr teuer und aufwändig.Die Erfindung gestattet es nun, auf diese Anlagen ganz zu verzichtenund nur einen einfachen, günstigenGrundkörper(4) (Werbebande) zu verwenden, da es mit ihr jetzt ja möglich ist,zumindest den Millionen Zuschauern an den Fernsehgeräten in allerWelt „beliebig” vieleund unterschiedliche Werbebotschaften zu präsentieren.A further advantageous embodiment of the invention is described in the next protection claim 31. The basic body described in protection claim 6 ( 4 ), which are designed either as a "wallpaper" or screen-like device, have the purpose of showing more and different advertisements to the viewer in the stadium and in front of the television during the duration of a football match, not just one. More advertisers also mean more advertising revenue. But especially the latter systems are very expensive and expensive. The invention now makes it possible to completely dispense with these systems and only a simple, inexpensive base body ( 4 ) (Advertising volume), because it is now possible, at least millions of viewers on the television sets around the world "arbitrarily" to present many and different advertising messages.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im Schutzanspruch32 beschrieben. In der heutigen Technik sind verschiedene Spezialbildaufnahmegeräte (Kameras)bekannt, mit denen man z. B. besonders gut Wärme- bzw. Infrarotaufnahmen machenkann.AAnother advantageous embodiment of the invention is in the protection claim32 described. In today's technology are various special image capture devices (cameras)known, with which z. B. make particularly good heat or infrared recordingscan.
Erfindungsgemäß wird nunder Grundkörper (4)mit einem vorzugsweise fürden realen Zuschauer nicht sichtbaren Material wie z. B. einem Anstrichin einer dergestalten Ausprägungversehen, die diesen Spezialkameras dahingehend entgegen kommt, dasses besonders gut von ihnen identifiziert werden kann (z. B. durchbesonders gute Reflektion o. ä.) unddamit auch der Grundkörperselbst. Das Material bzw. Signal soll in seiner Art z. B. Wellenlänge, Frequenzetc. so gewähltwerden, dass außerhalbdes Grundkörpersz. B. auf den Zuschauertribünenkeine gleichen Signale vorkommen und dadurch Störungen bei der Positionserfassungvermieden werden. Somit kann die Position des Grundkörpers (4)genau erfasst und alles, was sich davor und dahinter befindet, unterschiedenwerden. Der Grundkörper(4) strahlt folglich passiv spezielle Signale ab.According to the invention, the main body ( 4 ) with a preferably not visible to the real viewer material such. B. a paint provided in such a form that suits these special cameras to the effect that it can be particularly well identified by them (eg, by particularly good reflection or the like) and thus also the body itself Signal should be z. B. wavelength, frequency, etc. are chosen so that outside of the body z. B. occur on the bleacher no equal signals and thus disturbances in the position detection can be avoided. Thus, the position of the basic body ( 4 ) and everything that is in front of and behind it can be distinguished. The basic body ( 4 ) therefore passively emits special signals.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch33 beschrieben. Füreine korrekte virtuelle Überblendung istes wichtig, die exakte Position des Grundkörpers (4) gegenüber demBilderfassungsgerät(6) und damit auch dem zu sendenden Bild zu kennen.A further advantageous embodiment of the invention is described in the next protection claim 33. For a correct virtual crossfade, it is important to know the exact position of the main body ( 4 ) opposite the image capture device ( 6 ) and thus also to know the picture to be sent.
Beimheutigen Stand der Technik gibt es diverse Bilderkennungsverfahren,die anhand eines vorher zu definierenden Musters in der Lage sind, auchbei Bildbewegungen dieses zu verfolgen und ständig seine exakte Positionzu ermitteln. Die Spielfeldlinien (35) können solcheein vorhandenes Muster sein. Sie befinden sich in einem bekanntenAbstand (M) vom Grundkörper(4), dessen Maßeebenfalls bekannt sein müssen.Somit ist es möglich,anhand der Position des Musters (35) auch die Position desGK (4) ständigzu errechnen.In the current state of the art, there are various image recognition methods, which are based on a previously defined pattern in a position to track even with image movements of this and constantly determine its exact position. The field lines ( 35 ) such may be an existing pattern. They are at a known distance (M) from the main body ( 4 ), whose dimensions must also be known. Thus, it is possible, based on the position of the pattern ( 35 ) also the position of the GK ( 4 ) constantly to calculate.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch34 beschrieben. Es könnennicht nur wie im Anspruch 33 beschrieben, vorhandene Muster (35)verwendet werden, sondern es erfindungsgemäß auch spezielle Muster (36)gesondert angebracht werden, deren Eigenschaft es ist, besondersgut von den Bilderkennungsverfahren erkannt zu werden und in einemdefinierten Abstand ähnlich(M) zum GK (4) zu stehen.A further advantageous embodiment of the invention is described in the next protection claim 34. Not only as described in claim 33, existing patterns ( 35 ), but according to the invention also special patterns ( 36 ) whose characteristic is to be recognized particularly well by the image recognition methods and at a defined distance similar to (M) to the GC ( 4 to stand).
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch35 beschrieben. Wie bereits ausgeführt, kann ein GK (4) auchals „Monitor” (12)mit bildgebender Technik (13) ausgestattet sein, um mehrund auch bewegte Bilder bei einer normalen TV-Übertragung für den Zuschauererzeugen zu können.Diese bildgebende Technik wird durch einen externen Computer (37)unabhängigvon der Erfindung gesteuert. Erfindungsgemäß ist aber das Bildanalyse-/-synthesegerät (17)in der Lage, mit dem externen Computer (37) zu kommunizieren.Dieser weiß,wann und wo welche Farbe erscheinen muß, kennt die Position z. B.jeder LED (= Bildpunkt).A further advantageous embodiment of the invention is described in the next protection claim 35. As already stated, a GK ( 4 ) as a "monitor" ( 12 ) with imaging technology ( 13 ) to be able to produce more and also moving images in a normal TV transmission for the viewer. This imaging technique is powered by an external computer ( 37 ) controlled independently of the invention. According to the invention, however, the image analysis / synthesis device ( 17 ) able to communicate with the external computer ( 37 ) to communicate. This knows when and where which color must appear knows the position z. B. each LED (= pixel).
BAS(17) hat nun die Aufgabe, anhand eines Bilderkennungsverfahrenszu vergleichen, ob dieser Bildpunkt, der dort sein müsste, diegleiche Farbe hat, wie der, der wirklich dort in einem vom Bilderfassungsgerät (6) übermitteltenBild zu sehen ist. Wie bereits ausgeführt, sind beide Positionenbekannt. Sind die Farben gleich, ist der Bildpunkt, der dort zu sehensein soll, auch wirklich zu sehen. Ist die Farbe jedoch unterschiedlich,d. h. er ist nicht zu sehen, bedeutet dies, dass sich zwangsweiseetwas wie z. B. ein Fußballspieleroder der Fußballzwischen BE (6) und dem Bildpunkt (13) und damitauch dem GK (4) befinden muß. An dieser Stelle darf folglichnichts virtuell überblendetwerden, da dies sonst zu einer unerwünschten Verdeckung führen würde.BAS ( 17 ) has now the task of comparing on the basis of an image recognition method, whether this pixel, which should be there, has the same color as that, which is really there in one of the image acquisition device ( 6 ) transmitted image can be seen. As already stated, both positions are known. If the colors are the same, the pixel to be seen there is really visible. However, if the color is different, ie it is not visible, this means that something forcibly such. A football player or football between BE ( 6 ) and the pixel ( 13 ) and thus also the GK ( 4 ) must be. Consequently, nothing should be faded in at this point, as this would otherwise lead to an undesired occlusion.
Eineweitere, vorteilhafte Ausgestaltung der Erfindung ist im nächsten Schutzanspruch36 beschrieben. Beim heutigen Stand der Technik ist es möglich, sogenannte 3D-Effekte durch so genannte stereoskopische Verfahrenzu erzeugen. Jedem ist aus einem Eigenversuch bekannt, dass wenner nur mit einem Auge sieht (mono), die 3. Dimension (Tiefe) verlorengeht und sich seine Wahrnehmung auf nur 2 Dimensionen reduziert.Dies liegt vereinfacht dargestellt daran, dass die beiden Augen,da sie nebeneinander liegen, das gleiche Objekt quasi stereo auseiner geringfügiganderen Position betrachten und das menschliche Gehirn daraus einenEntfernungsunterschied „berechnen” kann.AAnother advantageous embodiment of the invention is in the next protection claim36 described. With the current state of the art it is possible to do socalled 3D effects by so-called stereoscopic methodto create. Everyone is aware of a self-test that ifhe only sees with one eye (mono), the 3rd dimension (depth) lostgoes and reduces his perception to only 2 dimensions.This is simplified because the two eyes,since they are next to each other, the same object is quasi stereoone slightlylook at another position and the human brain out of it"Calculate" distance difference can.
Auchin der Technik ist dies möglich,wenn zum Beispiel zwei Bilderfassungsgeräte (6) in geringemAbstand nebeneinander das gleiche Objekt aufzeichnen. Ein BE könnte dasStandardmodell sein, das zweite eine optionale Zusatzkamera. DasBAS (17) kann aus dem Vergleich der beiden unterschiedlichenBilder Entfernungsunterschiede errechnen oder diese Informationenauch von einem externen Computer ähnlich (37) übernehmenlassen. Sollte sich bei dieser Berechnung ergeben, dass etwas nichtso weit entfernt ist, wie es sollte (nämlich so weit weg wie der GK(4)), muß sichanalog zur Erklärung beimvorherigen Schutzanspruch zwangsweise etwas wie z. B. ein Fußballspieleroder der Fußballzwischen BE (6) und damit auch dem GK (4) befinden. Andieser Stelle darf folglich auch nichts virtuell überblendetwerden, da dies sonst zu einer unerwünschten Verdeckung führen würde, d.h., der Fußballspielerwürde verschwinden.This is also possible in the art if, for example, two image acquisition devices ( 6 ) record the same object next to each other at a small distance. One BE could be the standard model, the second an optional additional camera. The BAS ( 17 ) can calculate distance differences from the comparison of the two different images or this information is also similar from an external computer ( 37 ) take over. Should this calculation show that something is not as far away as it should (namely, as far away as the GK ( 4 )), must be analogous to the statement in the previous protection claim forcibly something such. A football player or football between BE ( 6 ) and thus also the GK ( 4 ) are located. At this point, therefore, nothing should be virtually faded, as this would otherwise lead to an undesirable occlusion, ie, the football player would disappear.
