JP4223099B2 - Method and system for providing enhanced content with broadcast video - Google Patents

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、ビデオおよびオーディオの送信と共に、補助的なデータ・コンテンツ(ancillary data content)を提供し表示する方法およびシステムに関するものである。
【０００２】
【従来の技術】
パーソナル・コンピュータ（ＰＣ）上におけるライブ・ビデオの表示は、増々一般的になってきている。多数の低コストのビデオ・キャプチャ・ボードによって、パーソナル・コンピュータのＲＧＢディスプレイ面上にアナログ・ビデオ信号の表示が可能となっている。更に、高品質化したデジタル・ビデオの供給、および例えば、直接放送衛星（ＤＢＳ：Direct Broadcast Satellite）を通じての分配も、間もなくＰＣ上で利用可能となる。適正なハードウェアを用いれば、ＰＣは、ローカル的に格納した（例えば、ＣＤまたはＶＣＲ上の）アナログおよびデジタルのビデオ信号だけでなく、ＤＢＳ信号、アナログ・ケーブル信号および空中信号(over-the-air-signal)の表示およびデコードも可能となる。
【０００３】
今後、アナログ信号およびデジタル信号双方のためのテレビジョン信号デコーダ回路は、標準化されなくても、全てのＰＣの殆どで用いられるようになるであろう。更に、ＰＣは、ユーザまたは視聴者によるデータおよびビデオ双方の同時操作、視認および使用を可能にすることによって、標準的なテレビジョンを超えて、ユーザまたは視聴者により良い体験を与えることになろう。
【０００４】
この新たな放送環境において、テレビジョン放送業者は、デジタル・プログラムの強化を図ることによって、ＰＣの機能を利用しようとしている。例えば、放送業者は、スポーツ放送の間に補助的な統計データを提供し、特定のチームまたはプレーヤに関する詳細な情報を視聴者が見ることができるようにすることが考えられる。同様に、放送業者は、ドキュメンタリのテーマ(topic)に関連する情報を提供することにより、視聴者が放送の最中または放送後に、更に詳しい情報にアクセスできるようにすることも考えられる。他の例として、子供向けの漫画番組の間に、人形やおもちゃのような、番組に関係する商品を番組の間に宣伝することを望む場合もあるであろう。
【０００５】
データをＰＣに配信するこの方法は、世界のこれまで大量のデータ・インフラストラクチャ(data infrastructure)がなかった区域では、特に魅力的である。例えば、中流階級の人口が約３億人（アメリカ合衆国の全人口を上回る）のインドについて考える。個人ではＰＣを購入する余裕があり、多くの者が実際にＰＣを所有しているが、電気通信インフラストラクチャが未発達のために、インターネットや高速データ・ネットワーク処理を体験したことがある者は殆どいない。このような場所にデータ・サービスを配信することができれば、多くの機会を提供することになる。
【０００６】
また、近年では、「双方向テレビジョン」と呼ばれるものを開発するために多大な努力も払われている。双方向テレビジョンは、視聴者がケーブル・テレビジョン・サービス・プロバイダとの双方向処理を可能にする。双方向テレビジョン・システムには、様々な機能強化が考えられる。例えば、視聴者のために対話型プログラム・ガイドを実施することができる。対話型プログラム・ガイドを用いて、視聴者はリモコン上のカーソル制御ボタンを通じてテレビジョン番組リスト全体のスクロールを行うことができる。また、視聴者は、番組の内容の対話型サーチを行うことも可能である。双方向ＴＶシステムの中には、放送業者がビデオの供給と共に補助データを提供する機能を含むものもある。
【０００７】
【発明が解決しようとする課題】
これまで、いずれの双方向テレビジョン・システムも、広く受け入れられなかった。このような広く受け入れられるのを阻害する理由の１つは、主となるビデオ・コンテンツに補助的なデータを提供する際に、各システムが異なった規格およびプロトコルを採用していることである。単一のシステムを標準として制定しなければ、放送業者は、多数の異なったフォーマットで補助データを提供せざるを得ない。これは重大な障害となる。
【０００８】
本発明は、ビデオ放送と共に補助データを供給するための従来のフォーマットを、主ビデオ・ストリーム上にデジタル・データ・コンテンツを重ね合わせる方式と共に利用することによって、この障害を取り除こうとするものである。
【０００９】
【課題を解決するための手段】
本発明は、放送業者に、補助データ・コンテンツをＨＴＭＬファイルとして用意することを可能にするものである。ＨＴＭＬファイルは、所定のカラー・キーの背景を有するオーバーレイ(overlay)として用意し、カラー・キーイング機構(color keying features)を有するビデオ機器を用いて視認を行うようにする。受信機では、ＨＴＭＬオーバーレイは、典型的なインターネット・ブラウザ技術を用い、放送したビデオと同じ表示領域にカラー・キーイングを用いてレンダリングを行う。これによって、オーバーレイ背景は透過的に見え、ビデオはＨＴＭＬオーバーレイの背景領域内にのみ現れるようになる。
【００１０】
【発明の実施の形態】
図１は、本発明の一実施形態によるビデオ放送システムを示し、全体として参照番号１０を付してある。放送システム１０は、放送ソース１２および複数の受信機１４を含む。本発明のこの実施形態における放送ソースは、デジタル衛星システムであり、多数のＲＦ周波数即ちチャネル上に、ビデオ・コンテンツを放送する。あるいは、放送ソースは、従来の地上テレビジョン局および付随するアンテナ、ケーブル・システム、あるいはビデオ・ストリームとおよびアナログまたはデジタル形態での添付データとを送信するように設置した同様の任意の機器とすることもできる。
【００１１】
殆どの場合、放送ソース１２は、単一方向通信のみをサポートし、受信機側の予見なく同時に多数の受信機に対して行う単一方向放送またはマルチ・キャスティング(multi-casting)に主に使用する。あるいは、放送ソース１２は、双方向通信をサポートするようにしてもよい。説明目的のために１つの放送ソース１２のみを示すが、放送システムは、多数の放送ソース１２を含む場合もある。
【００１２】
放送ソース１２は、主ビデオ・ストリームおよび補助デジタル・データ・コンテンツを受信機１４に送信またはその他の方法で搬送する手段を含む。デジタル衛星伝送の場合、補助データは、ビデオおよびオーディオのストリームと共に、デジタル形態で容易に伝送することができる。ＭＰＥＧ−２のようなプロトコルが、既に、補助デジタル・データをパケット内に組み込むことを可能にしており、衛星伝送設備を用いて、デジタル・オーディオ／ビデオ・コンテンツと共に、これらのパケットをダウンロードする。例えば、既存のＤＳＳシステムは、ＭＰＥＧストリームに「ヒント(hints)」を組み込んで、受信機による正しい表示のためのアスペクト比を示すようになっている。また、別の例がアナログの世界にあり、PhilipsがGhost Echo Cancellation Reference Signalと呼ぶ装置を販売している。既知のデジタル・ストリームを単一のアナログ・テレビジョンＶＢＩラインに注入することにより、最新のテレビジョンまたはＰＣは、マルチパス（ゴースト）信号を受信したときを一層容易に検出して、画像をきれいにする処置を講ずることができる。米国には、この信号を実施するＴＶ局が約８００ある。
【００１３】
アナログＲＦテレビジョン放送のような、旧来からの放送ソースを用いる場合、データは、テレビジョン信号の垂直ブランキング期間の間に送信することができる。この方法は、現在、難聴者のためにクローズド・キャプション(closed caption)を提供するために用いられている。このようにして送信したデジタル・データは、当該産業において既知の多数の方法によって、テレビジョン信号から抽出することができる。現在製造されているテレビジョンは、クローズド・キャプション情報を抽出し表示する機能を有している。この目的のためには、外部クローズド・キャプション・デコーダも使用可能である。加えて、クローズド・キャプション・データを抽出し、直列ケーブルを通じてこれをパーソナル・コンピュータまたはその他の装置に送る、多数の外部装置も入手可能である。更に最近では、テレビジョン信号をＰＣ上に表示可能とする最新のビデオおよびビデオ・チューナ・ボードを用い、ＰＣ内部で直接クローズド・キャプション・データをデコードすることも可能になっている。
【００１４】
また、受信機１４にデジタル・データ・コンテンツを送信するために使用可能なその他の機構もある。例えば、モデムや、その他のデジタル・データ伝送用の従来からのネットワーク接続を用いることが可能である。これらのようなネットワーク接続は、従来のビデオ伝送媒体とは独立しており、これらは放送ソースと受信機との間の双方向通信を可能にするという利点がある。インターネットのような通信設備も利用することができる。ケーブル・テレビジョン・ネットワークも、同様の通信機能を提供することができる。加えて、高品位デジタル地上ＴＶのための最新の計画は、１９．３メガビット／秒でいかなる量のデジタルのビデオまたはデータをも伝送可能なチャネルを定めている。
【００１５】
尚、オーディオ／ビデオ・ストリームおよびデジタル・データ・コンテンツは、それぞれ、異なった媒体を用いて分配可能であることを注記しておくべきであろう。空中伝送(over-the-air transmission)のような単一の媒体のみを用いることは便利であるが、ビデオは従来の放送を用いて配信しつつ、ＣＤ−ＲＯＭのような物理的媒体を用いてデジタル・データ・コンテンツを分配することも可能である。あるいは、場合によっては、ＣＤ−ＲＯＭのような物理的に運搬可能な媒体を用いて、ビデオおよびデータ双方を分配することも可能である。
【００１６】
本発明の好適な実施形態では、放送ソース１２は、アナログまたはデジタルのビデオ・ストリームを放送し、このビデオ・ストリームに添付するための補足デジタル・データ・ファイルを供給する。これらのデータ・ファイルはデジタル・コンテンツを有し、これは、ビデオ・ストリームとは別に、受信機１４によってレンダリングすることができる。また、放送ソースは、補足データ・ファイルと共にタイミング仕様を提供し、ビデオ・ストリームに関連して、デジタル・コンテンツを表示する時刻を示す。
【００１７】
デジタル・コンテンツは、標準的な、共通して使用されているグラフィカル・マークアップ言語(graphical markup language)で作成することが好ましい。本発明の好適な実施形態では、補足データ・ファイルは、Hypertext Markup Language（ＨＴＭＬ）の最新バージョンで用意し、フォーマットする。このために、放送業者は、インターネットのワールド・ワイド・ウェブのコンテンツを書くのに使用されているような、標準的な、広く受け入れられているオーサリング・ツール(authoring tool)を用いることが可能となる。
【００１８】
補足デジタル・データ・コンテンツは、１つ以上のハイパーリンク・オーバーレイから成ることが好ましい。各ハイパーリンク・オーバーレイは、１つ以上のハイパーリンクを含む。ハイパーリンクとは、視聴者によって選択または活性化可能な、表示された領域またはエンティティのことである。各ハイパーリンクはターゲットを有し、視聴者のためにレンダリングすることができるその他のコンテンツ（通常、データ・ファイルに格納してある）を示す。ハイパーリンクを活性化すると、そのターゲットを検索し、レンダリングを行う。例えば、ターゲットがテキスト文書である場合、この文書を表示する。ターゲットがデジタル化したサウンド・クリップを含むファイルである場合、このサウンド・クリップのレンダリングを行う。ハイパーリンクの最も一般的な使用は、ある文書またはオブジェクトから他のものへの移動即ち「ナビゲート」である。
【００１９】
インターネット技術に精通している者には、上述のハイパーリンク・オーバーレイが、インターネットのワールド・ワイド・ウェブをブラウズするときに見ることができる文書（多くの場合、「ウェブ・ページ」と呼んでいる）と同様であることは明白であろう。これは、本発明の魅力的な特徴である。何故なら、このために、放送業者は、既存のインターネット・コンテンツ開発ツールを用いて、補助デジタル・データ・コンテンツの設計を行うことができるからである。
【００２０】
従来のウェブ・ページとの相違の１つは、本発明によるハイパーリンク・オーバーレイが背景を有し、これを所定のキー・カラーに設定する点にある。キー・カラーに設定する背景領域には、透過的にするという意図がある。このような背景はまた、MicrosoftのFront Page（登録商標）ウェブ・デザイナのような標準的なインターネット・コンテンツ開発ツールを用いて容易に作成できる。
【００２１】
本発明のこの実施形態では、受信機１４は従来からのパーソナル・コンピュータ（ＰＣ）に、テレビジョン信号やデジタル・ビデオ放送のような放送ビデオ・ストリームを受信し表示するためのディスプレイ・ハードウェアを有する機器を設けたものである。また、ＰＣには、デジタル衛星放送を受信する衛星パラボラアンテナ１５、またはアナログＴＶ信号を受信する通常のアンテナも関連させている。
【００２２】
ディスプレイ・ハードウェアは、ビデオ表示機能に加えて、ビットマップ化グラフィック表示機能を含み、従来のアプリケーション・プログラムと共に、静止ビットマップ化画像を表示することができる。更に、ＰＣ１４はビデオ・カラー・キーイング・ハードウェア(video color keying hardware)も含み、これはキー・カラーに設定した表示領域内にのみビデオを表示するように構成することができる。
【００２３】
あるいは、受信機１４は、ここに記述したＰＣと同様の機能を有する強化型テレビジョン・ユニット(enhanced television unit)のような、その他のタイプの装置から成ることも可能である。
【００２４】
実施の一例として、ＰＣ１４は、プロセッサ（例えば、Intel Corporationのｘ86またはPentium（登録商標）、メモリ、コンピュータ・モニタ（例えば、ＶＧＡ，ＳＶＧＡ)、および１つ以上の入力装置（例えば、キーボード、マウス等）を有するパーソナル・コンピュータである。
【００２５】
ＰＣ１４は、ＭＰＥＧ符号化したデジタルのビデオ／オーディオ・データのようなパケット化フォーマット(packetized format)のデジタル放送データを受信するように構成したデジタル受信機を有する。このようなデジタル受信機は、衛星放送から受信した補足データ・ファイルを読み込むアクセス手段も有し、受信機は、ソフトウェア・プログラム、プログラミング情報、およびその他のデータ・ファイルの形態の補助データを含む、多くの異なった形態のデジタル・データを受信することができる。
【００２６】
ＰＣは、多くのアプリケーションをサポートするオペレーティング・システムを実行する。オペレーティング・システムは、多数のアプリケーションの同時実行を可能とする、マルチタスキング・オペレーティング・システムであることが好ましい。このオペレーティング・システムは、ウィンドウ処理環境(windowing environment)のグラフィカル・ユーザ・インターフェースを採用し、「ウィンドウズ」と呼ぶ、表示画面の特別の枠を設けた領域内にアプリケーションまたは文書を提示する。好適なオペレーティング・システムの１つは、Windows 95またはWindows NT、Windows CEあるいはWindows（登録商標）のその他の派生バージョンのような、Microsoft Corporationが販売するWindows（登録商標）ブランドのオペレーティング・システムである。しかしながら、Apple Computer, Inc.のMachintoshオペレーティング・システムや、ＩＢＭ社のOS/2オペレーティング・システムのような、ウィンドウ処理環境を提供するその他のオペレーティング・システムを採用してもよいことを注記しておく。
【００２７】
放送イネーブル型のＰＣ(broadcast-enabled PC)の実現例の一例が、１９９６年１月２９日に出願した、"Broadcast-Enabled Personal Computer"と題する同時係属中の米国特許出願第０８／５０３，０５５号に記述されている。この出願はMicrosoft Corporationに譲渡されており、この言及によって本願に含めるものとする。
【００２８】
図２は、ＰＣ１４の実現例の一例を更に詳細に示している。放送テレビジョンおよび添付デジタル・データ・コンテンツを表示する目的のために、ＰＣ１４は性能強化してある。ＰＣ１４は、プロセッサ５２（例えば、Intel Corporationのｘ８６またはPentium（登録商標）マイクロプロセッサ）、および揮発性メモリ５４を有するマザーボード（図示せず）を含む。揮発性メモリ５４は、不揮発性メモリ５５と共に、プログラム格納メモリ５６を形成する。不揮発性メモリ５５は、フロッピー・ディスク、ハード・ディスク、ＣＤ−ＲＯＭ、またはその他の任意のコンピュータ読取可能記憶媒体から成る。ここに記述するステップを実行する命令を含むアプリケーション・プログラムは、この記憶媒体内に収容する。
【００２９】
ＰＣ１４は、衛星パラボラアンテナ受信機、ＲＦ受信機、マイクロ波受信機等のような、デジタル放送受信機５８を含む。デジタル受信機５８は、衛星ネットワークのような放送ネットワークを通じて放送されるデジタル・データを受信する。受信機５８は、放送ネットワークの周波数またはチャネルへの同調を行うチューナ６０に結合している。チューナ６０は、１つまたは２つの主構成要素、即ち、特殊デジタル放送チューナおよび汎用デジタル放送チューナの一方または両方を有する。特殊デジタル放送チューナは、ＭＰＥＧ符号化デジタル・ビデオ／オーディオ・データのような特殊化したフォーマットのデジタル放送データを受信するように構成している。汎用デジタル放送チューナは、ソフトウェア・プログラムやその他の補助データを含む、多くの異なった形態のデジタル・データを受信するように構成している。
【００３０】
チューナ６０は、３２ビットＰＣＩ（Peripheral Component Interconnect）バスのようなマルチ・ビット・バス６２を通じて、マザーボードおよびデータ・プロセッサ５２に接続している。オプションの暗号装置６４は、暗号化、解読、認証、およびデジタル署名のような、暗号サービスをクライアントに提供する。
【００３１】
ＰＣ１４は、ＰＣＩバス６２に接続したビデオ・サブシステム６６を有する。ビデオ／オーディオ・データは、ＰＣＩバス６２を通じてチューナ６０からビデオ・サブシステム６６に転送する。実施形態によっては、チューナ・ハードウェアが代わりにＭＰＥＧストリーム自体を復号化し、ＰＣＩバスを通じてデータを受け渡さない場合もある。このようなシステムでは、非圧縮の生のＹＵＶビデオを、単純なワイヤ接続で、ビデオ・サブシステム６６ボードに送る。しかしながら、図示の実施形態では、ビデオ・サブシステム６６は、ＭＰＥＧ符号化またはその他のビデオ・データ・フォーマットを復号化する回路を含む。また、ビデオ・サブシステム６６は、コンピュータ・モニタ６８を駆動するビデオ・ディスプレイ・ドライバも含む。
【００３２】
ビデオ・サブシステム６６は、モニタ６８に加えて、多くの周辺装置をサポートする。例えば、ビデオ・サブシステム６６は、ＤＶＤ（デジタル・ビデオ・ディスク）を再生するレーザ・ビデオ・プレーヤ７０、ビデオ・ゲームを再生するゲーム機械７２、および番組を記録するＶＣＲ（ビデオ・カセット・レコーダ）７４に接続することも可能である。ビデオ・サブシステム６６は、ケーブル・テレビジョン・システムまたはＲＦ放送テレビジョン・システムから従来のＴＶ信号を受信するため、アナログ放送テレビジョン・システム７６に接続できるようにしてある。これによって、アナログ・テレビジョン・システムとの下位互換性(backwards compatibility)を得ることができる。
【００３３】
また、ビデオ・サブシステム６６は、カラー・キーイング機構も内蔵しており、これは、静止ビットマップ・グラフィックを用いてビデオを統合化する際に役立つ。カラー・キーイングを用いて、アプリケーション・プログラムまたはオペレーティング・システムは、ビデオ・サブシステムを構成することにより、ソフトウェアを実行することによって既に適所に配されているビットマップ化モニタ画像がいかなるものであれ、それと共に、モニタ６８の矩形領域即ち「ビューポート」にビデオ・ストリームを表示する。実際に、ビデオ・サブシステムは、ビデオ・ストリームを用いて、通常のビットマップ表示画像に上書きする。しかしながら、このビデオ・サブシステムは、ビットマップ表示画像内の所定のカラー即ちクロマ・キー値を設定した区域のみに上書きするように構成している。したがって、ビットマップ画像は、「透過的な」区域即ちカラー・キー値を設定する領域を有するように作成することができる。ビデオ・ストリームは、これら透過的な領域においてのみ表示するので、ビットマップ画像がビデオ・ストリームにかぶさって見える。
【００３４】
Tseng Labs, Cirrus Logic, Brooktree, AT1およびS3は、このようなビデオ・サブシステムを製造する会社の例である。
【００３５】
モニタ６８は、標準的なテレビジョンではなく、パーソナル・コンピュータで通常採用されているＶＧＡまたはＳＶＧＡモニタとすることが好ましい。図示の実現例では、ＰＣ１４はテレビジョン関連のデータをＮＴＳＣ(National Television System Committee)フォーマットに変換しない。このために、ＰＣ１４は、ＶＧＡモニタ上に表示した際に、優れた画質を有するテレビジョン・データを生成することができる。他の実施形態では、画像をＶＧＡからＮＴＳＣに変換して、標準的なＴＶ画面上に表示する場合もあるが、グラフィック解像度が比較的低いものとなろう。
【００３６】
また、ＰＣ１４は、ＩＳＡ(Industry Standard Architecture)バスのような二次バス１３０も含み、これは、マザーボードおよびデータ・プロセッサ５２に結合している。オーディオ・ボード１３２が、ＩＳＡバス１３０に結合して、従来のスピーカのような、多数のオーディオ出力装置とのインターフェースとして機能する。オーディオ・ボードおよびスピーカの間に、必要であれば、増幅器を結合してもよい。オーディオ・ボードは、ビデオ・サブシステム６６にも結合して、復号化されたオーディオ信号を受信する。オーディオ・ボード１３２はステレオ・システム１３４にも結合することができるので、サウンド強化のためオーディオ・データをステレオ・システムに出力し、またその記録をすることができる。より新しいコンピュータ・システムには、代わりに、デジタル・オーディオ・ストリームをＰＣ外部に送り出し、ユニバーサル・シリアル・バスまたはＩＥＥＥ１３９４接続を通じて、外部の変換器に送出することをサポートするものもある。これによって、内部サウンド・カードの必要性をなくし、一層忠実度が高いオーディオを得ることができる。
【００３７】
ＣＤ−ＲＯＭ（またはＤＶＤ）ドライブ１３６は、ＩＳＡバス１３０に結合してある。ＣＤＲＯＭ（またはＤＶＤ）ドライブ１３６が生成するオーディオ出力は、オーディオ・ボード１３２に受け渡す。
【００３８】
ＰＣ１４は、１４．４ｋｂｐｓまたは２８．８ｋｂｐｓのファックス／データ・モデムのようなモデム１３８を含み、これはＩＳＡバス１３０に結合している。モデム１３８は、従来の電話回線に接続して、インターネットを含む公衆ネットワークへのアクセスを行う。モデム１３８は、独立したサービス・プロバイダから直接に、データや補足コンテンツにアクセスしそしてこれらをダウンロードするのに用いることができる。更に、放送ソースから発した補足データ・ファイルをダウンロードするのにも用いることができる。加えて、モデム１３８は、放送ソースまたは放送関連サービスを提供するその他のエンティティとの二方向通信にも使用可能である。
【００３９】
入出力（Ｉ／Ｏ）アダプタ１４０は、ＩＳＡバス１３０に結合して、デジタル・テープ・ドライバ１４２、フロッピー・ディスク・ドライブ１４４、およびハード・ディスク・ドライバ１４６を含む、多数のＩ／Ｏ装置とのインターフェースを提供する。リモート受信機１４８もＩ／Ｏアダプタ１４０に結合し、リモート・コードレス・キーボード６６およびリモコン（ＲＣ）ハンドセット６３からの、ＩＲまたはＲＦフォーマットの信号を受信する。あるいは、これらキーボードおよびハンドセットは、直接コンピュータに配線することも可能である。更に、Ｉ／Ｏアダプタ１４０は、COM1ポート１５０、COM2ポート１５２、およびLPT1ポート１５４を含む、従来のシリアル・ポートも備えている。ＩＲ送信機（図示せず）はCOM1ポート１５０に結合して、ステレオ機器、ＶＣＲ等のような電子装置を制御するための赤外線信号を発生することができる。また、コンピュータ６０は、これらの構成要素に直接連結(hook)することも可能である。
【００４０】
本発明によれば、ＰＣ１４は、放送ソースからのデジタル・ビデオ・ストリームおよび添付ＨＴＭＬファイルを受信し、そしてＨＴＭＬファイルが定義するハイパーリンク・オーバーレイと共にビデオ・ストリームを表示するように、プログラムまたは構成する。
【００４１】
図３には、これをどのようにして実現するかを示す。まず、ハイパーリンク・オーバーレイを表示するためのオーバーレイ・ウィンドウ２００を開く。オーバーレイ・ウィンドウ２００とサイズおよび位置が一致するビューポート２０１内に、ビデオ・ストリームを表示するように、ビデオ・サブシステム６６を構成する。また、ハイパーリンク・オーバーレイの所定のカラー・キーを設定していない区域上のみに、そのビデオ・ストリームを表示するように、ビデオ・サブシステムを構成する。こうして、ハイパーリンク・オーバーレイの不透過区域が、ビデオ・ストリームを「通り抜けて（through）」現れ、ビデオ・ストリームにかぶさるように見える。おそらく、この挙動の最良の例は、天気図の前に「浮遊」しているように見えるＴＶの天気予報者である。フレーム・ウィンドウ２０２も利用して、オーバーレイ・ウィンドウ２００およびビューポイント２０１の縁を規定する。これら３つの構成要素は、ユーザには単一のウィンドウとして見えるように構成する。オペレーティング・ソフトウェアは、ユーザがこれらの構成要素を単一のエンティティとしてサイズ変更や移動を行うことができるように構成する。
【００４２】
オーバーレイ・ウィンドウ２００は、ＨＴＭＬフォーマットの文書を表示するために特に設計されたActiveX^TMコントロールを用いて実装することが好ましい。このようなActiveX^TMのＨＴＭＬコントロールは、ハイパーリンクを活性化することによって文書間のブラウジング即ちナビゲーションも可能とするように構成されている。ActiveX^TMは、Microsoft Corporationが規定した相互交換可能なコンポーネントのための標準である。ActiveX^TMコントロールは、ディスプレイ・エンティティであり、ディスプレイを通じてユーザまたは視聴者とプログラムとの対話型処理を可能にする。この場合、そのコントロールはＨＴＭＬフォーマットの文書を表示して、ユーザがハイパーリンクを活性化し、このようなハイパーリンクのターゲットを検索して表示させることができるようにする。あるいは、従来のＨＴＭＬブラウザを、ハイパーリンク・オーバーレイを表示するのに用いることも可能である。
【００４３】
表示したアイコンをハイパーリンクと関連付ける代わりに、（ＨＴＭＬ技術を用いて）ビデオ上にかぶさるように、完全に透過的なイメージマスクを作成することも可能である。この結果、画面上には「ホットスポット」が得られ、これをクリックすることによって、動作を起こさせることができる。これの一例は、俳優の体の上にホットスポットを作成し、そのホットスポット上でクリックすることによって、その人物が何を考えていたのかを明らかにするというようなものである。別の例として、ユーザが、"Tool Time"のエピソードの間に、Tim AllenのBinford鋸の上でクリックし、どこでそれを購入したのかというような、それについての更なる情報を得る、という場合である。
【００４４】
ハイパーリンク・オーバーレイは、特定の１つのビデオ・ストリームに対応してグループで提供して、そのグループの様々な個々のオーバーレイ間でナビゲートできるようにする。例えば、週１回のテレビジョン・ショーの特定のエピソードの開始に先立って、オーバーレイの関連するグループをＰＣに提供することができる。これらオーバーレイの内最初のものを、エピソードの開始時に表示し、そして視聴者が望むならば、ハイパーリンクを追って行って、そのグループの他のオーバーレイを見ることができるようにする。
【００４５】
あるいは、オーバーレイを伝送する通信パケットと共に、タイミングおよびその他の情報をＰＣに提供することができる。タイミング情報は、特定のオーバーレイを表示すべき時刻を、そのビデオ・ストリームに対し相対的に示す。ハイパーリンクを活性化することにより、この指定されたタイミングを無視することができる。ビデオ・ストリームに対する特定のタイミングに頼らずにビデオを同期させる別の方法に、クローズド・キャプション・テキストを用いるものがある。クローズド・キャプション・ストリームを調べることによって、基準マークとして機能するある言葉を、画面上の俳優が発音した時に基づいて特定のイベントが生じるようにトリガすることができる。このような技術は、１９９７年１月６日に出願した、"System and Method For Synchronizing Content With A Video Program Using Closed Captioning"と題する、同時係属中の米国特許出願第０８／７７９，２７０号に記述されている。この特許出願は、Microsoft Corporationに譲渡されており、この言及によって本願に含めるものとする。
【００４６】
ＰＣ１４は、スタック系アルゴリズムを用いて多数のオーバーレイを処理するので、１つのオーバーレイを一時的に他のオーバーレイで上書きすることができる。例えば、緊急ニュース送信がオーバーレイを有し、規則的に予定されているショーに上書きするという場合があり得る。緊急ニュース送信が完了したならば、以前のオーバーレイを再現する。
【００４７】
図４は、本発明にしたがって放送ソース１２が実行する好適な方法ステップを示す。ステップ２２０は、ビデオ・ストリームを送信することから成っている。ビデオ・ストリームは、従来からのアナログＲＦテレビジョン・フォーマット、あるいは衛星またはケーブル・ヘッドエンドから発するデジタル・フォーマットのような、種々のフォーマットの１つとすることができる。
【００４８】
ステップ２２２は、グラフィカル・マークアップ言語、好ましくはＨＴＭＬの補足データ・ファイルのフォーマッティングから成る。各補足ＨＴＭＬデータ・ファイルは、指示した時刻にハイパーリンク・ページまたはオーバーレイをビデオ・ストリーム上にレンダリングする命令を有している。各オーバーレイは、キー・カラー即ちクロマ・カラーを設定した透過の区域あるいは領域を有することができる。また、オーバーレイは、他のオーバーレイへのハイパーリンク、またはその他のオーバーレイではない文書やオブジェクトへのハイパーリンクも含むことができる。
【００４９】
ステップ２２４は、補足データ・ファイルをビデオ・ストリームと関連付けることから成っている。このステップは、ビデオ・ストリームと共に、タイミング・パラメータのような制御データを指定することにより実行して、このビデオ・ストリームに関連付けて、ハイパーリンク・オーバーレイを表示する時刻を示す。尚、データ伝送速度を考慮に入れて、補足データは、これらが必要とされる時刻に先立って送出することを注記しておく。ステップ２２６は、補足データ・ファイルを、ビデオ・ストリームと共に送信することから成っている。既に説明したように、これを行うには、デジタル伝送媒体に組み込まれている機能を用いるか、あるいは従来のアナログ・テレビジョン信号の垂直ブランキング期間を用いることができる。
【００５０】
図５は、ＰＣ１４または別の受信機が実行するステップを示す。ステップ２３０は、放送ソースからビデオ・ストリームおよび添付補足データを受信することから成っている。ステップ２３２は、カラー・キーイング技術を用いてビデオ・ストリームをディスプレイ装置上のビューポート内に表示することから成り、これによりディスプレイの所定のキー・カラー即ちクロマ・キーを設定した区域上にのみ、ビデオ・ストリームを実際に表示する。
【００５１】
ステップ２３４は、補助データ・ファイルが規定するハイパーリンク・オーバーレイを、ビデオ・ストリームと共に表示装置上に表示することから成る。オーバーレイを予めキャッシュしてある場合、このステップは、それらをキャッシュ記憶部から検索することを含む。補足データ・ファイルと共に受信した制御データはこのステップで用いて、ハイパーリンクのページまたはオーバーレイをビデオ・ストリームと関連付ける。その結果、受信した時刻ではなく、制御データに含まれるタイミング仕様が指示する時刻に、オーバーレイを表示する。
【００５２】
デフォルトの場合、ActiveX^TMコントロールを用いて、ハイパーリンク・オーバーレイを表示し、オーバーレイ内のハイパーリンクを用いてナビゲーションを行うことができるようにする。ActiveX^TMコントロールは、ビデオ・ストリーム・ビューポートと同じ区域を占有するように構成する。このようにして、ハイパーリンク・オーバーレイの透過区域内に、ビデオ・ストリームをレンダリングする。場合によって、ＰＣ１４が実際にはActiveX^TMコントロールの作成もしくはレンダリングを定刻より前に行うこともあるが、このコントロールは適切な時点まで可視状態としない。これは、オーバーレイを提示する際のどのような遅延をも回避するためである。
【００５３】
あるいは、制御データで、透過的でないハイパーリンク・オーバーレイであるマルチメディア・オブジェクトを定義することも可能である。このような場合には、ＨＴＭＬ互換ブラウザのような別個のアプリケーション・プログラムを起動し、補足データ・ファイルが定義するオブジェクトのレンダリングを行う。このようなアプリケーション・プログラムは、それ自体の独立したウィンドウ内で起動し、視覚指向オブジェクト(visually-oriented object)の場合、ビデオ・ストリームと並べて見ることができる。
【００５４】
既に注記したように、補足データ・ファイルと共に伝送する制御データは、どのように補足データ・ファイルを扱うのかについて指示するものである。主に、制御データは、データ・ファイルのレンダリングを行う、即ち、可視状態にする時刻を示す。加えて、制御データは、視聴者があるオーバーレイ内からハイパーリンクを活性化した場合に何が発生すべきかを指示する。通常、ハイパーリンクを活性化すると、そのターゲットの表示を行うか、そうでなければレンダリングを行う。しかしながら、ハイパーリンクのターゲットが別の透過オーバーレイである場合、２つのオプションがある。即ち、ターゲットは現在表示中のオーバーレイと入れ換えるか、あるいはターゲットは、独立したブラウザによって、この目的のためにのみ開いた新しいウィンドウ内に表示することができる。ハイパーリンクのターゲットが透過オーバーレイでない場合、選択肢は１つだけである。即ち、適切なアプリケーション・プログラムを起動することによって、新しいウィンドウにターゲットを表示する。したがって、ステップ２３４は、必要に応じてアプリケーション・プログラムを起動して、ハイパーリングがターゲットとする非オーバーレイ・コンテンツのレンダリングを行うステップを含む。
【００５５】
上述のＰＣの実施形態では、これらのステップは、プログラム・メモリ５６に格納したプログラミング命令の実行の間に、データ・プロセッサ５２の制御の下で実行する。
【００５６】
これまで、本発明は、放送ビデオ・ストリームと共に用いる場合について主に説明したが、ビデオ・ストリームは、ローカルの記憶装置（ハード・ディスク、ＤＶＤ、ＣＤ、ＶＣＲ等）のようなその他の手段によっても利用可能な場合もあることを注記しておく。また、本発明は、これらのようなビデオ・ソースと共に用いても有用である。例えば、ムービーを、このムービーと共に使用するための１群の透過的ＨＴＭＬオーバーレイ・ファイルと共にＤＶＤで提供してもよい。あるいは、ムービーをＤＶＤ上で提供し、オーバーレイ・ファイルをインターネット・ソースからダウンロードしてもよい。
【００５７】
また、放送ソースを用いる場合でも、補足データ・ファイルの送信は、ビデオ・ストリームの送信と同時に行う必要はないことも注記しておく。むしろ、システムによっては、オーバーレイ・ファイルを夜間にユーザ機器に放送し、そしてそれを翌日に使用できるようにすることが望ましい場合もある。制御データは、どの番組にオーバーレイ・ファイルを関連付けるべきかを示し、そしてユーザのＰＣにあるソフトウェアが、ユーザの視聴選択に応じて、適切な時刻に適切なファイルを検索する。
【００５８】
本発明は、放送業者およびその他のビデオ・プロバイダが、補足文字データおよびグラフィック素材を供給し、かつこのような素材をビデオ・コンテンツと調整させる簡単な方法を提供する。従来のシステムとは対照的に、本発明は、広く用いられているハイパーテキスト・オーサリング・パッケージを利用するので、受入れおよび標準化を促進することになろう。
【００５９】
法令にしたがって、本発明の構造および方法上の特徴について多少なりとも具体的な言葉で説明した。しかしながら、ここに開示した手段は本発明を実施する際の好適な形態を構成するものであるので、本発明は、この具体的に記述した特徴に限定されるものではないことは理解されるべきである。したがって、本発明は、均等論にしたがって適切に解釈されるべき特許請求の範囲の適正な範囲にあるその形態および変更のいずれについても、その保護を請求するものである。
【図面の簡単な説明】
【図１】本発明によるビデオ放送システムのブロック図。
【図２】本発明による受信機の一例のブロック図。
【図３】本発明にしたがってビデオ、ＨＴＭＬオーバーレイ、およびフレーム・ウィンドウをどのように構成するのかを示す図。
【図４】本発明による好適な方法ステップを示すフローチャート。
【図５】本発明による好適な方法ステップを示すフローチャート。
【符号の説明】
１０ ビデオ放送システム
１２ 放送ソース
１４ 受信機
５２ プロセッサ
５４ 揮発性メモリ
５５ 不揮発性メモリ
５６ プログラム格納メモリ
５８ デジタル放送受信機
６０ チューナ
６２ マルチ・ビット・バス
６６ ビデオ・サブシステム
６８ モニタ
７２ ゲーム機械
７４ ＶＣＲ（ビデオ・カセット・レコーダ）
７６ アナログ放送テレビジョン・システム
１３０ 二次バス
１３２ オーディオ・ボード
１３４ ステレオ・システム
１３６ ＣＤ−ＲＯＭ（またはＤＶＤ）ドライブ
１３８ モデム
１４０ 入出力（Ｉ／Ｏ）アダプタ
１４２ デジタル・テープ・ドライバ
１４４ フロッピー・ディスク・ドライブ
１４６ ハード・ディスク・ドライバ
１４８ リモート受信機
１５０ COM1ポート
１５２ COM2ポート
１５４ LPT1ポート
２００ オーバーレイ・ウィンドウ
２０１ ビューポート
２０２ フレーム・ウィンドウ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and system for providing and displaying ancillary data content along with video and audio transmissions.
[0002]
[Prior art]
Displaying live video on personal computers (PCs) is becoming more and more common. A number of low cost video capture boards allow the display of analog video signals on the RGB display surface of a personal computer. In addition, the provision of high quality digital video and distribution through, for example, Direct Broadcast Satellite (DBS) will soon be available on the PC. With the right hardware, the PC can store not only locally stored analog and digital video signals (eg, on a CD or VCR), but also DBS signals, analog cable signals, and over-the- air-signal) can be displayed and decoded.
[0003]
In the future, television signal decoder circuits for both analog and digital signals will be used in most of all PCs, even if not standardized. Furthermore, the PC will give a better experience to the user or viewer beyond standard television by allowing the user or viewer to operate, view and use both data and video simultaneously. .
[0004]
In this new broadcasting environment, television broadcasters are trying to use the functions of PCs by strengthening digital programs. For example, a broadcaster may provide supplemental statistical data during a sports broadcast so that viewers can view detailed information about a particular team or player. Similarly, broadcasters may provide viewers with access to more detailed information during or after the broadcast by providing information related to the topic of the documentary. As another example, during a children's cartoon program, one may wish to promote a program related product, such as a doll or toy, during the program.
[0005]
This method of delivering data to PCs is particularly attractive in areas of the world that have not previously had a large amount of data infrastructure. For example, consider India with a middle-class population of about 300 million (more than the total population of the United States). Individuals can afford to purchase PCs, and many people actually own PCs, but those who have experienced Internet and high-speed data network processing because their telecommunications infrastructure is underdeveloped. Almost no. If a data service can be distributed to such a place, it will provide many opportunities.
[0006]
In recent years, great efforts have been made to develop what is called “interactive television”. Interactive television allows viewers to interact with cable television service providers. There are various enhancements to the interactive television system. For example, an interactive program guide can be implemented for the viewer. Using the interactive program guide, the viewer can scroll through the television program list through cursor control buttons on the remote control. The viewer can also perform an interactive search for program content. Some interactive TV systems include the ability for broadcasters to provide auxiliary data along with video supply.
[0007]
[Problems to be solved by the invention]
Until now, neither interactive television system has been widely accepted. One reason for hindering such wide acceptance is that each system employs different standards and protocols in providing ancillary data to the main video content. Unless a single system is established as a standard, broadcasters are forced to provide auxiliary data in a number of different formats. This is a serious obstacle.
[0008]
The present invention seeks to eliminate this obstacle by utilizing a conventional format for providing auxiliary data with a video broadcast, along with a scheme for superimposing digital data content on the main video stream.
[0009]
[Means for Solving the Problems]
The present invention enables broadcasters to prepare auxiliary data contents as HTML files. The HTML file is prepared as an overlay having a background of a predetermined color key, and is viewed using a video device having color keying features. At the receiver, the HTML overlay renders using color keying on the same display area as the broadcast video using typical Internet browser technology. This allows the overlay background to appear transparent and the video to appear only within the background area of the HTML overlay.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a video broadcasting system according to an embodiment of the present invention, which is generally designated byreference numeral 10.Broadcast system 10 includes abroadcast source 12 and a plurality ofreceivers 14. The broadcast source in this embodiment of the invention is a digital satellite system that broadcasts video content on multiple RF frequencies or channels. Alternatively, the broadcast source can be a conventional terrestrial television station and associated antenna, cable system, or any similar equipment installed to transmit video streams and attached data in analog or digital form. You can also.
[0011]
In most cases, thebroadcast source 12 supports only unidirectional communication and is mainly used for unidirectional broadcasting or multi-casting to multiple receivers simultaneously without foreseeing the receiver side. To do. Alternatively, thebroadcast source 12 may support bidirectional communication. Although only onebroadcast source 12 is shown for illustrative purposes, a broadcast system may includemultiple broadcast sources 12.
[0012]
Broadcast source 12 includes means for transmitting or otherwise carrying the main video stream and auxiliary digital data content toreceiver 14. In the case of digital satellite transmission, auxiliary data can easily be transmitted in digital form along with video and audio streams. Protocols such as MPEG-2 already allow auxiliary digital data to be incorporated into the packets, and these packets are downloaded along with the digital audio / video content using a satellite transmission facility. For example, existing DSS systems incorporate “hints” in the MPEG stream to indicate the aspect ratio for correct display by the receiver. Another example is in the analog world where Philips sells a device called Ghost Echo Cancellation Reference Signal. By injecting a known digital stream into a single analog television VBI line, modern televisions or PCs can more easily detect when a multipath (ghost) signal is received and clean the image You can take action. There are about 800 TV stations in the United States that implement this signal.
[0013]
When using traditional broadcast sources, such as analog RF television broadcasts, data can be transmitted during the vertical blanking period of the television signal. This method is currently used to provide closed captions for the hearing impaired. The digital data transmitted in this way can be extracted from the television signal by a number of methods known in the industry. Currently manufactured televisions have a function of extracting and displaying closed caption information. An external closed caption decoder can also be used for this purpose. In addition, a number of external devices are available that extract closed caption data and send it to a personal computer or other device through a serial cable. More recently, it has also become possible to decode closed caption data directly inside the PC using modern video and video tuner boards that allow television signals to be displayed on the PC.
[0014]
There are also other mechanisms that can be used to transmit digital data content to thereceiver 14. For example, a modem or other conventional network connection for digital data transmission can be used. Network connections such as these are independent of conventional video transmission media, which have the advantage of allowing bi-directional communication between the broadcast source and the receiver. Communication facilities such as the Internet can also be used. A cable television network can also provide similar communication functions. In addition, the latest plan for high definition digital terrestrial TV defines a channel capable of transmitting any amount of digital video or data at 19.3 megabits per second.
[0015]
It should be noted that the audio / video stream and digital data content can each be distributed using different media. While it is convenient to use only a single medium such as over-the-air transmission, video is distributed using conventional broadcasts, while using a physical medium such as CD-ROM. It is also possible to distribute digital data content. Alternatively, in some cases, both video and data can be distributed using a physically transportable medium such as a CD-ROM.
[0016]
In the preferred embodiment of the present invention, thebroadcast source 12 broadcasts an analog or digital video stream and provides supplemental digital data files for attachment to the video stream. These data files have digital content, which can be rendered by thereceiver 14 separately from the video stream. The broadcast source also provides a timing specification along with supplemental data files to indicate the time at which digital content is displayed in relation to the video stream.
[0017]
Digital content is preferably created in a standard, commonly used graphical markup language. In the preferred embodiment of the present invention, supplemental data files are prepared and formatted with the latest version of Hypertext Markup Language (HTML). To this end, broadcasters can use standard, widely accepted authoring tools, such as those used to write content for the Internet's World Wide Web. Become.
[0018]
The supplemental digital data content preferably consists of one or more hyperlink overlays. Each hyperlink overlay includes one or more hyperlinks. A hyperlink is a displayed area or entity that can be selected or activated by a viewer. Each hyperlink has a target and indicates other content (usually stored in a data file) that can be rendered for the viewer. When a hyperlink is activated, its target is searched and rendered. For example, when the target is a text document, this document is displayed. If the target is a file containing a digitized sound clip, the sound clip is rendered. The most common use of hyperlinks is moving or “navigating” from one document or object to another.
[0019]
For those familiar with Internet technology, the hyperlink overlay described above refers to documents that can be viewed when browsing the Internet's World Wide Web (often referred to as "web pages") It will be clear that this is the same as This is an attractive feature of the present invention. This is because, for this purpose, broadcasters can design auxiliary digital data content using existing Internet content development tools.
[0020]
One difference from a conventional web page is that the hyperlink overlay according to the present invention has a background and sets it to a predetermined key color. The background area set for the key color is intended to be transparent. Such a background can also be easily created using standard Internet content development tools such as Microsoft's Front Page® Web Designer.
[0021]
In this embodiment of the invention, thereceiver 14 has display hardware for receiving and displaying a broadcast video stream, such as a television signal or digital video broadcast, on a conventional personal computer (PC). It has equipment that has it. Also associated with the PC is asatellite dish 15 that receives digital satellite broadcasts, or a normal antenna that receives analog TV signals.
[0022]
The display hardware includes a bitmapped graphic display function in addition to the video display function, and can display a static bitmapped image along with conventional application programs. In addition, thePC 14 also includes video color keying hardware, which can be configured to display video only within the display area set to key color.
[0023]
Alternatively, thereceiver 14 can comprise other types of devices, such as an enhanced television unit that has similar functionality to the PC described herein.
[0024]
As an example of implementation, thePC 14 includes a processor (eg, Intel Corporation's x86 or Pentium®, memory, computer monitor (eg, VGA, SVGA), and one or more input devices (eg, keyboard, mouse, etc.). ).
[0025]
ThePC 14 has a digital receiver configured to receive digital broadcast data in a packetized format such as MPEG encoded digital video / audio data. Such digital receivers also have access means for reading supplemental data files received from satellite broadcasts, the receivers including auxiliary data in the form of software programs, programming information, and other data files. Many different forms of digital data can be received.
[0026]
The PC runs an operating system that supports many applications. The operating system is preferably a multitasking operating system that allows multiple applications to run simultaneously. This operating system employs a graphical user interface of a windowing environment and presents an application or document in a special area of the display screen called “Windows”. One suitable operating system is a Windows® brand operating system sold by Microsoft Corporation, such as Windows 95 or Windows NT, Windows CE, or other derivative versions of Windows®. . However, it should be noted that other operating systems that provide a windowing environment may be employed, such as Apple Computer, Inc.'s Machintosh operating system or IBM's OS / 2 operating system. .
[0027]
An example of an implementation of a broadcast-enabled PC is shown in copending US patent application Ser. No. 08 / 503,055, filed Jan. 29, 1996, entitled “Broadcast-Enabled Personal Computer”. In the issue. This application is assigned to Microsoft Corporation and is hereby incorporated by reference.
[0028]
FIG. 2 shows an example of implementation of thePC 14 in more detail. For purposes of displaying broadcast television and attached digital data content, thePC 14 has enhanced performance. ThePC 14 includes a processor 52 (eg, Intel Corporation's x86 or Pentium® microprocessor) and a motherboard (not shown) having volatile memory 54. The volatile memory 54 forms aprogram storage memory 56 together with the nonvolatile memory 55. Nonvolatile memory 55 comprises a floppy disk, hard disk, CD-ROM, or any other computer readable storage medium. An application program including instructions for executing the steps described herein is accommodated in this storage medium.
[0029]
ThePC 14 includes adigital broadcast receiver 58, such as a satellite dish receiver, RF receiver, microwave receiver, and the like. Thedigital receiver 58 receives digital data broadcast over a broadcast network such as a satellite network. Thereceiver 58 is coupled to a tuner 60 that tunes to the frequency or channel of the broadcast network. The tuner 60 has one or two main components: one or both of a special digital broadcast tuner and a general-purpose digital broadcast tuner. The special digital broadcast tuner is configured to receive digital broadcast data in a specialized format such as MPEG encoded digital video / audio data. General purpose digital broadcast tuners are configured to receive many different forms of digital data, including software programs and other auxiliary data.
[0030]
The tuner 60 is connected to the motherboard and thedata processor 52 through amulti-bit bus 62 such as a 32-bit PCI (Peripheral Component Interconnect) bus. Optionalcryptographic device 64 provides cryptographic services to the client, such as encryption, decryption, authentication, and digital signature.
[0031]
ThePC 14 has avideo subsystem 66 connected to thePCI bus 62. Video / audio data is transferred from tuner 60 tovideo subsystem 66 overPCI bus 62. In some embodiments, the tuner hardware may instead decode the MPEG stream itself and not pass data over the PCI bus. In such a system, uncompressed raw YUV video is sent to thevideo subsystem 66 board with a simple wire connection. However, in the illustrated embodiment, thevideo subsystem 66 includes circuitry for decoding MPEG encoding or other video data formats.Video subsystem 66 also includes a video display driver that drivescomputer monitor 68.
[0032]
Video subsystem 66 supports many peripheral devices in addition to monitor 68. For example, thevideo subsystem 66 includes alaser video player 70 that plays a DVD (digital video disc), agame machine 72 that plays a video game, and a video cassette recorder (VCR) that records a program. It is also possible to connect to 74.Video subsystem 66 is adapted to connect to an analogbroadcast television system 76 for receiving conventional TV signals from a cable television system or an RF broadcast television system. This provides backwards compatibility with analog television systems.
[0033]
Thevideo subsystem 66 also incorporates a color keying mechanism, which is useful when integrating video using static bitmap graphics. Using color keying, an application program or operating system configures the video subsystem to do whatever bitmapped monitor image is already in place by running the software, At the same time, the video stream is displayed in a rectangular area or “viewport” of themonitor 68. In practice, the video subsystem uses the video stream to overwrite the normal bitmap display image. However, the video subsystem is configured to overwrite only the area in the bitmap display image where a predetermined color or chroma key value is set. Thus, a bitmap image can be created to have “transparent” areas, ie areas that set color key values. Since the video stream is displayed only in these transparent areas, the bitmap image appears to overlay the video stream.
[0034]
Tseng Labs, Cirrus Logic, Brooktree, AT1 and S3 are examples of companies that produce such video subsystems.
[0035]
Themonitor 68 is preferably not a standard television but a VGA or SVGA monitor normally employed in personal computers. In the illustrated implementation, thePC 14 does not convert television-related data into the NTSC (National Television System Committee) format. Therefore, thePC 14 can generate television data having excellent image quality when displayed on the VGA monitor. In other embodiments, the image may be converted from VGA to NTSC and displayed on a standard TV screen, but the graphics resolution will be relatively low.
[0036]
ThePC 14 also includes asecondary bus 130 such as an ISA (Industry Standard Architecture) bus, which is coupled to the motherboard and thedata processor 52. Anaudio board 132 couples to theISA bus 130 and functions as an interface with multiple audio output devices, such as conventional speakers. An amplifier may be coupled between the audio board and the speaker if necessary. The audio board is also coupled to thevideo subsystem 66 to receive the decoded audio signal. Theaudio board 132 can also be coupled to thestereo system 134 so that audio data can be output to the stereo system and recorded for enhanced sound. Some newer computer systems instead support sending digital audio streams out of the PC and out to an external converter over a universal serial bus or IEEE 1394 connection. This eliminates the need for an internal sound card and allows for higher fidelity audio.
[0037]
A CD-ROM (or DVD) drive 136 is coupled to theISA bus 130. The audio output generated by the CDROM (or DVD) drive 136 is passed to theaudio board 132.
[0038]
ThePC 14 includes amodem 138, such as a 14.4 kbps or 28.8 kbps fax / data modem, which is coupled to theISA bus 130. Themodem 138 is connected to a conventional telephone line and accesses a public network including the Internet. Themodem 138 can be used to access and download data and supplemental content directly from an independent service provider. It can also be used to download supplemental data files originating from broadcast sources. In addition, themodem 138 can also be used for two-way communication with broadcast sources or other entities that provide broadcast-related services.
[0039]
Input / output (I / O)adapter 140 couples toISA bus 130 and includes a number of I / O devices includingdigital tape driver 142,floppy disk drive 144, and hard disk driver 146. Provides an interface. Aremote receiver 148 is also coupled to the I /O adapter 140 to receive IR or RF format signals from the remotecordless keyboard 66 and remote control (RC) handset 63. Alternatively, the keyboard and handset can be wired directly to the computer. In addition, the I /O adapter 140 also includes conventional serial ports, including aCOM1 port 150, aCOM2 port 152, and anLPT1 port 154. An IR transmitter (not shown) can be coupled to theCOM1 port 150 to generate infrared signals for controlling electronic devices such as stereo equipment, VCRs, and the like. The computer 60 can also be hooked directly to these components.
[0040]
In accordance with the present invention, thePC 14 is programmed or configured to receive a digital video stream and attached HTML file from a broadcast source and display the video stream with a hyperlink overlay defined by the HTML file. .
[0041]
FIG. 3 shows how this is achieved. First, anoverlay window 200 for displaying a hyperlink overlay is opened. Thevideo subsystem 66 is configured to display the video stream in aviewport 201 that matches the size and position of theoverlay window 200. The video subsystem is also configured to display the video stream only on areas where the predetermined color key of the hyperlink overlay is not set. Thus, the opaque area of the hyperlink overlay appears “through” the video stream and appears to cover the video stream. Perhaps the best example of this behavior is a TV weather forecaster who appears to be “floating” in front of the weather map. Aframe window 202 is also used to define the edges of theoverlay window 200 and theviewpoint 201. These three components are configured to appear to the user as a single window. The operating software configures the user so that they can be resized and moved as a single entity.
[0042]
Overlay window 200 is an ActiveX designed specifically for displaying documents in HTML format.^TM It is preferable to implement using controls. ActiveX like this^TM The HTML controls are configured to enable browsing between documents or navigation by activating hyperlinks. ActiveX^TM Is a standard for interchangeable components defined by Microsoft Corporation. ActiveX^TM A control is a display entity that allows interactive processing between a user or viewer and a program through the display. In this case, the control displays a document in HTML format so that the user can activate hyperlinks and search for and display such hyperlink targets. Alternatively, a conventional HTML browser can be used to display the hyperlink overlay.
[0043]
Instead of associating the displayed icon with a hyperlink, it is also possible to create a completely transparent image mask so that it covers over the video (using HTML technology). As a result, a “hot spot” is obtained on the screen, and an operation can be caused by clicking the “hot spot”. An example of this would be to create a hot spot on the actor's body and reveal what the person was thinking by clicking on the hot spot. As another example, during a "Tool Time" episode, a user clicks on Tim Allen's Binford saw to get more information about it, such as where it was purchased. It is.
[0044]
Hyperlink overlays are provided in groups corresponding to a particular video stream so that they can be navigated between the various individual overlays of that group. For example, an associated group of overlays can be provided to the PC prior to the start of a particular episode of a weekly television show. The first of these overlays is displayed at the beginning of the episode, and if the viewer wants, it can follow the hyperlink to see other overlays in the group.
[0045]
Alternatively, timing and other information can be provided to the PC along with the communication packet carrying the overlay. The timing information indicates when the particular overlay should be displayed relative to the video stream. By activating the hyperlink, this specified timing can be ignored. Another way to synchronize video without relying on specific timing for the video stream is to use closed caption text. By examining the closed caption stream, certain words that act as fiducial marks can be triggered to cause specific events based on when the actor on the screen pronounces. Such a technique is described in co-pending US patent application Ser. No. 08 / 779,270, filed Jan. 6, 1997, entitled “System and Method For Synchronizing Content With A Video Program Using Closed Captioning”. Has been. This patent application is assigned to Microsoft Corporation and is hereby incorporated by reference.
[0046]
Since thePC 14 processes a large number of overlays using a stack-type algorithm, one overlay can be temporarily overwritten with another overlay. For example, an emergency news transmission may have an overlay and overwrite a regularly scheduled show. When the emergency news transmission is completed, the previous overlay is reproduced.
[0047]
FIG. 4 illustrates the preferred method steps performed bybroadcast source 12 in accordance with the present invention. Step 220 consists of sending a video stream. The video stream can be in one of a variety of formats, such as a conventional analog RF television format or a digital format emanating from a satellite or cable headend.
[0048]
Step 222 consists of formatting a supplemental data file in a graphical markup language, preferably HTML. Each supplemental HTML data file has instructions for rendering a hyperlink page or overlay on the video stream at the indicated time. Each overlay can have a transparent area or region with a key or chroma color set. Overlays can also include hyperlinks to other overlays or other non-overlay documents and objects.
[0049]
Step 224 consists of associating the supplemental data file with the video stream. This step is performed by specifying control data, such as timing parameters, along with the video stream to indicate the time at which the hyperlink overlay is displayed in association with the video stream. It should be noted that taking into account the data transmission rate, supplemental data is sent prior to the time at which they are needed. Step 226 consists of sending the supplemental data file with the video stream. As already explained, this can be done using functions built into the digital transmission medium or using the vertical blanking period of conventional analog television signals.
[0050]
FIG. 5 shows the steps performed by thePC 14 or another receiver. Step 230 consists of receiving a video stream and attached supplemental data from a broadcast source. Step 232 consists of using a color keying technique to display the video stream in a viewport on the display device, thereby only on the area where the predetermined key color or chroma key of the display is set. Actually display the video stream.
[0051]
Step 234 consists of displaying the hyperlink overlay defined by the auxiliary data file along with the video stream on the display device. If overlays have been previously cached, this step includes retrieving them from the cache store. The control data received with the supplemental data file is used in this step to associate the hyperlink page or overlay with the video stream. As a result, the overlay is displayed not at the received time but at the time indicated by the timing specification included in the control data.
[0052]
ActiveX by default^TM The control is used to display a hyperlink overlay so that navigation can be performed using the hyperlinks in the overlay. ActiveX^TM The control is configured to occupy the same area as the video stream viewport. In this way, the video stream is rendered within the transparent area of the hyperlink overlay. In some cases, thePC 14 is actually ActiveX^TM The control may be created or rendered before the scheduled time, but this control will not be visible until the appropriate time. This is to avoid any delay in presenting the overlay.
[0053]
Alternatively, the control data can define a multimedia object that is a hyperlink overlay that is not transparent. In such a case, a separate application program such as an HTML compatible browser is activated to render the object defined by the supplemental data file. Such an application program runs in its own independent window and can be viewed alongside the video stream in the case of a visually-oriented object.
[0054]
As already noted, the control data transmitted with the supplemental data file indicates how to handle the supplemental data file. Mainly, the control data indicates the time at which the data file is rendered, ie, made visible. In addition, the control data indicates what should happen if the viewer activates a hyperlink from within an overlay. Normally, when a hyperlink is activated, its target is displayed or otherwise rendered. However, if the hyperlink target is another transparent overlay, there are two options. That is, the target can replace the currently displayed overlay, or the target can be displayed by an independent browser in a new window that is opened only for this purpose. If the hyperlink target is not a transparent overlay, there is only one option. That is, the target is displayed in a new window by launching the appropriate application program. Thus,step 234 includes launching an application program as needed to render the non-overlay content targeted by the hyperring.
[0055]
In the PC embodiment described above, these steps are performed under the control of thedata processor 52 during execution of programming instructions stored in theprogram memory 56.
[0056]
So far, the present invention has been mainly described for use with a broadcast video stream, but the video stream can also be obtained by other means such as a local storage device (hard disk, DVD, CD, VCR, etc.). Note that it may be available. The present invention is also useful with video sources such as these. For example, a movie may be provided on a DVD with a group of transparent HTML overlay files for use with the movie. Alternatively, the movie may be provided on a DVD and the overlay file downloaded from an internet source.
[0057]
It should also be noted that the transmission of the supplemental data file does not have to occur simultaneously with the transmission of the video stream, even when using a broadcast source. Rather, in some systems it may be desirable to broadcast the overlay file to the user equipment at night and make it available the next day. The control data indicates to which program the overlay file should be associated, and the software on the user's PC retrieves the appropriate file at the appropriate time in response to the user's viewing selection.
[0058]
The present invention provides a simple way for broadcasters and other video providers to supply supplementary character data and graphic material and coordinate such material with video content. In contrast to conventional systems, the present invention will facilitate acceptance and standardization because it utilizes a widely used hypertext authoring package.
[0059]
In accordance with the law, the structure and method features of the present invention have been described in somewhat more specific terms. However, it should be understood that the present invention is not limited to these specifically described features, as the means disclosed herein constitute preferred forms of practicing the present invention. It is. Accordingly, the present invention claims protection of any form and modification that are within the proper scope of the claims which should be properly construed according to the doctrine of equivalents.
[Brief description of the drawings]
FIG. 1 is a block diagram of a video broadcasting system according to the present invention.
FIG. 2 is a block diagram of an example of a receiver according to the present invention.
FIG. 3 illustrates how to configure video, HTML overlay, and frame windows in accordance with the present invention.
FIG. 4 is a flow chart illustrating preferred method steps according to the present invention.
FIG. 5 is a flow chart illustrating preferred method steps according to the present invention.
[Explanation of symbols]
10 Video broadcasting system
12 Broadcast source
14 Receiver
52 processor
54 Volatile memory
55 Nonvolatile memory
56 Program storage memory
58 Digital broadcast receiver
60 tuner
62 Multi-bit bus
66 Video Subsystem
68 monitors
72 game machines
74 VCR (video cassette recorder)
76 Analog Broadcast Television System
130 Secondary bus
132 Audio Board
134 Stereo system
136 CD-ROM (or DVD) drive
138 modem
140 Input / output (I / O) adapter
142 Digital Tape Driver
144 Floppy disk drive
146 hard disk driver
148 Remote receiver
150 COM1 port
152 COM2 port
154 LPT1 port
200 Overlay window
201 viewport
202 frame window

Claims (3)

Translated fromJapanese

ビデオ・ストリームを送るステップと、
グラフィカル・マークアップ言語で補足データ・ファイルをフォーマットするステップであって、各補足データ・ファイルは、前記ビデオ・ストリーム上にハイパーリンク・オーバーレイをレンダリングするための命令を有する、前記のステップと、
前記ビデオ・ストリームと共に、前記補足データ・ファイルを送るステップと、
前記補足データ・ファイルと共に、前記ハイパーリンク・オーバーレイを表示する時刻を示すタイミング仕様を送るステップと、
前記ビデオ・ストリームおよび添付補助データ・ファイルを受けるステップと、
前記ビデオ・ストリームと共に、前記ハイパーリンク・オーバーレイを表示するステップと、
前記フォーマットするステップは、前記ハイパーリンク・オーバーレイの透過区域をキー・カラーに設定するステップを含み、
前記表示するステップは、ＨＴＭＬ互換ブラウザを起動して、前記ハイパーリンク・オーバーレイを表示するステップを含み、
前記表示するステップは、更に、キー・カラーに設定した表示区域内にのみビデオを表示するカラー・キーイング・ビデオ・ハードウェアを使用するステップを含むこと、
から成る方法。Sending a video stream;
Formatting supplemental data files in a graphical markup language, each supplemental data file having instructions for rendering a hyperlink overlay on the video stream;
Sending the supplemental data file with the video stream;
Sending together with the supplemental data file a timing specification indicating the time to display the hyperlink overlay;
Receiving the video stream and attached auxiliary data file;
Displaying the hyperlink overlay with the video stream;
The step of formatting includes setting a transparent area of the hyperlink overlay to a key color;
The step of displaying includes activating an HTML compatible browser to display the hyperlink overlay;
The step of displaying further comprises using color keying video hardware to display the video only within the display area set to the key color ;
A method consisting of: ビデオ・ストリームを送るステップと、
ハイパーリンク・ページのレンダリングを行う命令を有するＨＴＭＬファイルをフォーマットするステップであって、前記ハイパーリンク・ページは、キー・カラーに設定した透過区域を有する、前記のステップと、
前記ＨＴＭＬファイルを前記ビデオ・ストリームと関連付けるステップと、
前記ハイパーリンク・ページをディスプレイ上に表示するステップと、
表示したハイパーリンク・ページの内、キー・カラーに設定した区域内にのみ、前記ディスプレイ上で前記ビデオ・ストリームを表示するステップと、
前記ＨＴＭＬファイルと共に前記ハイパーリンク・ページを表示する時刻を指示するタイミング仕様を送るステップと、
前記ハイパーリンク・ページを表示するステップを、前記タイミング仕様が指示する時刻に実行するステップと、
前記ハイパーリンク・ページを表示するステップは、ＨＴＭＬ互換ブラウザを起動することを含み、
前記ビデオ・ストリームを表示するステップは、キー・カラーに設定した表示領域内にのみビデオを表示するカラー・キーイング・ビデオ・ハードウェアを使用するステップとを含むことを特徴とする方法。Sending a video stream;
Formatting an HTML file having instructions for rendering a hyperlink page, the hyperlink page having a transparent area set to a key color;
Associating the HTML file with the video stream;
Displaying the hyperlink page on a display;
Displaying the video stream on the display only within an area of the displayed hyperlink page set to a key color;
Sending a timing specification indicating the time to display the hyperlink page with the HTML file;
Executing the step of displaying the hyperlink page at a time indicated by the timing specification;
Displaying the hyperlink page includes launching an HTML compatible browser;
Displaying the video stream comprises using color keying video hardware to display video only in a display area set to key color . ビデオ・ストリームを受けるステップと、
１つ以上のハイパーリンク・ページを前記ビデオ・ストリームと関連付けるステップであって、前記ハイパーリンク・ページは、キー・カラーに設定した透過区域を有する、前記のステップと、
前記ハイパーリンク・ページをディスプレイ上に表示するステップと、
表示中のハイパーリンク・ページのキー・カラーに設定した区域内において、前記ディスプレイ上に前記ビデオ・ストリームを表示するステップと、
前記ハイパーリンク・ページを表示する時刻を指示するタイミング仕様を受けるステップと、
前記ハイパーリンク・ページを表示するステップを、前記タイミング仕様が指示する時刻に実行するステップと、
前記ハイパーリンク・ページを表示するステップは、ＨＴＭＬ互換ブラウザを起動することを含み、
前記ビデオ・ストリームを表示するステップは、キー・カラーに設定した表示区域内にのみビデオを表示するように構成したカラー・キーイング・ビデオ・ハードウェアを使用するステップを含むこと、
を特徴とする方法。Receiving a video stream;
Associating one or more hyperlink pages with the video stream, wherein the hyperlink page has a transparent area set to a key color;
Displaying the hyperlink page on a display;
Displaying the video stream on the display within an area set to the key color of the hyperlink page being displayed;
Receiving a timing specification indicating a time to display the hyperlink page;
Executing the step of displaying the hyperlink page at a time indicated by the timing specification;
Displaying the hyperlink page includes launching an HTML compatible browser;
Displaying the video streamincludesusing color keying video hardware configured to display video only within a display area set to key color;
A methodcharacterized by .

Images