JP4028356B2 - COMMUNICATION SYSTEM, RADIO COMMUNICATION TERMINAL, DATA DISTRIBUTION DEVICE, AND COMMUNICATION METHOD - Google Patents

Description

Translated fromJapanese

【０００１】
【発明が属する技術分野】
本発明は、データ通信を行う通信システムに関し、特に無線区間の伝送レートを変化させることができる通信システムに関する。
【０００２】
【従来の技術】
近年、移動通信網でも通信回線の伝送容量が増大し、また携帯電話機等の移動体端末装置も高機能化して、従来の音声通話サービスに加えてデータや画像、さらには動画像データの送受信を行えるものが登場し、携帯電話のサービスにおいても動画像データのダウンロードサービスやストリーミングサービスが提供され始めている。このようなサービスの多様化に伴い、移動体通信網では、下り回線においてより大量のデータを送信することが要求されるようになってきている。そして、このようなニーズに対応するため、基地局から通信端末への下り回線の伝送効率を高めた１ｘＥＶ−ＤＯ（1x Evolution Data Only）システムを使用した高速パケット通信ネットワークが提案されている。
【０００３】
この１ｘＥＶ−ＤＯシステムでは、測定した回線品質において最も効率良く高速パケット通信を行うことができる通信モードを選択し、３８．４ｋｂｐｓ〜２．４Ｍｂｐｓのデータレートでデータ通信が可能となっている。基地局は、各通信端末における回線品質に応じて送信スロットの割り当てを決めるスケジューリングを行う。基地局はシステム全体としての伝送効率の向上を考慮して、通信可能な伝送レートが高い無線通信端末に優先的に通信リソースを割り当てて、システム全体としてデータの伝送効率を高めている。
【０００４】
動画像データの配信方法としてストリーミング技術を用いた方法があり、ストリーミング中のデータ再生のリアルタイム性を確保するため、データ転送プロトコルとしてＲＦＣ１８８９で規定されるＲＴＰ（Realtime Transport Protcol）とその制御プロトコルであるＲＴＣＰ（RTP Control Protcol）が使用される。ストリーミングサーバではこのＲＴＣＰ情報を使用することによりクライアント側の受信レートの予測が可能となり、これを用いてサーバの送信レートを制御する可変レート制御方法によるストリーミングが行われる。そして、情報を送信する際、受信側端末からのＲＴＣＰデータに基づいて、送信レートを徐々に上げるように送信レートを制御する技術が知られている。
【０００５】
１ｘＥＶ−ＤＯシステムのような伝送レートの変動幅が大きい通信システムにおいてストリーミングデータを伝送する際には、伝送レートの変動に合わせて符号化レートを変更しながらデータの配信を行う可変レート型のストリーミングが有効である。これは無線区間の実効レートの低下に対しては符号化レートを下げて基地局でのバッファリングによる遅延やデータの廃棄を回避し、無線区間の実効レートの上昇に対しては可能な限り符号化レートを上げ、画質のよい画像を提供しようとするものである。可変レートを実現する方法として、同一の映像ソースを用いて符号化レートを変更して再符号化するトランスコーディング方式と、異なるビットレートの映像ソースを選択して送信するファイル切替方式が提案されている。
【０００６】
【特許文献１】
特開２００２−１３５７８３号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、１ｘＥＶ−ＤＯシステムのようなベストエフォート型の高速無線パケット通信ネットワークでは、無線通信の特性上、ビットエラー率やパケットロス率、遅延時間などが有線ネットワークと比較して大きく、そのデータ伝送帯域幅も急激に変動するという問題を有している。特にデータの連続性やリアルタイム性が要求される動画像のストリーミングサービスにおいては、伝送帯域の変動幅や遅延時間の大きさがサービス上大きな問題となる。
【０００８】
また、前述したトランスコーディング技術では復号処理と符号化処理を行う必要があるため、トランスコーダの負荷が大きく、サーバでの変換処理の負荷が大きくなる。特に帯域変動の幅が大きな１ｘＥＶ−ＤＯシステムでは変換する符号化レートの差が大きくなるために変換処理の効率も悪くなってしまうという問題がある。例えば、ソースデータが２．４Ｍｂｐｓのストリームデータだけであると、これをもとに１．０Ｍｂｐｓのストリームデータを作る場合も、６４ｋｂｐｓのストリームデータを作る場合も、いずれも２．４Ｍｂｐｓのストリームデータを一旦デコードする必要がある。特に１００ｋｂｐｓ以下のレートまで下げる場合には、上述の方法だけでは十分な画質が得られないために符号化前に画像サイズの変更処理も必要となってくる。このような場合、１枚の画像の変換に時間がかかって変換後のストリームデータの所望のフレームレートが得られず、動画像の品質が劣化してしまうという問題がある。
【０００９】
一方、ファイル切替方式では、予め符号化レートが異なる複数のストリームファイルを用意し、送信中のレート変更に応じてこれらのストリームファイルから１つを選択して送信することによって可変レート制御を実現している。このようにファイル切替え型のレート制御では、各符号化レートに対応したストリームファイルを用意することで１ｘＥＶ−ＤＯ網の広い帯域に対応できるが、ファイル数が少ないと細かいレート制御ができず、ファイル数が多いとサーバの記憶領域を圧迫するという問題がある。
【００１０】
本発明は、伝送レートの変動が大きい通信システムでストリーミングデータを送信する際に最適なビットレートでデータを送信することができる通信システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
第１の発明は、データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、前記無線通信端末は、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信するレート情報送信手段を備え、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記無線通信端末から送信された前記情報を受信する受信手段と、前記情報に基づいてデータ配信装置から前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【００１２】
第２の発明は、データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、前記無線通信端末は、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、前記符号化レートの情報をデータ配信装置に送信するレート情報送信手段と、を備え、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記符号化レート決定手段によって決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【００１３】
第３の発明は、データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信する送信手段と、複数のレートで符号化されたコンテンツソースデータのうち、前記情報に基づいて決定された符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備える。
【００１４】
第４の発明は、データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、複数のレートで符号化されたコンテンツソースデータをのうち、前記決定した符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備える。
【００１５】
第５の発明は、コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記コンテンツデータの符号化レートを決定するために必要な情報を前記無線通信端末から受信する受信手段と、データ配信装置が前記コンテンツデータを符号化する符号化レートを、前記情報に基づいて決定する符号化レート決定手段と、前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【００１６】
第６の発明は、コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記無線通信端末において決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、前記再符号化されたソースデータを送信するデータ送信手段と、を備える。
【００１７】
第７の発明は、データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、前記無線通信端末は、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を前記データ配信装置に送信し、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記無線通信端末から送信された前記情報を受信し、データ配信装置が前記コンテンツデータを符号化する符号化レートを前記情報に基づいて決定し、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする。
【００１８】
第８の発明は、データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、前記無線通信端末は、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定し、前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２０】
図１は、本発明の実施の形態の無線通信システムの構成図である。
【００２１】
クライアント端末１０は、無線基地局３０及びネットワーク（ＩＰネットワーク等）４０を介して、リアルタイム性を持ったコンテンツデータ（動画像、静止画、音楽、音声、字幕等）を送信するデータ配信装置（ストリーミングサーバ２０）に接続されている。
【００２２】
クライアント端末１０は、データ通信に対応する携帯電話機や、ＰＤＡ（Personal Digital Assistants）や、無線機を内蔵したデータ通信カードが付加されたコンピュータ装置等の無線通信端末である。
【００２３】
クライアント端末１０と無線基地局３０との間は、１ｘＥＶ−ＤＯ網（1x Evolution Data Only網）で接続されている。この１ｘＥＶ−ＤＯ網は、クライアント端末１０から送信された無線通信回線の品質情報（ＤＲＣ情報）及び接続されているクライアント端末１０の数に基づいて、各クライアント端末１０に割り当てるデータ通信の帯域幅を決定し、各クライアント端末１０に対する無線通信回線の伝送レートを決定する。
【００２４】
ここで、１ｘＥＶ−ＤＯシステムにおける無線基地局３０とクライアント端末１０との間で行われる高速パケット通信について説明する。
【００２５】
１ｘＥＶ−ＤＯシステムにおいて用いられるパケットは、各ユーザ宛てのデータが時分割多重されたデータ部の先頭に、パイロット信号や制御情報を含むヘッダが付加されて構成される。制御情報には各通信端末への通信リソースの割り当てを示す割り当て情報が含まれる。
【００２６】
まず、無線基地局３０は、自局のカバーエリアに収容されているクライアント端末１０に前記パイロット信号を含むパケットを送信する。各クライアント端末１０は、受信信号に含まれるパイロット信号に基づいて下り回線の回線品質（例えば、希望波対干渉波比（ＣＩＲ））を測定する。各クライアント端末１０には、下り回線の回線品質とその回線品質でパケットを伝送する際に最適な通信モードとの対応関係を示すテーブルが記憶されており、各クライアント端末１０は、このテーブルを参照して、測定した回線品質において最も効率良く高速パケット通信を行うことができる通信モードを選択する。通信モードとは、送信データに割り当てられるスロット長、送信データの符号化率、変調方式、拡散率を組み合わせた複数のモードが用意されている。そして、通信モードを選択することで、３８．４ｋｂｐｓ〜２．４Ｍｂｐｓの広い帯域幅のデータレートでの高速データ通信が可能となっている。各クライアント端末１０は、選択した通信モードを示す信号（ＤＲＣ信号）を無線基地局３０に送信する。また無線基地局３０に接続された他のクライアント端末１０も、同様にしてＤＲＣ信号を無線基地局３０に送信する。
【００２７】
無線基地局３０は、各クライアント端末１０から送信されたＤＲＣ信号に基づいて、回線品質の良好なクライアント端末１０から優先的に通信リソースを割り当てるスケジューリングを行う。これにより、回線品質の良いクライアント端末１０には、伝送レートを高くしてデータを送信するので通信の所要時間を短縮することができ、回線品質の悪いクライアント端末１０には伝送レートを低くしてデータを送信するので誤り耐性を高めることができる。
【００２８】
無線基地局３０は、通信リソースの割り当てに従って、送信データに対するスロットを割り当て、符号化処理、変調処理、拡散処理等を施し、各クライアント端末１０宛ての送信データを時分割多重して送信フレームを構成し、その送信フレームを各クライアント端末１０に送信する。この際、送信フレームの先頭のヘッダには、各クラインアント端末１０への通信リソースの割り当てを示す制御情報（割り当て情報）が挿入される。クライアント端末１０は、割り当て情報を参照することにより、通信モードを知って、自局宛てのデータを復調することができる。
【００２９】
このように、従来の１ｘＥＶ−ＤＯシステムでは、回線品質がよい通信端末から優先的に通信リソースを割り当てることにより、システム全体としてデータの伝送効率を高めている。
【００３０】
図２は、本発明の実施の形態の無線通信システムを構成する各装置のブロック図である。
【００３１】
クライアント端末１０は、無線基地局３０からの電波（下りの信号）を受信し、無線基地局３０に対し電波（上りの信号）を送信するアンテナ１１を有し、該アンテナ１１は無線部１２に接続されている。無線部１２は送信部及び受信部によって構成され、送信部はアンテナ１１から送信する高周波信号を生成し、受信部はアンテナ１１で受信した高周波信号に増幅、周波数変換等をして、ベースバンド信号として送受信部１３に出力する。
【００３２】
送受信部１３は変復調回路及びＣＯＤＥＣ部を含んで構成されており、変復調回路によってベースバンド信号を復調する。復調された信号はＣＯＤＥＣ部に送られ、ＣＯＤＥＣ部にてデータ信号に復号される。また、ＣＯＤＥＣ部はデータ信号を符号化し、符号化された信号は送受信部１３に送られ、変調される。変調された信号は、送信部にて高周波信号に変換され、アンテナ１１から送信される。
【００３３】
送受信部１３には、受信バッファ１４が接続されており、クライアント端末１０が受信したストリーミングデータを一時的に記憶して、短時間の伝送レートの低下、回線の切断等があっても、ストリーミングデータが途切れることなく再生されるようにしている。受信バッファ１４から読み出されたデータは、復号部１５に送られ、ＭＰＥＧ等の動画像ファイルとして符号化されたデータを映像信号に復号する。そして、復号された映像データは表示部１６に表示され、動画像データが再生される。
【００３４】
制御部１７は、無線部１２、送受信部１３、受信バッファ１４、復号部１５等のクライアント端末１０の各部を制御する。具体的には、無線部１２に対してチャネルを指定して送受信周波数や、送受信タイミングを制御する。また、所定の通信プロトコルに従って、クライアント端末１０と無線基地局３０との間の無線通信回線の設定、解放、位置登録等の各種制御信号を生成し、これらの信号の送受信を制御する。
【００３５】
さらに、本発明の実施の形態では、無線通信網は１ｘＥＶ−ＤＯ網なので、クライアント端末１０は、無線基地局３０から送信された信号（例えば、パイロット信号、制御パケット等）を受信して求めたＣＩＲに基づいて、効率よくデータ通信を行うことができるものとして選択された通信モードを示す信号であるＤＲＣ情報を無線通信回線品質情報として無線基地局３０に対して送信する。つまり、制御部１７は受信信号から求めたＣＩＲを取得して、予め記憶された変換テーブルを参照して、伝送レートを決定する。そして決定された伝送レートに基づいてＤＲＣ情報を生成して、無線部１２に送る。このように、無線部１２等によって無線通信回線の品質を検出する検出手段が構成される。また、制御部１７及び無線部１２等によって、検出手段が検出した回線品質の情報をストリーミングサーバ２０に送信する回線品質情報送信手段が構成される。
【００３６】
また、制御部１７は、ストリーミングサーバ２０から送信されたデータのパケットを監視しており、ストリーミング中に受信レートの変化状況を取得する。すなわち、パケットロス率、ロスパケット数、受信したパケットのシーケンス番号の最大値、到着間隔ジッタ等を含む受信レポート（ＲＲ）を、データの受信状況情報（フィードバック情報）としてストリーミングサーバ２０に送信する。このように、制御部１７等によってデータの受信状況を検出する検出手段が構成される。また、制御部１７及び無線部１２等によって、ストリーミングサーバ２０から送信されたデータの受信状況情報をストリーミングサーバ２０に送信する受信状況情報送信手段が構成される。
【００３７】
また受信バッファ１４のバッファ占有量情報をフィードバック情報として送信するように構成してもよい。
【００３８】
制御部１７は、復号部１５に対して、復号のための情報を指示する。
【００３９】
無線基地局３０は、無線部に接続されたアンテナ３１を有しており、クライアント端末１０からの電波（上りの信号）を受信し、クライアント端末１０に対し電波（下りの信号）を送信する。無線部は送信部及び受信部によって構成され、送信部はアンテナ３１から送信する高周波信号を生成し、受信部はアンテナ３１で受信した高周波信号に増幅、周波数変換等をして、ベースバンド信号として送受信部に出力する。
【００４０】
送受信部は変復調回路及びＣＯＤＥＣ部を含んで構成されており、変復調回路によってベースバンド信号を復調する。復調された信号は、ＣＯＤＥＣ部に送られ、ＣＯＤＥＣ部にてデータ信号に復号される。ＣＯＤＥＣ部はデータ信号を符号化し、符号化された信号は送受信部に送られ、変調される。変調された信号は、送信部にて高周波信号に変換され、アンテナ３１から送信される。
【００４１】
送受信部にはインターフェース部が接続されており、無線基地局３０は、該インターフェース部を介してインターネット等のネットワーク（ＩＰネットワークなど）４０に接続されている。
【００４２】
また、無線基地局３０は、無線基地局３０の各部（無線部、送受信部、インターフェース部等）を制御する制御部を備える。具体的には、この制御部は、無線部に対してチャネルを指定して送受信周波数や、送受信タイミングを制御する。また、クライアント端末１０からの接続要求に対して、その接続の許否及びクライアント端末１０の接続数を制御する。
【００４３】
さらに、本発明の実施の形態では、無線通信網は１ｘＥＶ−ＤＯ網なので、クライアント端末１０から送信された無線通信回線の品質情報及び接続されているクライアント端末数に基づいて、各クライアント端末１０に割り当てるデータ通信の帯域幅を決定し、各クライアント端末１０に対する無線通信回線の伝送レートを決定する。
【００４４】
すなわち、無線基地局３０の制御部及び無線部等によって、クライアント端末１０から送信された無線通信回線品質情報（ＤＲＣ情報）及び受信状況情報（受信レポート：ＲＲ）を受信する回線品質情報受信手段が構成され、制御部等によって、無線通信回線のデータ伝送レートを決定する伝送レート決定手段が構成されている。
【００４５】
データ配信装置は、動画像データを無線通信端末に送信（配信）する装置であり、動画像データを記憶している。データ配信装置はサービス提供側の装置であって、例えば、サーバ等のコンピュータ装置であり、本実施の形態ではサーバとして説明する。なお、動画像データ等のコンテンツを記憶している記憶装置はサーバ内に設けられていてもサーバ外に設けられていてもよい。
【００４６】
ストリーミングサーバ２０は、クライアント端末１０にデータを送信するコンピュータ装置である。ストリーミングサーバ２０は、ソースとなる複数のストリームデータを格納するストリームデータ格納部（ストレージ装置、ハードディスク等の記憶装置）に映像ソース２１ａ〜２１ｅを記憶している。この映像ソースは、１ｘＥＶ−ＤＯ網の広い帯域を複数のレベルに分け、そのレベル毎に設定したビットレートで符号化されたストリームデータを格納する。本実施の形態では、３８．４ｋｂｐｓ〜２．４Ｍｂｐｓの範囲を５つのレベルに分け、ビットレートを高いほうから２．４Ｍｂｐｓ、１．２Ｍｂｐｓ、６００ｋｂｐｓ、３００ｋｂｐｓ、１００ｋｂｐｓに設定して符号化した複数のストリームファイルを用意する。
【００４７】
ストリームデータ選択部２６は、レート予測部２４で予測した無線区間の実効レートに合わせて、ストリームデータ格納部から適切なビットレートの映像ソース２１ａ〜２１ｅを選択する。例えば、予測レートが４００ｋｂｐｓであれば６００ｋｂｐｓのストリームデータを選択し、予測レートが１００ｋｂｐｓ以下であれば１００ｋｂｐｓのストリームデータを選択する。そして、該映像ソースを記憶装置から読み出して、トランスコーディング部２２に送る。
【００４８】
トランスコーディング部２２では、読み出した映像ソースを、読み出した映像データと異なるビットレートでＭＰＥＧ等の動画像符号化規格に基づいて再符号化して、送信部２３に送る。すなわち、トランスコーディング部２２では、ストリームデータ選択部２６で選択されたストリームデータ（映像ソース）からビットストリームを読み出し、予測レートに合わせた符号化レートでの再符号化（トランスコーディング）を行い、レートを変更する。
【００４９】
具体的には、トランスコーディング部２２では、例えば、ＭＰＥＧ−１やＭＰＥＧ−２などのデータ形式で保存されている動画コンテンツを一旦画像データに復号した後、別の符号化方式（例えば、ＭＰＥＧ−４）や別の画像フォーマット、符号化レートで再符号化する。再符号化の際に必要なビットレートを得るために処理するフレームを間引いてフレームレートを変更したり、再符号化の際に量子化係数を変更して圧縮率を上げたり、送信するＤＣＴ係数の数を減らしてデータ量の削減を行っている。この技術により１つの画像ソースから無線区間のレート変動に合わせて複数レートのストリームデータを送信することが可能となる。
【００５０】
送信部２３は、ストリームデータを通信プロトコルに基づいてセグメント化しデータをパケットとしてネットワーク（ＩＰネットワークなど）４０に送信する。
【００５１】
レート予測部２４は、ストリーミングサーバ２０が符号化するデータの符号化レートを予測して、データの符号化レートを決定する。すなわち、本発明では、クライアント端末１０は、ストリーミングサーバ２０から送信されたデータの受信状況情報として、パケットロス率、ロスパケット数、受信したパケットのシーケンス番号の最大値、到着間隔ジッタ等を含む受信レポートをストリーミングサーバ２０に送信する。また、クライアント端末１０は、クライアント端末１０と無線基地局３０との間の無線通信回線の品質情報としてＤＲＣ情報をストリーミングサーバ２０に送信する。そして、ストリーミングサーバ２０は、受信したフィードバック情報（受信レポート（受信状況情報）及びＤＲＣ情報（回線品質情報））に基づいて、無線区間の実効レートを予測して、ストリーミングサーバ２０が符号化するデータの符号化レートを決定する。
【００５２】
この実効レートの予測は、クライアント端末１０から最近受信したフィードバック情報のみを使用してもよいし、過去に受信したフィードバック情報や該フィードバック情報から予測レートを記憶しておき、その変動から伝送時間を加味した将来のレートを予測するように構成してもよい。また、様々な情報を用いた他の公知の予測方法も取りうる。また、レート予測の間隔や符号化レートの切替え間隔についても特に限定はしない。ただしストリームデータの切替えはストリームデータ内のＩフレーム（Ｉ−ＶＯＰ）の開始時点にすることが望ましい。
【００５３】
制御部２５は、トランスコーディング部２２、送信部２３等のストリーミングサーバ２０の各部を制御する。具体的には、レート予測部２４からデータ符号化レートを取得し、データ符号化レートに適合した符号化方法、符号化のための情報（例えば、ＤＣＴ係数、量子化係数等）をトランスコーディング部２２に指示する。また、送信部２３から送信されるパケット数を制御する。
【００５４】
このように、本発明の実施の形態のストリーミングサーバ２０では、ストリームデータ選択部２６とトランスコーディング部２２とによって、ファイル切替方式とトランスコーディング方式とを組み合わせて用いている。そして、１ｘＥＶ−ＤＯ網の広い帯域（３８．４ｋｂｐｓ〜２．４Ｍｂｐｓ）を複数のレベルに分け、そのレベル毎にソースとなるビットストリームデータ（映像ソース２１ａ〜２１ｅ）を記憶して、ストリームデータ選択部２６はクライアントからのフィードバック情報をもとに送信するストリームデータを選択し、ファイルを切り替える。さらに送信部２３との間に設けられたトランスコーディング部２２がフィードバック情報に基づいて予測したレートでトランスコーディングをすることによって、ファイルを切り替えた後の実効レートとの差を調整する。また、実効レートの変動幅が小さい場合はトランスコーディングのみでレート制御を行うように制御する。
【００５５】
このように構成することでソースとなるストリームデータから実際に送信するストリームデータに変換する際のビットレートの変更幅が小さくなり、ソースデータからの画質の劣化が少なくなるとともに、変換処理にかかる時間も短縮できる。
【００５６】
なお、以上説明した実施の形態では、ストリーミングサーバ２０がストリーミングデータを符号化するレートをストリーミングサーバ２０で算出したが、クライアント端末１０で、ストリーミングサーバ２０がストリーミングデータを符号化するレートを算出して、クライアント端末１０からストリーミングサーバ２０に通知するように構成してもよい。
【００５７】
図３は、本発明の実施の形態のストリーミングサーバ２０の送信処理を説明するフローチャートである。
【００５８】
本フローチャートでは、ストリーミングサーバ２０は、ストリーミングデータの配信開始時には設定可能な最も低いレートからデータの配信を開始し、その後フィードバック情報（受信レポート）を使って実効レートを予測して符号化レートを制御する。
【００５９】
トランスコーディング部２２は、ビットストリーム中のスタートコードを検出する（Ｓ１）。
【００６０】
そして、スタートコードがシーケンスエンドコードであるか否かを判定する（Ｓ２）。スタートコードがシーケンスエンドコードの場合、データの送信処理を終了する（Ｓ１０）。
【００６１】
一方、スタートコードがシーケンスエンドコードでない場合、実効レート予測処理（Ｓ３）に進む。レート予測部２４では、クライアント端末１０からのフィードバック情報に基づいて無線通信回線の実効レートを予測して実効レート予測処理を行う（Ｓ３）。このときクライアント端末１０から最近受信したフィードバック情報のみを使用してもよいし、過去に受信したフィードバック情報や該フィードバック情報から予測レートを記憶しておき、その変動から伝送時間を加味した将来のレートを予測するように構成してもよい。様々な情報を用いた他の公知の予測方法が取りうる。
【００６２】
実効レートの予測後、実効レートの予測値とトランスコーディング部２２の符号化レートとを比較し、符号化レートの変更が必要か否かを判定する（Ｓ４）。そして、実効レートの予測値（すなわち、ストリーミングサーバ２０からデータを送信するレート）と読み出された映像ソース２１ａ〜２１ｅの符号化レートに相違がなければ、トランスコーディング部２２で符号化レートを変更する必要がないものと判定し、ステップＳ９に移行し、現在の符号化レートを維持して再符号化（トランスコーディング）を継続する。
【００６３】
一方、実効レートの予測値より読み出された映像ソース２１ａ〜２１ｅの符号化レートの方が大きければ、符号化レートの変更が必要であると判定する。そして、ストリーミングサーバ２０から送信するデータの符号化レートを実効レートに合わせるために、映像ソース（ストリームデータ）の切替えが必要か否かを判定する（Ｓ５）。
【００６４】
すなわち、トランスコーディング部２２において、データの符号化レートを大きく変化させると、ストリームデータの品質（画質、音質等）が劣化するので、トランスコーディング部２２に入力される映像ソースは、再符号化後の符号化レートに最も近いものを使用することが望ましい。そこで、ステップＳ５では、映像ソースの切替えが必要か否かを判定して、ストリームデータの切替えが必要なければ、ステップＳ８に移行し、トランスコーディング部の符号化レートを設定し（Ｓ８）、トランスコーディングを行う（Ｓ９）。
【００６５】
一方、ストリームデータ（映像ソース）の切替えが必要な場合は、ビットストリームデータのヘッダ情報から次にトランスコーディングを行うデータの符号化タイプがフレーム内符号化か否かを判別する（Ｓ６）。フレーム内符号化であるの場合には、ストリームデータ選択部はこの予測レートから適切なビットレートのストリームデータを選択して、ストリームデータ（映像ソース）を切り替えるする（Ｓ７）。
【００６６】
例えば、予測レートが４００ｋｂｐｓであれば６００ｋｂｐｓのストリームデータを選択する。続いてトランスコーディング部２２を、６００ｋｂｐｓのソースデータから４００ｋｂｐｓのストリームデータを生成するための符号化レートに設定し、トランスコーディングを行う。また、予測レートが１００ｋｂｐｓ以下であれば１００ｋｂｐｓのストリームデータを選択し、トランスコーディング部２２を、１００ｋｂｐｓのソースデータから目的とするレートのストリームデータを生成するための符号化レートに設定する。
【００６７】
フレーム内符号化でない場合は、ソースとなるストリームデータを変更せず、トランスコーディング部２２の符号化レートの変更だけで制御を行う。例えば、いま６００ｋｂｐｓのストリームデータをソースとしてストリーミングを行っている状態で、予測レートが２００ｋｂｐｓとなった場合には、符号化タイプがフレーム内符号化であればストリームデータを３００ｋｂｐｓに切り替えた後トランスコーディングで２００ｋｂｐｓのデータを送出するが、フレーム内符号化でない場合には６００ｋｂｐｓのソースデータから２００ｋｂｐｓのストリームデータに変換してデータを送信する。そして、次のフレーム内符号化フレームのタイミングでストリームデータを切り替える。
【００６８】
これとは逆に、予測レートがソースデータの符号化レートより高くなった場合、次のフレーム内符号化フレームのタイミングまでは、そのストリームデータで変換可能な最高レートで送信を行い、次のフレーム内符号化フレームのタイミングでストリームデータを切り替える。
【００６９】
図４は、本発明を適用した場合の符号化レートの変化を示す図である。横軸は通信開始からの経過時間、縦軸は予測レートを示す。
【００７０】
予測レートが１００ｋｂｐｓを超え３００ｋｂｐｓ以下の値であるときは、ストリームデータ選択部２６で３００ｋｐｂｓの映像ソース２１ｄが選択され、トランスコーディング部２２で１００ｋｂｐｓ〜３００ｋｂｐｓのストリーミングデータに再符号化される。そして、予測レートが３００ｋｂｐｓを超える（６００ｋｂｐｓ以下の）値まで上昇してくると、ストリームデータ選択部２６で６００ｋｂｐｓの映像ソース２１ｃが選択され、トランスコーディング部２２で３００ｋｂｐｓ〜６００ｋｂｐｓのストリーミングデータに再符号化される。さらに、予測レートが６００ｋｂｐｓを超える（１．２Ｍｂｐｓ以下の）値まで上昇してくると、ストリームデータ選択部２６で１．２Ｍｂｐｓの映像ソース２１ｂが選択され、トランスコーディング部２２で６００ｋｂｐｓ〜１．２Ｍｂｐｓのストリーミングデータに再符号化される。さらに、予測レートが１．２Ｍｂｐｓを超える値まで上昇してくると、ストリームデータ選択部２６で２．４Ｍｂｐｓの映像ソース２１ａが選択され、トランスコーディング部２２で１．２Ｍｂｐｓ〜２．４Ｍｂｐｓのストリーミングデータに再符号化される。このようにストリーミングサーバ２０から送信されるストリーミングデータの符号化レートによって、異なる符号化レートの映像データ２１ａ〜２１ｅが選択される。なお、この予測レートと映像ソースの切り替えにヒステリシス特性を持たせると、短時間の変化に対して映像ソースの切り替えが頻繁に生じることがなく、都合がよい。
【００７１】
また、実効レートの変動幅が小さい場合はトランスコーディングのみでレート制御を行うように制御する。
【００７２】
【発明の効果】
第１の発明では、予測レート（受信レポート及び／又はＤＲＣ情報）に基づいて決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段（ストリームデータ選択部２６）と、前記選択されたソースデータの符号化レートを変更するトランスコード手段（トランスコーディング部２２）とを備え、トランスコーディング方式とファイル切替え方式とを組み合わせてビットレートを可変する制御をするので、クライアントからのフィードバック情報に基づいて複数の記憶されたファイルを切り替えて、そして、ファイルを切り替えた後の実効レートとの差の調整にはトランスコーディングによるので、伝送レートの変動の大きい通信システムにおいても、効率よく、細かなレートを制御することができる。また、ストリーミングサーバに対する変換処理の負荷や記憶領域に関する負荷が軽減できる。そして、高速パケット通信ネットワークでのストリーミングサービスの品質を向上することができる。
【００７３】
第２の発明では、無線通信端末（クライアント端末１０）に、予測レート（受信レポート及び／又はＤＲＣ情報）に基づいて、サーバが前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段（制御部１７）を備え、サーバ（ストリーミングサーバ２０）に、前記無線通信端末で決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段（ストリーミングデータ選択部２６）と、前記選択されたソースデータの符号化レートを変更するトランスコード手段（トランスコーディング部２２）とを備え、無線通信端末でサーバが前記コンテンツデータを符号化する符号化レートを決定するので、サーバの負荷を軽減することができ、細かい判断をすることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の無線通信システムの構成図である。
【図２】 本発明の実施の形態の無線通信システムを構成する各装置のブロック図である。
【図３】 本発明の実施の形態のストリーミングサーバ２０の送信処理のフローチャートである。
【図４】 本発明を適用した場合の符号化レートの変化を示す図である。
【符号の説明】
１０ クライアント端末
１１ アンテナ
１２ 無線部
１３ 送受信部
１４ 受信バッファ
１５ 復号部
１６ 表示部
１７ 制御部
２０ ストリーミングサーバ
２１ 映像ソース
２２ トランスコーディング部
２３ 送信部
２４ レート予測部
２５ 制御部
２６ ストリームデータ選択部
３０ 無線基地局
３１ アンテナ
４０ ネットワーク[0001]
[Technical field to which the invention belongs]
The present invention relates to a communication system that performs data communication, and more particularly, to a communication system that can change a transmission rate in a radio section.
[0002]
[Prior art]
In recent years, the transmission capacity of communication lines has also increased in mobile communication networks, and mobile terminal devices such as mobile phones have become more sophisticated, and in addition to conventional voice call services, data and images, and even moving image data can be transmitted and received. What can be done has appeared, and moving picture data download services and streaming services have started to be provided in mobile phone services. With such diversification of services, mobile communication networks are required to transmit a larger amount of data on the downlink. In order to meet such needs, a high-speed packet communication network using a 1xEV-DO (1x Evolution Data Only) system in which the transmission efficiency of a downlink from a base station to a communication terminal has been proposed.
[0003]
In this 1xEV-DO system, a communication mode capable of performing high-speed packet communication most efficiently with the measured line quality is selected, and data communication is possible at a data rate of 38.4 kbps to 2.4 Mbps. The base station performs scheduling for determining transmission slot allocation according to the channel quality in each communication terminal. In consideration of improving the transmission efficiency of the entire system, the base station preferentially allocates communication resources to radio communication terminals having a high communication rate that can be communicated, thereby increasing the data transmission efficiency of the entire system.
[0004]
There is a method using a streaming technique as a moving image data distribution method, and RTP (Realtime Transport Protocol) defined by RFC1889 as a data transfer protocol and its control protocol in order to ensure real-time data reproduction during streaming. RTCP (RTP Control Protocol) is used. By using this RTCP information, the streaming server can predict the reception rate on the client side, and streaming is performed using a variable rate control method for controlling the transmission rate of the server using this information. A technique for controlling the transmission rate so as to gradually increase the transmission rate based on RTCP data from the receiving side terminal when transmitting information is known.
[0005]
When transmitting streaming data in a communication system with a large transmission rate fluctuation range, such as a 1xEV-DO system, variable-rate streaming that distributes data while changing the coding rate according to the transmission rate fluctuation Is effective. This lowers the coding rate to reduce the effective rate in the radio section to avoid delays and data discard due to buffering at the base station, and codes as much as possible to increase the effective rate in the radio section. It is intended to increase the conversion rate and provide images with good image quality. As a method for realizing a variable rate, a transcoding method for changing the encoding rate using the same video source and re-encoding, and a file switching method for selecting and transmitting a video source having a different bit rate have been proposed. Yes.
[0006]
[Patent Document 1]
JP 2002-135783 A
[0007]
[Problems to be solved by the invention]
However, in a best-effort high-speed wireless packet communication network such as a 1xEV-DO system, the bit error rate, packet loss rate, delay time, and the like are large compared to a wired network due to the characteristics of wireless communication, and its data transmission bandwidth There is a problem that the width also fluctuates rapidly. In particular, in a moving image streaming service that requires data continuity and real-time performance, the fluctuation range of the transmission band and the size of the delay time are serious problems in service.
[0008]
Further, since the transcoding technique described above needs to perform decoding processing and encoding processing, the load on the transcoder is large, and the load on the conversion processing on the server is large. In particular, in the 1xEV-DO system having a large band fluctuation width, there is a problem that the efficiency of the conversion process is deteriorated because the difference in the encoding rate for conversion becomes large. For example, if the source data is only 2.4 Mbps stream data, both stream data of 1.0 Mbps and stream data of 64 kbps will be generated based on the stream data of 2.4 Mbps. It needs to be decoded once. In particular, when the rate is lowered to 100 kbps or lower, sufficient image quality cannot be obtained by the above-described method alone, so that an image size changing process is also required before encoding. In such a case, there is a problem that it takes time to convert one image, and a desired frame rate of the converted stream data cannot be obtained, and the quality of the moving image is deteriorated.
[0009]
On the other hand, in the file switching method, a plurality of stream files with different encoding rates are prepared in advance, and variable rate control is realized by selecting and transmitting one of these stream files according to the rate change during transmission. ing. As described above, in the file switching type rate control, a stream file corresponding to each encoding rate can be prepared to cope with a wide band of the 1xEV-DO network. However, if the number of files is small, fine rate control cannot be performed, and the file If the number is large, there is a problem that the storage area of the server is compressed.
[0010]
An object of the present invention is to provide a communication system capable of transmitting data at an optimum bit rate when transmitting streaming data in a communication system having a large variation in transmission rate.
[0011]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a communication system in which content data is transmitted from a data distribution device to a wireless communication terminal via a wireless communication line. Rate information transmitting means for transmitting information necessary for determination, the data distribution apparatus, acquisition means for acquiring content source data encoded at a plurality of rates, and the wireless communication terminal transmitted from the wireless communication terminal Receiving means for receiving information; encoding rate determining means for determining an encoding rate for encoding the content data from a data distribution device based on the information; and an encoding rate determined by the encoding rate determining means Source data selection means for selecting source data based on the selected source data, and the selected source data Comprising a transcoding means for re-encoding in coding rate, a data transmission means for transmitting the re-encoded source data, the.
[0012]
According to a second aspect of the present invention, there is provided a communication system for transmitting content data from a data distribution device to a wireless communication terminal via a wireless communication line, wherein the wireless communication terminal encodes the content data by the data distribution device. Encoding rate determination means for determining the encoding rate, and rate information transmission means for transmitting the information of the encoding rate to a data distribution device, wherein the data distribution device receives content source data encoded at a plurality of rates. Obtaining means for obtaining; source data selecting means for selecting source data based on the coding rate determined by the coding rate determining means; and re-encoding the selected source data at the coding rate. Transcoding means; and data transmission means for transmitting the re-encoded source data.
[0013]
According to a third aspect of the present invention, a wireless communication terminal that receives content data transmitted from a data distribution device via a wireless communication line is necessary for the data distribution device to determine an encoding rate for encoding the content data. Transmitting means for transmitting information; source data selected based on an encoding rate determined based on the information among content source data encoded at a plurality of rates; and the determined encoding rate Receiving means for receiving the content data re-encoded and transmitted in (1).
[0014]
According to a fourth aspect of the present invention, in a wireless communication terminal that receives content data transmitted from a data distribution device via a wireless communication line, an encoding rate at which the data distribution device determines an encoding rate for encoding the content data The source data selected based on the determined encoding rate among the content source data encoded at a plurality of rates is determined and re-encoded at the determined encoding rate and transmitted. Receiving means for receiving content data.
[0015]
According to a fifth aspect of the present invention, in a data distribution apparatus for transmitting content data to a wireless communication terminal via a wireless communication line, acquisition means for acquiring content source data encoded at a plurality of rates, and encoding of the content data Receiving means for receiving information necessary for determining a rate from the wireless communication terminal; encoding rate determining means for determining a coding rate at which a data distribution apparatus encodes the content data based on the information; Source data selection means for selecting source data based on the encoding rate determined by the encoding rate determination means, transcoding means for re-encoding the selected source data at the encoding rate, and Data transmitting means for transmitting the re-encoded source data.
[0016]
According to a sixth aspect of the present invention, in a data distribution apparatus for transmitting content data to a wireless communication terminal via a wireless communication line, acquisition means for acquiring content source data encoded at a plurality of rates, and determination by the wireless communication terminal Source data selecting means for selecting source data based on the encoded rate, transcoding means for re-encoding the selected source data at the encoding rate, and transmitting the re-encoded source data Data transmitting means.
[0017]
A seventh invention is a communication method for transmitting content data from a data distribution device to the wireless communication terminal via a wireless communication line, wherein the wireless communication terminal encodes the content data by the data distribution device. The information necessary for determining the data is transmitted to the data distribution device, the data distribution device is capable of acquiring content source data encoded at a plurality of rates, and transmitted from the wireless communication terminal Receiving information, determining a coding rate at which the data distribution device encodes the content data based on the information, selecting source data based on the determined coding rate, and selecting the selected source data The content data is transmitted after being re-encoded at the encoding rate.
[0018]
According to an eighth aspect of the present invention, there is provided a communication method for transmitting content data from a data distribution device to the wireless communication terminal via a wireless communication line, wherein the wireless communication terminal encodes the content data by the data distribution device. Determining a rate, and the data distribution device is capable of acquiring content source data encoded at a plurality of rates, selecting source data based on the determined encoding rate, and selecting the selected source Content data is transmitted by re-encoding data at the encoding rate.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0020]
FIG. 1 is a configuration diagram of a radio communication system according to an embodiment of the present invention.
[0021]
Theclient terminal 10 is a data distribution device (streaming) that transmits content data (moving image, still image, music, audio, caption, etc.) having real-time properties via theradio base station 30 and the network (IP network or the like) 40. Server 20).
[0022]
Theclient terminal 10 is a wireless communication terminal such as a mobile phone that supports data communication, a PDA (Personal Digital Assistants), or a computer device to which a data communication card incorporating a wireless device is added.
[0023]
Theclient terminal 10 and theradio base station 30 are connected by a 1xEV-DO network (1x Evolution Data Only network). This 1xEV-DO network determines the bandwidth of data communication allocated to eachclient terminal 10 based on the quality information (DRC information) of the wireless communication line transmitted from theclient terminal 10 and the number of connectedclient terminals 10. The transmission rate of the wireless communication line for eachclient terminal 10 is determined.
[0024]
Here, the high-speed packet communication performed between theradio base station 30 and theclient terminal 10 in the 1xEV-DO system will be described.
[0025]
A packet used in the 1xEV-DO system is configured by adding a header including a pilot signal and control information to the head of a data portion in which data addressed to each user is time-division multiplexed. The control information includes assignment information indicating assignment of communication resources to each communication terminal.
[0026]
First, theradio base station 30 transmits a packet including the pilot signal to theclient terminal 10 accommodated in its own cover area. Eachclient terminal 10 measures downlink channel quality (for example, desired signal to interference signal ratio (CIR)) based on a pilot signal included in the received signal. Eachclient terminal 10 stores a table indicating a correspondence relationship between downlink channel quality and an optimal communication mode when transmitting a packet with the channel quality. Eachclient terminal 10 refers to this table. Then, a communication mode capable of performing high-speed packet communication most efficiently with the measured line quality is selected. As the communication mode, a plurality of modes in which a slot length assigned to transmission data, a transmission data coding rate, a modulation method, and a spreading factor are combined are prepared. By selecting a communication mode, high-speed data communication is possible at a wide bandwidth data rate of 38.4 kbps to 2.4 Mbps. Eachclient terminal 10 transmits a signal (DRC signal) indicating the selected communication mode to theradio base station 30. Theother client terminals 10 connected to theradio base station 30 also transmit DRC signals to theradio base station 30 in the same manner.
[0027]
Based on the DRC signal transmitted from eachclient terminal 10, theradio base station 30 performs scheduling for preferentially allocating communication resources from theclient terminal 10 having good channel quality. As a result, since the transmission rate is increased for theclient terminal 10 with good line quality and the data is transmitted, the time required for communication can be shortened, and the transmission rate is lowered for theclient terminal 10 with poor line quality. Since data is transmitted, error resilience can be increased.
[0028]
Theradio base station 30 allocates slots for transmission data according to communication resource allocation, performs encoding processing, modulation processing, spreading processing, etc., and configures transmission frames by time-division multiplexing transmission data addressed to eachclient terminal 10 The transmission frame is transmitted to eachclient terminal 10. At this time, control information (assignment information) indicating the assignment of communication resources to eachclient terminal 10 is inserted into the header of the head of the transmission frame. Theclient terminal 10 can demodulate data addressed to itself by knowing the communication mode by referring to the allocation information.
[0029]
Thus, in the conventional 1xEV-DO system, data transmission efficiency is enhanced as a whole system by preferentially allocating communication resources from communication terminals with good channel quality.
[0030]
FIG. 2 is a block diagram of each device constituting the wireless communication system according to the embodiment of the present invention.
[0031]
Theclient terminal 10 includes anantenna 11 that receives a radio wave (downlink signal) from theradio base station 30 and transmits a radio wave (uplink signal) to theradio base station 30, and theantenna 11 is connected to theradio unit 12. It is connected. Theradio unit 12 includes a transmission unit and a reception unit. The transmission unit generates a high-frequency signal to be transmitted from theantenna 11, and the reception unit performs amplification, frequency conversion, and the like on the high-frequency signal received by theantenna 11, thereby generating a baseband signal. To the transmitter /receiver 13.
[0032]
The transmission /reception unit 13 includes a modulation / demodulation circuit and a CODEC unit, and demodulates the baseband signal by the modulation / demodulation circuit. The demodulated signal is sent to the CODEC unit and decoded into a data signal by the CODEC unit. The CODEC unit encodes a data signal, and the encoded signal is sent to the transmission /reception unit 13 and modulated. The modulated signal is converted into a high-frequency signal by the transmission unit and transmitted from theantenna 11.
[0033]
The transmission /reception unit 13 is connected to thereception buffer 14 and temporarily stores the streaming data received by theclient terminal 10, so that the streaming data can be stored even if the transmission rate is reduced for a short time or the line is disconnected. Is played without interruption. The data read from thereception buffer 14 is sent to thedecoding unit 15, and the data encoded as a moving image file such as MPEG is decoded into a video signal. The decoded video data is displayed on thedisplay unit 16 and the moving image data is reproduced.
[0034]
Thecontrol unit 17 controls each unit of theclient terminal 10 such as theradio unit 12, the transmission /reception unit 13, thereception buffer 14, and thedecoding unit 15. Specifically, a channel is designated for theradio unit 12 to control the transmission / reception frequency and transmission / reception timing. In addition, according to a predetermined communication protocol, various control signals such as setting, releasing, and location registration of a wireless communication line between theclient terminal 10 and thewireless base station 30 are generated, and transmission / reception of these signals is controlled.
[0035]
Further, in the embodiment of the present invention, since the wireless communication network is a 1xEV-DO network, theclient terminal 10 receives and obtains a signal (for example, a pilot signal, a control packet, etc.) transmitted from thewireless base station 30. Based on the CIR, DRC information, which is a signal indicating a communication mode selected as one capable of efficiently performing data communication, is transmitted to theradio base station 30 as radio communication line quality information. That is, thecontrol unit 17 obtains the CIR obtained from the received signal and refers to the conversion table stored in advance to determine the transmission rate. Based on the determined transmission rate, DRC information is generated and sent to theradio unit 12. In this way, detection means for detecting the quality of the wireless communication line is configured by thewireless unit 12 or the like. Thecontrol unit 17 and theradio unit 12 constitute a line quality information transmission unit that transmits the line quality information detected by the detection unit to the streamingserver 20.
[0036]
In addition, thecontrol unit 17 monitors a packet of data transmitted from the streamingserver 20 and acquires a change state of the reception rate during streaming. That is, the reception report (RR) including the packet loss rate, the number of lost packets, the maximum value of the sequence number of the received packet, the arrival interval jitter, and the like is transmitted to the streamingserver 20 as data reception status information (feedback information). In this way, detection means for detecting the data reception status is configured by thecontrol unit 17 or the like. Thecontrol unit 17, thewireless unit 12, and the like constitute reception status information transmission means for transmitting data reception status information transmitted from the streamingserver 20 to the streamingserver 20.
[0037]
Further, the buffer occupation amount information of thereception buffer 14 may be transmitted as feedback information.
[0038]
Thecontrol unit 17 instructs thedecoding unit 15 on information for decoding.
[0039]
Theradio base station 30 has anantenna 31 connected to the radio unit, receives radio waves (upstream signals) from theclient terminals 10, and transmits radio waves (downstream signals) to theclient terminals 10. The radio unit is composed of a transmission unit and a reception unit. The transmission unit generates a high-frequency signal to be transmitted from theantenna 31, and the reception unit performs amplification, frequency conversion, etc. on the high-frequency signal received by theantenna 31 as a baseband signal. Output to the transceiver.
[0040]
The transmission / reception unit includes a modulation / demodulation circuit and a CODEC unit, and demodulates the baseband signal by the modulation / demodulation circuit. The demodulated signal is sent to the CODEC unit and decoded into a data signal by the CODEC unit. The CODEC unit encodes the data signal, and the encoded signal is sent to the transmission / reception unit and modulated. The modulated signal is converted into a high-frequency signal by the transmission unit and transmitted from theantenna 31.
[0041]
An interface unit is connected to the transmission / reception unit, and theradio base station 30 is connected to a network 40 (such as an IP network) such as the Internet via the interface unit.
[0042]
In addition, theradio base station 30 includes a control unit that controls each unit (a radio unit, a transmission / reception unit, an interface unit, and the like) of theradio base station 30. Specifically, this control unit controls a transmission / reception frequency and transmission / reception timing by designating a channel to the radio unit. Further, in response to a connection request from theclient terminal 10, the permission of the connection and the number of connections of theclient terminal 10 are controlled.
[0043]
Furthermore, in the embodiment of the present invention, since the wireless communication network is a 1xEV-DO network, eachclient terminal 10 is assigned to eachclient terminal 10 based on the quality information of the wireless communication line transmitted from theclient terminal 10 and the number of connected client terminals. The bandwidth of data communication to be allocated is determined, and the transmission rate of the wireless communication line for eachclient terminal 10 is determined.
[0044]
That is, the channel quality information receiving means for receiving the radio communication channel quality information (DRC information) and the reception status information (reception report: RR) transmitted from theclient terminal 10 by the control unit and the radio unit of theradio base station 30. The transmission rate determining means configured to determine the data transmission rate of the wireless communication line is configured by the control unit or the like.
[0045]
The data distribution device is a device that transmits (distributes) moving image data to a wireless communication terminal, and stores moving image data. The data distribution apparatus is an apparatus on the service providing side, and is a computer apparatus such as a server, for example, and will be described as a server in the present embodiment. Note that a storage device that stores content such as moving image data may be provided inside the server or outside the server.
[0046]
The streamingserver 20 is a computer device that transmits data to theclient terminal 10. The streamingserver 20stores video sources 21 a to 21 e in a stream data storage unit (storage device such as a storage device or a hard disk) that stores a plurality of stream data as sources. This video source divides a wide band of the 1xEV-DO network into a plurality of levels, and stores stream data encoded at a bit rate set for each level. In this embodiment, the range from 38.4 kbps to 2.4 Mbps is divided into five levels, and the bit rates are set from the highest to 2.4 Mbps, 1.2 Mbps, 600 kbps, 300 kbps, and 100 kbps. Prepare a stream file.
[0047]
The streamdata selection unit 26 selectsvideo sources 21 a to 21 e having appropriate bit rates from the stream data storage unit in accordance with the effective rate of the wireless section predicted by therate prediction unit 24. For example, if the prediction rate is 400 kbps, 600 kbps stream data is selected, and if the prediction rate is 100 kbps or less, 100 kbps stream data is selected. Then, the video source is read from the storage device and sent to thetranscoding unit 22.
[0048]
In thetranscoding unit 22, the read video source is re-encoded based on a moving image encoding standard such as MPEG at a bit rate different from that of the read video data, and is sent to thetransmission unit 23. That is, thetranscoding unit 22 reads a bit stream from the stream data (video source) selected by the streamdata selection unit 26, performs re-encoding (transcoding) at a coding rate that matches the prediction rate, To change.
[0049]
Specifically, in thetranscoding unit 22, for example, after moving image content stored in a data format such as MPEG-1 or MPEG-2 is temporarily decoded into image data, another encoding scheme (for example, MPEG- 4) Re-encode with another image format or encoding rate. In order to obtain the necessary bit rate for re-encoding, the frame rate is changed by thinning out the frame to be processed, the quantization coefficient is changed during re-encoding, the compression rate is increased, and the DCT coefficient to be transmitted The amount of data is reduced to reduce the amount of data. With this technology, stream data of a plurality of rates can be transmitted from one image source in accordance with rate fluctuations in the wireless section.
[0050]
Thetransmission unit 23 segments the stream data based on a communication protocol and transmits the data as a packet to a network (IP network or the like) 40.
[0051]
Therate prediction unit 24 predicts the encoding rate of the data encoded by the streamingserver 20 and determines the encoding rate of the data. In other words, in the present invention, theclient terminal 10 receives, as the reception status information of the data transmitted from the streamingserver 20, the packet loss rate, the number of lost packets, the maximum value of the sequence number of the received packet, the arrival interval jitter, etc. The report is transmitted to the streamingserver 20. In addition, theclient terminal 10 transmits DRC information to the streamingserver 20 as quality information of a wireless communication line between theclient terminal 10 and thewireless base station 30. Then, the streamingserver 20 predicts the effective rate of the radio section based on the received feedback information (reception report (reception status information) and DRC information (line quality information)), and the data encoded by the streamingserver 20 Is determined.
[0052]
The prediction of the effective rate may use only the feedback information recently received from theclient terminal 10, or the feedback rate received in the past or the predicted rate from the feedback information is stored, and the transmission time is determined from the fluctuation. You may comprise so that the future rate which considered may be estimated. Also, other known prediction methods using various information can be taken. Also, the rate prediction interval and the coding rate switching interval are not particularly limited. However, it is desirable to switch the stream data at the start point of the I frame (I-VOP) in the stream data.
[0053]
Thecontrol unit 25 controls each unit of the streamingserver 20 such as thetranscoding unit 22 and thetransmission unit 23. Specifically, the data encoding rate is acquired from therate prediction unit 24, and an encoding method and encoding information (for example, DCT coefficient, quantization coefficient, etc.) suitable for the data encoding rate are transcoded. 22 is instructed. Further, the number of packets transmitted from thetransmission unit 23 is controlled.
[0054]
Thus, in the streamingserver 20 according to the embodiment of the present invention, the streamdata selection unit 26 and thetranscoding unit 22 use a combination of the file switching method and the transcoding method. The wide bandwidth (38.4 kbps to 2.4 Mbps) of the 1xEV-DO network is divided into a plurality of levels, and bit stream data (video sources 21a to 21e) as sources are stored for each level, and stream data selection is performed. Theunit 26 selects stream data to be transmitted based on feedback information from the client, and switches files. Further, thetranscoding unit 22 provided between thetransmission unit 23 performs transcoding at a rate predicted based on the feedback information, thereby adjusting a difference from the effective rate after the file is switched. Further, when the fluctuation range of the effective rate is small, control is performed so that rate control is performed only by transcoding.
[0055]
With this configuration, the change rate of the bit rate when converting from the source stream data to the stream data to be actually transmitted is reduced, the deterioration in image quality from the source data is reduced, and the time required for the conversion process Can also be shortened.
[0056]
In the embodiment described above, the streamingserver 20 calculates the rate at which thestreaming server 20 encodes the streaming data, but theclient terminal 10 calculates the rate at which thestreaming server 20 encodes the streaming data. Theclient terminal 10 may notify the streamingserver 20.
[0057]
FIG. 3 is a flowchart illustrating transmission processing of the streamingserver 20 according to the embodiment of this invention.
[0058]
In this flowchart, the streamingserver 20 starts data distribution from the lowest settable rate when streaming data distribution starts, and then uses the feedback information (reception report) to predict the effective rate and control the encoding rate. To do.
[0059]
Thetranscoding unit 22 detects a start code in the bit stream (S1).
[0060]
Then, it is determined whether the start code is a sequence end code (S2). If the start code is a sequence end code, the data transmission process is terminated (S10).
[0061]
On the other hand, if the start code is not a sequence end code, the process proceeds to an effective rate prediction process (S3). Therate prediction unit 24 predicts the effective rate of the wireless communication line based on the feedback information from theclient terminal 10 and performs an effective rate prediction process (S3). At this time, only the feedback information recently received from theclient terminal 10 may be used, or the feedback rate received in the past or the predicted rate from the feedback information is stored, and the future rate considering the transmission time from the fluctuation May be configured to predict. Other known prediction methods using various information can be used.
[0062]
After prediction of the effective rate, the predicted value of the effective rate is compared with the encoding rate of thetranscoding unit 22 to determine whether or not the encoding rate needs to be changed (S4). If there is no difference between the prediction value of the effective rate (that is, the rate at which data is transmitted from the streaming server 20) and the encoding rate of the readvideo sources 21a to 21e, the encoding rate is changed by thetranscoding unit 22. It is determined that it is not necessary to proceed to step S9, and re-encoding (transcoding) is continued while maintaining the current encoding rate.
[0063]
On the other hand, if the encoding rate of thevideo sources 21a to 21e read out from the predicted value of the effective rate is larger, it is determined that the encoding rate needs to be changed. Then, it is determined whether or not it is necessary to switch the video source (stream data) in order to match the encoding rate of the data transmitted from the streamingserver 20 with the effective rate (S5).
[0064]
That is, if the data coding rate is greatly changed in thetranscoding unit 22, the quality of the stream data (image quality, sound quality, etc.) deteriorates. Therefore, the video source input to thetranscoding unit 22 is re-encoded. It is desirable to use the one closest to the coding rate. Therefore, in step S5, it is determined whether or not it is necessary to switch the video source. If it is not necessary to switch the stream data, the process proceeds to step S8 to set the encoding rate of the transcoding unit (S8). Coding is performed (S9).
[0065]
On the other hand, when it is necessary to switch the stream data (video source), it is determined from the header information of the bit stream data whether the encoding type of the data to be transcoded next is intra-frame encoding (S6). In the case of intra-frame coding, the stream data selection unit selects stream data with an appropriate bit rate from this prediction rate, and switches the stream data (video source) (S7).
[0066]
For example, if the prediction rate is 400 kbps, 600 kbps stream data is selected. Subsequently, thetranscoding unit 22 is set to an encoding rate for generating 400 kbps stream data from 600 kbps source data, and transcoding is performed. If the prediction rate is 100 kbps or less, 100 kbps stream data is selected, and thetranscoding unit 22 is set to an encoding rate for generating stream data at a target rate from 100 kbps source data.
[0067]
If it is not intra-frame coding, control is performed only by changing the coding rate of thetranscoding unit 22 without changing the stream data serving as the source. For example, when streaming is currently performed using 600 kbps stream data as a source and the prediction rate is 200 kbps, if the coding type is intraframe coding, the stream data is switched to 300 kbps and then transcoded. 200 kbps data is transmitted, but if it is not intra-frame coding, the source data of 600 kbps is converted into stream data of 200 kbps, and the data is transmitted. Then, the stream data is switched at the timing of the next intra-frame encoded frame.
[0068]
On the other hand, if the prediction rate is higher than the encoding rate of the source data, transmission is performed at the highest rate that can be converted with the stream data until the timing of the next intraframe encoded frame, and the next frame is transmitted. The stream data is switched at the timing of the inner encoded frame.
[0069]
FIG. 4 is a diagram showing changes in the coding rate when the present invention is applied. The horizontal axis represents the elapsed time from the start of communication, and the vertical axis represents the predicted rate.
[0070]
When the predicted rate exceeds 100 kbps and is 300 kbps or less, the streamdata selection unit 26 selects the 300 kbpsvideo source 21d, and thetranscoding unit 22 re-encodes the streaming data to 100 kbps to 300 kbps. When the prediction rate increases to a value exceeding 300 kbps (600 kbps or less), the streamdata selection unit 26 selects the 600 kbpsvideo source 21c, and thetranscoding unit 22 re-encodes the streaming data to 300 kbps to 600 kbps. It becomes. Further, when the prediction rate increases to a value exceeding 600 kbps (1.2 Mbps or less), the streamdata selection unit 26 selects the 1.2Mbps video source 21b, and thetranscoding unit 22 selects 600 kbps to 1.2 Mbps. Re-encoded to streaming data. Further, when the predicted rate increases to a value exceeding 1.2 Mbps, the streamdata selection unit 26 selects the 2.4Mbps video source 21a, and thetranscoding unit 22 selects the streaming data from 1.2 Mbps to 2.4 Mbps. Is re-encoded. Thus, thevideo data 21a to 21e having different encoding rates are selected depending on the encoding rate of the streaming data transmitted from the streamingserver 20. It should be noted that it is convenient to provide a hysteresis characteristic for switching between the prediction rate and the video source because switching of the video source does not frequently occur for a short time change.
[0071]
Further, when the fluctuation range of the effective rate is small, control is performed so that rate control is performed only by transcoding.
[0072]
【The invention's effect】
In the first invention, source data selection means (stream data selection unit 26) for selecting source data based on a coding rate determined based on a predicted rate (reception report and / or DRC information), and the selection And a transcoding means (transcoding unit 22) for changing the encoding rate of the source data, and the bit rate is controlled by combining the transcoding method and the file switching method, so that feedback information from the client Since switching between multiple stored files and adjusting the difference from the effective rate after switching files is based on transcoding, even in communication systems with large fluctuations in transmission rate, Rate can be controlled. Also, the load on the conversion process for the streaming server and the load on the storage area can be reduced. And the quality of the streaming service in a high-speed packet communication network can be improved.
[0073]
In the second invention, the wireless communication terminal (client terminal 10) determines the coding rate at which the server determines the coding rate for coding the content data based on the predicted rate (reception report and / or DRC information). Means (control unit 17), and the server (streaming server 20) has source data selection means (streaming data selection unit 26) for selecting source data based on the coding rate determined by the wireless communication terminal; Transcoding means (transcoding unit 22) for changing the encoding rate of the selected source data, and the server determines the encoding rate at which the content data is encoded at the wireless communication terminal. Can be mitigated, and detailed judgment can be made.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a radio communication system according to an embodiment of the present invention.
FIG. 2 is a block diagram of devices included in the wireless communication system according to the embodiment of this invention.
FIG. 3 is a flowchart of transmission processing of the streamingserver 20 according to the embodiment of this invention.
FIG. 4 is a diagram showing a change in coding rate when the present invention is applied.
[Explanation of symbols]
10 Client terminal
11 Antenna
12 Radio section
13 Transceiver
14 Receive buffer
15 Decryption unit
16 Display section
17 Control unit
20 Streaming server
21 Video source
22 Transcoding section
23 Transmitter
24 Rate prediction unit
25 Control unit
26 Stream data selector
30 radio base stations
31 Antenna
40 network

Claims (8)

Translated fromJapanese

データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、
前記無線通信端末は、
前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信するレート情報送信手段を備え、
前記データ配信装置は、
複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、
前記無線通信端末から送信された前記情報を受信する受信手段と、
前記情報に基づいてデータ配信装置から前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、
前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、
前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とする通信システム。In a communication system for transmitting content data from a data distribution device to a wireless communication terminal via a wireless communication line,
The wireless communication terminal is
The data distribution device comprises rate information transmission means for transmitting information necessary for determining an encoding rate for encoding content data,
The data distribution device includes:
Acquisition means for acquiring content source data encoded at a plurality of rates;
Receiving means for receiving the information transmitted from the wireless communication terminal;
An encoding rate determining means for determining an encoding rate for encoding the content data from a data distribution device based on the information;
Source data selection means for selecting source data based on the coding rate determined by the coding rate determination means;
Transcoding means for re-encoding the selected source data at the encoding rate;
And a data transmission means for transmitting the re-encoded source data.データ配信装置から無線通信端末に無線通信回線を介してコンテンツデータを送信する通信システムにおいて、
前記無線通信端末は、
前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、
前記符号化レートの情報をデータ配信装置に送信するレート情報送信手段と、を備え、
前記データ配信装置は、
複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、
前記符号化レート決定手段によって決定された符号化レートに基づいて、ソースデータを選択するソースデータ選択手段と、
前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とする通信システム。In a communication system for transmitting content data from a data distribution device to a wireless communication terminal via a wireless communication line,
The wireless communication terminal is
An encoding rate determining means for determining an encoding rate at which the data distribution apparatus encodes the content data;
Rate information transmitting means for transmitting the information of the coding rate to a data distribution device,
The data distribution device includes:
Acquisition means for acquiring content source data encoded at a plurality of rates;
Source data selection means for selecting source data based on the encoding rate determined by the encoding rate determination means;
Transcoding means for re-encoding the selected source data at the encoding rate;
And a data transmission means for transmitting the re-encoded source data.データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、
前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を送信する送信手段と、
複数のレートで符号化されたコンテンツソースデータのうち、前記情報に基づいて決定された符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備えることを特徴とする無線通信端末。In a wireless communication terminal that receives content data transmitted from a data distribution device via a wireless communication line,
Transmitting means for transmitting information necessary for the data distribution apparatus to determine an encoding rate for encoding content data;
Of the content source data encoded at a plurality of rates, the source data selected based on the encoding rate determined based on the information is re-encoded at the determined encoding rate and transmitted. A wireless communication terminal comprising: a receiving unit configured to receive content data.データ配信装置から送信されたコンテンツデータを無線通信回線を介して受信する無線通信端末において、
前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定する符号化レート決定手段と、
複数のレートで符号化されたコンテンツソースデータをのうち、前記決定した符号化レートに基づいて選択されたソースデータを、前記決定された符号化レートで再符号化され送信されたコンテンツデータを受信する受信手段と、を備えることを特徴とする無線通信端末。In a wireless communication terminal that receives content data transmitted from a data distribution device via a wireless communication line,
An encoding rate determining means for determining an encoding rate at which the data distribution apparatus encodes the content data;
Among the content source data encoded at a plurality of rates, the source data selected based on the determined encoding rate is received and the content data re-encoded at the determined encoding rate is received. A wireless communication terminal.コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、
複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、
前記コンテンツデータの符号化レートを決定するために必要な情報を前記無線通信端末から受信する受信手段と、
データ配信装置が前記コンテンツデータを符号化する符号化レートを、前記情報に基づいて決定する符号化レート決定手段と、
前記符号化レート決定手段によって決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、
前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とするデータ配信装置。In a data distribution apparatus for transmitting content data to a wireless communication terminal via a wireless communication line,
Acquisition means for acquiring content source data encoded at a plurality of rates;
Receiving means for receiving information necessary for determining an encoding rate of the content data from the wireless communication terminal;
An encoding rate determining means for determining an encoding rate at which the data distribution apparatus encodes the content data based on the information;
Source data selection means for selecting source data based on the coding rate determined by the coding rate determination means;
Transcoding means for re-encoding the selected source data at the encoding rate;
And a data transmission means for transmitting the re-encoded source data.コンテンツデータを無線通信端末に無線通信回線を介して送信するデータ配信装置において、
複数のレートで符号化されたコンテンツソースデータを取得する取得手段と、前記無線通信端末において決定された符号化レートに基づいてソースデータを選択するソースデータ選択手段と、
前記選択されたソースデータを前記符号化レートで再符号化するトランスコード手段と、
前記再符号化されたソースデータを送信するデータ送信手段と、を備えることを特徴とするデータ配信装置。In a data distribution apparatus for transmitting content data to a wireless communication terminal via a wireless communication line,
Acquisition means for acquiring content source data encoded at a plurality of rates; source data selection means for selecting source data based on an encoding rate determined in the wireless communication terminal;
Transcoding means for re-encoding the selected source data at the encoding rate;
And a data transmission means for transmitting the re-encoded source data.データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、
前記無線通信端末は、前記データ配信装置がコンテンツデータを符号化する符号化レートを決定するために必要な情報を前記データ配信装置に送信し、
前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記無線通信端末から送信された前記情報を受信し、データ配信装置が前記コンテンツデータを符号化する符号化レートを前記情報に基づいて決定し、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする通信方法。In a communication method for transmitting content data from a data distribution device to the wireless communication terminal via a wireless communication line,
The wireless communication terminal transmits information necessary for determining an encoding rate at which the data distribution apparatus encodes content data to the data distribution apparatus,
The data distribution apparatus is capable of acquiring content source data encoded at a plurality of rates, receives the information transmitted from the wireless communication terminal, and encodes the content data by the data distribution apparatus Determining an encoding rate based on the information, selecting source data based on the determined encoding rate, re-encoding the selected source data at the encoding rate, and transmitting content data. A characteristic communication method.データ配信装置から前記無線通信端末に無線通信回線を介してコンテンツデータを送信する通信方法において、
前記無線通信端末は、前記データ配信装置が前記コンテンツデータを符号化する符号化レートを決定し、
前記データ配信装置は、複数のレートで符号化されたコンテンツソースデータを取得可能であって、前記決定された符号化レートに基づいてソースデータを選択し、前記選択されたソースデータを前記符号化レートで再符号化してコンテンツデータを送信することを特徴とする通信方法。In a communication method for transmitting content data from a data distribution device to the wireless communication terminal via a wireless communication line,
The wireless communication terminal determines an encoding rate at which the data distribution apparatus encodes the content data,
The data distribution device can acquire content source data encoded at a plurality of rates, selects source data based on the determined encoding rate, and encodes the selected source data A communication method characterized by transmitting content data after re-encoding at a rate.

Images