【０００１】[0001]
【発明の属する技術分野】この発明は、例えば番組（プ
ログラム）を構成するビデオやオーディオ等の異なる情
報データを多重化して伝送する情報データ伝送システム
に係わり、特に伝送路として例えば無線回線のような伝
送誤りが発生し易い伝送路を使用したシステムで使用さ
れる受信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information data transmission system for multiplexing and transmitting different information data such as video and audio constituting a program (program). The present invention relates to a receiving device used in a system using a transmission path in which a transmission error easily occurs.
【０００２】[0002]
【従来の技術】ビデオやオーディオ、コンピュータデー
タ等の種類の異なるメディア情報をそれぞれ符号化した
のち多重化して伝送するシステムとして、ＭＰＥＧ（Mo
ving Picture Experts Group）システムが知られてい
る。2. Description of the Related Art As a system for encoding and multiplexing different types of media information such as video, audio, computer data, and the like, and multiplexing the same, the MPEG (Motion) system is used.
ving Picture Experts Group) systems are known.
【０００３】例えばＭＰＥＧ２システムは、送信側にお
いて、先ずビデオやオーディオ等の個別素材をそれぞれ
の連携を保ちながら別個に符号化し、この符号化された
個別の各ストリームをそれぞれＰＥＳ（Packetized Ele
mentary Stream）と呼ばれるパケットに変換する。各Ｐ
ＥＳは、ＰＥＳヘッダとＰＥＳペイロードとから構成さ
れる可変長パケットである。図３はこのＰＥＳのパケッ
ト構造を示すもので、ＰＥＳヘッダにはパケット長やヘ
ッダ長を表す情報、フラグと制御情報及びコンディショ
ナル・コーティング情報等が含まれる。このうちコンデ
ィショナル・コーティング情報には、ＰＥＳペイロード
に挿入される情報データの再生時刻を指定するタイムス
タンプ情報が含まれる。このタイムスタンプ情報には、
情報データの提示時刻を与えるプレゼンテーションタイ
ムスタンプ（ＰＴＳ）と、復号開始時刻を与えるデコー
ディンタイムスタンプ（ＤＴＳ）の２種類が定義されて
いる。For example, in the MPEG2 system, on the transmission side, first, individual materials such as video and audio are separately encoded while maintaining their cooperation, and each encoded individual stream is individually encoded by a PES (Packetized Ele).
mentary stream). Each P
ES is a variable length packet composed of a PES header and a PES payload. FIG. 3 shows the packet structure of the PES. The PES header includes information indicating the packet length and the header length, flags and control information, and conditional coating information. Among them, the conditional coating information includes time stamp information for designating the reproduction time of the information data inserted into the PES payload. This timestamp information includes
Two types are defined, a presentation time stamp (PTS) that gives the presentation time of the information data and a decoding time stamp (DTS) that gives the decoding start time.
【０００４】次に、このように生成された各ＰＥＳをそ
れぞれ図４に示すように一定長ずつに区切り、これをト
ランスポート・ストリーム（ＴＳ）の各ＴＳパケット
（１８８バイトの固定長）に順次挿入する。また、これ
らのＴＳパケットにはそれぞれＴＳヘッダを挿入する。
ＴＳヘッダには、図５に示すように同期バイトから始ま
って誤り表示、ユニット開始表示等の同期情報が挿入さ
れ、さらにパケット識別情報（ＰＩＤ：Packet Identif
ication）と、ペイロードのスクランブルの有無やアダ
プテーション・フィールドの有無及びペイロードの有無
等を示す制御情報が挿入される。ＰＩＤは、１３ビット
のストリーム識別情報であり、該当パケットの個別スト
リームの属性を表す。Next, each PES generated in this manner is divided into fixed lengths as shown in FIG. 4, and these are sequentially divided into TS packets (fixed length of 188 bytes) of a transport stream (TS). insert. Also, a TS header is inserted into each of these TS packets.
As shown in FIG. 5, synchronization information such as error indication and unit start indication is inserted into the TS header, starting from the synchronization byte, and further, packet identification information (PID: Packet Identif).
ication) and control information indicating the presence or absence of scrambling of the payload, the presence or absence of the adaptation field, the presence or absence of the payload, and the like. The PID is 13-bit stream identification information, and represents the attribute of an individual stream of the packet.
【０００５】これに対し受信側では、送信側から伝送さ
れたトランスポート・ストリームから、ユーザが視聴を
希望したプログラムのビデオＰＥＳ及びオーディオＰＥ
Ｓが挿入されたＴＳパケットを分離する。そして、この
分離したＴＳパケットのビデオＰＥＳ及びオーディオＰ
ＥＳの各ペイロード部分をそれぞれ個別の復号器で復号
し、さらにＰＥＳヘッダに挿入されているタイムスタン
プ情報に応じて時間的な対応をとって再生する。On the other hand, on the receiving side, a video PES and an audio PE of a program desired by the user to be viewed are read from the transport stream transmitted from the transmitting side.
The TS packet into which S is inserted is separated. Then, the video PES and audio P of the separated TS packet are
Each payload portion of the ES is decoded by an individual decoder, and is reproduced in a temporal correspondence according to the time stamp information inserted in the PES header.
【０００６】ところで、伝送路として無線回線を使用す
るマルチメディア伝送システムでは、伝送路の状態がフ
ェージング等によって劣悪な状況になることがある。こ
のような状況下では、受信装置においてビデオＰＥＳ及
びオーディオＰＥＳを正しく再構築できなくなる状態に
陥る。このような状態が頻繁に起きると、ビデオ系及び
オーディオ系の各復号器の前段に設けられているバッフ
ァメモリがアンダーフローを起こし、これが原因となっ
てビデオ情報及びオーディオ情報の受信品質の劣化を招
く。例えばオーディオ系では雑音や異音、音切れ等を生
じ、非常に好ましくない。[0006] In a multimedia transmission system using a wireless line as a transmission path, the state of the transmission path may be deteriorated due to fading or the like. In such a situation, the receiving device falls into a state where it is impossible to correctly reconstruct the video PES and the audio PES. If such a state frequently occurs, a buffer memory provided in the preceding stage of each of the video and audio decoders underflows, which causes deterioration of the reception quality of the video information and the audio information. Invite. For example, in an audio system, noise, abnormal noise, cut-out of sound, and the like occur, which is very undesirable.
【０００７】[0007]
【発明が解決しようとする課題】以上述べたように伝送
路として無線回線を使用した場合には、伝送路の状態が
劣化してＰＥＳパケットの欠落が頻発すると、各メディ
アごとにその復号器の前段に設けられているバッファメ
モリがアンダーフローを起こし、これにより情報データ
の受信品質の低下を生じる。As described above, when a wireless line is used as a transmission line, if the state of the transmission line is deteriorated and PES packets are frequently lost, the decoder of each medium is used for each medium. The buffer memory provided at the preceding stage causes an underflow, which lowers the reception quality of information data.
【０００８】この発明は上記事情に着目してなされたも
ので、その目的とするところは、伝送路状態の劣化によ
りＰＥＳパケットに欠落が発生しても、バッファメモリ
においてアンダーフローが生じないようにし、これによ
り情報データの受信品質を高め得る情報データ伝送シス
テムの受信装置を提供することにある。The present invention has been made in view of the above circumstances. An object of the present invention is to prevent underflow from occurring in a buffer memory even when a PES packet is lost due to deterioration of a transmission line state. Accordingly, it is an object of the present invention to provide a receiving device of an information data transmission system capable of improving reception quality of information data.
【０００９】[0009]
【課題を解決するための手段】上記目的を達成するため
にこの発明に係わる情報データ伝送システムの受信装置
は、複数の情報データ系列をそれぞれ符号化してパケッ
トのペイロードに挿入すると共にこれらのパケットのヘ
ッダに上記各情報データ系列間の時間的な対応関係を表
すタイムスタンプ情報を挿入し、これらのパケットを多
重化して伝送する情報データ伝送システムで使用される
受信装置において、タイムスタンプ情報の抽出手段と、
受信パケットの欠落を判定する判定手段と、情報データ
の補完手段とを新たに備えている。In order to achieve the above object, a receiving apparatus of an information data transmission system according to the present invention encodes a plurality of information data sequences, inserts the encoded information data into a packet payload, and inserts these packets into a packet payload. In a receiving device used in an information data transmission system that inserts time stamp information representing a temporal correspondence between the information data sequences into a header and multiplexes and transmits these packets, the time stamp information extracting means When,
A judgment unit for judging a loss of a received packet and a complementing unit for information data are newly provided.
【００１０】そして、所望の情報データ系列に対応する
パケットが受信されるごとに、上記抽出手段によりヘッ
ダからタイムスタンプ情報を抽出し、この抽出された各
タイムスタンプ情報をもとに上記判定手段により受信パ
ケットの欠落の有無を判定する。そして、この判定によ
り受信パケットの欠落が検出された場合には、この欠落
した受信パケットにより伝送されるべき情報データ系列
を上記補完手段により補完するようにしたものである。[0010] Each time a packet corresponding to a desired information data sequence is received, the extracting means extracts time stamp information from the header. It is determined whether or not the received packet is missing. Then, when a loss of the received packet is detected by this determination, the information data sequence to be transmitted by the lost received packet is complemented by the complementing means.
【００１１】従ってこの発明によれば、フェージング等
の影響により伝送路品質が劣化してパケットの欠落が発
生しても、この欠落したパケットの有無が受信装置でタ
イムスタンプ情報をもとに検出され、この欠落したパケ
ットにより伝送されるはずだった情報データが補完され
る。このため、例えば伝送路として、伝送品質の劣化が
生じやすい無線回線を使用する場合でも、復号器の前段
のバッファメモリがアンダフローを起こす心配はなくな
り、この結果情報データを高品質に再生することができ
る。Therefore, according to the present invention, even if the transmission path quality is deteriorated due to the effects of fading or the like and a packet is lost, the presence or absence of the lost packet is detected by the receiving apparatus based on the time stamp information. The information data that would have been transmitted by the missing packet is complemented. For this reason, for example, even when using a wireless line that is likely to cause deterioration in transmission quality as a transmission path, there is no need to worry about the buffer memory preceding the decoder underflowing, and as a result, the information data can be reproduced with high quality. Can be.
【００１２】具体的には、オーディオデータに対し上記
のようなタイムスタンプ情報をもとにしたパケット欠落
判定と補完処理を行う。このようにすると、異音や雑
音、途切れ等のない高品質の受信オーディオ出力を再生
することが可能となる。More specifically, the audio data is subjected to packet loss determination and complement processing based on the time stamp information as described above. This makes it possible to reproduce a high-quality received audio output without abnormal noise, noise, or interruption.
【００１３】[0013]
【発明の実施の形態】以下、この発明に係わる実施の形
態を、図面を参照して説明する。ＭＰＥＧ２システムで
は、送信側の装置において、ビデオやオーディオ等の個
別素材をそれぞれの連携を保ちながら別個に符号化して
ＰＥＳパケットに変換し、このＰＥＳパケットのヘッダ
に当該ＰＥＳパケットのペイロードに挿入されるビデオ
データやオーディオデータの再生時刻を指定するタイム
スタンプ情報を挿入して送信する。そして、受信側の装
置において、ユーザが視聴を希望するプログラムのビデ
オＰＥＳ及びオーディオＰＥＳを受信パケットから分離
抽出してその各ペイロード部分をそれぞれ個別の復号器
で復号し、さらにＰＥＳヘッダに挿入されている上記タ
イムスタンプ情報に応じて時間的な対応をとって再生す
るようにしている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments according to the present invention will be described below with reference to the drawings. In the MPEG2 system, the transmission-side apparatus separately encodes individual materials such as video and audio and converts them into PES packets while maintaining their cooperation, and inserts them into the header of the PES packet in the payload of the PES packet. The time stamp information for designating the reproduction time of the video data and the audio data is inserted and transmitted. Then, in the device on the receiving side, the video PES and audio PES of the program that the user wants to view are separated and extracted from the received packet, the respective payload portions are decoded by the respective decoders, and further inserted into the PES header. The reproduction is made in a timely manner according to the time stamp information.
【００１４】すなわち、各ＰＥＳパケットには、ビデオ
やオーディオ等の各情報データを時間的な対応をとって
再生するためにタイムスタンプ情報が予め挿入されてい
る。That is, in each PES packet, time stamp information is inserted in advance in order to reproduce each information data such as video and audio in a timely manner.
【００１５】この発明は、この点に着目し、受信される
ＰＥＳパケットに挿入されているタイムスタンプ情報の
連続性をもとに受信パケットの欠落の有無を監視し、受
信パケットの欠落が検出された場合に、この欠落したＰ
ＥＳパケットの情報データを以前に受信したＰＥＳパケ
ットの情報データとその復号パラメータとをもとに補完
するようにしたものである。The present invention pays attention to this point, and monitors whether or not a received packet is missing based on the continuity of the time stamp information inserted in the received PES packet. The missing P
The information data of the ES packet is complemented based on the information data of the previously received PES packet and its decoding parameters.
【００１６】図1は、この発明に係わるＭＰＥＧ２シス
テムの受信装置の一実施形態を示すブロック図である。
ＭＰＥＧ２システムの送信装置から無線伝送路を介して
到来した無線伝送信号は、受信アンテナ１１を介して無
線受信部１０に入力され、この無線受信部１０で周波数
変換されたのちトランスポート・ストリームに復調され
る。そして、この受信トランスポート・ストリームは、
ＭＰＥＧ２用のトランスポート・ストリーム分離装置
（ＭＰＥＧ２ ＴＳ分離装置）２０に入力される。FIG. 1 is a block diagram showing an embodiment of an MPEG2 system receiving apparatus according to the present invention.
A wireless transmission signal arriving from a transmitter of the MPEG2 system via a wireless transmission path is input to a wireless receiving unit 10 via a receiving antenna 11, frequency-converted by the wireless receiving unit 10, and then demodulated into a transport stream. Is done. And this received transport stream is
It is input to a transport / stream separation device (MPEG2 TS separation device) 20 for MPEG2.
【００１７】このＴＳ分離装置２０は、トランスポート
・ストリームバッファ（ＴＳバッファ）２１を有してお
り、このＴＳバッファ２１で上記受信トランスポート・
ストリームを蓄積する。ＴＳ分離部２２は、制御部２５
から与えられたプログラム指定情報に従い、ＴＳバッフ
ァ２１に蓄積されている受信トランスポート・ストリー
ムから該当するビデオ・ストーム及びオーディオ・スト
リームのＴＳパケットを選択的に分離する。そして、こ
の分離した各ＴＳパケットをそれぞれバッファ２３，２
４を介してビデオ復号器３０又はオーディオ復号器４０
に供給する。The TS separation device 20 has a transport stream buffer (TS buffer) 21, and the TS buffer 21
Store the stream. The TS separation unit 22 includes a control unit 25
In accordance with the program designation information given from, the TS packets of the corresponding video storm and audio stream are selectively separated from the received transport stream stored in the TS buffer 21. Then, the separated TS packets are stored in the buffers 23 and 2 respectively.
4 through a video decoder 30 or an audio decoder 40
To supply.
【００１８】図２は、上記オーディオ復号器４０の構成
を示す回路ブロック図である。同図において、オーディ
オ復号器４０はタイムスタンプ／データ分離部４１、デ
ータバッファ４２、オーディオ復号部４３、プレゼーテ
ーションバッファ４７及びディジタル／アナログ変換器
（Ｄ／Ａ変換器）４８からなるデータ復号系を備え、さ
らにそれに加え、タイムスタンプバッファ４４、タイム
スタンプ比較器４５及び復号制御部４６を備えている。FIG. 2 is a circuit block diagram showing the configuration of the audio decoder 40. In the figure, an audio decoder 40 includes a time stamp / data separation unit 41, a data buffer 42, an audio decoding unit 43, a presentation buffer 47, and a digital / analog converter (D / A converter) 48. And a time stamp buffer 44, a time stamp comparator 45, and a decoding control unit 46.
【００１９】タイムスタンプ／データ分離部４１は、前
記バッファ２４からＰＥＳパケットを取り込み、このＰ
ＥＳパケットのペイロードから符号化オーディオデータ
を抽出してデータバッファ４２に書き込むと共に、ヘッ
ダからタイムスタンプを抽出してタイムスタンプバッフ
ァ４４に書き込む。The time stamp / data separation unit 41 fetches the PES packet from the buffer 24,
The encoded audio data is extracted from the payload of the ES packet and written into the data buffer 42, and the time stamp is extracted from the header and written into the time stamp buffer 44.
【００２０】タイムスタンプ比較器４５は、新たに受信
されたＰＥＳパケットのタイムスタンプが上記タイムス
タンプバッファ４４に書き込まれるごとに、当該タイム
スタンプとその一つ前に受信されたＰＥＳパケットのタ
イムスタンプをタイムスタンプバッファ４４からそれぞ
れ読み出して比較し、その結果を復号制御部４６に通知
する。Each time the time stamp of a newly received PES packet is written to the time stamp buffer 44, the time stamp comparator 45 compares the time stamp with the time stamp of the PES packet received immediately before. The data is read from the time stamp buffer 44 and compared, and the result is notified to the decoding control unit 46.
【００２１】復号制御部４６は、上記タイムスタンプ比
較器４５から通知された比較結果をもとに、受信ＰＥＳ
パケットの欠落の有無を判定する。そして、欠落が検出
された場合には補完すべき情報単位の大きさを決定し、
オーディオ復号部４３に補完情報を与える。The decoding controller 46 receives the received PES based on the comparison result notified from the time stamp comparator 45.
It is determined whether a packet is lost. Then, when missing is detected, the size of the information unit to be complemented is determined,
The complementary information is given to the audio decoding unit 43.
【００２２】オーディオ復号部４３は、データバッファ
４２から符号化オーディオデータを読み込み、この符号
化オーディオデータを復号してその復号オーディオデー
タをプレゼーテーションバッファ４７に書き込む。また
オーディオ復号部４３は、復号を行ったときのパラメー
タを保存し、復号制御部４６から補完情報が与えられる
と、データバッファ４２から受け取った符号化オーディ
オデータと、保存してある上記パラメータとに基づいて
復号データを補完し、この補完データをプレゼーテーシ
ョンバッファ４７に書き込む。The audio decoder 43 reads the encoded audio data from the data buffer 42, decodes the encoded audio data, and writes the decoded audio data to the presentation buffer 47. Further, the audio decoding unit 43 stores the parameters at the time of performing the decoding, and when the decoding control unit 46 supplies the complementary information, the audio decoding unit 43 stores the encoded audio data received from the data buffer 42 and the stored parameters. The decoded data is complemented based on this, and the complemented data is written to the presentation buffer 47.
【００２３】プレゼーテーションバッファ４７は、タイ
ムスタンプバッファ４４に保存されているタイムスタン
プにより指定されるタイミングで、復号オーディオデー
タを順次読み出してＤ／Ａ変換器４８に供給する。Ｄ／
Ａ変換器４８は、上記プレゼーテーションバッファ４７
から供給された復号オーディオデータをアナログ信号に
変換して、スピーカ６０から拡声出力させる。The presentation buffer 47 sequentially reads out the decoded audio data and supplies it to the D / A converter 48 at the timing specified by the time stamp stored in the time stamp buffer 44. D /
The A converter 48 is connected to the presentation buffer 47.
Is converted into an analog signal and output from the speaker 60.
【００２４】なお、３０はビデオ復号器であり、バッフ
ァ２３から読み出したビデオＰＥＳをＭＰＥＧ２方式に
より復号し、この復号処理により得られたビデオデータ
を表示器５０に供給して表示させる。Reference numeral 30 denotes a video decoder which decodes the video PES read from the buffer 23 according to the MPEG2 system, and supplies the video data obtained by this decoding process to the display 50 for display.
【００２５】次に、以上のように構成されたシステムの
動作を説明する。送信側装置から無線伝送信号が到来す
ると、この無線伝送信号はアンテナ１１を介して無線受
信部１０で受信されたのち、トランスポート・ストリー
ム（ＴＳ）に復調されてＴＳバッファ２１に蓄積され
る。Next, the operation of the system configured as described above will be described. When a wireless transmission signal arrives from the transmitting device, the wireless transmission signal is received by the wireless receiving unit 10 via the antenna 11, then demodulated into a transport stream (TS) and stored in the TS buffer 21.
【００２６】ＴＳ分離部２２では、制御部２５から与え
られたプログラム指定情報に従い、上記ＴＳバッファ２
１に蓄積された受信トランスポート・ストリームの中か
ら先ずＰＡＴ（ＰＩＤ＝０ｘ００００）が抽出され、こ
のＰＡＴをもとに上記指定プログラムの管理情報を記述
したＰＭＴのＰＩＤが検出される。そして、このＰＩＤ
をもとにＰＭＴが抽出され、このＰＭＴの記述からビデ
オ・ストリームのＰＩＤ及びオーディオ・ストリームの
ＰＩＤがそれぞれ検出される。In the TS separation unit 22, the TS buffer 2 is used in accordance with the program designation information given from the control unit 25.
First, a PAT (PID = 0x0000) is extracted from the received transport stream accumulated in No. 1 and a PMT PID describing management information of the specified program is detected based on the PAT. And this PID
Is extracted based on the PMT, and the PID of the video stream and the PID of the audio stream are detected from the description of the PMT.
【００２７】そしてＴＳ分離部２２では、受信トランス
ポート・ストリームの中から上記ＰＩＤが挿入されたＴ
Ｓパケットが選択的に分離抽出され、この分離抽出され
たＴＳパケットのうちビデオストリームのＴＳパケット
がバッファ２３に、またオーディオストリームのＴＳパ
ケットがバッファ２４に蓄積される。このとき、バッフ
ァ２３，２４では、上記ＴＳパケットが例えば数ＰＥＳ
単位にまとめられて蓄積される。また、バッファ２３，
２４にはバッファポインタが備えられており、新たなＰ
ＥＳが蓄積されるごとにこのバッファポインタの値は更
新される。Then, the TS separation unit 22 selects the T in which the PID is inserted from the received transport stream.
The S packets are selectively separated and extracted. Among the separated and extracted TS packets, the TS packets of the video stream are stored in the buffer 23, and the TS packets of the audio stream are stored in the buffer 24. At this time, in the buffers 23 and 24, the above-mentioned TS packet is, for example, several PESs.
It is stored in units. The buffer 23,
24 is equipped with a buffer pointer and a new P
The value of this buffer pointer is updated each time ES is accumulated.
【００２８】さて、オーディオ復号器４０では次のよう
に復号処理が行われる。すなわち、タイムスタンプ／デ
ータ分離部４１は、バッファ２４のバッファポインタの
値が更新されるごとにそのＰＥＳを読み込み、このＰＥ
Ｓのヘッダからタイムスタンプ情報を分離抽出すると共
に、ペイロードから符号化オーディオデータを分離抽出
する。そして、タイムスタンプについてはタイムスタン
プバッファ４４に、また符号化オーディオデータについ
てはデータバッファ４３にそれぞれ書き込む。The audio decoder 40 performs a decoding process as follows. That is, the time stamp / data separation unit 41 reads the PES every time the value of the buffer pointer of the buffer 24 is updated, and
The time stamp information is separated and extracted from the header of S, and the encoded audio data is separated and extracted from the payload. Then, the time stamp is written into the time stamp buffer 44, and the encoded audio data is written into the data buffer 43.
【００２９】上記タイムスタンプバッファ４４に新たに
受信されたＰＥＳのタイムスタンプが書き込まれると、
タイムスタンプ比較器４５ではこの新たに受信されたＰ
ＥＳのタイムスタンプと、一つ前に受信されたＰＥＳの
タイムスタンプとが比較され、その時間間隔が検出され
る。そして、この時間間隔の検出値は復号制御部４６に
通知される。When the time stamp of the newly received PES is written in the time stamp buffer 44,
In the time stamp comparator 45, the newly received P
The time stamp of the ES is compared with the time stamp of the previously received PES, and the time interval is detected. Then, the detection value of this time interval is notified to the decoding control unit 46.
【００３０】復号制御部４６は、上記時間間隔の検出値
が通知されると、この時間間隔の検出値をもとにＰＥＳ
の欠落の有無を判定する。そして、ＰＥＳの欠落がある
場合には、欠落したＰＥＳの単位を割り出して、その結
果を補完情報としてオーディオ復号部４３に与える。Upon being notified of the detected value of the time interval, the decoding control unit 46 sets the PES based on the detected value of the time interval.
It is determined whether or not there is a missing. If there is a missing PES, the unit of the missing PES is determined, and the result is given to the audio decoding unit 43 as complementary information.
【００３１】オーディオ復号部４３は、復号制御部４３
から補完情報が与えられない場合には、データバッファ
４２から読み込んだ最新のＰＥＳの符号化オーディオデ
ータをそのまま復号処理し、この復号処理により得られ
たオーディオデータをプレゼーテーションバッファ４７
に書き込む。これに対し、復号制御部４３から補完情報
が与えられた場合には、この与えられた補完情報に基づ
いて補完すべきＰＥＳの単位を決定し、過去の復号処理
において生成したパラメータと、データバッファ４２か
ら読み込んだ過去の符号化オーディオデータとからＰＥ
Ｓ単位でオーディオデータの補完を行う。そして、この
補完により生成されたオーディオデータをプレセーテー
ションバッファ９５０に書き込む。The audio decoding unit 43 includes a decoding control unit 43
When the complementary information is not given from the data buffer 42, the latest encoded audio data of the PES read from the data buffer 42 is decoded as it is, and the audio data obtained by this decoding process is
Write to. On the other hand, when the complementary information is provided from the decoding control unit 43, the unit of the PES to be complemented is determined based on the provided complementary information, and the parameter generated in the past decoding process and the data buffer From the past encoded audio data read from
The audio data is complemented in S units. Then, the audio data generated by the complementation is written to the presitation buffer 950.
【００３２】一般的に、ＰＥＳは１〜ｎ（ｎ：整数）オ
ーディオフレーム単位で構成される。このため、上記Ｐ
ＥＳ単位での補完処理により欠落した１〜ｎフレーム分
のオーディオデータが生成される。Generally, the PES is composed of 1 to n (n: integer) audio frame units. Therefore, the above P
Audio data for missing 1 to n frames is generated by the complementing process in ES units.
【００３３】そうしてプレゼーテーションバッファ４７
に蓄えられたオーディオデータは、タイムスタンプバッ
ファ４４に記憶されたタイムスタンプにより表される時
刻に従ってＰＥＳ単位で読み出され、Ｄ／Ａ変換器４８
でアナログオーディオ信号に変換されたのちスピーカ６
０から拡声出力される。Then, the presentation buffer 47
The audio data stored in the D / A converter 48 is read out in units of PES in accordance with the time represented by the time stamp stored in the time stamp buffer 44.
Is converted to an analog audio signal by the speaker 6
0 is output.
【００３４】なお、プレゼーテーションバッファ４７に
一定量以上のオーディオデータが蓄積されている場合に
は、オーディオ復号器４３の前段にあるデータバッファ
４２からオーディオ復号器４３への符号化オーディオデ
ータの読み込みは行わない。When a predetermined amount or more of audio data is stored in the presentation buffer 47, the encoded audio data is read from the data buffer 42 at the preceding stage of the audio decoder 43 to the audio decoder 43. Is not performed.
【００３５】以上述べたようにこの実施形態では、ＴＳ
分離装置２０でオーディオＰＥＳが分離抽出されるごと
に、そのヘッダに挿入されているタイムスタンプを一つ
前に受信したオーディオＰＥＳのタイムスタンプとタイ
ムスタンプ比較器４５で比較して時間間隔を検出し、こ
の時間間隔をもとに復号制御部４６でＰＥＳの欠落の有
無を判定する。そして、ＰＥＳの欠落があると判定した
場合には、復号制御部４６からオーディオ復号部４３に
対し補完情報を与え、オーディオ復号部４３において過
去の復号処理により生成したパラメータと一つ前のＰＥ
Ｓのオーディオデータとから、欠落したＰＥＳのオーデ
ィオデータを補完生成するようにしている。As described above, in this embodiment, TS
Each time the audio PES is separated and extracted by the separation device 20, the time stamp inserted in the header is compared with the time stamp of the audio PES received immediately before by the time stamp comparator 45 to detect the time interval. Based on this time interval, the decoding control unit 46 determines whether or not PES is missing. If it is determined that there is a missing PES, the decoding control unit 46 supplies complementary information to the audio decoding unit 43, and the audio decoding unit 43 compares the parameter generated by the past decoding process with the immediately preceding PE.
The audio data of S is supplementarily generated from the audio data of the missing PES.
【００３６】従って、伝送路状態がフェージング等によ
って劣悪な状況になり、ＰＥＳの欠落が頻繁に生じる状
態が起こった場合でも、タイムスタンプをもとに欠落し
たＰＥＳが検出されてそのオーディオデータが補完され
る。このため、受信装置におけるデータバッファ４２の
アンダーフローを防止でき、これにより異音や雑音が少
なくかつ途切れのないオーディオ信号を再生出力するこ
とができる。Therefore, even if the transmission path condition is deteriorated due to fading or the like and PES is frequently lost, the missing PES is detected based on the time stamp and its audio data is complemented. Is done. For this reason, it is possible to prevent underflow of the data buffer 42 in the receiving device, thereby reproducing and outputting an audio signal with little noise and noise and without interruption.
【００３７】また、再生する際にビデオデータとオーデ
ィオデータとの間の時間的な対応をとるために使用され
ているタイムスタンプ情報を利用してＰＥＳの欠落を検
出するようにしているので、ＰＥＳの欠落を検出するだ
けの目的で新たな情報をＰＥＳに挿入する必要がない。
従って、伝送フォーマットを変更せずに受信装置内の変
更だけで簡単に実施できる利点がある。Further, when reproducing, the lack of the PES is detected by using the time stamp information used for establishing a temporal correspondence between the video data and the audio data. There is no need to insert new information into the PES just to detect the lack of a.
Therefore, there is an advantage that the present invention can be easily implemented only by changing in the receiving device without changing the transmission format.
【００３８】なお、この発明は上記実施形態に限定され
るものではない。例えば、前記実施形態ではオーディオ
データを補完する場合を例にとって説明したが、オーデ
ィオデータに限らず、前後のフレーム間で相関が高い符
号化方式を採用している他の情報データにも本発明を適
用することができる。The present invention is not limited to the above embodiment. For example, in the above-described embodiment, the case where audio data is complemented has been described as an example. Can be applied.
【００３９】また、前記実施形態では伝送路として無線
回線を使用した場合を例にとって説明したが、伝送路と
して有線回線を使用するシステムの受信装置にも本発明
は適用可能である。要するに、ＰＥＳの欠落が発生する
恐れのある伝送路を使用するシステムであれば、如何な
る種類のシステムにも本発明は適用可能である。In the above-described embodiment, the case where a wireless line is used as a transmission line has been described as an example. However, the present invention is also applicable to a receiving device of a system using a wired line as a transmission line. In short, the present invention can be applied to any type of system that uses a transmission path in which PES may be lost.
【００４０】その他、ＰＥＳの欠落を検出するための手
段や情報データの補完処理手段の構成、情報データの種
類、符号化方式等についても、この発明の要旨を逸脱し
ない範囲で種々変形して実施できる。In addition, the means for detecting missing PES, the structure of the information data complementing means, the type of information data, the encoding method, and the like are variously modified without departing from the scope of the present invention. it can.
【００４１】[0041]
【発明の効果】以上詳述したようにこの発明では、複数
の情報データ系列をそれぞれ符号化してパケットのペイ
ロードに挿入すると共にこれらのパケットのヘッダに上
記各情報データ系列間の時間的な対応関係を表すタイム
スタンプ情報を挿入し、これらのパケットを多重化して
伝送する情報データ伝送システムで使用される受信装置
において、所望の情報データ系列に対応するパケットが
受信されるごとに、ヘッダからタイムスタンプ情報を抽
出し、この抽出された各タイムスタンプ情報をもとに受
信パケットの欠落の有無を判定する。そして、この判定
により受信パケットの欠落が検出された場合には、この
欠落した受信パケットにより伝送されるべき情報データ
系列を補完するようにしている。As described above in detail, according to the present invention, a plurality of information data sequences are respectively encoded and inserted into the payload of a packet, and the temporal correspondence between the information data sequences is added to the header of these packets. In a receiving apparatus used in an information data transmission system for multiplexing and transmitting these packets, a time stamp information representing a desired information data sequence is received from a header. Information is extracted, and it is determined whether or not the received packet is missing based on the extracted time stamp information. Then, when a loss of the received packet is detected by this determination, the information data sequence to be transmitted by the lost received packet is complemented.
【００４２】従ってこの発明によれば、フェージング等
の影響により伝送路品質が劣化してパケットの欠落が発
生しても、この欠落したパケットの有無が受信装置でタ
イムスタンプ情報をもとに検出され、この欠落したパケ
ットにより伝送されるはずだった情報データが補完され
ることになる。この結果、伝送路として無線回線を使用
する場合でも、復号器の前段のバッファメモリがアンダ
フローを起こす心配はなくなり、この結果情報データを
高品質に再生することができる情報データ伝送システム
の受信装置を提供することができる。Therefore, according to the present invention, even if the transmission path quality is deteriorated due to the effects of fading or the like and a packet is lost, the presence or absence of the lost packet is detected by the receiving apparatus based on the time stamp information. The information data that should have been transmitted by the missing packet is complemented. As a result, even when a wireless line is used as a transmission line, there is no concern that the buffer memory in the preceding stage of the decoder will cause underflow, and as a result, a receiving apparatus of an information data transmission system capable of reproducing information data with high quality. Can be provided.
【図１】 この発明に係わるＭＰＥＧ２システムの受信
装置の一実施形態を示すブロック図。FIG. 1 is a block diagram showing an embodiment of a receiver of an MPEG2 system according to the present invention.
【図２】 図１に示した受信装置のオーディオ復号器の
構成を示す回路ブロック図。FIG. 2 is a circuit block diagram showing a configuration of an audio decoder of the receiving device shown in FIG.
【図３】 ＭＰＥＧ２のＰＥＳパケットのデータ構造を
示す図。FIG. 3 is a diagram showing a data structure of an MPEG2 PES packet.
【図４】 ＭＰＥＧ２システムにおける各ストリームの
相互関係を示す図。FIG. 4 is a diagram showing the interrelationship of each stream in the MPEG2 system.
【図５】 ＭＰＥＧ２トランスポートストリーム・パケ
ットのデータ構造を示す図。FIG. 5 is a diagram showing a data structure of an MPEG2 transport stream packet.
１０…無線受信部 １１…アンテナ ２０…ＭＰＥＧ２ ＴＳ分離装置 ２１…ＴＳバッファ ２２…ＴＳ分離部 ２３…ビデオ復号用のバッファ ２４…オーディオ復号用のバッファ ２５…制御部 ３０…ビデオ復号器 ４０…オーディオ復号器 ４１…タイムスタンプ／データ分離部 ４２…データバッファ ４３…オーディオ復号部 ４４…タイムスタンプバッファ ４５…タイムスタンプ比較器 ４６…復号制御部 ４７…プレゼーテーションバッファ ４８…ディジタル／アナログ変換器（Ｄ／Ａ変換器） ５０…表示器 ６０…スピーカ DESCRIPTION OF SYMBOLS 10 ... Wireless reception part 11 ... Antenna 20 ... MPEG2 TS separation apparatus 21 ... TS buffer 22 ... TS separation part 23 ... Buffer for video decoding 24 ... Buffer for audio decoding 25 ... Control part 30 ... Video decoder 40 ... Audio decoding Device 41 time stamp / data separation unit 42 data buffer 43 audio decoding unit 44 time stamp buffer 45 time stamp comparator 46 decoding control unit 47 presentation buffer 48 digital / analog converter (D / A converter) 50 ... Display 60 ... Speaker
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28182699AJP2001111610A (en) | 1999-10-01 | 1999-10-01 | Receiving device of information data transmission system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28182699AJP2001111610A (en) | 1999-10-01 | 1999-10-01 | Receiving device of information data transmission system |
| Publication Number | Publication Date |
|---|---|
| JP2001111610Atrue JP2001111610A (en) | 2001-04-20 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28182699APendingJP2001111610A (en) | 1999-10-01 | 1999-10-01 | Receiving device of information data transmission system |
| Country | Link |
|---|---|
| JP (1) | JP2001111610A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100900448B1 (en)* | 2002-07-09 | 2009-06-02 | 엘지전자 주식회사 | Packet Encoding Time Stamp Recording Method for High Density Optical Discs |
| US8605599B2 (en) | 2004-11-24 | 2013-12-10 | Samsung Electronics Co., Ltd | Method and apparatus for processing asynchronous audio stream |
| JP2019506648A (en)* | 2015-12-01 | 2019-03-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Multi-level parallel buffering and context-based streaming data preprocessing system for vehicle domain |
| JP2020056953A (en)* | 2018-10-03 | 2020-04-09 | キヤノン株式会社 | Anti-shake device, image processing apparatus, and detection method |
| CN116846038A (en)* | 2023-08-29 | 2023-10-03 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | Method, device, equipment and storage medium for collecting and transmitting battery data |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100900448B1 (en)* | 2002-07-09 | 2009-06-02 | 엘지전자 주식회사 | Packet Encoding Time Stamp Recording Method for High Density Optical Discs |
| US8605599B2 (en) | 2004-11-24 | 2013-12-10 | Samsung Electronics Co., Ltd | Method and apparatus for processing asynchronous audio stream |
| JP2019506648A (en)* | 2015-12-01 | 2019-03-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Multi-level parallel buffering and context-based streaming data preprocessing system for vehicle domain |
| JP2020056953A (en)* | 2018-10-03 | 2020-04-09 | キヤノン株式会社 | Anti-shake device, image processing apparatus, and detection method |
| CN116846038A (en)* | 2023-08-29 | 2023-10-03 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | Method, device, equipment and storage medium for collecting and transmitting battery data |
| Publication | Publication Date | Title |
|---|---|---|
| JP4481444B2 (en) | Image encoding device | |
| US7496675B2 (en) | Data multiplexer, data multiplexing method, and recording medium | |
| EP0735776B1 (en) | Decoder for compressed and multiplexed video and audio data | |
| US8483053B2 (en) | Information processing device, information processing method, program, and data structure | |
| JP2003500948A (en) | Method for converting a packetized stream of information signals into a stream of information signals having a time stamp and vice versa | |
| JP2000173181A (en) | Data recording device and outputting device, data output system, methods for data recording and outputting, and data recording and outputting method | |
| JP3045715B2 (en) | Transmission system, transmitting device, recording / reproducing device, and recording device | |
| US8359413B2 (en) | Data stream buffer control using reference time and decoding time | |
| CN100416689C (en) | Reproducing device and method, and recording medium | |
| US20080184316A1 (en) | Stream recording apparatus | |
| JP2001111610A (en) | Receiving device of information data transmission system | |
| JPH11205789A (en) | Transmission rate converter of mpeg2 transport stream | |
| US7706400B2 (en) | Transport stream processing device and transport stream processing method | |
| EP1662484B1 (en) | Method and apparatus for processing asynchronous audio stream | |
| JPH10126371A (en) | Device and method for multiplexing | |
| JP2000187940A (en) | Recording / reproducing device and recording device | |
| JPH09298748A (en) | Method and apparatus for sending private data instead of stuffing bits in an MPEG bitstream | |
| JP2001339688A (en) | Playback equipment of transport stream | |
| JP2000049726A (en) | Multiplexing device and method therefor | |
| US20080123732A1 (en) | Method and system for configuring decoding based on detecting transport stream input rate | |
| JP4241220B2 (en) | Digital recording / reproducing apparatus and reproducing rate control method | |
| JP2000134259A (en) | Transmission method and transmission device | |
| JP2003047007A (en) | Data transmission method, private data transmitting unit and private data receiving unit | |
| JPH11340936A (en) | Method and device for multiplexing data | |
| JPH11340935A (en) | Data multiplexer and its method |