JP2016166975A

Movatterモバイル変換

Info

Publication number: JP2016166975A
Application number: JP2015046589A
Authority: JP
Inventors: 小林　正人; Masato Kobayashi; 正人小林; 耕史大石; Koji Oishi
Original assignee: Korg Inc
Current assignee: Korg Inc
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2016-09-15
Anticipated expiration: 2035-03-10
Also published as: JP6529116B2

Abstract

PROBLEM TO BE SOLVED: To provide a transmission device which can set additional information in real time when distributing voice information and the additional information.SOLUTION: A transmission device 1 capable of streaming and distributing a segment which is a distribution unit including voice information and URL information which is additional information added to it includes: a merging processing unit 30 for generating a segment by incorporating supplied additional information with respect to information in which the voice information is digitized; an encode unit 40 for encoding the segment generated by the merging processing unit 30; a transmission unit 50 for transmitting the segment encoded in the encode unit 40; and a control unit 80 for receiving the URL information (additional information) imparted by an operation of an additional information setting unit 75 of an operation device 70 and for supplying this to the merging processing unit 30.SELECTED DRAWING: Figure 1

Description

Translated fromJapanese

本発明は、デジタルデータを配信する装置に係わり、特に、ユーザーの操作によってリアルタイムに、音楽情報に対して付加情報を付加することを可能としてＤＳＤ（Direct Stream Digital）ストリーミングを送信、受信する装置、および、プログラムに関する。 The present invention relates to an apparatus for distributing digital data, and in particular, an apparatus for transmitting and receiving DSD (Direct Stream Digital) streaming that allows additional information to be added to music information in real time by a user operation, And related to the program.

現在、「ＤＳＤ5.6ＭＨｚ」ライブストリーミングの配信実験が行われようとしている（平成２７年４月実験予定）。この「ＤＳＤ5.6ＭＨｚ」は、アナログ音源をデジタル変換する一方式であり、「ハイレゾリューション」音源配信として人気が高まっている。ＣＤの１２８倍ものサンプリング周波数で、アナログ音をデジタル音として多量のデータの処理が必要になっている。 Currently, a “DSD 5.6 MHz” live streaming distribution experiment is underway (experiment planned for April 2015). This “DSD 5.6 MHz” is a method for digitally converting an analog sound source, and is gaining popularity as a “high resolution” sound source distribution. It is necessary to process a large amount of data using analog sound as digital sound at a sampling frequency 128 times that of CD.

このような状況にあって、従来から各種のデジタルデータの配信技術が開示されている。例えば、作成済みのＭＰＥＧ−ＳＴに対して再生された動画に対し、正しく同期する付加データを挿入するために、予め放送局側でデジタル放送映像データにデータファイルを埋め込み、このデータファイルが埋め込まれたデジタル放送の映像データを扱う手法が開示されている（特許文献１参照。）。この特許文献１に開示された装置は、時刻情報を読み出す毎に、該当時刻情報が単位データの再生時刻に一致したとき、該当単位データを、ＭＰＥＧ−ＴＳにおける該当時刻情報の隣接位置にプライベートデータのパケットとして挿入するパケット挿入手段を備えている。 Under such circumstances, various digital data distribution techniques have been disclosed. For example, in order to insert additional data that synchronizes correctly with a moving image reproduced for a created MPEG-ST, a data file is embedded in digital broadcast video data in advance on the broadcasting station side, and this data file is embedded. A method for handling video data of digital broadcasting is disclosed (see Patent Document 1). The apparatus disclosed inPatent Document 1 reads out the corresponding unit data at the position adjacent to the corresponding time information in MPEG-TS when the corresponding time information matches the reproduction time of the unit data every time the time information is read. Packet insertion means for inserting the packet as a packet.

また、コンテンツを構成する様々なデータとの共有関係を作ったり、これらのデータの一部修正等の二次加工が容易となる配信データを生成するなどのために、動画、音声等の表示情報にこの表示情報の「再生、停止、表示・非表示」のタイミングを定めるタイミングデータを加え、これらを纏めてエンコードして配信し、ユーザー端末側では配信データをデコードし、タイミングデータに基づいて画面に表示するコンテンツ配信システムを提供されている（特許文献２参照。）。 In addition, display information such as video and audio is used to create sharing relationships with various data that make up the content, and to generate distribution data that facilitates secondary processing such as partial correction of these data. Timing data that determines the timing of “playback, stop, display / non-display” of this display information, and encodes and distributes these together, and the user terminal decodes the distribution data and displays the screen based on the timing data. A content distribution system for display on the Internet is provided (see Patent Document 2).

特開平１１−１７７９４３号公報（第５−６頁、第１図）Japanese Patent Laid-Open No. 11-177943 (page 5-6, FIG. 1)特開２００６−１６５８７８号公報（第７−１４頁、第１図）JP 2006-165878 A (pages 7-14, FIG. 1)

しかしながら、従来の技術によれば、動画情報や表示情報等のコンテンツを構成する情報に対して何らかの処理を施すために挿入されたり付加されたりする「付加情報」は送信装置側で予め設定されそのまま配信されていた。つまり、特許文献１に記載された映像データ多重化装置にあっては、動画に対して予め付加データを挿入しこれをそのまま配信することによって、既に作成済みのＭＰＥＧ−ＴＳに対しても簡単に付加データのプライベートデータを組込みことができ、また、特許文献２に記載されたコンテンツ配信システムにあっては、表示情報に予め設定しそのまま配信されるタイミングデータに基づいて、受信側で表示情報の再生、表示が行われる。そして、それぞれプレイベートデータ、タイミングデータが「付加情報」とされていた。 However, according to the conventional technology, the “additional information” inserted or added to perform some processing on the information constituting the content such as moving image information and display information is set in advance on the transmission device side and remains as it is. It was delivered. That is, in the video data multiplexing device described inPatent Document 1, additional data is inserted in advance into a moving image and distributed as it is, so that it can be easily applied to an already created MPEG-TS. The private data of the additional data can be incorporated. Also, in the content distribution system described in Patent Document 2, the display information is displayed on the receiving side based on the timing data set in advance in the display information and distributed as it is. Playback and display are performed. The private data and timing data are “additional information”.

よって、これらの付加情報はリアルタイムに付加されるものではないので、例えば、アーティストの生中継（ライブ中継）において、アンコールが発生した時などには対応できない。つまり、アーティストが演奏する楽曲の音声情報とその楽曲に関連する画像情報（この場合、画像情報が「付加情報」）を配信することを想定すると、音声情報については、アーティストが演奏する演奏状況をマイクロフォンで捕えてこれを配信することは可能であるが、曲に関連する画像情報は予め設定しておくことができない。アンコールでは演奏する曲はその場で決められるからである。つまり、従来の技術にあっては、リアルタイムに付加情報を設定することはできなかった。 Therefore, since the additional information is not added in real time, for example, when an encore occurs during an artist's live broadcast (live relay), it cannot be handled. In other words, assuming that the audio information of the music played by the artist and the image information related to the music (in this case, the image information is “additional information”) are distributed, Although it is possible to capture this with a microphone and deliver it, image information related to the song cannot be set in advance. This is because the music to be played at the encore is decided on the spot. In other words, in the prior art, the additional information cannot be set in real time.

本発明は、音声情報（主情報）とこれに付加する付加情報（副情報）とを配信する際に、この付加情報をリアルタイムに設定可能とした送信装置、受信装置およびプログラムを提供することを目的とする。 The present invention provides a transmitting device, a receiving device, and a program that can set the additional information in real time when distributing the audio information (main information) and the additional information (sub information) added thereto. Objective.

従来のストリーミング配信では、音声情報とその他の付加情報（例えばタイミング情報、静止画情報、文字情報等の付加情報）を別ファイルとして扱ってきた。今、静止画情報を音声情報に付加して送信する場合を想定する。例えば、オーケストラの曲でバイオリンのソロが始まった時点で、バイオリン奏者の肖像画像等の静止画情報を送信する場合、従来にあっては、予め用意した静止画情報を音声情報と組み合わせたデータを曲毎に一つのファイルとして纏めて送信していた。これは、映画に日本語字幕をつける作業の様なもので、映画が完成してないと字幕をつけることができないように、楽曲の演奏が終了するまで情報を追加することができなかった。これに対して、本発明にあっては、字幕表示とは異なり、リアルタイムで情報を付加することを目的としており、映画の字幕と対比するなら同時通訳のようなものである。 In conventional streaming distribution, audio information and other additional information (for example, additional information such as timing information, still image information, and character information) have been handled as separate files. Assume that still image information is added to audio information and transmitted. For example, when transmitting still image information such as a portrait image of a violin player at the time when a violin solo starts in an orchestra song, conventionally, data prepared by combining still image information prepared in advance with audio information is used. Each song was sent as a single file. This was like a task of adding Japanese subtitles to a movie, and information could not be added until the performance of the music was completed so that subtitles could not be added unless the movie was completed. On the other hand, in the present invention, unlike caption display, the purpose is to add information in real time, and it is like simultaneous interpretation when compared with movie captions.

本発明は、音声情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置であって、
前記音声情報をデジタル化した情報に対して、供給された前記付加情報を組み込んでセグメントを生成するマージ処理手段と、
前記マージ処理手段によって生成されたセグメントをエンコードするエンコード手段と、
前記エンコード手段でエンコードされたセグメントを送信する送信手段と、操作手段の操作によって与えられる付加情報を受け取り、これを前記マージ処理手段に供給する制御手段と、を備えたことを特徴とする。The present invention is a transmission apparatus capable of streaming distribution of a segment which is a distribution unit including audio information and additional information added thereto.
Merge processing means for generating a segment by incorporating the supplied additional information with respect to information obtained by digitizing the audio information,
Encoding means for encoding the segment generated by the merge processing means;
A transmission unit that transmits the segment encoded by the encoding unit, and a control unit that receives additional information given by an operation of the operation unit and supplies the additional information to the merge processing unit.

この構成によれば、マージ処理手段は、音声情報をデジタル化した情報に対して、供給された前記付加情報を組み込んで配信単位であるセグメントを生成し、次いで、エンコード手段は、この生成されたセグメントをエンコードし、更に、送信手段は、エンコードされたセグメントを送信する。そして、制御手段は、送信装置に備えられたキーボード等の操作手段の操作によって与えられる付加情報を受け取り、これをマージ処理手段に供給する。 According to this configuration, the merge processing means generates a segment as a distribution unit by incorporating the supplied additional information into the information obtained by digitizing the audio information, and then the encoding means generates the generated information. The segment is encoded, and the transmission means transmits the encoded segment. Then, the control means receives additional information given by operation of an operation means such as a keyboard provided in the transmission apparatus, and supplies this to the merge processing means.

よって、操作手段の操作（例えば登録ボタンの登録操作）によって付加情報が与えられるとこれがマージ処理手段に供給されるので、付加情報を与えることを欲したタイミングで付加情報を音声情報に付加することが可能となる。つまり、音声情報とこれに付加する付加情報を配信する際に、この付加情報をリアルタイムに設定することが可能となる。その結果、例えば、楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する付加情報を配信することを想定すると、アンコールが発生した時などにも付加情報を変更付加することが可能となる。 Therefore, when additional information is given by the operation of the operation means (for example, registration operation of the registration button), this is supplied to the merge processing means, so that the additional information is added to the voice information at a timing when it is desired to give the additional information. Is possible. That is, when distributing audio information and additional information to be added thereto, the additional information can be set in real time. As a result, for example, in the live broadcast of an artist performing a song, assuming that the audio information of the song and additional information related to the song are distributed, the additional information can be changed and added even when an encore occurs. Is possible.

つまり、アンコール時には、次に演奏する楽曲が急遽決定するので、この急遽な決定に対しても、操作手段を操作することによって、この急遽決定した楽曲に対応する付加情報を設定可能とする。このための付加情報には色々あるが、例えば付加情報としてＵＲＬ（Uniform Resource Locater）を送信すれば、受信側で受信セグメントからＵＲＬを抽出し、ブラウザがＵＲＬを利用してインターネットの閲覧情報を得て、これを楽曲と対応付けること等が挙げられる。That is, at the time of encore, the music to be played next is suddenly determined, so that additional information corresponding to the suddenly determined music can be set by operating the operating means even for this sudden determination. There are various additional information for this purpose. For example, if a URL (Uniform Resource Locater) is transmitted as additional information, the URL is extracted from the received segment on the receiving side, and the browser obtains browsing information on the Internet using the URL. And associating it with music.

また、前記制御手段は更に、
前記操作手段の操作によって付加情報を受け取った時点に対応するタイミングで、付加情報が組み込まれたセグメントの送信を所定数個のセグメント毎に繰り返して行う繰り返し送信制御手段を備えた構成を採用するのが好ましい。この構成によれば、操作手段の操作によって付加情報を受け取った時点に対応するタイミング（即ち、新たな付加情報を付加することを示す登録ボタンをクリックする操作が行われたタイミング）で、所定数個のセグメント毎に繰り返して、付加情報が組み込まれたセグメントの送信が行われるので、組み込まれた付加情報が確実に配信可能となる。このため、受信装置側においても、付加情報の受信ミス等が少なくなる。The control means further includes
Adopting a configuration provided with repeated transmission control means for repeatedly transmitting a segment in which additional information is incorporated at a predetermined number of segments at a timing corresponding to a point in time when additional information is received by operation of the operating means. Is preferred. According to this configuration, at a timing corresponding to the time when the additional information is received by the operation of the operating means (that is, a timing at which an operation of clicking the registration button indicating that new additional information is added), a predetermined number Since the segment including the additional information is repeatedly transmitted for each segment, the embedded additional information can be reliably delivered. For this reason, errors in receiving additional information and the like are reduced on the receiving device side.

本発明の他の態様は、音声情報とこれに付加する付加情報とを含む配信単位であるセグメントがストリーミング配信されるのを受信可能な装置であり、前記付加情報は送信装置側の操作手段の操作により前記音声情報に付加されこれを受ける受信装置にして、
前記セグメントを受信する受信手段と、
前記受信手段が受信したセグメントをデコードするデコード手段と、
前記デコード手段でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析手段と、を備えたことを特徴とする受信装置である。Another aspect of the present invention is an apparatus capable of receiving streaming distribution of a segment, which is a distribution unit including audio information and additional information to be added thereto, and the additional information is transmitted from an operating unit on a transmitting apparatus side. A receiving device that receives and adds to the voice information by operation,
Receiving means for receiving the segment;
Decoding means for decoding the segment received by the receiving means;
A receiving apparatus comprising: signal analysis means for extracting the audio information and the additional information from the segment decoded by the decoding means and storing them in a corresponding buffer.

この構成によれば、受信手段がセグメントを受信し、また、デコード手段は、受信手段が受信したセグメントをデコードし、更に、信号解析手段は、デコード手段でデコードされたセグメントから、音声情報と付加情報とを抽出しそれぞれを対応するバッファに格納させる。そして、このセグメントを送ってくる送信装置は、音声情報と付加情報とを含むセグメントをストリーミング配信し、この付加情報は送信装置側の操作手段の操作により付加される。 According to this configuration, the receiving unit receives the segment, the decoding unit decodes the segment received by the receiving unit, and the signal analyzing unit adds the audio information and the segment from the segment decoded by the decoding unit. Information is extracted and stored in the corresponding buffer. Then, the transmission device that sends the segment performs streaming distribution of the segment including the audio information and the additional information, and the additional information is added by the operation of the operation unit on the transmission device side.

したがって、音声情報と付加情報を配信する際に、この付加情報をリアルタイムに設定することが可能となる。その結果、例えば楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する付加情報を配信することを想定すると、受信装置側においても、アンコールが発生した時など付加情報が急遽変更された場合にも対応可能である。送信装置側で急遽設定された付加情報は、受信装置側の信号解析手段によって専用バッファに格納されるので、これを利用して音声情報に併せて画面表示等を行うことでアンコール等にも対応可能となる。 Therefore, when the audio information and the additional information are distributed, the additional information can be set in real time. As a result, for example, when it is assumed that the audio information of the music and the additional information related to the music are distributed in the live broadcast of the artist who performs the music, the additional information suddenly appears on the receiving device side, such as when an encore occurs. It is possible to cope with changes. The additional information set suddenly on the transmitting device side is stored in the dedicated buffer by the signal analysis means on the receiving device side, so it can be used for encore etc. by displaying the screen along with the audio information using this It becomes possible.

また、前記音声情報と前記付加情報との同期が取れるように、それぞれのバッファからの情報出力のタイミングを制御する出力タイミング制御手段を更備えた構成とすることも可能であり、この構成によれば、音声情報と付加情報との同期が取れるため、例えば視聴を違和感なく行われるようになる。 Further, it is possible to employ a configuration further comprising output timing control means for controlling the timing of information output from each buffer so that the audio information and the additional information can be synchronized. For example, since the audio information and the additional information can be synchronized, for example, viewing can be performed without a sense of incongruity.

また、本発明の更に他の態様は、主情報とこれに付加する副情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置に、
前記主情報をデジタル化したデジタル情報に対して、供給された副情報を組み込んでセグメントを生成するマージ処理機能と、
前記マージ処理機能によって生成されたセグメントを送信する送信機能と、
操作手段の操作によって与えられる副情報を受け取り、これを前記マージ処理機能に供給する制御機能と、を実現するためのプログラムである。Still another aspect of the present invention provides a transmission apparatus capable of streaming distribution of a segment, which is a distribution unit including main information and sub information added thereto.
A merge processing function for generating a segment by incorporating the supplied sub-information into the digital information obtained by digitizing the main information;
A transmission function for transmitting a segment generated by the merge processing function;
This is a program for realizing a control function that receives the sub information given by the operation of the operation means and supplies it to the merge processing function.

このプログラム（ＲＯＭ等の記録媒体に記録される）がＣＰＵ、ＤＳＰ等のプロセッサによって実行されることによって、
主情報とこれに付加する副情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置に、
主情報をデジタル化したデジタル情報に対して、供給された副情報を組み込んでセグメントを生成するマージ処理機能と、
前記マージ処理機能によって生成されたセグメントを送信する送信機能と、
操作手段の操作によって与えられる副情報を受け取り、これを前記マージ処理機能に供給する制御機能と、が実現される。When this program (recorded on a recording medium such as a ROM) is executed by a processor such as a CPU or DSP,
To a transmission device capable of streaming distribution of a segment, which is a distribution unit including main information and sub information added thereto,
A merge processing function that generates a segment by incorporating the supplied sub information into the digital information obtained by digitizing the main information,
A transmission function for transmitting a segment generated by the merge processing function;
A control function that receives the sub information given by the operation of the operation means and supplies the sub information to the merge processing function is realized.

この構成によれば、マージ処理機能は、主情報をデジタル化した情報に対して、供給された副情報を組み込んで配信単位であるセグメントを生成し、次いで、エンコード機能は、この生成されたセグメントをエンコードし、更に、送信機能はエンコードされたセグメントを送信する。そして、制御機能は、送信装置に備えられたキーボード等の操作手段の操作によって与えられる付加情報を受け取り、これをマージ処理機能に供給する。 According to this configuration, the merge processing function generates a segment as a distribution unit by incorporating the supplied sub-information into the information obtained by digitizing the main information, and then the encoding function generates the generated segment. And the transmit function transmits the encoded segment. Then, the control function receives additional information given by operation of an operation means such as a keyboard provided in the transmission apparatus, and supplies this to the merge processing function.

よって、操作手段の操作によって副情報が与えられるとこれがマージ機能に供給されるので、副情報を与えることを欲したタイミングで副情報を主情報に付加することが可能となる。つまり、主情報とこれに付加する副情報を配信する際に、この副情報をリアルタイムに設定することが可能となる。その結果、例えば、主情報を音声情報、副情報を音声情報に関連する画像情報とし、楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する画像情報を配信することを想定すると、アンコールが発生した時などの画像情報が急遽変更される場合にも対応可能である。 Therefore, when sub information is given by the operation of the operation means, it is supplied to the merge function, so that it is possible to add the sub information to the main information at a timing when it is desired to give the sub information. That is, when distributing the main information and the sub information added thereto, the sub information can be set in real time. As a result, for example, the main information is audio information, the sub information is image information related to the audio information, and the audio information of the music and the image information related to the music are distributed in the live broadcast of the artist who performs the music. Assuming that image information such as when an encore is generated is changed suddenly.

更に、また、本発明の他の態様は、主情報とこれに付加する副情報とを含む配信単位であるセグメントがストリーミング配信されるのを受信可能な装置であり、前記副情報は送信装置側の操作手段の操作により前記主情報に付加されこれを受ける受信装置に、
前記セグメントを受信する受信機能と、
前記受信機能が受信したセグメントをデコードするデコード機能と、
前記デコード機能でデコードされたセグメントから、前記主情報と前記副情報とを抽出しそれぞれを対応するバッファに格納させる信号解析機能と、を実現するためのプログラムである。Furthermore, another aspect of the present invention is an apparatus capable of receiving streaming distribution of a segment that is a distribution unit including main information and sub information added thereto, and the sub information is transmitted from a transmitting apparatus side. In the receiving device that is added to the main information by the operation of the operating means,
A receiving function for receiving the segment;
A decoding function for decoding the segment received by the receiving function;
It is a program for realizing a signal analysis function for extracting the main information and the sub information from the segment decoded by the decoding function and storing them in a corresponding buffer.

このプログラム（ＲＯＭ等の記録媒体に記録される）がＣＰＵ、ＤＳＰ等のプロセッサによって実行されることによって、
主情報とこれに付加する副情報とを含む配信単位であるセグメントがストリーミング配信されるのを受信可能な装置であり、前記副情報は送信装置側の操作手段の操作により前記主情報付加される受信装置に、
前記セグメントを受信する受信機能と、
前記受信機能が受信したセグメントをデコードするデコード機能と、
前記デコード機能でデコードされたセグメントから、前記主情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析機能と、が実現される。When this program (recorded on a recording medium such as a ROM) is executed by a processor such as a CPU or DSP,
A device capable of receiving streaming distribution of a segment that is a distribution unit including main information and sub information added thereto, and the sub information is added to the main information by an operation of operation means on a transmitting device side. In the receiving device,
A receiving function for receiving the segment;
A decoding function for decoding the segment received by the receiving function;
A signal analysis function for extracting the main information and the additional information from the segments decoded by the decoding function and storing them in the corresponding buffers is realized.

この構成によれば、受信機能がセグメントを受信し、また、デコード機能はこの受信したセグメントをデコードし、更に、信号解析機能は、デコードされたセグメントから、音声情報と付加情報とを抽出しそれぞれを対応するバッファに格納させる。そして、このセグメントを送ってくる送信装置は、音声情報と付加情報とを含むセグメントをストリーミング配信し、この付加情報は送信装置側の操作手段の操作により付加される。 According to this configuration, the receiving function receives the segment, the decoding function decodes the received segment, and the signal analysis function extracts audio information and additional information from the decoded segment, respectively. Is stored in the corresponding buffer. Then, the transmission device that sends the segment performs streaming distribution of the segment including the audio information and the additional information, and the additional information is added by the operation of the operation unit on the transmission device side.

したがって、例えば、主情報を音声情報、副情報を音声情報に関連する画像情報とすれば、音声情報とこれに関連する画像情報を配信する際に、この画像情報をリアルタイムに設定することが可能となる。この結果、アーティストの演奏をライブ中継時に急遽楽曲が変更された場合などの画像情報が急遽変更された場合、受信装置側においても信号解析機能等の動作によって、送信装置側から送信されバッファに格納された画像情報を用いて画像表示させる等で対応可能である。Therefore, for example, if the main information is audio information and the sub information is image information related to the audio information, the image information can be set in real time when distributing the audio information and the image information related thereto. It becomes. As a result, if the image information is changed suddenly, such as when the artist's performance is changed suddenly during live broadcasting, the receiving device also sends it from the transmitting device side and stores it in the buffer by the operation of the signal analysis function etc. This can be dealt with by displaying an image using the image information.

このようなプログラムをＲＯＭ等の記録媒体に記録しておき、この記録したプログラムをＣＰＵやＤＳＰ等のプロセッサ等が読み取って実行していくことによって、マージ処理機能、制御機能、信号解析機能等の各機能を実現することが可能である。 Such a program is recorded on a recording medium such as a ROM, and the recorded program is read and executed by a processor such as a CPU or a DSP, so that a merge processing function, a control function, a signal analysis function, etc. Each function can be realized.

本発明によれば、音声情報（主情報）とこれに付加する付加情報（副情報）とを配信する際に、この付加情報をリアルタイムに設定可能とした送信装置、受信装置およびプログラムを実現できるという効果が得られる。ADVANTAGE OF THE INVENTION According to this invention, when delivering audio | voice information (main information) and the additional information (sub information) added to this, the transmitter, receiver, and program which can set this additional information in real time are realizable. The effect is obtained.

送信装置１の構成図である。1 is a configuration diagram of atransmission device 1. FIG.受信装置２の構成図である。2 is a configuration diagram of a receiving device 2. FIG.送信装置１の基本的動作の説明図である。6 is an explanatory diagram of a basic operation of thetransmission device 1. FIG.受信装置２の基本的動作の説明図である。6 is an explanatory diagram of a basic operation of the receiving device 2. FIG.データフォーマットの模式的説明図である。It is a typical explanatory view of a data format.付加情報設定部７５の表示画面の説明図である。It is explanatory drawing of the display screen of the additional information setting part.付加情報の送信動作制御を説明するフローチャートである。It is a flowchart explaining the transmission operation control of additional information.付加情報の送信動作制御を説明する模式的な説明図である。It is a typical explanatory view explaining transmission operation control of additional information.両バッファからのデータ出力動作制御の模式的な説明図である。It is a typical explanatory view of data output operation control from both buffers.

以下、本発明を実施形態について図面を参照しつつ説明する。図１は本発明の実施形態の送信装置１の構成図、図２は本発明の実施形態の受信装置２の構成図である。なお、以下の実施形態では主として「主情報」として音声情報を、「副情報」（付加情報）としてＵＲＬ情報を用いた例について説明する。付加情報としては他に曲名、作曲者名、アルバム名等のテキストデータ、演奏者や歌手のプロフィールに由来する自画像等の画像データ等を用いることも可能である。ＵＲＬ情報と同時に他のテキスト情報を付加する態様としても良い。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram of atransmission device 1 according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of a reception device 2 according to an embodiment of the present invention. In the following embodiment, an example in which audio information is mainly used as “main information” and URL information is used as “sub information” (additional information) will be described. As additional information, it is also possible to use text data such as a song name, composer name, album name, and image data such as a self-portrait derived from the profile of a performer or a singer. Other text information may be added simultaneously with URL information.

（送信装置１の構成）
図１に示すように、送信装置１は、音声情報入力部１０と、Ａ／Ｄ変換部２０と、マージ処理部３０と、エンコード部４０と、送信部５０とを有して構成されている。送信装置１は更に、制御部８０と、操作装置７０とを備えている。(Configuration of transmitter 1)
As illustrated in FIG. 1, thetransmission device 1 includes a voiceinformation input unit 10, an A /D conversion unit 20, amerge processing unit 30, anencoding unit 40, and atransmission unit 50. . Thetransmission device 1 further includes acontrol unit 80 and an operation device 70.

音声情報入力部１０は、楽音信号等のアナログの音情報を拾うデバイスであり、例えばマイクロフォンによって実現される。例えばミュージシャンのライブ中継の音情報を拾うように設定される。また、Ａ／Ｄ変換部２０は、音声情報入力部１０によって拾われたアナログ音情報をアナログデジタル変換する。例えばデルタシグマ変調器等で実現でき、これを用いるとＤＳＤ（Direct Stream Digital）信号、つまり１ビットオーディオ信号が生成される。The voiceinformation input unit 10 is a device that picks up analog sound information such as a musical tone signal, and is realized by a microphone, for example. For example, it is set to pick up sound information of a musician's live broadcast. The A /D conversion unit 20 performs analog-digital conversion on the analog sound information picked up by the voiceinformation input unit 10. For example, it can be realized by a delta-sigma modulator or the like, and when this is used, a DSD (Direct Stream Digital) signal, that is, a 1-bit audio signal is generated.

マージ処理手段は、Ａ／Ｄ変換部２０によって生成されたＤＳＤ信号に対して、制御部８０から供給された付加情報を組み込んでセグメント（配信単位）を生成するマージ処理を行う。エンコード部４０は、マージ処理された情報を所定の圧縮方式で圧縮処理し、更に必要に応じて暗号キーで暗号化するエンコードを行う。そして、送信部５０は、このエンコードされた情報をネットワークに適合したプロトコールにてネットワーク上に送り出す。ネットワークとしては、例えばＬＴＥ等の無線通信網によるものや光通信網等の有線通信網によるものなどがある。この送信部５０の送信動作は制御部８０から制御信号を与えられることによって制御される。 The merge processing means performs a merge process for generating a segment (distribution unit) by incorporating the additional information supplied from thecontrol unit 80 into the DSD signal generated by the A /D conversion unit 20. Theencoding unit 40 compresses the merged information by a predetermined compression method, and further performs encoding by encrypting with the encryption key as necessary. Then, thetransmission unit 50 sends out the encoded information on the network using a protocol suitable for the network. Examples of the network include a wireless communication network such as LTE and a wired communication network such as an optical communication network. The transmission operation of thetransmission unit 50 is controlled by receiving a control signal from thecontrol unit 80.

また、操作装置７０は、付加情報設定部７５と、タイミング設定用スイッチ７７とを有している。付加情報設定部７５は、音声情報に付加するＵＲＬ情報を設定するためのものであり、例えばキーボード、表示装置等で実現可能である。また、タイミング設定用スイッチ７７は、後に説明する図７における、付加情報のセグメントへの組み込み周期を設定するためのものであり、例えばキーボード等で実現可能である。なお、以下ＵＲＬとは「Uniform Resource Locater」のことを指す。 The operation device 70 includes an additionalinformation setting unit 75 and atiming setting switch 77. The additionalinformation setting unit 75 is for setting URL information to be added to audio information, and can be realized by a keyboard, a display device, or the like, for example. Thetiming setting switch 77 is for setting a period for incorporating additional information into a segment in FIG. The URL below refers to “Uniform Resource Locater”.

図６は付加情報設定部７５の表示画面７１の模式的説明図である。図６に示すように、表示画面７１の上方には配信開始からの時間経過を示すカウンタが表示されている。また、表示画面７１の左にはアーティストの肖像画等の画像データ７２が表示されている。そして、表示画面７１の右側には「曲名」、「作曲者名」、「アルバム名」、「ＵＲＬ」等のテキストデータ選択ボタン７３があり、表示画面７４の右下には登録ボタン７４がある。そして、選択ボタン７３でテキズトデータが選択され登録ボタン７４が押された場合には、制御部８０はこれを検出して受け取り、受け取ったテキストデータをマージ処理部３０に供給する構成となっている。 FIG. 6 is a schematic explanatory diagram of the display screen 71 of the additionalinformation setting unit 75. As shown in FIG. 6, a counter indicating the elapsed time from the start of distribution is displayed above the display screen 71. Further,image data 72 such as artist portraits is displayed on the left of the display screen 71. On the right side of the display screen 71, there are text data selection buttons 73 such as “song name”, “composer name”, “album name”, “URL”, etc., and there is aregistration button 74 on the lower right side of thedisplay screen 74. . When the text data is selected by the selection button 73 and theregistration button 74 is pressed, thecontrol unit 80 detects and receives this, and supplies the received text data to themerge processing unit 30.

制御部８０は、操作装置７０の付加情報設定部７５の操作によって与えられる付加情報を受け取り、これをマージ処理部３０に供給する。この供給を受けたマージ処理部３０は、セグメントを構成するために、ＤＳＤデータにＵＲＬ情報を付加する。なお、複数のテキスト情報が選択された場合には、それらを組み込んでセグメントを生成する。セグメントは送信単位であり、このセグメントを連続的に送信することでライブ中継等がストリーミング配信される。Thecontrol unit 80 receives additional information given by the operation of the additionalinformation setting unit 75 of the operation device 70 and supplies this to themerge processing unit 30. Upon receiving this supply, themerge processing unit 30 adds URL information to the DSD data in order to form a segment. When a plurality of text information are selected, a segment is generated by incorporating them. A segment is a transmission unit, and live relay etc. are streamed by transmitting this segment continuously.

図５はデータフォーマットの模式的な説明図である。セグメント（segment）は、配信単位の情報であり、セグメント３００ａ（segment0）、セグメント３００ｂ（segment1）、セグメント３００ｃ（segment2）、…というようにして配信される。一つのセグメントは、ヘッダー３０１、ＤＳＤデータ３０２、テキストデータ３０５、画像データを含んでいる。そして、ＤＳＤデータ３１０は、データ型と１ビットオーディオデータから成っている。テキストデータ３０５は、前述したように、例えば、曲名、作曲者名、アルバム名等で構成される。本実施形態では特にＵＲＬ情報を付加情報として説明するが、ＵＲＬ情報の他に曲名、作曲者名、アルバム名等を同時に付加情報として扱っても良いことは言うまでもない。なお、複数のテキストデータが選択され登録ボタン７４が押された場合には、制御部８０はこれらの複数のテキストデータを自身に登録し、そしてマージ処理部３０に渡す。これに応答して、マージ処理部３０は図５に示すようなセグメントのテキストデータフィールドに、対応するテキストデータを組み込む処理を行う。 FIG. 5 is a schematic explanatory diagram of a data format. The segment is information on a distribution unit, and is distributed in the following manner:segment 300a (segment0),segment 300b (segment1),segment 300c (segment2),. One segment includes aheader 301,DSD data 302, text data 305, and image data. TheDSD data 310 is composed of a data type and 1-bit audio data. As described above, the text data 305 includes, for example, a song name, a composer name, an album name, and the like. In the present embodiment, URL information is described as additional information. However, it goes without saying that a song name, a composer name, an album name, etc. may be treated as additional information at the same time as URL information. When a plurality of text data are selected and theregistration button 74 is pressed, thecontrol unit 80 registers the plurality of text data in itself and passes them to themerge processing unit 30. In response to this, themerge processing unit 30 performs processing for incorporating the corresponding text data into the text data field of the segment as shown in FIG.

また、制御部８０は更に、登録ボタン７４が押された時点（登録された時点）に対応するタイミング（即ち、制御部８０が操作装置７０の付加情報設定７５の操作によって付加情報を受け取った時点に対応するタイミング）で、付加情報が組み込まれたセグメントの送信を所定数個のセグメント毎に繰り返す機能を有する。図７はこの動作を説明するためのフローチャートである。以下の動作は制御部８０が行い、その結果、送信部５０の動作制御が行われる。先ず、先に説明した操作装置７０のタイミング設定用スイッチで組み込み周期を設定する。今、例えば４セグメント毎と設定する。 In addition, thecontrol unit 80 further has a timing corresponding to the time point when theregistration button 74 is pressed (the time point when theregistration button 74 is registered) (that is, the time point when thecontrol unit 80 receives additional information by operating the additional information setting 75 of the operating device 70). At a timing corresponding to (2), the transmission of the segment in which the additional information is incorporated is repeated every predetermined number of segments. FIG. 7 is a flowchart for explaining this operation. Thecontrol unit 80 performs the following operations, and as a result, the operation control of thetransmission unit 50 is performed. First, the assembly cycle is set by the timing setting switch of the operating device 70 described above. Now, for example, every 4 segments are set.

最初に、ステップＳ７００において、制御部８０は周期カウンタを初期化する（例えばクリアして値を０とする）。次に、付加情報の登録操作が有るか否かを判定する。操作が有る場合（Ｙ）にはステップＳ７２０に進む一方、操作が無い場合（Ｎ）にはステップＳ７１０に進む。ステップＳ７１０においては、周期カウンタの値が組む込み周期４に等しいか否かを判定する、等しい場合（Ｙ）にはステップＳ７３０に進む一方、これ以外の場合（Ｎ）にはステップＳ７１５に進む。ステップＳ７１５においては、周期カウンタの値を更新し（１だけインクリメント）、また、ステップＳ７３０において、新たに付加情報登録操作が有るか否かを判定する。操作が無い場合（Ｎ）にはステップＳ７００に進み周期カウンタを初期化する。一方、操作が有る場合（Ｙ）にはステップＳ７２５に進み、付加情報をセグメントに組み込んで送信部５０から送信させる。First, in step S700, thecontrol unit 80 initializes the period counter (for example, clears it to set the value to 0). Next, it is determined whether or not there is an additional information registration operation. If there is an operation (Y), the process proceeds to step S720. If there is no operation (N), the process proceeds to step S710. In step S710, it is determined whether or not the value of the period counter is equal to the incorporation period 4. In the case of equality (Y), the process proceeds to step S730. In other cases (N), the process proceeds to step S715. In step S715, the value of the cycle counter is updated (incremented by 1), and in step S730, it is determined whether or not there is a new additional information registration operation. If there is no operation (N), the process proceeds to step S700 to initialize the cycle counter. On the other hand, if there is an operation (Y), the process proceeds to step S725, and additional information is incorporated into the segment and transmitted from thetransmission unit 50.

図８は、図７のフローチャートによる動作を模式的に説明した模式的説明図である。時間ｔ０では最初の付加情報設定操作（登録操作）が行われて、付加情報のセグメントへの組み込みが行わる。このセグメントは黒で表現される。また、白で表現しているのは付加情報の付加操作を行わない通常のセグメントである。以降ｔ０〜ｔ９までは４セグメント毎に繰り返して、付加情報が組み込まれた「黒」表現されるセグメントで送信される。次に、時刻ｔ１０にて、新たな付加情報の付加操作である登録操作が行われる。これに対しても付加情報のセグメントへの組み込みが行われセグメント毎に繰り返される（このセグメントを横線で示す）。そして、時刻ｔ１０〜ｔ１８までは黒のセグメントと横線のセグメントとが送信される。仮に両セグメントの送信タイミングが重なる場合には新たな方（この場合、横線の方）を送信する。 FIG. 8 is a schematic explanatory diagram schematically illustrating the operation according to the flowchart of FIG. At time t0, the first additional information setting operation (registration operation) is performed, and the additional information is incorporated into the segment. This segment is represented in black. Also, white segments represent normal segments that do not perform additional information addition operations. Thereafter, from t0 to t9, it is repeated every 4 segments and transmitted in a segment expressed as “black” in which additional information is incorporated. Next, at time t10, a registration operation that is an operation for adding new additional information is performed. Again, additional information is incorporated into the segment and repeated for each segment (this segment is indicated by a horizontal line). From time t10 to t18, the black segment and the horizontal line segment are transmitted. If the transmission timings of both segments overlap, a newer one (in this case, the horizontal line) is transmitted.

そして、時刻ｔ１９になると、また新たな付加情報の付加操作が行われてこの付加情報を組み込んだセグメントを縦線で表現する。この縦線のセグメントも４セグメント毎に繰り返して送信されることが、時刻ｔ１９以降の図を見れば分かる。このようにして付加情報が順次更新されたとしてもより新たな付加情報を優先してセグメント組み込みを行い、この組み込まれたセグメントを所定個数セグメント周期毎に繰り返して送信させる。ここでは４セグメントを周期としたがこれには限られない。また、時刻ｔ０、ｔ１０、ｔ１９と、登録操作を行ったがこれは、ＵＲＬ情報が例えば「http://www.aaa…」,「http://www.bbb…」,「http://www.ccc…」と変化して行くことである。 Then, at time t19, a new additional information adding operation is performed, and a segment incorporating this additional information is represented by a vertical line. It can be seen from the graphs after time t19 that the vertical line segments are also transmitted repeatedly every four segments. Even if the additional information is sequentially updated in this manner, the new additional information is preferentially incorporated into the segment, and the incorporated segment is repeatedly transmitted every predetermined number of segment periods. Here, four segments are used as the period, but the present invention is not limited to this. Also, registration operations were performed at times t0, t10, and t19. This is because URL information is, for example, “http: //www.aaa ...”, “http: //www.bbb ...”, “http: // "www.ccc ..."

このように、操作装置７０の付加情報設定部７５の操作によって付加情報を受け取った時点に対応するタイミングで、所定数個セグメント毎に繰り返して、付加情報が組み込まれたセグメントの送信が行われるので、組み込まれた付加情報が確実に配信可能となる。As described above, the segment including the additional information is repeatedly transmitted every predetermined number of segments at the timing corresponding to the time when the additional information is received by the operation of the additionalinformation setting unit 75 of the controller device 70. Thus, the embedded additional information can be reliably distributed.

以上のように、送信装置１はＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、キーボード、液晶表示装置、Ａ／Ｄ変換器、マイクロフォン等のハードウエアと、これらを駆動するＯＳやＡＰ（アプリケーション）等で実現できるので、この送信装置１は、Ａ／Ｄ変換ボードやマイクロフォンを搭載した１台のＰＣ（パーソナルコンピュータ）で実現可能である。 As described above, thetransmission device 1 can be realized by hardware such as a CPU, ROM, RAM, HDD, keyboard, liquid crystal display device, A / D converter, and microphone, and an OS or AP (application) that drives these devices. Therefore, thetransmission device 1 can be realized by one PC (personal computer) equipped with an A / D conversion board and a microphone.

（送信装置１の動作）
図３は送信装置１の基本動作の説明図である。今、ミュージシャンの演奏ライブ中継を行うことを想定する。まず、ステップＳ３００に示すように、演奏の音声情報を音声情報入力部１０によって拾ったものを、Ａ／Ｄ変換器２０によってアナログデジタル変換する。このアナログデジタル変換は１ビットのデルタシグマ変調を採用すると１ビットのデジタルオーディオ信号、即ち、ＤＳＤ信号となる。次いで、ステップＳ３１０に示すように、マージ処理部３０は、このＤＳＤ信号にＵＲＬ情報を組み込んで配信単位であるセグメントを生成するマージ処理を行い、配信単位であるセグメントを生成する。制御部８０からＵＲＬ情報が供給される場合にはマージ処理を行う一方、ＵＲＬ情報が供給されない場合にはマージ処理を行わない。(Operation of transmitter 1)
FIG. 3 is an explanatory diagram of the basic operation of thetransmission apparatus 1. Assume that a live performance of a musician is performed. First, as shown in step S300, the audio information picked up by the audioinformation input unit 10 is analog-digital converted by the A /D converter 20 as shown in step S300. When this 1-bit delta-sigma modulation is adopted for this analog-digital conversion, a 1-bit digital audio signal, that is, a DSD signal is obtained. Next, as shown in step S310, themerge processing unit 30 performs merge processing for generating a segment as a distribution unit by incorporating URL information into the DSD signal, and generates a segment as a distribution unit. When URL information is supplied from thecontrol unit 80, merge processing is performed, whereas when URL information is not supplied, merge processing is not performed.

次に、ステップＳ３２０に示すように、エンコード部４０は生成されたセグメントを所定の圧縮方式によって圧縮し、次いで暗号キーで暗号化するエンコードを行う。そして、ステップＳ３３０において、送信部５０は、エンコード部４０によってエンコードされたセグメントをネットワーク上に送出する。このような動作を繰り返すことで、ミュージシャンの演奏を生中継するストリーミングデータ配信を行うことが可能である。そして、ＵＲＬ情報は、操作装置７０の付加情報設定部７５によって設定したもので、この設定が行われると制御部８０は、この設定されたＵＲＬ情報をマージ処理部３０に供給する。これに対して、マージ処理部３０は、供給された付加情報であるＵＲＬ情報をＤＳＤデータに組み込んでセグメントを生成する。 Next, as shown in step S320, theencoding unit 40 performs encoding by compressing the generated segment by a predetermined compression method and then encrypting the segment with an encryption key. In step S330, thetransmission unit 50 transmits the segment encoded by theencoding unit 40 over the network. By repeating such an operation, it is possible to perform streaming data distribution that broadcasts the musician's performance live. The URL information is set by the additionalinformation setting unit 75 of the controller device 70. When this setting is performed, thecontrol unit 80 supplies the set URL information to themerge processing unit 30. In contrast, themerge processing unit 30 generates a segment by incorporating URL information, which is supplied additional information, into the DSD data.

また、制御部８０は、操作装置７０の登録ボタン７４をクリック操作することによって付加情報を受け取った時点に対応するタイミング（即ち、新たな付加情報を付加することを示す登録ボタン７４をクリックする操作が行われたタイミング）で、所定セグメント間隔で繰り返して、付加情報が組み込まれたセグメントの送信が行われる。したがって、組み込まれた付加情報が確実に配信可能となり、受信装置側においても付加情報の受信ミス等が少なくなる。In addition, thecontrol unit 80 clicks on theregistration button 74 of the operation device 70 to operate at a timing corresponding to the time point when the additional information is received (that is, an operation of clicking on theregistration button 74 indicating that new additional information is added). At a predetermined segment interval, a segment in which additional information is incorporated is transmitted. Therefore, the incorporated additional information can be reliably distributed, and reception errors of the additional information are reduced on the receiving device side.

以上説明してきたように、送信装置１は、音声情報をＡ／Ｄ変換部２０でデジタル化した情報に対して、供給されたＵＲＬ情報（付加情報）を組み込んで配信単位であるセグメントを生成し、次いで、エンコード部４０は、この生成されたセグメントをエンコードし、更に、送信部５０はエンコードされたセグメントを送信する。そして、制御部８０は、付加情報設定部７５の操作によって与えられるＵＲＬ情報（付加情報）を受け取り、これをマージ処理部３０に供給する。 As described above, thetransmission device 1 generates a segment as a distribution unit by incorporating the supplied URL information (additional information) into the information obtained by digitizing the audio information by the A /D conversion unit 20. Then, theencoding unit 40 encodes the generated segment, and thetransmission unit 50 transmits the encoded segment. Then, thecontrol unit 80 receives URL information (additional information) given by the operation of the additionalinformation setting unit 75 and supplies it to themerge processing unit 30.

よって、付加情報設定部７５によってＵＲＬ情報が与えられるとこれがマージ処理部３０に供給されるので、ＵＲＬ情報を与えることを欲したタイミングでＵＲＬ情報を音声情報に付加することが可能となる。つまり、音声情報とこれに付加するＵＲＬ情報を配信する際に、ＵＲＬ情報をリアルタイムに設定することが可能となる。その結果、アンコール時には、次に演奏する楽曲が急遽決定するので、この急遽な決定に対しても、付加情報設定部７５を操作することによって、急遽決定した楽曲に対応するＵＲＬ情報等を設定することも可能となる。もちろんＵＲＬ情報以外のテキストデータを同時に付加するようにしても良い。 Therefore, when the URL information is given by the additionalinformation setting unit 75, the URL information is supplied to themerge processing unit 30, so that the URL information can be added to the voice information at a timing when the URL information is desired to be given. That is, URL information can be set in real time when audio information and URL information added thereto are distributed. As a result, at the time of encore, the music to be played next is suddenly determined. Therefore, even for this sudden decision, the URL information corresponding to the suddenly decided music is set by operating the additionalinformation setting unit 75. It is also possible. Of course, text data other than URL information may be added simultaneously.

（受信装置２の構成）
図２は受信装置２の構成図である。この受信装置２はユーザーがそれぞれの好みの場所に設置している。もちろんノート型ＰＣ等の携帯型ＰＣで受信装置２を実現する場合には場所を固定的にする必要はない。受信装置２は、送受信部１００と、デコード部１１０と、信号解析部１２０と、ＤＳＤデータ用バッファ１３０と、ＵＲＬ用バッファ１４０と、Ｄ／Ａ変換器１６０と、アンプ１７０と、スピーカ（ＳＰ）１８０とを有している。更に、受信装置２は、ＤＳＤデータ用バッファ１３０とＵＲＬ用バッファ１４０からの情報出力タイミングを制御する出力タイミング制御部１５０と、ＵＲＬ用バッファ１４０から出力されるＵＲＬに基づいてブラウジング動作（閲覧動作）を行うブラウジング部２００と、閲覧結果等を表示する表示装置１９０とを備えている。なお、表示装置１９０に、リモコン等で所要の情報を入力する入力部を備えた構成としても良い。(Configuration of receiving apparatus 2)
FIG. 2 is a configuration diagram of the receiving device 2. The receiving device 2 is installed at a user's favorite place. Of course, when the receiving apparatus 2 is realized by a portable PC such as a notebook PC, the location does not need to be fixed. The receiving apparatus 2 includes a transmission /reception unit 100, adecoding unit 110, asignal analysis unit 120, aDSD data buffer 130, aURL buffer 140, a D /A converter 160, anamplifier 170, and a speaker (SP). 180. Further, the receiving device 2 performs an browsing operation (browsing operation) based on the outputtiming control unit 150 that controls the information output timing from theDSD data buffer 130 and theURL buffer 140 and the URL output from theURL buffer 140. Abrowsing unit 200 for performing the browsing and adisplay device 190 for displaying a browsing result and the like. Note that thedisplay device 190 may include an input unit for inputting necessary information using a remote controller or the like.

送受信部１００は、ネットワーク上に情報を送出したり、ネットワーク上の情報を取り込んだりする。デコーダ部１１０は、送受信部１００が受信したセグメントに対し、暗号を暗号キーを用いて復号しその後、圧縮方式に対応する伸長方式で情報伸長を行う。次いで、信号解析部１２０は、送信装置１が送信してきた付加情報付きＤＳＤデータから、ＤＳＤデータとＵＲＬ情報（付加情報）とを抽出し、対応するバッファに格納させる。この結果、ＤＳＤデータ用バッファ１３０にはＤＳＤデータが格納されると共に、ＵＲＬ用バッファ１４０にはＵＲＬ情報が格納される。 The transmission /reception unit 100 transmits information on the network and takes in information on the network. Thedecoder unit 110 decrypts the cipher using the encryption key with respect to the segment received by the transmission /reception unit 100, and then performs information decompression by the decompression method corresponding to the compression method. Next, thesignal analysis unit 120 extracts the DSD data and the URL information (additional information) from the DSD data with additional information transmitted from thetransmission device 1, and stores them in the corresponding buffer. As a result, DSD data is stored in theDSD data buffer 130 and URL information is stored in theURL buffer 140.

また、Ｄ／Ａ変換部１６０は、ＤＳＤデータ用バッファ１３０から出力されるＤＳＤデータをデジタルアナログ変換する。アンプ１７０はこのデジタルアナログ変換されたＤＳＤ信号を増幅し、スピーカ（ＳＰ）１８０はこの増幅された信号を放音する。また、ＤＳＤデータ用バッファ１３０から出力されるＤＳＤデータはＤＳＤインターフェイス（Ｉ／Ｆ）を持つデジタルオーディオ機器へ送ることも可能である。これによりＤＳＤＩ／Ｆも持つデジタルオーディオ機器によってＤＳＤオーディオ信号を聴取することが可能になる。 Further, the D /A converter 160 converts the DSD data output from theDSD data buffer 130 from digital to analog. Theamplifier 170 amplifies the digital-analog converted DSD signal, and the speaker (SP) 180 emits the amplified signal. The DSD data output from theDSD data buffer 130 can be sent to a digital audio device having a DSD interface (I / F). This makes it possible to listen to the DSD audio signal by a digital audio device that also has DSDI / F.

更に、ＵＲＬ用バッファ１４０から出力されるＵＲＬ情報が設定され、これに基づいてブラウジング（閲覧）動作を行うブラウジング部２００を備えていて、ＵＲＬが設定されるとこれに基づいてネットワーク上に閲覧要求信号を送出し、これに応答してネットワーク上から返送されてくる閲覧結果を表示装置１９０に表示させる構成である。ブラウジングは例えばＩＥ（登録商標）、Ｓａｆａｒｉ（登録商標）等のソフトウエアを用いて実現可能である。 Further, the URL information output from theURL buffer 140 is set, and abrowsing unit 200 that performs a browsing (browsing) operation based on the URL information is provided. When the URL is set, a browsing request is made on the network based on thebrowsing unit 200. In this configuration, thedisplay device 190 displays a browsing result returned from the network in response to sending a signal. Browsing can be realized by using software such as IE (registered trademark) and Safari (registered trademark).

（受信装置２の動作）
図４は受信装置２の基本動作の説明図である。まず、ステップＳ４００に示すように、送受信部１００が、送信装置１から配信されて来たセグメントを受信するとデコード部１１０に送信する。そして、デコード部１１０は、受け取った情報に施されている暗号を復号し、圧縮方式に対応した伸長方式で伸長する。次いで、ステップＳ４１０に示すように、信号解析部１２０は、伸長した情報からＤＳＤデータとＵＲＬとを抽出してそれぞれ、ＤＳＤデータ用バッファ１３０、ＵＲＬ用バッファ１４０に格納する。(Operation of receiving apparatus 2)
FIG. 4 is an explanatory diagram of the basic operation of the receiving device 2. First, as shown in step S <b> 400, when the transmission /reception unit 100 receives a segment distributed from thetransmission device 1, the transmission /reception unit 100 transmits the segment to thedecoding unit 110. Then, thedecoding unit 110 decrypts the encryption applied to the received information, and decompresses it with a decompression method corresponding to the compression method. Next, as shown in step S410, thesignal analysis unit 120 extracts the DSD data and the URL from the decompressed information and stores them in theDSD data buffer 130 and theURL buffer 140, respectively.

次に、ステップＳ４２０に示すように、ＤＳＤデータ用バッファ１３０から出力されたＤＳＤデータはＤ／Ａ変換器でデジタルアナログ変換される。そして、このデジタルアナログ変換されたＤＳＤデータはアンプ１７０で増幅され、増幅されたアナログ信号はスピーカ（ＳＰ）１８０から放音される。一方、ステップＳ４３０に示すように、ＵＲＬ用バッファ１４０から出力されたＵＲＬはブラウジング部２００に設定されてブラウジング動作が開始する。ブラウジング部２００は、自身に設定されたＵＲＬに基づいて閲覧動作を行うべく、閲覧要求信号をネットワーク上に送出する。そして、ステップＳ４４０に示すように検索結果としての閲覧結果は表示装置１９０に表示される。この結果、スピーカ（ＳＰ）１８０からはオーディオ信号を聞くことができると共に、表示装置１８０により、このオーディオ信号に関連する画像を見ることが可能となる。 Next, as shown in step S420, the DSD data output from theDSD data buffer 130 is digital-analog converted by a D / A converter. The digital-analog converted DSD data is amplified by anamplifier 170, and the amplified analog signal is emitted from a speaker (SP) 180. On the other hand, as shown in step S430, the URL output from theURL buffer 140 is set in thebrowsing unit 200, and the browsing operation starts. Thebrowsing unit 200 sends a browsing request signal to the network so as to perform a browsing operation based on the URL set in itself. Then, as shown in step S440, the browsing result as the search result is displayed on thedisplay device 190. As a result, an audio signal can be heard from the speaker (SP) 180 and an image related to the audio signal can be viewed on thedisplay device 180.

以上説明しきたように、受信装置２によれば、送受信部１００がセグメントを受信し、デコーダ部１１０は送受信部１００が受信したセグメントをデコードし、信号解析部１２０は、デコード部１１０でデコードされたセグメントから、音声情報とＵＲＬ（付加情報）とを抽出しそれぞれを対応するバッファに格納させる。そして、このセグメントを送ってくる送信装置１は、音声情報とＵＲＬ情報とを含むセグメントをストリーミング配信し、このＵＲＬ情報（付加情報）は、送信装置１側の操作装置７０の付加情報設定部７５の操作により付加される。 As described above, according to the receiving device 2, the transmission /reception unit 100 receives a segment, thedecoder unit 110 decodes the segment received by the transmission /reception unit 100, and thesignal analysis unit 120 is decoded by thedecoding unit 110. Audio information and URL (additional information) are extracted from the segment and stored in the corresponding buffer. Then, thetransmission device 1 that sends the segment performs streaming distribution of the segment including the audio information and the URL information, and the URL information (additional information) is added to the additionalinformation setting unit 75 of the operation device 70 on thetransmission device 1 side. It is added by the operation.

したがって、音声情報とＵＲＬ（付加情報）を配信する際に、このＵＲＬ情報をリアルタイムに変更設定することが可能となり、例えば、楽曲を演奏するアーティストのライブ中継において、楽曲の音声情報とその楽曲に関連する付加情報を配信することを想定すると、アンコールが発生した時などにこの付加情報が急遽変更されても対応可能となる。なお、ＵＲＬ情報以外のテキストデータが同時に付加された場合にも、受信装置２は同様に受信側の動作を行う。 Therefore, when distributing audio information and URL (additional information), it becomes possible to change and set the URL information in real time. For example, in live broadcast of an artist who performs a music, the audio information of the music and the music Assuming that related additional information is distributed, it is possible to cope with a sudden change of this additional information when an encore occurs. Even when text data other than URL information is added at the same time, the receiving apparatus 2 similarly performs the operation on the receiving side.

（出力タイミング制御部１５０の動作）
次に、音声情報および付加情報のそれぞれを同期させるために、両バッファ１３０、１４０からの情報出力タイミングを制御する動作について説明する。図９に示すように、この制御動作は出力タイミング制御部１５０によって行われる。出力タイミング制御部１５０は、信号解析部１２０がセグメントを解析した解析結果信号を受ける。この結果、出力タイミング制御部１５０は、ＤＳＤデータとこれに対応する付加情報としてのＵＲＬとを把握する。つまり、セグメントから抽出されたＤＳＤデータと、付加情報との対応関係を把握する。図９に示すように、ＤＳＤデータはＤＳＤデータ用バッファ１３０に次々に格納され、付加情報はＵＲＬ用バッファ１４０に次々に格納されるが、どのＵＲＬがどのＤＳＤデータと対応するかの対応関係が把握される。具体的には両方を対応付けるポインタを使用する（対応キュー参照）。(Operation of the output timing control unit 150)
Next, an operation for controlling the information output timing from both thebuffers 130 and 140 in order to synchronize the audio information and the additional information will be described. As shown in FIG. 9, this control operation is performed by the outputtiming control unit 150. The outputtiming control unit 150 receives an analysis result signal obtained by analyzing the segment by thesignal analysis unit 120. As a result, the outputtiming control unit 150 grasps the DSD data and the URL as additional information corresponding thereto. That is, the correspondence between the DSD data extracted from the segment and the additional information is grasped. As shown in FIG. 9, DSD data is stored one after another in theDSD data buffer 130 and additional information is stored one after another in theURL buffer 140, but there is a correspondence relationship between which URL corresponds to which DSD data. Be grasped. Specifically, a pointer that associates both is used (see correspondence queue).

今、ＤＳＤデータ「Ｄｄ０」と付加情報「Ｄａ０」とが対応し、ＤＳＤデータ「Ｄｄ４」と付加情報「Ｄａ４」とが対応している場合を想定する。そして、付加情報「Ｄａ０」がＵＲＬ用バッファ１４０に格納された時点から、ブラウジング部２００、送受信部１００を通って閲覧情報が返答され表示装置１９０に表示されるまでの時間をＴｕ、ＤＳＤデータ「Ｄｄ０」がＤＳＤデータ用バッファ１３０に格納された時点からこのＤＳＤデータ用バッファ１３０を出るまでの時間をＴｄとすると、ＤＳＤデータがＤＳＤデータ用バッファ１３０中に滞在する時間の方が圧倒的に長くなる。つまり、「Ｔｄ＝Ｔｕ＋ΔＴ（ΔＴは調整時間）」なる関係が成立する。 Assume that the DSD data “Dd0” corresponds to the additional information “Da0”, and the DSD data “Dd4” corresponds to the additional information “Da4”. The time from when the additional information “Da0” is stored in theURL buffer 140 to when the browsing information is returned through thebrowsing unit 200 and the transmission /reception unit 100 and displayed on thedisplay device 190 is Tu, Assuming that the time from when Dd0 is stored in theDSD data buffer 130 to when it exits theDSD data buffer 130 is Td, the time during which the DSD data stays in theDSD data buffer 130 is overwhelmingly longer. Become. That is, the relationship “Td = Tu + ΔT (ΔT is an adjustment time)” is established.

そこで、出力タイミング制御部１５０は、この関係や両者の対応関係を考慮しつつ、「Ｄｄ０」の出力時刻と「Ｄａ０」の出力時刻とを同期させる制御を行う。つまり、時刻ｔ１で「Ｄｄ０」を出力させ、時刻「ｔ１＋ΔＴ」で「Ｄａ０」を出力させる。そうすると、ＤＳＤデータ「Ｄｄ０」がＡ／Ｄ変換部１６０でアナログ化されスピーカ（ＳＰ）１８０から放音されることと、ＵＲＬ「Ｄａ０」の閲覧結果が表示装置１９０で表示されることとが同時に行われて、視聴が違和感なく行われる。同様にして、「Ｄｄ４」と「Ｄａ４」との同期が図られる。このようにして、出力タイミング制御部１５０が、音声情報と付加情報との同期が取れるように、ＤＳＤデータ用バッファ１３０、ＵＲＬ用バッファ１４０のそれぞれから情報出力を行うので、視聴が違和感なく行われる。 Therefore, the outputtiming control unit 150 performs control to synchronize the output time of “Dd0” and the output time of “Da0” while considering this relationship and the corresponding relationship between them. That is, “Dd0” is output at time t1, and “Da0” is output at time “t1 + ΔT”. Then, the DSD data “Dd0” is converted to analog by the A /D converter 160 and emitted from the speaker (SP) 180, and the browsing result of the URL “Da0” is displayed on thedisplay device 190 at the same time. It is performed and viewing is performed without a sense of incongruity. Similarly, synchronization between “Dd4” and “Da4” is achieved. In this way, the outputtiming control unit 150 outputs information from each of theDSD data buffer 130 and theURL buffer 140 so that the audio information and the additional information can be synchronized. .

なお、ΔＴは装置動作開始直後に予め内蔵しているＵＲＬをネットワーク上に送出し返答されるまでの時間を計測したり、予め受信装置２に内蔵されたダミーセグメントを所定個数毎に繰り返してＤＳＤデータ用バッファ１３０に格納して、これがＤＳＤデータ用バッファ１３０から出るまでの時間を計測したりしてΔＴを求めてこれを用いるようにしても良いし、あるいは信号解析部１２０等がセグメントを受け取らない場合等に、Ｔｄ、Ｔｕ、ΔＴをテーブル化して内蔵しておいてこれを使用しても良い。Note that ΔT measures the time required for sending a URL embedded in advance on the network immediately after the start of the device operation and returning a response, or by repeating the dummy segments previously incorporated in the receiving device 2 for every predetermined number of times. It may be stored in thedata buffer 130 and the time until it exits from theDSD data buffer 130 may be measured or ΔT may be obtained and used, or thesignal analysis unit 120 or the like may receive the segment. If not, Td, Tu, and ΔT may be stored in a table and used.

以上の説明によれば、受信装置２においても、付加情報としてＵＲＬ情報を採用した構成例について示してきたが、付加情報としては先に説明したものの他、アーティストの肖像静止画像、プロフィール等の各種情報等が挙げられこれらを採用することも可能である。そして、ＵＲＬ情報と同時に他のテキスト情報を付加する態様としても良い。According to the above description, the receiving apparatus 2 has shown the configuration example in which the URL information is used as the additional information. However, as the additional information, various information such as the portrait still image of the artist, the profile, etc. can be used. It is also possible to employ information such as information. And it is good also as an aspect which adds other text information simultaneously with URL information.

音声出力と、ＵＲＬ情報と、他のテキストデータとの同期を取るためには、例えばテキストデータ専用のバッファを設けておき、出力タイミング制御部１５０が時刻ｔ０に音声情報をデジタルアナログ変換する前ΔＴｕ秒後にバッファリングされていたＵＲＬ情報を出力すると共に、ΔＴother秒前にバッファリングされている上述の他のテキストデータを出力する構成、あるいは、この他のテキストデータを早めに表示して、閲覧結果が返ってくるまで閲覧結果をウエイト状態の表示とする構成等が提案されるがこれらに限られるものではない。また、ΔＴotherはテキストデータの種別毎に決定すれば良い。表示装置１９０には閲覧結果の表示画面の右下等の小さなウインドウに他のテキストデータを表示させたり、閲覧結果にスーパインポーズしたりする態様がある。In order to synchronize the audio output, URL information, and other text data, for example, a buffer dedicated to text data is provided, and ΔTu before the outputtiming control unit 150 converts the audio information from digital to analog at time t0. The URL information buffered after 2 seconds and the other text data buffered before ΔTother seconds are output, or the other text data is displayed earlier, and the browsing result A configuration is proposed in which the browsing result is displayed in a weighted state until “” is returned, but is not limited thereto. ΔTother may be determined for each type of text data. Thedisplay device 190 has a mode in which other text data is displayed in a small window such as the lower right of the display screen of the browsing result or superposed on the browsing result.

そして、以上述べてきたような送信装置１、受信装置２の動作は、ＣＰＵがＲＯＭに記録された装置動作のためのプログラムを実行することによって実現することが可能である。また、以上の実施形態において様々な変形例が挙げられるが、本発明の範囲はここに記載したもののみではないことは言うまでもない。例えばＤＳＤデータ以外のハイレゾリュージョンオーディオデータを採用すること等が挙げられる。 The operations of thetransmission device 1 and the reception device 2 as described above can be realized by the CPU executing a program for device operation recorded in the ROM. Moreover, although various modifications are mentioned in the above embodiment, it cannot be overemphasized that the range of this invention is not only what was described here. For example, adopting high resolution audio data other than DSD data.

以上説明してきたように、本発明の送信装置等は、音楽分野、特にライブ中継を行うためのシステム等に適用することができる。 As described above, the transmission apparatus and the like of the present invention can be applied to the music field, particularly to a system for performing live relay.

１送信装置
２受信装置
１０音声情報入力部
２０Ａ／Ｄ変換部
３０マージ処理部
４０エンコード部
５０送信部
７０操作装置
７５付加情報設定部
７７タイミング設定用スイッチ
８０制御部
１００送受信部
１１０デコード部
１２０信号解析部
１３０ＤＳＤデータ用バッファ
１４０ＵＲＬ用バッファ
１５０出力タイミング制御部
１６０Ｄ／Ａ変換部
２００ブラウジング部DESCRIPTION OFSYMBOLS 1 Transmission apparatus 2Reception apparatus 10 Audio | voice information input part 20 A /D conversion part 30Merge processing part 40Encoding part 50 Transmission part 70Operation apparatus 75 Additionalinformation setting part 77Timing setting switch 80Control part 100 Transmission /reception part 110Decoding part 120Signal analysis unit 130DSD data buffer 140URL buffer 150 Output timing control unit 160 D /A conversion unit 200 Browsing unit

Claims

Translated fromJapanese

音声情報とこれに付加する付加情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置であって、
前記音声情報をデジタル化した情報に対して、供給された前記付加情報を組み込んでセグメントを生成するマージ処理手段と、
前記マージ処理手段によって生成されたセグメントをエンコードするエンコード手段と、
前記エンコード手段でエンコードされたセグメントを送信する送信手段と、操作手段の操作によって与えられる付加情報を受け取り、これを前記マージ処理手段に供給する制御手段と、を備えたことを特徴とする送信装置。A transmission device capable of streaming distribution of a segment which is a distribution unit including audio information and additional information added thereto,
Merge processing means for generating a segment by incorporating the supplied additional information with respect to information obtained by digitizing the audio information,
Encoding means for encoding the segment generated by the merge processing means;
A transmission apparatus comprising: a transmission unit that transmits a segment encoded by the encoding unit; and a control unit that receives additional information given by an operation of an operation unit and supplies the additional information to the merge processing unit .

請求項１に記載の送信装置であって、
前記制御手段は更に、
前記操作手段の操作によって付加情報を受け取った時点に対応するタイミングで、付加情報が組み込まれたセグメントの送信を所定数個のセグメント毎に繰り返して行う繰り返し送信制御手段を備えたことを特徴とする送信装置。The transmission device according to claim 1,
The control means further includes
It is characterized by comprising repetitive transmission control means for repeatedly transmitting a segment in which additional information is incorporated at a predetermined number of segments at a timing corresponding to a point in time when additional information is received by operation of the operating means. Transmitter device.

請求項１または２に記載の送信装置において、
前記付加情報はＵＲＬ（Uniform Resource Locater）情報であることを特徴とする送信装置。The transmission device according to claim 1 or 2,
The transmission apparatus, wherein the additional information is URL (Uniform Resource Locater) information.

音声情報とこれに付加する付加情報とを含む配信単位であるセグメントがストリーミング配信されるのを受信可能な装置であり、前記付加情報は送信装置側の操作手段の操作により前記音声情報に付加されこれを受ける受信装置にして、
前記セグメントを受信する受信手段と、
前記受信手段が受信したセグメントをデコードするデコード手段と、
前記デコード手段でデコードされたセグメントから、前記音声情報と前記付加情報とを抽出しそれぞれを対応するバッファに格納させる信号解析手段と、を備えたことを特徴とする受信装置。A device capable of receiving streaming distribution of a segment, which is a delivery unit including audio information and additional information to be added thereto, and the additional information is added to the audio information by operation of operating means on a transmitting device side. In the receiving device that receives this,
Receiving means for receiving the segment;
Decoding means for decoding the segment received by the receiving means;
A receiving apparatus comprising: signal analysis means for extracting the audio information and the additional information from the segment decoded by the decoding means and storing them in a corresponding buffer.

請求項４に記載の受信装置において、
前記音声情報と前記付加情報との同期が取れるように、それぞれのバッファからの情報出力のタイミングを制御する出力タイミング制御手段を更に備えたことを特徴とする受信装置。The receiving device according to claim 4,
A receiving apparatus, further comprising output timing control means for controlling timing of information output from each buffer so that the audio information and the additional information can be synchronized.

主情報とこれに付加する副情報とを含む配信単位であるセグメントをストリーミング配信可能な送信装置に、
前記主情報をデジタル化したデジタル情報に対して、供給された副情報を組み込んでセグメントを生成するマージ処理機能と、
前記マージ処理機能によって生成されたセグメントを送信する送信機能と、
操作手段の操作によって与えられる副情報を受け取り、これを前記マージ処理機能に供給する制御機能と、を実現するためのプログラム。To a transmission device capable of streaming distribution of a segment, which is a distribution unit including main information and sub information added thereto,
A merge processing function for generating a segment by incorporating the supplied sub-information into the digital information obtained by digitizing the main information;
A transmission function for transmitting a segment generated by the merge processing function;
A program for realizing a control function that receives sub-information given by operation of an operation means and supplies the sub-information to the merge processing function.

主情報とこれに付加する副情報とを含む配信単位であるセグメントがストリーミング配信されるのを受信可能な装置であり、前記副情報は送信装置側の操作手段の操作により前記主情報付加される受信装置に、
前記セグメントを受信する受信機能と、
前記受信機能が受信したセグメントをデコードするデコード機能と、
前記デコード機能でデコードされたセグメントから、前記主情報と前記副情報とを抽出しそれぞれを対応するバッファに格納させる信号解析機能と、を実現するためのプログラム。A device capable of receiving streaming distribution of a segment that is a distribution unit including main information and sub information added thereto, and the sub information is added to the main information by an operation of operation means on a transmitting device side. In the receiving device,
A receiving function for receiving the segment;
A decoding function for decoding the segment received by the receiving function;
A program for realizing a signal analysis function for extracting the main information and the sub information from the segment decoded by the decoding function and storing them in a corresponding buffer.