【０００１】[0001]
【発明の属する技術分野】この発明は通信網を介してデ
ータセンタから各種のコンテンツを販売する場合に適用
して好適なコンテンツ情報配信方法、コンテンツ情報配
信装置、コンテンツ情報配信プログラムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a content information distribution method, a content information distribution device, and a content information distribution program suitable for use when selling various contents from a data center via a communication network.
【０００２】[0002]
【従来の技術】例えばテレビ放送を録画したコンテン
ツ、或いは映画等のコンテンツを通信網を介して販売す
る場合、ユーザとしてはコンテンツの内容を要約して見
ることができると都合が良く、購入の意思決定を明快に
行うことができる。また、他の例として留守中に自己の
録画装置に録画したテレビ放送番組を短時間に要約して
見たい場合がある。このような場合でも要旨が明確に理
解でき、然も希望する時間の範囲に圧縮できると都合が
良い。2. Description of the Related Art For example, when selling contents such as recorded television broadcasts or contents such as movies via a communication network, it is convenient for the user to be able to see the contents in brief and to make a purchase intention. You can make decisions clearly. Further, as another example, there is a case where a user wants to briefly view a television broadcast program recorded in his / her own recording device while he / she is out. Even in such a case, it is convenient if the gist can be clearly understood and the time can be compressed within a desired time range.
【０００３】このような背景から従来より各種の要約方
法が提案されている。その一つとして連続する複数フレ
ームからなる区間動画像を動画全体の各ブロックから抽
出し、抽出した各ブロックの区間動画像をつなぎ合わせ
てダイジェスト画像とする装置があった。例えば、日本
国特開平８−９３１０号公報、日本国特開平３−９０９
６８号公報、日本国特開平６−１６５００９号公報など
に示されている。また、ユーザの好みに合った番組のみ
をダイジェスト録画するために、番組ガイド情報とユー
ザが設定したジャンル別優先順位テーブルからダイジェ
スト番組予約表を作成してダイジェスト録画する方法が
あった。例えば、日本国特開２００１−１５７１６９号
公報などに示されている。From such a background, various summarizing methods have been conventionally proposed. As one of them, there is a device that extracts a section moving image consisting of a plurality of continuous frames from each block of the entire moving image and connects the extracted section moving images of each block to form a digest image. For example, JP-A-8-9310 and JP-A-3-909.
No. 68, Japanese Unexamined Patent Publication No. 6-165509, and the like. Further, in order to record only a program that suits the user's taste, there is a method of creating a digest program reservation table from the program guide information and the genre priority table set by the user and performing the digest recording. For example, it is shown in Japanese Patent Laid-Open No. 2001-157169.
【０００４】また、オーディオセグメントの時間圧縮方
法として、ポーズ圧縮の割合を精密に制御し、了解性の
高いダイジェストを作成する方法があった。例えば、日
本国特開２００１−１５４７００号公報などに示されて
いる。また、テロップや音情報を使って、当該番組映像
の特徴となる場面やシーンを抽出してダイジェスト映像
とするシステムがあった。例えば、日本国特開２００１
−２３０６２号公報などに示されている。As a time compression method for audio segments, there has been a method of precisely controlling the ratio of pause compression to create a digest with high intelligibility. For example, it is shown in Japanese Patent Laid-Open No. 2001-154700. In addition, there is a system that uses a telop or sound information to extract a scene or a scene that is a feature of the program video and makes it a digest video. For example, Japanese Patent Laid-Open No. 2001
No. 23062, for example.
【０００５】[0005]
【発明が解決しようとする問題点】コンテンツを任意の
時間で要約、もしくはダイジェストを生成するには、コ
ンテンツを構成する各シーンの優先順位をあらかじめ求
めておく必要がある。日本国特開平８−９３１０号公
報、日本国特開平３−９０９６８号公報、日本国特開平
６−１６５００９号公報では、ユーザが重要と思うシー
ンをジョイスティックもしくは、複数のボタンを用いて
入力し、ダイジェスト優先度情報を付与しているが、利
用者にとってダイジェスト生成のための負担が大きく、
自動生成方法は無かった。[Problems to be Solved by the Invention] In order to summarize content or generate a digest at an arbitrary time, it is necessary to obtain the priorities of the scenes constituting the content in advance. In Japanese Unexamined Patent Application Publication No. 8-9310, Japanese Unexamined Patent Application Publication No. 3-90968, and Japanese Unexamined Patent Application Publication No. 6-165509, a scene that a user considers important is input using a joystick or a plurality of buttons. Although the digest priority information is given, the burden on the user for generating the digest is large,
There was no automatic generation method.
【０００６】日本国特開２００１−１５７１６９号公報
では、番組ガイド情報とユーザが設定したジャンル別優
先順位テーブルからダイジェスト番組予約表を作成して
ダイジェスト録画しているが、ダイジェストガイド情報
をコンテンツ作成者、もしくは送信者が作成しなければ
ならず、自動的にダイジェストを作成することは出来な
い。また、ダイジェストガイド情報の無いコンテンツの
要約への適応は不可能である。日本国特開２００１―１
５４７００号公報では、ポーズ圧縮によって、ダイジェ
ストを生成しているがコンテンツの大半が通常のポーズ
でない区間で占められている以上、単にポーズを除去だ
けでは要約再生時間を元のコンテンツ再生時間の１／１
０といった高い圧縮率でコンテンツを圧縮することは非
現実的である。[0006] In Japanese Unexamined Patent Publication No. 2001-157169, a digest program reservation table is created from the program guide information and a genre priority table set by the user for digest recording, but the digest guide information is used as the content creator. Or, it must be created by the sender, and the digest cannot be created automatically. In addition, it is impossible to adapt to the summary of contents without digest guide information. Japan JP 2001-1
According to Japanese Patent Laid-Open No. 54700, a digest is generated by pause compression, but most of the content is occupied by a section that is not a normal pause. Therefore, simply removing the pause reduces the digest playback time to 1 / the original content playback time. 1
It is unrealistic to compress the content at a high compression rate such as 0.
【０００７】日本国特開２０００−２３０６２号公報で
は、ダイジェスト映像生成方法として、音情報の音量値
をチェックしているが、音量情報のみから要約が生成さ
れる根拠が乏しく、また定量的な評価も行っていない。
また、テロップ情報も用いているが、テロップが存在し
ないコンテンツのダイジェストの生成や、テロップが出
現しない区間ではダイジェストを生成することは不可能
である。従ってこの要約方法は有用な要約方法ではな
い。この発明は、前記のような従来の技術の有する欠点
に鑑みてなされたもので、コンテンツを構成する、シー
ン毎の優先順位を自動抽出し、ユーザが任意に設定した
要約時間に圧縮された要約コンテンツを生成することが
でき、この生成した要約コンテンツをユーザに配信して
視聴者に提供することができる要約情報配信システムを
提供しようとするものである。In Japanese Patent Laid-Open No. 2000-23062, the volume value of sound information is checked as a digest image generation method, but there is little basis for generating a summary from only volume information, and quantitative evaluation is performed. I have not gone.
Although the telop information is also used, it is impossible to generate the digest of the content without the telop or the digest in the section where the telop does not appear. Therefore, this summarization method is not a useful summarization method. The present invention has been made in view of the above-described drawbacks of the conventional technique, and automatically extracts the priority order of each scene that constitutes the content and compresses the digest at a digest time arbitrarily set by the user. It is an object of the present invention to provide a summary information distribution system that can generate contents and can distribute the generated summary contents to users and provide them to viewers.
【０００８】[0008]
【課題を解決するための手段】この発明では、音声信号
を含むコンテンツとその属性を示す補助情報を対応付け
て蓄積するコンテンツ蓄積手段を用い、ユーザ端末から
受信した補助情報に対応するコンテンツの要約区間を該
ユーザ端末に送信するコンテンツ情報配信方法におい
て、少なくとも基本周波数又はピッチ周期、パワー、動
的特徴量の時間変化特性、又はこれらのフレーム間差分
を含む特徴量と強調状態での出現確率と対応して格納し
た符号帳を用い、前記音声信号をフレーム毎に分析した
前記特徴量に対応する強調状態での出現確率を求め、前
記強調状態での出現確率に基づいて強調状態となる確率
を算出し、前記強調状態となる確率が所定の確率よりも
大きい音声信号区間を前記要約区間と判定するコンテン
ツ情報配信方法を提案する。SUMMARY OF THE INVENTION According to the present invention, a content accumulating means for accumulating and storing content including a voice signal and auxiliary information indicating its attribute is used to summarize the content corresponding to the auxiliary information received from a user terminal. In a content information distribution method for transmitting a section to the user terminal, at least a basic frequency or pitch period, power, a time change characteristic of a dynamic characteristic amount, or a characteristic amount including a difference between these frames and an appearance probability in an emphasized state, Using the codebook stored correspondingly, the appearance probability in the emphasized state corresponding to the feature amount obtained by analyzing the voice signal for each frame is obtained, and the probability of becoming the emphasized state based on the appearance probability in the emphasized state is calculated. A content information distribution method is provided in which a voice signal section that is calculated and whose probability of becoming the emphasized state is larger than a predetermined probability is determined as the summary section. To.
【０００９】この発明では更に、前記符号帳が少なくと
も基本周波数又はピッチ周期、パワー、動的特徴量の時
間変化特性、又はこれらのフレーム間差分を含む特徴量
と強調状態での出現確率に対応して平静状態での出現確
率が格納され、前記音声信号をフレーム毎に分析した前
記特徴量に対応する平静状態での出現確率を求め、前記
平静状態での出現確率に基づいて平静状態となる確率を
算出し、前記強調状態となる確率の前記平静状態となる
確率に対する確率比を音声信号区間毎に算出し、前記確
率比に対応する音声信号区間の時間を降順に累積して要
約区間の時間の総和を算出し、前記要約区間の時間の総
和と全音声信号区間に対する比である要約率が略ユーザ
端末から受信又は予め決められた所定の要約率となる音
声信号区間を前記要約区間と決定するコンテンツ情報配
信方法を提案する。Further, according to the present invention, the codebook corresponds to at least the fundamental frequency or pitch period, the power, the time change characteristic of the dynamic feature amount, or the feature amount including the difference between the frames and the appearance probability in the emphasized state. The probability of appearance in a calm state is stored, the appearance probability in a calm state corresponding to the feature amount analyzed for each frame of the audio signal is obtained, and the probability of becoming a calm state based on the appearance probability in the calm state Is calculated, and the probability ratio of the probability of becoming the emphasized state to the probability of becoming the quiet state is calculated for each voice signal section, and the time of the summary section is obtained by accumulating the time of the voice signal section corresponding to the probability ratio in descending order. Is calculated, and the sum of the time of the summarization section and the summarization rate, which is a ratio to the total sound signal section, is received from the user terminal or a voice signal section in which the summarization rate is a predetermined summarization rate. We propose a content information delivery method to determine the about section.
【００１０】この発明では更に、前記音声信号をフレー
ム毎に無音区間か否か、有声区間か否か判定し、所定フ
レーム数以上の無音区間で囲まれ、有声区間を含む部分
を音声小段落と判定し、音声小段落に含まれる音声区間
の平均パワーが該音声小段落内の平均パワーの所定の定
数倍より小さい音声小段落を末尾とする音声小段落群を
音声段落と判定し、前記音声信号区間は音声段落毎に定
められたものであり、前記要約区間の時間の総和を音声
段落毎に累積して求めるコンテンツ情報配信方法を提案
する。Further, according to the present invention, it is determined for each frame whether the voice signal is a silent section or a voiced section, and a portion surrounded by a voiceless section of a predetermined number of frames or more, and a portion including the voiced section is referred to as a voice sub-paragraph. It is determined that the average power of the voice section included in the voice sub-paragraph is less than a predetermined constant multiple of the average power in the voice sub-paragraph, the voice sub-paragraph group ending with a voice sub-paragraph is determined as the voice paragraph, and the voice The signal section is defined for each audio paragraph, and a content information distribution method is proposed in which the sum of the times of the summary sections is accumulated for each audio paragraph.
【００１１】この発明では更に、音声信号を含むコンテ
ンツとその属性を示す補助情報を対応付けて蓄積するコ
ンテンツ蓄積手段を用い、ユーザ端末から受信した補助
情報に対応するコンテンツの各要約区間の開始時刻と終
了時刻のうち少なくとも何れか一方を該ユーザ端末に送
信するコンテンツ情報配信方法において、少なくとも基
本周波数又はピッチ周期、パワー、動的特徴量の時間変
化特性、又はこれらのフレーム間差分を含む特徴量と強
調状態での出現確率とを対応して格納した符号帳を用
い、前記音声信号をフレーム毎に分析した前記特徴量に
対応する強調状態での出現確率を求め、前記強調状態で
の出現確率に基づいて強調状態となる確率を算出し、前
記強調状態となる確率が所定の確率よりも大きい音声信
号区間を前記要約区間と決定するコンテンツ情報配信方
法を提案する。Further, according to the present invention, the start time of each summary section of the content corresponding to the auxiliary information received from the user terminal is used by using the content storage means for associating and storing the content including the audio signal and the auxiliary information indicating the attribute thereof. In a content information distribution method for transmitting at least one of an end time and an end time to the user terminal, a feature amount including at least a basic frequency or pitch period, power, a time change characteristic of a dynamic feature amount, or a difference between frames thereof. And the appearance probability in the emphasized state are stored correspondingly, the appearance probability in the emphasized state corresponding to the feature amount obtained by analyzing the voice signal for each frame is obtained, and the appearance probability in the emphasized state is obtained. The probability of becoming the emphasized state is calculated based on the above, and the voice signal section whose probability of becoming the emphasized state is larger than a predetermined probability is defined as the summary section. We propose a content information delivery method to determine that.
【００１２】この発明では更に、前記符号帳が少なくと
も基本周波数又はピッチ周期、パワー、動的特徴量の時
間変化特性、又はこれらのフレーム間差分を含む特徴量
と強調状態での出現率に対応して平静状態での出現確率
が格納され、前記音声信号をフレーム毎に分析した前記
特徴量に対応する平静状態での出現確率を求め、前記平
静状態での出現確率に基づいて平静状態となる確率を算
出し、前記強調状態となる確率の前記平静状態となる確
率に対する確率比を音声信号区間毎に算出し、前記確率
比に対応する音声信号区間の時間を降順に累積して要約
区間の時間の総和を算出し、前記要約区間の時間の総和
と全音声信号区間に対する比である要約率が該ユーザ端
末から受信又は予め決められた所定の要約率となる音声
信号区間を前記要約区間と決定するコンテンツ情報配信
方法を提案する。Further, in the present invention, the codebook corresponds to at least the fundamental frequency or pitch period, the power, the time change characteristic of the dynamic feature amount, or the feature amount including the difference between these frames and the appearance rate in the emphasized state. The probability of appearance in a calm state is stored, the appearance probability in a calm state corresponding to the feature amount analyzed for each frame of the audio signal is obtained, and the probability of becoming a calm state based on the appearance probability in the calm state Is calculated, and the probability ratio of the probability of becoming the emphasized state to the probability of becoming the quiet state is calculated for each voice signal section, and the time of the summary section is obtained by accumulating the time of the voice signal section corresponding to the probability ratio in descending order. Is calculated, and the summation of the summarization time of the digest section and the summarization rate, which is a ratio to the total voice signal section, is received from the user terminal or a voice signal section in which the summarization rate is a predetermined summarization rate is required. We propose a content information delivery method to determine the interval.
【００１３】この発明では更に、前記音声信号をフレー
ム毎に無音区間か否か、有声区間か否か判定し、所定フ
レーム数以上の無音区間で囲まれ、有声区間を含む部分
を音声小段落と判定し、音声小段落に含まれる有声区間
の平均パワーが該音声小段落内の平均パワーの所定の定
数倍より小さい音声小段落を末尾とする音声小段落群を
音声段落と判定し、前記音声信号区間は音声段落毎に定
められたものであり、前記要約区間の時間の総和を音声
段落毎に蓄積して求め、前記要約区間の開始時刻として
前記各音声段落の開始時刻を、前記要約区間の終了時刻
として前記各音声段落の終了時刻を送信するコンテンツ
情報配信方法を提案する。Further, according to the present invention, it is determined for each frame whether the voice signal is a silent section or a voiced section, and a portion surrounded by a voiceless section of a predetermined number of frames or more, and a portion including the voiced section is referred to as a voice sub-paragraph. It is determined that the average power of voiced sections included in the audio sub-paragraph is less than a predetermined constant multiple of the average power in the audio sub-paragraph, the audio sub-paragraph group ending with the audio sub-paragraph is determined as the audio paragraph, the audio The signal section is defined for each voice paragraph, and the sum of the time of the summary section is obtained by accumulating for each voice paragraph, and the start time of each voice paragraph is set as the start time of the summary section. A content information distribution method is proposed in which the end time of each audio paragraph is transmitted as the end time.
【００１４】この発明では更に、音声信号を含むコンテ
ンツとその属性を示す補助情報を対応付けて蓄積するコ
ンテンツ蓄積手段を用い、ユーザ端末から受信した補助
情報に対応するコンテンツ要約区間を該ユーザ端末に送
信するコンテンツ情報配信装置であって、少なくとも基
本周波数又はピッチ周期、パワー、動的特徴量の時間変
化特性、又はこれらのフレーム間差分を含む特徴量と強
調状態での出現確率とを対応して格納した符号帳と、前
記音声信号をフレーム毎に分析した前記特徴量に対応す
る強調状態での出現確率を求め、前記強調状態での出現
確率に基づいて強調状態となる確率を算出する強調状態
確率計算部と、前記強調状態となる確率が所定の確率よ
りも大きい音声信号区間を前記要約区間と決定する要約
区間決定部と、この要約区間決定部で決定した要約区間
に対応するコンテンツ要約区間を前記ユーザ端末に配信
するコンテンツ配信部と、によって構成したコンテンツ
情報配信装置を提案する。Further, according to the present invention, the content summarizing means for accumulating and storing the content including the audio signal and the auxiliary information indicating the attribute thereof is used, and the content summary section corresponding to the auxiliary information received from the user terminal is stored in the user terminal. A content information distribution device for transmitting, wherein at least a basic frequency or pitch period, power, a time change characteristic of a dynamic feature amount, or a feature amount including a difference between these frames and an appearance probability in an emphasized state are associated with each other. The stored codebook and the emphasized state in which the appearance probability in the emphasized state corresponding to the feature amount obtained by analyzing the voice signal for each frame is obtained, and the probability of the emphasized state is calculated based on the appearance probability in the emphasized state. A probability calculation unit; a summarization section determination unit that determines a speech signal section whose probability of being in the emphasized state is greater than a predetermined probability as the summarization section; Propose a content delivery unit for delivering content summary section corresponding to summarization segment determined in the Summary section determination unit to the user terminal, the content information distribution apparatus constructed by.
【００１５】この発明では更に、音声信号を含むコンテ
ンツとその属性を示す補助情報を対応付けて蓄積するコ
ンテンツ蓄積手段を用い、ユーザ端末から受信した補助
情報に対応するコンテンツの各要約区間の開始時刻と終
了時刻のうち少なくとも何れか一方を該ユーザ端末に送
信するコンテンツ情報配信装置であって、少なくとも基
本周波数又はピッチ周期、パワー、動的特徴量の時間変
化特性、又はこれらのフレーム間差分を含む特徴量と強
調状態での出現確率とを対応して格納した符号帳と、前
記音声信号をフレーム毎に分析した前記特徴量に対応す
る強調状態での出現確率での出現確率を求め、前記強調
状態での出現確率に基づいて強調状態となる確率を算出
する強調状態確率計算部と、前記強調状態となる確率が
所定の確率よりも大きい音声信号区間を前記要約区間と
決定する要約区間決定部と、この要約区間決定部で決定
した各要約区間の開始時刻又は終了時刻のうちの少なく
とも何れか一方を前記ユーザ端末に配信するコンテンツ
配信部と、によって構成したコンテンツ情報配信装置を
提案する。Further, according to the present invention, the start time of each summary section of the content corresponding to the auxiliary information received from the user terminal is used by using the content storage means for associating and storing the content including the audio signal and the auxiliary information indicating the attribute thereof. A content information distribution device that transmits at least one of a start time and an end time to the user terminal, and includes at least a basic frequency or pitch period, power, a time change characteristic of a dynamic feature amount, or a difference between frames thereof. A codebook that stores the feature quantity and the appearance probability in the emphasized state in association with each other, and the appearance probability in the appearance probability in the emphasized state that corresponds to the feature amount obtained by analyzing the voice signal for each frame is obtained, An emphasized state probability calculator that calculates the probability of becoming the emphasized state based on the appearance probability in the state, and the probability of becoming the emphasized state is higher than a predetermined probability. A summary section determining unit that determines a threshold voice signal section as the summary section, and a content distribution that distributes at least one of the start time and the end time of each summary section determined by the summary section determination unit to the user terminal. And a content information distribution device configured by the unit.
【００１６】この発明では更に、コンピュータが読取り
可能な符号によって記述され、前記コンテンツ情報配信
方法の何れか一つをコンピュータ上で実行するコンテン
ツ情報配信プログラムを提案する。作用この発明によれ
ばユーザは通信網に接続されたデータセンタにアクセス
し、このデータセンタに設置されたデータ蓄積手段に格
納されているの中から要約することを希望するコンテン
ツを指定する。指定されたコンテンツはデータ蓄積手段
から読み出され、コンテンツ要約部に入力される。コン
テンツ要約部ではユーザ端末から要求された要約率に従
ってコンテンツの要約区間を決定する。要約区間のコン
テンツ又はこの要約区間を示す時刻を含む再生用データ
をユーザ端末に配信する。The present invention further proposes a content information distribution program which is described by a computer readable code and executes any one of the above content information distribution methods on the computer.Operation According to the present invention, the user accesses the data center connected to the communication network and designates the content desired to be summarized from the data stored in the data storage means installed in the data center. The designated content is read from the data storage means and input to the content summarizing section. The content summarization unit determines the content summarization section according to the summarization rate requested from the user terminal. The reproduction data including the content of the summary section or the time indicating the summary section is delivered to the user terminal.
【００１７】ユーザは配信された要約コンテンツを直接
視聴するか、又は配信された再生用データを使って予め
収録してあるコンテンツから要約コンテンツを再生し、
視聴する。この発明の特徴とする点は、コンテンツ要約
時にユーザ端末からの要求に従って、どのような要約率
（圧縮率）にでもコンテンツを要約することができる要
約方法を用いる点にある。この特徴とする要約方法は、
先願である特願２００１−２４１２７８号で本出願人が
提案した、任意の音声小段落の発話状態を判定し、強調
状態となる確率が平静状態となる確率よりも大きけれ
ば、その音声小段落を強調状態にあると判定し、その音
声小段落を含む音声段落を要約区間として抽出する音声
強調状態判定方法及び音声要約方法を利用して実現する
ことができる。The user can directly view the distributed summary content, or reproduce the summary content from the content recorded in advance using the distributed reproduction data,
View. A feature of the present invention is to use a summarization method capable of summarizing content at any summarization rate (compression rate) according to a request from a user terminal when summarizing content. This feature summarization method is
The utterance state of an arbitrary voice subparagraph proposed by the present applicant in Japanese Patent Application No. 2001-241278, which is a prior application, is determined, and if the probability of being in the emphasized state is higher than the probability of being in a quiet state, the voice subparagraph is determined. Can be realized by using a voice enhancement state determination method and a voice summarization method that determine that a voice paragraph is in an emphasized state and extract a voice paragraph including the voice sub-paragraph as a summary section.
【００１８】[0018]
【発明の実施の形態】ここで、この発明で用いられる音
声小段落抽出方法、音声段落抽出方法、各音声小段落毎
に強調状態となる確率及び平静状態となる確率を求める
方法について、説明する。図６に先に提案した音声要約
方法の実施形態の基本手順を示す。ステップＳ１で入力
音声信号を分析して音声特徴量を求める。ステップＳ２
で、入力音声信号の音声小段落と、複数の音声小段落か
ら構成される音声段落を抽出する。ステップＳ３で各音
声小段落を構成するフレームが平静状態か、強調状態か
発話状態を判定する。この判定に基づきステップＳ４で
要約音声を作成し、要約音声を得る。BEST MODE FOR CARRYING OUT THE INVENTION Here, a method for extracting a voice sub-paragraph, a method for extracting a voice paragraph, and a method for obtaining a probability of being in an emphasized state and a probability of being in a quiet state for each voice sub-paragraph used in the present invention will be described. . FIG. 6 shows the basic procedure of an embodiment of the previously proposed voice summarization method. In step S1, the input voice signal is analyzed to obtain a voice feature amount. Step S2
Then, an audio sub-paragraph of the input audio signal and an audio paragraph composed of a plurality of audio sub-paragraphs are extracted. In step S3, it is determined whether the frame forming each audio sub-paragraph is in a calm state, emphasized state, or uttered state. Based on this determination, a summary voice is created in step S4 to obtain the summary voice.
【００１９】以下に、自然な話し言葉や会話音声の、音
声要約に適応する場合の実施例を述べる。音声特徴量
は、スペクトル情報等に比べて、雑音環境下でも安定し
て得られ、かつ話者に依存し難いものを用いる。入力音
声信号から音声特徴量として基本周波数（ｆ０）、パワ
ー（ｐ）、音声の動的特徴量の時間変化特性（ｄ）、ポ
ーズ時間長（無音区間）（ｐｓ）を抽出する。これらの
音声特徴量の抽出法は、例えば、「音響・音響工学」
（古井貞煕、近代科学社、１９９８）、「音声符号化」
（守谷健弘、電子情報通信学会、１９９８）、「ディジ
タル音声処理」（古井貞煕、東海大学出版会、１９８
５）、「複合正弦波モデルに基づく音声分析アルゴリズ
ムに関する研究」（嵯峨山茂樹、博士論文、１９９８）
などに述べられている。音声の動的特徴量の時間変化は
発話速度の尺度となるパラメータであり特許第２９７６
９９８号に記載のものを用いてもよい。即ち、動的変化
量としてスペクトル包絡を反映するＬＰＣスペクトラム
係数の時間変化特性を求め、その時間変化をもとに発話
速度係数が求められるものである。より具体的にはフレ
ーム毎にＬＰＣスペクトラム係数Ｃ１（ｔ）、…Ｃｋ
（ｔ）を抽出して次式のような動的特徴量ｄ（ダイナミ
ックメジャー）を求める。ｄ（ｔ）＝Σi=1k［Σf=t-f0
t+f0［ｆ×Ｃi（ｔ）］／（Σf=t-f0t+f0ｆ2）2ここ
で、ｆ０は前後の音声区間フレーム数（必ずしも整数個
のフレームでなくとも一定の時間区間でもよい）、ｋは
ＬＰＣスペクトラムの次数、ｉ＝１、２、…ｋである。
発話速度の係数として動的特徴量の変化の極大点の単位
時間当たりの個数、もしくは単位時間当たりの変化率が
用いられる。In the following, an embodiment will be described in the case of adapting natural spoken language or conversational voice to a voice summary. As the voice feature amount, one that is more stable than the spectral information even in a noisy environment and is less likely to depend on the speaker is used. The fundamental frequency (f0), the power (p), the time variation characteristic (d) of the dynamic feature amount of the voice, and the pause time length (silent section) (ps) are extracted from the input voice signal as the voice feature amount. The extraction method of these audio feature amounts is, for example, “acoustic / acoustic engineering”.
(Sadahiro Furui, Modern Science Company, 1998), "Voice coding"
(Takehiro Moriya, The Institute of Electronics, Information and Communication Engineers, 1998), "Digital Speech Processing" (Sadahiro Furui, Tokai University Press, 198)
5), "Study on speech analysis algorithm based on complex sine wave model" (Shigeki Sagayama, PhD thesis, 1998)
Etc. The change over time in the dynamic feature amount of voice is a parameter serving as a measure of the speech rate, and is disclosed in Japanese Patent No. 2976.
You may use what is described in No. 998. That is, the time variation characteristic of the LPC spectrum coefficient that reflects the spectrum envelope as the dynamic variation is obtained, and the speech rate coefficient is obtained based on the time variation. More specifically, the LPC spectrum coefficient C1 (t), ... Ck for each frame
(T) is extracted to obtain the dynamic feature amount d (dynamic measure) as shown in the following equation. d (t) = Σi = 1k [Σf = t-f0
t + f0 [f × Ci (t)] / (Σf = t-f0t + f0f2) 2 where f0 is the number of voice section frames before and after (not necessarily an integral number of frames but may be a fixed time section), k is the order of the LPC spectrum, i = 1, 2, ... K.
As the coefficient of the speech rate, the number of maximum points of the change in the dynamic feature amount per unit time or the rate of change per unit time is used.
【００２０】実施例では例えば１００ｍｓを１フレーム
とし、シフトを５０ｍｓとする。１フレーム毎の平均の
基本周波数を求める（ｆ０´）。パワーについても同様
に１フレーム毎の平均パワー（ｐ´）を求める。更に現
フレームのｆ０´と±ｉフレーム前後のｆ０´との差分
をとり、±Δｆ０´ｉ（Δ成分）とする。パワーについ
ても同様に現フレームのｐ´と±ｉフレーム前後のｐ´
との差分±Δｐ´ｉ（Δ成分）を求める。ｆ０´、±Δ
ｆ０´ｉ、ｐ´、±Δｐ´ｉを規格化する。この規格は
例えばｆ０´、±Δｆ０´ｉをそれぞれ、音声波形全体
の平均基本周波数で割り規格化する。これら規格化され
た値をｆ０″、±ｆ０″ｉと表す。ｐ´、±Δｐ´ｉに
ついても同様に、発話状態判定の対象とする音声波形全
体の平均パワーで割り、規格化する。規格化するにあた
り、後述する音声小段落、音声段落ごとの平均パワーで
割ってもよい。これら規格化された値をｐ″、±Δｐ″
ｉと表す。ｉの値は例えばｉ＝４とする。現フレームの
前後±Ｔ１ｍｓの、ダイナミックメジャーのピーク本
数、即ち動的特徴量の変化の極大点の個数を数える（ｄ
ｐ）。これと、現フレームの開始時刻の、Ｔ２ｍｓ前の
時刻を区間に含むフレームのｄｐとのΔ成分（−Δｄ
ｐ）を求める。前記±Ｔ１ｍｓのｄｐ数と、現フレーム
の終了時刻の、Ｔ３ｍｓ後の時刻を区間に含むフレーム
のｄｐとのΔ成分（＋Δｄｐ）を求める。これら、Ｔ
１、Ｔ２、Ｔ３の値は例えばＴ１＝Ｔ２＝Ｔ３＝４５０
ｍｓとする。フレームの前後の無音区間の時間長を±ｐ
ｓとする。ステップＳ１ではこれら音声特徴パラメータ
の各値をフレーム毎に抽出する。In the embodiment, for example, 100 ms is set as one frame and the shift is set as 50 ms. An average fundamental frequency is calculated for each frame (f0 '). Regarding the power, similarly, the average power (p ') for each frame is obtained. Further, the difference between f0 ′ of the current frame and f0 ′ before and after ± i frames is taken as ± Δf0′i (Δ component). Similarly for power, p ′ of the current frame and p ′ before and after ± i frames
And the difference ± Δp′i (Δ component) is calculated. f0 ', ± Δ
Normalize f0'i, p ', ± Δp'i. In this standard, for example, f0 ′ and ± Δf0′i are divided by the average fundamental frequency of the entire voice waveform and standardized. These standardized values are represented as f0 ″ and ± f0 ″ i. Similarly, p ′ and ± Δp′i are also normalized by dividing by the average power of the entire speech waveform that is the target of speech state determination. In normalizing, it may be divided by an average power for each audio sub-paragraph and audio paragraph described later. These normalized values are p ″, ± Δp ″
Denote by i. The value of i is, for example, i = 4. The number of peaks of the dynamic measure, that is, the number of maximum points of the change in the dynamic feature amount, within ± T1 ms before and after the current frame, is counted (d
p). The Δ component (−Δd) between this and the dp of the frame including the time T2ms before the start time of the current frame in the section.
p) is calculated. The Δ component (+ Δdp) between the dp number of ± T1 ms and the dp of the frame including the time T3 ms after the end time of the current frame in the section is obtained. These, T
The values of 1, T2 and T3 are, for example, T1 = T2 = T3 = 450.
ms. The time length of the silent section before and after the frame is ± p
Let s. In step S1, each value of these audio characteristic parameters is extracted for each frame.
【００２１】ステップＳ２における入力音声の音声小段
落と、音声段落を抽出する方法の例を図７に示す。ここ
で音声小段落を発話状態判定を行う単位とする。ステッ
プＳ２０１で、入力音声信号の無音区間と有声区間を抽
出する。無音区間は例えばフレーム毎のパワーが所定の
パワー値以下であれば無音区間と判定し、有声区間は、
例えばフレーム毎の相関関数が所定の相関関数値以上で
あれば有声区間と判定する。有声／無声の決定は、周期
性／非周期性の特徴と同一視することにより、自己相関
関数や変形相関関数のピーク値で行うことが多い。入力
信号の短時間スペクトルからスペクトル包絡を除去した
予測残差の自己相関関数が変形相関関数であり、変形相
関関数のピークが所定の閾値より大きいか否かによって
有声／無声の判定を行い、又そのピークを与える遅延時
間によってピッチ周期１／ｆ０（基本周波数ｆ０）の抽
出を行う。これらの区間の抽出法の詳細は、例えば、
「ディジタル音声処理」（古井貞煕、東海大学出版会、
１９８５）などに述べられている。ここでは音声信号か
ら各音声特徴量をフレーム毎に分析することについて述
べたが、既に符号化等により分析された係数もしくは符
号に対応する特徴量を符号化に用いる符号帳から読み出
して用いてもよい。FIG. 7 shows an example of the voice sub-paragraph of the input voice and the method of extracting the voice paragraph in step S2. Here, the audio sub-paragraph is used as a unit for determining the utterance state. In step S201, a silent section and a voiced section of the input voice signal are extracted. The silent section is determined to be a silent section if the power of each frame is equal to or less than a predetermined power value, and the voiced section is
For example, if the correlation function for each frame is greater than or equal to a predetermined correlation function value, it is determined as a voiced section. The voiced / unvoiced decision is often made with the peak value of the autocorrelation function or modified correlation function by equating it with the characteristic of periodicity / non-periodicity. The autocorrelation function of the prediction residual obtained by removing the spectrum envelope from the short-time spectrum of the input signal is a modified correlation function, and voiced / unvoiced determination is performed depending on whether the peak of the modified correlation function is larger than a predetermined threshold value. The pitch period 1 / f0 (fundamental frequency f0) is extracted by the delay time giving the peak. For details of the extraction method of these sections, for example,
"Digital audio processing" (Sadahiro Furui, Tokai University Press,
1985) and the like. Here, it has been described that each voice feature amount is analyzed for each frame from the voice signal. Good.
【００２２】ステップＳ２０２で、有声区間を囲む無音
区間の時間がそれぞれｔ秒以上になるとき、その無音区
間で囲まれた有声区間を含む部分を音声小段落とする。
このｔは例えばｔ＝４００ｍｓとする。ステップＳ２０
３で、この音声小段落内の好ましくは後半部の、有声区
間の平均パワーと、その音声小段落の平均のパワーの値
ＢAの定数β倍とを比較し、前者の方が小さい場合はそ
の音声小段落を末尾音声小段落とし、直前の末尾音声小
段落後の音声小段落から現に検出した末尾音声小段落ま
でを音声段落として決定する。At step S202, when the time of each silent section surrounding the voiced section is t seconds or more, the portion including the voiced section surrounded by the silent section is set as a speech sub-paragraph.
This t is, for example, t = 400 ms. Step S20
In 3, the average power of the voiced section, preferably in the latter half of this audio sub-paragraph, is compared with the constant β times the average power value BA of the audio sub-paragraph. If the former is smaller, then The audio sub-paragraph is determined as the final audio sub-paragraph, and the audio sub-paragraph after the immediately preceding final audio sub-paragraph to the currently detected final audio sub-paragraph is determined as the audio paragraph.
【００２３】図８に、有声区間、音声小段落、音声段落
を模式的に示す。音声小段落を前記の、有声区間を囲む
無音区間の時間がｔ秒の条件で、抽出する。図８では、
音声小段落ｊ−１、ｊ、ｊ＋１について示している。こ
こで音声小段落ｊは、ｎ個の有声区間から構成され、平
均パワーをＰｊとする。有声区間の典型的な例として、
音声小段落ｊに含まれる、有声区間ｖの平均パワーはｐ
ｖである。音声段落ｋは、音声小段落ｊと音声小段落を
構成する後半部分の有声区間のパワーから抽出する。ｉ
＝ｎ−αからｎまでの有声区間の平均パワーｐｉの平均
が音声小段落ｊの平均パワーＰｊより小さいとき、即
ち、 Σｐｉ／（α＋１）＜βＰｊ 式（１）を満たす時、音声小段落ｊが音声段落ｋの末尾音声小段
落であるとする。ただし、Σはｉ＝ｎ−αからｎまでで
ある。式（１）のα、βは定数であり、これらを操作し
て、音声段落を抽出する。実施例では、αは３、βは
０．８とした。このようにして末尾音声小段落を区切り
として隣接する末尾音声小段落間の音声小段落群を音声
段落と判定できる。FIG. 8 schematically shows a voiced section, a voice sub-paragraph, and a voice paragraph. The voice sub-paragraph is extracted under the condition that the time of the silent section surrounding the voiced section is t seconds. In FIG.
The audio sub-paragraphs j-1, j, and j + 1 are shown. Here, the speech subsection j is composed of n voiced sections, and the average power is Pj. As a typical example of voiced section,
The average power of the voiced section v included in the speech subsection j is p
v. The voice paragraph k is extracted from the power of the voiced section in the latter half of the voice sub-paragraph j and the voice sub-paragraph. i
= N−α to n, the average power p i of voiced sections is smaller than the average power P j of the speech sub-paragraph j, that is, when Σpi / (α + 1) <β Pj Expression (1) is satisfied, the speech sub-paragraph j Is the last voice sub-paragraph of the voice paragraph k. However, Σ is from i = n−α to n. Α and β in the equation (1) are constants, and these are manipulated to extract a voice paragraph. In the example, α was 3 and β was 0.8. In this way, a group of audio sub-paragraphs between the adjacent final audio sub-paragraphs can be determined as an audio paragraph with the final audio sub-paragraph as a delimiter.
【００２４】図６中のステップＳ３における音声小段落
発話状態判定方法の例を図９に示す。ステップＳ３０１
で、入力音声小段落の音声特徴量をベクトル量子化す
る。このために、あらかじめ少なくとも２つの量子化音
声特徴量（コード）が格納された符号帳（コードブッ
ク）を作成しておく。ここでコードブックに蓄えられた
音声特徴量と入力音声もしくは既に分析して得られた音
声の音声特徴量との照合をとり、コードブックの中から
音声特徴量間の歪（距離）を最小にする量子化音声特徴
量を特定することが常套である。FIG. 9 shows an example of the speech subparagraph utterance state determination method in step S3 in FIG. Step S301
Then, the voice feature quantity of the input voice sub-paragraph is vector-quantized. For this purpose, a codebook in which at least two quantized speech feature quantities (codes) are stored is created in advance. Here, the voice feature stored in the codebook is compared with the voice feature of the input voice or the voice already obtained by analysis, and the distortion (distance) between the voice features in the codebook is minimized. It is conventional to specify the quantized speech feature amount to be used.
【００２５】図１０に、このコードブックの作成法の例
を示す。多数の学習用音声を被験者が聴取し、発話状態
が平静状態であるものと、強調状態であるものをラベリ
ングする（Ｓ５０１）。例えば、被験者は強調状態とす
る理由として、（ａ）声が大きく、名詞や接続詞を伸ばすように発話す
る（ｂ）話し始めを伸ばして話題変更を主張、意見を集約
するように声を大きくする（ｃ）声を大きく高くして重要な名詞等を強調する時（ｄ）高音であるが声はそれほど大きくない（ｅ）苦笑いしながら、焦りから本音をごまかすような
時（ｆ）周囲に同意を求める、あるいは問いかけるよう
に、語尾が高音になるとき（ｇ）ゆっくりと力強く、念を押すように、語尾の声が
大きくなる時（ｈ）声が大きく高く、割り込んで発話するという主
張、相手より大きな声で（ｉ）大きな声では憚られるような本音や秘密を発言す
る場合や、普段、声の大きい人にとっての重要なことを
発話するような時（例えば声が小さくボソボソ、ヒソヒ
ソという口調）を挙げた。この例では、平静状態とは、
前記の（ａ）〜（ｉ）のいずれでもなく、発話が平静で
あると被験者が感じたものとした。FIG. 10 shows an example of the method of creating this codebook. The test subject listens to a large number of learning voices and labels the one in the quiescent state and the one in the emphasized state (S501). For example, the reason for the emphasis of the test subject is (a) utter a loud voice and utter to extend a noun or conjunction (b) extend the beginning of a conversation to insist on a topic change and make a loud voice to consolidate opinions (C) When the voice is loudly emphasized to emphasize important nouns, etc. (d) It is treble, but the voice is not so loud (e) When bitterly laughing and cheating from the real intention (f) Agree to the surroundings When the ending of the treble becomes treble (g) slowly and powerfully, like when asking or asking for a question, when the ending of the voice becomes louder, as if pressing the reminder (h) when the ending is high, the voice is loud and high In a louder voice (i) When making a real or secret statement that can be overwhelmed by a loud voice, or when uttering something that is important to a person who is usually loud (for example, when the voice is low, He said. In this example, the calm state is
It was assumed that the subject felt that the utterance was calm, not any of the above (a) to (i).
【００２６】尚、上述では強調状態と判定する対象を発
話であるものとして説明したが、音楽でも強調状態を特
定することができる。ここでは音声付の楽曲において、
音声から強調状態を特定しようとした場合に、強調と感
じる理由として、（ａ）声が大きく、かつ声が高い（ｂ）声が力強い（ｃ）声が高く、かつアクセントが強い（ｄ）声が高く、声質が変化する（ｅ）声を伸長させ、かつ声が大きい（ｆ）声が大きく、かつ、声が高く、アクセントが強い（ｇ）声が大きく、かつ、声が高く、叫んでいる（ｈ）声が高く、アクセントが変化する（ｉ）声を伸長させ、かつ、声が大きく、語尾が高い（ｊ）声が高く、かつ、声を伸長させる（ｋ）声を伸長させ、かつ、叫び、声が高い（ｌ）語尾上がり力強い（ｍ）ゆっくり強め（ｎ）曲調が不規則（ｏ）曲調が不規則、かつ、声が高いまた、音声を含まない楽器演奏のみの楽曲でも強調状態
を特定することができる。その強調と感じる利用とし
て、（ａ）強調部分全体のパワー増大（ｂ）音の高低差が大きい（ｃ）パワーが増大する（ｄ）楽器の数が変化する（ｅ）曲調、テンポが変化する等である。In the above description, the object to be determined to be in the emphasized state is the utterance, but the emphasized state can be specified in music. Here, in music with audio,
When trying to specify the emphasis state from the voice, the reasons for feeling emphasis are as follows: (a) loud voice and high voice (b) strong voice (c) high voice and strong accent (d) voice High voice, voice quality changes (e) voice is extended, and voice is loud (f) voice is high, voice is high and accent is strong (g) voice is voice, voice is high, and yell A high (h) voice with a high accent and a changing voice (i) a long voice, and a large voice with a high ending (j) a high voice and a long voice (k) a long voice, Also, screaming and high voice (l) Word rising, powerful (m) Slowly strengthening (n) Irregular tone (o) Irregular tone and high voice The emphasis state can be specified. As the usage that is felt as emphasis, (a) increase in power of the entire emphasized portion (b) large difference in height of sound (c) increase in power (d) change in number of musical instruments (e) change in tone and tempo Etc.
【００２７】これらを基にコードブックを作成しておく
ことにより、発話に限らず音楽の要約も行うことができ
ることになる。平静状態と強調状態の各ラベル区間につ
いて、図６中のステップＳ１と同様に、音声特徴量を抽
出し（Ｓ５０２）、パラメータを選択する（Ｓ５０
３）。平静状態と強調状態のラベル区間の、前記パラメ
ータを用いて、ＬＢＧアルゴリズムでコードブックを作
成する（Ｓ５０４）。ＬＢＧアルゴリズムについては、
例えば、（Ｙ．Ｌｉｎｄｅ，Ａ．Ｂｕｚｏ ａｎｄ
Ｒ．Ｍ．Ｇｒａｙ，“Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏ
ｒ ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇ
ｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏ
ｌ．Ｃｏｍ−２８，ｐｐ．８４−９５，１９８０）があ
る。コードブックサイズは２のｎ乗個に可変である。こ
のコードブック作成は音声小段落で又はこれより長い適
当な区間毎あるいは学習音声全体の音声特徴量で規格化
した音声特徴量を用いることが好ましい。By creating a codebook based on these, not only utterance but also music can be summarized. Similar to step S1 in FIG. 6, the speech feature amount is extracted (S502) and the parameters are selected (S50) for each of the label sections in the calm state and the emphasized state.
3). A codebook is created by the LBG algorithm using the parameters in the label sections in the quiet state and the emphasized state (S504). For the LBG algorithm,
For example, (Y. Linde, A. Buzo and
R. M. Gray, “An algorithmic fo
r vector quantizer design
n, "IEEE Trans. Commun., vo
l. Com-28, pp. 84-95, 1980). The codebook size can be changed to 2 to the n-th power. For this codebook creation, it is preferable to use a voice feature amount standardized in voice sub-paragraphs or for each appropriate section longer than this, or the voice feature amount of the entire learning voice.
【００２８】図９中のステップＳ３０１で、このコード
ブックを用いて、入力音声小段落の音声特徴量を、各音
声特徴量について規格化し、その規格化された音声特徴
量をフレーム毎に照合もしくはベクトル量子化し、フレ
ーム毎にコード（量子化された音声特徴量）を得る。こ
の際の入力音声信号より抽出する音声特徴量は前記のコ
ードブック作成に用いたパラメータと同じである。強調
状態が含まれる音声小段落を特定するために、音声小段
落でのコードを用いて、発話状態の尤度（らしさ）を、
平静状態と強調状態について求める。このために、あら
かじめ、任意のコード（量子化音声特徴量）の出現確率
を、平静状態の場合と、強調状態の場合について求めて
おき、この出現確率とそのコードとを組としてコードブ
ックに格納しておく、以下にこの出現確率の求め方の例
を述べる。前記のコードブック作成に用いた学習音声中
のラベルが与えられた１つの区間（ラベル区間）の音声
特徴量のコード（フレーム毎に得られる）が、時系列で
Ｃｉ、Ｃｊ、Ｃｋ、…Ｃｎであるとき、ラベル区間αが
強調状態となる確率をＰα（ｅ）、平静状態となる確率
をＰα（ｎ）とし、Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ）Ｐｅｍｐ（Ｃｊ｜Ｃｉ）
…Ｐｅｍｐ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ）Ｐｎｒｍ（Ｃｊ｜Ｃｉ）
…Ｐｎｒｍ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）となる。ただし、Ｐｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は
コード列Ｃｉ…Ｃｘ−１の次にＣｘが強調状態となる条
件付確率、Ｐｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は同様に
Ｃｉ…Ｃｘ−１に対しＣｘが平静状態となる確率であ
る。ただし、Πはｘ＝ｉ＋１からｎまでの積である。ま
たＰｅｍｐ（Ｃｉ）は学習音声についてフレームで量子
化し、これらコード中のＣｉが強調状態とラベリングさ
れた部分に存在した個数を計数し、その計数値を全学習
音声の全コード数（フレーム数）で割り算した値であ
り、Ｐｎｒｍ（Ｃｉ）はＣｉが平静状態とラベリングさ
れた部分に存在した個数を全コード数で割り算した値で
ある。In step S301 in FIG. 9, the codebook is used to standardize the voice feature amount of the input voice sub-paragraph for each voice feature amount, and the standardized voice feature amount is collated for each frame or Vector quantization is performed to obtain a code (quantized speech feature amount) for each frame. The voice feature quantity extracted from the input voice signal at this time is the same as the parameter used for the codebook creation. In order to identify the speech sub-paragraph that includes the emphasis state, the likelihood of the utterance state is calculated using the code in the speech sub-paragraph.
Ask for calmness and emphasis. Therefore, the appearance probabilities of an arbitrary code (quantized speech feature amount) are obtained in advance for the case of a quiet state and the case of an emphasized state, and the appearance probability and the code are stored in a codebook as a set. In the following, an example of how to obtain this appearance probability will be described. Codes (obtained for each frame) of the speech feature amount of one section (label section) given a label in the learning speech used for creating the codebook described above are Ci, Cj, Ck, ... Cn in time series. , The probability that the label section α is in the emphasized state is Pα (e), and the probability that the label section is in the stationary state is Pα (n). Pα (e) = Pemp (Ci) Pemp (Cj | Ci)
... Pemp (Cn | Ci ... Cn-1) = Pemp (C
i) ΠPemp (Cx | Ci ... Cx-1) Pα (n) = Pnrm (Ci) Pnrm (Cj | Ci)
... Pnrm (Cn | Ci ... Cn-1) = Pemp (C
i) ΠPnrm (Cx | Ci ... Cx-1). However, Pemp (Cx | Ci ... Cx-1) is a conditional probability that Cx is in an emphasized state next to the code sequence Ci ... Cx-1, and Pnrm (Cx | Ci ... Cx-1) is similarly Ci ... Cx-. It is the probability that Cx will be in a calm state with respect to 1. However, Π is a product of x = i + 1 to n. In addition, Pemp (Ci) quantizes the learning speech in frames, counts the number of Ci in these codes existing in the portion labeled as the emphasized state, and counts the count value for the total number of codes (the number of frames) of all the learning speeches. Pnrm (Ci) is a value obtained by dividing the number of Cis present in the portion labeled as a quiescent state by the total number of codes.
【００２９】このラベル区間αの各状態確率を簡単にす
るために、この例ではＮ−ｇｒａｍモデル（Ｎ＜ｎ）を
用いて、Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１）Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１）とする。つまりＣｎよりＮ−１個の過去のコード列Ｃｎ
−Ｎ＋１…Ｃｎ−１の次にＣｎが強調状態として得られ
る確率をＰα（ｅ）とし、同様にＮ−ｇｒａｍの確率値
をより低次のＭ−ｇｒａｍ（Ｎ≧Ｍ）の確率値と線形に
補間する線形補間法を適応することが好ましい。例えば
ＣｎよりＮ−１個の過去のコード列Ｃｎ−Ｎ＋１…Ｃｎ
−１の次にＣｎが平静状態として得られる確率をＰα
（ｎ）とする。このようなＰα（ｅ）、Ｐα（ｎ）の条
件付確率をラベリングされた学習音声の量子化コード列
から全てを求めるが、入力音声信号の音声特徴量の量子
化したコード列と対応するものが学習音声から得られて
いない場合もある。そのため、高次（即ちコード列の長
い）の条件付確率を単独出現確率とより低次の条件付出
現確率とを補間して求める。例えばＮ＝３のｔｒｉｇｒ
ａｍ、Ｎ＝２のｂｉｇｒａｍ、Ｎ＝１のｕｎｉｇｒａｍ
を用いて線形補間法を施す。Ｎ−ｇｒａｍ、線形補間
法、ｔｒｉｇｒａｍについては、例えば、「音声言語処
理」（北 研二、中村 哲、永田昌明、森北出版、１９
９６、２９頁）などに述べられている。即ち、Ｎ＝３（ｔｒｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２
Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−２Ｃｎ−１）Ｎ＝２（ｂｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−１）Ｎ＝１（ｕｎｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ）、Ｐｎｒ
ｍ（Ｃｎ）であり、これら３つの強調状態でのＣｎの出現確率、ま
た３つの平静状態でのＣｎの出現確率をそれぞれ用いて
次式により、Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）、Ｐ
ｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）を計算することにす
る。Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｅｍｐ１Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ|Ｃｎ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ） 式（２）Ｐｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｎｒｍｌＰｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＋λｎｒｍ２Ｐｎｒｍ（Ｃｎ|Ｃｎ−１）＋λｎｒｍ３Ｐｎｒｍ（Ｃｎ） 式（３）Ｔｒｉｇｒａｍの学習データをＮとしたとき、すなわ
ち、コードが時系列でＣ１、Ｃ２、．．．ＣＮが得られ
たとき、λｅｍｐ１、λｅｍｐ２、λｅｍｐ３の再推定
式は前出の参考文献「音声言語処理」より次のようにな
る。λｅｍｐ１＝１／ＮΣ（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃ
ｎ−２Ｃ−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λ
ｅｍｐ３Ｐｅｍｐ（Ｃｎ）））λｅｍｐ２＝１／ＮΣ（λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ
−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−
１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ
３Ｐｅｍｐ（Ｃｎ）））λｅｍｐ３＝１／ＮΣ（λｅｍｐ３Ｐｅｍｐ（Ｃｎ）／
（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅ
ｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ
（Ｃｎ）））ただし、Σはｎ＝１からＮまでの和である。以下同様に
してλｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められ
る。In order to simplify each state probability of this label section α, in this example, using the N-gram model (N <n), Pα (e) = Pemp (Cn | Cn-N + 1 ... Cn-
1) Pα (n) = Pnrm (Cn | Cn−N + 1 ... Cn−
1) That is, N-1 past code strings Cn from Cn
The probability that Cn will be obtained as an emphasized state next to -N + 1 ... Cn-1 is Pα (e), and similarly, the probability value of N-gram is linear with the probability value of lower-order M-gram (N ≧ M). It is preferable to apply a linear interpolation method that interpolates to For example, N-1 past code strings Cn-N + 1 ... Cn from Cn
−1, the probability that Cn is obtained in a calm state is Pα
(N). All of the conditional probabilities of Pα (e) and Pα (n) are obtained from the quantized code strings of the labeled learning speech, which correspond to the quantized code strings of the speech feature amount of the input speech signal. May not be obtained from the learning voice. Therefore, a high-order (that is, a long code string) conditional probability is obtained by interpolating a single occurrence probability and a lower-order conditional occurrence probability. For example, N = 3 trigr
am, bigram of N = 2, unigram of N = 1
Is used to perform the linear interpolation method. Regarding N-gram, linear interpolation method, and trigram, for example, “Spoken language processing” (Kenji Kita, Satoshi Nakamura, Masaaki Nagata, Morikita Publishing, 19
96, 29). That is, N = 3 (trigram): Pemp (Cn | Cn-2
Cn-1), Pnrm (Cn | Cn-2Cn-1) N = 2 (bigram): Pemp (Cn | Cn-
1), Pnrm (Cn | Cn-1) N = 1 (unigram): Pemp (Cn), Pnr
m (Cn), the probability of occurrence of Cn in these three emphasized states, and the probability of occurrence of Cn in three calm states are respectively calculated by the following equations, Pemp (Cn | Cn-2Cn-1), Pm
We will calculate nrm (Cn | Cn-2Cn-1). Pemp (Cn | Cn-2Cn-1) = [lambda] emp1Pemp (Cn | Cn-2Cn-1) + [lambda] emp2Pemp (Cn | Cn-1) + [lambda] emp3Pemp (Cn) Formula (2) Pnrm (Cn | Cn-2Cn-1) = [lambda] nrmlPnrm (). Cn | Cn-2Cn-1) + [lambda] nrm2Pnrm (Cn | Cn-1) + [lambda] nrm3Pnrm (Cn) Formula (3) When the learning data of Trigram is N, that is, the codes are C1, C2 ,. ． ． When the CN is obtained, the re-estimation formulas for λemp1, λemp2, and λemp3 are as follows from the above-mentioned reference “Spoken Language Processing”. λemp1 = 1 / NΣ (λemp1Pemp (Cn | C
n-2C-1) / (λemp1Pemp (Cn | Cn-
2C-1) + λemp2Pemp (Cn | C-1) + λ
emp3Pemp (Cn))) λemp2 = 1 / NΣ (λemp2Pemp (Cn | C
-1) / (λemp1Pemp (Cn | Cn-2C-
1) + λemp2Pemp (Cn | C-1) + λemp
3Pemp (Cn))) λemp3 = 1 / NΣ (λemp3Pemp (Cn) /
(Λemp1Pemp (Cn | Cn-2C-1) + λe
mp2Pemp (Cn | C-1) + λemp3Pemp
(Cn))) where Σ is the sum of n = 1 to N. Similarly, λnrm1, λnrm2, and λnrm3 are obtained in the same manner.
【００３０】この例では、ラベル区間αがフレーム数Ｎ
αで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮαのと
き、このラベル区間αが強調状態となる確率Ｐα
（ｅ）、平静状態となる確率Ｐα（ｎ）は、Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮα｜Ｃｉ（Ｎα−１）Ｃｉ（Ｎα−２）） 式（４）Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮα｜Ｃｉ（Ｎα−１）Ｃｉ（Ｎα−２）） 式（５） となる。この計算ができるように前記のｔｒｉｇｒａ
ｍ、ｕｎｉｇｒａｍ、ｂｉｇｒａｍを任意のコードにつ
いて求めてコードブックに格納しておく。つまりコード
ブックには各コードの音声特徴量とその強調状態での出
現確率とこの例では平静状態での出現確率との組が格納
され、その強調状態での出現確率は、その音声特徴量が
過去のフレームでの音声特徴量と無関係に強調状態で出
現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）の
み、又はこれと、過去のフレームでの音声特徴量から現
在のフレームの音声特徴量に至るフレーム単位の音声特
徴量列毎に、その音声特徴量が強調状態で出現する条件
付確率との組合せの何れかであり、平静状態での出現確
率も同様に、その音声特徴量が過去のフレームでの音声
特徴量と無関係に平静状態で出現する確率（ｕｎｉｇｒ
ａｍ：単独出現確率と記す）のみ、又はこれと、過去の
フレームでの音声特徴量から現在のフレームの音声特徴
量に至るフレーム単位の音声特徴量列毎にその音声特徴
量が平静状態で出現する条件付確率と組合せの何れかで
ある。In this example, the label section α is the number of frames N
When the code obtained in α is Ci1, Ci2, ..., CiNα, the probability Pα that this label section α is in the emphasized state
(E), the probability Pα (n) of being in a calm state is as follows: Pα (e) = Pemp (Ci3 | Ci1Ci2) ... Pemp (CiNα | Ci (Nα-1) Ci (Nα-2)) Formula (4) Pα ( n) = Pnrm (Ci3 | Ci1Ci2) ... Pnrm (CiNα | Ci (Nα-1) Ci (Nα-2)) Formula (5) is obtained. To enable this calculation,
m, unigram, and bigram are obtained for arbitrary codes and stored in the codebook. That is, the codebook stores a set of the voice feature amount of each code, the appearance probability in the emphasized state, and the appearance probability in the quiet state in this example. The appearance probability in the emphasized state is the voice feature amount. Only the probability of appearing in an emphasized state irrespective of the voice feature amount in the past frame (unigram: described as a single appearance probability) or this and the voice feature amount in the past frame to the voice feature amount in the current frame For each frame-based audio feature quantity sequence, the audio feature quantity is either a combination with the conditional probability of appearing in the emphasized state, and the appearance probability in the quiet state is also the same as that of the previous frame Probability of appearing in a quiet state irrespective of the voice feature amount (unigr
am: written as a single appearance probability) or this and the voice feature quantity appears in a quiet state for each voice feature quantity sequence in frame units from the voice feature quantity in the past frame to the voice feature quantity in the current frame. It is either a conditional probability to perform or a combination.
【００３１】例えば図１１に示すようにコードブックに
は各コードＣ１、Ｃ２、…毎にその音声特徴量と、その
単独出現確率が強調状態、平静状態について、また条件
付確率が強調状態、平静状態についてそれぞれ組として
格納されている。図９中のステップＳ３０２では、入力
音声小段落の全フレームのコードについてのそのコード
ブックに格納されている前記確率から、発話状態の尤度
を、平静状態と強調状態について求める。図１２に実施
例の模式図を示す。時刻ｔから始まる音声小段落のう
ち、第４フレームまでを〜で示している。前記のよ
うに、ここでは、フレーム長は１００ｍｓ、フレームシ
フトを５０ｍｓとフレーム長の方を長くした。フレー
ム番号ｆ、時刻ｔ〜ｔ＋１００でコードＣｉが、フレ
ーム番号ｆ＋１、時刻ｔ＋５０〜ｔ＋１５０でコードＣ
ｊが、フレーム番号ｆ＋２、時刻ｔ＋１００〜ｔ＋２
００でコードＣｋが、フレーム番号ｆ＋３、時刻ｔ＋
１５０〜ｔ＋２５０でコードＣｌが得られ、つまりフレ
ーム順にコードがＣｉ、Ｃｊ、Ｃｋ、Ｃｌであるとき、
フレーム番号ｆ＋２以上のフレームでｔｒｉｇｒａｍが
計算できる。音声小段落ｓが強調状態となる確率をＰｓ
（ｅ）、平静状態となる確率をＰｓ（ｎ）とすると第４
フレームまでの確率はそれぞれ、Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ） 式（６）Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ） 式（７）となる。ただし、この例では、コードブックからＣｋ、
Ｃｌの強調状態及び平静状態の各単独出現確率を求め、
またＣｊの次にＣｋが強調状態及び平静状態で各出現す
る条件付確率、更にＣｋがＣｉ、Ｃｊの次に、ＣｌがＣ
ｊ、Ｃｋの次にそれぞれ強調状態及び平静状態でそれぞ
れ出現する条件付確率をコードブックから求めると、以
下のようになる。Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＋λｅｍｐ２Ｐｅｍｐ（Ｃｋ｜Ｃｊ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｋ） 式（８）Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＋λｅｍｐ２Ｐｅｍｐ（Ｃｌ｜Ｃｋ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｌ） 式（９）Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＋λｎｒｍ２Ｐｎｒｍ（Ｃｋ｜Ｃｊ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｋ） 式（１０）Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＋λｎｒｍ２Ｐｎｒｍ（Ｃｌ｜Ｃｋ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｌ） 式（１１）上記（８）〜（１１）式を用いて（６）式と（７）式で
示される第４フレームまでの強調状態となる確率Ｐｓ
（ｅ）と、平静状態となる確率Ｐｓ（ｎ）が求まる。こ
こで、Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）、Ｐｎｒｍ（Ｃｋ｜
ＣｉＣｊ）はフレーム番号ｆ＋２において計算できる。For example, as shown in FIG. 11, in the codebook, for each code C1, C2, ..., its voice feature quantity and its independent appearance probability are in the emphasized state, the calm state, and the conditional probability is the emphasized state, the calm state. Each state is stored as a set. In step S302 in FIG. 9, the likelihood of the utterance state is calculated for the quiet state and the emphasized state from the probabilities stored in the codebook for the codes of all the frames of the input speech sub-paragraph. FIG. 12 shows a schematic diagram of the example. Among the audio sub-paragraphs starting from time t, up to the fourth frame are indicated by ˜. As described above, here, the frame length is 100 ms and the frame shift is 50 ms, which is longer. Code Ci at frame number f and times t to t + 100, code C at frame number f + 1 and times t + 50 to t + 150
j is the frame number f + 2, time t + 100 to t + 2
At 00, code Ck is frame number f + 3, time t +
When the code Cl is obtained at 150 to t + 250, that is, when the code is Ci, Cj, Ck, Cl in the frame order,
The trigram can be calculated for frames with frame numbers f + 2 and above. Ps is the probability that the voice sub-paragraph s is in the emphasized state.
(E), the probability of being in a calm state is Ps (n)
The probabilities up to the frame are: Ps (e) = Pemp (Ck | CiCj) Pemp (Cl | CjCk) Formula (6) Ps (n) = Pnrm (Ck | CiCj) Pnrm (Cl | CjCk) Formula (7) Become. However, in this example, Ck,
Obtaining the individual appearance probabilities of the Cl emphasized state and the calm state,
The conditional probability that Ck appears next to Cj in the emphasized state and the stationary state, Ck is Ci, and Cj is C next to Cj.
The conditional probabilities that appear in the emphasized state and the calm state next to j and Ck, respectively, are obtained from the codebook as follows. Pemp (Ck | CiCj) = λemp1Pemp (Ck | CiCj) + λem p2Pemp (Ck | Cj) + λemp3Pemp (Ck) Formula (8) Pemp (Cl | CjCmpλ = λemp1Pemp (Cl | CjCk) + λemp (Pe) (λ | emp)) Cl) Formula (9) Pnrm (Ck | CiCj) = λnrm1Pnrm (Ck | CiCj) + λnr m2Pnrm (Ck | Cj) + λnrm3Pnrm (Ck) Formula (10) Pnrm (ClrCrCr) Prrm (Cr) Crn (CrCm) CnCrm) Cl | Ck) + λnrm3Pnrm (Cl) Expression (11) Probability Ps of being in the emphasized state up to the fourth frame shown in Expressions (6) and (7) using Expressions (8) to (11) above.
From (e), the probability Ps (n) of being in a calm state is obtained. Here, Pemp (Ck | CiCj) and Pnrm (Ck |
CiCj) can be calculated at frame number f + 2.
【００３２】この例では、音声小段落ｓがフレーム数Ｎ
ｓで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮｓのと
き、この音声小段落ｓが強調状態になる確率Ｐｓ（ｅ）
と平静状態になる確率Ｐｓ（ｎ）を次式により計算す
る。Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅ
ｍｐ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２））Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎ
ｒｍ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２））この例ではこれらの確率が、Ｐｓ（ｅ）＞Ｐｓ（ｎ）で
あれば、その音声小段落Ｓは強調状態、Ｐｓ（ｎ）＞Ｐ
ｓ（ｅ）であれば平静状態とする。In this example, the audio subsection s has the number of frames N.
When the code obtained in s is Ci1, Ci2, ..., CiNs, the probability Ps (e) that this speech subsection s is in the emphasized state
And the probability Ps (n) of being in a calm state is calculated by the following equation. Ps (e) = Pemp (Ci3 | Ci1Ci2) ... Pe
mp (CiNs | Ci (Ns-1) Ci (Ns-2)) Ps (n) = Pnrm (Ci3 | Ci1Ci2) ... Pn
rm (CiNs | Ci (Ns-1) Ci (Ns-2)) In this example, if these probabilities are Ps (e)> Ps (n), the audio subsection S is in the emphasized state, Ps (n). )> P
If s (e), it is in a calm state.
【００３３】図１３は以上説明した音声小段落抽出方
法、音声段落抽出方法、各音声小段落毎に強調状態とな
る確率及び平静状態となる確率を求める方法を用いた音
声強調状態判定装置及び音声要約装置の実施形態を示
す。入力部１１に音声強調状態が判定されるべき、又は
音声の要約が検出されるべき入力音声（入力音声信号）
が入力される。入力部１１には必要に応じて入力音声信
号をディジタル信号に変換する機能も含まれる。ディジ
タル化された音声信号は必要に応じて記憶部１２に格納
される。音声特徴量抽出部１３で前述した音声特徴量が
フレーム毎に抽出される。抽出した音声特徴量は必要に
応じて、音声特徴量の平均値で規格化され、量子化部１
４で各フレームの音声特徴量がコードブック１５を参照
して量子化され、量子化された音声特徴量は強調確率計
算部１６と平静確率計算部１７に送り込まれる。コード
ブック１５は例えば図１１に示したようなものである。FIG. 13 shows a speech enhancement state determination device and speech using the speech sub-paragraph extraction method, the speech paragraph extraction method, and the method for obtaining the probability of being in the emphasized state and the probability of being in the quiet state for each speech sub-paragraph described above. 1 illustrates an embodiment of a summarizing device. Input voice (input voice signal) for which the voice enhancement state should be determined in the input unit 11 or the voice summary should be detected
Is entered. The input unit 11 also includes a function of converting an input voice signal into a digital signal as needed. The digitized voice signal is stored in the storage unit 12 as needed. The voice feature amount extraction unit 13 extracts the voice feature amount described above for each frame. The extracted voice feature amount is normalized by the average value of the voice feature amount as necessary, and the quantization unit 1
In 4, the voice feature amount of each frame is quantized with reference to the codebook 15, and the quantized voice feature amount is sent to the emphasis probability calculation unit 16 and the quietness probability calculation unit 17. The codebook 15 is, for example, as shown in FIG.
【００３４】強調確率計算部１６によりその量子化され
た音声特徴量の強調状態での出現確率が、コードブック
１５に格納されている対応する確率を用いて、例えば式
（８）又は（９）により計算される。同様に平静確率計
算部１７により、前記量子化された音声特徴量の平静状
態での出現確率がコードブック１５に格納されている対
応する確率を用いて、例えば式（１０）又は（１１）に
より計算される。強調確率計算部１６及び平静確率計算
部１７で各フレーム毎に算出された強調状態での出現率
と平静状態での出現確率及び各フレームの音声特徴量は
各フレームに付与したフレーム番号と共に記憶部12に格
納する。The appearance probability in the emphasized state of the quantized speech feature quantity by the emphasis probability calculation unit 16 is calculated by using the corresponding probability stored in the codebook 15, for example, equation (8) or (9). Calculated by Similarly, the quietness probability calculation unit 17 uses the corresponding probability that the appearance probability of the quantized speech feature amount in a quiet state is stored in the codebook 15, for example, according to Expression (10) or (11). Calculated. The appearance rate in the emphasized state, the appearance probability in the quiet state, and the voice feature amount of each frame calculated for each frame by the emphasis probability calculation unit 16 and the quietness probability calculation unit 17 are stored in the storage unit together with the frame number assigned to each frame. Store in 12.
【００３５】これら各部の制御は制御部１９の制御のも
とに順次行われる。音声要約装置の実施形態は、図１３
中に実線ブロックに対し、破線ブロックが付加される。
つまり記憶部１２に格納されている各フレームの音声特
徴量が無音区間判定部２１と有音区間判定部２２に送り
込まれ、無音区間判定部２１により各フレーム毎に無音
区間か否かが判定され、また有音区間判定部２２により
各フレーム毎に有声区間か否かが判定される。これらの
無音区間判定結果と有音区間判定結果が音声小段落判定
部２３に入力される。音声小段落判定部２３はこれら無
音区間判定、有声区間判定に基づき、先の方法の実施形
態で説明したように所定フレーム数を連続する無音区間
に囲まれた有声区間を含む部分が音声小段落と判定す
る。音声小段落判定部２３の判定結果は記憶部１２に書
き込まれ、記憶部１２に格納されている音声データ列に
付記され、無音区間で囲まれたフレーム群に音声小段落
番号列を付与する。これと共に音声小段落判定部２３の
判定結果は末尾音声小段落判定部２４に入力される。The control of each of these units is sequentially performed under the control of the control unit 19. An embodiment of the voice summarization device is shown in FIG.
A broken line block is added to the solid line block.
That is, the audio feature amount of each frame stored in the storage unit 12 is sent to the silent section determination unit 21 and the sound section determination unit 22, and the silent section determination unit 21 determines whether each frame is a silent section or not. Also, the voiced section determination unit 22 determines for each frame whether or not it is a voiced section. The silent segment determination result and the voiced segment determination result are input to the audio sub-paragraph determining unit 23. Based on the silent section determination and the voiced section determination, the speech subsection determining unit 23 determines that a portion including a voiced section surrounded by a continuous silent section of a predetermined number of frames is a speech subsection based on the determination of the voiced section. To determine. The determination result of the audio sub-paragraph determining unit 23 is written in the storage unit 12, added to the audio data sequence stored in the storage unit 12, and the audio sub-paragraph number sequence is given to the frame group surrounded by the silent section. At the same time, the determination result of the audio sub-paragraph determination unit 23 is input to the final audio sub-paragraph determination unit 24.
【００３６】末尾音声小段落判定部２４では、例えば図
８を参照して説明した手法により末尾音声小段落が検出
され、末尾音声小段落判定結果が音声段落判定部２５に
入力され、音声段落判定部２５により２つの末尾音声小
段落間の複数の音声小段落を含む部分を音声段落と判定
する。この音声段落判定結果も記憶部１２に書き込ま
れ、記憶部１２に記憶している音声小段落番号列に音声
段落列番号を付与する。音声要約装置として動作する場
合、強調確率計算部１６及び平静確率計算部１７では記
憶部１２から各音声小段落を構成する各フレームの強調
確率と平静確率を読み出し、各音声小段落毎の確率が例
えば式（８）及び式（１０）により計算される。強調状
態判定部１８ではこの音声小段落毎の確率計算値を比較
して、その音声小段落が強調状態か否かを判定し、要約
区間取出し部２６では音声段落中の１つの音声小段落で
も強調状態と判定されたものがあればその音声小段落を
含む音声段落を取り出す。各部の制御は制御部１９によ
り行われる。In the final voice sub-paragraph determination section 24, the final voice sub-paragraph is detected by the method described with reference to FIG. 8, the final voice sub-paragraph determination result is input to the voice paragraph determination section 25, and the voice paragraph determination is performed. The section 25 determines that a part including a plurality of audio sub-paragraphs between the two final audio sub-paragraphs is an audio paragraph. This audio paragraph determination result is also written in the storage unit 12, and an audio paragraph sequence number is given to the audio small paragraph number sequence stored in the storage unit 12. When operating as a voice summarizing device, the emphasis probability calculation unit 16 and the quietness probability calculation unit 17 read the emphasis probability and the quietness probability of each frame forming each audio subparagraph from the storage unit 12, and the probability of each audio subparagraph is calculated. For example, it is calculated by equation (8) and equation (10). The emphasis state determination unit 18 compares the probability calculation values for each audio sub-paragraph to determine whether or not the audio sub-paragraph is in the emphasized state, and the summary segment extraction unit 26 determines even one audio sub-paragraph in the audio paragraphs. If there is one that is determined to be in the emphasized state, the audio paragraph including the audio sub-paragraph is extracted. The control of each unit is performed by the control unit 19.
【００３７】以上により音声で構成される音声波形を音
声小段落及び音声段落に分離する方法及び各音声小段落
毎に強調状態となる確率及び平静状態となる確率を算出
できることが理解できよう。以下では上述した各方法を
利用したこの発明による音声処理方法、音声処理装置及
び音声処理プログラムに関わる実施の形態を説明する。
図１４にこの要約率を変更することを可能とした音声処
理方法の基本手順を示す。この実施例ではステップＳ１
１で音声強調確率算出処理を実行し、音声小段落の強調
確率及び平静確率を求める。From the above, it can be understood that the method of separating the voice waveform composed of the voice into the voice sub-paragraphs and the voice sub-paragraphs, and the probability of being in the emphasized state and the probability of being in the quiet state can be calculated for each voice sub-paragraph. Embodiments relating to a voice processing method, a voice processing device, and a voice processing program according to the present invention using the above-described methods will be described below.
FIG. 14 shows a basic procedure of a voice processing method capable of changing the summarization rate. In this embodiment, step S1
In step 1, the voice emphasis probability calculation process is executed to obtain the emphasis probability and the quietness probability of the voice sub-paragraph.
【００３８】ステップＳ１２では要約条件入力ステップ
Ｓ１２を実行する。この要約条件入力ステップＳ１２で
は例えば利用者に要約時間又は要約率或は圧縮率の入力
を促す情報を提供し、要約時間又は要約率或は要約率又
は圧縮率を入力させる。尚、予め設定された複数の要約
時間又は要約率、圧縮率の中から一つを選択する入力方
法を採ることもできる。ステップＳ１３では抽出条件の
変更を繰り返す動作を実行し、ステップＳ１２の要約条
件入力ステップＳ１２で入力された要約時間又は要約
率、圧縮率を満たす抽出条件を決定する。In step S12, a summary condition input step S12 is executed. In this summarization condition input step S12, for example, information for prompting the user to input the summarization time or summarization rate or compression rate is provided, and the summarization time or summarization rate or summarization rate or compression rate is input. It is also possible to adopt an input method of selecting one from a plurality of preset summarization times or summarization rates and compression rates. In step S13, the operation of repeating the change of the extraction condition is executed, and the extraction condition satisfying the summarization time or the summarization ratio and the compression ratio input in the summarization condition input step S12 of step S12 is determined.
【００３９】ステップＳ１４で要約抽出ステップを実行
する。この要約抽出ステップＳ１４では抽出条件変更ス
テップＳ１３で決定した抽出条件を用いて採用すべき音
声段落を決定し、この採用すべき音声段落の総延長時間
を計算する。ステップ１５では要約再生処理を実行し、
要約抽出ステップＳ１４で抽出した音声段落列を再生す
る。図１５は図１４に示した音声強調確率算出ステップ
の詳細を示す。ステップＳ１０１で要約対象とする音声
波形列を音声小段落に分離する。In step S14, the abstract extraction step is executed. In this abstract extraction step S14, the voice paragraph to be adopted is determined using the extraction condition determined in the extraction condition change step S13, and the total extension time of this voice paragraph to be adopted is calculated. In step 15, a summary reproduction process is executed,
The voice paragraph string extracted in the abstract extraction step S14 is reproduced. FIG. 15 shows details of the voice enhancement probability calculating step shown in FIG. In step S101, the speech waveform string to be summarized is separated into speech sub-paragraphs.
【００４０】ステップＳ１０２ではステップＳ１０１で
分離した音声小段落列から音声段落を抽出する。音声段
落とは図８で説明したように、１つ以上の音声小段落で
構成され、この部分の音声を再生して多くの場合、受聴
者が意味を理解できる単位である。ステップＳ１０３及
びステップＳ１０４でステップＳ１０１で抽出した音声
小段落毎に図１１で説明したコードブックと前記した式
（８）、（１０）等を利用して各音声小段落が強調状態
となる確率（以下強調確率と称す）Ｐｓ（ｅ）と、平静
状態となる確率（以下平静確率と称す）Ｐｓ（ｎ）とを
求める。In step S102, a voice paragraph is extracted from the voice sub-paragraph string separated in step S101. As described with reference to FIG. 8, the audio paragraph is composed of one or more audio sub-paragraphs, and is a unit in which the listener understands the meaning in many cases by reproducing the audio of this part. Probability that each audio subparagraph will be in an emphasized state by using the codebook described in FIG. 11 and the above equations (8) and (10) for each audio subparagraph extracted in step S101 in steps S103 and S104 ( Hereinafter, Ps (e), which is referred to as an emphasis probability, and Ps (n), which is a probability of being in a calm state (hereinafter, referred to as a calm probability), are obtained.
【００４１】ステップＳ１０５ではステップＳ１０３及
びＳ１０４において各音声小段落毎に求めた強調確率Ｐ
ｓ（ｅ）と平静確率Ｐｓ（ｎ）などを各音声小段落毎に
仕分けして記憶手段に音声強調確率テーブルとして格納
する。図１６に記憶手段に格納した音声強調確率テーブ
ルの一例を示す。図１６に示すＦ１、Ｆ２、Ｆ３…は音
声小段落毎に求めた音声小段落強調確率Ｐｓ（ｅ）と、
音声小段落平静確率Ｐｓ（ｎ）を記録した小段落確率記
憶部を示す。これらの小段落確率記憶部Ｆ１、Ｆ２、Ｆ
３…には各音声小段落Ｓに付された音声小段落番号ｉ
と、開始時刻（言語列の先頭から計時した時刻）終了時
刻、音声小段落強調確率、音声小段落平静確率、各音声
小段落を構成するフレーム数ｆｎ等が格納される。In step S105, the emphasis probability P obtained for each audio sub-paragraph in steps S103 and S104.
The s (e), the quietness probability Ps (n), and the like are sorted for each voice subparagraph and stored in the storage unit as a voice emphasis probability table. FIG. 16 shows an example of the voice enhancement probability table stored in the storage means. F1, F2, F3, ... Shown in FIG. 16 are the audio subparagraph emphasis probabilities Ps (e) obtained for each audio subparagraph,
The small paragraph probability memory | storage part which recorded the audio small paragraph calm probability Ps (n) is shown. These subparagraph probability storage units F1, F2, F
3 ... is the audio sub-paragraph number i attached to each audio sub-paragraph S.
The start time (time counted from the beginning of the language string), the end time, the audio subparagraph emphasis probability, the audio subparagraph calm probability, the number of frames fn forming each audio subparagraph, and the like are stored.
【００４２】要約条件入力ステップＳ１２で入力する条
件としては要約すべきコンテンツの全長を１／Ｘ（Ｘは
正の整数）の時間に要約することを示す要約率Ｘ（請求
項１記載の要約率を指す）、あるいは要約時間ｔを入力
する。この要約条件の設定に対し、抽出条件変更ステッ
プＳ１３では初期値として重み係数Ｗ（請求項1記載の
所定の係数の逆数を指す）をＷ＝１に設定し、この重み
係数を要約抽出ステップＳ１４に入力する。要約抽出ス
テップＳ１４は重み係数Ｗ＝１として音声強調確率テー
ブルから各音声小段落毎に格納されている強調確率Ｐｓ
（ｅ）と平静確率Ｐｓ（ｅ）とを比較し、Ｗ・Ｐｓ（ｅ）＞Ｐｓ（ｎ）の関係にある音声小段落を抽出すると共に、更にこの抽
出した音声小段落を一つでも含む音声段落を抽出し、抽
出した音声段落列の総延長時間ＭＴ（分）を求める。As the condition input in the summarizing condition input step S12, the summarizing rate X (summarizing rate according to claim 1) indicating that the total length of the content to be summarized is summarized in a time of 1 / X (X is a positive integer). Input) or the summary time t. In response to the setting of the summary condition, in the extraction condition changing step S13, the weighting coefficient W (indicating the reciprocal of the predetermined coefficient described in claim 1) is set to W = 1 as an initial value, and this weighting coefficient is set in the summary extracting step S14. To enter. In the abstract extraction step S14, the emphasis probability Ps stored for each audio sub-paragraph from the audio emphasis probability table with the weighting factor W = 1.
(E) is compared with the quietness probability Ps (e), and a voice sub-paragraph having a relationship of W · Ps (e)> Ps (n) is extracted, and at least one of the extracted voice sub-paragraphs is included. The voice paragraph is extracted, and the total extension time MT (minutes) of the extracted voice paragraph string is obtained.
【００４３】抽出した音声段落列の総延長時間ＭＴ
（分）と要約条件で決めた所定の要約時間ＹＴ（分）と
を比較する。ここでＭＴ≒ＹＴ（ＹＴに対するＭＴの誤
差が例えば±数％程度の範囲）であればそのまま採用し
た音声段落列を要約音声として再生する。要約条件で設
定した要約時間ＹＴに対するコンテンツの要約した総延
長時間ＭＴとの誤差値が規定より大きく、その関係がＭ
Ｔ＞ＹＴであれば抽出した音声段落列の総延長時間ＭＴ
（分）が、要約条件で定めた要約時間ＹＴ（分）より長
いと判定し、図２に示した抽出条件変更ステップＳ１３
を再実行させる。抽出条件変更ステップＳ１３では重み
係数がＷ＝１で抽出した音声段落列の総延長時間ＭＴ
（分）が要約条件で定めた要約時間ＹＴ（分）より「長
い」とする判定結果を受けて強調確率Ｐｓ（ｅ）に現在
値より小さい重み付け係数Ｗ（請求項１記載の所定の係
数の場合は現在値よりも大きくする）を乗算Ｗ・Ｐｓ
（ｅ）して重み付けを施す。重み係数Ｗとしては例えば
Ｗ＝１−０．００１×Ｋ（Ｋはループ回数）で求める。Total extension time MT of the extracted voice paragraph sequence
(Minutes) is compared with a predetermined summary time YT (minutes) determined by the summary condition. If MT≈YT (the error of MT with respect to YT is within a range of ± several percent, for example), the adopted audio paragraph string is reproduced as a summary audio. The error value between the summarization time YT set in the summarization condition and the summed total extension time MT of the content is larger than the stipulation, and the relationship is M.
If T> YT, the total extension time MT of the extracted audio paragraph sequence
(Minutes) is determined to be longer than the summary time YT (minutes) defined by the summary conditions, and the extraction condition changing step S13 shown in FIG.
To re-execute. In the extraction condition changing step S13, the total extension time MT of the voice paragraph sequence extracted when the weighting factor is W = 1.
In response to the determination result that (minutes) is “longer” than the summarization time YT (minutes) defined in the summarization conditions, the weighting coefficient W (the predetermined coefficient according to claim 1) smaller than the current value is added to the emphasis probability Ps (e). If it is larger than the current value, multiply by W · Ps
(E) Then, weighting is performed. The weighting factor W is obtained by, for example, W = 1-0.001 × K (K is the number of loops).
【００４４】つまり、音声強調確率テーブルから読み出
した音声段落列の全ての音声小段落で求められている強
調確率Ｐｓ（ｅ）の配列に１回目のループではＷ＝１−
０．００１×１で決まる重み係数Ｗ＝０．９９９を乗算
し、重み付けを施す。この重み付けされた全ての各音声
小段落の強調確率Ｗ・Ｐｓ（ｅ）と各音声小段落の平静
確率Ｐｓ（ｎ）とを比較し、Ｗ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出する。この抽出結
果に従って要約抽出ステップＳ１４では抽出された音声
小段落を含む音声段落を抽出し、要約音声段落列を再び
求める。これと共に、この要約音声段落列の総延長時間
ＭＴ（分）を算出し、この総延長時間ＭＴ（分）と要約
条件で定められる要約時間ＹＴ（分）とを比較する。比
較の結果がＭＴ≒ＹＴであれば、その音声段落列を要約
音声と決定し、再生する。In other words, in the array of the enhancement probabilities Ps (e) found in all the voice sub-paragraphs of the voice paragraph sequence read from the voice enhancement probability table, W = 1−1 in the first loop.
Weighting is performed by multiplying the weighting coefficient W = 0.999 determined by 0.001 × 1. The emphasis probabilities W · Ps (e) of all the weighted voice sub-paragraphs are compared with the quietness probabilities Ps (n) of the voice sub-paragraphs, and W · Ps (e)> Ps.
An audio sub-paragraph having a relationship of (n) is extracted. In accordance with this extraction result, in the abstract extraction step S14, the voice paragraph including the extracted voice sub-paragraph is extracted, and the summary voice paragraph string is obtained again. At the same time, the total extension time MT (minutes) of this summary voice paragraph sequence is calculated, and this total extension time MT (minutes) is compared with the summary time YT (minutes) defined by the summary condition. If the comparison result is MT.apprxeq.YT, the audio paragraph string is determined as the summary audio and reproduced.
【００４５】１回目の重み付け処理の結果が依然として
ＭＴ＞ＹＴであれば抽出条件変更ステップを、２回目の
ループとして実行させる。このとき重み係数ＷはＷ＝１
−０．００１×２で求める。全ての強調確率Ｐｓ（ｅ）
にＷ＝０．９９８の重み付けを施す。このように、ルー
プの実行を繰り返す毎にこの例では重み係数Ｗの値を徐
々に小さくするように抽出条件を変更していくことによ
りＷＰｓ（ｅ）＞Ｐｓ（ｎ）の条件を満たす音声小段落
の数を漸次減らすことができる。これにより要約条件を
満たすＭＴ≒ＹＴの状態を検出することができる。If the result of the first weighting process is still MT> YT, the extraction condition changing step is executed as a second loop. At this time, the weight coefficient W is W = 1
It is calculated by −0.001 × 2. All emphasis probabilities Ps (e)
Is weighted with W = 0.998. As described above, in this example, the extraction condition is changed such that the value of the weighting coefficient W is gradually decreased every time the loop is repeatedly executed, so that the voice amount satisfying the condition of WPs (e)> Ps (n) is reduced. You can gradually reduce the number of paragraphs. As a result, it is possible to detect the state of MT≈YT that satisfies the summary condition.
【００４６】尚、上述では要約時間ＭＴの収束条件とし
てＭＴ≒ＹＴとしたが、厳密にＭＴ＝ＹＴに収束させる
こともできる。この場合には要約条件に例えば５秒不足
している場合、あと１つの音声段落を加えると１０秒超
過してしまうが、音声段落から５秒のみ再生することで
利用者の要約条件に一致させることができる。また、こ
の５秒は強調と判定された音声小段落の付近の５秒でも
よいし、音声段落の先頭から５秒でもよい。また、上述
した初期状態でＭＴ＜ＹＴと判定された場合は重み係数
Ｗを現在値よりも小さく例えばＷ＝１−０．００１×Ｋ
として求め、この重み係数Ｗを平静確率Ｐｓ（ｎ）の配
列に乗算し、平静確率Ｐｓ（ｎ）に重み付けを施せばよ
い。また、他の方法としては初期状態でＭＴ＞ＹＴと判
定された場合に重み係数を現在値より大きくＷ＝１＋
０．００１×Ｋとし、この重み係数Ｗを平静確率Ｐｓ
（ｎ）の配列に乗算してもよい。In the above description, MT≈YT is set as the convergence condition of the summarization time MT, but it is also possible to strictly set MT = YT. In this case, if the summary condition is insufficient for 5 seconds, for example, if another voice paragraph is added, it will exceed 10 seconds, but by reproducing only 5 seconds from the voice paragraph, the summary condition of the user is met. be able to. Further, the 5 seconds may be 5 seconds near the audio sub-paragraph determined to be emphasized, or 5 seconds from the beginning of the audio paragraph. When it is determined that MT <YT in the above-mentioned initial state, the weighting factor W is smaller than the current value, for example, W = 1-0.001 × K.
Then, the weighting coefficient W is multiplied by the array of the calm probability Ps (n) to weight the calm probability Ps (n). As another method, when it is determined that MT> YT in the initial state, the weighting coefficient is made larger than the current value W = 1 +
0.001 × K, and the weighting factor W is set to the calm probability Ps.
The array of (n) may be multiplied.
【００４７】また、要約再生ステップＳ１５では要約抽
出ステップＳ１４で抽出した音声段落列を再生するもの
として説明したが、音声付の画像情報の場合、要約音声
として抽出した音声段落に対応した画像情報を切り出し
てつなぎ合わせ、音声と共に再生することによりテレビ
放送の要約、あるいは映画の要約等を行うことができ
る。また、上述では音声強調確率テーブルに格納した各
音声小段落毎に求めた強調確率又は平静確率のいずれか
一方に直接重み係数Ｗを乗算して重み付けを施すことを
説明したが、強調状態を精度良く検出するためには重み
係数Ｗに各音声小段落を構成するフレームの数Ｆ乗して
ＷFとして重み付けを行うことが望ましい。Further, in the summary reproducing step S15, the audio paragraph string extracted in the abstract extracting step S14 is described as being reproduced, but in the case of image information with voice, image information corresponding to the voice paragraph extracted as the summary voice is reproduced. It is possible to summarize a television broadcast, a movie, or the like by cutting out, connecting, and playing back together with the sound. Further, in the above description, it has been described that either the emphasis probability or the quietness probability obtained for each audio sub-paragraph stored in the audio emphasis probability table is directly multiplied by the weighting coefficient W to perform weighting. For good detection, it is desirable to perform weighting as WF by multiplying the weighting coefficient W by the number F of frames forming each audio sub-paragraph.
【００４８】つまり、式（８）及び式（１０）で算出す
る条件付の強調確率Ｐｓ（ｅ）は各フレーム毎に求めた
強調状態となる確率の積を求めている。また平静状態と
なる確率Ｐｓ（ｎ）も各フレーム毎に算出した平静状態
となる確率の積を求めている。従って、例えば強調確率
Ｐｓ（ｅ）に重み付けを施すには各フレーム毎に求めた
強調状態となる確率毎に重み付け係数Ｗを乗算すれば正
しい重み付けを施したことになる。この場合には音声小
段落を構成するフレーム数をＦとすれば重み係数ＷはＷ
Fとなる。That is, the conditional emphasis probability Ps (e) calculated by the equations (8) and (10) is a product of the probabilities of the emphasized state obtained for each frame. Further, the probability Ps (n) of being in a calm state is also calculated by multiplying the probability of being in a calm state calculated for each frame. Therefore, for example, in order to weight the emphasis probability Ps (e), correct weighting is performed by multiplying the weighting coefficient W for each probability of the emphasis state obtained for each frame. In this case, if the number of frames forming the audio sub-paragraph is F, the weighting factor W is W
It becomes F.
【００４９】この結果、フレームの数Ｆに応じて重み付
けの影響が増減され、フレーム数の多い音声小段落ほ
ど、つまり延長時間が長い音声小段落程大きい重みが付
されることになる。但し、単に強調状態を判定するため
の抽出条件を変更すればよいのであれば各フレーム毎に
求めた強調状態となる確率の積又は平静状態となる積に
重み係数Ｗを乗算するだけでも抽出条件の変更を行うこ
とができる。従って、必ずしも重み付け係数ＷをＷFと
する必要はない。As a result, the influence of weighting is increased or decreased in accordance with the number F of frames, and a speech sub-paragraph having a larger number of frames, that is, a speech sub-paragraph having a longer extension time is given a greater weight. However, if it suffices to simply change the extraction condition for determining the emphasized state, the extraction condition may be obtained by multiplying the product of the probability of the emphasized state or the product of the calm state obtained for each frame by the weighting factor W. Can be changed. Therefore, the weighting coefficient W does not necessarily have to be WF.
【００５０】また、上述では抽出条件の変更手段として
音声小段落毎に求めた強調確率Ｐｓ（ｅ）又は平静確率
Ｐｓ（ｎ）に重み付けを施してＰｓ（ｅ）＞Ｐｓ（ｎ）
を満たす音声小段落の数を変化させる方法を採ったが、
他の方法として全ての音声小段落の強調確率Ｐｓ（ｅ）
と平静確率Ｐｓ（ｎ）に関してその確率比Ｐｓ（ｅ）／
Ｐｓ（ｎ）を演算し、この確率比の降順に対応する音声
信号区間（音声小段落）を累積して要約区間の和を算出
し、要約区間の時間の総和が、略所定の要約時間に合致
する場合、そのときの音声信号区間を要約区間と決定し
て要約音声を編成する方法も考えられる。Further, in the above description, the emphasis probability Ps (e) or the quietness probability Ps (n) obtained for each speech sub-paragraph is weighted as a means for changing the extraction condition, and Ps (e)> Ps (n).
I adopted the method of changing the number of audio sub-paragraphs that satisfy
As another method, the emphasis probability Ps (e) of all audio sub-paragraphs
And the calm probability Ps (n), the probability ratio Ps (e) /
Ps (n) is calculated, and voice signal sections (voice sub-paragraphs) corresponding to the descending order of the probability ratios are accumulated to calculate the sum of the summary sections. If they match, a method of deciding the voice signal section at that time as a summary section and organizing the summary voice may be considered.
【００５１】この場合、編成した要約音声の総延長時間
が要約条件で設定した要約時間に対して過不足が生じた
場合には、強調状態にあると判定するための確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）の値を選択する閾値を変更すれば抽
出条件を変更することができる。この抽出条件変更方法
を採る場合には要約条件を満たす要約音声を編成するま
での処理を簡素化することができる利点が得られる。上
述では各音声小段落毎に求める強調確率Ｐｓ（ｅ）と平
静確率Ｐｓ（ｎ）を各フレーム毎に算出した強調状態と
なる確率の積及び平静状態となる確率の積で算出するも
のとして説明したが、他の方法として各フレーム毎に求
めた強調状態となる確率の平均値を求め、この平均値を
その音声小段落の強調確率Ｐｓ（ｅ）及び平静確率Ｐｓ
（ｎ）として用いることもできる。In this case, when the total extension time of the organized summary voices is more or less than the summarization time set in the summarization condition, the probability ratio Ps for determining the emphasized state is set.
The extraction condition can be changed by changing the threshold value for selecting the value of (e) / Ps (n). When this extraction condition changing method is adopted, it is possible to obtain an advantage that the process up to organizing the summary voice satisfying the summary condition can be simplified. In the above description, the emphasis probability Ps (e) and the quietness probability Ps (n) obtained for each audio sub-paragraph are calculated as the product of the probability of the emphasized state and the product of the probability of the calm state calculated for each frame. However, as another method, the average value of the probabilities of the emphasized state obtained for each frame is obtained, and the average value is used as the emphasis probability Ps (e) and the quietness probability Ps of the audio sub-paragraph.
It can also be used as (n).
【００５２】図１７を用いてこの発明による音声処理装
置の実施例を示す。この実施例では図１３に示した音声
強調状態要約装置の構成に要約条件入力部３１と、音声
強調確率テーブル３２と、強調小段落抽出部３３と、抽
出条件変更部３４と、要約区間仮判定部３５と、この要
約区間仮判定部３５の内部に要約音声の総延長時間を求
める総延長時間算出部３５Ａと、この総延長時間算出部
３５Ａが算出した要約音声の総延長時間が要約条件入力
部３１で入力した要約時間の設定の範囲に入っているか
否かを判定する要約区間決定部３５Ｂと、要約条件に合
致した要約音声を保存し、再生する要約音声保存・再生
部３５Ｃを設けた構成とした点を特徴とするものであ
る。An embodiment of the voice processing apparatus according to the present invention will be described with reference to FIG. In this embodiment, the summary condition input unit 31, the voice emphasis probability table 32, the emphasized sub-paragraph extraction unit 33, the extraction condition change unit 34, and the summary section provisional determination are added to the configuration of the voice emphasis state summarizing device shown in FIG. The unit 35, the total extension time calculation unit 35A for obtaining the total extension time of the summary voice in the summary section provisional determination unit 35, and the total extension time of the summary voice calculated by the total extension time calculation unit 35A A summarization section determination unit 35B that determines whether or not the summarization time input by the unit 31 is within the set range and a summarization voice storage / reproduction unit 35C that stores and reproduces the summarization voice that meets the summarization conditions are provided. It is characterized in that it is configured.
【００５３】入力音声は図１３で説明したように、フレ
ーム毎に音声特徴量が求められ、この音声特徴量に従っ
て強調確率計算部１６と平静確率計算部１７でフレーム
毎に強調確率と、平静確率とを算出し、これら強調確率
と平静確率を各フレームに付与したフレーム番号と共に
記憶部１２に格納する。更に、このフレーム列番号に音
声小段落判定部で判定した音声小段落列に付与した音声
小段落列番号が付記され、各フレーム及び音声小段落に
アドレスが付与される。この発明による音声処理装置で
は強調確率算出部１６と平静確率算出部１７は記憶部１
２に格納している各フレームの強調確率と平静確率を読
み出し、この強調確率及び平静確率から各音声小段落毎
に強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）とを求め、
これら強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）を音声
強調テーブル３２に格納する。As described with reference to FIG. 13, the speech feature amount of the input speech is obtained for each frame, and the enhancement probability calculation unit 16 and the quietness probability calculation unit 17 calculate the enhancement probability and the quietness probability for each frame according to the speech feature amount. And are stored in the storage unit 12 together with the frame number assigned to each frame. Further, to this frame string number, the audio small paragraph string number assigned to the audio small paragraph string determined by the audio small paragraph determination unit is added, and an address is assigned to each frame and audio small paragraph. In the voice processing device according to the present invention, the emphasis probability calculation unit 16 and the quietness probability calculation unit 17 are the storage unit 1.
The emphasis probability and the quietness probability of each frame stored in 2 are read out, and the emphasis probability Ps (e) and the quietness probability Ps (n) are obtained for each speech sub-paragraph from the emphasis probability and the quietness probability,
The emphasis probability Ps (e) and the quietness probability Ps (n) are stored in the voice emphasis table 32.
【００５４】音声強調テーブル３２には各種のコンテン
ツの音声波形の音声小段落毎に求めた強調確率と平静確
率とが格納され、いつでも利用者の要求に応じて要約が
実行できる体制が整えられている。利用者は要約条件入
力部３１に要約条件を入力する。ここで言う要約条件と
は要約したいコンテンツの名称と、そのコンテンツの全
長時間に対する要約率を指す。要約率としてはコンテン
ツの全長を１／１０に要約するか、或は時間で１０分に
要約するなどの入力方法が考えられる。ここで例えば１
／１０と入力した場合は要約時間算出部３１Ａはコンテ
ンツの全長時間を１／１０した時間を算出し、その算出
した要約時間を要約区間仮判定部３５の要約区間決定部
３５Ｂに送り込む。The voice enhancement table 32 stores the enhancement probability and the quietness probability obtained for each voice sub-paragraph of the voice waveform of various contents, and is arranged so that a summary can be executed at any time according to the user's request. There is. The user inputs the summary condition into the summary condition input unit 31. The summarization condition mentioned here indicates the name of the content to be summarized and the summarization rate for the total length of the content. As the summarization rate, an input method such as summarizing the entire length of content to 1/10 or summarizing to 10 minutes in time can be considered. Here, for example, 1
When / 10 is input, the digest time calculation unit 31A calculates a time that is 1/10 of the total time of the content, and sends the calculated digest time to the digest segment determination unit 35B of the digest segment temporary determination unit 35.
【００５５】要約条件入力部３１に要約条件が入力され
たことを受けて制御部１９は要約音声の生成動作を開始
する。その開始の作業としては音声強調テーブル３２か
ら利用者が希望したコンテンツの強調確率と平静確率を
読み出す。読み出された強調確率と平静確率を強調小段
落抽出部３３に送り込み、強調状態にあると判定される
音声小段落番号を抽出する。強調状態にある音声区間を
抽出するための条件を変更する方法としては上述した強
調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に確率比の逆
数となる重み付け係数Ｗを乗算しＷ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出し、音声小段落を
含む音声段落により要約音声を得る方法と、確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）を算出し、この確率比を降順に累算
して要約時間を得る方法とを用いることができる。In response to the input of the abstract condition to the abstract condition input unit 31, the control unit 19 starts the operation of generating the abstract voice. As the starting work, the emphasis probability and the quietness probability of the content desired by the user are read from the voice emphasis table 32. The read emphasis probabilities and quietness probabilities are sent to the emphasis subparagraph extraction unit 33, and the voice subparagraph numbers determined to be in the emphasis state are extracted. As a method of changing the condition for extracting the voice section in the emphasized state, the above-mentioned emphasis probability Ps (e) or the quietness probability Ps (n) is multiplied by a weighting coefficient W which is the reciprocal of the probability ratio, and W · Ps ( e)> Ps
A method of extracting a voice sub-paragraph having a relationship of (n) and obtaining a summary voice by a voice paragraph including a voice sub-paragraph, and a probability ratio Ps
(E) / Ps (n) is calculated, and the probability ratio is accumulated in descending order to obtain the digest time.
【００５６】抽出条件の初期値としては重み付けにより
抽出条件を変更する場合には重み付け係数ＷをＷ＝１と
して初期値とすることが考えられる。また、各音声小段
落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）
の確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）の値に応じて強調状態
と判定する場合は初期値としてその比の値が例えばＰｓ
（ｅ）／Ｐｓ（ｎ）≧１である場合を強調状態と判定す
ることが考えられる。この初期設定状態で強調状態と判
定された音声小段落番号と開始時刻、終了時刻を表わす
データを強調小段落抽出部３３から要約区間仮判定部３
５に送り込む。要約区間仮判定部３５では強調状態と判
定した強調小段落番号を含む音声段落を記憶部１２に格
納している音声段落列から検索し、抽出する。抽出した
音声段落列の総延長時間を総延長時間算出部３５Ａで算
出し、その総延長時間と要約条件で入力された要約時間
とを要約区間決定部３５Ｂで比較する。比較の結果が要
約条件を満たしていれば、その音声段落列を要約音声保
存・再生部３５Ｃで保存し、再生する。この再生動作は
強調小段落抽出部３３で強調状態と判定された音声小段
落の番号から音声段落を抽出し、その音声段落の開始時
刻と終了時刻の指定により各コンテンツの音声データ或
は映像データを読み出して要約音声及び要約映像データ
として送出する。As the initial value of the extraction condition, when changing the extraction condition by weighting, it is conceivable that the weighting coefficient W is set to W = 1 to be the initial value. Further, the emphasis probability Ps (e) and the quietness probability Ps (n) obtained for each audio sub-paragraph
When the emphasis state is determined according to the value of the probability ratio Ps (e) / Ps (n) of Ps (e) / Ps (n), the value of the ratio is, for example, Ps as an initial value.
It may be considered that the case where (e) / Ps (n) ≧ 1 is determined as the emphasized state. Data indicating the audio sub-paragraph number, start time, and end time determined to be emphasized in this initial setting state are output from the emphasized sub-paragraph extraction unit 33 to the summary section provisional determination unit 3
Send to 5. The summary section provisional determination unit 35 searches the voice paragraph string stored in the storage unit 12 for a voice paragraph including the emphasized small paragraph number determined to be in the emphasized state, and extracts the voice paragraph. The total extension time calculation unit 35A calculates the total extension time of the extracted speech paragraph sequence, and the summary section determination unit 35B compares the total extension time with the summary time input under the summary condition. If the comparison result satisfies the summarization condition, the sound paragraph sequence is stored and reproduced by the summarization sound storage / reproduction unit 35C. In this reproducing operation, an audio paragraph is extracted from the number of the audio sub-paragraph determined to be in the emphasized state by the emphasized sub-paragraph extracting unit 33, and the audio data or the video data of each content is specified by specifying the start time and the end time of the audio paragraph. Is read out and transmitted as summarized audio and summarized video data.
【００５７】要約区間決定部３５Ｂで要約条件を満たし
ていないと判定した場合は、要約区間決定部３５Ｂから
抽出条件変更部３４に抽出条件の変更指令を出力し、抽
出条件変更部３４に抽出条件の変更を行わせる。抽出条
件変更部３４は抽出条件の変更を行い、その抽出条件を
強調小段落抽出部３３に入力する。強調小段落抽出部３
３は抽出条件変更部３４から入力された抽出条件に従っ
て再び音声強調確率テーブル３２に格納されている各音
声小段落の強調確率と平静確率との比較判定を行う。When the summary section determining unit 35B determines that the summarization condition is not satisfied, the summary section determining unit 35B outputs a change command of the extraction condition to the extraction condition changing unit 34, and the extraction condition changing unit 34 outputs the extraction condition. To make changes. The extraction condition changing unit 34 changes the extraction condition and inputs the extraction condition to the emphasized small paragraph extracting unit 33. Emphasized subparagraph extraction unit 3
In accordance with the extraction condition input from the extraction condition changing unit 34, 3 again makes a comparison determination between the emphasis probability and the quietness probability of each audio subparagraph stored in the audio emphasis probability table 32.
【００５８】強調小段落抽出部３３の抽出結果は再び要
約区間仮判定部３５に送り込まれ、強調状態と判定され
た音声小段落を含む音声段落の抽出を行わせる。この抽
出された音声段落の総延長時間を算出し、その算出結果
が要約条件を満たすか否かを要約区間決定部３５Ｂで行
う。この動作が要約条件を満たすまで繰り返され、要約
条件が満たされた音声段落列が要約音声及び要約映像デ
ータとして記憶部１２から読み出され再生される。尚、
上述では要約区間の開始時刻及び終了時刻を要約区間と
判定した音声段落列の開始時刻及び終了時刻として取り
出すことを説明したが、映像付のコンテンツの場合は要
約区間と判定した音声段落列の開始時刻と終了時刻に接
近した映像信号のカット点を例えば特開平８−３２９２
４号公報、特許第２８３９１３２号明細書、又は特開平
１１−１８０２８号公報に記載の手段を用いて検出し、
このカット点（画面の切替わりに発生する信号を利用す
る）の時刻で要約区間の開始時刻及び終了時刻を規定す
る方法も考えられる。このように映像信号のカット点を
要約区間の開始時刻及び終了時刻に利用した場合は、要
約区間の切替わりが画像の切替わりに同期するため、視
覚上で視認性が高まり要約の理解度を向上できる利点が
得られる。The extraction result of the emphasized small paragraph extracting section 33 is sent to the summary section temporary judging section 35 again, and the speech paragraph including the speech small paragraph judged to be emphasized is extracted. The total extension time of the extracted voice paragraph is calculated, and the summary section determination unit 35B determines whether or not the calculation result satisfies the summary condition. This operation is repeated until the summarization condition is satisfied, and the audio paragraph string satisfying the summarization condition is read out from the storage unit 12 as the summarized audio and summarized video data and reproduced. still,
In the above description, the start time and end time of the summary section are explained as being extracted as the start time and end time of the audio paragraph string determined to be the summary section, but in the case of content with video, the start of the audio paragraph string determined to be the summary section. For example, the cut point of the video signal close to the time and the end time is disclosed in JP-A-8-3292.
No. 4, Japanese Patent No. 2839132, or Japanese Patent Application Laid-Open No. 11-18028,
A method of defining the start time and the end time of the summary section at the time of this cut point (using a signal generated when switching screens) is also conceivable. In this way, when the cut points of the video signal are used for the start time and end time of the summary section, the switching of the summary section is synchronized with the switching of the image, so that the visibility is improved visually and the comprehension of the summary is improved. The advantage that can be obtained is obtained.
【００５９】また、要約映像の理解度を向上させる他の
方法としてテロップを含む音声段落を優先的に加えるこ
とも考えられる。つまり、テロップにはドラマのタイト
ル、出演者、筋書き等の重要度の高い情報が、またニュ
ースのトピックスのような情報が流される場合が多い。
従って要約映像にテロップを含む映像を優先的に表示す
ることにより、視聴者に重要度の高い情報が伝わる確率
が高くなる。この結果、要約映像の理解度を更に高める
ことができる利点が得られる。尚、テロップの検出方法
としては特開平１１−１６７５８３号公報又は特開２０
００−１８１９９４公報を参照。As another method for improving the comprehension of the summary video, it is possible to preferentially add a voice paragraph containing a telop. In other words, the telop often carries highly important information such as drama titles, casts, and scenarios, and information such as news topics.
Therefore, by preferentially displaying the video including the telop in the summary video, the probability that the highly important information is transmitted to the viewer is increased. As a result, there is an advantage that the comprehension of the summary video can be further enhanced. As a method of detecting a telop, Japanese Patent Laid-Open No. 11-167583 or 20
See 00-181994.
【００６０】以上により音声波形を音声小段落及び音声
段落に分離する方法及び各音声小段落毎に強調状態とな
る確率及び平静状態となる確率を算出できること及び音
声の要約率を自由に変更して任意の長さの要約音声を得
ることができることが理解できよう。以下では上述した
各方法を利用したこの発明によるコンテンツ情報配信方
法、コンテンツ情報配信装置及びそのプログラムに関わ
る実施の形態を説明する。図１にこの発明によるコンテ
ンツ情報配信装置の概要を示す。図中１はコンテンツプ
ロバイダ装置、２は通信網、３はデータセンタ、４は課
金部、５はユーザ端末群を示す。As described above, the method of separating the speech waveform into the speech sub-paragraphs and the speech sub-paragraphs, the probability of being in the emphasized state and the probability of being in the quiet state can be calculated for each speech sub-paragraph, and the summarization rate of the speech can be freely changed. It will be appreciated that summary speech of any length can be obtained. Embodiments relating to the content information distribution method, the content information distribution device, and the program thereof according to the present invention using the above-described methods will be described below. FIG. 1 shows an outline of a content information distribution device according to the present invention. In the figure, 1 is a content provider device, 2 is a communication network, 3 is a data center, 4 is a billing unit, and 5 is a user terminal group.
【００６１】コンテンツプロバイダ装置１はコンテンツ
製作業者或いはコンテンツ販売業者等を指し、具体的に
は例えばテレビ放送事業者、映像配信会社、音楽配信会
社、レンタルビデオ会社などのコンテンツを配信する事
業者が運用するサーバ装置等が該当する。コンテンツプ
ロバイダ装置１は販売を希望するコンテンツを通信網２
を通じて又は他の記録メディアを介してデータセンタ３
に送り込み、データセンタ３に設けたコンテンツ蓄積手
段３Ａに格納する。The content provider device 1 refers to a content producer or a content distributor, and is specifically operated by a content distributor such as a television broadcasting company, a video distribution company, a music distribution company, or a rental video company. A server device or the like that corresponds to this corresponds. The content provider device 1 uses the communication network 2 to send the content desired to be sold.
Through the data center 3 or through another recording medium
And stores it in the content storage means 3A provided in the data center 3.
【００６２】通信網２は例えば電話網、ＬＡＮ、ケーブ
ルテレビ網、或いはインターネット等を利用することが
できる。データセンタ３は要約情報の配信を業とする事
業者が設置したサーバ等によって構成することができ
る。データセンタ３はユーザ端末群５からの要求に従っ
て、希望するコンテンツをコンテンツ蓄積手段３Ａから
取り出して要求元のユーザ端末５Ａ、５Ｂ…５Ｎの何れ
かに配信し、コンテンツの販売に係わる処理を行う。即
ち、配信先ユーザが端末の金融口座に対してコンテンツ
配信に係わる対価に相当する課金処理要求信号を課金部
４に発する。The communication network 2 can use, for example, a telephone network, a LAN, a cable television network, the Internet, or the like. The data center 3 can be configured by a server or the like installed by a business operator that distributes summary information. In accordance with the request from the user terminal group 5, the data center 3 takes out the desired content from the content storage means 3A and distributes it to any of the requesting user terminals 5A, 5B ... 5N, and performs processing relating to content sales. That is, the delivery destination user issues to the billing unit 4 a billing processing request signal corresponding to the consideration for content delivery to the financial account of the terminal.
【００６３】課金部４はコンテンツ販売処理に伴う課金
処理を行う。例えば、配信先ユーザ端末の金融口座の金
融残高からコンテンツ対価を控除すると共に、コンテン
ツ販売者の金融口座の金融残高に当該コンテンツ対価を
加算して実現される。ここで、ユーザ端末郡５からコン
テンツの購入を希望する場合、購入を希望するコンテン
ツの概要を視聴できると都合が良い。特に全長が数時間
に及ぶ長いコンテンツを希望する時間、例えば５分程度
に圧縮して要約し、この要約した要約コンテンツを視聴
できるとユーザは購入すべきか否かの判断を明快に決め
ることができる。The billing section 4 carries out a billing process associated with the content sale process. For example, it is realized by deducting the content consideration from the financial balance of the financial account of the delivery destination user terminal and adding the content consideration to the financial balance of the financial account of the content seller. Here, when purchasing content from the user terminal group 5, it is convenient to be able to view an overview of the content desired to be purchased. In particular, a long content having a total length of several hours is compressed into a desired time, for example, about 5 minutes and summarized, and if the summarized content can be viewed, the user can clearly determine whether or not to purchase. .
【００６４】また、他の例として留守中に録画したテレ
ビ放送番組を任意の時間に圧縮して要約し、その要約さ
れた要約内容を視聴したい場合がある。このような場
合、要約時間をデータセンタ３に指示するとデータセン
タ３から再生用データが返送され、この再生用データを
使って放送番組の録画を再生することにより希望する圧
縮率に圧縮された放送番組を再生できると都合が良い。
このため、この発明ではコンテンツの販売に先だって
購入を希望するコンテンツの要約を生成し、この生成し
た要約コンテンツをユーザ端末に配信するコンテンツ情
報配信方法及び装置、又は対象となるコンテンツを希
望する要約時間に圧縮して再生するための再生用データ
を生成し、この再生用データをユーザ端末に配信するこ
とができるコンテンツ情報配信方法及び装置を提供する
ものである。Further, as another example, there is a case where it is desired to compress a TV broadcast program recorded during absence and compress it at an arbitrary time to view the summarized contents. In such a case, when the data center 3 is instructed to give a summary time, the data center 3 returns the reproduction data, and the recorded data of the broadcast program is reproduced by using the reproduction data, whereby the broadcast compressed to the desired compression ratio is broadcast. It would be convenient to be able to play the program.
Therefore, according to the present invention, a content information distribution method and apparatus for generating a summary of content desired to be purchased prior to selling the content and distributing the generated summary content to the user terminal, or a desired summary time for the target content. (EN) A content information distribution method and apparatus capable of generating reproduction data for compression and reproduction, and distributing the reproduction data to a user terminal.
【００６５】以下ではの目的に沿うコンテンツ情報配
信装置の実施の形態を図２を用いて説明する。図２に示
す３６はこの発明で提案するコンテンツ情報配信装置を
示す。このコンテンツ情報配信装置３６はデータセンタ
３に配置され、その構成はコンテンツ蓄積手段３Ａと、
コンテンツ検索部３Ｂと、コンテンツ要約部３Ｃと、要
約情報配信部３Ｄとによって構成することができる。
尚、３Ｅはコンテンツ蓄積手段３Ａにコンテンツを入力
するコンテンツ入力部、３Ｆはユーザ端末群５が購入を
希望するコンテンツ又は希望したコンテンツの要約コン
テンツをユーザ端末に配信するコンテンツ配信部を示
す。An embodiment of the content information distribution device for the following purpose will be described below with reference to FIG. Reference numeral 36 shown in FIG. 2 shows a content information distribution apparatus proposed by the present invention. The content information distribution device 36 is arranged in the data center 3, and its configuration is the content storage means 3A.
The content search unit 3B, the content summarization unit 3C, and the summary information distribution unit 3D can be used.
Reference numeral 3E indicates a content input unit for inputting content into the content storage unit 3A, and reference numeral 3F indicates a content distribution unit for distributing the content that the user terminal group 5 desires to purchase or the summarized content of the desired content to the user terminal.
【００６６】コンテンツ蓄積手段３Ａは音声信号を含む
コンテンツとその属性を示す補助情報を対応付けて蓄積
し、コンテンツ検索部３Ｂではユーザ端末からコンテン
ツの補助情報を受信し、これに対応するコンテンツをコ
ンテンツ蓄積手段から検索する。コンテンツ要約部３Ｃ
では検索されたコンテンツの要約区間を抽出する。ここ
では前記のように少なくとも基本周波数又はピッチ周
期、パワー、動的特徴量の時間変化特性、又はこれらの
フレーム間差分を含む特徴量と強調状態での出現確率と
を対応して格納した符号帳を備え、コンテンツに含まれ
る音声信号をフレーム毎に分析した特徴量に対応する強
調状態での出現確率を求め、強調状態での出現確率に基
づいて強調状態となる確率を算出し、強調状態となる確
率が所定の確率よりも大きい音声信号区間を要約区間と
判定する。判定された要約区間に相当する音声信号区間
をもって、コンテンツに映像信号を含む場合は音声要約
区間の時刻の区間を加え、要約情報配信部３Ｄは要約コ
ンテンツとして抽出する。コンテンツ配信部３Ｆでは抽
出した要約コンテンツをユーザ端末に配信することにな
る。The content storage means 3A stores the content including the audio signal and the auxiliary information indicating the attribute thereof in association with each other, and the content search section 3B receives the auxiliary information of the content from the user terminal, and the content corresponding to the content is reproduced. Search from the storage means. Content summary section 3C
Then, the summary section of the searched content is extracted. Here, as described above, a codebook in which at least the fundamental frequency or pitch period, the power, the time change characteristic of the dynamic feature amount, or the feature amount including the difference between the frames and the appearance probability in the emphasized state are stored in association with each other. The appearance probability in the emphasized state corresponding to the feature amount obtained by analyzing the audio signal included in the content for each frame is calculated, and the probability of becoming the emphasized state is calculated based on the appearance probability in the emphasized state. A voice signal section whose probability is higher than a predetermined probability is determined as a summary section. With the audio signal section corresponding to the determined summary section, when the content includes a video signal, the section at the time of the audio summary section is added, and the summary information distribution unit 3D extracts the summary content. The content delivery unit 3F delivers the extracted summary content to the user terminal.
【００６７】コンテンツ蓄積装置３Ａは図３に示すよう
に、コンテンツプロバイダ装置１から送られてくるコン
テンツ６を蓄積するコンテンツ保管データベース３Ａ−
１と、このコンテンツ保管データベース３Ａ−１に蓄積
した各コンテンツの属性を表わす補助情報を蓄積した補
助情報データベース３Ａ−２とによって構成される。イ
ンターネットテレビ欄運用者はデータベース運用者と同
一であってもよいし、同一でなくてもよい。コンテンツ
保管データベース３Ａ−１に蓄積した各コンテンツは例
えばテレビ放送番組を例として考えると、放送局のチャ
ンネルＮｏ．毎に仕分けされて各チャンネルＮｏ．毎に
放送時間に従って蓄積が行われる。図３に示す例では７
２２チャンネルのコンテンツ保管部３Ａ−２の様子を示
す。補助情報データベース３Ａ−２にはコンテンツの補
助情報が蓄積される。補助情報源としては例えばインタ
ーネットテレビ欄７を用いることができる。インターネ
ットテレビ欄に７２２チャンネル、日付２００１年１月
１日、時刻９時〜１０時を指定することにより、インタ
ーネットテレビ欄７から題名「フレンド第８回」「主
役：鈴木太郎」「ヒロイン：佐藤花子」「概要：男女の
青春ストーリー」等の補助情報が得られる。これらの補
助情報を補助情報データベース３Ａ−２にダウンロード
することにより、コンテンツ保管データベース３Ａ−１
に２００１年１月１日９時〜１０時を蓄積したコンテン
ツと対応付けされる。As shown in FIG. 3, the content storage device 3A stores a content storage database 3A- which stores the content 6 sent from the content provider device 1.
1 and an auxiliary information database 3A-2 in which auxiliary information representing the attribute of each content stored in the content storage database 3A-1 is stored. The Internet TV section operator may or may not be the same as the database operator. Considering, for example, a television broadcast program as an example, each content stored in the content storage database 3A-1 has a channel number of the broadcast station. Each channel is sorted according to channel number. The data is stored according to the broadcast time every time. 7 in the example shown in FIG.
The state of the content storage part 3A-2 of 22 channels is shown. Auxiliary information of contents is stored in the auxiliary information database 3A-2. As the auxiliary information source, for example, the Internet TV section 7 can be used. By designating channel 722, date January 1, 2001, time 9:00 to 10:00 in the Internet TV section, the title from the Internet TV section 7 is "Friend 8th""Protagonist: Taro Suzuki""Heroine: Hanako Sato “Summary: Youth stories of men and women” and other supplementary information can be obtained. By downloading these pieces of auxiliary information to the auxiliary information database 3A-2, the content storage database 3A-1
Is associated with the content that has been stored on January 1, 2001 from 9:00 to 10:00.
【００６８】ユーザは例えばユーザ端末５Ａデータセン
タ３にアクセスし、データセンタ３に設けたコンテンツ
検索部３Ｂに要約を希望する番組の放送日時、チャンネ
ルＮｏ．番組名等を入力する。図４にその様子を示す。
図４に示す例では放送日が２００１年１月１日、チャン
ネルＮｏ．７２２、番組が「ロサンゼルス物語」か又は
「フレンド」とした場合を示す。表示部３Ｂ−１、３Ｂ
−２、３Ｂ−３に黒丸が表示されていることにより、こ
れらの項目が設定されていることを表わしている。The user accesses, for example, the data center 3 of the user terminal 5A, and the content search unit 3B provided in the data center 3 broadcasts the date and time of the program desired to be summarized, the channel number. Enter the program name, etc. This is shown in FIG.
In the example shown in FIG. 4, the broadcast date is January 1, 2001, and the channel number. 722, the case where the program is “Los Angeles Story” or “Friend”. Display units 3B-1 and 3B
-2, 3B-3 are indicated by black circles, which indicates that these items are set.
【００６９】コンテンツ検索部３Ｂは補助情報データベ
ース３Ａ−２から、該当する番組を検索し、その検索結
果をコンテンツ要約部３Ｃに引き渡す。この場合、２０
０１年１月１日９時〜１０時に放送された「フレンド」
が検索されてコンテンツ要約部３Ｃに引き渡される。コ
ンテンツ要約部３Ｃはコンテンツ検索部３Ｂから渡され
たコンテンツの要約を行う。コンテンツ要約部３Ｃで行
われるコンテンツの要約は図５に示す手順に従って実行
される。The content retrieving section 3B retrieves the corresponding program from the auxiliary information database 3A-2 and delivers the retrieval result to the content summarizing section 3C. In this case, 20
"Friend" broadcasted from 9:00 to 10:00 on January 1, 2001
Is retrieved and delivered to the content summarizing section 3C. The content summarizing section 3C summarizes the content passed from the content searching section 3B. The content summarization performed by the content summarizing unit 3C is executed according to the procedure shown in FIG.
【００７０】ステップＳ３０４−１で要約条件をユーザ
が入力する。要約条件としては要約率又は要約時間が挙
げられる。要約率とはここでは要約後のコンテンツの全
再生時間のコンテンツ中の全再生時間に対する割合を指
す。また要約時間は要約内容の総延長時間を指す。例え
ば１時間のコンテンツを９０秒に要約する等の入力方法
が採られる。ユーザが入力する任意の要約率又は予め設
定された要約率を用いる。要約条件を入力すると、ステ
ップＳ３０４−２で映像信号と音声信号とを分離する。
更にステップＳ３０４−３で音声信号を使って要約を実
行する。要約が終了すると、要約された音声信号に対応
する映像信号を抽出し、その映像信号をつなぎ合わせて
音声信号と共にユーザ端末の中の例えば５Ａに配信す
る。In step S304-1, the user inputs the summary condition. The summary condition may be a summary rate or a summary time. Here, the summarization rate means the ratio of the total reproduction time of the content after the summarization to the total reproduction time of the content. The summary time indicates the total extension time of the summary contents. For example, an input method such as summarizing one hour of content in 90 seconds is adopted. An arbitrary summarization rate input by the user or a preset summarization rate is used. When the summary condition is input, the video signal and the audio signal are separated in step S304-2.
Further, in step S304-3, the summary is executed using the audio signal. When the summarization is completed, a video signal corresponding to the summarized audio signal is extracted, and the video signals are connected and delivered to the user terminal, for example, 5A together with the audio signal.
【００７１】要約された音声信号と映像信号が配信され
ることによりユーザ端末５Ａでは例えば１時間の番組を
９０秒で視聴することができる。視聴の結果、購入を希
望する場合は、ユーザ端末から配信要求信号を発信する
ことにより、データセンタ３はコンテンツ配信部３Ｅ
（図２参照）からユーザ端末５Ａに希望のコンテンツを
配信する。この配信の結果、課金部４はユーザ端末５Ａ
にコンテンツの代金を課金する。以上はコンテンツの販
売を目的とした要約の配信について説明したが、他の実
施例としては要約を行うための再生用データを配信する
サービスも考えられる。By delivering the summarized audio signal and video signal, the user terminal 5A can watch a program of, for example, one hour in 90 seconds. If the user desires to purchase the product as a result of viewing, the data center 3 transmits the distribution request signal from the user terminal, thereby causing the data distribution unit 3E to operate.
Desired content is distributed from the user terminal 5A (see FIG. 2). As a result of this distribution, the charging unit 4 determines that the user terminal 5A
Pay for the content. The distribution of the abstract for the purpose of selling the content has been described above, but as another embodiment, a service of distributing reproduction data for performing the abstract may be considered.
【００７２】ユーザ端末５Ａから補助情報を受信してか
ら要約区間を判定するまでの処理は前述のコンテンツ情
報配信装置と同様である。しかし、ここではコンテンツ
を配信するのではなく要約区間を示す音声段落開始時刻
・終了時刻の組を配信する。つまり、前述したように音
声信号をフレーム毎に無音区間か否か、有声区間か否か
判定し、所定フレーム数以上の無音区間で囲まれ、有声
区間を含む部分を音声小段落と判定し、音声小段落に含
まれる有声区間の平均パワーが該音声小段落内の平均パ
ワーの所定の定数倍より小さい音声小段落を末尾とする
音声小段落群を音声段落と判定し、要約時間を音声段落
毎に累積して求め、要約区間の開始時刻として各音声段
落の開始時刻を、要約区間の終了時刻として各音声段落
の終了時刻を求める。求められた各音声段落の開始時
刻、終了時刻をユーザ端末５Ａに送信する。ユーザ端末
５Ａでは当該コンテンツの配信を受けていれば、各音声
段落について開始時刻から終了時刻までコンテンツを再
生することでユーザは要約コンテンツを視聴できる。The processing from the reception of the auxiliary information from the user terminal 5A to the determination of the summary section is the same as the above-mentioned content information distribution device. However, here, instead of delivering the content, a set of audio paragraph start time and end time indicating a summary section is delivered. That is, as described above, whether or not the voice signal is a silent section for each frame, it is determined whether it is a voiced section, it is surrounded by a silent section of a predetermined number of frames or more, it is determined that the portion including the voiced section is a voice sub-paragraph, The average power of voiced sections included in a voice sub-paragraph is determined to be a voice paragraph with a voice sub-paragraph ending at a voice sub-paragraph that is smaller than a predetermined constant multiple of the average power in the voice sub-paragraph, and the summarization time is set to the voice paragraph. The start time of each voice paragraph is calculated as the start time of the summary section, and the end time of each voice paragraph is calculated as the end time of the summary section. The obtained start time and end time of each audio paragraph are transmitted to the user terminal 5A. If the user terminal 5A receives the distribution of the content, the user can view the summary content by playing the content from the start time to the end time for each audio paragraph.
【００７３】つまり、ユーザ端末から補助情報と要約要
求信号を発信し、データセンタでは補助情報に対応する
コンテンツについて要約コンテンツを生成し要約区間の
開始時刻、終了時刻を決定し、これらの時刻をユーザ端
末に送信する。データセンタ３は依頼の要約条件に従っ
て目的とする番組を要約し、要約に必要な再生用データ
（要約に用いられる音声段落の開始時刻、終了時刻等）
をユーザ端末５Ａに配信する。ユーザ端末５Ａは配信さ
れた再生用データを使ってその番組の要約を再生し、希
望した要約時間内に番組を視聴する。従って、この場合
には再生用データの配信に関して課金処理要求信号を課
金部４に送信する。課金部４では再生用データ配信に伴
う課金処理を行う。例えば、配信先ユーザ端末の金融口
座の金融残高から再生用データ対価を控除すると共に、
データセンタ管理者の金融口座の金融残高に当該データ
対価を加算して実現される。That is, auxiliary information and a summary request signal are transmitted from the user terminal, the data center generates summary content for the content corresponding to the auxiliary information, determines the start time and end time of the summary section, and determines these times by the user. Send to the terminal. The data center 3 summarizes the target program according to the summary condition of the request, and the reproduction data necessary for the summary (start time, end time, etc. of the audio paragraph used for the summary).
Is delivered to the user terminal 5A. The user terminal 5A reproduces the summary of the program using the distributed reproduction data, and views the program within the desired summary time. Therefore, in this case, the billing processing request signal is transmitted to the billing unit 4 regarding the distribution of the reproduction data. The charging unit 4 carries out a charging process associated with the reproduction data distribution. For example, while deducting the reproduction data consideration from the financial balance of the financial account of the distribution destination user terminal,
It is realized by adding the data consideration to the financial balance of the financial account of the data center manager.
【００７４】以上説明したコンテンツ情報配信装置でな
される処理方法はデータセンタ３を構成する計算機によ
りプログラムを実行することによって実施される。当該
プログラムは通信回線を介してダウンロードしたり磁気
ディスクやＣＤ−ＲＯＭ等の記録媒体からＣＰＵのよう
な処理手段にインストールして実行される。The processing method performed by the content information distribution device described above is executed by executing the program by the computer constituting the data center 3. The program is downloaded via a communication line or installed in a processing means such as a CPU from a recording medium such as a magnetic disk or a CD-ROM and executed.
【００７５】[0075]
【発明の効果】以上説明したように、この発明によれば
コンテンツの購入に際してそのコンテンツの要約を希望
する要約時間に圧縮して視聴することができる。従って
短時間に内容を知ることができ、購入の判断を的確に下
すことができる。また、他の実施例で述べたように留守
中に録画されたコンテンツに関して要約の依頼を出すこ
とができ、その依頼に従って要約を実行することができ
る再生用データの配信を行うこともできるから、要約を
行うプログラムを各ユーザ端末５Ａ〜５Ｎに用意しなく
ても各ユーザ端末５Ａ〜５Ｎで要約を実行することがで
きる利点も得られる。As described above, according to the present invention, when purchasing a content, the summary of the content can be compressed and viewed at a desired summarization time. Therefore, the contents can be known in a short time, and the purchase decision can be accurately made. Further, as described in the other embodiments, it is possible to issue a request for the abstract regarding the content recorded while the user is out, and it is also possible to deliver the reproduction data capable of executing the abstract in accordance with the request. There is also an advantage that the summarization can be executed by each user terminal 5A-5N without preparing a program for summarizing in each user terminal 5A-5N.
【図１】この発明による要約情報配信システムの全体の
構成を説明するためのブロック図。FIG. 1 is a block diagram for explaining an overall configuration of a summary information distribution system according to the present invention.
【図２】この発明の要部の構成を説明するためのブロッ
ク図。FIG. 2 is a block diagram for explaining a configuration of a main part of the present invention.
【図３】図２に示したコンテンツ検索部の詳細を説明す
るためのブロック図。FIG. 3 is a block diagram for explaining details of a content search unit shown in FIG.
【図４】図２に示したコンテンツ検索部の検索条件の設
定の一例を説明するための図。FIG. 4 is a diagram for explaining an example of setting search conditions of the content search unit shown in FIG.
【図５】図２に示したコンテンツ要約部の動作を説明す
るためのフローチャート。FIG. 5 is a flowchart for explaining the operation of the content summarizing unit shown in FIG.
【図６】先に提案した音声要約方法を説明するためのフ
ローチャート。FIG. 6 is a flowchart for explaining the voice summarization method proposed above.
【図７】先に提案した音声段落の抽出方法を説明するた
めのフローチャート。FIG. 7 is a flowchart for explaining the previously proposed method of extracting a voice paragraph.
【図８】音声段落と音声小段落の関係を説明するための
図。FIG. 8 is a diagram for explaining the relationship between audio paragraphs and audio subparagraphs.
【図９】図６に示したステップＳ２における入力音声小
段落の発話状態を判定する方法の例を示すフローチャー
ト。9 is a flowchart showing an example of a method of determining the utterance state of an input voice sub-paragraph in step S2 shown in FIG.
【図１０】先に提案した音声要約方法に用いられるコー
ドブックを作成する手順の例を示すフローチャート。FIG. 10 is a flowchart showing an example of a procedure for creating a codebook used in the previously proposed speech summarization method.
【図１１】この発明において用いられるコードブックの
記憶例を示す例。FIG. 11 is an example showing a storage example of a codebook used in the present invention.
【図１２】発話状態尤度計算を説明するための波形図。FIG. 12 is a waveform diagram for explaining a speech state likelihood calculation.
【図１３】先に提案した音声強調状態判定装置及び音声
要約装置の一実施例を説明するためのブロック図。FIG. 13 is a block diagram for explaining an embodiment of the previously proposed voice enhancement state determination device and voice summarization device.
【図１４】要約率を自由に変更することができる要約方
法を説明するためのフローチャート。FIG. 14 is a flowchart for explaining a summarization method capable of freely changing the summarization rate.
【図１５】音声の要約に用いる音声小段落の抽出動作と
各音声小段落の強調確率算出動作、音声小段落平静確率
抽出動作を説明するためのフローチャート。FIG. 15 is a flowchart for explaining an operation of extracting a voice sub-paragraph used for summarizing a voice, an operation of calculating an emphasis probability of each voice sub-paragraph, and an operation of extracting a voice sub-paragraph calm probability.
【図１６】音声要約装置に用いる音声強調確率テーブル
の構成を説明するための図。FIG. 16 is a diagram for explaining the configuration of a speech emphasis probability table used in the speech summarization device.
【図１７】要約率を自由に変更することができる音声要
約装置の一例を説明するためのブロック図。FIG. 17 is a block diagram for explaining an example of a voice summarizing device capable of freely changing the summarization rate.
１ コンテンツプロバイダ ３Ｄ 要約情
報配信部２ 通信網 ３Ｅ コンテ
ンツ入力部３ データセンタ ３Ｆ コンテ
ンツ配信部３Ａ コンテンツ蓄積手段 ４ 課金部３Ｂ コンテンツ検索部 ５ ユーザ
端末群３Ｃ コンテンツ要約部 ３６ コンテ
ンツ情報配信装置1 Content Provider 3D Summary Information Distribution Unit 2 Communication Network 3E Content Input Unit 3 Data Center 3F Content Distribution Unit 3A Content Storage Unit 4 Billing Unit 3B Content Search Unit 5 User Terminal Group 3C Content Summarization Unit 36 Content Information Distribution Device
─────────────────────────────────────────────────────フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/04 Ｈ０４Ｎ 5/91 Ｃ 15/06 Ｇ１０Ｌ 3/00 ５１５Ｄ Ｈ０３Ｍ 7/30 ５２１Ｕ Ｈ０４Ｎ 5/91 ５１３Ｚ 7/173 ６１０ ５５１Ｇ 9/00 ３０１Ａ (72)発明者 水野 理 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内(72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内(72)発明者 桑野 秀豪 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内Ｆターム(参考） 5C053 FA14 GB11 HA30 JA01 LA14 5C064 BB01 BB07 BC16 BD02 BD08 5D015 FF00 5J064 AA01 BA13 BC01 BC08 BC09 BC14 BC28 BC29 BD02 BD03─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl.7 Identification code FI theme code (reference) G10L 15/04 H04N 5/91 C 15/06 G10L 3/00 515D H03M 7/30 521U H04N 5/91 513Z 7/173 610 551G 9/00 301A (72) Inventor Osamu Mizuno 2-3-1, Otemachi, Chiyoda-ku, Tokyo Nihon Telegraph and Telephone Corporation (72) Inventor Haruhiko Kojima 2-chome, Otemachi, Chiyoda-ku, Tokyo No. 3-1 Nippon Telegraph and Telephone Corp. (72) Inventor Hidego Kuwano No. 3-1, Otemachi, Chiyoda-ku, Tokyo Nihon Telegraph and Telephone Corp. F-term (reference) 5C053 FA14 GB11 HA30 JA01 LA14 5C064 BB01 BB07 BC16 BD02 BD08 5D015 FF00 5J064 AA01 BA13 BC01 BC08 BC09 BC14 BC28 BC29 BD02 BD03
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002059188AJP2003255983A (en) | 2002-03-05 | 2002-03-05 | Content information distribution method, content information distribution device, content information distribution program |
| DE60204827TDE60204827T2 (en) | 2001-08-08 | 2002-08-08 | Enhancement detection for automatic speech summary |
| EP02017720AEP1288911B1 (en) | 2001-08-08 | 2002-08-08 | Emphasis detection for automatic speech summary |
| US10/214,232US20030055634A1 (en) | 2001-08-08 | 2002-08-08 | Speech processing method and apparatus and program therefor |
| US11/397,803US8793124B2 (en) | 2001-08-08 | 2006-04-05 | Speech processing method and apparatus for deciding emphasized portions of speech, and program therefor |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002059188AJP2003255983A (en) | 2002-03-05 | 2002-03-05 | Content information distribution method, content information distribution device, content information distribution program |
| Publication Number | Publication Date |
|---|---|
| JP2003255983Atrue JP2003255983A (en) | 2003-09-10 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002059188APendingJP2003255983A (en) | 2001-08-08 | 2002-03-05 | Content information distribution method, content information distribution device, content information distribution program |
| Country | Link |
|---|---|
| JP (1) | JP2003255983A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011024572A1 (en)* | 2009-08-28 | 2011-03-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Audio feature extracting apparatus, audio feature extracting method, and audio feature extracting program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023062A (en)* | 1998-06-30 | 2000-01-21 | Toshiba Corp | Digest creation system |
| JP2001175685A (en)* | 1999-12-22 | 2001-06-29 | Sony Corp | Information providing device, information using device, information processing device, system and method for providing information, information using method, and recording medium |
| JP2001258005A (en)* | 2000-03-13 | 2001-09-21 | Sony Corp | Distributor, distribution system and its method |
| JP2003316378A (en)* | 2001-08-08 | 2003-11-07 | Nippon Telegr & Teleph Corp <Ntt> | Audio processing method, apparatus using the method, and program therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023062A (en)* | 1998-06-30 | 2000-01-21 | Toshiba Corp | Digest creation system |
| JP2001175685A (en)* | 1999-12-22 | 2001-06-29 | Sony Corp | Information providing device, information using device, information processing device, system and method for providing information, information using method, and recording medium |
| JP2001258005A (en)* | 2000-03-13 | 2001-09-21 | Sony Corp | Distributor, distribution system and its method |
| JP2003316378A (en)* | 2001-08-08 | 2003-11-07 | Nippon Telegr & Teleph Corp <Ntt> | Audio processing method, apparatus using the method, and program therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011024572A1 (en)* | 2009-08-28 | 2011-03-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Audio feature extracting apparatus, audio feature extracting method, and audio feature extracting program |
| GB2485926A (en)* | 2009-08-28 | 2012-05-30 | Ibm | Audio feature extracting apparatus, audio feature extracting method, and audio feature extracting program |
| GB2485926B (en)* | 2009-08-28 | 2013-06-05 | Ibm | Speech feature extracting apparatus, speech feature extracting method, and speech feature extracting program |
| JP2013178575A (en)* | 2009-08-28 | 2013-09-09 | Internatl Business Mach Corp <Ibm> | Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program |
| US8930185B2 (en) | 2009-08-28 | 2015-01-06 | International Business Machines Corporation | Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program |
| Publication | Publication Date | Title |
|---|---|---|
| US8793124B2 (en) | Speech processing method and apparatus for deciding emphasized portions of speech, and program therefor | |
| JP3621686B2 (en) | Data editing method, data editing device, data editing program | |
| US7523036B2 (en) | Text-to-speech synthesis system | |
| CN108780653B (en) | System and method for audio content production, audio sequencing and audio mixing | |
| US11463772B1 (en) | Selecting advertisements for media programs by matching brands to creators | |
| US9077581B2 (en) | Device and method for monitoring, rating and/or tuning to an audio content channel | |
| US8898055B2 (en) | Voice quality conversion device and voice quality conversion method for converting voice quality of an input speech using target vocal tract information and received vocal tract information corresponding to the input speech | |
| US20080046406A1 (en) | Audio and video thumbnails | |
| JP2003510625A (en) | Method and apparatus for preparing a creation filtered by listener interest | |
| US11785299B1 (en) | Selecting advertisements for media programs and establishing favorable conditions for advertisements | |
| US11687314B2 (en) | Digital audio workstation with audio processing recommendations | |
| CN114078464B (en) | Audio processing method, device and equipment | |
| JP2008517315A (en) | Data processing apparatus and method for notifying a user about categories of media content items | |
| JP3803311B2 (en) | Voice processing method, apparatus using the method, and program thereof | |
| JP2003288096A (en) | Content information distribution method, content information distribution device, content information distribution program | |
| JP3803302B2 (en) | Video summarization device | |
| JP2005512134A (en) | Digital audio with parameters for real-time time scaling | |
| US20050069282A1 (en) | Information reproducing method, recording medium on which information reproducing program is computer-readably recorded, and information reproducing apparatus | |
| JP4256393B2 (en) | Voice processing method and program thereof | |
| JP3803301B2 (en) | Summary section determination method, summary information providing method, apparatus using these methods, and program | |
| JP2003255983A (en) | Content information distribution method, content information distribution device, content information distribution program | |
| JP2004145161A (en) | Voice database registration processing method, voice generation source recognition method, voice generation section search method, voice database registration processing apparatus, voice generation source recognition apparatus, voice generation section search apparatus, and its program and recording medium of the program | |
| JP2023013684A (en) | SINGING VOICE CONVERSION PROGRAM AND SINGING VOICE CONVERSION DEVICE | |
| JP2005352420A (en) | Summary content generation apparatus, generation method and program thereof | |
| JP2005353006A (en) | Summary content distribution system and distribution method |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20050719 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A132 Effective date:20050802 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20060418 |