JP6614745B2 - System and method for speech synthesis of provided text - Google Patents

Description

Translated fromJapanese

本発明は、概して音声合成並びに通信システムと方法に関する。より詳細には、本発明は、パラメータ生成を使用し、提供されたテキストから音声を合成することに関する。  The present invention relates generally to speech synthesis and communication systems and methods. More particularly, the present invention relates to synthesizing speech from provided text using parameter generation.

提供されたテキストの音声合成のためのシステムと方法が示される。特に、システム内でのパラメータ生成は、パラメータのストリームの段階的近似ではなく音声の自然な流れを真似するために連続近似として実行される。提供されたテキストは、分割されることができ、パラメータは、音声モデルを使用して生成されることができる。音声モデルから生成されたパラメータは、音声合成に適用する新たなパラメータのセットを得るために後処理段階においてさらに使用される。  A system and method for speech synthesis of provided text is presented. In particular, parameter generation within the system is performed as a continuous approximation to mimic the natural flow of speech rather than a stepwise approximation of the parameter stream. The provided text can be split and the parameters can be generated using a speech model. The parameters generated from the speech model are further used in the post-processing stage to obtain a new set of parameters to apply to speech synthesis.

ある実施形態において、提供されたテキストのためのコンテキストラベルを生成する手段と、音声モデルを使用して、前記提供されたテキストために生成された前記コンテキストラベルのためのパラメータのセットを生成する手段と、分散スケーリングが可能である、前記生成されたパラメータのセットの処理手段と、音声合成のために処理されたパラメータのセットを適用することが可能である、前記提供されたテキストのための音声合成手段とを含む、提供されたテキストの音声合成のためのシステムが示される。  In some embodiments, means for generating a context label for the provided text and means for generating a set of parameters for the context label generated for the provided text using a speech model Speech for the provided text, wherein said means for processing said generated set of parameters capable of distributed scaling and said set of parameters processed for speech synthesis can be applied A system for speech synthesis of provided text including synthesis means is shown.

別の実施形態において、提供されたテキストをフレーズのシーケンスに分割するステップと、音声モデルを使用して前記フレーズのシーケンスのためのパラメータを生成するステップと、提供されたテキストのための音声合成に使用可能である別のパラメータのセットを得るために、前記生成されたパラメータを処理するステップとを含む、連続的な特徴ストリームを使用する、音声合成に使用するための提供されたテキストのためのパラメータ生成方法が示される。  In another embodiment, dividing the provided text into a sequence of phrases, generating a parameter for the sequence of phrases using a speech model, and speech synthesis for the provided text Processing the generated parameters to obtain another set of parameters that can be used for a provided text for use in speech synthesis using a continuous feature stream A parameter generation method is shown.

音声合成のシステムの実施形態を示す図である。1 is a diagram illustrating an embodiment of a speech synthesis system.

音声合成システムの変更実施形態を示す図である。It is a figure which shows the modified embodiment of a speech synthesis system.

パラメータ生成の実施形態を示すフローチャートである。It is a flowchart which shows embodiment of parameter generation.

パラメータ生成の実施形態を示す図である。It is a figure which shows embodiment of parameter generation.

ｆ０パラメータ生成処理の実施形態を示すフローチャートである。It is a flowchart which shows embodiment of f0 parameter generation processing.

ＭＣＥＰｓ生成処理の実施形態を示すフローチャートである。It is a flowchart which shows embodiment of MCEPs production | generation processing.

本発明の原理を理解するのを促す目的で、図面に表されている実施形態を参照し、具体的な用語を使用してそれらの実施形態を説明する。それにもかかわらず、本発明の範囲の限定はそれによって意図されていないことが理解されよう。説明されている実施形態における任意の変更およびさらなる修正、ならびに本明細書に記載されている本発明の原理の任意のさらなる応用は、本発明が関連する技術分野における当業者に一般的に想起されるように企図されている。  For the purpose of promoting an understanding of the principles of the invention, reference will now be made to the embodiments illustrated in the drawings and specific language will be used to describe the embodiments. It will nevertheless be understood that no limitation of the scope of the invention is thereby intended. Any changes and further modifications in the described embodiments, as well as any further applications of the principles of the invention described herein, will generally occur to those skilled in the art to which the invention pertains. It is intended to be

従来のテキスト読み上げ（ＴＴＳ）システムにおいて、文字言語若しくはテキストは、自動的に言語規格に変換されることができる。言語規格は、音声波形を生成するために音声コーパスの保存形式または音声コーパスのモデルに指標をつける。統計的パラメトリック音声システムは、いかなる音声もそのものは保存せず、かわりに音声モデルを保存する。音声コーパスのモデルと言語分析の出力結果とは、出力音声の合成に使用されるパラメータのセットを評価するために使用されることができる。音声コーパスのモデルは、音声パラメータが適合する確率関数の平均と共分散を含む。検索モデルは、音声シグナルを表すために、基本周波数（ｆ０）およびメルケプストラム（ＭＣＥＰｓ）などのスペクトルパラメータを生成することができる。しかし、これらのパラメータは、固定フレームレートのためであり、ステートマシンから得られる。パラメータのストリームの段階的近似は、音声の自然な流れの真似ではない結果を生む。自然な音声は、連続的であり段階的ではない。ある実施形態において、音声の自然な流れを真似するために、モデルの段階的近似を連続的なストリームへと変換するシステムと方法が開示される。  In conventional text-to-speech (TTS) systems, a character language or text can be automatically converted to a language standard. Language standards index speech corpus storage formats or speech corpus models to generate speech waveforms. Statistical parametric speech systems do not store any speech itself, but instead store a speech model. The speech corpus model and the output of the linguistic analysis can be used to evaluate a set of parameters used for the synthesis of the output speech. The speech corpus model includes the mean and covariance of the probability function that the speech parameters fit. The search model can generate spectral parameters such as fundamental frequency (f0) and mel cepstrum (MCEPs) to represent the audio signal. However, these parameters are for a fixed frame rate and are obtained from the state machine. A stepwise approximation of the parameter stream yields a result that is not an imitation of the natural flow of speech. Natural speech is continuous and not gradual. In one embodiment, a system and method for converting a stepped approximation of a model into a continuous stream to mimic the natural flow of speech is disclosed.

図１は、１００として全体が示されている音声合成のための従来のシステムのある実施形態を表す図である。音声合成システムの基本構成要素は、音声コーパス１０６、言語規格１０７、パラメータ化モジュール１０８を含むことができる訓練モジュール１０５と、テキスト１１１、コンテキストラベル１１２、統計的パラメータモデル１１３、音声合成モジュール１１４を含むことができる合成モジュール１１０とを含むことができる。  FIG. 1 is a diagram representing one embodiment of a conventional system for speech synthesis, indicated generally as 100. The basic components of a speech synthesis system include atraining module 105 that can include aspeech corpus 106, alanguage standard 107, aparameterization module 108, atext 111, acontext label 112, astatistical parameter model 113, and aspeech synthesis module 114. And asynthesis module 110 that can be included.

訓練モジュール１０５は、統計的パラメータモデル１１３を訓練するために使用することができる。訓練モジュール１０５は、音声コーパス１０６、言語規格１０７、パラメータ化モジュール１０８を含むことができる。音声コーパス１０６は、言語規格１０７に変換されることができる。音声コーパスは、言語のボキャブラリーを成立させる音節と単語の文脈における言語において生成される音声を扱うために選択された文字言語またはテキストを含むことができる。言語規格１０７は、音声コーパスのモデルの保存形式または音声波形を生成するための音声コーパスのモデルに指標をつける。音声そのものは保存されないが、音声のモデルは保存される。モデルは、音声パラメータが適合する確率関数の平均と共分散を含む。  Thetraining module 105 can be used to train thestatistical parameter model 113. Thetraining module 105 can include aspeech corpus 106, alanguage standard 107, and aparameterization module 108. Thespeech corpus 106 can be converted into alanguage standard 107. The speech corpus may include a written language or text selected to handle speech generated in a language in the context of syllables and words that establish the vocabulary of the language. Thelanguage standard 107 provides an index to a speech corpus model for generating a speech corpus model storage format or speech waveform. The voice itself is not saved, but the voice model is saved. The model includes the mean and covariance of the probability function that the speech parameters fit.

合成モジュール１１０は、音声モデルを保存し音声を生成することができる。合成モジュール１１０は、テキスト１１１、コンテキストラベル１１２、統計的パラメータモデル１１３、音声合成モジュール１１４を含むことができる。コンテキストラベル１１２は、様々な粒度をもつことができるテキスト１１１内のコンテキスト情報を表し、たとえば、サラウンディングサウンド、サラウンディング単語、サラウンディングフレーズなどに関する情報を表す。コンテキストラベル１１２は、言語モデルから提供されたテキストのために生成されることができる。統計的パラメータモデル１１３は、音声パラメータが適合する確率関数の平均と共分散を含むことができる。  Thesynthesis module 110 can store a speech model and generate speech. Thesynthesis module 110 can includetext 111,context labels 112, astatistical parameter model 113, and aspeech synthesis module 114. Thecontext label 112 represents context information in thetext 111 that can have various granularities, for example, information about surrounding sounds, surrounding words, surrounding phrases, and the like. Thecontext label 112 can be generated for text provided from a language model. Thestatistical parameter model 113 can include the mean and covariance of the probability function that the speech parameters fit.

音声合成モジュール１１４は、テキスト１１１の音声パラメータを受信し、当該パラメータを合成音声へと変換する。これは、スペクトル情報を時間領域信号に変換するためのメル対数スペクトル近似（ＭＬＳＡ）フィルタなどの標準的な方法を使用してなされることができる。  Thespeech synthesis module 114 receives the speech parameters of thetext 111 and converts the parameters into synthesized speech. This can be done using standard methods such as a mel log spectrum approximation (MLSA) filter to convert the spectral information into a time domain signal.

図２は、２００として全体が示されているパラメータ生成を使用した音声合成システムのある変更実施形態を表す図である。システムの基本構成要素は、図１の基本構成要素と類似した構成要素にパラメータ生成モジュール２０５を加えた基本構成要素を含むことができる。統計的パラメトリック音声合成システムにおいて、音声信号は、固定フレームレートにおけるパラメータのセットとして表される。パラメータ生成モジュール２０５は、統計的パラメータモデル１１３からオーディオ信号を受信し、変換する。ある実施形態において、時間領域内のオーディオ信号は、より効率的な処理のためにスペクトル領域などの他の領域へと数学的に変換されている。スペクトル情報は、さらに音声信号を表すためにｆ０およびＭＣＥＰｓなどの周波数係数形式で保存される。パラメータ生成は、入力として指標をつけられた音声モデルと、出力として指標をつけられたスペクトルパラメータを有しているようなものである。ある実施形態において、隠れマルコフモデル（ＨＭＭ）技術が使用される。モデル１１３は、スタティック係数とも呼ばれるパラメータの統計分布だけでなく、それらの変化率も含む。変化率は、デルタ係数と呼ばれる一次導関数と、デルタデルタ係数とされる二次導関数とを有するものとして説明されることができる。３つのタイプのパラメータは、モデルの単一の観測ベクトル中に共にスタックされている。パラメータ生成処理は、下記により詳細に示される。  FIG. 2 is a diagram representing a modified embodiment of a speech synthesis system using parameter generation, indicated generally as 200. The basic components of the system can include basic components obtained by adding theparameter generation module 205 to components similar to the basic components of FIG. In statistical parametric speech synthesis systems, speech signals are represented as a set of parameters at a fixed frame rate. Theparameter generation module 205 receives the audio signal from thestatistical parameter model 113 and converts it. In some embodiments, the audio signal in the time domain has been mathematically converted to another region, such as the spectral region, for more efficient processing. Spectral information is stored in the form of frequency coefficients such as f0 and MCEPs to further represent the audio signal. Parameter generation is like having a speech model indexed as input and a spectral parameter indexed as output. In some embodiments, Hidden Markov Model (HMM) technology is used. Themodel 113 includes not only a statistical distribution of parameters, also called static coefficients, but also their rate of change. The rate of change can be described as having a first derivative called the delta coefficient and a second derivative called the delta delta coefficient. The three types of parameters are stacked together in a single observation vector of the model. The parameter generation process is shown in more detail below.

従来のパラメータの統計モデルにおいては、パラメータの平均と分散のみ考慮されている。平均パラメータは、パラメータ生成の各状態のために使用される。これは、自然な音声作用に反して各状態の遷移時において値が突然変化する区分的定数パラメータの軌跡を生成する。さらに、スタティック係数の統計的特性だけが考慮され、パラメータの値の変化速度は考慮されない。したがって、図２に表された変更実施形態のように、一次導関数と二次導関数の統計的特性が考慮されなければならない。  In the conventional parameter statistical model, only the average and variance of the parameters are considered. The average parameter is used for each state of parameter generation. This produces a trajectory of piecewise constant parameters whose values suddenly change at each state transition, contrary to natural speech effects. Furthermore, only the statistical properties of the static coefficients are considered, not the rate of change of the parameter values. Therefore, the statistical properties of the first and second derivatives must be considered, as in the modified embodiment depicted in FIG.

最尤パラメータ生成（ＭＬＰＧ）は、スタティック係数と導関数の統計的特性を考慮した方法である。しかし、この方法はシーケンスの長さを増加させる多大な計算量を有するため、リアルタイムシステムにおける実施は実際的ではない。テキストメッセージ全体ではなく言語セグメントに基づいたパラメータを生成するより効率的な方法が下記に示されている。言語セグメントは、ＴＴＳシステム中のコンテキストラベル「休止（ｐａｕｓｅ）」によって区切ることができる任意の単語群または文章群を指すこともある。  Maximum likelihood parameter generation (MLPG) is a method that takes into account the statistical properties of static coefficients and derivatives. However, since this method has a large amount of computation to increase the length of the sequence, implementation in a real-time system is not practical. A more efficient way of generating parameters based on language segments rather than entire text messages is shown below. A language segment may refer to any group of words or sentences that can be separated by a context label “pause” in the TTS system.

図３は、３００として全体が示されているパラメータの軌跡を生成するある実施形態を表すフローチャートである。パラメータの軌跡はテキストメッセージ全体のかわりに言語セグメントに基づいて生成される。パラメータ生成の前に、統計的パラメ―タモデル１１３に示される継続性モデルを使用して状態シーケンスが選択されることができる。これは、統計的パラメータモデル中の各状態から生成されるフレームの数を決定する。パラメータ生成モジュールによって仮定されるように、パラメータは同一の状態においては変化しない。この軌跡が結果として音声信号の質を低下させることになる。しかし、デルタパラメータとデルタデルタパラメータからの情報を使用してより平滑な軌跡を積算すると、音声合成出力はより自然でより明瞭である。  FIG. 3 is a flowchart illustrating an embodiment for generating a parameter trajectory, indicated generally as 300. The parameter trajectory is generated based on the language segment instead of the entire text message. Prior to parameter generation, a state sequence can be selected using the continuity model shown in thestatistical parameter model 113. This determines the number of frames generated from each state in the statistical parameter model. As assumed by the parameter generation module, the parameters do not change in the same state. This trajectory results in a decrease in the quality of the audio signal. However, using the information from the delta parameter and the delta delta parameter to accumulate a smoother trajectory, the speech synthesis output is more natural and clearer.

動作３０５において、状態シーケンスが選択される。たとえば、状態シーケンスは、モデル１１３の各状態から生成されるフレームの数を決定する統計的パラメータモデル１１３を使用して、選択されることができる。制御は動作３１０に移され、処理３００は継続する。  Inoperation 305, a state sequence is selected. For example, a state sequence can be selected using astatistical parameter model 113 that determines the number of frames generated from each state of themodel 113. Control is transferred tooperation 310 andprocess 300 continues.

動作３１０において、セグメントが分割される。ある実施形態において、セグメント分割は、休止モデルに包含された状態のシーケンスとして定められる。制御は、動作３１５ａ、３１５ｂのうち少なくとも１つに移され、処理３００は継続する。  Inoperation 310, the segment is split. In some embodiments, the segmentation is defined as a sequence of states included in the pause model. Control is transferred to at least one ofoperations 315a, 315b andprocess 300 continues.

動作３１５ａおよび動作３１５ｂにおいて、スペクトルパラメータが生成される。スペクトルパラメータは音声シグナルを表し、基本周波数３１５ａ、ＭＣＥＰｓ、３１５ｂのうち少なくとも１つを含む。これらの処理は、下記の図５と図６とにおいて、より詳細に示される。制御は動作３２０に移され、処理３００は継続する。  Inoperations 315a and 315b, spectral parameters are generated. The spectral parameter represents an audio signal and includes at least one of thefundamental frequencies 315a, MCEPs, 315b. These processes are shown in more detail in FIGS. 5 and 6 below. Control is transferred tooperation 320 andprocess 300 continues.

動作３２０において、パラメータの軌跡が作成される。たとえば、パラメータの軌跡は、時間領域に沿った全ての状態にわたって各パラメータのストリームを連結することによって、作成されることができる。実際には、パラメータモデルの各次元は軌跡をもつ。そのような１つの次元のパラメータの軌跡作成の実例が図４に全体的に提供される。図４（ＫＩＮＧ，Ｓｉｍｏｎ（２０１０年６月２４日） Ａ ｂｅｇｉｎｎｅｒｓ’ ｇｕｉｄｅ ｔｏ ｓｔａｔｉｓｔｉｃａｌ ｐａｒａｍｅｔｒｉｃ ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ： Ｔｈｅ Ｃｅｎｔｒｅ ｆｏｒ Ｓｐｅｅｃｈ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｅｄｉｎｂｕｒｇｈ， ＵＫ 、ｐｐ．９）は、平滑にされたＭＬＰＧからの軌跡の一般化された実施形態である。  Inoperation 320, a parameter trajectory is created. For example, a parameter trajectory can be created by concatenating each parameter stream across all states along the time domain. In practice, each dimension of the parameter model has a trajectory. An example of creating such a one-dimensional parameter trajectory is provided generally in FIG. Fig. 4 (KING, Simon (June 24, 2010) A beginners' guide to statistical PG, p from U. 2 is a generalized embodiment of a trajectory.

図５は、５００として全体が示されている基本周波数パラメータ生成のための処理のある実施形態を表すフローチャートである。処理は、入力テキストが言語セグメントに分割された後にパラメータ生成モジュール２０５（図２）中に発生することがある。パラメータはセグメントごとに予測される。  FIG. 5 is a flow chart representing an embodiment of a process for generating fundamental frequency parameters, indicated generally as 500. Processing may occur in the parameter generation module 205 (FIG. 2) after the input text has been divided into language segments. Parameters are predicted for each segment.

動作５０５において、フレームがインクリメントされる。たとえば、フレームは、いくつかの音声化されたセグメントを含むことができる言語セグメントに対して、検査されることができる。パラメータのストリームは、ｉ＝１が第一フレームを表し、ｉ＝２が第二フレームを表すなどのように、フレームユニットに基づくことができる。フレームをインクリメントについて、「ｉ」の値は望ましい間隔で増加される。ある実施形態において、「ｉ」の値は各回に１ずつ増加されることができる。制御は動作５１０に移され、処理５００は継続する。  Inoperation 505, the frame is incremented. For example, a frame can be examined against a language segment that can include several voiced segments. The parameter stream can be based on frame units, such that i = 1 represents the first frame, i = 2 represents the second frame, and so on. For incrementing frames, the value of “i” is increased at the desired interval. In some embodiments, the value of “i” can be increased by 1 each time. Control is transferred tooperation 510 andprocess 500 continues.

動作５１０において、言語セグメントが信号中に存在するか否かが判定される。言語セグメントが存在すると判定された場合、制御は動作５１５に移され、処理５００は継続する。言語セグメントが存在しないと判定された場合、制御は動作５２５に移され、処理５００は継続する。  Inoperation 510, it is determined whether a language segment is present in the signal. If it is determined that a language segment is present, control is transferred tooperation 515 andprocess 500 continues. If it is determined that the language segment does not exist, control is transferred tooperation 525 andprocess 500 continues.

動作５１０における判定は、任意の適切な基準に基づいて行われることができる。ある実施形態において、言語セグメントのセグメント分割は、休止モデルに包含された状態のシーケンスとして定められる。  The determination inact 510 can be made based on any suitable criteria. In one embodiment, the segmentation of language segments is defined as a sequence of states included in the pause model.

動作５１５において、全体的な分散の調整が行われる。たとえば、全体的な分散は、言語セグメントの変動を調整するために使用されてもよい。ｆ０軌跡は、パラメータ生成におけるスタティック係数とデルタ係数の平均を使用するため、自然な音声と比較するとダイナミックレンジがより小さくなる傾向にあってもよい。分散スケーリングは、合成された信号がより鮮明に聞こえるように、ｆ０軌跡のダイナミックレンジを拡大することができる。制御は動作５２０に移され、処理５００は継続する。  Inoperation 515, an overall variance adjustment is made. For example, the overall variance may be used to adjust for variations in language segments. Since the f0 locus uses the average of the static coefficient and the delta coefficient in parameter generation, the dynamic range may tend to be smaller than that of natural speech. Dispersion scaling can expand the dynamic range of the f0 trajectory so that the synthesized signal can be heard more clearly. Control is transferred tooperation 520 andprocess 500 continues.

動作５２０において、ログ領域から線形周波数領域への変換が基本周波数において実行され、処理５００は終了する。  Inoperation 520, the transformation from the log domain to the linear frequency domain is performed at the fundamental frequency, and theprocess 500 ends.

動作５２５において、音声化が開始したか否かが判定される。音声化が開始していないと判定された場合、制御は動作５３０に移され、処理５００は継続する。音声化が開始したと判定された場合、制御は動作５３５に移され、処理５００は継続する。  Inoperation 525, it is determined whether or not voice has started. If it is determined that speech has not started, control is transferred tooperation 530 andprocess 500 continues. If it is determined that the voice has started, control is transferred tooperation 535 andprocess 500 continues.

動作５２０における判定は、任意の適切な基準に基づくことができる。ある実施形態において、ｆ０モデルがｆ０の有効値を予測した場合、セグメントは音声化されたセグメントであるとみなされ、ｆ０モデルがゼロを予測した場合、セグメントは音声化されていないセグメントであるとみなされる。  The determination inact 520 can be based on any suitable criteria. In some embodiments, if the f0 model predicts a valid value of f0, the segment is considered to be a voiced segment, and if the f0 model predicts zero, the segment is an unvoiced segment. It is regarded.

動作５３０において、フレームは音声化されていないと判定されている。ｆ０（ｉ）＝０のように当該フレームのスペクトルパラメータは０である。制御は動作５０５に戻され、処理５００は継続する。  Inact 530, it is determined that the frame is not voiced. The spectrum parameter of the frame is 0, such as f0 (i) = 0. Control is returned tooperation 505 andprocess 500 continues.

動作５３５において、フレームは音声化されていると判定されており、第一フレームにおいて音声化されているか否かがさらに判定される。音声化が第一フレームにおいてなされていると判定された場合、制御は動作５４０に移され、処理５００は継続する。音声化が第一フレームにおいてなされていないと判定された場合、制御は動作５４５に移され、処理５００は継続する。  Inact 535, it is determined that the frame is voiced and it is further determined whether it is voiced in the first frame. If it is determined that speech is being made in the first frame, control is transferred tooperation 540 andprocess 500 continues. If it is determined that no audio has been made in the first frame, control is transferred to operation 545 andprocess 500 continues.

動作５３５における判定は、任意の適切な基準に基づくことができる。ある実施形態においては、判定は予測されたｆ０値に基づいており、別の実施形態においては、判定は音声化予測のための特定モデルに基づいている可能性がある。  The determination inact 535 can be based on any suitable criteria. In some embodiments, the determination is based on the predicted f0 value, and in other embodiments, the determination may be based on a specific model for speech prediction.

動作５４０において、第一フレームのスペクトルパラメータは、ｆ０（ｉ）＝ｆ０＿ｍｅａｎ（ｉ）というセグメントの平均である。制御は動作５０５に戻され、処理５００は継続する。  Inoperation 540, the spectral parameter of the first frame is the average of the segment f0 (i) = f0_mean (i). Control is returned tooperation 505 andprocess 500 continues.

動作５４５において、デルタ値が調整される必要があるか否かが判定される。デルタ値は調整が必要であると判定された場合、制御は動作５５０に移され、処理５００は継続する。デルタ値は調整が必要でないと判定された場合、制御は動作５５５に移され、処理５００は継続する。  In operation 545, it is determined whether the delta value needs to be adjusted. If it is determined that the delta value needs to be adjusted, control is transferred tooperation 550 andprocess 500 continues. If it is determined that the delta value does not require adjustment, control is transferred tooperation 555 andprocess 500 continues.

動作５４５における判定は、任意の適切な基準に基づくことができる。たとえば、各フレームにおけるパラメータの望ましい水準への変更を制御するために調整が必要であることがある。  The determination in act 545 can be based on any suitable criteria. For example, adjustments may be necessary to control changes to the desired level of parameters in each frame.

動作５５０において、デルタがクランプされる。ｆ０＿ｄｅｌｔａＭｅａｎ（ｉ）は、クランプ後にｆ０＿ｎｅｗ＿ｄｅｌｔａＭｅａｎ（ｉ）として示されることができる。クランプされなかった場合、ｆ０＿ｎｅｗ＿ｄｅｌｔａＭｅａｎ（ｉ）はｆ０＿ｄｅｌｔａＭｅａｎ（ｉ）に等しい。デルタをクランプする目的は、各フレームにおけるパラメータの望ましい水準への変更を確実に制御することである。変更が大きすぎる場合、いくつかのフレームに渡って変更が持続した場合、パラメータの軌跡は、望ましい自然な音声の範囲内に入らない。制御は動作５５５に移され、処理５００は継続する。  Inoperation 550, the delta is clamped. f0_deltaMean (i) can be denoted as f0_new_deltaMean (i) after clamping. If not clamped, f0_new_deltaMean (i) is equal to f0_deltaMean (i). The purpose of clamping the delta is to ensure control of changes to the desired level of parameters in each frame. If the change is too large, the parameter trajectory will not fall within the desired natural speech range if the change persists over several frames. Control is passed tooperation 555 andprocess 500 continues.

動作５５５において、現行のパラメータの値は、ｆ０（ｉ）＝ｆ０（ｉ−１）＋ｆ０＿ｎｅｗ＿ｄｅｌｔａＭｅａｎ（ｉ）という予測値にパラメータのデルタ値を足した値に更新される。これは、モデルごとの軌跡のランプアップまたはランプダウンを促進する。次に、制御は動作５６０に移され、処理５００は継続する。  Inoperation 555, the current parameter value is updated to the predicted value of f0 (i) = f0 (i-1) + f0_new_deltaMean (i) plus the parameter delta value. This facilitates ramp-up or ramp-down of the trajectory for each model. Control is then passed tooperation 560 andprocess 500 continues.

動作５６０において、音声が終了されたか否かが判定される。音声が終了されていないと判定された場合、制御は動作５０５に移され、処理５００は継続する。音声が終了されたと判定された場合、制御は動作５６５に移され、処理５００は継続する。  Inoperation 560, it is determined whether the audio has been terminated. If it is determined that the audio has not been terminated, control is transferred tooperation 505 andprocess 500 continues. If it is determined that the audio has been terminated, control is transferred tooperation 565 andprocess 500 continues.

動作５６０における判定は、任意の適切な基準に基づくことができる。ある実施形態において、連続フレームの数のｆ０値がゼロとなることは、音声が終了されたことを示すことができる。  The determination atoperation 560 can be based on any suitable criteria. In an embodiment, a f0 value of the number of consecutive frames being zero can indicate that the audio has been terminated.

動作５６５において、平均値の移行が行われる。たとえば、全ての有声フレーム、または音声化されたセグメントがひとたび終了されると、音声セグメントの平均値は望ましい値に調整されることができる。平均値の調整は、パラメータの軌跡を望ましい自然な音声の範囲に移行することもできる。制御は動作５７０に移され、処理５００は継続する。  Inoperation 565, a transition of the average value is performed. For example, once all voiced frames, or voiced segments, are terminated, the average value of the voice segments can be adjusted to the desired value. The adjustment of the average value can also shift the parameter trajectory to the desired natural speech range. Control is transferred tooperation 570 andprocess 500 continues.

動作５７０において、音声セグメントは平滑化される。たとえば、生成されたパラメータの軌跡は、ある箇所で突然変化した可能性があり、これにより、合成された言語音声に震音や音飛びを生じさせる。長尺のウィンドウの平滑化により、ｆ０軌跡をより平滑にすることができ、合成された言語音声をより自然にすることができる。制御は動作５０５に戻され、処理５００は継続する。処理は、任意の必要な回数継続的に繰り返すことができる。各フレームは、いくつかの音声化されたセグメントを含むことができる言語セグメントが終了するまで処理されることができる。言語セグメントの分散は、全体的な分散に基づいて調整されることができる。スタティック係数とデルタ係数の平均値がパラメータ生成に使用されるため、パラメータの軌跡は、自然な音声と比較するとより小さいダイナミックレンジを有してもよい。分散スケーリング法は、合成されたシグナルがくぐもった音にならないよう、パラメータの軌跡のダイナミックレンジを拡大するために使用されることができる。次に、スペクトルパラメータはログ領域から線状領域へと変換されることができる。  Inact 570, the speech segment is smoothed. For example, the generated parameter trajectory may have suddenly changed at a certain location, thereby causing a vibration or sound skip in the synthesized speech. By smoothing the long window, the f0 trajectory can be made smoother and the synthesized speech can be made more natural. Control is returned tooperation 505 andprocess 500 continues. The process can be continuously repeated any desired number of times. Each frame can be processed until the end of the language segment, which can include several voiced segments. The distribution of language segments can be adjusted based on the overall distribution. Since the average value of the static and delta coefficients is used for parameter generation, the parameter trajectory may have a smaller dynamic range compared to natural speech. The variance scaling method can be used to expand the dynamic range of the parameter trajectory so that the synthesized signal does not sound muffled. The spectral parameters can then be converted from a log region to a linear region.

図６は、６００として全体が示されているＭＣＥＰｓ生成の実施形態を示すフローチャートである。処理は、パラメータ生成モジュール２０５（図２）において行われることがある。  FIG. 6 is a flowchart illustrating an embodiment of MCEPs generation, indicated generally as 600. Processing may be performed in the parameter generation module 205 (FIG. 2).

動作６０５において、出力パラメータ値が初期化される。ある実施形態において、出力パラメータ値は以前のフレームにて生成されたパラメータに依存しているため、出力パラメータは時間ｉ＝０のときに初期化されることができる。したがって、初期ｍｃｅｐ（０）＝ｍｃｅｐ＿ｍｅａｎ（１）である。制御は動作６１０に移され、処理６００は継続する。  Inoperation 605, output parameter values are initialized. In some embodiments, the output parameter value can be initialized when time i = 0 because the output parameter value depends on the parameter generated in the previous frame. Therefore, initial msep (0) = mcep_mean (1). Control is transferred tooperation 610 andprocess 600 continues.

動作６１０において、フレームはインクリメントされる。たとえば、フレームは、いくつかの音声化されたセグメントを含むことができる言語セグメントに対して、検査されることができる。パラメータのストリームは、ｉ＝１が第一フレームを表し、ｉ＝２が第二フレームを表すなどのように、フレームユニットに基づくことができる。フレームのインクリメントについて、「ｉ」の値は望ましい間隔で増加される。ある実施形態において、「ｉ」の値は各回に１ずつ増加されることができる。制御は動作６１５に移され、処理６００は継続する。  Inoperation 610, the frame is incremented. For example, a frame can be examined against a language segment that can include several voiced segments. The parameter stream can be based on frame units, such that i = 1 represents the first frame, i = 2 represents the second frame, and so on. For frame increments, the value of “i” is increased at the desired interval. In some embodiments, the value of “i” can be increased by 1 each time. Control is passed tooperation 615 andprocess 600 continues.

動作６１５において、セグメントが終了されたか否かが判定される。セグメントが終了されたと判定された場合は、制御は動作６２０に移され、処理６００は継続する。セグメントが終了されていないと判定された場合は、制御は動作６３０に移され、処理は継続する。  Inoperation 615, it is determined whether the segment has been terminated. If it is determined that the segment is terminated, control is transferred tooperation 620 andprocess 600 continues. If it is determined that the segment has not been terminated, control is transferred tooperation 630 and processing continues.

動作６１５における判定は、言語モジュールからの情報及び休止の存在を使用して行われる。  The determination inact 615 is made using information from the language module and the presence of a pause.

動作６２０において、音声セグメントは平滑化される。たとえば、生成されたパラメータの軌跡はある箇所で突然変化した可能性があり、この突然変化により、合成された言語音声に震音や音飛びを生じさせる。長尺のウィンドウの平滑化により、軌跡をより平滑にすることができ、合成された言語音声をより自然にすることができる。制御は動作６２５に移され、処理６００は継続する。  Inoperation 620, the speech segment is smoothed. For example, the generated parameter trajectory may have suddenly changed at a certain location, and this sudden change causes a synthesized speech sound to have a vibration or skipping sound. By smoothing the long window, the trajectory can be made smoother and the synthesized speech can be made more natural. Control is transferred tooperation 625 andprocess 600 continues.

動作６２５において、全体的な分散の調整が行われる。たとえば、全体的な分散は、言語セグメントの分散を調整するために使用されることができる。軌跡は、パラメータ生成にスタティック係数とデルタ係数の平均値を使用するため、自然な音声と比較するとダイナミックレンジがより小さくなる傾向があってもよい。分散スケーリングは、合成されたシグナルがくぐもった音にならないよう、軌跡のダイナミックレンジを拡大することができる。処理６００は終了する。  Inoperation 625, an overall variance adjustment is made. For example, the overall distribution can be used to adjust the distribution of language segments. Since the trajectory uses the average value of the static coefficient and the delta coefficient for parameter generation, the dynamic range may tend to be smaller than that of natural speech. Dispersion scaling can expand the dynamic range of the trajectory so that the synthesized signal is not muffled.Process 600 ends.

動作６３０において、音声化が開始したか否かが判定される。音声化が開始していないと判定された場合、制御は動作６３５に移され、処理６００は継続する。音声化が開始したと判定された場合、制御は動作６４０に移され、処理６００は継続する。  Inact 630, it is determined whether or not voice has started. If it is determined that voice conversion has not started, control is transferred tooperation 635 andprocess 600 continues. If it is determined that the voice has started, control is transferred tooperation 640 andprocess 600 continues.

動作６３０の判定は、任意の適切な基準に基づくことができる。ある実施形態において、ｆ０モデルがｆ０の有効値を予測した場合、セグメントは音声化されたセグメントであるとみなされ、ｆ０モデルがゼロを予測した場合、セグメントは音声化されていないセグメントであるとみなされる。  The determination ofoperation 630 can be based on any suitable criteria. In some embodiments, if the f0 model predicts a valid value of f0, the segment is considered to be a voiced segment, and if the f0 model predicts zero, the segment is an unvoiced segment. It is regarded.

動作６３５において、スペクトルパラメータが判定される。フレームのスペクトルパラメータは、ｍｃｅｐ（ｉ）＝（ｍｃｅｐ（ｉ−１）＋ｍｃｅｐ＿ｍｅａｎ（ｉ））／２となる。制御は動作６１０に戻され、処理６００は継続する。  Inoperation 635, the spectral parameters are determined. The spectral parameter of the frame is mcep (i) = (mcep (i−1) + mcep_mean (i)) / 2. Control is returned tooperation 610 andprocess 600 continues.

動作６４０において、フレームは音声化されているか判定され、音声が第一フレームにあるか否かがさらに判定される。音声が第一フレームにあると判定された場合、制御は動作６３５に戻され、処理６００は継続する。音声が第一フレームにないと判定された場合、制御は動作６４５に移され、処理６００は継続する。  Inact 640, it is determined whether the frame is voiced and it is further determined whether the voice is in the first frame. If it is determined that the audio is in the first frame, control is returned tooperation 635 andprocess 600 continues. If it is determined that the audio is not in the first frame, control is transferred tooperation 645 andprocess 600 continues.

動作６４５において、音声は第一フレームに無く、スペクトルパラメータは、ｍｃｅｐ（ｉ）＝（ｍｃｅｐ（ｉ−１）＋ｍｃｅｐ＿ｄｅｌｔａ（ｉ）＋ｍｃｅｐ＿ｍｅａｎ（ｉ））／２となる。制御は動作６１０に戻され、処理６００は継続する。ある実施形態において、複数のＭＣＥＰｓはシステム中に存在することができる。処理６００は、すべてのＭＣＥＰｓが処理されるまで任意の回数繰り返すことができる。  Inoperation 645, there is no speech in the first frame and the spectrum parameter is msep (i) = (msep (i-1) + msep_delta (i) + msep_mean (i)) / 2. Control is returned tooperation 610 andprocess 600 continues. In some embodiments, multiple MCEPs can exist in the system.Process 600 can be repeated any number of times until all MCEPs have been processed.

図および前述の説明において本発明を詳細に表し、記述したが、これらは単に説明であり、特徴を限定するものではない。好ましい実施形態のみが表され、記述されていると理解すべきであって、ここに記載されている本発明の精神と、後述の保護を求める特許請求の範囲にある本発明の精神の少なくとも一方の範囲内からくるすべての均等物、変更、修正が含まれると理解すべきである。  While the invention has been illustrated and described in detail in the drawings and foregoing description, the foregoing is only illustrative and not restrictive in character. It should be understood that only the preferred embodiments have been shown and described, and at least one of the spirit of the invention as described herein and the spirit of the invention as claimed in the following claims seeking protection. It should be understood that all equivalents, changes and modifications that come within the scope of

ゆえに本発明の適切な範囲は、添付の特許請求の範囲の最も広い解釈によって決めるべきであり、そのようなすべての修正並びに図面に表された事項および明細書に記載された事項と均等の関係にあるすべての事項が含まれる。  Accordingly, the proper scope of the invention should be determined by the broadest interpretation of the appended claims, and all such modifications as well as equivalent matters to those expressed in the drawings and described in the specification. All items in are included.

Claims (24)

Translated fromJapanese

ａ．提供されたテキストのためのコンテキストラベルを生成する手段と、
ｂ．音声モデルを使用して、前記提供されたテキストのために生成された前記コンテキストラベルのためのパラメータのセットであって、ダイナミックレンジを有するｆ０（基本周波数）軌跡を含むパラメータのセットを生成する手段と、
ｃ．クランプされたデルタ係数値を含む処理されたパラメータのセットを生成するために、その生成されたパラメータのセットを処理する手段であって、前記ｆ０軌跡のダイナミックレンジを拡大する分散スケーリングが可能である手段と、
ｄ．音声合成のために処理されたパラメータのセットを適用することが可能である、前記提供されたテキストの音声合成手段と
を含む、提供されたテキストの音声合成システム。a. Means for generating a context label for the provided text;
b. Means for generating, using a speech model, a set of parameters for the context label generated for the provided text, comprising a f0 (fundamental frequency) trajectory having a dynamic range When,
c. Means for processing the generated set of parameters to generate a processed set of parameters including the clamped delta coefficient values, wherein distributed scaling is possible to expand the dynamic range of the f0 trajectory. Means,
d. A provided text-to-speech synthesis system comprising: the provided text-to-speech synthesis means capable of applying a set of processed parameters for speech synthesis. 前記音声モデルは、少なくとも１つのスペクトルパラメータの統計分布と前記スペクトルパラメータの変化率とを含む、請求項１に記載のシステム。  The system of claim 1, wherein the speech model includes a statistical distribution of at least one spectral parameter and a rate of change of the spectral parameter. 前記音声モデルは、予測統計的パラメータモデルを含む、請求項１に記載のシステム。  The system of claim 1, wherein the speech model includes a predictive statistical parameter model. 前記提供されたテキストのためのコンテキストラベルの前記生成手段は、言語モデルを含む、請求項１に記載のシステム。  The system of claim 1, wherein the means for generating a context label for the provided text includes a language model. 前記音声合成手段は、スペクトル情報を時間領域信号へと変換可能な、請求項１に記載のシステム。  The system of claim 1, wherein the speech synthesizer is capable of converting spectral information into a time domain signal. 音声合成に使用するために提供されたテキストのパラメータを生成する方法であって、
ａ．前記提供されたテキストをフレーズのシーケンスに分割するステップと、
ｂ．音声モデルを使用して前記フレーズのシーケンスのパラメータを生成するステップと、
ｃ．その生成されたパラメータを処理して、クランプされたデルタ係数値を含む別のパラメータのセットであって、提供されたテキストの音声合成に使用できる連続的な特徴ストリームを含む前記別のパラメータのセットを取得するステップと
を含む、方法。A method for generating text parameters provided for use in speech synthesis comprising:
a. Dividing the provided text into a sequence of phrases;
b. Generating a parameter for the sequence of phrases using a speech model;
c. Another set of parameters that process the generated parameters and contain clamped delta coefficient values, including a continuous feature stream that can be used for speech synthesis of the provided text. Obtaining a method. 前記分割は、言語知識に基づいて行われる、請求項６に記載の方法。The method according to claim6 , wherein the division is performed based on language knowledge. 前記音声モデルは、予測統計的パラメータモデルを含む、請求項６に記載の方法。The method of claim6 , wherein the speech model comprises a predictive statistical parameter model. 前記フレーズのための前記生成されたパラメータは、スペクトルパラメータを含む、請求項６に記載の方法。The method of claim6 , wherein the generated parameters for the phrase include spectral parameters. 前記スペクトルパラメータは、フレーズに基づくスペクトルパラメータ値、スペクトルパラメータの変化率、スペクトル包絡線の値、スペクトル包絡線の変化率のうち１つまたは複数を含む、請求項９に記載の方法。The method of claim9 , wherein the spectral parameters include one or more of a phrase-based spectral parameter value, a spectral parameter change rate, a spectral envelope value, a spectral envelope change rate. 前記フレーズは、言語的休止と音響的休止のうち少なくとも１つによって区切ることのできる単語群を含む、請求項６に記載の方法。The method of claim6 , wherein the phrase comprises a group of words that can be separated by at least one of a linguistic pause and an acoustic pause. 前記音声合成は、複数のフレームを生成し、
前記音声モデルを使用して前記フレーズのシーケンスのパラメータを生成するステップは、
ａ．前記テキストを表すパラメータとして判定される予測パラメータに基づくベクトルであって、前記複数のフレームについての静的係数、デルタ係数およびデルタデルタ係数を含むベクトルを生成するステップと、
ｂ．処理対象のフレームを特定する数をインクリメントするステップと、
ｃ．休止区間で区切られる言語セグメントの存在を判定するステップであって、
ｉ．前記言語セグメントが開始されている場合、有声化が開始されているか否かを判定し、
１．有声化が開始されている場合、有声音素のパラメータに基づいて前記ベクトルを調整し、ステップ（ｃ）を再開し、さもなければ
２．有声化が終了されている場合、無声音素のパラメータに基づいて前記ベクトルを調整し、ステップ（ｃ）から再開し、
ｉｉ．前記言語セグメントが終了されている場合、前記ベクトルを平滑化し、全体的な分散調整を行うステップと
をさらに含む、請求項６に記載の方法。The speech synthesis generates a plurality of frames,
Generating parameters of the sequence of phrases using the speech model comprises:
a. Generating a vector based on a prediction parameter determined as a parameter representing the text, the vector including a static coefficient, a delta coefficient, and a delta-delta coefficient for the plurality of frames;
b. Incrementing the number identifying the frame to be processed;
c. Determining the presence of language segments delimited by pause intervals,
i. If the language segment is started, determine whether voiced is started,
1. 1. If voiced has started, adjust the vector based on the voiced phoneme parameters and restart step (c); If voicing has been terminated, adjust the vector based on unvoiced phoneme parameters, and resume from step (c);
ii. 7. The method of claim6 , further comprising smoothing the vector and performing an overall variance adjustment if the language segment is terminated. 前記音声合成は、複数のフレームを生成し、
前記パラメータの生成は、パラメータの軌跡の生成を含み、
ａ．生成されたパラメータベクトルの第一要素を初期化するステップであって、前記パラメータベクトルが前記複数のフレームの静的係数、デルタ係数およびデルタデルタ係数を含み、前記第一要素が複数のフレームの第一フレームに対応するステップと、
ｂ．処理対象のフレームを特定する数をインクリメントするステップと、
ｃ．休止区間で区切られる言語セグメントが存在するか否かを判定するステップであって、
ｉ．前記言語セグメントが終了していない場合、有声化が開始されているか否かを判定し、
１．有声化が開始されていない場合、有声音素のパラメータに基づいて前記パラメータベクトルを調整し、ステップ（ａ）から処理を再開し、
２．有声化が開始されている場合、第一フレームにおいて有声化されているか否かを判定し、有声音が第一フレームにある場合、係数平均は基本周波数に等しく、有声音が第一フレームにない場合、係数のクランプが実行される、
ｉｉ．言語セグメントが終了している場合、パラメータの軌跡の突然の変化を除去し、全体的な分散の調整を行うステップと
をさらに含む、請求項６に記載の方法。The speech synthesis generates a plurality of frames,
Generating the parameter includes generating a trajectory of the parameter;
a. Initializing a first element of the generated parameter vector, the parameter vector including static coefficients, delta coefficients, and delta delta coefficients of the plurality of frames, wherein the first element is a first element of the plurality of frames; A step corresponding to one frame;
b. Incrementing a number identifying a frame to be processed;
c. Determining whether there is a language segment delimited by a pause interval,
i. If the language segment has not ended, determine whether voiced has started,
1. If voicing has not started, adjust the parameter vector based on the voicing phoneme parameters, and resume processing from step (a);
2. If voicing has started, determine if voicing is in the first frame, and if the voicing sound is in the first frame, the coefficient average is equal to the fundamental frequency and the voicing sound is not in the first frame If a coefficient clamp is performed,
ii. 7. The method of claim6 , further comprising removing a sudden change in the parameter trajectory and adjusting the overall variance if the language segment is terminated. ステップｃ．ｉ．は、有声化が終了されたか否かを判定するステップであって、音声化が終了されていなければ、請求項１４をステップ（ａ）から繰り返し、音声化が終了されていれば、係数の平均を望ましい値に調整して前記セグメントの長尺のウィンドウの平滑化を行うステップをさらに含む、請求項１３に記載の方法。Step c. i. Is a step for determining whether or not the voice is finished, and if the voice is not finished, repeats claim 14 from step (a), and if the voice is finished, the coefficient average 14. The method of claim13 , further comprising the step of smoothing a long window of the segment by adjusting to a desired value. 前記初期化は、時間ゼロで行われる、請求項１３に記載の方法。The method of claim13 , wherein the initialization is performed at time zero. 前記フレームのインクリメント値は、望ましい整数を含む、請求項１３に記載の方法。The method of claim13 , wherein the frame increment value comprises a desired integer. 前記望ましい整数は、１である、請求項１６に記載の方法。The method of claim16 , wherein the desired integer is one. フレームが有声化されているか否かの前記判定は、前記スペクトルパラメータのための予測値の検査を含み、音声化されたセグメントは、有効値を含む、請求項１３に記載の方法。The method of claim13 , wherein the determination of whether a frame is voiced includes a check of a predicted value for the spectral parameter, and the voiced segment includes a valid value. 言語セグメントが存在するか否かの前記判定は、セグメント分割のための状態シーケンスの検査を含む、請求項１３に記載の方法。The method of claim13 , wherein the determination of whether a language segment is present comprises a state sequence check for segmentation. 前記音声合成は、複数のフレームを生成し、
前記パラメータの生成は、メルケプストラムパラメータの生成を含み、
ａ．生成されたパラメータベクトルを初期化するステップであって、前記複数のフレームの第一フレームに対応する前記複数のフレームの静的係数、デルタ係数、およびデルタデルタ係数を含むパラメータベクトルを生成するステップと、
ｂ．処理対象のフレームを特定する数をインクリメントするステップと、
ｃ．休止区間で区切られる言語セグメントが有声化されているか否か判定するステップであって
ｉ．前記言語セグメントが有声化されていない場合、数式ｍｃｅｐ（ｉ）＝（ｍｃｅｐ（ｉ−１）＋ｍｃｅｐ＿ｍｅａｎ（ｉ））／２を適用し、
ｉｉ．前記言語セグメントが有声化され且つ前記第一フレーム内にある場合、数式ｍｃｅｐ（ｉ）＝（ｍｃｅｐ（ｉ−１）＋ｍｃｅｐ＿ｍｅａｎ（ｉ））／２を適用し、
ｉｉｉ．前記言語セグメントが有声化され且つ前記第一フレーム内にない場合、数式ｍｃｅｐ（ｉ）＝（ｍｃｅｐ（ｉ−１）＋ｍｃｅｐ＿ｄｅｌｔａ（ｉ）＋ｍｃｅｐ＿ｍｅａｎ（ｉ））／２を適用するステップと
ｄ．前記言語セグメントが終了したか否かを判定し、
ｉ．前記言語セグメントが終了されている場合、パラメータの軌跡の突然の変化を除去し、全体的な分散の調整を行い、
ｉｉ．前記言語セグメントが終了されていない場合、ステップ（ａ）から始まる処理を繰り返すステップと
を含む、請求項６に記載の方法。The speech synthesis generates a plurality of frames,
Generation of the parameters includes generation of mel cepstrum parameters;
a. Initializing the generated parameter vector, generating a parameter vector including a static coefficient, a delta coefficient, and a delta-delta coefficient of the plurality of frames corresponding to a first frame of the plurality of frames; ,
b. Incrementing a number identifying a frame to be processed;
c. Determining whether the language segment delimited by the pause interval is voiced, i. If the language segment is not voiced, then apply the formula mcep (i) = (mcep (i−1) + mcep_mean (i)) / 2,
ii. If the language segment is voiced and is in the first frame, then apply the formula msep (i) = (msep (i−1) + msep_mean (i)) / 2,
iii. If the language segment is voiced and not in the first frame, applying the formula msep (i) = (msep (i−1) + msep_delta (i) + msep_mean (i)) / 2; d. Determine whether the language segment has ended,
i. If the language segment has been terminated, remove sudden changes in the parameter trajectory and adjust the overall variance;
ii. 7. The method of claim6 , comprising repeating the process beginning with step (a) if the language segment is not terminated. 前記初期化は、時間ゼロで行われる、請求項２０に記載の方法。21. The method of claim20 , wherein the initialization is performed at time zero. 前記フレームのインクリメント値は、望ましい整数を含む、請求項２０に記載の方法。21. The method of claim20 , wherein the frame increment value comprises a desired integer. 前記望ましい整数は、１である、請求項２２に記載の方法。23. The method of claim22 , wherein the desired integer is 1. フレームが音声化しているか否かの前記判定は、前記スペクトルパラメータの予測値の検査を含み、音声化されたセグメントが有効値を含む、請求項２０に記載の方法。21. The method of claim20 , wherein the determination of whether a frame is voiced includes a test of a predicted value of the spectral parameter, and the voiced segment includes a valid value.

Images