Repository files navigation

Bert-VITS2の参考記事：https://zenn.dev/litagin/articles/b1ddc1da5ea2b3

日本語VITSモデルを学習でき、アクセント指定込みで音声合成できる、Windows用WebUIです。音声合成のみならグラボがなくても使えます。

🤗 音声合成のデモ

音声合成	学習

• 機械学習での音声処理タスクをいろいろ統一的に扱えるESPnetという枠組みがある。
• ESPnetでのTTS学習の方法としてVITSが使える。
• ESPnetではTTS学習の際、学習テキスト（日本語文）から音素列へ変換する方法(g2p)を指定でき、その中の一つにアクセント記号を付加したpyopenjtalk_prosodyがある。

という状況で、日本語でg2pをpyopenjtalk_prosodyにして訓練したモデルのことを、JApanese ..._PROSodyから取ってJaProsと便宜上読んでいます（Bingちゃんからの提案）。

pyopenjtalk_prosodyではアクセント等の記号も扱われているので、それを使ってアクセント（ハ➚シ v.s.ハ➘シ等）が制御できます。

これは、Windowsローカル環境でVITS JaProsモデルを学習したり、読み込んで音声合成できるやつです。

• faster-whisperによる、音声ファイルからの自動書き起こし機能つき
• 学習自体はESPnetをWindowsで動くように改造して、VITS JaProsを最低限の操作で学習できるようにしたもの

• カタカナと記号による（たぶん）ある程度直感的なアクセント制御
• 簡易的な話速・ピッチ・抑揚調整機能（pyworld由来）
• CPUでも動く（学習の最中に別で立ち上げてチェック可能）
• これを使って作られたモデルでなくても、ESPnetでVITSでpyopenjtalk_prosodyなモデルなら、config.yamlと一緒に入れれば動くはず

Python 3.10でWindows 11でRTX 4070で動作確認しました。

1. まずこのリポジトリをクローンしてください。

git clone https://github.com/litagin02/vits-japros-webui.git

2. 中にあるsetup.bat をダブルクリックして、しばらく待ってください。Setup complete.と表示されたら完了です。

• 学習：webui_train.batをダブルクリック
• 音声合成：下を参照してpthファイルを配置してからwebui_infer.batをダブルクリック
• アップデート:update.batをダブルクリック

詳しい情報・WebUIがいらない方はこちらをご覧ください。

モデルはweightsディレクトリにサブディレクトリを作って、その中に{数字}epoch.pthファイルを入れてください。外部モデル（ESPnetでVITSでpyopenjtalk_prosodyで作ったモデルのみ対応）を使う場合は、学習時のconfig.yamlも入れてください。

weights├── model1│    └── 100epoch.pth|── model2│    ├── 50epoch.pth│    └── config.yaml...

• ESPnet: このリポジトリでは、オリジナルのESPnetのPythonモジュールをWindowsで動くように改造して使っています（改造箇所はos.unameの使用箇所とシンボリックリンク作成箇所のみです）。