  |
はてなキーワード:音声合成とは
これまでの音声合成って、初期のものは一文字ずつ決められた音を再生するだけ（ゆっくり解説とか）だったり
ボーカロイドみたいに個別に調整可能だったりっていう初期段階のものから
サービス化されてるものって単語単位とか文脈をある程度読み取って音声合成してたんだよね
ところがOpenAIの作ってる音声合成って全然違う発想で作られてて
プロンプトを含めて入力されたテキストの意味を理解して、それを元に音声を作り出してる
音声の波形がどうなっていれば正解に近いか、みたいな考え方で音声を作り出してて
例えば「こんにちは」みたいな文字列を渡しても「こんちは」って喋ったりするし「こんちゃー」って言ったりする
これが絶妙で今までに無い音声合成が可能になってて、もの凄く自然な音声を作れる
ただ、そのせいでたまに指定してないことを喋ったりするんだよね
っていう文字列を渡したら
って喋ったりする
みたいに喋ったりする時もあってちょっと嫌だな、と思ってた
ところが、さっきデバッグしてたら
みたいなことを喋ってドキッとした
プロンプトに現在時刻を挿入してたからだと思うんだけど、「こんにちは」からは完全にズレてるんだよね
バグってるにもほどがあるよなぁ、と思ってログ取りたいから再度実行してみたんだよ
そしたら10秒ぐらい音声流れなくて
しばらくしたら小さな音声が流れた
「ぼくはここにいるよ」
やりたいのこれ。フレームワークの2段階メジャーアップデート対応とかでやりたいのは、Devinに自分たちのサービスの既存コードをフレームワーク側の記法やdeprecatedになったパッケージを回避する記述に書き直すじゃなくて、既存コードはそのままきフレームワーク側やパッケージ側をなんとかしてほしいんだよ。
あと、何かとApp StoreやGoogle Playが何か言ってくるのをコード改修するんじゃなくて、DevinがAppleやGoogleのサポートに連絡して期限延ばしてもらうとか、リジェクトされたのを押し通すのとか、そういう交渉をやってほしいんよ。
あとは、会社の人事評価シートの記入をよしなにやってくれたり、評価面談も映像合成と音声合成でいい感じに代わりにやってくれるとかさ。
実際「プログラミングにかかる工数は全体の2割」とか言われるけど、ホント2割の工数削減のためにこんな大層な技術や電気代が使われるのナンセンスよ。
"AI tasks"の方が"AI problems"よりも一般的な用法です。
AIの分野では、"tasks"という用語が特定の目標や作業を指すために広く使用されています。
例えば、画像認識、自然言語処理、音声合成などが"AI tasks"として言及されることが多いです。
一方、"AI problems"という表現も使用されますが、これは通常、AIの開発や実装における課題や困難を指す場合に用いられます。
例えば、AIの倫理的問題、説明可能性の課題、バイアスの問題などがAIの"problems"として議論されることがあります。
これらのタスクは、AIシステムが実行する具体的な作業や目標を表しています。
したがって、AIの特定の作業や目標を指す場合は"AI tasks"を、AIにおける課題や困難を指す場合は"AI problems"を使用するのが適切です。
やはり、流石に一応権利を有したエロゲを使用しているということなのかもしれない。
ただ、それでも曖昧な表現をするのは明示的に音声合成をする許可を得ていないからだと思われる。
つまり、ゲームごと権利を有する＝音声データ権利をも持つということだろう。
それって、いかなる改変を行っていかなるサービス展開をしても良いということなのだろうか？
このような時代の前の契約だったから想定されていないだけな気もするが。
これが正しければ、法律的には問題ないのだろうな。かなり倫理的にあくどいことはやっているけれど、気にしない企業ということだろう。
注意：AI批判目的ではありません。単なる考察結果の共有です。どちらかというと私は思想的にはAI推進過激派です。また、ここでの推測はすべて外れている可能性はあります、あくまで推測です。
DMMボイスという名前から「にじボイス」という名称に変更された。主な変更点は以下。
それ以外は本記事の内容はすべて当てはまるので、以下「DMMボイス」となっている箇所は適宜「にじボイス」へ読み替えて呼んでほしい。
最近AI界隈（？）で話題になっている、20人分のアニメ調キャラクターの声で感情的な音声を簡単に生成することができるAIサービス。
それの学習元に、エロゲーのテキスト音声データが使われているのではないかという話。
まずは性能がかなり高くて楽しいのでみんな遊んでみてください。（そして知ってる声優がいないか探してみてください。）
現時点では何のフィルターもなく、どのような卑語や卑猥なセリフも発話させられる。
ただ、ある特定の雰囲気のパターンのみなぜか音声合成させると吐息のようなものになり、入力文章からかけ離れてしまう。
それは「ちゅぱちゅぱれろれろ」だ。
他にも、例えば「んじゅぷんくっちゅぱ……じゅ……れちゅはぁ……」や「ちゅぷぷっ、んちゅぅ……ちゅくくっ、むちゅぅ……ぢゅるっ、ちゅちゅぅっ」等を試してみてほしい。
ひらがなですべて書かれているので、発音は明確にはっきりしているはずだが、それでもなぜか発音できず吐息のようなものとなる。
一方で、並びはそのままのまま「ふゅととっ、んびゅぅ……こゅねねっ、むびゅぅ……ぞゅけっ、たゅたゅぅっ」や「にゅべべっ、おにゅぅ……にゅけけっ、めにゅぅ……づゅれっ、にゅにゅぅっ。」等は、きちんと文字通り発音される。
さらに、単純に全てカタカナにして、「チュパチュパレロレロ」にしてもきちんと発音される。またちょっと並び替えて「ぱちゅぱちゅろれろれ」は発音される。その他、適当な意味をなさない「ちゅかちゅほぱれもふい」等のランダムな文字列にしても発音される。
他にも、私が試してみた限りでは、上述の謎の雰囲気のテキスト群以外の文章はほぼ正確に文字通りに発音される。
以上のことから、学習データには「ちゅぱちゅぱれろれろ」やその他の上記例のような特定雰囲気のセリフに対して、「その文字の通常の発音通りでないような音声」が対応しているようなデータが使われていることが推測される。
（念の為に書いておくと、音声合成の学習にあたっては、音声とその音声が何を喋っているかというテキストのペアを、大量に学習させる。）
余談であるが、カタカナの「チュパチュパレロレロ」は発音できるがひらがなの「ちゅぱちゅぱれろれろ」は発音できないという事実からは、古くからの音声合成での「日本語文章→音素列（簡単に言えば読みのカナ列）→音声」という流れの単純な音声合成だけでなく、元の日本語からの情報も音声合成に入力していること推測できる。
元の日本語テキストに対して、その音素列に加えて、大規模言語モデルのエンコーダーモデル、いわゆるテキスト埋め込みも音声合成のテキストエンコーダ部分へ注入するというのは、近年の感情豊かな音声合成界隈での一つのトレンドである。
音声合成にあたりAIが「発音の仕方」だけじゃなくて「セリフの意味」も理解する、というわけである。
例えば「ちゅぱちゅぱれろれろ」も、単独では正常な発話ができないが、「はてなは、匿名性を活かした自由な表現が可能となる場として、ちゅぱちゅぱれろれろ、はてな匿名ダイアリーをご利用いただきたいと考えております。」等に文中に紛れ込ませると正常に発話ができること、また文章全体の示す感情によって途中の声音のテンション等が変わること等も、これらの帰結である。
さて、我々は「れろれろれろ……ちゅぱっ、ちゅぶっ……んちゅ、れろっ……ぺろ、ぺろっ……んちゅぅ」のようなテキストが文字通りの発音と対応しない、そのような状況を知っているはずである。そう、エロゲーだ。
エロゲーにはチュパ音という文化がある。これはヒロインが主人公にフェラチオをするシーンで、ヒロインの声優がそのおしゃぶりシーンを汁音たっぷりに演技をするものである。
そこでは、「あぁむ、じゅぶ……じゅぽじゅぽ……ちゅるっ、ちゅ、ちゅっ、ちゅぅぅぅぅ……んっ、んっ、んんっーー！」のようなテキストに対して、そのテキストの通常の文字通りの発音からはかけ離れた、しゃぶりまくり水音出しまくり啜りまくりの演技が音声として与えられる。
よって上記挙動から、DMMボイスの学習元の少なくとも一部には、エロゲーから抽出したデータが使われているのではないかと推測することができる。
界隈では有名な事実だが、エロゲー（R18に限らずノベルゲー一般）からは、1本だいたい（ものによるが）20時間程度の音声とテキストの両方を（多少の知識があれば）大量に抽出することができ、音声合成や音声認識等の音声に関するAIの研究においては非常に貴重なデータとなっている。
よって、大量の「テキストと音声のペア」が必要な音声合成では、特に表に出ないアングラなところで、ひっそりと学習に使われることが多々ある。また特定の声優の声を出そうという意図はなくても、いわゆる音声AIの事前学習モデルとして、すなわち日本語の発音の仕方をAIが学ぶときに必要な大量の音声データとして、そのようなデータを使うことは、一般的とまでは言わないにしても、あることである。
ましてやDMMである。エロゲープレイヤーならば、近年の衰退しつつあるノベルゲー文化はかなりの部分をFANZAに依存していることをすでに知っているだろう（いつもお世話になっております）。
以上のような理由から私はエロゲーが少なくとも学習データに含まれているのではないかと推測したが、そもそものきっかけは、それより前に、単純にいろんなキャラで音声合成させて遊んでいたら、
少なくとも私の耳には「あれこの人あの声優じゃん？」というキャラが何人かいたからである。
久世凛さん（くん？）の人はたぶん声優として有名なあの人だし、ノエラちゃんとか多分一般でも最近いろいろ有名なんじゃなかろうか？（元エロゲー声優出身でそれから表に出てきて大成功していることで有名）
月城 美蘭ちゃんのキャラは某シリーズの某キャラがめっちゃ好きです。
他にも声優に詳しい方だったら、誰の声か分かるキャラが数人はいるのではなかろうか。
さらに実験を重ねていると、エロゲーが学習に使用されていると推測されるもう一つの事象を発見した。
それは「おちんちん」という単語を含んだセリフを音声合成させると、不自然に「おちんちん」の1番目の「ん」がきれて「おちっちん」のように音声合成されるという現象である。
（実際は「おちっちん」ほど極端ではないが、明確に2番目の「ん」の音が通常の発音よりもかなり弱く、不自然に途切れた印象の発音になっている。「おちんつん」等にして比較するとより違いが明確になる。）
このことから、「おちんちん」という単語がそのまま発話されないデータが学習元に多いのではないかと推測できる。
エロゲープレイヤーならば知っているだろうが、大半の商業エロゲーでは規制から「おちんちん」という文字は「おち○ちん」と伏せ字になり音声ではピー音が入る。
このような音声の内部の音声データは、伏せ字部分が抜けて発音されていることが多い（ピー音がそのまま入っているものもある）。
このことも、エロゲーの音声データがDMMボイスの学習元として使われているという推測を支持している。
追記。ブコメ等で、「膣」がなぜか「ナカ」と発音されるという現象の報告が多くあった。また試すと「ナツ」と発話されることも多い。これについて、私よりも音声学に詳しいであろう増田の観察があったのでリンクを貼っておく:anond:20241105060042
端的に言うと、データセットに「膣内に出して……！」等のセリフで「ナカに出して！」と発音されていることが多いことから、本来の読みである「チツ」と「ナカ」との混乱がテキストエンコーダ部分で起きた結果の現象だと推測される。
引用になるが「膣はあけぼの。膣は夜。膣は夕暮れ。膣はつとめて。」を音声合成させてみるのを試してみるとよいだろう。
DMMボイスに対して学習元等の問い合わせをしている人たちが数人はいるようで、開発者サイドのそれに対するリプライの文章から抜粋する。
https://x.com/1230yuji/status/1852914053326483685
「音声学習データは音声データの大量購入、機械合成、収録で取得しています。具体的な情報は企業秘密にあたるため開示できません。」
ここで「音声データの大量購入」という箇所がひっかかる。そう、界隈にいれば知っている人が多いだろうが、音声とテキストのペアのデータセットで、大量購入できるようなものはほぼない（あったら喉から手が出るほど欲しい）。
さらにまた、DMMボイスはアニメ調のキャラクターの音声合成が売りである。そのようなデータセットで、大量購入できるようなものはほぼない（あったら喉から手が出るほど欲しい）。
つまり、ここでの大量購入はエロゲーの大量購入を指しているのではないかと推測することができる。（もしくは、少し前に触れた、すでに公開されているそのような音声データセットから流用したか）。
追記となるが、DMMボイスの利用規約自体が少しおかしいのではという議論を提起している動画があったので紹介しておく:https://www.youtube.com/watch?v=tkBGBVjOIZk
（以前ここで第８条1(1)について書いたいたが、この文言自体は利用規約で一般的なもののようだ、申し訳ない）
音声AIについて昨年5月あたりから品質が大いに向上したことで、AIカバーや声優音声の無断学習等の文脈で、様々な議論が発生している。最近では有名な声優たちがNOMORE無断生成AIというスローガンで大々的に活動している。
これは、声優たちが、自分たちの声が無断でAI学習に使用され、その上で収益化をされていることに対して反対して展開している運動だ。
（この運動に対する是非等の意見は私は持たない、最初に述べた通り私はどちらかというとAI推進過激派である。）
また、このような運動がおこる背景として、（イラストでかなりバトルが発生しているが、）AI学習における「声の権利」との法的な取り扱いが現状の法律だと不明瞭な点から、法律とくに著作権に訴えることでは現状の使われ方に対して法的措置を取りにくいところにある。
このようなAIと音声の権利については最近の柿沼弁護士の記事が参考になるので詳しくはそちらを読んでほしい。
https://storialaw.jp/blog/11344
私自身は法律の専門家でもなんでもないので法的なあれこれについて述べることはできないが、理解している範囲で述べる（間違ってたらすみません）。
音声AIの法的議論では「パブリシティ権」という概念が重要になる。これはざっくり言うと、有名女優の肖像を勝手に商品の宣伝に使ったりすると、その女優が得られたであろう広告収入が奪われたことになるのでダメ、という感じのものである。
このパブリシティ権は現在の日本の法律の文面では明文化されておらず、どこまでがパブリシティ権にあたるのかということについて、特に音声については、未だ判例がなくはっきり分からない。
しかし有名人の氏名についてはパブリシティ権は認められているので、もしDMMボイスが、「あの人気声優○○さんの声で音声合成できる！」としてこのサービスを提供していたら、正式に契約を結んでいた場合に得られたであろう声優の利益のことを考慮すると、声優の許諾がない場合ほぼ確実にダメだと思われる（判例待ちなので断言はたぶんできない）。
だがDMMボイスは、学習元の20人分の声優が誰かや、またその声優からの許諾を得て20人分の声優を使っているかを、うまい具合に言及を避けている。
声優好きな人は声のみからその声優が誰であるかを判定することができる人も多いので、そのような場合に、声優名を伏せていたとしてもパブリシティ権の侵害にあたるかは、おそらくかなりグレーで判例待ち事案である。
そのような意味で、このDMMボイスは（もし裁判等や運動が起これば）音声AIと声の権利に対する法的な解像度を上げ議論を起こすのに貢献する事例になるであろうことは間違いない。
何度か述べている通り、私はAI推進過激派寄りの人間であり、NOMORE無断生成AI等の、最近の声優たちやアンチ生成AIの人達による運動に対しては、事態を注視しているだけの中立的（むしろ逆にガンガン生成AI使っていこうぜという）立場である。
また今回のDMMボイスの公開や今後のサービス展開に対しても、ことさらそれが悪いことだとか、そのようなものは避けるべきだとか、については思っておらず、むしろ「いつか来るだろうなあと思っていたものを大きい企業がようやく出してきたかあ、これで法律や声の権利についての議論や判例が進むかもな」といった程度の感想である。
（そしてDMMボイスのような技術が可能なこと、また実際にそれを学習させてみて個人で楽しむことは、私自身一年前くらいからずっとしており、そこから音声AI界隈をウォッチしていた。）
しかし、最近の声優サイドの運動や時流を見ると、せめて生成できる20人分の声優の許諾を取っているかについて言及しないままでは、アンチ生成AIサイドの批判の格好の的になるだけなのではないかと感じている。
技術的なことになるが、最近の音声AIでは、実在する声優の声から学習させて、しかし音声合成する際には非実在の人物による声音の音声合成が可能である（例えば声優二人の中間の声等）。
それが権利的や法的や倫理的にどうか等は置いておいて、DMMボイスは少なくともそのような措置を取るのがよかったのではないかと個人的には感じている。
（ただ、私の耳が悪いだけで、ホントは「この人の声だ！」と思ったキャラクターは実は全然そうじゃなかった可能性もある。しかしこの「「誰が喋っているかが明確に100%には断言できない」ところが音声AIと声の権利の議論の難しいところである。）
公平のため、最後に「ちゅぱちゅぱれろれろ」が発音できない現象について、エロゲーがDMMボイスの学習に直接使われたという以外に他のありうる可能性をいくつか書いておく。
また端的にありえるのは、他の「ちゅぱちゅぱれろれろ」が発音できないような音声AIをそのまま流用している可能性である。一つ「ちゅぱちゅぱれろれろ」が正常に発話できない音声合成AIライブラリを知っているが、それはデモ動画に私の好きなエロゲーのセリフが堂々と出ていたことから、それの学習元にエロゲーが入っていることはほぼ確実である。
また他に、DMMボイス自体を開発する際にはエロゲーデータは使っておらず許諾を得た声優のみから学習させるが、その学習元となった事前学習モデルにはエロゲーデータが入っていた、という可能性である。前に少し触れた通り、現在の生成AIには学習に大量のデータが必要であり、まず音声AIが発音の仕方を学ぶために、無から正常に発話できるようになるまでには大量のデータが必要である。そのような学習は非常にお金と時間がかかるため、生成AIでは「まず大規模なデータで学習させて事前学習モデルを作る」「次に、その事前学習モデルに対して、話させたい話者のデータで少量追加学習する」というアプローチが取られる場合がほとんどである。このPermalink |記事への反応(16) | 07:53
AIによる音声合成技術が発達してフェイクビデオを作ったりネカマになったりは随分楽になった。
だけどコンピューター歌手の歌唱力はまだまだリアルと全く違う。
機械的であることを売りにした「ドモアリガトミスターロボット」のような楽曲を完成させることさえもまだまだ遠いように見える。
人間にもなれずロボットにもなりきれないモラトリアムの隙間に潜り込むことで永遠の何かを手にしようとしている節さえある。
最近ではボカロソングよりもボイロを楽器化した楽曲の方が可能性を感じるような節さえある。
結局初音ミクは圧倒的で絶対的な人間以上の歌手には至らなかった。
サブカルチャーの世界に強烈な地位を築き上げることは出来たが人間を超えることはなかった。
あの頃夢見た未来はまだまだ遠い。
