fastrtc-jp

概要

提供モデル一覧

システム要件

インストール

# 仮想環境の作成と有効化（オプション）python -m venv .venvsource .venv/bin/activate# pipをアップデート.venv/bin/python3 -m pip install -U pip setuptools# 基本パッケージのインストールpip install fastrtc-jp

追加モジュール

音声合成（TTS）

VOICEVOXを使用する場合:

VOICEVOX_HOSTLIST=http://127.0.0.1:50021

Style-Bert-VITS2を使用する場合:

pip install fastrtc-jp[sbv2]

StyleBertVits2Options( device="cpu",    model_file = "model/jvnv-M1-jp/jvnv-M1-jp_e158_s14000.safetensors",    config_file = "model/jvnv-M1-jp/config.json",    style_file = "model/jvnv-M1-jp/style_vectors.npy",)

GTTSModelを使用する場合:

pip install fastrtc-jp[gtts]

音声認識（STT）

VoskSTTを使用する場合:

pip install fastrtc-jp[vosk]

mlx-whisperを使用する場合:

pip install fastrtc-jp[mlx]

GoogleSTTを使用する場合:

pip install fastrtc-jp[sr]

使用例

基本的なエコーバックサンプル

importsys,osimportnumpyasnpfromfastrtcimportReplyOnPausefromfastrtc.reply_on_pauseimportAlgoOptionsfromfastrtc.streamimportStream"""マイクの音声をそのままスピーカーにエコーバックするだけのサンプル"""defechoback(audio:tuple[int,np.ndarray]):print(f"shape:{audio[1].shape} dtype:{audio[1].dtype}{audio[0]}Hz{audio[1].shape[1]/audio[0]}秒の音声が入力されました。")yieldaudiodefexample_echoback():algo_options=AlgoOptions(audio_chunk_duration=0.6,started_talking_threshold=0.5,speech_threshold=0.1,    )stream=Stream(handler=ReplyOnPause(echoback,algo_options=algo_options,input_sample_rate=16000,output_sample_rate=16000,        ),modality="audio",mode="send-receive",    )stream.ui.launch()if__name__=="__main__":example_echoback()

VOICEVOXで音声合成するサンプル

importsys,osimportnumpyasnpfromfastrtcimportReplyOnPausefromfastrtc.reply_on_pauseimportAlgoOptionsfromfastrtc.streamimportStreamfromfastrtc_jp.text_to_speech.voicevoximportVoicevoxTTSModel,VoicevoxTTSOptions"""VOICEVOXで音声合成するだけのサンプル"""tts_model=VoicevoxTTSModel()# デフォルトはlocalhostの50021ポートに接続voicevox_opt=VoicevoxTTSOptions(speaker=8,# つむぎspeedScale=1.0,# 話速（1.0が標準）)defvoicevox(audio:tuple[int,np.ndarray]):print(f"shape:{audio[1].shape} dtype:{audio[1].dtype}{audio[0]}Hz{audio[1].shape[1]/audio[0]}秒の音声が入力されました。")response="やっほー、今日も元気だ。やきとり食べよう。"foraudio_chunkintts_model.stream_tts_sync(response,voicevox_opt):print("Sending audio")yieldaudio_chunkdefexample_voicevox():algo_options=AlgoOptions(audio_chunk_duration=0.6,started_talking_threshold=0.5,speech_threshold=0.1,    )stream=Stream(handler=ReplyOnPause(voicevox,algo_options=algo_options,input_sample_rate=16000,output_sample_rate=16000,        ),modality="audio",mode="send-receive",    )stream.ui.launch()if__name__=="__main__":example_voicevox()

音声認識と音声合成を組み合わせたサンプル

importsys,osimportnumpyasnpfromfastrtcimportReplyOnPausefromfastrtc.reply_on_pauseimportAlgoOptionsfromfastrtc.streamimportStreamfromfastrtc_jp.speech_to_text.sr_googleimportGoogleSTT# from fastrtc_jp.speech_to_text.vosk import VoskSTTfromfastrtc_jp.text_to_speech.voicevoximportVoicevoxTTSModel,VoicevoxTTSOptions# from fastrtc_jp.text_to_speech.gtts import GTTSModel, GTTSOptions"""マイクの音声をSTT->TTSしてエコーバックするサンプル"""# 音声認識モデルの初期化stt_model=GoogleSTT()# stt_model = VoskSTT()  # Voskを使用する場合# 音声合成モデルの初期化tts_model=VoicevoxTTSModel()voicevox_opt=VoicevoxTTSOptions(speaker_id=8,# つむぎspeedScale=1.0,)# tts_model = GTTSModel()  # gTTSを使用する場合defechoback(audio:tuple[int,np.ndarray]):print(f"shape:{audio[1].shape} dtype:{audio[1].dtype}{audio[0]}Hz{audio[1].shape[1]/audio[0]}秒の音声が入力されました。")# 音声認識user_input=stt_model.stt(audio)print(f"音声認識結果:{user_input}")# 認識した文章をそのまま音声合成してエコーバックresponse=user_inputforaudio_chunkintts_model.stream_tts_sync(response,voicevox_opt):print("Sending audio")yieldaudio_chunkdefexample_echoback():algo_options=AlgoOptions(audio_chunk_duration=0.6,started_talking_threshold=0.5,speech_threshold=0.1,    )stream=Stream(handler=ReplyOnPause(echoback,algo_options=algo_options,input_sample_rate=16000,output_sample_rate=16000,        ),modality="audio",mode="send-receive",    )stream.ui.launch()if__name__=="__main__":example_echoback()

ライセンス