Repository files navigation

• 首先致谢虾哥的开源项目：https://github.com/78/xiaozhi-esp32
• 其次致谢：https://github.com/xinnan-tech/xiaozhi-esp32-server

👉AI-01模组使用手册

特色：

1. VB6824 作为AI语音芯片负责语音打断唤醒和离线语音识别，同时负责录音+音频播放;ESP32-S3(C3/C2)芯片负责接入在线大模型+支付宝百宝箱智能管家小程序。
2. VB6824 UART TX输出降噪后的高信噪比的录音，接到ESP32-S3(C3/C2)芯片UART RX，RX收到的数字音频发给在线大模型。
3. VB6824 从DAC处，做回声信号的采集，接入到PA0/PA1（LINEIN）作为AEC的回采信号。
4. VB6824 语音识别后把识别结果通过UART TX发给ESP32-S3/(C3/C2)芯片。

已实现功能

• Wi-Fi / ML307 Cat.1 4G
• 离线语音唤醒ESP-SR
• 支持两种通信协议（Websocket 或 MQTT+UDP）
• 采用 OPUS 音频编解码
• 基于流式 ASR + LLM + TTS 架构的语音交互
• 声纹识别，识别当前说话人的身份3D Speaker
• OLED / LCD 显示屏，支持表情显示
• 电量显示与电源管理
• 支持多语言（中文、英文、日文）
• 支持 ESP32-C3、ESP32-S3、ESP32-P4 芯片平台
• 通过设备端 MCP 实现设备控制（音量、灯光、电机、GPIO 等）
• 通过云端 MCP 扩展大模型能力（智能家居控制、PC桌面操作、知识搜索、邮件收发等）

• ESP-IDF需要在5.4以上，推荐版本为5.5，参考官方指南
• 编译

  # 直接使用 sdkconfigidf.py build    # or 独立配置idf.py set-target esp32s3idf.py menuconfig// Xiaozhi Assistant ---> Board Type ---> MAYI_S3_LCDidf.py build

可使用配套的下载器或普通的TTL(USB转串口)

• 准备
  • 下载器
    1. 下载器接入电脑即可
  • 普通TTL
    1. AI-01开发板和TTL都断开电脑的连接
    2. 先按住AI-01开发板按键，再把TTL接入电脑，AI-01开发板USB口不要接
• 下载
  • 网页下载
    1. 浏览器访问https://xiaozhi.doit.am, 并选择四博智联小智AI-01智能体
    2. 点击烧录，进入烧录界面
    3. 点击连接，选择弹窗的设备，点击连接
    4. 点击烧录，等待烧录完成
  • IDF下载
    1. idf.py flash

👉新手烧录固件教程

1. 百宝箱 AIoT 开放平台：https://alipaytbox.yuque.com/sxs0ba/doc/tbox_open_iot

2. 其他硬件平台适配（不用本项目源码）：将main/protocols/websocket_protocol.cc 文件中signature_string 相关逻辑移植过去解决平台 ws 连接鉴权即可。