ESP32 语音机器人实战指南用 xiaozhi-esp32 把大模型接到 GPIO 上【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32xiaozhi-esp32 是一个基于 MCP 协议的 ESP32 语音机器人固件把大模型接到麦克风、扬声器和 GPIO 上让语音指令直接驱动硬件。本文面向有硬件或编程基础的开发者带你从选板、烧录到读懂 MCP 工具调用链路跑通一套可二次开发的边缘 AI 语音助手。场景开局30 秒让 ESP32 听懂把音量调到 50烧完固件把设备凑近嘴说小智小智再补一句把音量调到 50。设备立刻改变音量并给出回应。这 30 秒里发生了什么唤醒词小智小智是设备本地识别的离线完成不走网络后面的话被编码成 Opus 流一种专为语音设计的音频压缩格式发给后端ASR 转文字后大模型从设备上报的工具列表里挑了设置音量这一个工具tools/call指令回到设备设备端代码直接改了 codec 的寄存器xiaozhi-esp32 的价值在于把这条链路——拾音、唤醒、音频流、协议、工具分发——全部固化成可烧录的固件支持 70 多款板卡配置覆盖 ESP32、C3、C5、C6、S3、P4 六类芯片。手上只有一块裸板也没关系面包板方案把 I2S 麦克风、I2S 喇叭、codec、按键的引脚都接清楚了照图飞线即可。上手路径选板、拉码、配参、烧录1. 选板每块板子对应main/boards/下的一个目录。先列出全部板卡和固件变体python scripts/build.py --list-boards输出即当前构建矩阵支持的全部变体按自己的硬件对号入座。2. 拉码git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32 cd xiaozhi-esp323. 配参主线代码要求 ESP-IDF v6.0.2ESP32-S31 变体需要 v6.1 以上。装好工具链后idf.py set-target esp32s3 idf.py menuconfig在 menuconfig 里选中你的板卡。板卡差异集中在两个文件config.h定义引脚config.json定义构建配置都在对应板卡目录下。4. 烧录idf.py -p /dev/ttyUSB0 flash monitor烧录完成、听到上电提示音后说一句唤醒词听到激活音就通了。机制走读跟一句话从拾音走到 GPIO拿把音量调到 50这句话按它实际经过的顺序走一遍拾音麦克风出 I2S 数据main/audio/codecs/下的 codec 驱动适配具体芯片统一入口在main/audio/audio_service.cc唤醒与前端离线唤醒词模型本地运行唤醒后 VAD判断人声起止和 AEC回声消除防止喇叭声被麦克风再录进去接管音频引擎在main/audio/engines/上行音频编码成 Opus16kHz 单声道、每帧 60ms经 WebSocket 或 MQTT 发给服务器理解后端 ASR 转文字交给大模型。模型不只是回复它还会查看设备工具列表决定调哪个工具MCP 下发MCPModel Context Protocol一套让模型发现并调用设备能力的协议在这里介入。消息按 JSON-RPC 2.0 格式封装在 WebSocket/MQTT 传输层里三步握手initialize建会话、tools/list让模型拿工具清单、tools/call真正调用。设备是 MCP server后端是 client执行McpServermain/mcp_server.cc把请求派发到注册的回调里。音量工具改 codec 数值灯的工具切 GPIO电机的工具发 PWM回复语音走反向链路TTS 音频以 Opus 流回来解码后从喇叭播出。三个小目标30 分钟可验证的 3 件事目标 1跑通一轮完整对话烧一块手头板卡的固件验证唤醒 → 调音量 → 设备确认闭环。涉及目录main/boards/板卡配置、partitions/按闪存大小选分区表。目标 2注册一个自定义 MCP 工具挑一个空闲 GPIO用McpServer::AddTool注册开关灯工具再用语音触发。API 收 4 个参数工具名、描述、参数列表、回调。注意模型是靠你写的描述决定何时调用工具的描述写得含糊调用率就低。写法见docs/mcp-usage.md。目标 3换一套语言包设备提示音和界面语言来自main/assets/locales/zh-CN、en-US、ja-JP 等 38 种。用scripts/spiffs_assets/下的工具重新打包资产烧进去让设备换一种口音跟你说话。避坑速查现象 → 大概率原因 → 处置动作编译类报错信息提到组件版本不匹配→ ESP-IDF 版本不对主线要求 v6.0.2 以上→idf.py fullclean后重建或对照docs/esp-idf-6-migration.mdmenuconfig 里找不到你的板卡→ 板卡目录的构建配置没被 CMake 收录 → 核对main/boards/板卡/config.json的type、target、builds三个字段语音类出声破音或单声道缺失→ codec 的 I2C 地址或 I2S 引脚接错 → 对着原理图核对config.h里的地址与引脚宏唤不醒或安静时乱触发→ 唤醒词模型没进分区表或麦克风增益不合适 → 换成partitions/中预留模型空间的分区表再调 codec 增益对话中途卡住→ 音频队列积压或网络重传 → 看audio_service日志确认丢帧位置缩小音频缓冲硬件类上电重启、提示 brownout→ 3.3V 供电电流不足麦克风、屏幕、4G 模组同时工作时尤其明显→ 换 1A 以上独立电源Wi-Fi 搜不到或频繁掉线→ 天线距离、信号干扰 → 设备远离电脑和金属外壳热点配网失败时换 BluFi 方式接着往下二次开发与社区参与二次开发集中在两处。新板卡在main/boards/下建目录写config.h和config.json别覆盖已有板卡配置——那会污染原板卡的 OTA 升级通道。新能力用AddTool扩展设备工具或在后端接云端 MCP智能家居、知识搜索、邮件收发。社区参与编译报错、硬件适配、协议细节直接提 issue板卡变体验证通过后把板卡目录整理成 PR 提交。从桌上的板子挑一块按上面的 4 步把第一声唤醒跑出来。唤醒词通了接下来就是把你要控制的硬件一个个注册成 MCP 工具。核心关键词ESP32 语音机器人、MCP 协议长尾关键词xiaozhi-esp32 快速上手指南、ESP32 MCP 工具注册实战、ESP-IDF v6 固件烧录配置、ESP32 离线唤醒词与分区表配置【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ESP32 语音机器人实战指南：用 xiaozhi-esp32 把大模型接到 GPIO 上
ESP32 语音机器人实战指南用 xiaozhi-esp32 把大模型接到 GPIO 上【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32xiaozhi-esp32 是一个基于 MCP 协议的 ESP32 语音机器人固件把大模型接到麦克风、扬声器和 GPIO 上让语音指令直接驱动硬件。本文面向有硬件或编程基础的开发者带你从选板、烧录到读懂 MCP 工具调用链路跑通一套可二次开发的边缘 AI 语音助手。场景开局30 秒让 ESP32 听懂把音量调到 50烧完固件把设备凑近嘴说小智小智再补一句把音量调到 50。设备立刻改变音量并给出回应。这 30 秒里发生了什么唤醒词小智小智是设备本地识别的离线完成不走网络后面的话被编码成 Opus 流一种专为语音设计的音频压缩格式发给后端ASR 转文字后大模型从设备上报的工具列表里挑了设置音量这一个工具tools/call指令回到设备设备端代码直接改了 codec 的寄存器xiaozhi-esp32 的价值在于把这条链路——拾音、唤醒、音频流、协议、工具分发——全部固化成可烧录的固件支持 70 多款板卡配置覆盖 ESP32、C3、C5、C6、S3、P4 六类芯片。手上只有一块裸板也没关系面包板方案把 I2S 麦克风、I2S 喇叭、codec、按键的引脚都接清楚了照图飞线即可。上手路径选板、拉码、配参、烧录1. 选板每块板子对应main/boards/下的一个目录。先列出全部板卡和固件变体python scripts/build.py --list-boards输出即当前构建矩阵支持的全部变体按自己的硬件对号入座。2. 拉码git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32 cd xiaozhi-esp323. 配参主线代码要求 ESP-IDF v6.0.2ESP32-S31 变体需要 v6.1 以上。装好工具链后idf.py set-target esp32s3 idf.py menuconfig在 menuconfig 里选中你的板卡。板卡差异集中在两个文件config.h定义引脚config.json定义构建配置都在对应板卡目录下。4. 烧录idf.py -p /dev/ttyUSB0 flash monitor烧录完成、听到上电提示音后说一句唤醒词听到激活音就通了。机制走读跟一句话从拾音走到 GPIO拿把音量调到 50这句话按它实际经过的顺序走一遍拾音麦克风出 I2S 数据main/audio/codecs/下的 codec 驱动适配具体芯片统一入口在main/audio/audio_service.cc唤醒与前端离线唤醒词模型本地运行唤醒后 VAD判断人声起止和 AEC回声消除防止喇叭声被麦克风再录进去接管音频引擎在main/audio/engines/上行音频编码成 Opus16kHz 单声道、每帧 60ms经 WebSocket 或 MQTT 发给服务器理解后端 ASR 转文字交给大模型。模型不只是回复它还会查看设备工具列表决定调哪个工具MCP 下发MCPModel Context Protocol一套让模型发现并调用设备能力的协议在这里介入。消息按 JSON-RPC 2.0 格式封装在 WebSocket/MQTT 传输层里三步握手initialize建会话、tools/list让模型拿工具清单、tools/call真正调用。设备是 MCP server后端是 client执行McpServermain/mcp_server.cc把请求派发到注册的回调里。音量工具改 codec 数值灯的工具切 GPIO电机的工具发 PWM回复语音走反向链路TTS 音频以 Opus 流回来解码后从喇叭播出。三个小目标30 分钟可验证的 3 件事目标 1跑通一轮完整对话烧一块手头板卡的固件验证唤醒 → 调音量 → 设备确认闭环。涉及目录main/boards/板卡配置、partitions/按闪存大小选分区表。目标 2注册一个自定义 MCP 工具挑一个空闲 GPIO用McpServer::AddTool注册开关灯工具再用语音触发。API 收 4 个参数工具名、描述、参数列表、回调。注意模型是靠你写的描述决定何时调用工具的描述写得含糊调用率就低。写法见docs/mcp-usage.md。目标 3换一套语言包设备提示音和界面语言来自main/assets/locales/zh-CN、en-US、ja-JP 等 38 种。用scripts/spiffs_assets/下的工具重新打包资产烧进去让设备换一种口音跟你说话。避坑速查现象 → 大概率原因 → 处置动作编译类报错信息提到组件版本不匹配→ ESP-IDF 版本不对主线要求 v6.0.2 以上→idf.py fullclean后重建或对照docs/esp-idf-6-migration.mdmenuconfig 里找不到你的板卡→ 板卡目录的构建配置没被 CMake 收录 → 核对main/boards/板卡/config.json的type、target、builds三个字段语音类出声破音或单声道缺失→ codec 的 I2C 地址或 I2S 引脚接错 → 对着原理图核对config.h里的地址与引脚宏唤不醒或安静时乱触发→ 唤醒词模型没进分区表或麦克风增益不合适 → 换成partitions/中预留模型空间的分区表再调 codec 增益对话中途卡住→ 音频队列积压或网络重传 → 看audio_service日志确认丢帧位置缩小音频缓冲硬件类上电重启、提示 brownout→ 3.3V 供电电流不足麦克风、屏幕、4G 模组同时工作时尤其明显→ 换 1A 以上独立电源Wi-Fi 搜不到或频繁掉线→ 天线距离、信号干扰 → 设备远离电脑和金属外壳热点配网失败时换 BluFi 方式接着往下二次开发与社区参与二次开发集中在两处。新板卡在main/boards/下建目录写config.h和config.json别覆盖已有板卡配置——那会污染原板卡的 OTA 升级通道。新能力用AddTool扩展设备工具或在后端接云端 MCP智能家居、知识搜索、邮件收发。社区参与编译报错、硬件适配、协议细节直接提 issue板卡变体验证通过后把板卡目录整理成 PR 提交。从桌上的板子挑一块按上面的 4 步把第一声唤醒跑出来。唤醒词通了接下来就是把你要控制的硬件一个个注册成 MCP 工具。核心关键词ESP32 语音机器人、MCP 协议长尾关键词xiaozhi-esp32 快速上手指南、ESP32 MCP 工具注册实战、ESP-IDF v6 固件烧录配置、ESP32 离线唤醒词与分区表配置【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考