ESP32 对接 Muse 从零开始详细教程：用 Codex 做一台能听会说的桌面助手

这是跟着一位开发者跑通的完整记录：他用 Codex 给手里一块立创实战派 ESP32-S3 装上了 Muse，最后设备能收到文字和语音回复。他问「介绍一下你自己」，板子上回了这么一段：「我是 Drunk，你的 AI 小助手——查资料、做计划、搞技术，样样都行。」

下面按实际操作顺序拆开写：要先搞清楚什么、准备哪六样东西、怎么交代 AI 去编译烧录、怎么配对联网、屏幕和键盘怎么调、最后怎么验收——以及他中间踩到的每一个坑。文中还有一段可以整段复制的提示词。

一、先说清楚：Muse Gadgets 是什么，这篇要做什么

不把范围讲明白，你照着做会在第一步就卡住。

1. Muse 是 Meta 的个人 AI Agent，Muse Gadgets 是它的「硬件层」

Muse 是 Meta 在 2026 年 9 月 8 日发布的个人 AI 智能体，跑在 Meta 的云上。到了 10 月 2 日，Meta 又开源了一个叫 Muse Gadgets 的硬件计划——目标很直接：让你用手边几十块、一两百块的开发板，就能做出一个跟 Muse 对话的实体小设备。

代码放在 GitHub 的 facebookincubator/muse-gadget-sdk，Apache 2.0 许可，可以自由改。它分成两条轨道：

• ESP32 Device SDK：面向自己能编程的 ESP32 开发板。官方文档已经支持 11 款板子，其中后六款能跑完整的屏幕 UI（动画头像、按键通话、设置页）。
• Linux Device SDK：把树莓派 3B+ / 4 / 5 / Zero 2 W 这类 Linux 设备变成 Muse 设备。

2. 最关键的一条认知：板子不跑模型

很多人第一反应是「ESP32 那点内存怎么可能跑 AI」。答案是：它确实跑不动，也不需要跑。

整套架构里，开发板是瘦客户端——它只干三件事：录音、联网、显示。模型推理、工具调用、上下文记忆，全都在 Meta 那一侧完成。所以你手里的板子需要的算力，只够跑一个小屏界面和不卡顿的音频流而已。

3. 本文对应的硬件

这位开发者用的是立创实战派 ESP32-S3 N16R8，带 320×240 的横屏、触摸、麦克风和扬声器。文中所有的适配和实机记录，对应的都是这块板子。

如果你手里是别的型号，先把完整型号和参数图发给 AI，让它来核对——不要因为名字里都有「ESP32」就照着刷。ESP32 系列里 S3、C3、C6、P4 的差异很大，屏幕驱动和引脚定义更是各不相同。

二、开始之前：先把六样东西备齐

这份清单建议直接照着核，缺一样后面都会卡住。

要准备的	说明
开发板	立创实战派 ESP32-S3 N16R8（本文对应的板子）；换别的型号先让 AI 核对
USB 数据线	必须能传数据。只充电的线插上去，电脑永远找不到设备
一台电脑	作者用的是 Mac。你要用 Windows，就把系统一起告诉 AI，让它按你的电脑给命令
Muse App	已经能正常登录使用（Muse 本身的注册开通，本文不展开）
自己的 SDK token	登录 Muse 的 SDK token 页面获取。不要贴进聊天窗口，也不要提交到公开仓库
2.4 GHz Wi-Fi	注意是 2.4 GHz。很多 ESP32 连不上，问题就出在拿了 5 GHz 的密码

三、第一步：把项目和资料准备好

这一步不用 AI 帮你判断什么，照着点几下就行。关键是别跳步。

1. 打开仓库页面，确认分支是 main，点绿色的 Code 按钮，选 Download ZIP。
2. 双击 ZIP 解压，把文件夹改成 muse-lichuang。
3. 在 Finder 里按 Shift + Command + H 打开用户目录，新建一个 projects 文件夹，把项目放进去。
4. 最终要得到 ~/projects/muse-lichuang 这个位置。打开它应该能看到 README.md、docs、esp32 这些内容。已有同名文件夹就换个名字，不要覆盖。
5. 在 Codex 里把这个文件夹作为项目打开，然后把开发板参数图和提示词一起发过去。

怎么确认「打开对了」？问它一句就够了：

你现在能不能看到项目里的 README 和 esp32 文件夹？

它答得出来，说明项目挂载正确；答不出来或者答得含糊，就是路径不对，先回去检查，别急着往下走。

还有一个必须记住的点：你下载的是源码，不是固件。这个仓库目前没有现成的 Release 固件包，必须让 AI 按你这块板子的配置编译一次，才能生成能烧进板子的文件。

四、第二步：让 Codex 核对板型、备份，再编译烧录

这一步可以让 AI 全程代劳，但你要盯住它把进度说清楚：识别到的是哪块设备、原来的固件有没有备份、现在是在编译还是已经写进板子了。

1. 先弄清楚工具分工

作者这次用的是 ESP-IDF + esptool 这套组合：ESP-IDF 负责配置项目、编译源码；真正往开发板里写程序时，调用的是 esptool。两个工具都由 AI 在你电脑上运行。

2. 先交代它读文档、查环境

可以先这样跟它说：

先读这个项目的 README 和 docs/lichuang/getting-started.md。
我的电脑是 Mac，开发板是立创实战派 ESP32-S3 N16R8。
请按仓库要求准备 ESP-IDF v6.0.1，使用实战派对应的配置。
先完成环境检查，告诉我接下来需要在哪里填写 SDK token。

工具没装就让它装，装过就让它核对版本。Windows 用户的安装方式、串口名称和命令写法和 Mac 完全不同，不要让 AI 直接套用 Mac 的命令。

3. 填 SDK token（这一步得你亲自来）

让 AI 加载板型配置并打开 menuconfig（项目配置菜单），然后进入下面这一项：

ESP32 Device SDK → Muse Gadgets SDK token

用方向键选中、回车进入，粘贴你自己的 token，再按窗口底部提示保存退出。找不到菜单项就把菜单截图发给它、让它指位置——截图时记得遮住 token。

4. 编译、备份、再烧录

填好之后让 AI 继续编译。你会看到终端里不断滚动的输出，等它确认编译成功。这时固件已经生成在项目的 esp32/build-muse-lichuang-szp 文件夹里，但还没有写进板子。

然后接上 USB 数据线，让 AI：识别实际串口 → 确认芯片型号和 16 MB Flash → 备份原固件。你可以直接问它两个问题：

备份存在哪个文件夹？读取过程有没有报错？

把备份留好——以后想把板子恢复成原来的程序，全靠它。

确认无误后再烧录。AI 会按项目配置把需要的文件写进去，你不需要自己挑一个 .bin 去猜烧录地址。第一次从别的固件换过来，让它按仓库说明判断是否需要初始化配置区；如果只是更新这套 Muse，就不要重复清除配对和 Wi-Fi 设置。

烧录成功时，日志里能看到这两行：

Hash of data verified.
Hard resetting via RTS pin...

意思是写入的数据通过了校验，随后设备重启。到这一步，先别急着配对，回头看设备本身：屏幕有没有画面？点菜单时触摸位置对不对？麦克风和扬声器能不能正常工作？

五、第三步：App 配对，再让开发板真正联上网

烧录完成、实物确认没问题，再进配对。App 里的流程是固定的四步：

1. 打开 Settings → Devices → Developer mode，开启开发者模式。
2. 通过 Add Device 添加设备，选择与开发板屏幕对应的 MuseGadget-XXXXXX。
3. 按提示选择或填写 2.4 GHz Wi-Fi 并输入密码。
4. 要求在开发板上确认时，短按 BOOT 键——注意和 RESET 复位键区分开。

1. 坑一：提交 Wi-Fi 后 App 退回去了

看着像网络连接失败，读日志才发现真正原因：配网任务需要的连续内存不够，任务根本没启动。后来缩小屏幕刷新缓冲区、腾出内部内存，配网才跑通。这处修正已经放进适配代码里了。

2. 坑二：电脑能打开 Muse，不代表开发板能

这是最容易被忽略的一条。作者的电脑能正常访问 Muse，开发板连上家里 Wi-Fi 后，请求云端却一直超时。查下来原因很简单：

电脑走的是本机代理，开发板的请求并没有经过它。连着同一个 Wi-Fi，不代表开发板会自动使用电脑上的代理。

他的解法是软路由：一台 J1900 小主机（买时让卖家装了飞牛 NAS），用飞牛里的虚拟机再装一层 iStoreOS，在 iStoreOS 里配置代理。于是分工变成——J1900 负责运行，飞牛管 NAS 和虚拟机，虚拟机里的 iStoreOS 负责网络出口。

这部分也可以让 AI 帮忙核对。把主路由、软路由的地址和连接方式告诉它，让它确认三件事：iStoreOS 的代理能不能正常用；开发板实际拿到的网络配置是什么；发出请求后，软路由里能不能看到对应的连接记录。

如果你的板子本来就能正常收到回复，不用为了跟教程额外搭这一套。用了这套方式的话，J1900 和里面的软路由虚拟机要保持运行；以后突然连不上，先看看虚拟机和代理有没有启动。

3. 三个结果，分开看

「配对完成」「连上 Wi-Fi」「请求能到 Muse」是三件独立的事。哪一步还没通过，就让 AI 继续处理那一步，不要在没分清的情况下反复重刷固件。

六、第四步：让这块 320×240 的小屏真正好用

能连上之后，问题会转移到手感上。作者连其他 Wi-Fi 时发现：输入框看不到，键盘还有些错位。他直接问 AI 一个很实用的问题——「是改这个 UI 快，还是换一个网络快？」

检查后确认：原来的布局放到这块矮横屏上，输入框已经跑到屏幕外面去了。改法是重新排：标题和输入框放在上面，四行键盘放到下面，先保证输入的时候能看清自己写了什么。后来又加了中英文切换，顺手把其他设置页面一起适配了。

验收方式很简单：

• 从头像页向左滑进入设置，点第一行「中文 / English」切换语言，再重启看选择是否保留。
• 打开 Wi-Fi 输入页，检查输入框、键盘和密码显示按钮是不是都能正常用。

要注意一点：中文界面目前还没有拼音输入法，键盘是字母、数字和符号。所以「中文界面」指的是界面文字是中文，不是能打中文。

七、第五步：用一次真实问答来验收

前面的显示、触摸、联网都确认过，再问第一个问题：按住 BOOT 说话，松手发送。说一句「介绍一下你自己」，然后分别看两件事——

• 文字有没有回来
• 扬声器有没有把回答播出来

两个都要确认。如果只有文字没有声音，把固件版本、音量和音频日志交给 AI，让它检查扬声器和回复播放那一段。

八、一段可以整段复制的提示词

下面这段是作者按实际过程整理的配置起点。下载好项目之后，把设备型号和电脑系统补进去，整段发给 Codex，让它一步步带着你做。

请帮我把 Muse 配置到开发板上，全程用中文沟通。

开发板：[填写完整型号，附参数图]
电脑系统：[填写系统，我这里是 Mac]
项目位置：[填写下载、解压后的文件夹位置]
参考仓库：https://github.com/Liu-zhongxian/muse-esp32-s3-lichuang

先读 README、项目规则和 docs/lichuang 下的文档，确认板型是否适用。
按仓库要求准备 ESP-IDF v6.0.1，加载实战派配置。
带我在本地配置菜单里填写自己的 SDK token，不要输出到聊天或公开源码。

编译成功后，识别实际串口，备份原固件并检查备份，再执行烧录。
区分首次安装和已有 Muse 固件的更新，更新时保留配对和网络设置。

烧录后带我检查实体屏幕和触摸，再完成手机配对与 Wi-Fi 连接。
需要我按 BOOT、重启、拍照或查看设备时，告诉我具体做什么。
如果联网失败，结合日志检查开发板实际使用的网络。

检查中英文切换、输入框和键盘，再带我发一个真实问题。
分别确认文字回复和语音播放，最后重启，再测一次完整问答。
每一步告诉我进度和看到什么才算完成；有报错先定位原因。

这段提示词最值得学的地方在最后一句：「每一步告诉我进度和看到什么才算完成」。把「验收点」写进指令里，你就不用靠感觉判断它是真做完了还是在糊弄。

九、常见问题：按现象找答案

下面这些坑，都是作者这次实际遇到的。用已经适配好的项目先正常往下做，真卡住了再按现象对照处理。

现象	先怎么处理
下载完不知道把什么发给 AI	ZIP 先解压，在 Codex 里打开包含 README 和 esp32 的那个文件夹，再发板型、电脑系统和提示词
编译报错 / 找不到工具命令	核对三件事：ESP-IDF v6.0.1 是否装好并激活、项目是否在英文无空格路径、是否加载了实战派预设。把完整错误保留下来
板子亮了，电脑找不到设备	先换一根确认能传数据的 USB 线，再查接口和串口。一直连接失败时：按住 BOOT → 点按 RESET → 松开 BOOT，再重试
日志正常，屏幕黑屏或空白	核对板型与适配配置，把实物照片和启动日志一起交给 AI。作者就是继续查背光控制、屏幕初始化和通信才解决的
App 提交 Wi-Fi 后退出配网	先查密码和是不是 2.4 GHz 网络，再查设备日志。作者那次是连续内存不足，修正已进仓库
连上 Wi-Fi 收不到 Muse 回复	区分「token 认证错误」和「网络超时」，检查开发板是不是真的能访问云端。电脑能打开 Muse，只能说明电脑这条网络通了
有文字，没有语音	把固件版本、音量、音频日志交给 AI，检查扬声器和回复播放流程
以后改界面还要重新烧录吗	要。界面更新仍然走本地编译 + 烧录；沿用同一板型配置时不必重复首次的配置区初始化，但涉及分区变动要先看更新说明

十、跑通之后，这块板子还能怎么玩

到这一步，你已经完整走过一次「下载项目 → 配置 → 编译 → 烧录 → 实际使用」。接下来有三条路可以继续。

1. 继续改自己的 Muse

比如调整横屏布局、加中英文切换——作者这次就是这么做的。你也可以先提一个小需求：换个头像、调文字大小、把常用设置挪到更好点的位置。改完再编译、烧录，拿着板子实际试一遍。

2. 玩官方和第三方的例程

方向	适合谁	怎么开始
立创自己的例程	想先摸熟这块板子	官方资料里有这块板的教程和开源项目，从 MP3 播放、触摸界面、掌机小游戏这类有直接反馈的例程开始，一次先跑通一个
小智 AI	想体验另一套语音助手	小智的开源仓库也是用 ESP32 做语音交互的方向，立创还有这块板子的接入教程；下载时认准对应板型的固件
Muse 官方 Gadget SDK	想深入底层	本次适配就是从官方开源项目继续做的。可以让 AI 带你看官方的 ESP32、Linux 接入代码，再研究怎么加自己的交互

这块板子真正有意思的地方在于：屏幕、按键、麦克风和扬声器都在你手上，有个小想法就能交给 AI 帮你改，然后亲手试一下。先让它回答一句话，再慢慢把它变成你自己想用的东西。

站内相关

• iPhone Use 从零开始详细教程：让 Codex 通过 USB 直接操控你的真实 iPhone——同样是「用 Codex 驱动一个真实设备」，那篇的终点是手机，这篇的终点是一块开发板。
• 个人 Agent 五家横评：Muse、Grok Bot、Spark、Cue、Dots，谁最适合当你的助理？——想先搞清楚 Muse 在同类里处于什么位置，看这篇横评，再决定要不要往硬件方向投入。
• Codex + Excalidraw 从零开始详细教程：一句话出一条手绘白板视频，不露脸、不剪辑——Codex 的另一条实用玩法，偏内容生产，可以和这条硬件路线对照着看。

本文为中文整理与重写，非逐字翻译，未使用原文配图（原文 8 张均为设计好的信息图卡）。原始来源：X 长文《全网最新 ESP32 对接 Muse 教程：从 0 到 1，做个桌面贾维斯》，作者 Drunk（@Liu_zhongxisn），2026-10-13 发布。文中产品事实核对自公开资料：Muse Gadgets 于 2026-10-02 由 Meta 开源（仓库 facebookincubator/muse-gadget-sdk，Apache 2.0，官网 gadgets.muse.ai）；ESP32 适配仓库为 Liu-zhongxian/muse-esp32-s3-lichuang（该仓库是官方 SDK 的 fork）；ESP-IDF v6.0.1 为乐鑫 2026 年 4 月发布的 v6.0 修订版，版本与 SDK 支持范围会持续变化，动手前请以官方文档和仓库说明为准。文中的目录、命令与菜单路径均为作者环境下的写法，仅作示意。