树莓派5 + ESP32-S3上的离线AI蒸汽朋克头盔

树莓派 5 与 ESP32-S3 分工驱动离线 AI 蒸汽朋克头盔,在无网络的沙漠中同时运行 Qwen 2.5、眼球舵机与实时视频。

中文
复制
蒸汽朋克头盔实物:铜锈色外壳上绕着蓝色 LED 灯带,正中一只由摄像镜头做的眼睛,下方两个圆形镜筒,整体泛蓝光

树莓派 5 能同时运行会说话的 AI、舵机驱动的眼球、LED 灯效和实时视频,还戴在人头上,全程不联网吗?DeepSea Developments 说能,Mind-Control Helmet V2 就是证据。

这顶头盔能做什么

这顶蒸汽朋克头盔是为 Burning Man 打造的,自带一个名为“Mind Control”的 Wi-Fi 热点。任何人连上它,就能打开浏览器控制面板,查看头盔摄像头的画面、调整灯光、操控那只巨大的动画眼球、通过板载扬声器说话,或者跟内置的 AI 助手聊天。整套系统离线运行——在手机信号纯属传说的沙漠里,这一点至关重要。眼球来自一个开源的可打印设计,但真正有意思的是它背后的电子方案。

硬件如何分工

这套装置用了两个大脑,而这种分工正是值得借鉴的经验。

  • 树莓派 5 + AI HAT+:托管热点、Web UI、视频串流,以及一个本地运行的 15 亿参数 Qwen 2.5 语言模型。语音也在设备端完成:OpenWakeWord 监听唤醒词,一个语音转文字库把语音变成提示词,Piper 再把回复读出来。
  • Seeed XIAO ESP32-S3:驱动可寻址 LED 灯带和灯环、眼球舵机(水平转动、俯仰、眨眼、眼睑),以及一个手持无线遥控器。
  • Camera Module 3 NoIR:选的是去掉红外滤镜的版本,为的是夜间活动时低光视频效果更好。

为什么不直接用树莓派的 GPIO 驱动舵机?因为 Linux 不是实时系统。当树莓派忙于 LLM 推理和视频串流时,舵机脉冲会抖动,眼球就会抽搐。把对时序敏感的任务交给 240 MHz 的 ESP32-S3,眼球就能保持顺滑,而树莓派负责重活。一个经典的坑要注意:树莓派是 3.3 V 逻辑电平,而普通舵机需要自己的 5 V 供电,所以给舵机单独一路电源并共地,别用板子上的引脚供电。

用更小的预算试一试

不必一上来就做整顶头盔。先用一块 ESP32-S3 和两个 SG90 舵机插在面包板上,写一个极简的串口协议(比如用“E,90,45”控制眼球的水平与俯仰),再从树莓派或笔记本通过 UART 发指令。跑通之后,用一个数据引脚接上 WS2812 灯环,并在树莓派上跑一个唤醒词模型。对两三个人的 ECE 小组来说,这已经是一个分量足够的毕业设计。完整记录和照片都在 Hackster 上。

常见问题

这顶头盔没有网络,怎么跑 AI 助手?一块 Raspberry Pi 5 加 AI HAT+,在本地运行 15 亿参数的 Qwen 2.5 模型。唤醒词检测(OpenWakeWord)、语音转文字和 Piper 语音合成都跑在树莓派上,不需要连接云端。

为什么这套方案要在 Raspberry Pi 之外再加一块 ESP32-S3?

XIAO ESP32-S3 负责对时序敏感的任务,比如舵机脉冲、可寻址 LED 和无线遥控。树莓派跑的是 Linux,不是实时系统,把这些任务分出去,眼球和灯光才能保持顺滑,而树莓派专心做 AI 推理和视频推流。

照着做一版能学到什么?

你会练习把一套系统拆到 Linux 电脑和微控制器两边、写一个简单的串口命令协议、用独立的 5 V 电源给舵机供电、驱动 WS2812 LED,以及在 Raspberry Pi 上跑离线的语音和语言模型。

本文的灵感来自 Hackster 的报道。所需零件和模块可在 Circuitrocks 购买。

来源: Circuitrocks← 返回首页