
在 8 美元的芯片上跑大模型:ESP32-S3 从 10.3 提到 22.6 tok/s
Mark Bartlett 复现了 esp32-ai 的 TinyStories 模型,发现真正的瓶颈在 PSRAM 带宽,CPU 并不吃紧。五次不改变输出的改动把单 token 时间从 94.7 ms 压到 43.3 ms,生成文本仍逐字节相同。

Mark Bartlett 复现了 esp32-ai 的 TinyStories 模型,发现真正的瓶颈在 PSRAM 带宽,CPU 并不吃紧。五次不改变输出的改动把单 token 时间从 94.7 ms 压到 43.3 ms,生成文本仍逐字节相同。