Mark Bartlett

8 ドルのチップで LLM を動かす：ESP32-S3 で 10.3 から 22.6 tok/s へ

Mark Bartlett は esp32-ai の TinyStories モデルを再現し、律速は PSRAM の帯域で CPU は余っていたと特定した。出力を変えない 5 つの変更で 1 トークンあたり 94.7 ms を 43.3 ms に短縮した。