断网还能用的 AI：把 150 万篇文章和本地大模型装进一台笔记本
Survival LLM 是免费开源的桌面应用，本地模型在 150 万篇离线资料里检索，包括约 93 万篇维基百科、FEMA 与 CDC 指南、急救手册，每条回答都附上原文段落。作者还贴出一张分档测试表：内存越小，答对的越少。
端侧
更多 端侧
首页
Liquid AI 发布 LFM3：一套混合架构撑起六个 2B 级模型
LFM3-1.7B 在 22T token 上预训练，24 层里 13 层是门控短卷积、5 层滑窗注意力、6 层全局注意力，4-bit 量化后约 1 GB，128K 上下文的 KV cache 只要 1.6 GB。同门还有视觉、音频、全模态和两个决策模型。
他训练了一个 360M 的模型，让它假装自己是一台终端
Simon Edwardsson 用逐次按键的方式，让 360M 参数的模型直接预测终端画面，背后没有 shell。行并行解码把整屏重绘从 6.7 秒压到 0.87 秒，最后整套模型以 208 MB 跑在浏览器标签页里。
在 8 美元的芯片上跑大模型：ESP32-S3 从 10.3 提到 22.6 tok/s
Mark Bartlett 复现了 esp32-ai 的 TinyStories 模型，发现真正的瓶颈在 PSRAM 带宽，CPU 并不吃紧。五次不改变输出的改动把单 token 时间从 94.7 ms 压到 43.3 ms，生成文本仍逐字节相同。
让六台安防摄像头学会观鸟
自托管 BirdNET-Go 接上六台 UniFi 摄像头的麦克风后，夜里也能听见刺猬和狐狸；但作者 ffprobe 后发现摄像头音频只有 16 kHz，唱得高的鹪鹩根本没被录下来。
在ESP32-S3上运行Needle 2：分步DIY指南
Needle 2 模型仅 13.7 MB，可在 ESP32-S3 N16R8 上离线运行工具调用，但需 16 MB flash 与 8 MB octal PSRAM。
Mistral × Mozilla：私密、多语言的 AI 浏览
Mistral与Mozilla合作，以Mistral模型为Firefox智能窗口（测试版）提供支持，率先为法国和北美用户带来私密的多语言AI浏览体验。
我们如何用 Gemma 4 和树莓派打造桌面陪伴机器人
LEGO 桌面机器人 DinoDesk AI 用树莓派加本地网关，在 Gemma 4 与 Gemini Flash 间切换，无摄像头、本地对话零成本。
Ternary Bonsai 2 27B：体积缩小 9 倍，保留 98.2% 基准表现
基于 Qwen3.8 27B 的三值权重模型把体积压到 5.9GB（每权重 1.76 有效比特），综合基准保留 98.2%，在 RTX 5090 上跑到 143 token/秒，并按 Apache 2.0 发布。
六个能在手机上离线跑的本地模型：参数量、体积与各自擅长什么
2026 年的六款本地 AI 模型盘点。它们都能在数据不出设备的前提下运行，兼顾隐私与离线能力，文章逐款对比了适用场景与代价。