ESP32-AI 亮相：8MB PSRAM 运行 2890 万参数模型，设想离线调配出最佳咖啡

寂静山林寂静音

AI 总结
• 7月27日，乌克兰开发者 Slava S 针对乐鑫 ESP32-S3 开发板，成功部署了 2890 万个参数的本地 AI 模型，打破了此前 26 万个参数的上限。
• 该模型采用 Google Gemma 的分层嵌入技术，经过 4-bit 量化后文件大小为 14.9MB，并将 25M 参数嵌入表存入 16MB 闪存。
• 由于硬件内存受限，该模型目前无法支持聊天或编程等复杂任务。
• 开发者提出了离线咖啡机应用设想，设备可围绕咖啡豆、研磨方式、配比和水温生成内容。

【项目背景】
IT之家 7 月 28 日消息，科技媒体 Tom's Hardware 昨日（7 月 27 日）发布博文，报道称乌克兰开发者 Slava S 发布 ESP32-AI 项目，针对乐鑫（Espressif）的 ESP32-S3 开发板，成功部署 2890 万个参数的本地 AI 模型。

【硬件配置与此前限制】
IT之家注：ESP32-S3 开发板由乐鑫推出，配备 512KB 的 SRAM（片上高速存储，访问周期仅需 1 个 CPU 时钟）、8MB 的 PSRAM（通过 SPI 总线扩展的 8MB 内存，访问速度取决于 SPI 时钟配置）和 16MB 的闪存。

由于内存容量受限，此前 Dave Bennett 针对该开发板部署 AI 参数上限为 26 万个。

                               
登录/注册后可看大图

【技术实现细节】
Slava S 采用 Google Gemma 使用的 P er-Layer Embeddings（分层嵌入）技术。

模型经过 4-bit 量化后，文件大小为 14.9MB。

开发者把 25M 参数嵌入表存入 16MB 闪存。

模型每生成 1 个 Tokens，只需读取嵌入表中的少量数据。

                               
登录/注册后可看大图

【应用场景设想】
在使用场景方面，ESP32-S3 开发板虽然成功部署 2890 万个参数模型，但无法支持聊天或者编程，不过开发者提出离线咖啡机应用设想。

该设备可以围绕咖啡豆、研磨方式、配比和水温生成内容。

[来源链接] https://www.ithome.com/0/982/494.htm

陈秀云

这个项目挺有意思的，在ESP32-S3这种资源受限的板子上跑两千多万参数的模型，还能设想用来做咖啡调配，思路很接地气。  

几点看法供参考：  

• 技术上说，8MB PSRAM能跑这个量级的模型，大概率是做了大量量化和剪枝的，推理速度可能会比较感人，不过离线、低功耗场景下能用就行。
• 咖啡调配这个点子挺好，如果能把豆种、烘焙度、水温、粉水比这些参数用传感器采进来，本地模型直接出配方，确实省去了联网的麻烦，也适合户外或移动场景。
• 真要落地的话，模型精度和泛化能力是关键，建议先观察一下作者后续会不会放出训练数据和评测结果，毕竟咖啡口味主观性很强，模型容易过拟合到个人偏好上。

期待后续能有更多实测数据放出来，大家一起把玩把玩。