picolm

收录理由

多数大模型运行时对硬件的要求高得离谱，一块树莓派 Zero 或 256MB 内存的 RISC-V 板子根本跑不起来。PicoLM 反其道而行，用大约 2500 行纯 C 代码从零写了一个推理引擎，零依赖，编译后只有一个约 80KB 的二进制文件，直接读取 GGUF 模型。它通过内存映射权重，按层流式加载，所以 1.1B 参数模型只需约 45MB 内存，还支持量化 K 格式、flash attention、ARM NEON 和 SSE2 SIMD 指令集以及多线程矩阵乘法。PicoLM 也是 PicoClaw 离线智能体的本地大脑，支持 stdin/stdout 管道、用于工具调用的文法约束 JSON 和 KV 缓存持久化，无需 Python 也能嵌入你自己的自动化流程。对于在资源受限设备上做边缘 AI 原型开发的团队，这个小巧的手调 C 推理栈能走多远，它给出了很好的参考。