needle

收录理由

Needle 是一个只有 2600 万参数的小模型，专门为内存和算力都很有限的设备做函数调用。你给它一句自然语言指令，它直接返回结构化的工具调用，而不是生成一大段自由文本。正因为目标这么聚焦，它才能把权重压到大约 14MB，在手机、手表、智能家居设备和小型机器人上跑出每秒 1000 到 6000 token 的速度。模型权重完全开放，连生成训练数据的流程也一起开源了，所以你可以在普通笔记本上针对自己的工具接口做微调。如果你正在做端侧语音助手或者家庭自动化原型，这个模型小到真的能塞进产品里，是一个可以立刻动手试的起点。