matmulfreellm

收录理由

关注高效大模型架构的开发者，大概率会在这个仓库里找到有价值的东西。它实现了 MatMul-Free LM，一种把标准 Transformer 核心中的矩阵乘法整个拿掉的设计，用三元权重和门控循环注意力替代了大部分线性层。关键在于这种取舍：省下大量 FLOPs 和内存占用，同时生成质量仍能贴近传统模型。仓库直接提供了 370M、1.3B 和 2.7B 的预训练权重，加载时走 Hugging Face 标准的 AutoModel 接口，无论是跑生成还是做微调，都不用额外折腾。代码改编自 flash-linear-attention，熟悉那个库的人能很快看出三元量化是怎么嵌进熟悉的线性注意力框架里的。