TinyEngram

收录理由

如果你正在寻找一种不重新训练整个模型就能注入领域知识的方法，TinyEngram 提供了一个具体的替代 LoRA 的选项。这是 DeepSeek Engram 架构的开源研究实现，采用带门控检索的 N-gram 风格记忆模块，应用于 Qwen 语言模型，并扩展到 Stable Diffusion 做概念注入。仓库里包含训练脚本、固定依赖、日志和详细的实验报告，支撑其核心结论：基于 Engram 的记忆注入在参数效率上优于 LoRA，同时能抵抗灾难性遗忘，并且能干净地组合文本与视觉任务。对于研究记忆注入和微调技术的人来说，这是一个可复现的参考，而非打磨好的产品，有助于理解轻量记忆模块如何在不改动主干的情况下教会模型新知识。