magicoder

收录理由

Magicoder 是 UIUC 的一个研究项目，它提出了一种不依赖专有模型蒸馏的训练思路：通过 OSS-Instruct 方法，从真实开源代码片段中改写生成指令数据，从而绕开大模型合成数据中常见的偏差问题。项目发布的 6.7B 和 7B 检查点在 HumanEval 上超过了 gpt-3.5-turbo-1106 和 Gemini Ultra，仓库里完整记录了从数据构建到评测的流程，结果有不错的可复现性。这套方法后来启发了 Google CodeGemma 等后续工作，对于正在权衡开源数据驱动训练与闭源模型蒸馏的团队来说，是一个很有价值的参考。