#539 · 主分类: AI编程助手

AutoCoder

code-generation code-interpreter humaneval llm nlp nlp-machine-learning text-generation

我们推出了一款专为代码生成任务设计的新模型。其在HumanEval基础数据集上的测试准确率超过了GPT-4 Turbo(2024年4月)和GPT-4o。

项目最后更新:07/06/24

GitHub Stars

850

Forks数量

71

贡献者数量

2

许可证

Apache-2.0

收录理由

AutoCoder把代码生成模型和解释器绑在一起,但解释器只在用户要求验证代码时才激活。它的HumanEval基础准确率达到90.9%,在同一测试集上比GPT-4 Turbo和GPT-4o略胜一筹。模型基于DeepSeek-Coder和CodeQwen1.5构建,具备一个多数开源模型不具备的本事:当你让它执行代码,它能自己装好缺失的依赖包,反复试运行直至结果无误,免去了本地环境常见的包安装麻烦。仓库里附带了Gradio演示,以及能复现HumanEval、MBPP和DS-1000上公开成绩的脚本,让你在决定是否采用前可以亲自验证这些声明。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目