evaluation-guidebook

收录理由

评估一个LLM，往往比训练它更让人头疼。这份指南的两位作者，一位运营过Open LLM Leaderboard，另一位参与设计了lighteval，他们把实战中踩过的坑和攒下的经验都写进了书里。内容从自动基准、人工评估到让大模型当裁判的玩法都有涉及，但更难得的是那些故障排查和可复现性的章节，读起来像是真在部署一线摸爬滚打过的老手在说话。新手可以从每章的基础部分慢慢啃，已经上手评估的团队则能直接跳去设计和调优的章节，作者还用星号标出了自己真心推荐的精读链接。对于要为自己的生产模型写定制评估、或者在发布前纠结选什么指标的人来说，这本册子是很实在的参考。唯一要提个醒：这个仓库本身已经停更，内容整体迁移到了新版托管页面上，但这里仍然保留了最稳定的核心版本。