ARC-AGI

收录理由

ARC-AGI 提供了一套由 800 个小网格谜题组成的测试集，解题靠的是真正的推理，而不是简单的模式匹配。每个任务先给出几个演示输入/输出对，解题者需要从中推断出潜在规则，并在三次尝试机会内为未见过的测试输入生成完全正确的输出网格。数据以简洁的 JSON 格式存放，并明确划分为训练集和评估集，接入任何解题程序都很直接；同时附带的浏览器界面也允许人类手动尝试。由于评分要求首次接触任务时就给出精确网格，这对程序合成和神经符号系统构成了相当严格的检验。对于正在构建推理模型的团队来说，它既可以作为评分基准，也能持续提供一批小巧但刁钻的样例，用来研究泛化能力和归纳偏置。