ck

收录理由

对于需要在不断变化的硬件与软件组合上复现MLPerf风格基准测试的团队来说，这套自动化框架确实能派上大用场。它把软件项目转成基于文件的仓库，里面存放代码、数据、模型和脚本等可移植构件，每个构件都带有可扩展的元数据和可复用的自动化操作，并统一通过命令行接口和Python API来调用。这些构件可以串联成与具体技术无关的工作流，因此在不同GPU、不同框架或不同模型版本上重跑同一套实验设置并公平比较结果，就变得切实可行。该项目是MLCommons大量MLPerf自动化工作的底层支撑，反映的是真实基准测试实践而非玩具示例，同时它也为ML和系统领域会议的可复现性工件评估提供动力。需要坦诚指出的一点是：维护者现已将CK/CM/CMX视为遗留项目，并推荐新工作转向cMeta后继版本，所以在决定是否基于当前版本构建时，应把这一路线图因素考虑进去。