InferenceX

收录理由

InferenceX 的思路是让一套统一的推理基准在主流开源服务栈上持续反复运行，覆盖 SGLang、vLLM、TensorRT-LLM 等，并同时跑在 GB200、GB300 NVL72、B200 以及 AMD MI355X 这类当前数据中心级 GPU 上。由于跑测从不间断，结果能实时反映内核和调度器随版本迭代带来的性能变化——单次快照式基准在几周内就会因为上游软件更新而失去参考价值。项目以 Apache-2.0 协议开放了基准运行器，并配有一个公开仪表盘，团队不必亲自搭建环境，就能直接对比不同服务栈和硬件组合的实测数据。对负责采购、容量规划和选型的人来说，这意味着一个持续更新的权威数据源，替代了厂商零散的单次宣传数字。