AI-Infra-Auto-Driven-SKILLS

收录理由

这个仓库的价值在于，它把AI基础设施工程师日常要做的那些琐碎但关键的运维工作，整理成了智能体可以直接照做的操作手册。比如，它提供了SGLang、vLLM、TensorRT-LLM和TokenSpeed的公平基准测试方法，能帮新模型架构制定可审计的Day-0支持计划，还能从启动日志里读出容量估算。性能分析部分把prefill和decode的证据分开处理，细节程度堪比资深工程师脑子里的经验——比如逐层、逐内核地检查trace，或者估算算子FLOPs和MFU。SGLang的补丁审查也贴合维护者真实的讨论习惯，生产事故的复盘可以从回放中定位问题，模型家族的优化历史则和实际改动的代码放在一起，方便追溯。对于跑LLM服务的团队来说，把这些手册交给智能体，得到的是可复现、可审计的结果，而不是听起来头头是道的猜测。