cosmos

收录理由

做机器人和自动驾驶的团队，常常卡在真实视频数据不够用，感知和控制的模型练不出来。Cosmos 提供了一条出路：它是一套世界模型，输入文字、图片或短视频，就能生成场景后续演变的视频，还附带推理模型，能定位三维物体、估算时间戳、规划智能体下一步动作。项目文档很务实，把生成器怎么用 Diffusers 或 vLLM-Omni 跑起来、推理器怎么用 Transformers 或 vLLM 调用，以及微调、导出检查点、蒸馏的完整流程都写清楚了。小团队不用从零搭管线，直接拿现成检查点就能上手。如果你要的是物理 AI 的合成数据和世界模拟，而不是又一个聊天机器人或视频工具，这里是个资料齐全的起点。