DriveLM

收录理由

如果你正在为自动驾驶打造视觉语言模型，DriveLM值得一看。它把基于nuScenes和CARLA模拟器构建的图结构视觉问答数据集，与一个既能回答这些问题、又能输出驾驶决策的基线VLM智能体打包在一起——一个仓库里同时拿到基准和起步模型，省去不少折腾。这里的推理被拆成感知、预测、规划、行为等一系列问题，而不是直接给一个端到端的结果，更像人类开车时的思考过程。由于该项目曾支撑起官方自动驾驶挑战赛的一个赛道，评估流程经过大量实战检验，文档也写得清楚。想测试大视觉语言模型在结构化、场景化驾驶任务上的表现，这里是个实在的试验场。