北大提出首个通用指令导航大模型系统

北京大学董豪团队提出首个通用指令导航大模型系统InstructNav，该工作已被CoRL 2024会议录用，不同导航任务需要不同能力，之前研究针对特定指令设计导航方法，无法满足人类下达混合类型指令的实际需求，而InstructNav极具价值。团队首先提出动态导航链路范式统一导航指令，利用大语言模型规划链路并在导航中根据场景更新。为引导机器人按链路行动，将规划结果映射到多源价值地图（包括动作、语义、直觉、轨迹价值地图），求和得到决策价值地图，以此控制机器人底层移动。作者在多种导航任务开展评测，InstructNav首次实现零样本视觉语言导航，在其他零样本导航任务上成功率最高。