基座模型技术背景下的具身智能体综述

李颂元,朱祥维,李玺

Survey of embodied agent in context of foundation model

Songyuan LI,Xiangwei ZHU,Xi LI

表 5 视觉导航智能体的比较

Tab.5 Comparison of agents for visual navigation

智能体 语言 基座模型 真实世界 模拟器 室内/室外 建图 参数量 EmbCLIP[119] ✓ CLIP — AI2-THOR 室内 — 8.8×107 CoW[120] ✓ CLIP ✓ AI2-THOR, Habitat 室内 ✓ 3.07×108 ZSON[121] ✓ CLIP — Habitat, Gibson 室内 — — LFG[122] ✓ GPT-3.5 ✓ Habitat 室内 ✓ 2.0×1010 DDN[123] ✓ GPT-3.5 — AI2-THOR 室内 — 2.0×1010 PixNav[124] ✓ LLaMA-Adapter, GPT-4, Grounding DINO, SAM ✓ Habitat 室内 — — PreSS[125] ✓ BERT, GPT — Matterport3D 室内 — 1.17×108/3.40×108 VLN-BERT[68] ✓ ViLBERT — Matterport3D 室内 — 1.55×108 MARVAL[126] ✓ — — Matterport3D, Gibson 室内 — — LM-Nav[76] ✓ ViNG, CLIP GPT-3 ✓ — 室外 ✓ — NavGPT[77] ✓ GPT-3.5, GPT-4 — Matterport3D 室内 ✓ — DiscussNav[114] ✓ GPT-4 — Matterport3D 室内 — — Vienna[127] ✓ — — Matterport3D, Habitat 室内 — 3.1×107 ViNT[115] — — ✓ — 室内/室外 — 3.1×107