大型語言模型（LLM）被證明擁有豐富的可操作知識，可以以推理和計劃的形式提取用于機器人操作。盡管取得了進展，但大多數(shù)仍然依靠預(yù)定義的運動基元來執(zhí)行與環(huán)境的物理交互，這仍然是一個主要瓶頸。

在這項工作中，研究的目標(biāo)是合成機器人軌跡，即密集的6-DoF末端執(zhí)行器航點序列，用于給定開放指令集和開放對象集的各種操作任務(wù)。LLM擅長推斷自由形式的語言教學(xué)的提供和約束來實現(xiàn)這一點。更重要的是，通過利用他們的代碼編寫能力，可以與視覺語言模型（VLM）交互，以組合3D價值圖，將知識置于代理的觀察空間中。然后將組合的值圖用于基于模型的計劃框架中，以零鏡頭合成閉環(huán)機器人軌跡，并具有對動態(tài)擾動的魯棒性。

給定環(huán)境的RGB-D觀察和語言指令，LLM生成與VLM交互的代碼，以生成一系列基于機器人觀察空間的3D提供圖和約束圖（統(tǒng)稱為值圖）（a）組合的值圖用作運動規(guī)劃器的目標(biāo)函數(shù)，以合成機器人操作的軌跡（b）整個過程不涉及任何額外的訓(xùn)練。

展示了所提出的框架如何通過有效地學(xué)習(xí)涉及接觸豐富交互場景的動態(tài)模型來在線測試。在模擬和真實機器人環(huán)境中對所提出的方法進行了大規(guī)模研究，展示了以自由形式的自然語言執(zhí)行30多種日常操作任務(wù)的能力。

估計物理特性：給定兩個未知質(zhì)量的塊，機器人的任務(wù)是使用可用的工具進行物理實驗，以確定哪個塊更重。

行為常識推理：在機器人設(shè)置桌子的任務(wù)中，用戶可以指定行為偏好，例如“我是左撇子”，這需要機器人在任務(wù)的上下文中理解其含義。

細(xì)粒度語言校正：對于需要G精度的任務(wù)，例如“用蓋子蓋住茶壺”，用戶可以向機器人發(fā)出準(zhǔn)確的指令，例如“您離開了1cm”。

多步可視化程序：給定一個任務(wù)“將抽屜準(zhǔn)確地打開一半”，由于對象模型不可用，信息不足，機器人可以根據(jù)視覺反饋提出多步驟操作策略，先在記錄手柄位移的同時完全打開抽屜，然后將其關(guān)閉回中點以滿足要求。