大型語言模型可以編碼關(guān)于世界的大量語義知識(shí)，這些知識(shí)對(duì)于機(jī)器人來說非常有用，它們的目標(biāo)是執(zhí)行用自然語言表達(dá)的GJ、臨時(shí)擴(kuò)展的指令，然而，大語言模型在機(jī)器人操作上的應(yīng)用還存在如下問題：

1)語言模型的一個(gè)重要弱點(diǎn)是缺乏現(xiàn)實(shí)世界的經(jīng)驗(yàn)。

2)難在給定的實(shí)現(xiàn)中利用它們進(jìn)行決策制定。

3)大語言模型不以物理世界為基礎(chǔ)，不會(huì)觀測到他們產(chǎn)生的結(jié)果對(duì)任何物理過程的影響。

1、研究方法

通過預(yù)訓(xùn)練技能來提供真實(shí)世界的基礎(chǔ)，這些技能用于約束模型，以提出既可行又適合上下文的自然語言動(dòng)作。機(jī)器人可以充當(dāng)語言模型的“手和眼睛”，而語言模型則提供有關(guān)任務(wù)的GJ語義知識(shí)。展示了如何將低J技能與大型語言模型相結(jié)合，以便語言模型提供有關(guān)執(zhí)行復(fù)雜和臨時(shí)擴(kuò)展指令的過程的GJ知識(shí)，而與這些技能相關(guān)的價(jià)值函數(shù)提供將這些知識(shí)連接到特定物理環(huán)境所必需的基礎(chǔ)。

2、研究結(jié)論

本文提出了SayCan，一種能夠利用和鞏固大型語言模型中豐富的知識(shí)來完成具體化任務(wù)的方法。對(duì)于現(xiàn)實(shí)世界的基礎(chǔ)，使用基于RL的價(jià)值函數(shù)來提供世界上可能存在的個(gè)體技能，并使用文本標(biāo)簽作為這些技能的潛在響應(yīng)，由語言模型進(jìn)行評(píng)分。本文在許多現(xiàn)實(shí)世界的機(jī)器人任務(wù)中評(píng)估了這種方法，這些任務(wù)涉及一個(gè)移動(dòng)機(jī)械手機(jī)器人在真實(shí)的廚房中完成大量的長期自然語言指令。 所提出框架的一個(gè)限制是LLM只能通過所選技能接收來自環(huán)境的反饋，通過成功檢測器、場景描述、直接視覺反饋或視覺語言模型可能進(jìn)一步提G模型的準(zhǔn)確率。