人類通常擅長(zhǎng)全身操縱，但機(jī)器人卻很難勝任此類任務(wù)。對(duì)機(jī)器人來(lái)說(shuō)，盒子可能接觸到搬運(yùn)者手指、手臂和軀干上任何一點(diǎn)的每一個(gè)位置，都代表著一個(gè)接觸事件，機(jī)器人需要對(duì)其進(jìn)行推理。由于潛在的接觸事件數(shù)以億計(jì)，這項(xiàng)任務(wù)的規(guī)劃工作很快就變得難以完成。

現(xiàn)在，麻省理工學(xué)院的研究人員找到了一種簡(jiǎn)化這一過(guò)程的方法，這種方法被稱為 "富接觸操縱規(guī)劃"。他們使用了一種稱為平滑的人工智能技術(shù)，這種技術(shù)能將許多接觸事件歸納為數(shù)量較少的決策，從而使即使是簡(jiǎn)單的算法也能為機(jī)器人快速確定有效的操縱計(jì)劃。

雖然這種方法仍處于早期階段，但它有可能使工廠使用較小的移動(dòng)機(jī)器人，這些機(jī)器人可以用整個(gè)手臂或身體來(lái)操縱物體，而不是只能用指尖抓取的大型機(jī)械臂。這可能有助于減少能耗，降低成本。此外，這種技術(shù)還可用于執(zhí)行火星或其他太陽(yáng)系天體探索任務(wù)的機(jī)器人，因?yàn)樗鼈冎恍枋褂脵C(jī)載計(jì)算機(jī)就能快速適應(yīng)環(huán)境。

"電氣工程與計(jì)算機(jī)科學(xué)（EECS）專業(yè)研究生 H.J. Terry Suh 是這項(xiàng)技術(shù)相關(guān)論文的共同D一作者，他說(shuō)："如果我們能夠利用模型來(lái)利用這類機(jī)器人系統(tǒng)的結(jié)構(gòu)，那么就有機(jī)會(huì)加快做出這些決策和制定接觸豐富的計(jì)劃的整個(gè)過(guò)程，而不是把它當(dāng)作一個(gè)黑盒子系統(tǒng)。

與 Suh 一起參與論文撰寫(xiě)的還有共同D一作者、波士頓動(dòng)力人工智能研究所的機(jī)器人專家 Tao Pang 博士（23歲），電子工程與電子科學(xué)研究生楊璐潔，以及資深作者 Russ Tedrake，他是電子工程與電子科學(xué)系、航空航天系和機(jī)械工程系的豐田教授，也是計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）的成員。這項(xiàng)研究成果將于本周發(fā)表在《電氣和電子工程師學(xué)會(huì)機(jī)器人技術(shù)論文集》（IEEE Transactions on Robotics）上。

▍關(guān)于機(jī)器人的強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，在這種技術(shù)中，代理（如機(jī)器人）通過(guò)試錯(cuò)來(lái)學(xué)習(xí)完成任務(wù)，并在接近目標(biāo)時(shí)獲得獎(jiǎng)勵(lì)。研究人員說(shuō)，這種學(xué)習(xí)方式采用的是黑箱方法，因?yàn)橄到y(tǒng)需要通過(guò)試錯(cuò)來(lái)了解世界的一切。

它已被有效地應(yīng)用于接觸式操縱規(guī)劃，在這種規(guī)劃中，機(jī)器人試圖學(xué)習(xí)以特定方式移動(dòng)物體的佳方法。

但是，由于機(jī)器人在決定如何使用手指、手掌、手臂和身體與物體互動(dòng)時(shí)，需要對(duì)數(shù)十億個(gè)潛在接觸點(diǎn)進(jìn)行推理，因此這種試錯(cuò)方法需要大量計(jì)算。

“強(qiáng)化學(xué)習(xí)可能需要經(jīng)過(guò)數(shù)百萬(wàn)年的模擬時(shí)間才能真正學(xué)習(xí)策略，”Suh 補(bǔ)充道。

另一方面，如果研究人員利用他們對(duì)系統(tǒng)的了解以及他們希望機(jī)器人完成的任務(wù)專門(mén)設(shè)計(jì)一個(gè)基于物理的模型，那么該模型就會(huì)包含有關(guān)這個(gè)世界的結(jié)構(gòu)，從而使其更加G效。

然而，當(dāng)涉及豐富的接觸操作計(jì)劃時(shí)， 基于物理的方法并不像強(qiáng)化學(xué)習(xí)那么有效——Suh 和 Pang 想知道為什么。

他們進(jìn)行了詳細(xì)分析，發(fā)現(xiàn)一種被稱為平滑的技術(shù)能讓強(qiáng)化學(xué)習(xí)表現(xiàn)如此出色。

機(jī)器人在決定如何操縱物體時(shí)，可能做出的許多決定在整體上并不重要。例如，一根手指的每一次微小調(diào)整，無(wú)論是否會(huì)導(dǎo)致與物體的接觸，都不太重要。平滑平均消除了許多不重要的中間決策，留下了一些重要的決策。

強(qiáng)化學(xué)習(xí)通過(guò)嘗試多個(gè)接觸點(diǎn)，然后計(jì)算出結(jié)果的加權(quán)平均值，從而隱性地實(shí)現(xiàn)平滑。根據(jù)這一見(jiàn)解，麻省理工學(xué)院的研究人員設(shè)計(jì)了一個(gè)簡(jiǎn)單的模型，該模型可以執(zhí)行類似的平滑處理，使其能夠?qū)Ｗ⒂跈C(jī)器人與物體之間的核心互動(dòng)，并預(yù)測(cè)長(zhǎng)期行為。他們的研究表明，這種方法在生成復(fù)雜計(jì)劃方面與強(qiáng)化學(xué)習(xí)一樣有效。

"Pang 說(shuō)："如果對(duì)問(wèn)題有更多的了解，就能設(shè)計(jì)出更有效的算法。

▍如何將算法進(jìn)行重新組合是個(gè)問(wèn)題

盡管平滑處理大大簡(jiǎn)化了決策，但搜索剩余決策仍然是一個(gè)難題。因此，研究人員將他們的模型與一種算法相結(jié)合，這種算法可以快速G效地搜索機(jī)器人可能做出的所有決定。

通過(guò)這種組合，在標(biāo)準(zhǔn)筆記本電腦上的計(jì)算時(shí)間縮短到約一分鐘。

他們先在模擬實(shí)驗(yàn)中測(cè)試了自己的方法，在模擬實(shí)驗(yàn)中，機(jī)器人的手被賦予了移動(dòng)鋼筆到所需配置、開(kāi)門(mén)或拿起盤(pán)子等任務(wù)。在每種情況下，他們基于模型的方法都取得了與強(qiáng)化學(xué)習(xí)相同的性能，但所需時(shí)間只有強(qiáng)化學(xué)習(xí)的一小部分。當(dāng)他們?cè)谡鎸?shí)機(jī)械臂上對(duì)模型進(jìn)行硬件測(cè)試時(shí)，也看到了類似的結(jié)果。

實(shí)現(xiàn)全身操縱的理念同樣適用于靈巧的人手規(guī)劃。特德拉克說(shuō)："以前，大多數(shù)研究人員都認(rèn)為強(qiáng)化學(xué)習(xí)是適用于靈巧雙手的方法，通過(guò)從強(qiáng)化學(xué)習(xí)中提取（隨機(jī)）平滑這一關(guān)鍵思想，他們可以讓更多傳統(tǒng)的規(guī)劃方法也非常有效。"

然而，他們開(kāi)發(fā)的模型依賴于對(duì)真實(shí)世界的簡(jiǎn)單近似，因此無(wú)法處理非常動(dòng)態(tài)的運(yùn)動(dòng)，例如物體墜落。他們的方法雖然對(duì)速度較慢的操縱任務(wù)有效，但無(wú)法創(chuàng)建一個(gè)能讓機(jī)器人將易拉罐扔進(jìn)垃圾桶的計(jì)劃。未來(lái)，研究人員計(jì)劃改進(jìn)他們的技術(shù)，使其能夠處理這些G動(dòng)態(tài)運(yùn)動(dòng)。