“一眼就能學(xué)會動作”，或許對人而言，這樣的要求有點(diǎn)過高，然而，在機(jī)器人的身上，這個想法正在逐步實現(xiàn)中。馬斯克（Elon Musk）創(chuàng)立的人工智能公司Open AI研究通過One-Shot Imitation Learning算法(一眼模仿學(xué)習(xí))，讓機(jī)器人能夠復(fù)制人類行為?，F(xiàn)階段理想化的目標(biāo)是人類教機(jī)器人一個任務(wù)，經(jīng)過人類演示一次后，機(jī)器人可以自學(xué)完成指定任務(wù)。機(jī)器人學(xué)習(xí)的過程，與人類的學(xué)習(xí)具有相通之處，但是需要機(jī)器人能夠理解任務(wù)的動作方式和動作意圖，并且將其轉(zhuǎn)化為機(jī)器人自身的控制運(yùn)動上。

“機(jī)器人學(xué)習(xí)”是機(jī)器人研究的重要方向，其中包含了計算機(jī)視覺，自然語言處理，機(jī)器人控制等眾多技術(shù)。機(jī)器人抓取(Robotic manipulation/grasping)是機(jī)器人智能化發(fā)展道路上亟待解決的問題之一。相較于傳統(tǒng)的開環(huán)控制系統(tǒng)，本文將從基于視覺，基于視覺和語音，基于視覺和觸覺三個方向出發(fā)，介紹機(jī)器人抓取的相關(guān)研究進(jìn)展，并羅列相關(guān)的文章供大家查找閱讀。

1、基于視覺信息的機(jī)器人抓取學(xué)習(xí)

結(jié)構(gòu)良好的視覺表示可以使機(jī)器人學(xué)習(xí)更快，并且可以提高通用性。在本文中，研究人員研究了在沒有人工標(biāo)記的情況下，如何通過使用自主的機(jī)器人與環(huán)境的交互獲得有效的以物體為中心的表示方法，即可完成機(jī)器人操作任務(wù)。這種機(jī)器人學(xué)習(xí)的方法可以讓機(jī)器人收集獲取更多的經(jīng)驗，不斷完善機(jī)器人的認(rèn)知，從而無需人工干預(yù)即可有效地進(jìn)行縮放。本文中的學(xué)習(xí)方法是基于對象的永久性：當(dāng)機(jī)器人從場景中刪除對象時，該場景的表示會根據(jù)被刪除對象的特征而隨之變化。研究人員根據(jù)觀察結(jié)果會在特征向量之間建立關(guān)系，并使用它來學(xué)習(xí)場景和物體的表示。這些場景和物體可用于識別對象實例，將它們在場景中進(jìn)行定位，并在機(jī)器人從目標(biāo)箱中檢索命令對象時，執(zhí)行以目標(biāo)為導(dǎo)向的任務(wù)。整體的抓取過程是通過記錄場景圖像，抓取和移除物體以及記錄結(jié)果，該抓取過程也可以用于為文中的方法自動收集訓(xùn)練數(shù)據(jù)。文中實驗表明，這種用于任務(wù)抓取的自我監(jiān)督方法明顯優(yōu)于直接增強(qiáng)圖像學(xué)習(xí)方法和先前的表征學(xué)習(xí)方法。

從小時候開始，即使從未有人明確地教過如何做，人們依舊能夠識別并收拾取自己喜歡的物品。根據(jù)認(rèn)知發(fā)展研究，這種與世界中的物體相互交互的能力，在人類感知和操縱物體的能力形成的過程中起著重要的作用。通過與周圍世界的互動，人們可以通過自我監(jiān)督來學(xué)習(xí)：知道自己采取了什么行動，并且從結(jié)果中學(xué)到了什么知識。在機(jī)器人技術(shù)中，人們積極研究了這種自我監(jiān)督型學(xué)習(xí)，因為它使機(jī)器人系統(tǒng)無需大量的訓(xùn)練數(shù)據(jù)或人工監(jiān)督即可進(jìn)行學(xué)習(xí)。

受對象永久性概念的啟發(fā)，研究人員提出了Grasp2Vec，一種用于獲取物體表示的簡單而高效的算法。Grasp2Vec算法中嘗試抓取任何東西都會獲取以下幾條信息——如果機(jī)器人抓住一個物體并將其抬起，則物體必須在抓取前進(jìn)入場景。此外，若機(jī)器人知道它抓住的物體當(dāng)前處于夾爪中，就會將其從場景中移除。通過使用這種形式的自監(jiān)督，機(jī)器人可以利用抓取前后的場景視覺變化來學(xué)習(xí)識別物體。



基于前與X Robotics合作的基礎(chǔ)上(該項目的任務(wù)是讓一系列機(jī)器人同時學(xué)習(xí)使用單目相機(jī)輸入來抓取家用物品)，研究人員使用機(jī)械臂“無意間”抓取物體，這種經(jīng)驗使機(jī)器人能夠?qū)W習(xí)豐富的圖像對象。這些表示可用于獲取“有意抓握”的能力，并且機(jī)械臂可以拾取用戶指定的對象。

在強(qiáng)化學(xué)習(xí)的框架中，通過“獎勵函數(shù)”可以衡量任務(wù)的成功與否。通過最大化獎勵函數(shù)，機(jī)器人可以從頭開始自學(xué)各種抓握的技能。如果任務(wù)的成功與否可以通過簡單的方法來衡量，設(shè)計獎勵函數(shù)就很容易。一個簡單的例子是當(dāng)一個按鈕被按下時，該按鈕直接向機(jī)器人提供獎勵。

然而，當(dāng)成功標(biāo)準(zhǔn)取決于對當(dāng)前任務(wù)的“感性理解”時，設(shè)計獎勵函數(shù)的難度就會加大?？紤]實例抓取的任務(wù)，其中機(jī)器人看到的是期望的物體圖片。當(dāng)機(jī)器人試圖抓住該物體后，將會檢查抓取的對象。此任務(wù)的獎勵函數(shù)可以看作物體識別問題：抓住的物體是否與期望相匹配？

為了解決這種識別問題，需要一種感知系統(tǒng)：該系統(tǒng)能從非結(jié)構(gòu)化圖像數(shù)據(jù)中提取有意義的物體概念，并能以無監(jiān)督的方式學(xué)習(xí)物體的視覺感知。該研究在數(shù)據(jù)收集的過程中，利用機(jī)器人可以操縱物體移動的優(yōu)勢，提供數(shù)據(jù)所需的變化因素。通過對物體進(jìn)行抓取，可以獲得1）抓取前的場景圖像；2）抓取后的場景圖像；3）抓握物體本身的孤立視圖。 研究人員提出了一個從圖像中提取“物體集合”的嵌入函數(shù)，該函數(shù)滿足以下減法關(guān)系:



文中使用了全卷積架構(gòu)和簡單的度量學(xué)習(xí)算法來實現(xiàn)這種等式關(guān)系，特征圖中嵌入抓取前的場景圖像和抓取后的場景圖像，并將其平均池化后保存到向量中，而“抓取前”和“抓取后”向量的差表示一組物體。該向量和對應(yīng)的被抓取物體的向量表示之間的等價約束是通過N-Pairs目標(biāo)函數(shù)實現(xiàn)的。通過N-Pairs目標(biāo)函數(shù)實現(xiàn)該向量和對應(yīng)的被抓取物體的向量之間的等價約束關(guān)系。



訓(xùn)練過后，模型中會出現(xiàn)兩個有用的屬性。

1）物體相似度

第一個屬性是余弦距離，利用向量間的余弦距離對物體進(jìn)行比較，并確定是否相同。這個屬性可以用于實現(xiàn)強(qiáng)化學(xué)習(xí)的獎勵函數(shù)，并允許機(jī)器人在沒有人工提供的標(biāo)簽的情況下學(xué)習(xí)實例抓取。



2）目標(biāo)物體本地化

第二個屬性是，可以組合場景空間映射和物體嵌入來本地化圖像空間中的“查詢對象”。將空間場景的特征圖和查詢對象的向量相乘，以找到兩者之間“匹配”的所有像素。例如下圖中的場景，模型可以檢測出場景中的多個相應(yīng)的色塊，通過點(diǎn)乘得到的“熱圖”，可用于規(guī)劃機(jī)器人接近目標(biāo)物體的方法。



該項目展示了機(jī)器人抓取技能如何生成用于學(xué)習(xí)以物體為中心的表示的數(shù)據(jù)，并使用表示學(xué)習(xí)來實現(xiàn)更復(fù)雜的技能，例如實例抓取，與此同時保留自主抓取系統(tǒng)中的自監(jiān)督學(xué)習(xí)屬性。

2、基于視覺和語音信息的機(jī)器人抓取

機(jī)器人自然語言理解會需要大量特定性領(lǐng)域和平臺的工程量。例如，移動機(jī)器人在特定環(huán)境中接收操縱者的命令拾取放置物品，人類可以指定語言為某類命令，并將概念詞與物體對象的屬性進(jìn)行關(guān)聯(lián)，例如紅色這樣的概念詞。減輕類似工作量的方法是使環(huán)境中的機(jī)器人能夠動態(tài)適應(yīng)，不斷學(xué)習(xí)新的語言構(gòu)造和感知概念等。在這項工作中，研究人員提出了一種端到端的方法，用于將自然語言命令翻譯為離散的機(jī)器人動作，并使用對話框共同明確和改善語義和基礎(chǔ)概念。研究在Amazon Mechanical Turk的虛擬設(shè)置上對該目標(biāo)對象進(jìn)行訓(xùn)練和評估，并將該智能體轉(zhuǎn)移到現(xiàn)實世界中的物理機(jī)器人平臺上，進(jìn)行展示。

隨著機(jī)器人在家庭、工廠和醫(yī)院等環(huán)境中變得無處不在，人類對有效的人機(jī)交互的需求也在不斷增長。上述各類場景中會包含特定的詞匯和行為啟示，例如，打開廚房的燈；把托盤往北移6英尺；如果病人的情況有變化，就通知我。因此，預(yù)編程機(jī)器人的語言理解會需要昂貴的特定性領(lǐng)域和平臺的工程。在本文中，研究人員提出并評估了一種機(jī)器人智能體，它可以通過與人類對話的方式擴(kuò)展一個初始狀態(tài)下資源較少、依靠手工編程的語言理解管道，從而與人類伙伴更好地達(dá)成共識。

研究人員結(jié)合了通過對話的信號進(jìn)行更好的語義解析(以前不使用物體的感官表征)和主動學(xué)習(xí)方法來獲取這些概念(以前僅限于對象識別任務(wù))。因此,文中的系統(tǒng)能夠執(zhí)行自然語言命令，例如將一個能發(fā)出叮叮當(dāng)當(dāng)響聲的容器從會議室的休息室移到Bob的辦公室，其中包含組成語言（例如，語義分析器理解的會議室休息室以及將由其識別的對象的物理性質(zhì)，如能發(fā)出叮叮當(dāng)當(dāng)響聲的容器）。系統(tǒng)僅用少量的用于語義解析的自然語言數(shù)據(jù)進(jìn)行初始化，沒有將概念詞與物理對象綁定的初始標(biāo)簽，而是需要通過人機(jī)對話學(xué)習(xí)解析和接地。

本文的貢獻(xiàn)主要是:1)提出了一種對話策略，僅利用少量初始領(lǐng)域內(nèi)的訓(xùn)練數(shù)據(jù)來提高語言理解;2)利用對話問題在現(xiàn)場實時獲取感知認(rèn)識，而不是僅從預(yù)先標(biāo)記的數(shù)據(jù)或過去的交互過程中獲取;3)在一個完整的物理機(jī)器人平臺上部署對話智能體。

研究人員在Mechanical Turk上評估智能體的學(xué)習(xí)能力和可用性，要求用戶通過對話指揮智能體去完成三個任務(wù):導(dǎo)航(由廚房去休息室)，傳遞(將紅色的罐子拿給Bob),和搬運(yùn)(將一個空瓶子從廚房休息室轉(zhuǎn)移到愛麗絲的辦公室)。研究發(fā)現(xiàn)，根據(jù)之前對話中提取的信息對智能體進(jìn)行訓(xùn)練后，它的評價指標(biāo)會更好。然后，研究人員將經(jīng)過訓(xùn)練的智能體轉(zhuǎn)移到物理機(jī)器人上，并在人機(jī)對話中演示它的持續(xù)學(xué)習(xí)過程。

該會話智能體主要通過視覺信息和自然語言結(jié)合完成請求。整體主要包括以下幾個部分。

1)語義解析器：智能體通過獲取的單詞序列推斷任務(wù)的語義表示，使用組合類別語法(CCG)形式來進(jìn)行解析。

2)語言接地，根據(jù)不同的外部環(huán)境，相同的語義也可能會以不同的方式接地。例如，廚房旁邊的辦公室指的是一個物理位置，但這個位置取決于建筑。

3)對話框，人機(jī)之間的對話常常從人類用戶開始，指示智能體完成某項任務(wù)，智能體會對未觀察到的真實任務(wù)進(jìn)行建模，并使用來自用戶的語言信號推斷該任務(wù)。該命令由語義解析和基礎(chǔ)組件處理，以獲得成對的符號和置信狀態(tài)值。置信狀態(tài)值通過語義解析（例如，“在北邊的辦公室的豆莢”中的介詞歧義；豆莢還是辦公室向北）和語言理解（例如，嘈雜的概念模型）步驟對不確定性進(jìn)行建模。

4)從對話中學(xué)習(xí)：該智能體通過在完成的對話中引入訓(xùn)練數(shù)據(jù)來改進(jìn)其語義解析器，智能體能夠?qū)⒂脩舻某跏济钆c確認(rèn)的動作進(jìn)行匹配，從會話中學(xué)習(xí)語義。同時，采用主動學(xué)習(xí)的方式，從向用戶提出的問題中快速擴(kuò)展感知概念模型，然后在各個用戶之間匯總擴(kuò)展，并且可以將學(xué)習(xí)到的概念應(yīng)用于遠(yuǎn)程測試對象，有助于獲取新概念。

會話智能體的組成如下圖所示，左側(cè)是將用戶的命令進(jìn)行語義解析，中間為利用已有的地圖和概念模型等信息對指令進(jìn)行接地，右側(cè)是利用對話改進(jìn)完善智能體的認(rèn)知模型。



實驗中指定的任務(wù)包含：根據(jù)用戶指示完成到達(dá)指定地點(diǎn)，將物品遞送給某人，將物品從指定地點(diǎn)移動到目的地。下圖為受過訓(xùn)練的智能體采用動態(tài)學(xué)習(xí)的方式實現(xiàn)指定的目標(biāo)。



上表比較初始智能體，受過訓(xùn)練(僅感知訓(xùn)練)智能體，受過訓(xùn)練(解析訓(xùn)練和感知訓(xùn)練)的智能體三者的實驗情況，衡量的標(biāo)準(zhǔn)是在滿足正確的任務(wù)規(guī)范之前，需要進(jìn)行的詢問的問題的個數(shù)，實驗顯示受過訓(xùn)練(僅感知訓(xùn)練)智能體表現(xiàn)較差，可能是由于對話中的許多形容詞和名詞的屬性沒有及時更新。



上表比較初始智能體，受過訓(xùn)練(僅感知訓(xùn)練)智能體，受過訓(xùn)練(解析訓(xùn)練和感知訓(xùn)練)的智能體三者的實驗情況，衡量的標(biāo)準(zhǔn)是用戶對智能體表現(xiàn)的定性的評價，主要包括：我將使用這樣的機(jī)器人來幫助導(dǎo)航到一棟新樓；我將會用這樣的機(jī)器人為自己或其他人拿取東西；我將會用這樣的機(jī)器人來將物品從一個地方移到另一個地方。實驗顯示受過訓(xùn)練(解析和感知)的智能體的表現(xiàn)最好。

該研究提出了一種機(jī)器人智能體，其可以利用與人類的對話來擴(kuò)展自定義的小型化的語言理解資源，利用這些資源既可以將自然語言命令翻譯為抽象的語義形式，又可以將物理對象的抽象屬性接地。在這項工作中，機(jī)器人可以執(zhí)行的動作可以分解為離散語義角色的元組，但是通常，他們需要推理更多的連續(xù)動作空間，并獲取新的、與人類對話中看不見的行為和知識。該研究中的智能體可以從人機(jī)對話中學(xué)習(xí)知識，甚至可以處理復(fù)雜的形容詞和名詞之間的依賴和上下文關(guān)系。

3、基于視覺和觸覺信息的機(jī)器人抓取

人類使用視覺、聽覺和觸覺等多種模式的感覺輸入來感知世界。在這項工作中研究了視覺和觸覺之間的交叉模式連接。跨模態(tài)建模任務(wù)的主要挑戰(zhàn)在于兩者之間在比例上存在顯著差異：雖然我們的眼睛一次性就可以感知到整個視覺場景，但人類在任何給定時刻只能觸碰感覺到物體的一個小部分。為了連接視覺和觸覺，文中合成來自視覺輸入的合理的觸覺信號，以及想象我們?nèi)绾闻c以觸覺數(shù)據(jù)作為輸入的對象進(jìn)行交互。為了實現(xiàn)該目標(biāo)，研究人員首先為機(jī)器人配備了視覺和觸覺傳感器，并收集了相應(yīng)視覺和觸覺圖像序列的大規(guī)模數(shù)據(jù)集。為了縮小規(guī)模差距，研究中提出了一個新的條件對抗模型，該模型結(jié)合了觸摸的規(guī)模和位置信息。人類的感知研究表明，本文中的模型可以從觸覺數(shù)據(jù)中產(chǎn)生逼真的視覺圖像，反之亦然。最后，展示了有關(guān)不同系統(tǒng)設(shè)計的定性和定量實驗結(jié)果，以及可視化了模型的學(xué)習(xí)表示。

文中提出了一種跨模態(tài)預(yù)測方法，用于從觸摸預(yù)測視覺，反之亦可。研究人員首先將觸覺中的程度、規(guī)模、范圍和位置信息結(jié)合在模型中。然后，使用數(shù)據(jù)平衡的方法多樣化其結(jié)果。最后，通過考慮時間信息的方法進(jìn)一步提高準(zhǔn)確性。

研究中的模型基于pix2pix方法，是一個用于圖像到圖像任務(wù)的條件GAN框架。在任務(wù)中，生成器接受視覺圖像或觸覺圖像作為輸入，并生成一個對應(yīng)的觸覺或視覺圖像。而判別器觀察輸入的圖像和輸出的圖像。在訓(xùn)練中，對判別器進(jìn)行訓(xùn)練，以分辨合成圖片和真實圖片之間的差異，而生成器則是用于產(chǎn)生可以欺騙判別器的圖片。在實驗中，研究人員使用視覺-觸覺圖像對訓(xùn)練模型。在從觸覺還原視覺的任務(wù)中，輸入觸覺圖像，而輸出是對應(yīng)的視覺圖像。而在視覺預(yù)測觸覺的任務(wù)中，則輸入和輸出對調(diào)。

模型使用編碼器-解碼器架構(gòu)用于生成任務(wù)。在編碼器上分別使用兩個ResNet-18模型用于輸入圖像（視覺或觸覺圖像）和參考的視覺-觸覺圖像，將兩個編碼器的向量合并為一個1024維向量，將其輸入解碼器。解碼器包括五層標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)，并在編碼器和解碼器間加入了跨層連接，研究中使用的判別器為ConvNets。



研究發(fā)現(xiàn)，實驗結(jié)果不是很好，圖片中有嚴(yán)重的視覺偽影，并且生成的結(jié)果與輸入信號不一致。為解決上述問題，研究人員對基本算法進(jìn)行修改和完善。首先將觸覺和視覺參考圖像提供給生成器和判別器，以便該模型只需要學(xué)習(xí)為交叉模式變化建模，而不是整個信號。其次，為防止模式崩塌，研究人員采取數(shù)據(jù)重均衡策略幫助生成器生成不同的模式，性能更加健壯。最后，從輸入視頻的多個相鄰幀而不是僅從當(dāng)前幀中提取信息，從而產(chǎn)生時間相干的輸出。

研究人員在一個KUKA機(jī)械手臂上放置GelSight傳感器，機(jī)械臂背面的三腳架上安裝了一個網(wǎng)絡(luò)攝像頭，以捕捉機(jī)械臂觸摸物體的場景視頻，實驗中讓機(jī)械臂去戳弄不同的物體。GelSight表面有一層薄膜，在接觸物體的過程中會發(fā)生形變，進(jìn)而采集到高質(zhì)量的觸覺數(shù)據(jù)。研究團(tuán)隊總共記錄了195件物品的12000次觸碰，這些物品屬于不同類別。每個觸摸動作包含一個250幀的視頻序列，產(chǎn)生了300萬視覺和觸覺成對的圖像的數(shù)據(jù)集—VisGel。根據(jù)此數(shù)據(jù)集，當(dāng)模型辨認(rèn)到接觸位置的形狀和材料，與參考圖像進(jìn)行比較，以識別觸摸的位置和范圍。



上圖是本文模型和其他基線模型實驗結(jié)果的可視化對比，該模型可以更好地根據(jù)視覺信息預(yù)測物體表面的觸覺信息，也能夠更好地根據(jù)觸覺信息還原圖像表面。



上圖是從視覺到觸覺的量化評測結(jié)果。a圖的評價指標(biāo)是測試機(jī)器人是否已經(jīng)認(rèn)知到觸摸了物體表面的錯誤數(shù)。b圖的評價指標(biāo)是根據(jù)圖像還原觸覺點(diǎn)位置的失真錯誤情況。本文中的模型表現(xiàn)優(yōu)于其它模型。



上圖是從視覺還原觸覺的情況，其中顯示了標(biāo)記隨時間的變形，該變形由所有黑色標(biāo)記的平均位移確定，較高的變形意味著物體以較大的力接觸。下圖是根據(jù)圖像還原的觸覺點(diǎn)陣信息，為便于增強(qiáng)可視化的效果，圖片中的標(biāo)記的運(yùn)動以紅色放大。

該項工作提出了在視覺和觸覺與條件對抗網(wǎng)絡(luò)之間建立聯(lián)系。當(dāng)與外界互動時，人類非常依賴視覺和觸覺的感官方式。該模型可以為已知物體和未知物體進(jìn)行跨模態(tài)的預(yù)測。研究人員認(rèn)為在將來，視觸交叉的模式可以幫助視覺和機(jī)器人技術(shù)應(yīng)用，例如在弱光環(huán)境下的物體識別和抓取以及物理場景理解。






審核編輯：劉清