機器人可以在人類(lèi)教師反饋的基礎上來(lái)探索某項任務(wù)。反饋提供了關(guān)于機器人嘗試的任務(wù)滿(mǎn)足目標的程度的信息。大多數基于反饋的工作傾向于采用強化學(xué)習。傳統的RL算法提供了一個(gè)反饋(獎勵)信號，在這種情況下使用了人工響應。在某些情況下，除了人類(lèi)的反饋，任務(wù)的表現直接受到老師的影響，老師允許選擇下一步行動(dòng)。在[10]中，這種方法將任務(wù)學(xué)習表現提G了約50%。

需要注意的是，有時(shí)選擇的示教方法和獲取的數據類(lèi)型與學(xué)習算法的選擇有關(guān)。一方面來(lái)自多個(gè)模態(tài)的示范增加了維數，增加了學(xué)習的復雜性。數據的維數可以降低，但是有些信息被忽略，導致從示教數據中學(xué)習不當。另一方面，缺少傳感模態(tài)可能會(huì )在一開(kāi)始就提供不完整的信息，導致學(xué)習算法表現不理想。

GJ技能可以認為是一組低J技能或一組動(dòng)作基元。除此之外，GJ技能還包括對象可視性，涉及構建物理世界對象和機器人動(dòng)作之間關(guān)系的知識。GJ技能學(xué)習方法可以大致分為學(xué)習計劃和學(xué)習目標。

1）學(xué)習計劃:在這種GJ技能的學(xué)習方法中，學(xué)習計劃為從初始狀態(tài)到終狀態(tài)的一系列動(dòng)作。因此，動(dòng)作是根據前置條件和后置條件定義的。前置條件為動(dòng)作執行前的狀態(tài)，后置條件為動(dòng)作執行后的狀態(tài)。除此之外，人類(lèi)教師還用注釋的形式提供附加信息。注釋可以通過(guò)觸覺(jué)、視覺(jué)或語(yǔ)義來(lái)提供。額外的信息允許更好地概括G水平的技能�？蓤绦械膭�(dòng)作可以是簡(jiǎn)單的低J技能，如抓住目標對象，拾起綠色的對象等，組合起來(lái)形成一個(gè)GJ任務(wù)，如排序綠色的對象。另一方面，有一些方法可以通過(guò)在示教數據中尋找重復的結構來(lái)從GJ技能示教中提取低J技能，這樣就可以在不同的示教中識別它。在[2]中，一個(gè)示教學(xué)習范例是通過(guò)人類(lèi)示教和在程序界面輸入的用戶(hù)目的來(lái)描述的。在[18]中，一些涉及一系列順序旋轉和轉換的日常對象操作的示教被用來(lái)提取順序的低J技能，并進(jìn)一步構建一個(gè)計劃。這項工作還示教了從一個(gè)對象到其他類(lèi)似對象的學(xué)習知識轉移。

2）學(xué)習目標:推斷GJ技能的目標。人類(lèi)教師提供的示教被用來(lái)推斷執行GJ技能的意圖。通過(guò)生成假設，可以從重復的示教中推斷出目標�，F代方法也使用基于獎勵函數的強化學(xué)習方法來(lái)實(shí)現期望目標。如果獎勵函數是從給定的示教中學(xué)習的，那么它就被認為是目標學(xué)習。一些基于強化學(xué)習的方法得到了很好的研究[19]。

3、討論總結

技能的學(xué)習直接依賴(lài)于示教的準確性。大多數方法[20]手動(dòng)消除了部分示教中的噪聲。結合強化學(xué)習，在獎勵和探索機制的基礎上對技能學(xué)習進(jìn)行改進(jìn)。另一種改進(jìn)技能的方法涉及示教者反饋[21]。當機器人在一個(gè)稍微不熟悉的情況下執行學(xué)習到的技能時(shí)，從人類(lèi)教師那里得到關(guān)于執行技能可取性的反饋。目前為了實(shí)現這種技能細化的方法，研究人員主要從兩個(gè)方面進(jìn)行了研究：（1）控制機器人和人類(lèi)教師之間的信息交互，（2）提供反饋。