機器人通過(guò)收集大量觸覺(jué)數據來(lái)識別物體的方法存在一定的限制。一方面機器人觸覺(jué)傳感器收集大量物體的觸覺(jué)數據過(guò)程資源耗費大，另一方面日常生活能接觸到的物體種類(lèi)龐大。近期在IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS發(fā)表的一篇《A Deep Learning Framework forTactile Recognition of Known as Well as Novel Objects》文章中提出了一種基于卷積神經(jīng)網(wǎng)絡(luò )的綜合觸覺(jué)識別框架，它可以利用對象的語(yǔ)義屬性描述和觸覺(jué)數據的融合來(lái)實(shí)現對新對象的識別。相對于傳統學(xué)習方法有較大優(yōu)勢，因為語(yǔ)義信息更容易獲得，可以由人工[1]提供，也可以從語(yǔ)義數據庫(如Wikipedia[2])自動(dòng)挖掘。

1、機器人觸覺(jué)識別總體框架

文中設計的總體識別框架，如圖1所示。首先從觸覺(jué)數據出發(fā)，可以將一個(gè)物體識別為一個(gè)已知的物體(之前接觸過(guò)的)或一個(gè)新的物體。已知對象的識別是利用訓練數據構建的多類(lèi)分類(lèi)器來(lái)實(shí)現的，而新奇對象的識別依賴(lài)于基于屬性的ZSL方法。此外，通過(guò)一次學(xué)習(one-shotlearning, OSL)，只從一個(gè)訓練樣本開(kāi)始，就可以實(shí)現觸覺(jué)數據的合成。

2. 特征生成器G

用訓練集訓練一個(gè)包含CONVXF和FCFY的神經(jīng)網(wǎng)絡(luò )CNNXY對Y進(jìn)行分類(lèi)。利用語(yǔ)義屬性向量訓練一個(gè)反卷積神經(jīng)網(wǎng)絡(luò )G來(lái)合成觸覺(jué)特征。為提高特征生成器G的品質(zhì)，使合成的觸覺(jué)特征盡可能接近從真實(shí)觸覺(jué)數據中提取的特征。文中加入另一個(gè)卷積神經(jīng)網(wǎng)絡(luò )D來(lái)對抗訓練G，其中D用來(lái)區分合成觸覺(jué)特征或者真實(shí)的觸覺(jué)特征。利用訓練好的G，合成觸覺(jué)特征。

3.  平臺搭建

文中使用語(yǔ)義屬性集:A ={吸收性、凹凸性、可壓縮性、冷熱、模糊性、硬的、多毛的、金屬的、多孔的、粗糙的、光滑的、柔軟的、固體的、有彈性的、濕軟的、有紋理的、厚的}。使用公開(kāi)的PHAC-2數據集，該數據集包含60種物體每一種都在[4]中進(jìn)行了10次試驗。數據通過(guò)SynTouch BioTac觸覺(jué)傳感器獲得。對BioTac讀數進(jìn)行預處理，并按照[5]中使用BioTac讀數對A中包含的屬性進(jìn)行二元分類(lèi)，獲得了一個(gè)由6000個(gè)樣本組成的原始觸覺(jué)數據集(60種物體每種10個(gè)樣本進(jìn)行10次試驗)。

文中隨機選擇6個(gè)對象作為Z，54個(gè)作為Y，為了確保系統對Y和Z選擇具有魯棒性，這個(gè)隨機過(guò)程重復了七次以生成不同的Z和Y。表1為文中使用的網(wǎng)絡(luò )架構。FCFY和FCFZ都是單層全連接網(wǎng)絡(luò )。在卷積層之后是針對非線(xiàn)性的ReLU激活函數。卷積層和全連接層的權值都使用Xavier方法[6]進(jìn)行初始化，所有反卷積層都使用Gaussian初始化器進(jìn)行初始化。文中用softmax函數和多項式邏輯損失訓練完全連接層，用交叉熵損失訓練D。

4. 實(shí)驗評估

1）目標分類(lèi)

圖2給出了PHAC-2對象及其屬性的例子，以及split 1的測試對象。雖然測試對象(用藍色框起來(lái))在語(yǔ)義上與訓練對象不同，但是這兩個(gè)集合共享相同的屬性，每個(gè)測試對象都有區別于其他對象的屬性向量。驗證了Z和Y之間的共享屬性，驗證了中每個(gè)對象的屬性向量的性，從而允許使用文中框架來(lái)執行ZSL。

圖2 PHAC-2對象及其屬性示例

2）已知對象的多重分類(lèi)

從每個(gè)中隨機選取10個(gè)樣本作為測試數據，剩下的90個(gè)樣本用于訓練CNNXY。表2表示了該框架達到的識別精度。我們可以看到，識別精度是非常高的。這個(gè)結果很重要，因為它影響了CONVXF的訓練，從而也影響了對新對象的識別。

表2 的多類(lèi)分類(lèi)的識別精度(%)

3）合成觸覺(jué)特征的評估

如果缺少真實(shí)的訓練數據，則利用合成的特征來(lái)訓練識別系統。因此，可以單獨使用合成特征對框架進(jìn)行訓練并使用真實(shí)特征進(jìn)行測試，以未知目標識別的準確性程度來(lái)評估合成觸覺(jué)特征的質(zhì)量。在表3中，測試了在使用真實(shí)觸覺(jué)特征和使用合成觸覺(jué)特征替代真實(shí)觸覺(jué)特征這兩種情況下，系統的識別表現。

表3 使用每個(gè)類(lèi)0、10、50、90或100個(gè)樣本訓練FCFZ后，多類(lèi)分類(lèi)(真實(shí)觸覺(jué)特征訓練)和ZSL(合成觸覺(jué)特征)的識別準確率(%)

從表4中很明顯看到，使用真實(shí)觸覺(jué)特征進(jìn)行訓練的效果明顯優(yōu)于合成觸覺(jué)特征訓練。但是，在沒(méi)有真實(shí)觸覺(jué)信息可用的情況下，多類(lèi)分類(lèi)器是無(wú)法區分對象的，會(huì )按平均概率進(jìn)行分類(lèi)。然而，對于所有的對象分類(lèi)，ZSL卻可以給出一個(gè)高于概率的分類(lèi)精度。還有，增加訓練的合成觸覺(jué)特征樣本數量并不會(huì )提高準確度，這可能是因為每個(gè)類(lèi)的合成觸覺(jué)特征都是由相同的屬性向量（通過(guò)添加少量的噪聲）合成的，這種相似性，為一個(gè)對象生成多個(gè)特征會(huì )導致過(guò)擬合。文中還分析了使用對抗神經(jīng)網(wǎng)絡(luò )的必要性，如果跳過(guò)算法2和僅使用算法1訓練生成器，那么系統性能會(huì )下降，這是因為合成的觸覺(jué)數據與真實(shí)觸覺(jué)數據有較大差別。

表4有GAN和無(wú)GAN的ZSL識別精度(%)

5. 總結

這篇論文設計了一個(gè)觸覺(jué)識別框架，利用觸覺(jué)數據能夠識別已知和未知對象。在對未知對象的識別分類(lèi)上，精度達到36%，這是傳統訓練模式達不到的。此外,該框架有效利用輸入的數據，如果有足夠的數據可用時(shí)，可以達到較高的多類(lèi)分類(lèi)精度。該框架仍然存在一些限制，首先領(lǐng)域移位問(wèn)題[7]和語(yǔ)義屬性空間與觸覺(jué)特征空間的相關(guān)性限制了對新對象的識別。此外該框架能夠識別的新類(lèi)集合必須是已知的，添加新類(lèi)需要修改FCFZ的輸出層，同理添加新屬性需要修改的輸入層。此外，文中使用了由[4]設計的語(yǔ)義二進(jìn)制屬性。探討非語(yǔ)義屬性和實(shí)值屬性可以提高[8]、[9]識別的準確性和泛化能力。最后，文中只根據觸覺(jué)數據來(lái)識別物體，可以結合視覺(jué)進(jìn)一步拓展，如在[10]，[11]�？紤]到CNN在圖像識別和生成[12]方面的良好表現，視觸覺(jué)融合識別可以顯著(zhù)提高識別性能，這是非常有研究?jì)r(jià)值的。