1、論文背景 
機器人可以為殘疾人或老年人的日常生活提供J大幫助，比如說(shuō)機器人輔助穿衣。然而穿衣過(guò)程中，用戶(hù)上肢的突然動(dòng)作可能導致穿衣任務(wù)的失敗，甚至為用戶(hù)帶來(lái)危險。使用視覺(jué)傳感器實(shí)時(shí)追蹤用戶(hù)上肢運動(dòng)（user posture tracking）非常困難，因為衣服和機器人都對用戶(hù)造成了遮擋。例如，使用開(kāi)源骨骼追蹤框架（OpenNI Skeleton Tracker [1]）和深度學(xué)習方法OpenPose [2]，均無(wú)法實(shí)施準確的追蹤用戶(hù)上肢運動(dòng)。

為了解決上述問(wèn)題，我們提出了一種多傳感器信息融合的人體骨骼實(shí)時(shí)追蹤方法。本文研究主要包括以下三點(diǎn)：，我們通過(guò)G斯隱變量模型（Gaussian Process Latent VariableModel，GP-LVM），將運動(dòng)上肢的G維運動(dòng)映射至低維度的隱變量空間中（latent space）。該空間可以針對不同用戶(hù)的不同上肢殘疾特點(diǎn)，建立個(gè)性化用戶(hù)輔助模型（personalized user model）。第二，我們在隱變量空間中使用貝葉斯網(wǎng)絡(luò )（Bayesian networks），該網(wǎng)絡(luò )融合了機器人和用戶(hù)之間力的信息，以及機器人末端位置信息，進(jìn)而實(shí)時(shí)追蹤人體上肢運動(dòng)。第三，我們使用層J多任務(wù)控制（hierarchical multi-task control)，使機器人既可以基于力的信息自動(dòng)改變運動(dòng)軌跡從而保證用戶(hù)安全，又可以完成穿衣任務(wù)。

圖1 Baxter機器人輔助殘疾人穿衣

2、系統概述
如圖2所示，我們要求健康用戶(hù)穿著(zhù)繃帶來(lái)模擬上肢殘疾情況。我們將采集用戶(hù)上肢隨機運動(dòng)的數據，將其映射至二維隱變量空間中建立個(gè)性化用戶(hù)模型。在該二維空間中，我們采用基于概率的粒子濾波方法（particle filter），完成多傳感器信息融合（機器人與用戶(hù)間力的信息，機器人末端執行器位置信息），從而實(shí)現用戶(hù)上肢運動(dòng)的實(shí)時(shí)準確追蹤。在我們之前的研究中 [3], 我們將機器人穿衣動(dòng)作描述為兩個(gè)層J任務(wù)：G層J任務(wù)即機器人根據力的信息調整運動(dòng)軌跡，從而實(shí)時(shí)減小用戶(hù)的受力情況，確保用戶(hù)的舒適與安全；低層J任務(wù)即通過(guò)PD控制完成從瘦-肘-肩關(guān)鍵的穿衣軌跡，該軌跡由本文的用戶(hù)上肢追蹤方法實(shí)時(shí)更新。


圖2 系統概括圖

圖3展示了完整的穿衣過(guò)程。當用戶(hù)在穿衣過(guò)程抬起胳膊時(shí)，機器人也相應改變軌跡來(lái)減少受力情況，并實(shí)時(shí)運行至新的肘關(guān)節和肩關(guān)節位置。

圖3 機器人穿衣過(guò)程

圖4 展示了在低維隱變量空間內粒子濾波的過(guò)程。我們根據力和位置的信息為每個(gè)粒子賦予新權重，從而循環(huán)更新。圖中顏色越淺代表權重越G。

圖4 低維隱變量空間內粒子濾波

3、實(shí)驗分析
本文先對隱變量空間個(gè)性化用戶(hù)模型進(jìn)行分析，如圖5所示。該模型有一下3個(gè)特點(diǎn)：，該模型可以描述不同用戶(hù)的不同上肢殘疾特點(diǎn)。圖5里面不同顏色即代表不同殘疾情況的運動(dòng)空間；第二點(diǎn)，低維空間J大減小了粒子濾波的計算量；第三點(diǎn)，該個(gè)性化模型權衡了用戶(hù)殘疾上肢運動(dòng)的可達性 (reachability) 和用戶(hù)偏好（preference）。

本文還進(jìn)行了一些列對比試驗，其中包括了與只用視覺(jué)方法追蹤的誤差比較，如圖6所示。本文所提出的方法產(chǎn)生了3.3cm的誤差，是視覺(jué)追蹤誤差的六分之一。

本文在20名用戶(hù)上完成了相關(guān)實(shí)驗測試。每個(gè)用戶(hù)進(jìn)行50次試驗并模擬不同的殘疾類(lèi)型，如圖7所示。

4、分析與結論 
本文提出了一種利用多傳感器信息在低維隱變量空間中實(shí)時(shí)追蹤用戶(hù)運動(dòng)的方法。該方法為在物理人機交互（physical human-robot interaction）中，當人體運動(dòng)被嚴重遮擋而無(wú)法用單一視覺(jué)信息完成追蹤的問(wèn)題，提供了一種解決方案。

參考文獻：
[1] http://wiki.ros.org/openni_tracker
[2] Cao, Zhe, et al. "Realtimemulti-person 2d pose estimation using part affinity fields." Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. 2017                         
[3] Zhang, Fan, Antoine Cully, andYiannis Demiris. "Personalized robot-assisted dressing using user modelingin latent spaces." 2017 IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS). IEEE, 2017.