機器人遙操作(Teleoperation)，也可以稱(chēng)為T(mén)elerobotics，是指在相關(guān)機器人控制中把人類(lèi)操作包含在控制回路中，任何的上層規劃和認知決定都是由人類(lèi)用戶(hù)下達，而機器人本體只是負責相應的實(shí)體應用。當機器人處理復雜的感知和大量任務(wù)時(shí)，在快速做出決策和處理極端情況時(shí)，遙距操作遠遠優(yōu)于智能編程。

目前遙操作已廣泛應用在醫療領(lǐng)域、極端環(huán)境探索如太空與深海場(chǎng)景、防恐防爆應用場(chǎng)景，及基于工業(yè)機械臂的自動(dòng)化生產(chǎn)中。機器人遙操作可以大致分為基于設備的接觸式遙操作和基于無(wú)標記的視覺(jué)遙操作兩大類(lèi)。2009年以前的工作可以參考[1]，下面就近幾年的遙操作發(fā)展進(jìn)行介紹。本文主要關(guān)注服務(wù)機器人和工業(yè)機器人，不涉及醫療機器人，如對醫療機器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過(guò)遙操作者穿戴或操作不同類(lèi)型的設備來(lái)實(shí)現。這些設備有操作桿、類(lèi)如Apriltag的標記物，慣性測量單元IMU，肌電圖（EMG）信號傳感器，虛擬現實(shí)VR/增強現實(shí)AR設備以及前景廣闊的觸覺(jué)設備等。

1. 基于IMU和EMG的遙操作

基于IMU和EMG的遙操作方法成本低且高效易操作。2017年，清華大學(xué)孫富春教授課題組設計了一個(gè)集成18個(gè)IMU的穿戴手套，并開(kāi)發(fā)了基于擴展卡爾曼濾波器的多模態(tài)融合算法用于推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩定地應用于由SCHUNK手臂和Barrett三指手構成的11DOF機械臂-手系統，以及由UR5和Barrett三指手構成的10DOF機械臂-手系統，其中操作員的手指用于機械手遙控，而手掌的手臂用于機械臂遙控。

2019年，哥倫比亞團隊提出了一種由EMG驅動(dòng)的非擬人化機器人手遙操作方法，這種方法將人前臂的EMG信號連續映射與遠程操作相關(guān)的三個(gè)子空間中，然后再從這個(gè)子空間映射到機器人手的關(guān)節空間[4]。這個(gè)方法有效且直觀(guān)，使新手操作者更快熟悉操作方案，可以魯棒地完成遠程操作拾取和放置任務(wù)。

2. 基于VR/AR的遙操作

基于虛擬現實(shí)的機器人遙操作是克服時(shí)延的有效方法,具有透明性強、穩定性高的優(yōu)點(diǎn),成為當前機器人遙操作的主要方式。漢堡大學(xué)團隊使用微軟hololens穿戴式眼鏡，基于混合現實(shí)（MR）技術(shù)為人機交互（HRI）場(chǎng)景開(kāi)辟了遙操作的新前景[5]。在MR人機協(xié)作系統中，操作員不僅可以看到機器人的真實(shí)工作場(chǎng)景，并且其他虛擬信息可以疊加在真實(shí)場(chǎng)景的視圖上，實(shí)現直觀(guān)自然地控制用于抓取和放置任務(wù)的機器人。特別是在機器人執行動(dòng)作之前，操作員可預覽機器人的潛在規劃動(dòng)作，可以減少損壞系統或傷害操作人員的風(fēng)險。此外，作者也在多機器人系統的交付服務(wù)任務(wù)中驗證了這個(gè)系統。這些研究為未來(lái)VR、AR及MR裝備的設計及虛擬現實(shí)在機器人方向上的應用提供了重要的啟示。

3. 融合觸覺(jué)反饋的遙操作

觸覺(jué)反饋對于接觸豐富的外部操作任務(wù)至關(guān)重要，觸覺(jué)設備已在外科手術(shù)機器人中得到廣泛研究，并用于在虛擬現實(shí)應用程序中收集訓練數據，如HaptX development kit。一些商業(yè)產(chǎn)品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺(jué)反饋，但是這種好處伴隨著(zhù)成本的增加。HaptX與Converge Robotics Group（由國際公司組成的財團）共同開(kāi)發(fā)了TactileTelerobot遠程機器人，以推動(dòng)觸覺(jué)和機器人技術(shù)的發(fā)展 [6]。TactileTelerobot是世界上第一個(gè)能夠將逼真的觸摸反饋傳輸給位于世界各地的操作員的機器人系統，該系統集成了三個(gè)主要產(chǎn)品，每個(gè)主要產(chǎn)品都在其類(lèi)別中處于領(lǐng)先地位：Shadow Robot Hands，SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過(guò)真實(shí)無(wú)延遲的觸覺(jué)反饋實(shí)現了多種機械手靈巧操作，如倒水、擰瓶蓋、轉魔方、寫(xiě)字、開(kāi)紙盒、幫人帶耳機，甚至人體按摩等。

當然這種昂貴的觸覺(jué)設備并不是每個(gè)組都可以擁有，因此還有一些雙向遙操作控制設備在[7]中，通過(guò)定義一個(gè)虛擬的操作對象來(lái)捕獲在master側人手的運動(dòng)及slace側相關(guān)的力反饋。

除了使用遙操作技術(shù)對機械臂或者機器手的控制，2020年西英格蘭大學(xué)的楊辰光團隊提出了一種用于全向移動(dòng)機器人的EMG與觸覺(jué)設備混合控制方法[8]。這種混合共享控制方法基于肌電圖和人工勢場(chǎng)，用以根據排斥力和吸引力避開(kāi)障礙物，并基于移動(dòng)平臺的力反饋增強人類(lèi)對遠程環(huán)境的感知。這種共享控制方法使遙操作者遠程控制移動(dòng)機器人的運動(dòng)并同步實(shí)現避障。與傳統的共享控制方法相比，該提議的方法提供了基于肌肉激活的力反饋，并驅動(dòng)操作者以可預測的方式更新其控制意圖。最終通過(guò)各種避障實(shí)驗表明這種遙控方法對移動(dòng)機器人控制的有效性。

二、基于無(wú)標記的視覺(jué)遙操作

與基于接觸式或可穿戴設備的遠程操作不同，基于無(wú)標記的視覺(jué)遠程操作具有還原人體四肢自然運動(dòng)且侵入性較小的優(yōu)點(diǎn)。特別是針對高自由度的機器手的遙操作，使用穿戴手套的方法必須根據操作者進(jìn)行定制手套大小，并且手套容易影響的關(guān)節自然運動(dòng)，而基于IMU或EMG的方法通用性和靈活性較低。因此無(wú)標記的視覺(jué)方法尤其適用于靈巧手的遠程操作，這樣有利于捕獲手指的所有運動(dòng)。

基于分析視覺(jué)的遠程操作分為兩類(lèi)：基于模型的（model-）方法和基于外觀(guān)的（appearance-）方法�；�于模型的方法提供連續的解決方案，但計算量大，通常取決于多相機系統的可用性。相反，基于外觀(guān)的方法可以識別離散數量的手勢，這些手勢通常對應于該方法的訓練集，而無(wú)需高昂的計算成本和硬件復雜性。最近，越來(lái)越多的研究人員致力于基于數據驅動(dòng)的基于視覺(jué)的遙操作方法，這些方法首先使用深度卷積神經(jīng)網(wǎng)絡(luò )（CNN）獲得3D手勢或識別手勢類(lèi)別，然后再映射人的相應位置到機器人上。比如，希臘克里特大學(xué)Antonis Argyros團隊提供了三種基于深度相機的人體位姿估計和跟蹤方法，然后通過(guò)逆運動(dòng)學(xué)過(guò)程將人體運動(dòng)映射到NAO人形機器人，從而實(shí)現對人性機器人的操作[9]。然而，這類(lèi)解決方案不僅依賴(lài)于手勢估計或分類(lèi)的準確性，而且增加后處理的時(shí)間成本。

2019年，德國漢堡大學(xué)張建偉課題組和清華大學(xué)孫富春課題組共同提出TeachNet，一個(gè)直接從人類(lèi)手指深度圖獲取機器人關(guān)節角度的深度學(xué)習網(wǎng)絡(luò )[10]。這種方法只需使用一個(gè)深度相機，并實(shí)現端到端地控制機器人，是非常直觀(guān)和用戶(hù)友好的遙操作方法。TeachNet結合了一個(gè)一致性損失函數consistency loss，可以處理人手和機器手的外觀(guān)和內在結構差異。這個(gè)網(wǎng)絡(luò )的訓練依賴(lài)于一個(gè)合成的400K人手-機器手數據集，其中人手數據來(lái)自于人手位姿深度圖像數據集BigHand2.0，然后在Gazebo中采集對應每個(gè)人手的的機器手深度圖像。最后，作者在5個(gè)不同操作者的抓取實(shí)驗中證明了TeachNet的穩定性和高效率。但是這種方法僅限于機器手的控制，無(wú)法移動(dòng)機械手使之在可達工作空間內進(jìn)行抓取。

進(jìn)一步，2019年，美國NVIDIA研究所和卡梅隆大學(xué)共同開(kāi)發(fā)了一種低成本的基于視覺(jué)的遠程操作系統DexPilot，該系統允許僅觀(guān)察裸手就能完全控制整個(gè)23 DOF的機械臂-手系統[11]。DexPilot使操作員能夠執行各種復雜的操作任務(wù)如擰瓶蓋、轉方塊、從錢(qián)夾取紙幣等，而不僅僅是簡(jiǎn)單的抓取和放置操作。作者首先使用一個(gè)彩色的織物手套采集了一個(gè)人手姿勢先驗數據集，然后使用點(diǎn)云作為輸入，結合PointNet++獲得人手位姿和關(guān)節先驗，然后使用DART和動(dòng)力學(xué)重定向將人手關(guān)節角映射到allegro手的關(guān)節上。最終通過(guò)兩個(gè)演示者完成各種任務(wù)的速度和可靠性指標，驗證了即使沒(méi)有觸覺(jué)反饋該系統仍具有高可靠性和高度靈敏性。

然而基于視覺(jué)的遙操作方法明顯不能適應于黑暗或者物體被遮擋的情況，因此將視覺(jué)與觸覺(jué)/力反饋融合，將更好地實(shí)現魯棒的遙操作算法。比如，增加機器人抓取時(shí)的滑動(dòng)檢測和力估計，或者操作者非示教部位如胳膊或左手用于感受觸覺(jué)反饋，從而減輕用戶(hù)的控制負擔并避免機器人的意外碰撞。另一方面，當人手被遮擋或者抓握其他物體時(shí)，如何解決人手角估計是3D人手姿態(tài)估計需要解決的一個(gè)方向。再者，基于視覺(jué)的遙操作使操作者總是限定于固定的相機系統區域，不能實(shí)現移動(dòng)式遙操作。如何將人手跟蹤和人手關(guān)節角估計共同應用到機器人的遙操作中也是非常有趣。