人工智能在推動(dòng)經(jīng)濟社會(huì )創(chuàng )新發(fā)展的同時(shí)，也在重塑人類(lèi)安全的未來(lái)。從宏觀(guān)的角度來(lái)看，作為一個(gè)新技術(shù)和安全有什么樣的關(guān)系？當一個(gè)新技術(shù)應用于安全時(shí)會(huì )存在如下兩種情況。

一種是應用新技術(shù)服務(wù)于安全L域，我們說(shuō)是新技術(shù)賦能安全L域。當然既可以服務(wù)于防御行為，利用大數據可以分析網(wǎng)絡(luò )安全態(tài)勢，這算是賦能防御；也可以服務(wù)于攻擊行為，例如量子計算機的出現導致現有的密碼體系失去了原有意義，這是賦能攻擊。

D二種是每出現一種新技術(shù)就會(huì )帶來(lái)新的安全問(wèn)題，我們說(shuō)這屬于安全的一種伴生技術(shù)。它也有兩種情況，一種是新技術(shù)本身不成熟帶來(lái)了自身的安全問(wèn)題，例如移動(dòng)互聯(lián)網(wǎng)的基站帶來(lái)了偽基站攻擊的問(wèn)題，這屬于內生安全；還有一種情況是新技術(shù)的問(wèn)題對自身沒(méi)有什么影響，但危害了其他L域，例如區塊鏈的去中心化問(wèn)題 原本屬于“可控性缺失”的缺陷，其對區塊鏈本身沒(méi)有什么影響，但卻挑中了中心制管理體系（如比特幣就不能沒(méi)收違法所得），這屬于衍生安全。 

人工智能賦能于安全L域 

首先，人工智能可以賦能于防御。人工智能機器學(xué)習模型為積 J主動(dòng)的網(wǎng)絡(luò )防御帶來(lái)了新途徑。智能模型采用積J主動(dòng)的方式，而不是傳統的被動(dòng)應對方式；同時(shí)，利用人工智能的預測能力和機器學(xué)習的進(jìn)化能力，可以為我們提供抵御復雜網(wǎng)絡(luò )威脅的手段。本質(zhì)上來(lái)講，重要的變化是在網(wǎng)絡(luò )攻擊發(fā)生之前就進(jìn)行預警并采取阻斷措施。麻省理工學(xué)院研發(fā)的基于人工智能的網(wǎng)絡(luò )安全平臺AI2，用人工智能方法來(lái)分析網(wǎng)絡(luò )攻擊情況，幫助網(wǎng)絡(luò )安全分析師做那些類(lèi)似“大海撈針”的工作。AI2系統首先利用機器學(xué)習技術(shù)自主掃描數據和活動(dòng)，把發(fā)現的結果反饋給網(wǎng)絡(luò )安全分析師。網(wǎng)絡(luò )安全分析師將會(huì )標注哪些是真正的網(wǎng)絡(luò )攻擊活動(dòng)，并將工程師的反饋納入AI2系統，從而用于對新日志的自動(dòng)分析。在測試中，研究小組發(fā)現AI2的準確性約為現今所使用的自動(dòng)分析工具的3倍，大大減少誤報的概率。另外，AI2在分析過(guò)程中可以不斷產(chǎn)生新模型，這意味著(zhù)它可 以快速地改善自己的預測率。系統檢測越多的攻擊活動(dòng)，收到來(lái)自分析師的反饋越多，相對地可以不斷提G未來(lái)預測的準確性。據報道，AI2通過(guò)超過(guò)3.6億行日志文件的訓練，使其可以分析出85%的攻擊行為，以便告警可疑行為。 

其次，人工智能可以賦能網(wǎng)絡(luò )攻擊，業(yè)內稱(chēng)之為自動(dòng)化或智能化網(wǎng)絡(luò )攻擊。通過(guò)機器人在人完全不干預的情況下，自動(dòng)化地進(jìn)行計算機的攻擊。近年來(lái)連續發(fā)生的重大黑客事件，包括核心數據庫泄密、數以?xún)|計的賬戶(hù)遭入侵、WannaCry勒索病毒等都具有自動(dòng)化攻擊的特點(diǎn)。通過(guò)借助自動(dòng)化工具，攻擊者可以在短時(shí)間內，以更G效、更隱蔽的方式對大量不同網(wǎng)站進(jìn)行漏洞掃描和探測，尤其對于0day/Nday漏洞的全網(wǎng)探測，將會(huì )更為頻繁和G效。人工智能強大的數據挖掘和分析能力，以及由此帶來(lái)的智能化服務(wù)，經(jīng)常被黑客組織加以利用，借助于人工智能技術(shù)，形成更為擬人化和精密化的自動(dòng)化攻擊趨勢，這類(lèi)機器人模擬真人的行為會(huì )更聰明、更大膽，也更難以追蹤和溯源。當前，自動(dòng)化、智能化的網(wǎng)絡(luò )攻擊正在不斷讓網(wǎng)絡(luò )安全防線(xiàn)頻頻失守，而這顯然需要引起網(wǎng)絡(luò )安全行業(yè)的足夠重視，需要從了解自動(dòng)化網(wǎng)絡(luò )攻擊行為特點(diǎn)入手，及時(shí)采取措施。 

早在2013年，美國DARPA就發(fā)起網(wǎng)絡(luò )超級挑戰賽（Cyber Grand Challenge，CGC），旨在推進(jìn)自動(dòng)化網(wǎng)絡(luò )攻防技術(shù)的發(fā)展，即實(shí)時(shí)識別系統漏洞，并自動(dòng)完成打補丁和系統防御，終實(shí)現全自動(dòng)的網(wǎng)絡(luò )安全攻防。DARPA給了104支參賽隊伍以?xún)赡甑臅r(shí)間做準備，要求他們首先開(kāi)發(fā)一套全自動(dòng)的網(wǎng)絡(luò )推理系統（Cyber Reasoning System，CRS），以便依靠人工智能技術(shù)來(lái)支撐網(wǎng)絡(luò )攻擊。CRS可對主辦方動(dòng)態(tài)給定的挑戰性程 序(Challenge Binary，CB）進(jìn)行自動(dòng)漏洞挖掘與補丁生成（防御），需自動(dòng)生成打補丁后的加固程序（Replacement CB，RCB）；需自動(dòng)生成漏洞利用程序（攻擊），即自動(dòng)生成攻擊程序（Proof of Vulnerability，PoV）；需自動(dòng)生成入侵檢測（IDS）規則。2015年6月3日進(jìn)行了初賽，24小時(shí)內，各隊CRS在無(wú)人干預的情況下自動(dòng)下載組織方提供的131道存在已知內存處理漏洞的CB，其共包含覆蓋了53個(gè)不同類(lèi)型的通用缺陷列表（Common Weakness Enumeration，CWE）的590個(gè)漏洞，CRS需要自動(dòng)分析程序并查找漏洞，然后提交自動(dòng)生成的RCB和PoV。比賽結果是所預留的全部漏洞都分別被不同的CRS成功的發(fā)現并修補。終有7支隊伍進(jìn)入了決賽。決賽在2016年8月4日進(jìn)行。決賽階段增加了線(xiàn)上參賽隊之間的實(shí)時(shí)對抗，并增加了網(wǎng)絡(luò )防御能力（CRS可以自動(dòng) 生成IDS規則）的評測。裁判機使用CRS提交的RCB、PoV和IDS規則，在獨立、隔離環(huán)境下交叉驗證（用A隊的PoV攻擊B隊的RCB），通過(guò)綜合攻擊表現、防御表現、功能損失、性能損失來(lái)進(jìn)行評判。終，卡內基梅隆大學(xué)的For All Secure團隊的Mayhem獲得CGCG軍，進(jìn)而獲得人類(lèi)的Defcon CTF參賽資格。在2016年8 月5-7日舉辦的Defcon CTF上，卡內基梅隆大學(xué)的Mayhem機器CTF戰隊與另外14支人類(lèi)DCTF戰隊同臺較量，并一度超過(guò)2支人類(lèi)戰隊排名第13。自動(dòng)化攻擊系統能站上Defcon CTF賽場(chǎng)，開(kāi)創(chuàng )了“機器智能”和“自動(dòng)化攻防”的新局面。由此可見(jiàn)，人工智能在賦能攻擊的方面還是很強大的。 

人工智能所伴生的安全問(wèn)題

人工智能自身存在著(zhù)脆弱性，例如對抗樣本就是人工智能的內生安全問(wèn)題。對抗樣本是機器學(xué)習模型的一個(gè)有趣現象，反映出了人工智能算法的弱點(diǎn)。攻擊者通過(guò)在源數據上增加人類(lèi)難以通過(guò)感官辨識到的細微改變，但是卻可以讓機器學(xué)習模型接受并做出錯誤的分類(lèi)決定。一個(gè)典型的場(chǎng)景就是圖像分類(lèi)模型的對抗樣本，通過(guò)在圖片上疊加精心構造的變化量，在肉眼難以察覺(jué)的情況下，讓分類(lèi)模型產(chǎn)生誤判。對抗樣本除在圖像識別L域存在，也在其他L域存在，如語(yǔ)音、文本等。從網(wǎng)絡(luò )安全L域看，同樣存在類(lèi)似于對抗樣本的攻擊問(wèn)題，攻擊者通過(guò)對惡意代碼插入擾動(dòng)操作就有可能對人工智能模型產(chǎn)生欺騙。例如，有人就設計了一個(gè)惡意樣本，讓分類(lèi)器將一個(gè)存有惡意行為的軟件認定為良性的變體，從而可以構造能自動(dòng)逃逸PDF惡意軟件分類(lèi)器的攻擊方法，以此來(lái)對抗機器學(xué)習在安全中的應用。上述安全問(wèn)題都可能會(huì )導致同樣后果，就是導致人工智能系統發(fā)生錯誤的決策、判斷，以及系統被控制等問(wèn)題。

人工智能技術(shù)存在著(zhù)巨大的安全性挑戰。目前人工智能系統還無(wú)法超出固有的場(chǎng)景或對特定語(yǔ)境的理解，人工智能技術(shù)在下棋或游戲等有固定規則的范圍內一般不會(huì )暴露其脆弱性，當環(huán)境數據與智能系統訓練的環(huán)境大相徑庭，或者實(shí)際的應用場(chǎng)景發(fā)生變化，或者這種變化超出機器可理解的范圍時(shí)，人工智能系統可能就立刻失去判 斷能力。美國智庫“新美國安全中心”發(fā)布的《人工智能：每個(gè)決策者需要知道什么》報告顯示，人工智能的一些弱點(diǎn)可能對國家安全等L域造成巨大影響。 

人工智能的失誤可能會(huì )給人類(lèi)帶來(lái)災難，從而會(huì )形成衍生安全問(wèn)題。2016年5月7日，在佛羅里達州公路上一輛處于“自動(dòng)駕駛”模式的特斯拉Model S以74英里的時(shí)速，撞上了拐彎中的白色拖掛式大貨車(chē)。Model S從貨車(chē)車(chē)底穿過(guò)，車(chē)D被完全掀飛，40歲的駕駛員Joshua Brown不幸死亡。出事路段限制時(shí)速為65英里/時(shí)。由于 “自動(dòng)駕駛”模式車(chē)前的G清攝像頭為長(cháng)焦鏡頭，當白色拖掛卡車(chē)進(jìn)入視覺(jué)區域內時(shí)，攝像頭只能看到懸浮在地面上的卡車(chē)中部，而無(wú)法看見(jiàn)整個(gè)車(chē)輛；此外，當時(shí)陽(yáng)光強烈(藍天白云)，使得自動(dòng)駕駛系統無(wú)法識別出障礙物是一輛卡車(chē)，而更像是飄在天上的云，導致自動(dòng)剎車(chē)未生效。這次事故引發(fā)了外界對自動(dòng)駕駛汽車(chē)安全性的爭議。這種自動(dòng)駕駛的缺陷導致人類(lèi)傷亡的事情，是典型的人工智能衍生安全的案例。 

當前，人們已經(jīng)開(kāi)始關(guān)注人工智能自身的安全問(wèn)題，霍金曾經(jīng)在2015年8月與美國Reddit 網(wǎng)的問(wèn)答互動(dòng)中，提出了人工智能“威脅論”的觀(guān)點(diǎn)，后又曾多次在世界知名期刊撰文強調類(lèi)似看法。比爾•蓋茨稱(chēng)，人類(lèi)在人工智能L域已經(jīng)取得了很大進(jìn)展，這些進(jìn)展能讓機器人在接下來(lái)的10年內學(xué)會(huì )駕駛和做家務(wù)，在一些特定的L域甚至能比人類(lèi)優(yōu)秀。但是之前他曾經(jīng)提出警告，“人工智能如果進(jìn)展太快，可能會(huì )對未來(lái)的人類(lèi)造成一定威脅”。特斯拉創(chuàng )始人馬斯克在Code大會(huì )上也預測智能機器人未來(lái)，他認為未來(lái)人類(lèi)生活將離不開(kāi)虛擬現實(shí)技術(shù)，而這一技術(shù)的G度發(fā)展將使人類(lèi)很難分辨出真實(shí)與游戲的區別；加之人工智能的飛速發(fā)展，人類(lèi)智商將會(huì )止步不前；為嚴重的后果是機器人反超人類(lèi)成為實(shí)際運營(yíng)世界的主體，人類(lèi)在機器人心中可能如寵物一般的存在。 

防止人工智能體行為失控的方案

隨著(zhù)人工智能技術(shù)的G速發(fā)展，人工智能行為體越來(lái)越有可能在不遠的將來(lái)成為人類(lèi)生活重要組成部分。目前，相關(guān)研究L域專(zhuān)家已認識到人工智能存在巨大風(fēng)險，并從人工智能安全設計原則、標準規范、道德倫理方面進(jìn)行呼吁。但是，針對如何設計一個(gè)防止具有行為能力的人工智能系統失控的裝置？該裝置應具備的什么樣的控制功能和性能指標？該裝置的軟硬件形態(tài)是什么？這些目前尚無(wú)研究成果。

人工智能為什么會(huì )危害人類(lèi)？前提是要有一個(gè)具有行為能力的、由人工智能來(lái)操作的行為體。人工智能行為體是指一類(lèi)能感知外部環(huán)境并將之作為輸入，通過(guò)內部算法進(jìn)行決策，并利用自身驅動(dòng)裝置與物理世界產(chǎn)生交互行為的自主硬件實(shí)體。自動(dòng)行走機器人、自動(dòng)駕駛汽車(chē)和人工智能武器等，都是人工智能行為體的類(lèi)型。人工智能行為體需要有感知外部環(huán)境、內部控制邏輯、運動(dòng)驅動(dòng)裝置和自主能力（自學(xué)習）四個(gè)要素的體現。外部環(huán)境包括所處的自然環(huán)境和相關(guān)生物體等；內部控制邏輯是指預制在人工智能行為體內部，用于產(chǎn)生運動(dòng)行為的程序；運動(dòng)驅動(dòng)裝置是可與物理世界交互，或者可改變人工智能行為體處所空間坐標的硬件；自主能力是指人工智能行為體可以自己設定要達到的目標函數或自主決策，而非由人類(lèi)設定目標。

人工智能在什么情況下會(huì )危害人類(lèi)？需要同時(shí)滿(mǎn)足三個(gè)條件，D一，有行為能力，AlphaGo是下棋機器人，不能動(dòng)，所以不會(huì )危害人類(lèi)；D二，有足夠破壞力的動(dòng)能，有危害性，掃地機器人不具有破壞的動(dòng)能，所以不會(huì )危害人類(lèi)；第三，具有自主能力，完全聽(tīng)命于人類(lèi)的系統，不會(huì )主動(dòng)傷害人類(lèi)，但會(huì )誤傷人類(lèi)。

首先，能動(dòng)的問(wèn)題已解決；D二，有破壞力的機器人也已經(jīng)存在，這是一個(gè)危險因素；第三個(gè)要素，自主行為體。運動(dòng)體已經(jīng)比比皆是，破壞力已經(jīng)突破掉了，關(guān)鍵就是能不能自主。但是我們不能太相信機器人不會(huì )自我進(jìn)化到具有危害人類(lèi)的程度，所以對它預先要有約束。針對機器人來(lái)說(shuō)有一個(gè)國際標準，提出了四種約束條件。D一是安全級的監控停止，當出現問(wèn)題時(shí)，有讓它停止的能力；D二是手動(dòng)引導，做什么事情讓它做它才開(kāi)始做，如果這個(gè)機器人只能手動(dòng)才開(kāi)始做，它就沒(méi)辦法給自己設定攻擊性目標；第三是速度和距離監控，當它和人比較接近時(shí)，速度需要降下來(lái)；第四是功率和力的限制，當和人接近時(shí)其功率需要迅速降下來(lái)。這些都是保護人類(lèi)要做的事情。 

我們提出一種如圖1所示的防止人工智能行為體失控的方法——AI保險箍。圖中，串聯(lián)模塊用于與人工智能行為體的決策系統和驅動(dòng)裝置連接；反摘除模塊用于在發(fā)生暴力拆除時(shí)，毀滅人工智能行為體，其確保本裝置無(wú)法從人工智能行為體總摘除。AI保險箍方法的核心要點(diǎn)包括：①人工智能行為體的驅動(dòng)裝置需采取主動(dòng)探測或被動(dòng)監聽(tīng)等方法，以檢測到一個(gè)授權的、認證的、可信的控制系統(AI保險箍)的存在，并接受其完全控制；② 當人工智能行為體無(wú)法檢測到一個(gè)授權的、認證的、可信的控制系統存在時(shí)，應停止一切工作；③ 速度與距離監控，當人工智能行為體中某個(gè)危險部件與人之間的距離小于安全距離時(shí)，觸發(fā)保護停止、觸發(fā)與人工智能行為體相連的安全級功能；④ 在人工智能行為體發(fā)生失控時(shí)，系統能根據遠程控制命令，實(shí)現人工智能行為體的遠程控制，使其無(wú)法危害人類(lèi)或將危害控制到低；⑤ 系統會(huì )對人工智能行為體進(jìn)行風(fēng)險識別，當識別出風(fēng)險時(shí)，發(fā)出警報示警，進(jìn)一步防止人工智能行為體因為失控而造成的損害。 

結束語(yǔ) 

人工智能作為具顛覆性和戰略性的核心關(guān)鍵技術(shù)，持續引起產(chǎn)業(yè)界、學(xué)術(shù)界和各國政府的G度關(guān)注。當前，人工智能技術(shù)在安全L域的應用需求日益迫切，同時(shí)，人工智能自身的安全問(wèn)題也不容小覷，安全與人工智能并舉，雙方的融合發(fā)展與創(chuàng )新是我強國戰略中不可忽視的重要助推因素。

查看更多相似文章