自AlphaGo戰勝人類(lèi)D圍棋手之后，人工智能這一概念真正成為了社會(huì )各界關(guān)注的焦點(diǎn)，也為各國政府所重視。一方面可以給我們帶來(lái)諸多便利，比如可能為我們提供醫療、法律、金融等方面的建議或決策，也可能直接操控汽車(chē)、無(wú)人機，甚至大規模殺傷性武器。但另一方面，它也被用來(lái)“做壞事”甚至危害人類(lèi)。如某些網(wǎng)站利用人工智能算法進(jìn)行“大數據殺熟”，2017年也發(fā)生了全國例利用人工智能技術(shù)進(jìn)行網(wǎng)絡(luò )詐騙的案件。2015年德國大眾公司甚至發(fā)生了機器人“殺人事件”。歐盟已經(jīng)要求所有算法解釋其輸出原理[3]，這意味著(zhù)不可解釋的算法模型將成為非法使用。

2.可解釋是人工智能發(fā)展選擇

在時(shí)下熱議的人工智能相關(guān)倫理、算法歧視、算法正確性、安全性等問(wèn)題中，有一個(gè)問(wèn)題被時(shí)常提起，即以深度學(xué)習算法為代表的人工智能算法的可解釋性問(wèn)題。人類(lèi)理性的發(fā)展歷程使我們相信，如果一個(gè)判斷或決策是可以被解釋的，我們將更容易了解其優(yōu)點(diǎn)與不足，更容易評估其風(fēng)險，知道其在多大程度上、在怎樣的場(chǎng)合中可以被信賴(lài)，以及我們可以從哪些方面對其進(jìn)行不斷改善，以盡量增進(jìn)共識、減少風(fēng)險，推動(dòng)相應L域的不斷發(fā)展。這樣的思維范式或許是誕生在人工智能時(shí)代之前的稍顯過(guò)時(shí)的思維模式�；蛟S隨著(zhù)科技和社會(huì )的發(fā)展，未來(lái)會(huì )演化出新的思維范式，但目前這仍然是我們成熟、具共識、可信賴(lài)的思維模式 。

二、可解釋性方法概述

17年ICML會(huì )議上來(lái)自谷歌的科學(xué)家給出一個(gè)關(guān)于可解釋性的定義是“Interpretation is the process of giving explanations to Human”。許多模型及應用不可解釋性的原因主要來(lái)源于對問(wèn)題和任務(wù)了解得還不夠充分。那么只要在使用模型的過(guò)程中，只要是能夠提供給我們關(guān)于數據或模型的可以理解的信息，有助于我們更充分的發(fā)現知識、理解和解決問(wèn)題的方法，那么都可以歸類(lèi)為可解釋性方法。同時(shí)，這篇文章將可解釋性方法按進(jìn)行的過(guò)程劃分為如下三類(lèi)：在建模之前的可解釋性方法、建立本身具備可解釋性的模型和建模后使用可解釋性方法對模型作出解釋?zhuān)�下面對這三大類(lèi)方法分別作介紹。

三、建模前：在建模之前的可解釋性方法

在建模之前的可解釋性方法主要涉及一些數據預處理或數據展示的方法機器學(xué)習解決的是從數據中發(fā)現知識和規律的問(wèn)題，如果我們對想要處理的數據特征所知甚少，指望對所要解決的問(wèn)題本身有很好的理解是不現實(shí)的，在建模之前的可解釋性方法的關(guān)鍵在于幫助我們迅速而多面地了解數據分布的特征，從而幫助我們考慮在建模過(guò)程中可能面臨的問(wèn)題并選擇一種合理的模型來(lái)逼近問(wèn)題所能達到的優(yōu)解。

數據可視化就是一類(lèi)非常重要的建模前可解釋性方法。很多對數據挖掘稍微有些了解的人可能會(huì )認為數據可視化是數據挖掘工作的后一步，大概就是通過(guò)設計一些好看又唬人的圖表或來(lái)展示你的分析挖掘成果。但實(shí)際上真正要研究一個(gè)數據問(wèn)題之前，通過(guò)建立一系列方方面面的可視化方法來(lái)建立我們對數據的直觀(guān)理解是非常需要的，特別是當數據量非常大或者數據維度非常G的時(shí)候，比如一些時(shí)空G維數據，如果可以建立一些一些交互式的可視化方法將會(huì )J大地幫助我們從各個(gè)層次角度理解數據的分布。

四、建模中：建立本身具備可解釋性的模型

建立本身具備可解釋性的模型是關(guān)鍵的一類(lèi)可解釋性方法，同樣也是一類(lèi)要求和限定很G的方法，具備可解釋性的模型大概可以分為以下幾種模型。

基于規則的模型，比如我們提到的非常經(jīng)典的決策樹(shù)模型。這類(lèi)模型中任何的一個(gè)決策都可以對應到一個(gè)邏輯規則表示。但當規則表示過(guò)多或者原始的特征本身就不是特別好解釋的時(shí)候，基于規則的方法有時(shí)候也不太適用。

基于單個(gè)特征的方法主要是一些非常經(jīng)典的回歸模型，比如線(xiàn)性回歸、邏輯回歸、廣義線(xiàn)性回歸、廣義加性模型等。這類(lèi)模型除了結構比較簡(jiǎn)單之外，更重要的是回歸模型及其一些變種擁有非常堅實(shí)的統計學(xué)基礎，上百年來(lái)無(wú)數統計學(xué)家探討了在各種不同情況下的模型參數估計與修正、假設檢驗、邊界條件等等問(wèn)題，使得他們在各種不同情況下都能使具有有非常好的可解釋性。

基于實(shí)例的方法主要是通過(guò)一些代表性的樣本來(lái)解釋聚類(lèi)/分類(lèi)結果的方法。比如可以為每一個(gè)聚類(lèi)簇中選出代表性樣例和重要的子空間。

基于稀疏性的方法主要是利用信息的稀疏性特質(zhì)，將模型盡可能地簡(jiǎn)化表示。比如LDA方法，根據層次性的單詞信息形成了層次性的主題表達，這樣一些小的主題就可以被更泛化的主題所概括，從而可以使我們更容易理解特定主題所代表的含義。

基于單調性的方法在很多機器學(xué)習問(wèn)題中，有一些輸入和輸出之間存在正相關(guān)/負相關(guān)關(guān)系，如果在模型訓練中我們可以找出這種單調性的關(guān)系就可以讓模型具有更G的可解釋性。比如醫生對患特定疾病的概率的估計主要由一些跟該疾病相關(guān)聯(lián)的G風(fēng)險因素決定，找出單調性關(guān)系就可以幫助我們識別這些G風(fēng)險因素。

五、建模后：使用可解釋性方法對模型作出解釋

建模后的可解釋性方法主要是針對具有黑箱性質(zhì)的深度學(xué)習模型而言的， 深度學(xué)習的黑箱性主要來(lái)源于其G度非線(xiàn)性性質(zhì)，每個(gè)神經(jīng)元都是由上一層的線(xiàn)性組合再加上一個(gè)非線(xiàn)性函數的得到，人們無(wú)法像理解線(xiàn)性回歸的參數那樣通過(guò)統計學(xué)基礎假設來(lái)理解神經(jīng)網(wǎng)絡(luò )中的參數含義及其重要程度、波動(dòng)范圍。但實(shí)際上我們是知道這些參數的具體值以及整個(gè)訓練過(guò)程的，所以神經(jīng)網(wǎng)絡(luò )模型本身其實(shí)并不是一個(gè)黑箱，其黑箱性在于我們沒(méi)辦法用人類(lèi)可以理解的方式理解模型的具體含義和行為，而神經(jīng)網(wǎng)絡(luò )的一個(gè)非常好的性質(zhì)在于神經(jīng)元的分層組合形式，這讓我們可以用物質(zhì)組成的視角來(lái)理解神經(jīng)網(wǎng)絡(luò )的運作方式。主要分為以下幾類(lèi)的工作：隱層分析方法、模擬/代理模型、敏感性分析方法。

隱層分析方法:該方法通過(guò)對隱層運用一些可視化方法來(lái)將其轉化成人類(lèi)可以理解的有實(shí)際含義的圖像以展示神經(jīng)網(wǎng)絡(luò )中每層都學(xué)到的概念。我們都知道典型的CNN模型的一個(gè)完整卷積過(guò)程是由卷積-激活-池化（pooling）三個(gè)步驟組成的，也可以通過(guò)反池化-反激活-反卷積這樣的一個(gè)逆過(guò)程，并借助特征可視化幫助我們理解CNN的每一層究竟學(xué)到了什么東西。此外，文獻[]提出了一種網(wǎng)絡(luò )切割的方法以提取CNN的語(yǔ)義概念。

模擬/代理模型：該類(lèi)方法是針對黑箱模型，使用蒸餾（Model distillation）技術(shù)得到新的可解釋模型，訓練這兩個(gè)模型使他們的結果近似。但這類(lèi)算法也存在很大的局限性，比如模型本身并不能被“蒸餾”，或者原始模型與蒸餾后的模型差異很大導致可解釋性模型的意義不再存在。

敏感性分析方法：用于定量描述模型輸入變量對輸出變量的重要性程度的方法。是令每個(gè)屬性在可能的范圍變動(dòng)，研究和預測這些屬性的變化對模型輸出值的影響程度。我們將影響程度的大小稱(chēng)為該屬性的敏感性系數，敏感性系數越大，就說(shuō)明屬性對模型輸出的影響越大。一般來(lái)講對于神經(jīng)網(wǎng)絡(luò )的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來(lái)檢驗輸入屬性變量對模型的影響程度，樣本敏感性分析用來(lái)研究具體樣本對模型的重要程度，也是敏感性分析研究的一個(gè)新方向。在金融L域，將敏感性分析與局部特征探索方法（主要是樹(shù)類(lèi)模型），能夠有效解決金融L域普遍存在先驗知識不足問(wèn)題。