針對全球人工智能安全框架缺失問題，在工業(yè)和信息化部網絡安全管理局指導下，中國信息通信研究院聯(lián)合瑞萊智慧RealAI、百度、騰訊、360、中科院信工所共同編制《人工智能安全框架（2020年）》藍皮書于此前正式發(fā)布，提出涵蓋人工智能安全目標，人工智能安全分級能力，以及人工智能安全技術和管理體系的人工智能安全框架。

當前，隨著全球人工智能規(guī)模化建設和應用的持續(xù)加速，人工智能基礎設施、設計研發(fā)及融合應用面臨的安全風險正日益凸顯，保障人工智能應用安全可靠的需求日漸迫切。

雖然人工智能安全話題的社會關注度不斷提升，學術界也在積極推動安全攻防、聯(lián)邦學習、差分隱私機器學習、深度偽造檢測等方向的安全技術創(chuàng)新，但目前針對人工智能安全問題的分析研究仍存在不足，比如針對人工智能可能面臨哪些安全威脅，人工智能安全防御加固技術有哪些，面對新的安全威脅企業(yè)應如何部署安全能力等等內容少有涉及。

在傳統(tǒng)網絡安全領域，NIST網絡安全框架、滑動標尺模型等能夠很好的指導用戶全面分析和解決網絡安全問題。但目前在人工智能領域還缺少類似能夠指引社會各方提升人工智能安全防護能力的框架。

因而，《人工智能安全框架（2020年）》藍皮書（下文簡稱“《框架》”）被提出，遵從實用性、前瞻性和整體性的原則，從全局化、體系化的角度打造人工智能風險地圖、人工智能安全框架、安全技術圖譜，便于有效部署實施人工智能技術，以及指導社會各方構建人工智能安全防護體系。

一、人工智能風險地圖

《框架》藍皮書不單單只看人工智能安全風險表現，結合人工智能系統(tǒng)設計運營全流程，根據人工智能所處的不同生命周期階段對安全風險進行劃分，以地圖的方式進行全局展示，一方面有利于更全詳盡、更深入的剖析人工智能所面臨的風險，另一方面也將有助于分析定位人工智能安全問題。

生命周期：根據國際標準化組織（ISO）對人工智能系統(tǒng)生命周期過程的劃分，可以概括為初始、設計研發(fā)、檢驗驗證、部署、運行監(jiān)控、持續(xù)驗證、重新評估、廢棄八個階段，分階段描繪出人工智能存在的安全風險，用戶可以根據自身情況有所側重。

風險來源：針對不同階段的不同風險表現，地圖羅列出背后的風險來源，分析導致該風險發(fā)生的根本原因，便于用戶從根源定位安全問題，從源頭給出應對措施。

風險表現：目前人工智能在不同生命周期階段會面臨的安全問題。值得注意的是攻擊者可以從多個環(huán)節(jié)進行攻擊達到目的，例如算法后門即可在設計研發(fā)階段通過修改訓練數據植入，也可以在運行監(jiān)控階段通過篡改模型文件植入，人工智能技術使用方需要對安全威脅做通盤考慮。

二、人工智能安全框架

人工智能技術特點及安全風險與傳統(tǒng)信息系統(tǒng)存在顯著差異，傳統(tǒng)網絡安全框架無法直接適用于人工智能應用，但《框架》藍皮書參考傳統(tǒng)網絡安全框架經驗，圍繞安全目標、安全能力、安全技術和安全管理四個維度，聚焦人工智能基礎設施、設計研發(fā)以及應用行為決策過程中存在的安全風險，自頂向下、層層遞進，為企業(yè)不斷提升人工智能安全能力提供可遵循的迭代路徑。

安全目標：明確人工智能安全目標將為人工智能安全防護工作的實施指明方向。本框架通過全面分析人工智能應用面臨的安全風險，總結和提煉業(yè)界所提出的目標，最終從應用、功能、數據、決策、行為、事件六個方面明確安全目標。

安全能力：框架以滑動標尺為參考，按照安全能力建設難度逐級遞增，以及安全資源投入產出比逐級遞減的方式提出了人工智能安全能力分級疊加演進模型，規(guī)劃為架構安全、設被動防御、主動防御、威脅情報和反制進攻五級人工智能安全能力?；瑒訕顺邔ζ髽I(yè)安全能力建設的投入有指導性意義，比如從投入產出比的角度來看，用戶應選擇優(yōu)先構建架構安全層面的能力，難度低、資源投入少，但安全能力提升最為顯著。

安全技術：構建人工智能應用涉及人工智能業(yè)務、人工智能算法、人工智能訓練數據和機器學習框架平臺四大核心層面，為此解決人工智能安全問題也不能只停留其中一個層面，如僅考慮算法安全方面的問題，忽略了深度學習平臺相關的漏洞，也有可能被攻擊者找到突破口進而導致服務不可用等風險。本框架綜合業(yè)務、算法、數據和平臺四大層面所涉及的技術方法，完善了人工智能安全技術體系。

安全管理：除了安全技術外，組織建設也是達到安全目標的重中之重。企業(yè)需在法律法規(guī)、標準規(guī)范等指導下，在人工智能安全組織、人員和制度等方面具體開展實踐。雖然目前有人工智能安全相關的標準正在研制中，但推動人工智能安全能力的有效落地，還需要國家和行業(yè)人工智能安全法律法規(guī)、行業(yè)政策、倫理規(guī)范、技術標準等方面的持續(xù)努力。

安全技術圖譜

為便于企業(yè)有效部署實施人工智能業(yè)務、算法、數據和平臺安全技術，《框架》描繪出完整的人工智能安全技術圖譜，列舉各環(huán)節(jié)建議部署的安全技術以應對不同階段的安全問題。參照圖譜，企業(yè)可結合自身業(yè)務特點選擇應用合適的技術手段。

同時，針對不同的技術手段，《框架》列舉了業(yè)屆已成熟落地的方案或者最有代表性的研究工作，為企業(yè)提供應用參考，比如目前在增強算法魯棒性、數據隱私計算領域應用較為成熟的數據增強與聯(lián)邦學習技術，《框架》中作了詳細介紹。

數據增強：通過模擬自然場景或對抗場景中可能出現的各類情況，支撐算法模型從數據中學習到相關特征提升算法魯棒性，從而在各種場景下始終保持正常的性能水平。數據增強方法可用于提升算法自然魯棒性。例如，可以通過旋轉平移、添加自然噪聲等模擬不同場景下的干擾數據，利用數據風格遷移生成不易收集的場景數據等方式生成訓練數據提升模型魯棒性。Dan Hendrycks等人開源的Corruption and Perturbation Robustness提供了可用于訓練測試的多種場景下的模擬數據。同時，數據增強方法也可以用于提升對抗魯棒性。例如，可以生成預加固模型的對抗樣本數據用于對抗訓練提升算法模型魯棒性。Madry 等人將對抗樣本數據與真實數據混合后進行對抗訓練可大幅提升模型應對對抗樣本攻擊的表現，進而提升模型魯棒性。

聯(lián)邦學習：指在各參與方數據不出本地的情況下，通過加密機制下的參數交換方式進行數據聯(lián)合訓練建立共享機器學習模型的過程。 針對不同的應用場景，聯(lián)邦學習有多種模式可供選擇。在用戶特征維 度重疊較多而用戶重疊較少的情況下可采用橫向聯(lián)邦學習。在用戶重 疊較多而特征維度重疊較少的情況下可采用縱向聯(lián)邦學習。在用戶與用戶特征維度重疊都較少的情況下采用聯(lián)邦遷移學習方式。微眾銀行推出了能提供一站式聯(lián)邦模型服務解決方案的 FATE，覆蓋橫向聯(lián)邦學習、縱向聯(lián)邦學習和聯(lián)邦遷移學習。騰訊T-Sec 聯(lián)邦學習方案能夠有效提升聯(lián)合建模場景下的安全性。瑞萊智慧發(fā)布的RealSecure在支持聯(lián)邦學習核心特性的基礎上，能夠極大方便聯(lián)邦學習算法開發(fā)和算法更新集成。

除此之外，《框架》還針對對抗樣本攻擊、模型后門、算法公平性、算法可解釋性、數據隱私保護等問題給出了如魯棒特征學習、模型自解釋、算法公平性約束、多方安全計算、同態(tài)加密等在內的十余項熱門安全加固防護技術的深入介紹。

隨著人工智能安全風險日益凸顯，在關乎人類生命安全、財產安全以及國家社會安全的部分領域，人工智能應用安全防護的相關防護已有所開展，例如自動駕駛、智能信貸風控和深度偽造是開展人工智能安全防護較為領先的三個領域。為便于企業(yè)借鑒已有人工智能安全防護經驗，《框架》藍皮書將結合行業(yè)實踐案例闡述上述三個領域人工智能安全防護工作開展。