• 人工智能與信息安全:新的革命與挑戰

    首頁 / 業界 / 資訊 /  正文
    來源:極光無限
    發布于:2個月前
    人工智能,是一種借鑒生物感知系統和神經系統來開發相應模擬算法的計算機技術,其主要特點是可從數據中學習特征并進行自我迭代訓練。通常,人工智能算法往往需要大量的數據以及龐大的計算資源作為支撐。隨著計算機硬件的迅猛發展以及互聯網時代下海量信息的積累,這使得構建復雜的人工智能算法變得可能。2016年,由谷歌公司旗下DeepMind研發的圍棋人工智能系統AlphaGo[1]以4比1的戰績打敗了人類頂尖棋手李世石。自此,人工智能技術開始了爆發式發展。
     
    在網絡安全領域,全球越來越多的公司正在嘗試將人工智能、機器學習等集成到產品之中,智能化(Intelligence)、自動化(Automatic)都是網絡安全領域的熱詞。
     
    我國于2017年7月8日印發《新一代人工智能發展規劃》,標志著我國人工智能發展進入到國家戰略層面。近日發布的“十四五”規劃綱要中,共有6處提及人工智能,并將“前沿基礎理論突破,專用芯片研發,深度學習框架等開源算法平臺構建,學習推理與決策、圖像圖形、語音視頻、自然語言識別處理等領域創新”視為新一代人工智能領域的重點攻關方向。
     
    近幾年來,人工智能技術不斷取得各種令人驚嘆的成果,我國人工智能領域發展可謂突飛猛進,《中國人工智能發展報告2020》顯示,過去十年全球人工智能專利申請量超52萬件。中國專利申請量為389571件,位居世界第一,占全球總量的74.7%。人工智能被應用于越來越多的行業之中,尤其是在計算機視覺、自然語言處理、游戲對抗等領域。
     

    人工智能的應用
     
    在計算機視覺領域,主流的人工智能技術是卷積神經網絡[2,3,4],卷積神經網絡借鑒了生物視覺神經系統的工作方式,對視覺信息進行類似于視神經細胞一般的處理,之后作出相應的響應。相較于傳統視覺算法,卷積神經網絡取得了前所未有的成功。憑借其高準確率,已然成為該領域下各種復雜任務中最受歡迎的解決方案。例如在人臉識別、目標跟蹤、自動駕駛等領域。
     
    在自然語言處理領域,基于人工智能技術的語言模型更深層次加深了計算機對語言處理的理解。例如谷歌于2019年推出的Transformer模型[5],其在推薦系統,用戶行為分析,機器翻譯等語言文本任務領域被廣泛應用。
     
    在游戲對抗領域,主流的人工智能技術是強化學習[6,7],由于游戲有明確的規則,利用強化學習算法可以使智能體(計算機)在自我對弈中找到最優解。近年來,強化學習技術開始“出圈”,逐漸被應用到各種行業中,如機器人控制、自動駕駛等領域。
     
    由于人工智能算法極其復雜,且人工智能模型內部包含大量參數,這導致對其進行定量的分析變得極其困難。隨著人工智能技術的廣泛應用,尤其是在一些對信息安全極其敏感的行業中應用人工智能技術,例如人臉識別、自動駕駛、癌癥診斷、國防與關乎人民生命財產安全息息相關的方面,如果不謹慎對待,這些安全隱患很可能在某個節點徹底爆發。所以,對人工智能技術的安全性研究變得尤為重要。
     

    人工智能自身的安全性
     
    以深度神經網絡為代表的人工智能技術由于其算法復雜,參數眾多,需海量數據驅動等特性使得其自身具有眾多安全缺陷,這些缺陷主要發生在兩個階段:AI模型的訓練階段以及應用階段。其中訓練階段攻擊者主要利用AI模型的數據驅動特性,針對訓練數據以及訓練所使用的算法發起攻擊[10],使AI模型偏離原本的訓練目的。在應用階段,攻擊者主要利用AI模型本身特性來誘導模型作出錯誤推斷。我們分別從攻擊手段和防御手段兩個角度來闡述在兩個階段中人工智能自身的安全性問題。
     

    模型訓練階段
     
    ?攻擊手段
    訓練數據集投毒——當前絕大多數AI算法的所有知識完全依賴于訓練數據集之上:攻擊者對數據集發起投毒,通過向數據集中引入不正確的標簽,將AI系統的學習引到錯誤的方向上,以使模型將學到的特征模式與錯誤的標簽相關聯,從而實現為攻擊者的目的。數據集通常包含數百萬個樣本,這些樣本很多時候來自公共資源。即便數據集由私人收集,攻擊者也可能入侵數據存儲系統并向其引入中毒樣本來破壞本來有效的數據集。已有報告指出,即使訓練集中僅含有3%的數據污染,數據投毒依然可以讓模型精確度下降11%。
     
    算法投毒——此種攻擊方式是利用AI學習算法中的薄弱環節。算法投毒攻擊針對聯邦學習算法[11,12]的威脅尤其巨大。聯邦學習在每個節點上訓練一組小模型,之后將這些小模型匯總在一起,以形成最終模型。由于每個節點的私有數據僅在自身上被用于訓練,因此可以保護他們的隱私。雖然聯邦學習是一種解決用戶數據因素的良好方案,但其容易受到算法投毒攻擊。由于攻擊者可以掌握那些受自己控制節點的設備運作,因此他們可以操縱節點上的運行數據和算法來毒化模型。
     
    ?防御手段
    使用可信任的數據集以及云托管平臺。訓練前應用檢測機制,檢查數據集是否被污染。設置準確度閾值,在每個訓練周期后使用該閾值測試模型,若測試結果發生巨大變化,則極有可能存在數據污染。盡量使用離線訓練,一方面攻擊者無法從離線訓練中得到即時反饋,另一方面也提供了審查數據的機會。
    模型應用階段
     
    ?攻擊手段
    白盒攻擊——攻擊者了解所要攻擊AI目標的模型結構、參數等信息。通過利用這些信息,攻擊者可以構造出針對AI模型的對抗樣本,這些對抗樣本往往可以使模型作出錯誤的判斷,甚至誘導模型輸出到攻擊者指定的方向。此類攻擊方式主要分為基于梯度的攻擊手段(FGSM[13], PGD[14]),基于優化的攻擊手段(CW[15]),基于決策面的攻擊手段(DeepFool[16])。
     
    黑盒攻擊——攻擊者無法了解目標AI所使用的模型以及參數,模型內部是否具有防御手段等信息,攻擊者只知道模型的輸入以及輸出。黑盒攻擊相比白盒攻擊要困難許多:因為缺少關于模型的信息,黑盒攻擊往往需要對模型進行大量查詢,根據查詢本身以及模型輸出結果不斷執行迭代以此來重構模型本身的行為,從而構建對抗樣本?,F實中,攻擊者遇到的往往是黑盒攻擊。黑盒攻擊算法相較于白盒攻擊更具有通用性。近年來,已涌現出很多優秀的黑盒攻擊技術:如模擬攻擊[17],這種攻擊手段允許攻擊者只需要少量查詢,根據這些查詢結果以及一些經典的AI模型來訓練并構建“代理網絡”,待訓練結束之后代理網絡能夠逼近目標AI模型的輸出。
     
    模型替換——攻擊者使用中毒模型代替正常模型。這一點很容易由傳統的網絡攻擊實現。完成訓練的模型也是計算機文件,與圖像或PDF文檔沒有什么不同。攻擊者可以入侵持有成熟模型的系統,然后更改模型文件或將其完全替換為受攻擊者控制的中毒模型。
    (圖1:基于梯度構造攻擊樣本經典實例:使用梯度信息對輸入圖片的每個像素添加微小擾動,便可以AI系統將對抗樣本判斷為長臂猿)
     
    ?防御手段
    可在AI模型的訓練集中增添一些被干擾過的數據,使模型對含有噪聲的樣本更加具有魯棒性?;蚴褂镁W絡蒸餾技術,在同一個訓練集上訓練多個不同的AI模型,最后使用這些模型的平均值作為輸出,此種方法需要大量的資源,但也有更高的精確度與較高的魯棒性。在模型成型之后,亦可對輸入的數據進行一定的去除噪聲預處理(如使用高斯平滑濾波器等)來達到防御對抗樣本的目的。
     

    人工智能在信息攻防戰中的應用
     
    攻擊方
     
    人工智能技術具有可自我學習數據特征,算法結構具有一定通用型的特點,借助該特點很多傳統的攻擊手段不僅可大幅提升攻擊命中率,還可以擺脫很多繁瑣且的且昂貴的人工成本。不僅如此,當下最為先進的人工智能技術還可生成逼真的虛擬數據(圖片、視頻、音頻、文本等)。
     
    ?數據偽造與篡改:
    2014年,由Ian J.Goodfellow等人提出了基于深度學習的生成對抗網絡模型[19]。生成對抗網絡由一個生成網絡與一個判別網絡組成。生成網絡從數據表征的潛在空間中(latent space)中進行隨機取樣作為輸入,其輸出結果需要盡量模仿訓練集中的真實樣本。判別網絡的輸入則為真實樣本和生成網絡的輸出,其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來。兩個網絡相互對抗、不斷調整參數,最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。
     
    2017年,在Reddit論壇上出現了使用生成對抗網絡對視頻中人物進行換臉的技術,名為Deepfake,只要有臉部照片,這項技術就能夠將視頻中的人臉替換成任意一個目標人臉,而且效果十分的逼真,肉眼難辨真假。隨著Deepfakes的興起,已有人將該技術應用到不法行業上,根據華盛頓郵報的一篇報道,在英國已出現使用AI合成語音進行詐騙的案例;在微信和qq等社交網絡上已出現兜售基于Deepfake技術“定制”色情視頻的團伙。不止在圖像與語音領域,由OpenAI創建的GPT-2模型可模擬人類不同的寫作風格,只需根據一小段主題便可完全自主生成逼真的假新聞。
     
    利用AI進行數據偽造正在沖擊著我們“眼見為實,耳聽為實”的世界,給社會安全、網絡安全、國家安全等眾多領域帶來前所未見的沖擊。在人臉、語音等生物特征識別已經大范圍普及的當今社會,發展區分真假數據的技術已經勢在必行。2019年6月,考慮到AI偽造數據在網絡上的快速傳播對民眾產生誤導,將會對2020年總統大選產生不可逆的影響,美國眾議員提議修改現行法律,在立法層面對AI數據偽造進行相關的打擊。同年,由Facebook領銜的相關學校和公司在更是投入1000萬美元舉辦Deepfake檢測挑戰賽。
     
     
    ?定制化網絡釣魚:
    網絡釣魚是—種網絡攻擊手段,指具有惡意動機的攻擊者對自己進行偽裝,利用欺詐性的電子郵件誘使用戶在偽造的網站上輸入敏感信息。
     
    對于攻擊者來說,社交網絡是尋找受害者的重要資源。但是一般在社交媒體上的大多數網絡釣魚嘗試成功率都非常的低。在2016年Black Hat USA上,研究人員發布了一種基于遞歸神經網絡的“定制化”釣魚工具—SNAP-R[20],該模型可以針對社交網絡上特定用戶群體發送其感興趣的釣魚推文。SNAP-R首先會獲取一個來自Twitter用戶名的列表,之后會收集已知的用戶行為使用AI技術對用戶進行分類,如果用戶較為容易受到蠱惑且具有較高的價值,SNAP-R會使用遞歸神經網絡技術對用戶發表的歷史推文,用戶的回復等信息生成虛假的推文內容,并在其中植入釣魚鏈接。相較于傳統技術,采用遞歸神經網絡技術生成的推文更為逼真,邏輯自洽。且SNAP-R還可以根據用戶的歷史上線時間對用戶的活躍時間規律進行建模,使之能夠在用戶活躍的時候向其發送相關信息。針對SNAP-R的測試也證實,借助遞歸神經網絡將釣魚成功率提升了30%-35%。
     

     
    ?智能化漏洞搜索:
    隨著如今計算機系統與應用軟件的日益復雜化,新發現的安全漏洞也在逐年增加。傳統的漏洞搜索需要由具備信息安全相關經驗的安全專家對代碼進行大量分析,人工費用昂貴,操作繁瑣且耗時。
     
    安全漏洞檢測的根基是大多數存在問題的代碼具有相似性,而深度學習技術能夠高效學習數據中的特征表示和復雜的非線性結構,利用深度學習來建模漏洞的結構以及相關的語義特征之后,AI系統會自動對代碼進行對比,評估存在漏洞的可能性。相較于傳統的漏洞檢測技術,AI的使用可以更好地對漏洞特征進行建模,且生成的模型具有良好的泛化性能。這極大的提高了漏洞挖掘的時間與效率,且節約了相當可觀的人力物力資源。
     
    因此使用基于深度學習的AI技術進行系統的漏洞挖掘前景巨大。當下結合AI進行漏洞檢測的方法主要集中于以下幾點:
     
       a.從二進制代碼中檢測漏洞:將二進制文件看作字節序列或者機器指令的集合,采用處理對象序列的深度學習模型(如遞歸神經網絡)進行特征提取。在模型的訓練階段可使用類似語言模型的無監督訓練方式,從而避免了對大量數據進行標注。之后進行有監督的微調,使模型在訓練出的嵌入空間中能夠表征漏洞[21]。
     
       b.將二進制代碼轉換為控制流程圖(如CFG, AST等)。結合AI的模型會對這些流程圖進行建模分析,以便利用代碼中的語義以及句法結構的信息。譬如使用圖神經網絡(GNN)對代碼的流程圖進行圖嵌入,訓練完成之后的模型便可基于漏洞代碼所具有的獨特邏輯結構進行發掘[22]。
     
       c.使用生成對抗網絡技術對漏洞數據集代碼進行增強,生成對抗網絡技術可以對數據核心特征進行建模并找到其編碼空間,從編碼空間中抽取的樣本可能會發現之前沒有見過的全新漏洞,這為漏洞發掘提供了全新的思路與方向。
     
     
    水能載舟,亦能覆舟,智能化的漏洞搜索可以是黑客的攻擊手段,當然也可以成為防御利器,只要在產品發布前,將漏洞查找出來,危機自然能消弭于無形。深入網絡安全行業,極光無限率先布局,以AI賦能實戰,助推網絡安全智能化。在無人區探索兩年以后,我們建立了大型漏洞數據集,提出了一種利用神經語言模型結合圖神經網絡的方法來進行漏洞的識別,推出了AI自動化漏洞挖掘產品——維陣,對未知漏洞具備檢測、預警、快速響應和處置等主動防護的能力,助力未來網絡安全防御體系全局化、整體化發展。
     

    防御方
     
    ?借助AI檢測WEB攻擊
    當前,大多數針對WAF惡意請求的檢測主要集中于撰寫規則或正則表達式。但面對海量的惡意請求,一方面不同的惡意請求具有各種不同的規則,想要編寫萬能的正則表達式幾乎不可能實現,且機械式的規則往往會造成誤判。另一方面,基于規則的檢測無法發現新型的攻擊。針對以上兩點,可以使用長短期記憶網絡(LSTM)來解決。一般情況下在日志中關鍵詞的二義性往往是造成誤判的主要原因。針對字符級別的LSTM可以根據上下文判斷關鍵詞在出現之處的具體含義。也因如此,使用LSTM的WAT攻擊識別也具備了一定對未知攻擊的識別能力,由于LSTM將每個字符作為特征,且字符之間具有上下文聯系,對于某些摻雜了特殊字符之后的命令,使用LSTM的模型亦有能力將其識別出來。
     
    除此之外,也可使用基于詞嵌入的深度學習技術進行惡意請求識別,該方法首先會使用詞嵌入對數據包進行降維處理,此舉旨在減少數據包的有效荷載維數,之后使用深度卷積神經網絡對潛入之后的詞向量提取局部特征,最后于頭部特征一起送入LSTM學習全局時態特征,從而識別惡意請求。相較于簡單的字符級LSTM,此方法雖然復雜,但檢測精度也更加高效[24]。
     
    ?自動化滲透測試
    滲透測試是對系統進行受控攻擊,進而評估其安全性,是提高網絡防御能力的關鍵方法之一。但是,網絡滲透測試需要專業的人員以及大量的時間。高效解決此問題的一種方式是將人工智能技術應用于滲透領域,以使滲透測試過程自動化。
     
    已有研究證明了強化學習(RL)在自動滲透測試中的應用[25]。RL是一種AI優化技術,其主要優勢在于它不需要環境模型即可生成攻擊策略,而是通過與環境交互來學習最佳策略。強化學習將網絡的已知配置作為狀態,將可用的掃描作為操作,由網絡上的“主機價值”來確定獎勵,并使用非確定性操作對機器的掃描結果建模。模型根據獲得的獎勵以及過去的經驗來不斷調整自身的行為。以獲取最大化的獎勵。研究發現,只要了解網絡拓撲以及可用的掃描和漏洞利用的知識,強化學習算法能夠找到針對各種不同網絡拓撲的最佳攻擊路徑。
     
    (圖4:強化學習框架圖: 代理做出動作,之后由環境對工作進行評估,決定該動作獲得多少獎勵。代理根據獲得的獎勵不斷對自身的策略進行優化。)
     
    (圖5:結合深度學習的強化學習,代理使用神經網絡評估更新自身的策略)
     
    ?流量數據包自動分類
    眾所周知,計算機網絡的保護與維護的成本日益居高不下,并且大多數保護措施無法針對0day漏洞作出高效響應,若對流量包進行深度分析又會引起侵犯用戶隱私等法律問題。綜上,結合機器學習的流量探測算法可以只從攔截的流量中提取元數據,并使用這些數據建立數據分類模型,無需對流量包進行深度分析,從而在一定程度上避免了侵犯用戶隱私等問題,并且這種流量檢測算法理論上擁有檢測0day漏洞的能力。
     
    在論文[26]提出了一種通用流量分類框架,首先根據可用信息提取其元數據,之后使用并行聚類算法對信息進行聚合以實現實時處理,最后根據聚類結果創建可視化模型以便安全分析人員或網絡管理員來識別網絡內部的各種情況。
     
    (圖6:數據包智能分類框架)
     

    總結
     
    人工智能作為第四次工業革命的核心應用技術之一,正以高度自動化和自主性的特性,創造出更為巨大的利益。與此同時,伴隨著“AI-as-a-Service”的普及,AI應用所需專業技能與知識門檻的降低,一定程度上增加了AI被惡意使用和濫用的可能性,進一步擴大了以人工智能為載體的安全威脅攻擊面。簡言之,人工智能在塑造一個更廣闊前景的同時,也因攻擊者的日趨深入,而成為誘發新數字、社會和政治威脅的額外動力。
     
    歸根結底,對安全從業人員和安全公司而言,人工智能對信息安全來說無疑是一把雙刃劍:其帶來巨大技術革新的同時,亦帶來了前所未有的全新挑戰。一方面,由于人工智能是一門包含了計算機科學、數學、生物等方面的綜合性學科,如何掌握并使用人工智能,并將其應用在安全相關領域應成為傳統信息安全從業人員以及公司的關注重點。同時,針對數據的采集以及數據隱私問題更應該被嚴格對待,將網絡安全和數據保護放在首位,這要求相關部門、企業、研究人員進行協作,在保證數據的安全及隱私的同時,促進相關創新、法規建設、提高認識和開展研發活動,共同創建人工智能安全發展的健康環境。
     

    引用文獻:
     
    [1] Mastering the game of Go with deep neural networks and tree search.
    [2] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.
    [3]Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems 25 (2012): 1097-1105.
    [4]He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
    [5]Vaswani, Ashish, et al. "Attention is all you need." arXiv preprint arXiv:1706.03762 (2017).
    [6]Mnih, Volodymyr, et al. "Playing atari with deep reinforcement learning." arXiv preprint arXiv:1312.5602 (2013).
    [7]Brown, Noam, et al. "Combining deep reinforcement learning and search for imperfect-information games." arXiv preprint arXiv:2007.13544 (2020).
    [8]Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).
    [9]CLIP: Connecting Text and Images
    [10]Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder. Ji Feng, Qi zhi Cai. Zhi Hua Zhou.
    [11]McMahan, Brendan, et al. "Communication-efficient learning of deep networks from decentralized data." Artificial Intelligence and Statistics. PMLR, 2017.
    [12]Yang, Qiang, et al. "Federated machine learning: Concept and applications." ACM Transactions on Intelligent Systems and Technology (TIST) 10.2 (2019): 1-19.
    [13]Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explaining and harnessing adversarial examples." arXiv preprint arXiv:1412.6572 (2014).
    [14]Madry, Aleksander, et al. "Towards deep learning models resistant to adversarial attacks." arXiv preprint arXiv:1706.06083 (2017).
    [15]Carlini, Nicholas, and David Wagner. "Towards evaluating the robustness of neural networks." 2017 ieee symposium on security and privacy (sp). IEEE, 2017.
    [16]Moosavi-Dezfooli, Seyed-Mohsen, Alhussein Fawzi, and Pascal Frossard. "Deepfool: a simple and accurate method to fool deep neural networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
    [17]Ma, Chen, Li Chen, and Junhai Yong. "MetaSimulator: Simulating Unknown Target Models for Query-Efficient Black-box Attacks." arXiv preprint arXiv:2009.00960 (2020).
    [18]Yin, Hongxu, et al. "See through Gradients: Image Batch Recovery via GradInversion." arXiv preprint arXiv:2104.07586 (2021).
    [19]Generative Adversarial Networks. Ian J. Goodfellow, Jean Pouget-Abadie∗, Mehdi Mirza, Bing Xu, David Warde. Sherjil Ozair, Aaron Courville, Yoshua Bengio.
    [20]Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter.
    [21]Deep Learning for Cyber Vulnerability Discovery: NGTF Project Scoping Study. de Vel O, Hubczenko D, Kim J, Montague P, Xiang Y, Phung D, Zhang J, Murray T, Le T, Wen S, Liu S, Nguyen V, Lin G, Nguyen K, Le T, Nguyen T, Nock R, Qu L.
    [22]Neural Network-based Graph Embedding for Cross-Platform Binary Code Similarity Detection. Xiaojun Xu, Chang Liu, Qian Feng, Heng Yin, Le Song, Dawn Song.
    [23]Neural Reverse Engineering of Stripped Binaries. Yaniv David. Uri Alon. Eran Yahav.
    [24]WEDL-NIDS: improving network intrusion detection using word embedding-based deep learning method. Cui, J., Long, J., Min, E., Mao, Y.
    [25]Autonomous Penetration Testing using Reinforcement Learning. Jonathon Schwartz.
    [26]Network Traffic Anomaly Detection Using Shallow Packet Inspection and Parallel K-means Data Clustering. Radu Velea. Casian Ciobanu. Laurentiu Margarit. Ion Bica.