聯(lián)系人：李女士
座機(jī)：010-59433750
手機(jī)：15313878231
郵 箱：angelals@secspace.com
地 址：北京市海淀區(qū)金碼大廈B座2328
·人工智能安全 | 淺析人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域中的應(yīng)用
掃碼訂閱《中國(guó)信息安全》
郵發(fā)代號(hào) 2-786
征訂熱線：010-82341063
文 | 綠盟科技集團(tuán)股份有限公司 顧杜娟 楊鑫宜 王星凱 劉文懋 葉曉虎
企業(yè)數(shù)字化轉(zhuǎn)型浪潮的來臨促使人工智能技術(shù)得到了企業(yè)的普遍關(guān)注和重視。人工智能技術(shù)發(fā)展至今已經(jīng)廣泛應(yīng)用到圖像識(shí)別、自然語言處理等領(lǐng)域，并取得了重大的突破。隨著網(wǎng)絡(luò)空間逐漸成為數(shù)字經(jīng)濟(jì)發(fā)展的基石，網(wǎng)絡(luò)空間的攻擊面也不斷地延伸和拓展，網(wǎng)絡(luò)空間攻防雙方信息的不對(duì)稱性現(xiàn)象愈發(fā)明顯。伴隨著攻防對(duì)抗態(tài)勢(shì)的升級(jí)，人工智能技術(shù)成為網(wǎng)絡(luò)安全技術(shù)發(fā)展的必然趨勢(shì)之一。近年來，越來越多的企業(yè)和組織將人工智能技術(shù)與網(wǎng)絡(luò)安全技術(shù)進(jìn)行深度協(xié)同，人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用已經(jīng)成為安全能力落地、發(fā)揮網(wǎng)絡(luò)安全防御有效性和對(duì)抗高級(jí)持續(xù)性威脅（Advanced Persistent Threat，APT）等高級(jí)威脅最直接、最關(guān)鍵的環(huán)節(jié)之一。面對(duì)日趨白熱化、持續(xù)化的網(wǎng)絡(luò)攻防對(duì)抗環(huán)境，如何將人工智能技術(shù)賦能網(wǎng)絡(luò)安全面臨著諸多挑戰(zhàn)。
最近 ChatGPT 因廣泛應(yīng)用先進(jìn)的人工智能技術(shù)而備受關(guān)注，人工智能技術(shù)在傳統(tǒng)網(wǎng)絡(luò)安全領(lǐng)域一直被視為一把“雙刃劍”。安全廠家可以使用人工智能驅(qū)動(dòng)的安全工具和產(chǎn)品，自動(dòng)化、智能化地應(yīng)對(duì)大量網(wǎng)絡(luò)安全攻擊事件。但黑客也可以利用同樣的技術(shù)開發(fā)智能惡意軟件程序并發(fā)起隱形攻擊。本文將介紹人工智能在網(wǎng)絡(luò)攻擊中的應(yīng)用、人工智能技術(shù)在網(wǎng)絡(luò)安全防御中的應(yīng)用，以及 ChatGPT 這一備受矚目的大語言模型（Large Language Models，LLMs）在網(wǎng)絡(luò)攻防中的應(yīng)用、自身風(fēng)險(xiǎn)及防御策略。人工智能技術(shù)已經(jīng)被全面應(yīng)用于網(wǎng)絡(luò)空間安全領(lǐng)域，在應(yīng)對(duì)數(shù)字化轉(zhuǎn)型過程中的各類安全難題上發(fā)揮著巨大潛力。
一、人工智能在網(wǎng)絡(luò)攻擊中的應(yīng)用
人工智能技術(shù)的發(fā)展促使攻擊者引入機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方法，以提高網(wǎng)絡(luò)攻擊的自動(dòng)化、智能化和武器化，近一半提高了攻擊數(shù)量和復(fù)雜度，并加大了攻擊被檢測(cè)到的難度。人工智能技術(shù)從三個(gè)階段助力網(wǎng)絡(luò)攻擊：攻擊準(zhǔn)備、攻擊實(shí)施、攻擊善后。
（一）攻擊準(zhǔn)備
網(wǎng)絡(luò)攻擊準(zhǔn)備旨在偵查、研究攻擊目標(biāo)的敏感信息和漏洞，為后續(xù)設(shè)計(jì)攻擊策略提供信息依據(jù)和參考。在攻擊準(zhǔn)備中，攻擊者引入機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)以下幾個(gè)任務(wù)內(nèi)容：
第一，口令破解?？诹钍欠婪豆粽呷肭帜繕?biāo)網(wǎng)絡(luò)的一道重要防線，一旦口令破解成功，攻擊者就可以獲取數(shù)據(jù)庫(kù)的管理員權(quán)限和用戶賬號(hào)內(nèi)的個(gè)人信息。為了完成口令破解，攻擊者常常使用人工智能技術(shù)如 PassGAN、GENPass 等口令破解模型，它們基于生成對(duì)抗網(wǎng)絡(luò)框架和長(zhǎng)短期記憶網(wǎng)絡(luò) LSTM、殘差網(wǎng)絡(luò) ResNet 等神經(jīng)網(wǎng)絡(luò)，自動(dòng)學(xué)習(xí)口令分布，并能夠在幾秒內(nèi)破解不超過六位字符的口令，同時(shí)生成豐富多樣的口令。
第二，文本驗(yàn)證碼破解。為了防止 DDoS 攻擊，谷歌、百度、微軟在內(nèi)的很多企業(yè)在網(wǎng)頁中引入了文本 CAPTCHA 自動(dòng)化地區(qū)分程序和人類?；谧址指畹钠平夥桨冈诿鎸?duì) CAPTCHA 中越來越復(fù)雜和扭曲的字符時(shí)越發(fā)吃力，因此，深度學(xué)習(xí)的引入提高了文本驗(yàn)證碼破解的通用性和有效性。例如，研究人員將生成對(duì)抗網(wǎng)絡(luò)自動(dòng)生成的文本驗(yàn)證碼作為訓(xùn)練數(shù)據(jù)，再基于遷移學(xué)習(xí)微調(diào)文本識(shí)別模型，不僅避免了收集大量真實(shí)驗(yàn)證碼樣本，在效果上也能夠破解 33 種文本 CAPTCHA 方案。
第三，釣魚攻擊和垃圾郵件生成。馬爾可夫模型、長(zhǎng)短期記憶網(wǎng)絡(luò) LSTM、自動(dòng)編碼器 AE、生成對(duì)抗網(wǎng)絡(luò) GANs 以及大規(guī)模語言模型 LLMs 等人工智能技術(shù)可以作為自動(dòng)生成郵件的有效工具。對(duì)于 Transformer、BERT、GPT 生成式大模型來說，制造釣魚郵件和垃圾郵件的成本很低，只需給出關(guān)鍵提示詞，這些模型就可以在秒級(jí)內(nèi)生成大量逼真、切題的魚叉式釣魚郵件和垃圾郵件，繼而成為釣魚攻擊和拒絕服務(wù)攻擊的跳板。
第四，網(wǎng)絡(luò)資產(chǎn)自動(dòng)探測(cè)。網(wǎng)絡(luò)資產(chǎn)探測(cè)旨在掌握目標(biāo)網(wǎng)絡(luò)的設(shè)備屬性、應(yīng)用屬性等資產(chǎn)信息，一般包括操作系統(tǒng)探測(cè)、端口探測(cè)、IP 存活性探測(cè)、流量采集等。樸素貝葉斯分類器、支持向量機(jī)、決策樹、隨機(jī)森林、卷積神經(jīng)網(wǎng)絡(luò)等人工智能算法在網(wǎng)絡(luò)資產(chǎn)指紋識(shí)別和特征匹配方面已經(jīng)得到了應(yīng)用，基于網(wǎng)絡(luò)流量指紋、Web 指紋等類型的指紋數(shù)據(jù)，被訓(xùn)練和優(yōu)化過的人工智能模型可以實(shí)現(xiàn)被動(dòng)和主動(dòng)的設(shè)備識(shí)別。
第五，漏洞挖掘。漏洞挖掘旨在發(fā)現(xiàn)和分析軟件、系統(tǒng)生命周期中存在的安全缺陷。人工智能技術(shù)基于漏洞數(shù)據(jù)庫(kù)中提取的漏洞知識(shí)和特征，實(shí)現(xiàn)漏洞自動(dòng)挖掘和預(yù)測(cè)。支持向量機(jī)、邏輯回歸、決策樹、隨機(jī)森林等機(jī)器學(xué)習(xí)算法，以及卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)等常見的深度學(xué)習(xí)模型都已經(jīng)在漏洞挖掘領(lǐng)域得到了廣泛研究。這些算法基于軟件度量、代碼屬性、文本語法語義特征，通過合理的數(shù)據(jù)處理、數(shù)據(jù)表征、模型構(gòu)造與優(yōu)化，能夠自動(dòng)地在智能合約、物聯(lián)網(wǎng)、瀏覽器、二進(jìn)制程序等目標(biāo)上實(shí)現(xiàn)漏洞挖掘，結(jié)合使用人工智能漏洞挖掘技術(shù)和傳統(tǒng)程序分析技術(shù)可以進(jìn)一步提高漏洞挖掘的性能和效果。
（二）攻擊實(shí)施
在獲取目標(biāo)關(guān)鍵信息和發(fā)現(xiàn)有效漏洞后，攻擊者就會(huì)實(shí)施漏洞利用、入侵、滲透等攻擊行為。人工智能在以下幾個(gè)方面賦能攻擊實(shí)施：
第一，惡意軟件生成。人工智能技術(shù)從協(xié)助惡意軟件逃避檢測(cè)、自主適應(yīng)執(zhí)行環(huán)境、生成惡意軟件變體等多方面賦能惡意軟件。Swizzor 惡意軟件家族中已被發(fā)現(xiàn)的二進(jìn)制樣本高達(dá)數(shù)百萬個(gè)，惡意軟件生成速度之快正是借助機(jī)器學(xué)習(xí)算法自動(dòng)生成惡意軟件變體的能力，生成的變體在保有與之前版本相似特征的同時(shí)增加了攻擊的隱蔽性，極大地推動(dòng)了惡意軟件的傳播。
第二，漏洞利用。公開的安全漏洞報(bào)告、系統(tǒng)漏洞補(bǔ)丁、前期挖掘到的漏洞信息均可以作為漏洞利用的數(shù)據(jù)源。而人工智能中的自然語言處理可以從中提取漏洞的特征信息，并自動(dòng)化生成漏洞利用程序，從而引導(dǎo)后續(xù)的漏洞定位和攻擊路徑搜索等過程。例如，SemFuzz 使用 NLP 提取 CVE 報(bào)告、Linux git 日志中的漏洞文本信息來自動(dòng)生成 PoC exploits，同時(shí)發(fā)掘了未公開的漏洞。
第三，自動(dòng)滲透測(cè)試工具。自動(dòng)化滲透測(cè)試工具可以通過一鍵式完成滲透測(cè)試全流程，包括漏洞信息收集、漏洞掃描、漏洞分析、漏洞利用、后滲透攻擊以及報(bào)告生成等。例如，DeepExploit框架在 Metasploit 基礎(chǔ)上使用 A3C 強(qiáng)化學(xué)習(xí)算法提升滲透測(cè)試的效率。而 Shennina 框架則使用人工智能技術(shù)實(shí)現(xiàn)了全自動(dòng)主機(jī)滲透，其中人工智能負(fù)責(zé)自動(dòng)識(shí)別可用的滲透方案、提供漏洞利用技術(shù)以及執(zhí)行滲透測(cè)試等任務(wù)。
（三）攻擊善后
攻擊善后的重要目標(biāo)之一在于模糊、隱藏攻擊行為的存在與攻擊意圖，以提高攻擊隱蔽性，降低被檢測(cè)的風(fēng)險(xiǎn)。
第一，流量模仿。在攻擊過程中產(chǎn)生的惡意流量經(jīng)過檢測(cè)和分析會(huì)暴露攻擊信息，因此自適應(yīng)地模仿正常流量是掩蓋網(wǎng)絡(luò)攻擊的重要方式。現(xiàn)有的人工智能流量模仿方案大多基于生成對(duì)抗網(wǎng)絡(luò)及其變體 WGAN、WGAN-GP 等。GANs 通過學(xué)習(xí)正常流量的特征分布和表現(xiàn)，模仿生成的流量能夠顯著降低現(xiàn)有入侵檢測(cè)系統(tǒng)的效果，極大地增強(qiáng)了惡意攻擊的隱蔽性。
第二，攻擊意圖混淆和掩蓋。攻擊意圖的掩蓋是惡意軟件的一個(gè)重要目標(biāo)，運(yùn)用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)能夠有效提高惡意代碼的生存能力和免殺效果。例如，IBM 提出的惡意軟件 DeepLocker 嵌入了深度神經(jīng)網(wǎng)絡(luò) DNN，識(shí)別到攻擊目標(biāo)后實(shí)施針對(duì)性攻擊，在隱藏攻擊意圖的同時(shí)增加了攻擊隱蔽性。除此之外，基于 GAN、強(qiáng)化學(xué)習(xí)框架生成的靜態(tài)可執(zhí)行文件能夠成功繞過惡意軟件檢測(cè)機(jī)制。
二、人工智能技術(shù)在網(wǎng)絡(luò)安全防御中的應(yīng)用
由于攻擊者會(huì)利用大數(shù)據(jù)分析、自動(dòng)化工具等先進(jìn)技術(shù)來提升惡意攻擊的效率和隱蔽性，倒逼網(wǎng)絡(luò)安全防御突破傳統(tǒng)網(wǎng)絡(luò)安全防御階段。研究人員逐漸運(yùn)用人工智能技術(shù)直接或間接地提高網(wǎng)絡(luò)安全防御效率，在實(shí)際攻防實(shí)戰(zhàn)中快速地定位威脅攻擊，提升網(wǎng)絡(luò)安全防御的自動(dòng)化、智能化水平。目前，人工智能技術(shù)在網(wǎng)絡(luò)安全防御中的應(yīng)用包括以下幾個(gè)方面：
（一）攻擊檢測(cè)
第一，網(wǎng)絡(luò)入侵檢測(cè)。為了提升網(wǎng)絡(luò)入侵檢測(cè)的性能，研究人員正在逐漸將深度學(xué)習(xí)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò) CNN、循環(huán)神經(jīng)網(wǎng)絡(luò) RNN，以及對(duì)抗神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)等技術(shù)應(yīng)用到網(wǎng)絡(luò)入侵檢測(cè)中。雖然這些技術(shù)已經(jīng)取得了初步成果，但在大型動(dòng)態(tài)系統(tǒng)中有效地實(shí)現(xiàn)基于人工智能技術(shù)的網(wǎng)絡(luò)入侵檢測(cè)依舊面臨困難。
第二，垃圾郵件檢測(cè)。基于人工智能技術(shù)的垃圾郵件檢測(cè)方案已經(jīng)發(fā)展多年。目前，谷歌表示基于人工智能技術(shù)的 Gmail 垃圾郵件識(shí)別率高達(dá) 99.9%。由于垃圾郵件的數(shù)量巨大，0.1% 的垃圾郵件依然會(huì)給用戶帶來很多問題。因此，如何采用新的人工智能技術(shù)不斷改善垃圾郵件檢測(cè)技術(shù)依舊值得深入研究。
第三，惡意軟件識(shí)別。目前大多數(shù)傳統(tǒng)基于機(jī)器學(xué)習(xí)的惡意軟件檢測(cè)方法屬于監(jiān)督式學(xué)習(xí)，這些方法容易被攻擊者繞過。研究人員通過利用強(qiáng)化學(xué)習(xí)技術(shù)提出了 DQEAF 框架，該框架通過不斷與惡意軟件樣本進(jìn)行交互來訓(xùn)練人工智能代理，利用強(qiáng)化學(xué)習(xí)方法來規(guī)避反惡意軟件引擎，以突顯近年來基于監(jiān)督學(xué)習(xí)的惡意軟件檢測(cè)模型的弱點(diǎn)。
第四，加密流量檢測(cè)。隨著 TLS 加密技術(shù)在互聯(lián)網(wǎng)上的普及，如何通過不解密的方式直接從海量的加密流量中檢測(cè)出惡意流量是學(xué)術(shù)界和工業(yè)界非常關(guān)注的問題。從技術(shù)發(fā)展趨勢(shì)來看，下一代技術(shù)是基于大數(shù)據(jù)的統(tǒng)計(jì)特征，即在大量數(shù)據(jù)上進(jìn)行統(tǒng)計(jì)，基于統(tǒng)計(jì)的結(jié)論提取能夠描述樣本分布本質(zhì)原因的特征，這個(gè)過程將由擅長(zhǎng)分析數(shù)據(jù)統(tǒng)計(jì)規(guī)律的人工智能來實(shí)現(xiàn)。但是在流量識(shí)別領(lǐng)域，人工智能尚處于起步階段，暫時(shí)不適合做最后一步的判定，而是適合數(shù)據(jù)處理和輔助決策，基于人工智能的加密流量檢測(cè)將會(huì)是長(zhǎng)期的研究課題。
（二）攻擊防范
第一，漏洞修復(fù)。機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法可以實(shí)現(xiàn)漏洞自動(dòng)化修復(fù)，及時(shí)彌補(bǔ)系統(tǒng)缺陷。GenProg 使用遺傳編程修補(bǔ)程序源代碼，DeepRepair 在此基礎(chǔ)上使用深度學(xué)習(xí)生成修復(fù)方案。由于漏洞類型繁多、漏洞定位困難等因素的存在，目前人工智能修復(fù)漏洞仍需要人工參與和研判?？煽康娜詣?dòng)化漏洞修復(fù)技術(shù)需要進(jìn)一步的研究投入。
第二，攻擊預(yù)測(cè)與攔截。通過學(xué)習(xí)已知漏洞的潛在特征，人工智能具備預(yù)測(cè)零日漏洞、未公開漏洞等未知威脅的能力。Check Point 的 Quantum Titan 平臺(tái)利用深度學(xué)習(xí)技術(shù)防范網(wǎng)絡(luò)釣魚攻擊和域名系統(tǒng)漏洞，相較于傳統(tǒng)的簽名防御技術(shù)實(shí)現(xiàn)了五倍以上的 DNS 攻擊攔截率和四倍以上的零日釣魚攻擊攔截率。Darktrace 推出的 Antigena 人工智能產(chǎn)品檢測(cè)網(wǎng)絡(luò)中的訪問行為、郵件傳輸、云端動(dòng)態(tài)等活動(dòng)中存在的異常行為和漏洞，及時(shí)自動(dòng)阻斷并攔截異常連接和操作，實(shí)現(xiàn)了自主響應(yīng)網(wǎng)絡(luò)攻擊威脅。
（三）安全運(yùn)營(yíng)
基于人工智能在網(wǎng)絡(luò)攻擊和防御中的應(yīng)用，進(jìn)一步打造智能化、自動(dòng)化的網(wǎng)絡(luò)安全運(yùn)營(yíng)體系。
AISecOps（智能驅(qū)動(dòng)安全運(yùn)營(yíng)）平臺(tái)是安全運(yùn)營(yíng)與人工智能技術(shù)的融合，提供自動(dòng)化異常行為分析、自適應(yīng)防御策略生成、告警評(píng)估和攻擊研判等功能。目前 Splunk、Broadcom 等企業(yè)都在重點(diǎn)布局相關(guān)技術(shù)。AISecOps 技術(shù)內(nèi)涵可概括為：AISecOps 技術(shù)以安全運(yùn)營(yíng)目標(biāo)為導(dǎo)向，以人、流程、技術(shù)與數(shù)據(jù)的融合為基礎(chǔ)，面向預(yù)防、檢測(cè)、響應(yīng)、預(yù)測(cè)、恢復(fù)等網(wǎng)絡(luò)安全風(fēng)險(xiǎn)控制、攻防對(duì)抗關(guān)鍵環(huán)節(jié)，構(gòu)建具有高自動(dòng)化水平的可信任安全智能模型，以輔助甚至代替人提供各類安全運(yùn)營(yíng)服務(wù)。未來，在 AISecOps 技術(shù)自動(dòng)化水平提升過程中，需要打造人機(jī)智能協(xié)同的算法、模型、系統(tǒng)與流程，才能不斷地適應(yīng)高級(jí)別的自動(dòng)化安全運(yùn)營(yíng)場(chǎng)景。
三、大語言模型在網(wǎng)絡(luò)安全中的應(yīng)用
最近 ChatGPT 因廣泛應(yīng)用先進(jìn)的人工智能技術(shù)而備受關(guān)注，而讓 ChatGPT 爆火的大規(guī)模語言模型（Large Language Models，LLMs）也引起網(wǎng)絡(luò)安全界的高度關(guān)注，人們關(guān)注人工智能生成的內(nèi)容工具所產(chǎn)生的影響，尤其是對(duì)網(wǎng)絡(luò)安全的影響。人們擔(dān)心，這些工具是否可以用于網(wǎng)絡(luò)攻擊或者防護(hù)？又是否暗藏新的網(wǎng)絡(luò)安全隱患？
（一）大語言模型應(yīng)用攻擊和防御
根據(jù)現(xiàn)有研究資料和實(shí)踐案例，LLMs 作為一種強(qiáng)大的人工智能技術(shù)，其在傳統(tǒng)網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用既包括攻擊性的應(yīng)用也包括防御性的應(yīng)用。
第一，LLMs 被應(yīng)用于網(wǎng)絡(luò)攻擊。LLMs 的出現(xiàn)降低了攻擊門檻，即便是沒有太多攻防經(jīng)驗(yàn)的攻擊者，也可以通過和 LLMs 進(jìn)行對(duì)話，可以更容易地發(fā)起多項(xiàng)網(wǎng)絡(luò)攻擊任務(wù)，如釣魚郵件生成、撞庫(kù)攻擊、惡意代碼生成、漏洞利用、滲透攻擊等。LLMs 也被用于生成假新聞，散播不實(shí)信息，引發(fā)社會(huì)混亂或輿論控制。
第二，LLMs 被應(yīng)用于網(wǎng)絡(luò)防御。防御者可以借助 LLMs 優(yōu)化攻擊流量分析、惡意代碼逆向分析等任務(wù)，也可以使用 LLMs 進(jìn)行自動(dòng)化響應(yīng)編排、檢測(cè)規(guī)則編寫或輔助安全事件處置。LLMs 利用遷移學(xué)習(xí)微調(diào)各類攻擊場(chǎng)景，以一個(gè)大模型檢測(cè)各類型網(wǎng)絡(luò)攻擊，并與傳統(tǒng)安全設(shè)備整合，助力傳統(tǒng)安全產(chǎn)品革命性升級(jí)。
第三，LLMs 被應(yīng)用于網(wǎng)絡(luò)安全運(yùn)營(yíng)。LLMs 具備輔助建設(shè)網(wǎng)絡(luò)安全運(yùn)營(yíng)體系的能力，能夠承擔(dān)安全運(yùn)營(yíng)體系的部分子功能，如構(gòu)建安全運(yùn)營(yíng)知識(shí)庫(kù)、擔(dān)任人工智能技術(shù)客服或作戰(zhàn)室管家、指導(dǎo)安全合規(guī)體系建設(shè)以及對(duì)各類制度文檔進(jìn)行自動(dòng)合規(guī)迭代。微軟提出利用基于 ChatGPT 的Security Copilot 進(jìn)行輔助安全運(yùn)營(yíng)，并與微軟擁有65萬億個(gè)網(wǎng)絡(luò)安全威脅的安全模型庫(kù)相結(jié)合使用，為企業(yè)、個(gè)人用戶提供網(wǎng)絡(luò)安全、惡意代碼防護(hù)、隱私合規(guī)監(jiān)控等自動(dòng)化生成式人工智能服務(wù)。
（二）大語言模型自身風(fēng)險(xiǎn)與防御
LLMs 技術(shù)應(yīng)用于網(wǎng)絡(luò)攻防的同時(shí)，也帶來了一系列新的安全風(fēng)險(xiǎn)。無論是作為攻擊武器還是防御工具，LLMs 的引入都會(huì)因其自身脆弱性和自身面臨的安全威脅給使用者帶來額外的風(fēng)險(xiǎn)。
1. 可解釋性不足導(dǎo)致的風(fēng)險(xiǎn)。現(xiàn)有研究尚無法清晰解釋深度學(xué)習(xí)模型內(nèi)部結(jié)構(gòu)、神經(jīng)元、參數(shù)的含義。透明性和可解釋性的缺乏使得人們難以界定人工智能在網(wǎng)絡(luò)攻防中的決策依據(jù)，也導(dǎo)致面對(duì)人工智能安全威脅難以有效地對(duì)癥下藥。
2. 內(nèi)在脆弱性導(dǎo)致人工智能易受風(fēng)險(xiǎn)威脅。人工智能自身內(nèi)在的脆弱性導(dǎo)致其易遭受到多種攻擊，包括但不限于對(duì)抗樣本、后門攻擊、對(duì)抗重編程、圖像縮放攻擊等。這些攻擊可能會(huì)劣化模型性能、影響模型決策，嚴(yán)重時(shí)會(huì)引發(fā)人工智能系統(tǒng)崩潰。
3. 隱私泄露風(fēng)險(xiǎn)進(jìn)一步增大。除了數(shù)據(jù)濫用、數(shù)據(jù)違規(guī)收集引起的隱私泄露風(fēng)險(xiǎn)外，人工智能算法還面臨著成員推斷攻擊、模型反演、模型竊取等新型隱私竊取風(fēng)險(xiǎn)，數(shù)據(jù)信息、模型信息失竊的可能性增大。
4. 算法框架和開源基礎(chǔ)庫(kù)存在漏洞。常見的開源深度學(xué)習(xí)框架及其第三方 SDK 中包含著多種漏洞，其中作為主流框架的 TensorFlow 被發(fā)現(xiàn)在接口、學(xué)習(xí)算法、編譯、部署和安裝中都存在漏洞，利用這些漏洞將導(dǎo)致逃逸攻擊、拒絕服務(wù)攻擊、堆溢出攻擊等威脅。
對(duì) LLMs 上述風(fēng)險(xiǎn)，可以采取以下防御措施提高人工智能系統(tǒng)的安全性：
1. 輸入和輸出過濾。可以設(shè)置過濾器，阻止 LLMs 模型生成或者接受某些類型的輸入或者輸出，比如有害的、冒犯性的或者不適當(dāng)?shù)膬?nèi)容。檢測(cè)入模數(shù)據(jù)中的異常數(shù)據(jù)和離群值，丟棄或轉(zhuǎn)化異常數(shù)據(jù)，避免影響模型效果。
2. 透明度和解釋性。提供模型的工作原理和透明可審計(jì)的決策過程，以便用戶能夠理解和質(zhì)疑模型的輸出
3. 模型安全檢測(cè)和防御。針對(duì)人工智能算法可能面臨的投毒攻擊、后門攻擊等風(fēng)險(xiǎn)，設(shè)置基于特征壓縮、局部本征維數(shù)等檢測(cè)方案，同時(shí)采取對(duì)抗訓(xùn)練、數(shù)據(jù)增強(qiáng)等防御策略，保障模型和算法的安全。
4. 檢測(cè)和修復(fù)框架漏洞?；陂_源漏洞信息和模糊測(cè)試、深度學(xué)習(xí)等技術(shù)掃描框架中潛在的安全漏洞，及時(shí)修復(fù)框架和第三方庫(kù)中的漏洞。
5. 模型知識(shí)產(chǎn)權(quán)維護(hù)。限制模型訪問頻率一定程度上可以緩解模型竊取攻擊，而模型水印、指紋、簽名技術(shù)可以識(shí)別和驗(yàn)證可疑模型是否為竊取模型，從而保障模型知識(shí)產(chǎn)權(quán)。
LLMs 技術(shù)的使用應(yīng)該在持續(xù)的監(jiān)督和調(diào)整下進(jìn)行，以便及時(shí)發(fā)現(xiàn)和糾正問題。此外，以上防御措施的實(shí)施需要考慮到倫理、法律和社會(huì)因素，以確保新人工智能技術(shù)的使用是可靠和可持續(xù)的。
四、結(jié) 語
隨著人工智能技術(shù)與網(wǎng)絡(luò)安全攻防的融合，網(wǎng)絡(luò)安全領(lǐng)域正在全面、深刻地改變。惡意攻擊者不斷地向著規(guī)?；⒔M織化、軍事化，攻擊技術(shù)的自動(dòng)化、智能化、武器化的方向發(fā)展。如何基于人工智能技術(shù)與攻擊者進(jìn)行安全對(duì)抗，保障網(wǎng)絡(luò)安全，愈發(fā)成為網(wǎng)絡(luò)空間中攻防雙方角力的重點(diǎn)。大語言模型技術(shù)將進(jìn)一步推動(dòng)網(wǎng)絡(luò)安全攻防的變革。雖然目前相關(guān)大語言模型技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用尚未成熟，存在諸多挑戰(zhàn)。但是誰能搶先找到相關(guān)技術(shù)與網(wǎng)絡(luò)安全攻防的最佳結(jié)合點(diǎn)，就會(huì)掌握在網(wǎng)絡(luò)安全攻防博弈的主動(dòng)權(quán)。因此，推動(dòng)人工智能技術(shù)在網(wǎng)絡(luò)安全攻防場(chǎng)景中不斷走向?qū)嶋H應(yīng)用，提升網(wǎng)絡(luò)防御能力，對(duì)于網(wǎng)絡(luò)安全智能不斷走向成熟具有重大意義。
（本文刊登于《中國(guó)信息安全》雜志2023年第5期）
《中國(guó)安全信息》雜志傾力推薦
“企業(yè)成長(zhǎng)計(jì)劃”
點(diǎn)擊下圖 了解詳情
原標(biāo)題：《專題·人工智能安全 | 淺析人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域中的應(yīng)用》