想象一下，如果街道上自動(dòng)駕駛的汽車(chē)因AI視覺(jué)系統(tǒng)受到AI算法誘導(dǎo)攻擊，而引發(fā)行駛軌跡發(fā)生改變；或者有人通過(guò)AI技術(shù)模仿出跟你熟悉的親朋好友一模一樣的聲音，找你借錢(qián)；亦或是家里的AI智能設(shè)備遭遇黑客入侵；甚至物聯(lián)網(wǎng)更加智能的未來(lái)社會(huì)，有人植入AI智能心臟輔助設(shè)備也遭遇攻擊，引發(fā)宕機(jī)，這些后果將會(huì)怎樣？

清華大學(xué)計(jì)算機(jī)系教授、RealAI首席科學(xué)家朱軍就指出，盡管人工智能技術(shù)取得長(zhǎng)足進(jìn)步，人工智能算法的安全性仍存在嚴(yán)重不足，對(duì)智能技術(shù)的應(yīng)用帶來(lái)較大的安全隱患。

6月3日，清華大學(xué)聯(lián)合阿里安全、Real AI發(fā)布了首個(gè)公平、全面的AI攻防對(duì)抗基準(zhǔn)平臺(tái)，該評(píng)測(cè)基準(zhǔn)基于清華大學(xué)在2020年GitHub開(kāi)源的ARES算法庫(kù)，該平臺(tái)致力于對(duì)AI防御和攻擊算法進(jìn)行自動(dòng)化、科學(xué)評(píng)估。AI模型究竟是否安全，攻擊和防御能力幾何？只需提交至該平臺(tái)，就可見(jiàn)能力排行。

圖說(shuō)：中科院院士張鈸（左二）、清華大學(xué)教授朱軍（左三）、阿里巴巴安全部技術(shù)總監(jiān)薛暉（右一）、RealAI CEO田天（左一）等聯(lián)合發(fā)布首個(gè)公平、全面的AI攻防對(duì)抗基準(zhǔn)平臺(tái)

從源頭保障AI模型安全

“就像打仗一樣，攻擊者可能用水攻，也可能火攻，還可能偷偷挖條地道來(lái)攻打一座城，守城的人不能只考慮一種可能性，必須布防應(yīng)對(duì)許多的攻擊可能性。”參與該評(píng)測(cè)基準(zhǔn)平臺(tái)設(shè)計(jì)的阿里安全高級(jí)算法專(zhuān)家越豐這樣比喻。

尤其要關(guān)注惡意攻擊者對(duì)數(shù)據(jù)或樣本進(jìn)行“投毒”，故意影響AI模型的攻擊行為。

UIUC（伊利諾伊大學(xué)）計(jì)算機(jī)科學(xué)系教授李博認(rèn)為，機(jī)器學(xué)習(xí)在推理和決策的快速發(fā)展已使其廣泛部署于自動(dòng)駕駛、智慧城市、智能醫(yī)療等應(yīng)用中，但傳統(tǒng)的機(jī)器學(xué)習(xí)系統(tǒng)通常假定訓(xùn)練和測(cè)試數(shù)據(jù)遵循相同或相似的分布，并未考慮到潛在攻擊者惡意修改兩種數(shù)據(jù)分布。

這相當(dāng)于在一個(gè)人成長(zhǎng)的過(guò)程中，故意對(duì)他進(jìn)行錯(cuò)誤的行為引導(dǎo)。惡意攻擊者可以在測(cè)試時(shí)設(shè)計(jì)小幅度擾動(dòng)，誤導(dǎo)機(jī)器學(xué)習(xí)模型的預(yù)測(cè)，或?qū)⒕脑O(shè)計(jì)的惡意實(shí)例注入訓(xùn)練數(shù)據(jù)中，通過(guò)攻擊訓(xùn)練引發(fā)AI系統(tǒng)產(chǎn)生錯(cuò)誤判斷。好比是從AI“基因”上就做了改變，讓AI在訓(xùn)練過(guò)程中按錯(cuò)誤的樣本進(jìn)行訓(xùn)練，最終變成被操控的“傀儡”，只是使用的人全然不知。

“深入研究潛在針對(duì)機(jī)器學(xué)習(xí)模型的攻擊算法，對(duì)提高機(jī)器學(xué)習(xí)安全性與可信賴(lài)性有重要意義。”李博指出。

之前的研究者在衡量模型的防御性能時(shí)，基本只在一種攻擊算法下進(jìn)行測(cè)試，不夠全面。攻擊算法是經(jīng)常變化的，需要考慮模型在多種攻擊算法下和更強(qiáng)的攻擊下的防御能力，這樣才能比較系統(tǒng)地評(píng)估AI模型的防御能力。

再加上業(yè)界此前提出的各種“攻擊算法排行榜”只包含一些零散的算法，測(cè)量攻擊算法的環(huán)境只包含單一的防御算法，用于評(píng)測(cè)的數(shù)據(jù)集也不多，并沒(méi)有合適的統(tǒng)計(jì)、度量標(biāo)準(zhǔn)。

阿里巴巴安全部技術(shù)總監(jiān)薛暉表示，參與推進(jìn)這項(xiàng)研究工作，除了幫助AI模型進(jìn)行安全性的科學(xué)評(píng)估，也是為了促進(jìn)AI行業(yè)進(jìn)一步打造“強(qiáng)壯”的AI。

構(gòu)建AI對(duì)抗攻防領(lǐng)域標(biāo)準(zhǔn)測(cè)試平臺(tái)

為解決上述問(wèn)題，近日，清華大學(xué)、阿里安全、RealAI三方聯(lián)合提出深度學(xué)習(xí)攻擊防御算法及評(píng)測(cè)的基準(zhǔn)平臺(tái)。

不同于之前只包含零散攻防模型的對(duì)抗攻防基準(zhǔn)，此次推出AI對(duì)抗安全基準(zhǔn)基本上包括了目前主流的人工智能對(duì)抗攻防模型，涵蓋了數(shù)十種典型的攻防算法。不同算法比測(cè)的過(guò)程中盡量采用了相同的實(shí)驗(yàn)設(shè)定和一致的度量標(biāo)準(zhǔn)，從而在最大限度上保證了比較的公平性。

除此之外，本次發(fā)布的AI安全排行榜也包括了剛剛結(jié)束的CVPR2021人工智能攻防競(jìng)賽中誕生的排名前5代表隊(duì)的攻擊算法。此次競(jìng)賽吸引到了全球2000多支代表隊(duì)提交的最新算法，進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可信性。

“通過(guò)對(duì)AI算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能，建立AI安全基準(zhǔn)具有重要學(xué)術(shù)意義，可以更加公平、全面地衡量不同算法的效果?！敝燔娊榻B道。

圖說(shuō)：AI算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名，實(shí)現(xiàn)不同算法性能的比較

“該基準(zhǔn)評(píng)測(cè)平臺(tái)利用典型的攻防算法和CVPR 2021比賽積累的多個(gè)性能優(yōu)越的算法進(jìn)行互相評(píng)估，代表當(dāng)前安全與穩(wěn)定性測(cè)量的國(guó)際標(biāo)準(zhǔn)?！盧ealAI副總裁唐家渝說(shuō)。

越豐認(rèn)為，該平臺(tái)的發(fā)布對(duì)工業(yè)界和學(xué)術(shù)界都能帶來(lái)正面的影響，比如工業(yè)界可以使用該平臺(tái)評(píng)估目前AI服務(wù)的安全性，發(fā)現(xiàn)模型的安全漏洞。同時(shí)，也可為學(xué)術(shù)界提供一個(gè)全面、客觀、公平、科學(xué)的行業(yè)標(biāo)準(zhǔn)，推動(dòng)整個(gè)學(xué)術(shù)界在AI對(duì)抗攻防領(lǐng)域的快速發(fā)展。

清華方面介紹，本次發(fā)布的AI安全基準(zhǔn)也是依托清華大學(xué)人工智能研究院研發(fā)的人工智能對(duì)抗安全算法平臺(tái)ARES（Adversarial Robustness Evaluation for Safety）建立。ARES作為古希臘神話中的戰(zhàn)神，雙手持矛和盾是攻防合一的化身，集中體現(xiàn)了AI安全算法攻防博弈的特點(diǎn)。該平臺(tái)對(duì)主流的攻防算法實(shí)現(xiàn)了模塊化的設(shè)計(jì)，支持?jǐn)?shù)十種主流攻防算法的實(shí)現(xiàn)，可以方便研究者和開(kāi)發(fā)人員進(jìn)行使用，有助于推動(dòng)AI對(duì)抗攻防領(lǐng)域的發(fā)展。

清華大學(xué)、阿里安全、Real AI三方強(qiáng)調(diào)，該基準(zhǔn)評(píng)測(cè)平臺(tái)不是專(zhuān)屬于某一家機(jī)構(gòu)或者公司搭建的平臺(tái)，需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面、權(quán)威的AI安全評(píng)估平臺(tái)。因此，三方將聯(lián)合不斷在排行榜中注入新的攻擊和防御算法，并且歡迎學(xué)術(shù)界和產(chǎn)業(yè)界的團(tuán)隊(duì)能提供新的攻防模型。

“數(shù)據(jù)對(duì)于AI發(fā)展非常重要，通過(guò)對(duì)于不同攻擊和防御算法統(tǒng)一全面的對(duì)比，相信這次的平臺(tái)可以為機(jī)器學(xué)習(xí)模型的安全與穩(wěn)定性驗(yàn)證提供更全面的支持，并為進(jìn)一步設(shè)計(jì)開(kāi)發(fā)新的安全、強(qiáng)壯的學(xué)習(xí)算法提供有力的技術(shù)背書(shū)。”李博說(shuō)道。

附1：基準(zhǔn)測(cè)試平臺(tái)網(wǎng)站http://ml.cs.tsinghua.edu.cn/adv-bench/

附2：ARES開(kāi)源算法庫(kù)https://github.com/thu-ml/ares