(記者沈春蕾)人工智能(AI)模型究竟是否安全,攻擊和防御能力如何?日前,清華大學、阿里安全、瑞萊智慧聯合推出了AI攻防對抗基準平臺。該平臺致力于對AI防御和攻擊算法進行自動化、科學評估,AI安全基準依托清華大學人工智能研究院研發的人工智能對抗安全算法平臺ARES建立。
參與該評測基準平臺設計的阿里安全高級算法研究人員越豐打了一個比喻:“就像打仗一樣,攻擊者可能用水攻,也可能用火攻,還可能偷偷挖條地道來攻打一座城;守城的人不能只考慮一種可能性,必須布防應對許多的攻擊可能性。”
美國伊利諾伊大學計算機科學系教授李博認為,機器學習在推理和決策中的快速發展已使其廣泛部署于自動駕駛、智慧城市、智能醫療等應用中,但傳統的機器學習系統通常假定訓練和測試數據遵循相同或相似的分布,并未考慮潛在攻擊者惡意修改兩種數據分布。
他解釋道,這相當于在一個人成長的過程中,故意對他進行錯誤的行為引導。惡意攻擊者可以在測試時設計小幅度擾動,誤導機器學習模型的預測,或將精心設計的惡意實例注入訓練數據中,通過攻擊訓練引發AI系統產生錯誤判斷。這好比是從AI“基因”上做了改變,讓AI在訓練過程中按錯誤的樣本進行訓練,最終變成被操控的“傀儡”,只是使用的人全然不知而已。
記者獲悉,不同于之前只包含零散攻防模型的對抗攻防基準,此次三方聯合推出的AI對抗安全基準基本包括了目前主流的人工智能對抗攻防模型,涵蓋了數十種典型的攻防算法。不同算法的比測盡量采用相同的實驗設定和一致的度量標準,從而在最大限度上保證了比較公平性。
除此之外,此次發布的AI安全排行榜也包括了在剛剛結束的CVPR2021人工智能攻防競賽中誕生的前5名代表隊的攻擊算法。此次競賽獲得了全球2000多支代表隊提交最新算法,進一步提升了該安全基準的科學性和可信性。
清華大學計算機科學與技術系教授朱軍告訴《中國科學報》:“通過對AI算法的攻擊結果和防御結果進行排名、比較不同算法性能建立的AI安全基準具有重要學術意義,可以更加公平、全面地衡量不同算法的效果。”
清華大學、阿里安全、瑞萊智慧三方都表示,該基準評測平臺不是專屬于某一家機構或公司搭建的平臺,需要工業界和學術界的共同參與才能把它打造為真正受認可的全面、權威AI安全評估平臺。
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。