AI 資訊安全

AI 資安(AI Security)的定義可以分為兩種,首先是 AI for Cybersecurity,另一則是指 Security of AI。

文/楊迺仁


AI 資訊安全
鴻海研究院執行長兼資通安全研究所所長李維斌

AI 開始無所不在,逐步開始影響人們的生活,與 AI 有關的資安議題已經不再只是IT部門需要關心的議題。鴻海研究院執行長兼資通安全研究所所長李維斌指出,針對 AI 現在的發展有性本善或惡兩種不同的聲音,但不管怎麼看,AI 對人類生活形成深入影響,已經是明確的共識了。

李維斌指出,其實資安在早期發展的過程中,就已遇到不少的困難,如果能在 AI 正要起步的時候,吸取以前的教訓,就能設法避免資安方面的問題,不需要再亡羊補牢。所以人們會想到利用 AI 來幫助我們解決資安的議題,但從另一個角度來看,AI 自己本身可能成為駭客的目標,也因此會衍生 Hacking AI 的議題。

李維斌指出,根據 NSTC(美國國家科學科技理事會)的資料,AI 資安(AI Security)的定義可以分為兩種,首先是 AI for Cybersecurity,由於 AI 的速度很快,可以全自動化或半自動化的去解決資安的問題,做好資安防禦,還可以針對資安做預測分析,讓使用者可以有足夠的反應時間,以加強使用者對系統的信任。另一方面,由於現在的許多決策仍然需要人類介入,才有辦法有效的執行AI的建議,所以人跟AI的協作介面,也是 AI 資安的重要課題。

另一種 AI 資安的定義是指 Security of AI,包括 AI 系統的規格怎麼驗證,怎麼去確保 AI 的功能、安全、強健性和公平性。AI 所作決策是不是能夠被信任?如果遇到對抗式攻擊,就會需要新技術,但整體情境跟所發生的邏輯跟應該不會有太大的變化,還有AI賦能系統能不能被信任,都是 Security of AI 需要討論的重點。

從 CIA 角度談 AI 資安

李維斌回顧網際網路的發展歷程指出,資安主要是從 C、I、A 三個角度來談:

  • C(Confidentiality;機密性)、
  • I(Integrity;完整性)、
  • A(Availability:可用性),

簡單地說,就是看資料會不會被偷走,會不會被破壞,系統提供的應用,是不是在需要服務時不會中斷。

在這些基本要求之下,資安投資就會變成非常現實的問題。因為維護 CIA 必須付出一定的代價,於是資安部門開始購買防火牆、IPS(入侵預防系統)、IDS(入侵偵測)等資安設備,但對企業主而言,這些投入資安的成本越來越高,對業務的貢獻其時沒有那麼直接的幫助,企業主也就沒有辦法直接體會資安的重要,所以在開始進入網路世界時,資安常常被視為是成本,不是一個投資。

直到最近,才開始有人發現,資安其實是很重要的問題,因為當企業在資安部署進步的過程中,駭客也不斷的進步,有如一場打不完的軍備競賽,讓大家開始從避免風險的角度來看待資安。

[ 推薦閱讀:成功的AI團隊必備之組成元素 ]

如證期會日前已經公佈,上市櫃公司開始要設置資安長(CISO)。所以在引進 CISO 之後,CISO 的角色跟 CIO 的角色就會開始出現微妙的變化,由於球員不能兼裁判,所以 CIO 跟 CISO 要怎麼合作,CISO 要如何維持他的工作職能,才能讓整個公司能夠進步,不會因為資安問題而停滯,就是很大的思維轉變。

但李維斌坦言,我們最需要面對的問題,就是大多數人看待資安的態度,往往是「講起來重要,做起來次要,忙起來不要。」沒有人會說資安不重要,但是真正要做資安的時候,如果跟訂單需求發生衝突,企業通常會選擇對生產及營利有直接貢獻的投資,購買資安設備就會變成次要的選擇了。

事實上,許多企業在訂單滿載,忙的要死的時候,根本就不會去想到資安,這也是目前資安在網路環境所面臨到的困境。

AI 資安不能事後亡羊補牢

李維斌覺得,現在的 AI 跟 30 年前開始談網際網路時,有很多相似之處。如兩者都是很開放的環境,有太多太多的事物可以去探索,再加上一個不變的條件,就是任何的事情只要有價值,就有機會被攻擊。

但李維斌認為,IT 系統在 30 年前開始發展時,因為是為了生產、財會、物流或是倉儲管理等,影響層面有限,導致資安在早期沒有受到重視,直到現在後知後覺,才開始亡羊補牢。

反觀現在可以看到的 AI 應用,基本上都在解決人類實際生活的問題,跟人類太接近了,如果還像當年的 IT 及網際網路一樣,等發生資安問題才去亡羊補牢,可能就會有非常嚴重的問題,所以亡羊補牢絕對是很難被接受的。

[ 2022年度CIO大調查報告下載 ]

如同美國大文豪馬克吐溫的名言:「歷史不會重演,但就像文章的押韻一樣,類似的事件還是會再度發生(History Doesn’t Repeat Itself, but It Often Rhymes.)」李維斌認為,企業應該要回顧過去的資安重點,然後放到 AI 的環境中,重新思考AI帶來的新威脅跟脆弱點。如 AI 裡面往往會有很多跟使用者隱私有關的資料或參數,有沒有可能被匯出來?AI 有沒有可能做出錯誤的決定?AI 有沒有可能在應該發揮作用的時候,卻不工作了?

李維斌指出,不管是 CISO 或 CIO,即使針對資安的思維已經開始轉變了,但是面對 AI 進來之後,思維可能又要再次轉變,否則在面對新的模式時,可能會沒有辦法應付,因為用舊的資料科學方法及學到的舊知識,來應付未來的新事物,很可能沒辦法發揮功用,如果還是用以前所謂「抓 bug」的概念去看 AI 資安,可能就會失焦。

至於未來的 AI 資安還會被看成是成本中心嗎?會不會又掉進「講起來重要,做起來次要,忙起來不要。」的窠臼?

李維斌認為,因為 AI 跟人們的生活非常接近,原則上可能提供的都是與個人有關的解決方案,所以 AI 本身往往就有營利價值,或許可以把 AI 產生的利潤挪一部分出來,把資安做好,會是不同於傳統IT資安的想法,但 AI 帶來的行為跟脆弱點必須現在就要正視,亡羊補牢會造成很大的成本。

AI 資安的類型

由於 AI 的發展速度實在太快,當大家都拼命往前衝的時候,李維斌認為,原來在資安領域的專家學者及第一線工作人員,應該要開始關注 AI 資安。如 AI 其實會產生幻覺,在網路上很容易找到類似的案例,人類一看就知道是個香蕉的圖片,AI 剛開始識別時,也很清楚的告知這是個香蕉,但一旦貼上特定的貼圖(Sticker),AI 就會識別錯誤。至於 AI 為什麼會出現這種錯誤,李維斌表示,因為 AI 基本上現在還是一個黑盒子,沒有人知道到底為什麼會這樣,但 AI 就是判斷錯誤了。

AI 資訊安全

另一個案例,則是圖片的左右邊各有一個人,人類一看就知道是兩個人,但只要在右邊的那個人身上掛上一張圖,這張圖就會讓 AI 產生幻覺,那裡並沒有 AI 要找的物件。在這種情況下,如果是一台車的攝影機要辨認物件時,該認出人的時候,卻認不出來,甚至認為那邊沒有物件時,會是一件很可怕的事情。

用來欺騙使用者的 Deepfake,現在已經出現許多案例,如有人冒充董事長或總經理的聲音,然後把錢騙走,或是偽造某個人發表某些言論,讓大家以為這是本人的言論,都是實際上已經發生的事情。

但李維斌認為,Deepfake 其實凸顯出 AI 是個兩面刃的工具,因為 Deepfake 既然可以做到以假亂真,也可以用來修復名畫或是幫助聾啞人獲得聲音。所以從科技的角度來看,AI 是善還是惡,其實很難講,但確實需要一套管理機制來規範 AI,避免 AI 變惡。

[ 加入 CIO Taiwan 官方 LINE 與 Facebook ,與全球CIO同步獲取精華見解 ]

李維斌指出,現在還要特別注意「欺騙 AI」的現象,因為資安戰場上的攻擊者跟防禦者,本來就是一個貓捉老鼠的比速度遊戲,而 AI 在加入資安戰場後,攻防的速度會變得非常的快,從資料的蒐集或儲存,經過訓練產生各種模式,再整合到原來的 IT 系統,進而產生決定進行動作,此時只要有人在輸入資料時,故意塞入一點點錯誤的內容,讓 AI 產生輸出錯誤的模型,而人類觀察者卻沒有辦法發現其中的差異,就會產生很大的問題。

如有一些統計歸因謬誤,認為黑人的犯罪率比較高或是女性的薪水比較低,如果 AI 納入這些統計歸因謬誤,就可能會在訓練模式時,產生特定的問題,一旦與 IT 系統結合,就可能會產生錯誤的決定及行動。所以 AI 讓資安變得比以前更複雜,如果沒有一個很好有效的架構,可能就沒有辦法應付更多的資安問題。

國際發展 AI 資安的現況

目前國際有關 AI 資安的發展現況,李維斌指出,歐盟在 2021 年推出的 Regulatory Framework Proposal on AI,對 AI 資安已經有相當進步的看法;澳洲在 2021 年 6 月也發表 Australia’s AI Action Plan;德國則是在 2020 年 11 月推出 German Standardization Roadmap on AI,內容值得借鑒,不僅可能影響台灣發展 AI 資安,甚至可能影響到整個世界。

美國則是在 2018 年就有「AI Next」專案,一直到 2021 年 1 月,已經投入 20 億美元,但目前可能還需要一些時間發展。至於中國 AI 資安的發展,在世界上的排名非常前面,畢竟中國的資料非常多。

如北京清華大學的人工智慧研究院,就發展出一個人工智能算法的安全對抗攻防基準平台。李維斌認為,臺灣應該有機會發展類似的平臺,因為臺灣畢竟是一個比較令人信任的環境,在臺灣這樣的環境做出來的東西,本身的可靠度跟可信度會高很多。

北京清華大學育成的瑞來智慧(RealAI),在 2021 年三月發佈參與人工智能安全國家級平台的任務,這項任務屬於中國科技創新 2030 重大項目-安全大腦國家新一代人工智能開放創新平台,這些平台都相值得觀察。

創新工廠南京國際人工智能研究院,則是有一個聯邦學習(Federated Learning)的安全對抗攻防與與隱私保護。浙江大學跟螞蟻金服在 2020 年 12 月也發表了人工智能安全白皮書。

AI 資訊安全

李維斌表示,台灣目前也已經針對 AI 資安規劃出一套 CPR 安全模型。C 是 Confidentiality(保密性),涉及模型參數、特徵(Feature)等;P 是 Privacy(隱私性),如從參數中被反推出來的人臉特徵;R 是 Robustness(強健性),其中包括完整性(Integrity)及可用性(Available)。三者加起來稱為 CPR,其實也代表 AI 需要 CPR,才能從資安事件中安全的活下來。

AI 安全模型可以分成三個層級,包括系統、模型及數據。系統的部分是由硬體設備及系統軟體所組成。模型的部分,主要是關注強健性不足的部分,可能面臨到很多攻擊,這些攻擊可能有屬於惡意的對抗式或是木馬攻擊,但也有可能是物理世界的變化,例如車輛在下雨天行駛,會碰到光線不足之類的問題。至於數據,主要就是數據洩露及隱私安全的部分。

電動車可能出現的AI資安問題

李維斌指出,鴻海研究院針對電動車環境做了許多深入研究,發現針對 AI 的攻擊如果發生在電動車或自駕 ADAS(先進駕駛系統),如在歐洲曾經做過實驗,把車子的周圍用鹽圈起來,做成像是車道線的狀況,結果車子就會被困在裡面出不來,因為 ADAS 認為周圍是交通線,於是就只能沿著線一直不斷轉圈圈。

還有一種對抗性攻擊案例的可能性,就是刻意設計一個埋進後門木馬的訓練樣本,如在車子上面放了一些特殊的特徵值,然後告訴 AI 這是一隻鳥。在訓練的時候,人類也許感覺不到錯誤,但當一個個 Label 出現時,AI 就會認為這是一隻鳥,不是一輛車,一旦 AI 產生誤判,就會做出錯誤的決定。

另一種對抗性攻擊案例的可能性,是在聲音裡面加入一些擾動,讓 AI 在辨識時會辨識出完全不同的意義,但人類聽起來卻是一樣的聲音。如果將前述狀況放到 AI 裡面,如現在發展的智慧座艙,只要智慧座艙裡面的收音機傳出來的正常音檔裡面,其實隱含了某些擾動的聲音,人類聽起來雖然沒有問題,但是車子的語音辨識可能就會聽錯而下了不同的命令,這是一個令人擔憂的問題,其實是值得我們深思的。

另一個在台灣曾經發生的案例,是因為訓練樣本數太少或者樣本不夠全面,導致 AI 將白色貨車辨識成白光,由於原始設定是看到不認識的就是繼續執行,於是就產生出乎意料之外的結果。

AI 資訊安全

AI 資訊安全

AI 決策的可解釋性是取得信任的關鍵

李維斌指出,這些屬於 AI 資安的議題,都是必須要面對解決。但其實有好多事情都還是不是那麼清楚,如自主反應系統的責任是人的問題?車的問題還是 AI 的問題?責任該如何分配?要怎麼確保系統行為只會按照原來設計的狀況去做服務,而不會超出我們的預期?

更困難的是,什麼叫符合預期?當 AI 越來越擬人化的時候,這樣的 AI 系統會帶來什麼樣的風險?其實這一切都還混沌未明,我們還有很多事要做,值得大家非常深思。

李維斌指出,大家都在討論 AI 到底能做什麼,然後怎麼做,很多令人興奮的解決方案一一被提出來,可以解決人類很多的問題。但我們需要關注的是,要怎麼去解釋 AI 怎麼做決定。因為黑盒子會很難讓人產生信任感,也很難解釋 AI 為什麼能夠符合人們的需求,也就是法遵的問題,要怎麼去解釋。但只要我們能夠知道 AI 是怎麼做判斷的時候,就有可能利用這些知識,去判斷駭客的的手法,需要 AI 專業人士好好研究。

李維斌強調,假設大家都接受 AI 資安是一個很重要的議題,在開始建立 AI 安全模型之前,第一件要做的事情是 AI 的 CPR,也就是先去偵測,雖然無法做到百分之百,但至少可以知道可能會有什麼問題,就可以做一些事後的準備工作。

AI 資安需要治理與法規

放眼未來,李維斌認為,AI 絕對不是那麼簡單的只談技術,而是具有更高的複雜性,畢竟 AI 像是一個通用技術,影響人們的生活實在太深了。所以除了原本的保密性、隱私性及強健性,如何降低風險,還要關注可解釋性,瞭解 AI 到底是怎麼做決策,AI 的意圖到底是什麼?還有 AI 可能造成的偏見及道德問題,要如何避免。最後是AI治理與法規,因為還是有人擔心 AI 會做出一些人們無法預期的事情,所以如何讓 AI 能夠在正確的軌道上面發展,可能也是很重要的事情。


(本文授權非營利轉載,請註明出處:CIO Taiwan)

AI 資訊安全