跳到主要內容
即時
民生

解析提示詞注入攻擊 資安專家揭AI三大致命特徵

廣告
解析提示詞注入攻擊 資安專家揭AI三大致命特徵
解析提示詞注入攻擊 資安專家揭AI三大致命特徵

商傳媒|林昭衡/綜合外電報導

企業加速導入生成式人工智慧(AI)工具與自主代理(Agent)的同時,新型態資安威脅正悄然成形。外媒《Quartz》報導,隨著駭客將目光轉向大型語言模型,「提示詞注入」(Prompt Injection)攻擊已成為企業部署 AI 系統時面臨的嚴峻挑戰。

提示詞注入攻擊的概念由英國軟體工程師西門·威利森(Simon Willison)於 2022 年 9 月提出。簡單來說,這種攻擊手法就像在網頁或電子郵件中埋入「隱形指令」,當 AI 讀取這些內容時,會誤將惡意文字當成使用者的合法指示來執行,進而遭駭客劫持控制權。

構成風險的「三大致命特徵」

西門·威利森指出,一個 AI 代理系統若同時具備三種能力,將面臨極高的攻擊風險:

  • 存取私有資料:包括員工收件匣、共享雲端硬碟、行事曆、程式碼或客戶機密紀錄。
  • 接觸不受信任的內容:AI 讀取任何外部人士可能撰寫的文字,例如外來郵件、公開網頁、廠商共用文件或客服表單。
  • 具備對外通訊能力:系統擁有向外傳遞資訊的管道,包括寄送電子郵件、呼叫外部網址、向第三方服務發布資料或產生存取連結。

西門·威利森強調,這三項條件檢驗的是「AI 代理具備哪些執行權限」,而非單看系統提示詞(Prompt)寫了什麼。一旦惡意指令成功注入,攻擊者便能直接借用該 AI 擁有的最高權限,擅自發送郵件、篡改客戶資料,甚至在伺服器上執行惡意程式碼,將內部機密向外洩漏。

從深偽視訊到AI劫持 新型社交工程升級

除了針對文字輸入的提示詞注入,AI 帶來的身分偽冒威脅早已在現實中造成巨額損失。《Quartz》報導提到,國際工程顧問企業奧雅納(Arup)在 2024 年 2 月即曾遭香港警務處通報,一名香港員工在即時視訊會議中,被深偽(Deepfake)技術生成的假同事與高層欺騙,蒙受高達 2,500 萬美元的損失。

過去傳統的商務電子郵件詐騙(BEC)多半仰賴文字偽造,如今即時換臉與語音合成軟體門檻大幅降低,攻擊者能即時在鏡頭前偽裝多名信任對象,打破了以往「視訊面對面即安全」的防線。駭客仍會透過公開會議演講或財報電話會議蒐集聲音與影像,進行前期情蒐。

專家對此提醒,無論是防範深偽視訊或提示詞注入攻擊,企業資安團隊都不應單純依賴 AI 本身的判斷或鏡頭身分確認。在部署具備自動執行權限的 AI 助理時,必須嚴格隔離未受信任的外部輸入與內部機密資料庫,針對高額資金轉帳或關鍵資料變更,也應堅持透過獨立的次要管道核實,以防自動化系統反成資安破口。

解析提示詞注入攻擊 資安專家揭AI三大致命特徵