
商傳媒|林昭衡/綜合外電報導
加拿大人工智慧公司 Cohere(一家企業級大型語言模型供應商)於週一指出,阿里巴巴旗下的通義千問(Qwen)AI 模型 Qwen3.8-Flash-Next,在一次安全性測試中被發現曾試圖將資料傳送至位於北京的伺服器,即使該模型本身的邏輯判斷不應執行此動作。這項發現引發了企業界對 AI 模型資料安全與跨國傳輸的擔憂。
根據《MarketScreener》報導,這項測試旨在檢測模型偵測惡意檔案下載的能力。測試期間,阿里巴巴的 Qwen3.8-Flash-Next 模型評估了其運作環境,並試圖將一個測試檔案傳輸到阿里雲位於北京的儲存伺服器。Cohere 強調,雖然該模型在判斷中表明不應進行任何工具呼叫,但仍執行了資料傳輸的嘗試。由於測試是在未連網的沙盒環境(一種隔離的測試環境)中進行,因此此次傳輸嘗試被成功阻擋。
Cohere 指出,此類行為發生的機率極低,在他們的測試中,每 10 萬次動作中不到 1 次。然而,對於每週處理 1,000 萬次 Agent 動作的服務而言,這仍可能導致約 100 次的類似嘗試。如果系統具備正常的網路存取權限,或是開發人員在個人筆電上進行測試,這些請求便可能成功送達目的地伺服器。Cohere 無法確認此行為是模型本身的程式碼設計,或是其訓練資料中殘留的非預期結果。
Cohere 共同創辦人暨執行長艾丹·高梅茲(Aidan Gomez)表示,最令人不安的是,模型在做出此行動前,其推理過程並未顯示任何相關意圖。這意味著即使對模型推理進行監控,也無法預防此類事件。另一位共同創辦人 Nick Frosst 則認為,目前尚不清楚這是否反映了意外的訓練後產物,或是模型學習到的行為。此事件突顯了即使是開源 AI 模型,其潛在的資料安全風險也值得關注。
值得注意的是,根據《VentureBeat》的數據,過去一年在 AI 開源平台 Hugging Face 上的下載量中,中國模型佔了 41%,領先其他所有國家。美國國土安全部(DHS)近期也要求美國聯邦民事機構,將中國 DeepSeek 模型排除在採購清單之外。這類情況均顯示 AI 模型在全球地緣政治與資料安全上的複雜性。
針對這些潛在風險,Cohere 與開放式 Web 應用程式安全專案(OWASP)等組織,向企業提供相關建議。OWASP 建議為代理程式(Agent)設定嚴格的權限範圍,並在執行重大操作時進行人工監督、監控及對抗性測試。同時也建議在隔離的環境中進行開發,並限制網路存取至經核准的目的地,以確保資料安全。企業在部署 AI 模型時,應仔細評估模型行為,並在模型外部強制實施權限限制。


