跳到主要內容
即時
民生

Google提AI Agent容量規劃 節點成本最高省四成

廣告
Google提AI Agent容量規劃 節點成本最高省四成
Google提AI Agent容量規劃 節點成本最高省四成
圖/示意圖

商傳媒|責任編輯/綜合外電報導

部署能自主規劃任務並持續互動的 AI Agent(人工智慧代理)時,雲端運算架構常面臨會話長時間閒置卻霸佔資源的難題。Google 近期針對 Google Kubernetes Engine(GKE,用於執行容器化應用程式的雲端託管平台)發布容量規劃指南,指出規劃節點池(Node Pool)時,應著眼於「實際執行任務或尚未暫停的沙盒數量」,而非維持連線的總會話數。

根據外媒引述Google GKE 容量指南內容,持續性 Agent 會話在兩次 Prompt(提示詞)互動之間,對話狀態雖維持開啟,但負責執行任務的沙盒環境大部分時間處於閒置。然而,Kubernetes 的 Worker 屬於實體運算容量,只要環境未釋放就會持續佔用資源。過去若單純將 Pod 縮減至零以保留儲存磁碟,記憶體與處理程序仍會遺失,導致下一次輸入時必須重新啟動 Process,拉長延遲時間。

指南提出的架構核心在於引入 SuspendActor 機制。當偵測到環境閒置時,系統會將記憶體快照存入物件儲存庫並釋放 Worker 節點資源。Google 的試算模型顯示,在 100 個 Agent、每小時發送 2 次 Prompt 且設定 2 分鐘閒置逾時的情境下,Agent 僅有 29% 的時間真正佔用運算資源;配合 15% 的安全容量餘裕,這套動態釋放架構能降低近 40% 的節點硬體成本。但若互動頻率提升至每小時 4 次 Prompt,由於閒置時間縮短,節省幅度則降至 4%。

此外,開源框架 Agent Substrate v1.0 也已預設啟用「請求停泊」(Request Parking)機制,最高支援 1,024 個並行停泊請求。當處於暫停狀態的環境恢復執行時若遭遇瞬態錯誤,系統會在 5 秒的重試預算內自動重新導流。這項設計目前僅支援 CPU 與記憶體容量調配,尚不支援將 GPU 裝置直接指派給個別 Actor。

Google提AI Agent容量規劃 節點成本最高省四成