
商傳媒|責任編輯/綜合外電報導
金融科技公司 Stripe 近期計劃收購 OpenRouter, Inc.,使業界目光再次聚焦於動態模型路由(Dynamic model routing) 這項新興技術。隨著人工智慧(AI)廣泛滲透企業運作,資訊科技組織必須理解動態模型路由的運作方式,因為它將對 AI 應用的成本、品質與效能產生重要影響。
企業已迅速意識到,單一 AI 模型無法滿足所有任務需求。不同的模型在效能、延遲、成本、隱私保護及特定領域的準確性方面各有優勢。動態模型路由提供一個智慧決策層,能根據當前需求與條件,將任務導向最適合的模型或推論端點。
這種路由機制,與數年前軟體定義廣域網路(SD-WAN) 所經歷的轉變有異曲同工之妙。SD-WAN 是一種透過軟體集中控制與管理廣域網路流量的技術,讓網路部署與調整更靈活。過去,隨著應用程式從資料中心移往多重雲端和軟體即服務(SaaS)環境,網路的角色不再僅限於建立連線,更要提供業務所需的體驗。
當流量模式變得更加分散時,SD-WAN 也演進為能感知應用程式、由策略驅動且具備高度適應性。現代廣域網路架構會利用應用程式類型、路徑效能、安全策略及業務優先順序等訊號,在正確的路徑上,依據正確的策略,提供適切的使用體驗。動態模型路由在不同的技術堆疊層面帶來類似的決策挑戰:問題不再是 AI 請求能否獲得回應,而是哪一個模型、端點或環境,能根據任務、效能要求、成本、隱私限制與當前狀況,提供最佳回應。
正如廣域網路路由因納入更豐富的訊號而更具價值,模型路由也需要類似的基礎。最佳模型無法僅由單一指標決定,例如最便宜的模型可能不符合準確性要求,最快的模型也可能無法滿足隱私需求。缺乏明確的策略、可視性及控制措施,動態決策反而可能帶來不可預測性。模型路由雖然不應完全模仿廣域網路路由,但仍需在背景感知、策略、可視性及控制方面奠定基礎。
SD-WAN 架構持續收集路徑效能、應用程式識別與安全狀態的即時遙測資料,然後套用集中式策略引擎來引導流量。應用程式感知導向會即時評估延遲和封包遺失等狀況,自動將流量轉移至更好的路徑。可觀察性平台則為 IT 團隊提供橫跨分支機構、雲端與 SaaS 的整合視圖,以便他們持續驗證路由決策。
傳統應用程式遵循相對可預測的路徑,但 AI 改變了這一切。單一 AI 互動可能啟動跨越分支機構、多重雲端、SaaS 應用程式、資料儲存與多個 AI 模型的複雜工作流程。AI 代理會動態呼叫服務、檢索資料、觸發行動並產生新請求。某些資料可能需要保留在特定環境中,部分請求需要低延遲,其他則優先考慮成本效益,或是需要更強的安全控制。在 AI 時代,分公司和邊緣節點尤其需要智慧動態路由,以確保 AI 服務能安全可靠地運作。隨著數位環境日益分散,路由變得更加適應性強、策略驅動並基於即時狀況,AI 基礎設施也正進入類似的階段。動態、情境感知路由的重要性,正日益提升。

