優化 AI 工廠資料引入的流量管理

本文探討 AI 工廠在資料引入階段的流量管理挑戰,特別是如何高效處理多媒體豐富且規模巨大的資料流量。文章指出,像 F5 的 BIG-IP 解決方案可透過優化流量管理提升效能與資料處理效率,確保 AI 模型的訓練及推論需求能被滿足。此外,文章還強調本地處理資料的重要性,以降低雲端成本並加強資料安全性。

在 2024 年夏季,輝達(NVIDIA)的創辦人兼執行長黃仁勳表示:「資料中心就像是一座AI工廠,正在生成、創造、生產有價值的新商品」讓我們以實體商品的方式來看待 AI。這樣的比喻會讓人聯想到福特的「River Rouge 綜合體」,這是一個垂直整合與工業化的典範。鐵礦與橡膠從一端進入,福特汽車從另一端出來。該綜合體擁有自己的碼頭、內部 100 英里的鐵路網、專屬的發電廠,甚至還整合了鋼鐵、玻璃和造紙廠,每天 24 小時營運,一年生產近 150 萬輛汽車。

同樣,現今與未來的 AI 工廠以支援高容量、高性能的訓練與推論模型為目標,消耗著大量的原始材料,也就是資料——結構化、非結構化、影片、文本等等。這些工廠將這些資料轉化為可應用於多種場景的符號化輸出。正如「River Rouge 綜合體」需要對生產每個階段進行精確控制,AI 的工作負載也需要強大的流量管理系統來處理資料引入、處理與傳遞——簡而言之:物流。合適的流量管理方案賦予 AI 工廠將原始材料轉化為可用產品的能力。透過適當的物流工具,團隊能確保資料流動順暢,實現高吞吐量、低延遲及安全性,類似於讓每個生產線的階段都能平穩運作。

每個 AI 工廠的必需條件

《哈佛商業評論》在 2020 年闡述了阿里巴巴關聯企業螞蟻集團如何利用 AI 工廠工廠生成可操作的智能,以「管理各種業務,為美國最大銀行的10 倍以上的客戶提供服務,而其數量還不到美國銀行的十分之一。」螞蟻集團對 AI 工廠建設的構想同樣具有啟發性:

「每個工廠都需要四個核心元件。第一是資料管道,也就是一種半自動化的流程,能以系統化、可持續且具擴展性的方式收集、清理、整合並保護資料。第二是演算法,用於預測業務的未來狀態或行動。第三是實驗平台,藉由此平台測試新演算法的假設,確保其建議能達到預期效果。第四是基礎設施,將這一過程嵌入軟體,並連結內部與外部使用者的系統。」

在我們 AI 工廠系列的早期討論中,F5 將 AI 工廠定義為一項大規模的存儲、網路與運算投資,旨在滿足高容量、高性能的訓練與推論需求。因此,螞蟻集團清單中的第一和第四項元件特別引人注意:建立能安全且高效管理 AI 模型所需資料的系統,直接突顯了 AI 工廠應如何圍繞自身發展基礎設施,以創造價值這一核心問題。

AI 資料攝取的流量管理是一個不斷的過程,透過該流程管理數十億參數、媒體豐富的 AI 資料流量並將其傳輸到 AI 工廠以用於機器學習和培訓目的。這就是高效能流量管理解決方案發揮作用的地方,將流量引入 AI 工廠。如果沒有這樣的解決方案,團隊可能很快就會發現自己需要重複使用連線來保持流量流動或達到儲存基礎設施的限制,這兩者都不是滿足 AI 工廠要求運行的高容量、低延遲資料傳輸要求的理想選擇。

F5 Ai Factory Data Ingest Diagram
管理 AI 工廠之間傳輸的數據流量。

AI 工廠需要高效能的流量管理方案以支援數十億,甚至即將達到數兆參數的 AI 模型資料引入。

確保 AI 工廠持續運作

然而,這個領域的發展速度遠未停滯不前。日益複雜的 AI 模型需要更大量的資料輸入,且頻率不斷提高。這引發了『資料重力』的挑戰,因為資料在雲端或本地部署的位置對 AI 模型的運作影響重大。要應對未來 AI 資料需求所帶來的重力挑戰,AI 工廠需要具備可擴展的基礎設施,才能滿足更快獲取資料洞見的要求。AI 工廠的基礎設施最終可能決定其支援的 AI 模型能否成功並實現業務價值。

此外,對豐富媒體需求的快速增長可能會大幅增加網路流量及相關成本,特別是在透過某些雲端服務供應商處理時。因此,企業面臨著雙重挑戰:既要維持 AI 學習模型所需的高速資料吞吐量,又需管理雲端資料傳輸與處理的複雜性與成本。

審慎評估最初文章中提到的四種 AI 工廠部署類型(AI-SaaS、雲端託管、自託管或邊緣託管),可以幫助企業管理這些挑戰,藉由減少或消除對雲端頻寬的依賴來簡化問題。在本地處理資料不僅能將雲端頻寬問題排除,還能完全掌控機密訓練dataset。這進一步簡化了合規要求(如 GDPR、HIPAA 或 PCI DSS)的滿足,因為組織可以掌控資料的儲存、存取和處理方式,同時藉由將機密資訊保留在內部安全網路中來最大限度地減少資料外洩風險。

更好的基礎設施為 AI 工廠帶來更高價值

AI 資料流量與應用流量在與 F5 的 BIG-IP 本地流量管理器(LTM)及次世代硬體解決方案交互時,運作方式非常相似。這意味著,與優化傳統應用流量類似,團隊可以使用像 FastL4 配置檔這樣的工具,優化 AI 資料流量,提升虛擬伺服器的效能與吞吐量。透過 TCP 優化,還能微調系統處理 TCP 連線的方式,這對網路效能至關重要。此外,他們甚至可以部署 BIG-IP 的 OneConnect,藉由高效管理 BIG-IP 系統與後端池成員之間建立的連線,來進一步提高網路吞吐量。

正在尋找 AI 資料流量分配解決方案的企業不需要費力尋找。F5 已經在應用流量管理的優化領域深耕了超過二十年,使得 BIG-IP LTM 成為處理 AI 資料引入流量的理想選擇。

AI 應用是最現代化的應用。若缺乏健全且多功能的流量管理解決方案,寶貴的資料可能會滯留於來源端,無法充分發揮 AI 模型的價值。正如 The Rouge 依賴碼頭與鐵路,AI 工廠則有 F5 解決方案如 BIG-IP 為其提供支援。

F5 對 AI 的關注不僅止於此——探索F5 如何在任何地方保護和交付 AI 應用程式

文章來源:F5