圖片來源：由THINK A 在Shutterstock 上發布
如果您正在閱讀本文，想必您已經嘗試過AI 應用，或在目前從事的工作中試用過AI 應用。從GitHub Copilot 到Microsoft Office Copilot 再到ChatGPT 等工具，AI 發展日新月異，已經從「我們總有一天會實現」的憧憬階段邁進到「您有AI 策略嗎？」的應用階段。
各種規模的企業都正快速採用AI 技術，以增強最終用戶體驗、降低維運成本並提升競爭優勢。圍繞著AI 流程和工作流程建構的全新應用類別不斷湧現。與大多數新應用程式和服務一樣，OpenAI 或不同雲端供應商提供的AI 服務也是透過API 交付和使用。
AI Gateway 是一類專門的系統，用於管理、保護並觀測激增的AI 流量和應用需求，正迅速成為一個重要的產品類別。那麼，什麼是AI Gateway呢？您現在就需要它嗎？
什麼是AI Gateway：快速定義
AI Gateway 是一種專用設備或解決方案，旨在管理和簡化應用和AI 模型之間的交互，尤其是在大型語言模型(LLM)及其他AI 服務領域。它不僅充當AI 流量的集中控制點，為應用存取各種AI 後端和模型提供統一接口，而且還便於運維和安全團隊進行安全防護、治理、可觀測性和成本等方面的管理。
大多數AI Gateway 都具有以下功能：
安全防護與合規性
AI 安全防護至關重要，不可或缺。 AI 應用可能會被用於處理客戶資料或其他形式的個人識別訊息，而且往往涉及重要的公司專有資料。越來越多的第三方AI bot 企圖在未經授權的情況下使用公開暴露的資料進行訓練。
閘道同時實施身分驗證和零信任防護，有助於確保AI 服務和API 存取的安全。
面對各種風險，AI Gateway 逐漸成為一種新型防火牆，可協助AI 服務的消費者和提供者管理安全憑證。
閘道同時實施身分驗證和零信任防護，有助於確保AI 服務和API 存取的安全。它還提供了一個授權層，可確保僅獲批准使用者才能存取特定服務，或根據定義的策略批准使用服務。這些策略會根據地理位置、業務部門、角色、基礎設施提供者或基礎設施類型來限制使用。
就特定AI 提示詞管理而言，AI Gateway 能夠實現提示字安全防護、驗證和範本生成。它透過將一系列功能整合到單一控制平面，簡化了提示詞管理，而無需對本地開發環境或不同的模型系統或AI 應用進行更新。這對於負責任和合規地使用AI 至關重要，因為它可以防止開發人員圍繞受限主題建立AI 整合或在提示詞中設定錯誤的上下文。
此外，AI Gateway 也可用作AI 資料的防火牆或數位防丟失系統。全功能AI Gateway 能夠防止模型中毒、模式被竊及其他針對AI 系統的新興網路安全威脅。
負載平衡與集中式消費管理
如果您還沒有AI 負載平衡器，那您可能需要一個。 AI 應用可能高度依賴數據和計算。如果不對AI 應用流進行管理，那麼在等待管道中資源不足的上游部分完成作業時，成本高昂的GPU 會處於閒置狀態。對於面向消費者的產品來說，AI 應用的延遲是一大致命問題—— 用戶等待聊天機器人回應的時間越長，他們就越有可能退出聊天。
接下來是消費問題。如今，大多數企業都在使用多種AI 模式即服務產品。這些產品大多透過其雲端提供者或其他第三方服務提供。 AI Gateway 提供了一個集中式平台，用於管理企業內不同團隊和應用的AI 消費情況。這種集中式管理有助於維持對AI 流量的控制並確保負責任且合規的AI 使用。
AI Gateway 提供了一個集中式平台，用於管理不同團隊和應用的AI 消費情況。
透過提供統一的控制平面和負載平衡器，AI Gateway 支援企業輕鬆管理所有AI 消費和可觀測性資訊。在AI 領域，消費是以token 而非交易或資料量進行度量，因此有所不同。
不過，token 的簡單度量並不精確：某些類型的查詢需要更多token，而同一提示詞所需的token 數量也可能會隨時間而變化。換言之，試想一下，如果您的標準應用程式對相同請求傳回不同數量的資料？這就是AI 的特殊之處— 消費可能更難預測和控制。
簡化開發人員工作流程
如今，可供開發人員和平台維運團隊選擇的AI 整合和API 解決方案多種多樣。來自雲端供應商的API 可簡化消費體驗，而AI Gateway 則有助於輕鬆管理AI API 並提供單一的整合管理點。
AI Gateway 支援多種AI 服務，並提供單一API 接口，以供開發人員存取所需的AI 模型。端點可能允許開發人員存取OpenAI 提供的各種模型，以及Hugging Face 上數千種精調的開源模型和工具。 AI Gateway 可自動加入需要存取AI 服務的團隊。
AI 蔓延是個泥潭，您肯定不希望開發人員陷入其中。
這種統一的API 端點簡化了開發工作流程，並加速了整合流程，讓開發人員專注於建立AI 應用，而非管理複雜整合。
正如開發人員在開發軟體時希望有多種框架和開源模組可供選擇一樣，AI 開發人員也越來越希望有多種可用模型和AI 服務，以便更快速、更適當地客製化應用。 AI 蔓延是個泥潭，您肯定不希望開發人員陷入其中。
成本優化、監控及可觀測性
AI Gateway 讓企業從AI 使用中學習如何管理和降低成本。網關能夠提供有關每個模型已用配額情況的洞察，從而實現高效的資源配置和成本控制。此透明度支援使用者有效管理AI 資源使用，可確保最佳利用率，避免浪費（例如為閒置GPU 付費）。
更進階的AI Gateway 可透過對每個作業使用上下文，將適當類型的AI 計算作業導向最經濟的基礎設施。例如，需要大規模擴展和Throughput的最關鍵作業可能會被定向到容量最高的GPU 整合，而更簡單的推理作業則可能被定向到更靠近最終用戶但效能較低的GPU。
優化的另一面是可觀測性和監控。 AI Gateway 能夠集中管理AI 可觀測性，甚至可以將資料傳送到第三方日誌/指標收集器。這有助於更輕鬆地捕獲所產生的全部AI 流量，可進一步確保資料合規性，並支援快速識別使用中的任何異常情況。這些異常有些與安全防護領域的常見異常重合，但大部分是AI 流量的特有異常，因為AI 的消費模式不同，所以表示出現問題的異常情況也不同。
例如，在生產環境中應用上的AI 推理可能看起來與正常應用流量沒什麼不同，但AI 模型訓練和微調可能就看起來高度波動，並產生大量流量和相關計算作業，需要密切監控，以確保GPU 不會因在低效的數據管道中等待而被浪費。
治理AI 亂象
更糟的是，許多單點產品只專注於一兩個問題，而不是像更全面的AI Gateway 一樣力求解決一系列問題。還有一些廠商只是為API 閘道配置了一些AI 特定功能，就稱為AI Gateway 。
現有一些開源專案提供了上述某些功能。例如，許多機器學習維運平台和服務為開發團隊使用AI 建立了統一的API 端點。
為了獲得所有功能而將許多不同的產品拼湊在一起，最終將造成無法解決的問題，而且成本會更高。正如API 管理集中在API 閘道上一樣，AI 管理也將由全面的AI Gateway 接手。
優秀的AI Gateway 將協助解決AI「亂象」問題，為企業採用AI 鋪路，協助更規範、更安全、更經濟地部署這項強大的新技術。
文章來源：The New Stack