KeyFrame內部研究專用

How Web Data Infrastructure Powers the Next Generation of AI — Patricija Žemaitytė, Oxylabs

AI Engineer19 min英文
觀看原始影片

三句話摘要

AI 時代真正的基礎設施瓶頸不是模型,而是能持續適應變化、快速交付實時數據的基礎設施層。 下一代 AI 不由更優秀的模型驅動,而由能將模型連接到現實、快速交付數據、持續適應變化的基礎設施驅動。 創新並非遵循預設方向,而是在高壓期限下的持續適應。第一個視頻 API 的故事展示了如何從簡單功能需求(下載視頻)演進為完整產品線(字幕、轉錄、元數據、搜尋),客戶的真實需求總是比初始需求更複雜,關鍵是快速理解並調整方向。

重點整理

  1. 創新並非遵循預設方向,而是在高壓期限下的持續適應。第一個視頻 API 的故事展示了如何從簡單功能需求(下載視頻)演進為完整產品線(字幕、轉錄、元數據、搜尋),客戶的真實需求總是比初始需求更複雜,關鍵是快速理解並調整方向。

  2. 在 AI 時代,速度本身成為產品特性而非單純性能指標。4 秒延遲只能構建緩慢的管道,但 550 毫秒延遲能直接集成到 AI 工作流中,成為實際可用的能力。這個轉變改變了整個架構設計的優先級。

  3. 觀測和負載測試在超大規模下比簡單堆積服務器更重要。從 10,000 req/s 擴展到 60,000+ req/s 的真正瓶頸不在增加伺服器,而在於如何用有機數據測試驗證系統可靠性,生成合成流量容易但模擬真實客戶行為困難。

  4. 基礎設施的本質是「永遠適應」而非「一次性構建」。目標數字永遠會變,檢測系統會演變,客戶需求會轉變,因此能快速重設計架構比執行優化更關鍵。

實用技巧與重點

  • 視頻 API 項目
  • 時間限制:2 週
  • 數據規模:每月 5 PB
  • 最終功能集:下載器、轉錄支援、字幕支援、通道信息、元數據
  • 開發周期:約 3 個月完成完整套件
  • SERP 數據傳遞
  • 初版延遲:4 秒平均
  • 目標延遲:550 毫秒平均、P90 約 650 毫秒
  • 技術限制:瀏覽器支援提高延遲,需要捨棄廣告、小工具、複雜佈局,只保留有機結果和新聞
  • 開發週期:2 週內達成
  • Venom 阻止器擴展
  • 初始規模:10,000 requests/second
  • 目標規模:60,000 requests/second(2 個月內)
  • 當前規模:100,000 requests/second(項目代號從 60 升級為 150)
  • 請求量增長:400 百萬日請求 → 60 億日請求
  • 端到端爬蟲作業涵蓋
  • 路由、渲染、代理處理、瀏覽器執行、解析、重試、規範化、交付
  • 負載測試關鍵數據
  • 瓶頸點:20,000 req/s 時系統不確定性出現
  • 最大收穫:接受生產流量測試是必經之路

結論

下一代 AI 不由更優秀的模型驅動,而由能將模型連接到現實、快速交付數據、持續適應變化的基礎設施驅動。

完整解析

Oxelapse 是一個成立於 2015 年的網頁情報平台和代理服務提供商。演講者 Patricia 從技術團隊成長到產品經理,通過三個大規模項目的故事,闡述了 AI 時代基礎設施的本質。

第一個故事發生於銷售團隊從舊金山帶回的緊急需求:2 週內建立視頻 API,處理每月 5 PB 數據。這不只是下載功能,而是完整的管道系統——包括收集、傳輸、儲存、交付,需要達到 AI 訓練工作負載的可靠性標準。初版在截止日期前完成,但客戶的真實需求遠超預期。客戶先要求字幕而非轉錄,再要求特定語言的搜尋能力,然後要求元數據和頻道信息。每次迭代都打破初始的功能邊界,最終在三個月內演變成完整的視頻 API 套件。這個過程教會 Patricia 最重要的教訓:創新不是預設的路線圖,而是在高壓截止日期下持續適應客戶的實際需求。

第二個故事聚焦於搜尋引擎結果頁(SERP)數據在 AI 系統中的角色轉變。傳統上 SERP 用於分析和市場情報,但 AI 時代它成為實時檢索管道、助手系統和智能體與外部信息互動的核心。Google 的官方文檔明確指出搜尋是連接模型與實時公開知識的方式。2024 年客戶要求次秒級 SERP 交付,而既有爬蟲延遲為 4 秒。當時市場尚未準備好,需求被擱置。2025 年新客戶要求零數據保留、800 毫秒以內延遲、2 週內完成。從 4 秒到 800 毫秒不是優化,是完全重設計。首版在 2 週內達到 650 毫秒 P90,但正式測試時系統因檢測機制受阻。第二次迭代被迫依賴瀏覽器,這是個矛盾——客戶要次秒級,瀏覽器卻要 4 秒。解決方案是逐項獵取時間:優化佈局、解析器、會話、代理,每處削減幾百毫秒。最終達成 550 毫秒平均延遲,同時日請求量從 4 億增長到 60 億。這個轉變意味著速度本身變成了產品特性——4 秒只能做慢管道,次秒級才能直接集成到 AI 工作流中。

第三個故事講述可視化阻止器從 10,000 req/s 到 60,000 req/s 的擴展(2 個月內),現已升級至 100,000 req/s。這不是簡單的 HTTP 計數,而是端到端爬蟲作業——路由、渲染、代理、瀏覽器執行、解析、重試、規範化、交付。增加 2,000 台伺服器不足以解決問題,需要架構、可靠的中心組件和能反映現實的測試。最大瓶頸出現在負載測試中。生成合成流量容易,但有機數據測試(模擬真實客戶行為)困難。測試在 20,000 req/s 時碰到不確定性瓶頸。傳統觀測在超大規模下變成真實工作——收集日誌難,處理日誌更難,遙測本身成為負載的一部分。最終接受真相:生產流量測試是最佳測試,幸運的是一切順利,但基礎設施需求持續升級。

這些故事的共通點是:基礎設施的本質不是「構建一次」,而是「永遠適應」。目標數字會變、檢測機制會演變、市場需求會轉變。最有用的創新定義就是:足夠快地保持適應,使得變化的需求本身成為新基礎設施。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI