Airbnb Is Building a ‘Company Brain’ for AI Agents with Ahmad Al-Dahle - #781
三句話摘要
Airbnb CTO Ahmed Aldale 分享如何在工程生產力、市場平台和客戶體驗三個層面大規模部署 AI agents,以及 Everest 公司大腦系統如何捕捉機構知識。 大規模 AI 部署成功的關鍵不在於堆砌最大模型,而在於建立知識管理系統、精心設計漸進式 context 流程、運用多元模型與客製化後訓練,以及在高價值決策點保持人工判斷。 工程師生產力層面強調「工藝」勝於速度,平衡效率與品質,同時追蹤 PR 產量、缺陷率與路線圖進度等多維度指標,避免單純的 token 消耗競賽或限制工程師創意。
重點整理
工程師生產力層面強調「工藝」勝於速度,平衡效率與品質,同時追蹤 PR 產量、缺陷率與路線圖進度等多維度指標,避免單純的 token 消耗競賽或限制工程師創意。
Project Everest 是公司大腦,透過收集員工工作流程中的機構知識來協助 agents,但須小心避免 context poisoning 問題,採用「漸進式內容揭露」而非一次性提供大量上下文。
客戶支持已達 50% AI 自動解決率,主要處理資訊查詢和動作卡片操作,但涉及政策、信任、舞弊偵測的多方調解型糾紛仍是難解問題,需要人工判斷。
模型策略採用多元模型與客製化後訓練,針對特定任務用較小、更快的模型勝過前沿模型,而非盲目追求最大參數量。
實用技巧與重點
- Project Everest:Airbnb 的公司大腦系統,從員工工作流程中提取機構知識
- 客服解決率:50% 的支援聊天由 AI agents 完全自動解決
- 評估方法:虛擬法官進行準確度評分(calibrated virtual judge),成本 vs 準確度 Pareto 曲線
- 工作流程轉變:過去是 MLE → 產品工程師 → 設計師 → PM → 法務的串聯流程,現在所有人可直接跳到原型代碼
- Context 進度揭露:避免一次提供過多 context,採漸進式揭露讓 agent 逐步請求所需資訊
- 搜尋特性:測試自然語言搜尋框,讓使用者輸入目的地、人數、行程原因
- 客支多方調解:涉及客人、主人、Airbnb 三方政策與信任問題
- 模型選擇:後訓練較小開源模型(如 Neumatron from NVIDIA)用於特定領域
- CEO 個人應用:Brian Chesky 建立個人 context graph 包含所有文件、願景聲明、備忘錄
結論
大規模 AI 部署成功的關鍵不在於堆砌最大模型,而在於建立知識管理系統、精心設計漸進式 context 流程、運用多元模型與客製化後訓練,以及在高價值決策點保持人工判斷。
完整解析
Ahmed Aldale 曾在 Apple 參與原始 iPhone 開發,領導 Meta 的 Llama 團隊,現為 Airbnb CTO。他分享 Airbnb 如何在三個層面推進 AI agents 的應用。首先在工程生產力層面,Airbnb 的文化強調「工藝」而非純粹速度。不同於有些公司鼓勵快速構建,Airbnb 同時追蹤 PR 產量、缺陷率和可靠性指標,確保速度有方向且保持品質。Ahmed 反對單純的 token 限制或 token 排行榜,而是理解採用形態的細節——低使用者需要協助優化流程,高使用者需要驗證價值,異常值則需要指導。團隊發現最好的成功指標是路線圖能否向右拉動和壓縮,這才代表真正的生產力提升。
第二層面是機構知識的捕捉和利用。Project Everest 是 Airbnb 的「公司大腦」系統,從員工使用 AI 時的工作流程中提取知識,形成共享的 context 池。例如,定價領域涉及複雜的政策和規則,Everest 讓新的產品工程師能透過學習前輩的工作方式來加速貢獻。評估方法採用虛擬法官模型對 agents 的完成度進行評分,在多個開源和閉源模型上跑 benchmark。但這帶來新的挑戰:markdown 檔案中的錯誤或過時資訊容易被模型優先選中。Ahmed 認為答案在於採用混合方式——不僅是向量搜尋或簡單的檔案系統,而是在中間層加入智能,實現「漸進式 context 揭露」,即給予 agent 足夠資訊完成一步,然後讓它請求更多,而不是一次性傾倒所有 context。
在市場和客戶支持層面,Airbnb 已部署 agents 並達到 50% 的支援聊天全自動解決。簡單的資訊查詢和動作卡片操作效果良好,使用者無須等待即可獲得答案。Airbnb 採用透明政策,用戶知道他們在與 AI 互動,可以隨時要求與人工客服談話,系統會立即升級。但最難的挑戰來自多方調解型問題,例如客人與主人的糾紛。這涉及三方(客人、主人、Airbnb)、政策約束、信任問題和舞弊風險。客人可能上傳經過修改的照片聲稱房源損壞,主人可能否認。Airbnb 既要保護雙方利益,又要公平執行政策——這是一個真正的前沿問題,當今模型尚無法可靠地解決。在搜尋體驗上,Airbnb 正測試自然語言搜尋框,讓使用者輸入目的地、同行人數和行程原因,系統返回多個選項但保持使用者掌控,不強制單一預訂決定,並認知到旅行規劃是社交多人行為,往往跨越數週。
在技術棧上,Airbnb 採用多元模型策略。他們評估開源和閉源模型,並對特定任務進行後訓練和蒸餾。例如,搜尋系統使用最小可行模型,因為吞吐量極高,後訓練專門化優化勝於盲目使用大型模型。Ahmed 的看法是許多消費級體驗已經用當今模型足夠解決,關鍵不在參數量而在是否能可靠執行特定任務。CEO Brian Chesky 甚至建立了個人 context graph——包含所有文件、願景聲明、備忘錄和溝通——來輔助日常決策。Airbnb 採用透明使用者導向的設計,不會強制 AI 在前面但透過提供選項、卡片和自然語言界面來增強體驗。

