KeyFrame內部研究專用

Function Calling深度架构解析

白白说大模型8 min中文
觀看原始影片

三句話摘要

大模型函數調用(Function Calling)的深度架構原理與企業生產環境落地實戰指南。 函數調用的核心在於大腦與手腳的分離耦合——讓模型專注決策,讓代碼專注執行,用工程化防禦機制而非模型自覺來保證生產環境穩定性。 意圖與執行必須分離——模型本質是概率引擎,擅長理解和推理,但無法直接操作數據庫或系統。函數調用的核心就是讓模型專注決策(發出JSON指令),由代碼處理執行(調用真實API),中間用API層作安全閘道,確保模型永遠無法直接破壞系統。

重點整理

  1. 意圖與執行必須分離——模型本質是概率引擎,擅長理解和推理,但無法直接操作數據庫或系統。函數調用的核心就是讓模型專注決策(發出JSON指令),由代碼處理執行(調用真實API),中間用API層作安全閘道,確保模型永遠無法直接破壞系統。

  2. 模型規範輸出靠物理級別的約束——Prompt工程只是軟約束,再精心設計也無法百分百穩定。指令微調通過訓練數萬個函數調用案例讓模型內化輸出邏輯,約束解碼則在推理引擎層面物理性地禁止非法token生成,兩者結合才能確保JSON格式絕對合規。

  3. 幻覺和格式錯誤是必然——即使最強的模型也會偶爾編造函數名、寫錯參數、多打或少打括號。解決方案是建立自我修正迴圈(錯誤信息反饋給模型重寫)和二次清洗工具(JSONRepair等)做容錯處理。

  4. 複雜任務需要工作流編排——單次函數調用無法處理多步邏輯(先查用戶ID再查訂單),需要React框架讓模型思考一步、行動一步、觀察一步、循環迴圈,直到達成目標。工具過多時要用檢索機制動態注入最相關的工具,避免信息過載。

實用技巧與重點

  • 五步交互流程:
  • 輸入構建——用JSON Schema格式把可用工具清單提供給模型
  • 意圖生成——模型輸出標準JSON格式的工具調用指令
  • 本地應用執行——代碼解析JSON、調用真實數據庫或第三方API
  • 結果回傳——把API結果原封不動塞回給模型作為新上下文
  • 最終生成——模型組織數據生成自然語言回復給用戶
  • 穩定性的兩個黑科技:
  • SFT指令微調:訓練海量函數調用案例,讓模型形成「肌肉記憶」
  • 約束解碼(Constrained Decoding):推理引擎層面監工,發現非法token帶權重直接降為0,物理阻斷
  • 四大痛點與防禦方案:
  • 幻覺調用(編造函數名、錯誤參數)→ 自我修正迴圈(錯誤反饋重寫)
  • JSON格式崩潰(缺少括號、多餘反引號)→ 強制JSON模式 + JSONRepair二次清洗
  • 工具過多(上百個API)→ 動態工具注入 + 工具檢索機制(只提供相關的工具)
  • 多步依賴調用 → React框架(Loop:思考→行動→觀察→循環)
  • 架構金字塔:
  • 底層:LM基礎能力(推理、語言理解)
  • 中層:函數調用(連接大腦和物理世界的樞紐)
  • 頂層:自主Agent(完全自動作業)

結論

函數調用的核心在於大腦與手腳的分離耦合——讓模型專注決策,讓代碼專注執行,用工程化防禦機制而非模型自覺來保證生產環境穩定性。

完整解析

在大模型時代,很多工程師對模型產生全能錯覺,認為它能做任何事。但實際上,模型的本質是一個概率引擎,擅長理解和推理文本,卻沒有「手腳」去碰真實的數據庫和系統。函數調用的核心目的就是要把大腦和手腳分離耦合:左邊是決策大腦(LLM),負責看懂意圖、提取參數、規劃邏輯;右邊是執行機械臂(本地代碼),負責跑環境、呼叫線上API、改動真實數據。中間有一道API層安全閘道,保證模型永遠無法直接操作底層。

這個交互過程由五個步驟組成:首先輸入構建,把能用的工具清單用JSON Schema格式提供給模型,就像給他列了一張菜單;其次意圖生成,模型看到需求後決定調用工具,吐出標準JSON指令;再次本地應用執行,代碼解析JSON去調用真實API或數據庫;然後結果回傳,把API跑出來的結果原封不動塞回給模型作為新上下文;最後最終生成,模型拿著這堆數據組織自然語言回復。這就是Function Calling的最核心底層邏輯。

那模型憑什麼這麼聽話,能穩定輸出標準JSON呢?靠兩個黑科技:第一是SFT指令微調,模型在上岗前被訓練了海量函數調用案例,這種輸出邏輯已經刻進DNA,變成了一種肌肉記憶。但SFT還不夠,偶爾模型可能會漏一個括號或多一個反引號,程序就崩潰了。所以需要第二招——約束解碼,這是推理引擎層面的物理干預。當模型逐個吐出字符時,推理引擎時時盯著,如果發現token違反JSON格式,直接把那個token的概率降為0,物理阻斷不合規內容的生成。與其依靠Prompt工程的軟約束(再精心設計也無法百分百穩定),不如用約束解碼這種物理級別的規範。

在企業生產環境裡落地函數調用,會遇到四大痛點。第一是幻覺調用,模型會瞎編函數名或參數名,導致API報錯。解決方案是建立自我修正迴圈,一旦解析爆錯,把錯誤信息扔回給模型告訴他寫錯了,讓他重寫,通常第二次就對了。第二是JSON格式崩了,模型偶爾會多吐反引號或漏括號,除了開啟強制JSON模式,代碼層面還要引入JSONRepair這種工具做二次清洗。第三是工具太多,上百個API一股腦塞給模型,直接爆掉他的上下文,讓他變笨。解決方案是動態工具注入,用檢索機制先搜出最相關的幾個工具,只給模型看用得上的。第四是多步依賴調用,比如先查用戶ID再查訂單,這種邏輯順序單次調用搞不定,需要用React框架讓模型思考一步、行動一步、觀察一步、循環迴圈,一步步逼近目標。這四套防禦手段就把模型從調皮的小助手變成了能真正幹實事的企業級助手。

從全局來看,函數調用帶來的收益遠超成本。雖然要花開發適配成本、額外做錯誤處理、消耗更多token,但它打通了ERP-CRM等核心業務流、實現了複雜流程的自動化、釋放了大規模人力。沒有函數調用,模型永遠只是會說話的聊天機器人;有了它,模型才真正具備了處理業務的能力。在整個Agent的金字塔裡,底層是LM基礎能力(推理和語言理解),中層是函數調用(連接大腦和物理世界的樞紐),頂層才是自主Agent(完全自動作業)。函數調用絕對不是終點,而是構建整個Agent系統最堅實的底座。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。