KeyFrame內部研究專用

Field Guide to Fable — Thariq Shihipar, Anthropic

AI Engineer19 min英文
觀看原始影片

三句話摘要

Anthropic 工程師分享如何理解並有效利用 Fable 模型的四個關鍵思維:解開限制、發現未知、面對變化、重新定義野心。 與其在舊時代的權衡框架中保持理性,不如用 AI 改變成本結構,重新定義野心與可能性的邊界。 能力的尖峰式進步:模型不是線性變聰明,而是在引入新工具或改變提示方式時,突然展現未曾預期的能力。例如給 Claude 代碼執行工具後,它能回答「哪些寶可夢名字包含 'aw'」,而純靠推理無法做到。這意味著我們對模型的理解還很初級,需要不斷發現新的「能力超調」(capability overhang)。

重點整理

  1. 能力的尖峰式進步:模型不是線性變聰明,而是在引入新工具或改變提示方式時,突然展現未曾預期的能力。例如給 Claude 代碼執行工具後,它能回答「哪些寶可夢名字包含 'aw'」,而純靠推理無法做到。這意味著我們對模型的理解還很初級,需要不斷發現新的「能力超調」(capability overhang)。

  2. 系統提示的演變:舊模型需要大量系統提示、範例與細緻約束;新模型(Fable)反而更需要簡短的上下文與更少的限制,因為它比給定的範例更富創意。這需要改變我們提示工程的習慣。

  3. 三種方法找出自己的未知:用盲點掃描(blind spot pass)讓模型教我們已有程式碼的潛在問題;用草圖與訪談(brainstorm & interview)讓模型協助澄清模糊的需求;用參考代碼(reference code)而非文字規格讓模型更好理解目標。必須區分已知(known)與未知(unknown),以及已知的未知(known unknowns)與完全預料外的未知(unknown unknowns)。

  4. 重新評估權衡的本質:以往開發受限於成本與時間,必須在「快、好、便宜」中選二;現在 AI 改變了單位成本,應該停止在腦中默默接受權衡,而是用模型一次做多件事,重新定義什麼是「合理」。

實用技巧與重點

  • 新工具與提示:Ask Question Tool(讓 Claude 主動向你提問,能生成 HTML 報告)、Markdown 與 HTML 輸出(從簡單的 Markdown 進化到可互動的 HTML 報告)
  • 系統提示大幅精簡:移除 Claude Code 系統提示的 80%
  • 能力進步案例:
  • Sonnet 3.5 → Opus 4.5:Ask Question Tool 從幾乎無法呼叫到能回答 40 個問題
  • Opus 4.8 → Fable:能生成帶嵌入式問卷的完整 HTML 報告
  • Claude Code 進化:從必須貼入完整程式碼庫,到自己用 Bash 工具建立與搜尋上下文
  • 找未知的五種方法:
  • Blind spot pass(掃描現有程式碼找陷阱)
  • Brainstorms & prototypes(四個完全不同的設計方案)
  • Interviews(讓模型問你問題,特別是會改變架構的問題)
  • References(用現有程式碼當範本而非文字規格)
  • Implementation notes(要求模型記錄每個決策與偏差)
  • 講者親身經歷:用 Fable 製作此演講簡報用時 4 小時,整個工作流程從數週縮短至數小時

結論

與其在舊時代的權衡框架中保持理性,不如用 AI 改變成本結構,重新定義野心與可能性的邊界。

完整解析

Anthropic 技術人員 Therik Shihapar 在本次演講中,將 Fable 模型的推出比作玩角色扮演遊戲時,從教學關卡進入開放世界——既充滿可能性,卻也令人困惑。他認為解鎖 Fable 的能力需要四個心態轉變。

首先是「解開 Claude 的限制」。模型的進步並非線性,而是在特定工具或提示方式出現時,突然展現意料外的能力。他以寶可夢名字的例子說明:同樣的知識,給模型代碼執行工具後,它就能精確回答「名字包含 'aw' 的寶可夢有哪些」,而純推理則無法。這反映出我們對模型的理解還很膚淺,系統提示的最佳實踐也在演變——從前需要龐大的提示與範例,現在反而要精簡,讓模型有更多創意空間。

其次是「發現自己的未知」。講者用地圖與領土的比喻說明:你的計畫與規格是地圖,實際程式碼與約束是領土。模型往往會在地圖上沒有標註的地方碰到決策點。他介紹了五種方法來補齊這些缺口:盲點掃描讓 AI 教你現有程式碼的隱藏風險;草圖與原型幫助澄清模糊的設計偏好;讓模型主動訪談你以發現遺漏的需求;用現有程式碼作為參考而非冗長的文字規格;要求模型記錄每個決策,方便事後反思。

第三是「面對變化與失落」。講者坦誠,AI 讓工作變快、變容易,卻也讓手工編碼的滿足感消退。他回想起創業時期為了時間與成本的艱難取捨,以及編程的挫折與學習。如今他無法回到那個時代,但也因此學會了一個核心悟道:「唯一的出路就是走過去」——繼續學習、保持在迴圈中,才能通向更大的可能。

最後是「變得更有野心」。Anthropic 的文化信念是「權衡取捨並非真實」。以往的團隊會列出優先順序,在「好、快、便宜」中選二;現在 AI 改變了單位成本,應該停止在心中默默接受權衡,而是挑戰自己去同時做所有事。講者舉例,用 Fable 製作演講簡報只花了四小時,同時保持品質與享受過程。他相信,AI 工程師現在被世界寄予厚望,要證明 AI 不只是炒作,而是真的能提高生產力與生活品質。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI