KeyFrame內部研究專用

Accelerating Your AI Safety Career | Jaime Raldua | EAGxNordics 2026

Effective Altruism·6月17日週三·28 min中文

三句話摘要

Apart Research CEO Jaime Raldúa 解析 AI 安全領域的職涯生態圖景,提供實用的進入策略與技能提升建議。 --- AI 安全領域最缺的不是研究論文,而是能自主執行(Agency)、具備 InfoSec 或運營背景、並願意長期紮根的人才——抓住這個結構性缺口,就是最快速的職涯突破點。 1. 生態系正在出現結構性資金膨脹

重點整理

重點
  • 1

    1. 生態系正在出現結構性資金膨脹

  • 2

    AI 安全機構的資金預計大幅增加(Juniper Ventures 預測接近 150 億美元),但人才瓶頸比資金更難解決,因此未來 12–18 個月將出現「錢多人少」的局面,更多資源將流向研究、非研究人員、創業者與場域建設。

  • 3

    2. Fellowship 是人脈工具,不是高強度技能培訓

  • 4

    現有 20+ 個技術研究型 fellowship 每年產出數千位校友,但多數僅持續數週至數月,與學士、碩士、博士相比,實質技能積累極為有限。Fellowship 最大價值在於建立人脈網絡,以及讓組織識別出真正有潛力的人才。

  • 5

    3. 資訊安全人才缺口最為明顯

  • 6

    分析 80,000 Hours 職缺資料後發現,Anthropic、Google DeepMind、OpenAI 等頂尖 AI 實驗室的安全部門極度需要 InfoSec 人才,但目前所有 fellowship 計畫幾乎沒有任何一個系統性地培育這一方向。

  • 7

    4. 創業與運營是被忽視的職涯路徑

  • 8

    當前 Training Town 幾乎只培育研究人員,但職缺資料顯示運營類需求持續增加。創業者能同時吸納資金與人才,在資金充裕但管理人才匱乏的生態中尤其稀缺,Catalyze(倫敦)與 Seldon(舊金山)是目前最接近 Charity Entrepreneurship 模式的 AI 安全創業孵化器。

  • 9

    --

實用技巧與重點

乾貨
  • 組織與數據
  • Apart Research:30+ 篇 AI 安全論文,ICLR 2025 獲兩篇 oral spotlight,全球觸及 5,000+ 人,45 篇全球研究預印本
  • 主要資金來源:Coefficient Giving
  • 預測報告:Juniper Ventures 2024 年報告預估 AI 安全資金將接近 150 億美元
  • 資料來源:80,000 Hours 職缺板過去數年的職缺分析
  • Fellowship 現況
  • 技術研究型 fellowship:20+ 個(MADS、Apart、TALOS、ERA 等)
  • 非技術 / 治理型:TARVEL(傳播)、ORIZON、TALOS(政策治理)
  • 多數 fellowship 持續:數週至數月
  • 快速資助資源
  • Coefficient Giving:職涯轉型補助
  • Blue Dot Rapid Grants:1,000–5,000 美元,2 週內撥款
  • LTFF(Long-Term Future Fund):小額快速補助
  • 創業孵化器
  • Catalyze:倫敦,AI 安全創業孵化器
  • Seldon:舊金山,更密集,提供種子資金
  • Apart 三大人才篩選標準
  • Agency(自主執行力 = 自主性 + 生產力)
  • Context(相關背景脈絡)
  • Mission Alignment(使命對齊)
  • 求職實操技巧
  • 填寫申請表的所有選填欄位
  • LinkedIn 列出所有 AI 安全相關經歷(SPAR、Apart 黑客松、Blue Dot 課程等)
  • 進入任何計畫後,目標是進入前三名
  • 不要過度把「申請」本身當成主要工作
  • 地理建議
  • 美國與英國主導 AI 安全就業市場,保持可遷移的彈性具有高影響力
  • --

結論

結論

AI 安全領域最缺的不是研究論文,而是能自主執行(Agency)、具備 InfoSec 或運營背景、並願意長期紮根的人才——抓住這個結構性缺口,就是最快速的職涯突破點。

完整解析

詳細

AI 安全領域的入行生態遠比表面複雜。Jaime Raldúa 以一張 AI Safety Field Map 作為框架,描述了目前生態系的三層結構:資金(主要由 Coefficient Giving 主導)、人才培育(Training Town,以 fellowship 和黑客松為核心)、以及研究與治理組織(分為實證對齊、概念對齊與政策治理三塊)。概念型研究在 ChatGPT 時代後因可直接透過 API 驗證想法而逐漸式微,目前資金大量流向實證對齊(Empirical Alignment);與此同時,治理研究與實證研究的邊界日益模糊,尤其是歐盟 AI 法案的落地,促使 Equistamp、Translucent、Meter 等組織同時服務技術與政策兩個方向。

在生態系的演變趨勢上,Raldúa 指出幾個相互強化的訊號:資金面,多家 AI 安全導向的頂尖實驗室正評估 IPO 可能性,VC 也預測 AI 安全的資金規模將大幅成長;時間線面,每一代新模型問世都讓業界對 AGI 到來的預測更為悲觀,研究人員普遍縮短時間線;人才面,研究顯示若讓有潛力的研究人才轉投場域建設(Field Building),透過乘數效應往往能產生更大影響力。三股力量疊加,預期未來 12–18 個月將出現資金充裕但人才嚴重瓶頸的局面,更多資源將流向研究以外的職能:運營、傳播、政策及創業。

關於 fellowship 的真實定位,Raldúa 給出了一個重要的認知校正:fellowship 通常被稱為「技能提升計畫」,但與一般碩士或博士相比,幾週到幾個月的時間實際上能傳授的技能相當有限。Fellowship 真正的價值在兩端:對學員而言,最大收穫是人脈連結(受訪者一致反映這是最有價值的部分,尤其是實體形式);對舉辦機構而言,fellowship 是高效的人才識別工具,能區分真正投入與只是路過的參與者。此外,目前 20 多個技術研究型 fellowship 幾乎清一色聚焦於實證對齊研究,導致 InfoSec、運營、傳播等職能幾乎沒有對應的培育管道,而這些恰恰是 Anthropic、Google DeepMind 等頂尖實驗室安全部門最需要的技能。

對於想進入這個領域的人,Raldúa 給出幾條具體建議:善用短回饋循環,無論是透過黑客松讓專家評審你的作品、還是在組織志願服務中接受直接指導;給出充分的信號,包括填寫申請的選填欄位、在 LinkedIn 完整列出所有相關經歷;若進入任何計畫,就把目標設定在前三名,讓自己真正脫穎而出;同時不要把「持續申請」當成主業,因為光是申請既不能學到東西,也難以從單純的拒信中獲得有效反饋。最後,他特別強調「Agency」的重要性:在資金增加但管理人才匱乏的生態中,能夠自主推進任務、不需要密集管理的人,其稀缺性和價值將遠超過任何研究成果。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。