KeyFrame內部研究專用

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au18 min英文
觀看原始影片

三句話摘要

TikTok團隊利用LLM與自動化工作流來檢測Web應用中的特權升級漏洞。 LLM與決定性程式碼邏輯互補:LLM負責語義理解,代碼負責輸出驗證與工作流編排,同時透過知識庫與人工迴圈保持持續改進。 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。

重點整理

  1. 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。

  2. LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。

  3. 將掃描任務按端點分解給子代理執行,每個端點獨立驗證,保證覆蓋率與性能不因代碼庫規模變化。累積的知識庫記錄角色等價性定義,供後續掃描重複使用。

實用技巧與重點

  • 項目名稱:Ometrics(目標解碼業務上下文的特權升級問題)
  • 測試規模:476個API端點,審查45個,標記率約9.5%
  • 檢測結果:91%的雜訊被過濾,80%的確認率(真正陽性)
  • 成本指標:100個端點的完整掃描約需4000萬個token
  • 知識庫效果:精準度從50%提升到77%
  • 工作流步驟:端點列舉→授權框架偵查→後端檢查→前端檢查→對應對帳
  • 驗證機制:格式檢查(CSV/JSON合法性)→證據檢查(矛盾偵測)→反饋重試迴圈
  • 分解策略:端點導向的子代理分配(一個代理可處理3-4個端點)

結論

LLM與決定性程式碼邏輯互補:LLM負責語義理解,代碼負責輸出驗證與工作流編排,同時透過知識庫與人工迴圈保持持續改進。

完整解析

產品安全團隊在進行黑箱測試時面臨的經典困境是:假設Web應用有6個不同的用戶角色,每個角色的權限應該不同。傳統做法需要為每個角色申請一個測試帳號,然後用這些帳號訪問所有400個API端點,最後手動檢查4000個組合的結果。這個過程耗時且容易遺漏。

Yaning與團隊的洞察是:既然他們有代碼庫的訪問權限,為什麼不直接從代碼層面檢查權限邏輯呢?他們觀察到業務意圖通常反映在前端代碼中(比如某些按鈕只對特定角色顯示),實現細節則在後端API中。如果前後端的權限定義不一致,就代表存在特權升級漏洞。例如前端要求「經理角色」才能匯出報告,但後端卻允許任何已登入用戶訪問;或者前端要求「admin且已驗證信箱」,後端卻只檢查「admin」。這些不匹配都是安全風險。

然而,直接用程式碼搜尋(Regex)很難識別這些含義層的差異。大型語言模型在這裡提供了優勢:它能理解代碼的語義含義,區分出「身份驗證檢查」與「沙箱繞過」這類無關的程式碼。但LLM也有三大弱點:運行同一個提示會得到不同格式的答案、讀取大量文件會導致上下文溢出、在角色定義模糊時容易幻覺。

他們的解決方案是建立一個決定性的五步工作流:首先列舉所有端點,同時進行授權框架的偵查;然後分別檢查後端和前端的存取控制;最後對應這兩邊的結果。關鍵設計是每一步都透過輸出為下一步提供新鮮的上下文,避免LLM被淹沒在龐大的代碼庫中。在每個LLM調用後加入驗證器:檢查輸出格式是否合法、邏輯是否自洽、證據是否支撑結論。當檢測到問題時,他們會把反饋傳給LLM進行重試,這樣LLM就能學習到之前的錯誤。針對模糊的角色定義(例如「super admin」和「admin」是否等同),他們引入人工在迴圈中的審查機制,由實際應用的擁有者或開發者提供明確答案,這些答案被存入知識庫供往後掃描重複使用。

實務成果令人印象深刻:掃描476個API端點、標記45個以供人工審查,成功過濾掉91%的噪音。在這45個標記中,80%被確認為真正的漏洞(其餘20%難以確認主要是因為某些測試帳號難以取得或API邊界條件複雜)。透過積累知識庫,檢測精準度從初期的50%提升到77%。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
30 min
Web2 安全英文10月20日

[un]prompted.au 2026 -The Fuzzer Reached the Code, yet Missed the State... - Ken Wong

Unprompted au看原片 ↗
  • 邊界覆蓋的局限性:傳統的行覆蓋或邊界覆蓋只記錄代碼是否被執行,但無法區分通過同一代碼路徑、卻處於不同內部狀態的執行。在JavaScript引擎中,相同操作可能遇到不同物件佈局、快取狀態或垃圾回收條件,僅知道到達某行代碼不足以判斷是否探索了相
  • 狀態覆蓋的必要性與挑戰:需要細粒度的狀態觀測來指導模糊測試,但不能盲目記錄所有狀態變化,否則會造成記憶體成本過高和雜訊增加。關鍵在於確定記錄什麼狀態、在代碼的何處記錄。