KeyFrame內部研究專用

How To Talk Verity Offline? (Ollama + Verity Setup Update)

KootJam·8月1日週六·5 min英文

三句話摘要

用 Ollama 在本地運行 AI 模型,接入 Verity 遊戲實現離線 AI 對話。 透過本地部署 Ollama + lightLLM proxy,可以實現完全離線的 AI 功能,對遊戲集成或隱私敏感的應用最有價值。 Ollama 提供了模型列表供使用者選擇,選擇時需權衡硬體配置與模型大小——低配電腦應選擇參數量小的版本(如 1B),高配電腦可選更大型號以獲得更好的回答質量。

重點整理

重點
  • 1

    Ollama 提供了模型列表供使用者選擇,選擇時需權衡硬體配置與模型大小——低配電腦應選擇參數量小的版本(如 1B),高配電腦可選更大型號以獲得更好的回答質量。

  • 2

    本地部署涉及完整的工具鏈:Ollama 提供模型引擎、Python 是開發基礎、UV 和 lightLLM proxy 負責將模型透過 API 介面標準化暴露,缺一不可。

  • 3

    遊戲配置的關鍵步驟是切換 Verity 模組設定中的 local LLM 標籤,將連接地址從本地迴圈改為 0.0.0.0,並指定正確的模型名稱。

  • 4

    本地部署完全避免了對網際網路與線上 API 的依賴,回應延遲主要取決於本機硬體,低配電腦可能需要數分鐘才能得到回答。

實用技巧與重點

乾貨
  • 模型名稱與版本:Gemma 3、1B 參數版本
  • 命令指令:
  • `ollama pull [model_name]:[parameter_size]`
  • `ollama run [model_name]:[parameter_size]`
  • `pip install UV`
  • `UV pip install lightLLM-proxy`
  • `lightLLM --model ollama_chat/[model_name]`
  • Verity 遊戲配置參數:
  • 連接地址:127.0.0.1 改為 0.0.0.0
  • 代理伺服器埠號:4000(可自訂)
  • 模型指定格式:ollama_chat/[model_name]

結論

結論

透過本地部署 Ollama + lightLLM proxy,可以實現完全離線的 AI 功能,對遊戲集成或隱私敏感的應用最有價值。

完整解析

詳細

線上 AI API 存在成本、隱私與網路依賴的問題,使用者若想在遊戲中使用 AI 對話功能卻又希望完全離線控制,本教程提供了具體的解決方案。

第一步是安裝 Ollama,從官網下載對應作業系統的版本。Ollama 本質上是一個本地 LLM 運行環境,它內建了模型列表供使用者下載。選擇模型時需要考量硬體限制——參數量大的模型(如 7B、13B)效果更好但對 CPU、記憶體、磁碟空間要求更高,低配電腦應選擇 1B 版本,高配電腦可嘗試更大的版本。講者因電腦配置有限,選擇了 Gemma 3 的 1B 版本。

接下來安裝 Python 開發環境。這是整個工具鏈的基礎——安裝時務必勾選「Add Python to PATH」確保命令列能直接呼叫 Python。Python 安裝完後,用 `pip install UV` 安裝包管理工具,再用 `UV pip install lightLLM-proxy` 安裝本地 LLM 代理伺服器。lightLLM proxy 的作用是將 Ollama 運行的模型包裝成標準 API 介面,這樣遊戲或其他應用就能通過 HTTP 請求調用,而不需要直接與 Ollama 通訊。

代理伺服器啟動後,進入 Verity 遊戲配置。在遊戲的 Mods 選單中找到 Verity 模組,開啟 config 設定。切換到「local LLM」標籤,啟用「use Ollama」選項。這裡有兩個重要的改動:第一是將 IP 地址從 127.0.0.1(本地迴圈位址)改為 0.0.0.0(全網介面),第二是在模型名稱欄位輸入 `ollama_chat/[你的模型名稱]`。埠號預設是 4000,如果本地代理伺服器使用了其他埠號則需對應更改。

實測階段,講者向 Verity 提問「法國的首都是什麼?」。儘管因電腦配置較低,AI 回應花費了數分鐘時間,但最終給出了正確答案「巴黎」,並補充了相關的旅遊資訊。這驗證了整個本地部署方案的可行性。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。