KeyFrame內部研究專用

5 AI Tested: Which One Is Most Reliable and Which One Will Lead You Astray? | Peterson

彼得森17 min中文
觀看原始影片

三句話摘要

對比測試 5 個 AI 工具(ChatGPT、Gemini、Claude、Siri AI、Grok),從實用場景檢驗能力與幻覺問題。 不是 AI 越聰明越值得信任,而是越敢說「不知道」的 AI 越值得信任——Claude 因此成為日常可靠夥伴,ChatGPT 綜合強但需多重驗證,Siri AI 免費但暫未足夠,其他工具各有專項優勢。 幻覺差異明顯:ChatGPT 給錯資料(iPhone 18 規格)時最自信最詳細,Claude 則直接說「未知」,證明 AI 的確定度與準確度無關。

重點整理

  1. 幻覺差異明顯:ChatGPT 給錯資料(iPhone 18 規格)時最自信最詳細,Claude 則直接說「未知」,證明 AI 的確定度與準確度無關。

  2. 使用體驗決勝:Siri AI 能直接發送訊息到聯絡人,其他四家都需手動複製貼上;GPT 有複製按鈕最便利,Gemini 卻把訊息混在說明裡。

  3. 服務整合差異大:Siri AI 與 Apple 生態整合最深(郵件、行事曆、聯絡人無需授權),但 Gemini 作為 Google 產品反而無法有效存取 Gmail 和 YouTube 資料。

  4. 實時資訊與過期資料:ChatGPT 和 Grok 查訂閱數最準(33.4 萬),Claude 給了過期資料但誠實標註不確定性,Gemini 竟查出兩年前的資料。

實用技巧與重點

  • 測試項目與結果排名:
  • 圖片生成(生日賀卡):GPT>Gemini>Claude>Grok>Siri AI
  • 寫訊息體驗:Siri AI>GPT>Gemini>Claude/Grok
  • 查信箱:GPT>Claude>Siri AI>Gemini>Grok
  • 即時資訊:GPT>Gemini/Grok>Claude/Siri AI
  • 幻覺測試:Claude>Gemini>Grok>GPT>Siri AI
  • 具體發現數據:
  • iPhone 18 規格幻覺:GPT 虛編 60Hz 螢幕(實際應為 120Hz)、128GB 容量;Grok 精確虛編 3,692 mAh;Claude 不知道處寫「未知」
  • YouTube 訂閱數(正確:33.4 萬):GPT/Grok 33.4 萬、Claude 32 萬、Gemini 30 萬→13.4 萬(查到兩年前資料)
  • 平均評分:ChatGPT 4.2 星、Gemini 3.4 星、Claude 3.2 星、Siri AI 2.4 星、Grok 2.2 星
  • 工具與功能:
  • Siri AI:能直接發送訊息、存取 Apple Mail 無需授權
  • GPT:提供複製按鈕、訊息獨立框顯示
  • Gemini:Google 自家但 YouTube/Gmail 整合不佳

結論

不是 AI 越聰明越值得信任,而是越敢說「不知道」的 AI 越值得信任——Claude 因此成為日常可靠夥伴,ChatGPT 綜合強但需多重驗證,Siri AI 免費但暫未足夠,其他工具各有專項優勢。

完整解析

這場測試透過五個日常場景揭露不同 AI 的優劣。第一個場景是生日賀卡生成,要求中文「生日快樂」並先改簡體再改繁體。ChatGPT 完美執行,Gemini 自作聰明加上「Birthday Girl」與年齡元素,Claude 因無法生成圖片改用程式碼簡筆畫,Grok 字跡錯亂,Siri AI 則放棄改正簡體字。

第二場景測試寫訊息體驗。五家 AI 的內容都尚可接受,但使用體驗天壤之別。GPT 提供複製按鈕最便利,Siri AI 能直接發送到聯絡人而無需應用切換,Gemini 卻把訊息和說明混在一起,Claude 與 Grok 需手動複製。另外值得注意的是,測試中故意打錯「世界盃」成「世界杯」,GPT、Gemini 與 Siri AI 自動改成繁體習慣用法,Claude 與 Grok 保留簡體字,後續還需手動修改。

第三場景檢驗郵件整合能力。Grok 根本無法連接信箱,Gemini 作為 Google 產品竟查到早已處理的舊發票,Siri AI 讀取了 Apple Mail 並指出沒有未處理帳單,Claude 找到實際帳單並清楚標註狀態,ChatGPT 則最意外地發現三封 Google 安全警示與可疑的 Drive 分享檔案,主動提醒釣魚風險。

第四場景是即時資訊查詢(世界盃比賽與 YouTube 訂閱數)。ChatGPT 用國旗視覺化最直觀,Gemini 用表格最清晰,Siri AI 呼出原生賽程卡但缺戰況分析,Claude 卻給出過期資料(南非還未追平)。訂閱數則 ChatGPT 與 Grok 查最準(33.4 萬),Gemini 竟查出兩年前的 13.4 萬,顯示 Google 對自家服務資料的存取有隱憂。

最後一個場景測試 AI 幻覺。要求 iPhone 18(尚未發表手機)的規格比較表。Siri AI 直接當真宣稱規格,Grok 虛編精確的 3,692 mAh 電池容量製造可信度,Claude 不確定處寫「未知」最負責,Gemini 保持克制多數合理,ChatGPT 則給出最詳細但最多錯誤的資料——虛編 60Hz 螢幕與 128GB 起步容量,明顯退步於 iPhone 17。這揭示一個悖論:AI 越詳細越自信,往往代表幻覺越多。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI