谷歌完了？9月15日全網封鎖Google！20年免費通行證正式作廢，網路世界大地震！🚨

互聯網的免費通行證正在失效。過去二十多年，Google透過一份隱形合約統治了互聯網內容的分發：網站允許Googlebot進入，Google將頁面編入索引，使用者搜尋時看到標題和摘要，再點擊連結回到網站。這個循環完成了——網站獲得讀者，Google獲得搜尋入口和廣告利潤。這套交換之所以能維持那麼久，靠的就是一份寫在robots.txt裡的老規矩：網站告訴機器人哪些目錄可以讀取，這更像門口貼的告示而非上鎖的鐵門。守規矩的爬蟲會遵守，不守規矩的可以繞過。在搜尋時代，這種榮譽制度勉強夠用，因為爬蟲拿走內容後最終還會送回讀者。

但AI改變了這筆交易。現在模型可以讀取整篇文章，直接把答案放在搜尋頁、聊天框或智慧代理裡。使用者得到了結論，不必進入網站。內容仍然被消耗，訪問量卻留在平台手裡。根據Cloudflare的觀察，這筆流量差已經大到無法忽略：到2026年6月，Cloudflare網路中超過一半的請求被識別為AI訓練用途，又有超過36%屬於混合用途。更可怕的是，機器讀取增長的速度比人類點擊快得多。傳統搜尋每抓取十幾次才能送來一次訪問，而部分AI公司的爬蟲要抓取數千甚至數萬次才可能帶回一個真人。整個網路的非人類流量已經超過了真人流量。

這直接破壞了內容生產的資金循環。一篇調查報導需要幾個月採訪，一份技術評測要購買設備，一個小型論壇要支付伺服器成本。過去搜尋帶來的讀者可以幫這些網站回收投入。現在平台從文章裡抽走答案，把使用者留在自己的介面，網站失去點擊、廣告庫存縮水、訂閱轉化下降，最後只能減少採編、關閉評論區或者直接停運。

Google當然可以說搜尋和AI仍然能為網站帶來流量，而且高質量連結比過去更有價值。這種說法不能全部否定——Google確實是互聯網最強的流量分發器，貢獻了全球主要平台外部推薦流量的88%。許多網站一旦退出Google索引，就等於關閉了一條生存入口。也正因為Google太重要，網站過去幾乎沒有真正的選擇。允許Googlebot意味著內容可能進入傳統搜尋，也可能進入AI功能。拒絕Googlebot則搜尋排名、頁面更新和新內容發現都會受影響。Google官方確實提供了Google Extended標籤，讓網站表達不願將內容用於生成式AI訓練。但這不是獨立的爬蟲——更像是Google內部讀取時參考的一項標記。網站能限制部分AI用途，卻很難把傳統搜尋、AI摘要和所有後續處理切成完全獨立的開關。

這正是Cloudflare抓住的矛盾。從9月15日開始，它把機器人分成三類處理：搜尋（為索引抓取網頁）、訓練（內容用於模型改進）、代理（機器人代表使用者完成任務如比較商品、查詢行程）。三種用途都需要網頁，但創造的價值完全不同，也應該獲得不同授權。如果一家平台堅持用同一個身份完成多種任務，Cloudflare就不替他猜測哪次訪問更無辜——客戶只要拒絕最敏感的用途，混合爬蟲就可能被攔在外面。技術上很粗糙，談判上卻極其有效。它把拆分成本推回給平台：想保住搜尋入口就提供一個身份清楚、能單獨識別的爬蟲。

Anthropic和Amazon已經展示了這種做法。Anthropic把訓練、搜尋和使用者發起的訪問分別交給不同爬蟲，Amazon也區分了Amazonbot、Amazonsearchbot和Amazonuser。這樣網站能允許代理替真實使用者讀取，同時拒絕批量訓練。選擇並不完美，但至少不再只有全開和全關兩種極端。Apple已經提供了Applebot Extended，用來表達對生成式AI用途的限制。問題仍在於政策標籤與網路身份能否讓基礎設施在每次請求時準確判斷用途。

Cloudflare要求的是可執行的技術分離，不只是平台承諾。Microsoft的Bing也面臨類似壓力——同一批抓取既要支援搜尋，又要支援CoPilot和更廣泛的AI產品，網站主人看不出內容最後出現在哪個服務裡。只要用途無法被外部驗證，信任就會不斷衰退。

Google成為最大目標不難理解。它掌握最大的搜尋入口，獲得的網頁訪問權限也遠高於其他AI公司。Cloudflare估算，Google能接觸的資訊量大約是領先AI公司的兩倍。Google同時擁有搜尋、廣告、瀏覽器、行動系統、雲端服務和Gemini，單看每個產品都有合理用途，放在一起卻構成了一條別人很難複製的資料管道。網站之所以打開門，是因為害怕從搜尋裡消失。Google進入後得到的不只是建立藍色連結所需的文字，還可能得到更新頻率、站點結構、圖片、商品資訊、使用者意圖和實施變化。這些資料被送進AI回答系統後，Google就能把更多需求留在自己的頁面完成。於是形成了一個諷刺的循環：網站為了獲得Google流量而開放內容，Google用這些內容生成更完整的答案，更完整的答案減少了使用者點擊網站的動力，因此網站更加依賴剩下的Google流量。每走一圈，網站的談判能力就弱一點。

Cloudflare想在這個循環裡插入一道閘門。它和robots.txt最大的差別是，拒絕可以直接發生在網路層。機器人發起請求，Cloudflare根據身份、行為、用途分類和客戶規則判斷是否放行。被拒絕的請求會得到403錯誤，機器人無法接觸頁面內容。告示牌變成了門禁系統。但這不代表門禁不會認錯。機器人可以偽裝身份，合法服務也會換IP、用代理發送請求。訓練抓取和正常訪問有時很難從單次網路行為分辨。Cloudflare需要依賴驗證機制、機器人簽名、長期流量特徵和平台合作來分類。分錯了，網站可能失去搜尋收錄。放過了偽裝者，規則又淪為擺設。

最先出現的現實問題可能是一批網站的搜尋更新變慢。Google不會突然消失，但如果站長選擇阻止訓練卻沒意識到Googlebot被歸為混合用途，新聞稿可能遲遲不進索引，頁面也不能及時更新。電商庫存、活動時間、新聞修正和價格變化都可能留在舊版本。大型網站會迅速調整設置，小型網站卻未必知道流量下降來自哪個開關。這也是Google最有力的反擊籌碼——不必公開威脅，只要維持現有架構，網站就要在允許可能的AI用途和保住搜尋發現間做選擇。對於靠搜尋生存的小站，這根本不是平等談判。

這場衝突的真相不是互聯網封禁Google，而是Google第一次被迫回答：它進入網站時到底代表搜尋、代表Gemini，還是代表一個把兩者綁在一起讓網站無法拒絕的商業系統。如果Google願意拆開爬蟲，開放網路會得到更清楚的邊界。如果Google拒絕拆開，網站會看見自己對搜尋的依賴到底有多深。如果Cloudflare執行失誤，它也會暴露基礎設施平台權力過大的風險。無論如何，免費通行的時代已經開始倒計時。互聯網沒有封禁Google，而是正在收回一張從來沒有認真定價、也沒有逐項授權的通行證。