爬蟲

07-07美股雷達

Cloudflare宣戰AI爬蟲！要求搜尋與訓練Bot全面分離、Google Gemini首當其衝

全球網路基礎設施巨頭 Cloudflare(NET-US) 試圖建立 AI 時代的內容授權與付費機制，讓 AI 公司未來不能再免費抓取全網資料訓練模型，而必須取得授權或支付費用；若這套模式成功，可能徹底改變 Google(GOOGL-US)、OpenAI 等 AI 公司的資料取得方式，以及整個網路內容經濟的商業模式。

06-09

網路死亡成真？全球57%流量來自AI與機器人 首度超越人類

近年來在網路社群引發熱議的「網路死亡理論」（Dead Internet Theory），即預言未來網路上的互動將由自動化機器人主導而非人類，如今這項理論似乎正加速成為現實。全球雲端服務與資安防護巨頭 Cloudflare 最新發布的流量觀測報告顯示，全球目前已有將近六成（約 57.4%）的網路流量是由自動化腳本產生的，這其中包含了傳統的網頁爬蟲、惡意軟體機器人，以及近期呈現爆發式成長的 AI 代理。

07-14科技

Google AI爬蟲無法封鎖！Cloudflare也無力對抗Gemini抓取數據

全球最大內容分發網路之一 Cloudflare 近日推出一項新功能，允許網站擁有者一鍵封鎖 AI 公司爬蟲，以防止網站內容被用來訓練大型語言模型。然而，此功能對 Google (GOOGL-US) 爬蟲完全無效，成為業界廣泛關注的爭議焦點。專家指出，造成問題的核心在於，Google 將搜尋索引與 Gemini 大型語言模型的資料蒐集工作，都交由同一個爬蟲執行，兩者共用 IP 與 HTTP 標頭。