在互聯(lián)網(wǎng)生態(tài)因AI智能體快速滲透而發(fā)生深刻變革的背景下，全球知名內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)商Cloudflare與網(wǎng)絡(luò)托管巨頭GoDaddy宣布達成戰(zhàn)略合作，共同構(gòu)建AI與網(wǎng)站交互的規(guī)則框架。雙方將通過技術(shù)整合與標準制定，幫助網(wǎng)站所有者重新掌握內(nèi)容訪問權(quán)，應(yīng)對AI爬蟲帶來的流量流失與收益沖擊。

此次合作的核心是GoDaddy將Cloudflare開發(fā)的AI爬蟲管理工具嵌入其托管平臺。該工具允許網(wǎng)站運營者自主設(shè)定AI訪問權(quán)限，包括完全禁止、自由放行或要求付費訪問三種模式。Cloudflare首席策略官Stephanie Cohen指出："我們正通過技術(shù)賦權(quán)，讓創(chuàng)作者既能驗證訪問者身份，又能為合規(guī)AI提供安全交互通道。"這一舉措直指當前AI搜索對傳統(tǒng)網(wǎng)站流量的擠壓——當用戶通過AI概覽等工具直接獲取答案時，原始內(nèi)容提供者的廣告收入與轉(zhuǎn)化率正急劇下降。

為平衡技術(shù)管控與生態(tài)發(fā)展，雙方同步推進兩項開放標準建設(shè)。其一是智能體名稱服務(wù)（ANS），這個由GoDaddy主導(dǎo)開發(fā)的系統(tǒng)類似于AI領(lǐng)域的DNS，通過建立去中心化的智能體注冊表，將AI實體與其控制方綁定，確?？勺匪菪耘c信任度。目前該系統(tǒng)已在GitHub開源，支持多協(xié)議接入。另一項標準是Cloudflare提出的Web Bot Auth認證體系，通過在HTTP請求中嵌入加密簽名，使AI爬蟲可自證身份。兩家公司強調(diào)，這些技術(shù)組合將形成"默認透明"的智能體網(wǎng)絡(luò)環(huán)境。

MIT計算機科學(xué)與人工智能實驗室（CSAIL）發(fā)布的《2025 AI智能體指數(shù)》報告顯示，現(xiàn)有AI機器人中63%會無視robots.txt協(xié)議，僅12%會主動披露安全信息。這種無序狀態(tài)加劇了網(wǎng)站所有者的困境——據(jù)統(tǒng)計，全球約20%網(wǎng)站依賴Cloudflare的防護服務(wù)，而GoDaddy托管著超8000萬個域名。兩大巨頭的標準推廣若獲成功，將覆蓋相當比例的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施。

技術(shù)管控的另一面是商業(yè)邏輯的重構(gòu)。Cloudflare近年持續(xù)升級反爬蟲技術(shù)，其2025年推出的"AI誘捕系統(tǒng)"可通過生成無限垃圾數(shù)據(jù)消耗非法爬蟲資源。而要求AI付費訪問的提議，則源于對流量價值重新分配的思考——當AI企業(yè)通過聚合網(wǎng)站內(nèi)容獲利時，原始創(chuàng)作者理應(yīng)獲得補償。這種思路與Sam Altman提出的眼球掃描認證方案形成對比，后者因涉及生物信息采集引發(fā)爭議，而開放標準路徑被認為更具可行性。

盡管標準推廣面臨挑戰(zhàn)，但行業(yè)共識正在形成。GoDaddy技術(shù)團隊表示，ANS注冊表已吸引多家AI初創(chuàng)公司參與測試，而Web Bot Auth的加密簽名方案正與W3C標準組織協(xié)商納入推薦規(guī)范。在這場人機交互規(guī)則的重塑中，如何既保護人類創(chuàng)作者權(quán)益，又避免技術(shù)壁壘阻礙AI創(chuàng)新，將成為持續(xù)博弈的焦點。