在线无码中文破解|日本影院一区二区三区|五月激情Av在线|国产香蕉视频一区|国产老熟女AAAA|云霸高清91视频|久久久www视频|在线熟女网站无码视频|国产精品 国产|韩日精品中文字幕

據(jù)互聯(lián)網(wǎng)基礎(chǔ)設(shè)施提供商 Cloudflare 稱，即使在這些網(wǎng)站明確屏蔽 Perplexity 后，其爬蟲程序仍繼續(xù)訪問來自數(shù)萬個網(wǎng)站的內(nèi)容。該公司周一表示，已將 Perplexity 從其已驗證的機(jī)器人程序中移除，并對其所謂的欺騙性抓取行為實施了屏蔽。

Perplexity 總部位于舊金山，由 Aravind Srinivas（首席執(zhí)行官，前 OpenAI 研究員）、Denis Yarats（前 Facebook AI）、Johnny Ho 和 Andy Konwinski（Databricks 聯(lián)合創(chuàng)始人）于 2022 年創(chuàng)立。該公司已獲得包括 Elad Gil、Nat Friedman（前 GitHub 首席執(zhí)行官）和 Nvidia 等投資者的融資，并且估值180億美元上個月籌集了 1 億美元。

最近的沖突源于 Cloudflare 的客戶抱怨稱，盡管 Perplexity 已實施 robots.txt 指令和特定的防火墻規(guī)則來阻止這家人工智能公司宣稱的爬蟲程序，但 Perplexity 仍在抓取他們的網(wǎng)站數(shù)據(jù)。Cloudflare 工程師 Gabriel Corral、Vaibhav Singhal、Brian Mitchell 和 Reid Tatoris 在測試中證實，“Perplexity 的爬蟲程序確實在特定頁面上被阻止了?！?/p>

為了測試 Perplexity 的行為，Cloudflare 創(chuàng)建了多個新購買的域名，并設(shè)置了 robots.txt 文件，禁止所有自動訪問。“我們進(jìn)行了一項實驗，向 Perplexity AI 詢問了有關(guān)這些域名的問題，發(fā)現(xiàn) Perplexity 仍然會提供有關(guān)每個受限制域名上托管的具體內(nèi)容的詳細(xì)信息?！?/p>

接下來發(fā)生的事情讓他們大吃一驚。Perplexity 似乎并沒有遵守封鎖規(guī)定，反而改變了策略。“我們觀察到，Perplexity 不僅使用了他們聲明的用戶代理，還在 macOS 上使用了一款通用瀏覽器，試圖在他們聲明的爬蟲程序被屏蔽時模擬 Google Chrome。”工程師們說道。寫道.

這些隱形爬蟲采用了復(fù)雜的規(guī)避技術(shù)。“這個未聲明的爬蟲使用了多個未列入 Perplexity 官方 IP 范圍的 IP，并會根據(jù) robots.txt 的限制性策略和 Cloudflare 的屏蔽規(guī)則，輪流使用這些 IP。除了輪流使用 IP 之外，我們還觀察到來自不同 ASN 的請求，試圖進(jìn)一步規(guī)避網(wǎng)站屏蔽?！?/p>

據(jù) Cloudflare 稱，Perplexity 的“已聲明”爬蟲（那些易于識別的爬蟲）每天生成 2000 萬到 2500 萬個請求，而那些未聲明的隱形爬蟲（那些依靠不正當(dāng)手段隱藏其目的的爬蟲）每天又生成 300 萬到 600 萬個請求。“我們觀察到這種活動涉及數(shù)萬個域名，每天生成數(shù)百萬個請求?！?/p>

該公司沒有回應(yīng)解密的置評請求。一位發(fā)言人駁斥了這些指控TechCrunch這只不過是 Cloudflare 的“推銷”手段而已。

Cloudflare 首席執(zhí)行官馬修·普林斯 (Matthew Prince) 一直直言不諱，認(rèn)為人工智能公司對網(wǎng)絡(luò)內(nèi)容的提取是不可持續(xù)的?！半S著人們越來越依賴人工智能摘要，搜索流量的推薦量急劇下降?！苯衲?7 月，他披露了一些令人震驚的比例：谷歌每抓取 18 個頁面，就會帶來 1 名訪客，而人工智能公司的比例則要高得多。OpenAI 的比例從六個月前的 250 比 1 下降到今天的 1500 比 1。Anthropic 的數(shù)字更為極端，同期的比例從 6000 比 1 躍升至 60000 比 1。

這促使 Cloudflare 推出了所謂的“內(nèi)容獨(dú)立日”，默認(rèn)阻止所有新域名的 AI 爬蟲，成為事實上的保護(hù)內(nèi)容創(chuàng)作者免受討厭的 AI 爬蟲威脅的義務(wù)警員。

作為 解密此前報道自去年秋季以來，已有超過一百萬個網(wǎng)站選擇屏蔽，其中包括美聯(lián)社, 時間, 《大西洋月刊》, BuzzFeed、Reddit、Quora 和環(huán)球音樂集團(tuán)也加入了這一運(yùn)動。

Cloudflare 表示：“我們明確要求爬蟲程序透明、服務(wù)于明確的目的、執(zhí)行特定的活動，最重要的是，遵循網(wǎng)站指令和偏好。” 該公司將 Perplexity 的行為與 OpenAI 的行為進(jìn)行了對比，稱 OpenAI 正確遵守 robots.txt 文件，并在被阻止時停止爬取。

Cloudflare 的應(yīng)對措施包括立即采取技術(shù)措施和長期計劃。該公司已將隱形爬蟲的簽名匹配功能部署到其托管規(guī)則中，所有客戶（包括免費(fèi)用戶）均可使用。此外，Cloudflare 還在開發(fā)“AI 迷宮”等工具，該工具可將不合規(guī)的機(jī)器人困在虛假內(nèi)容的迷宮中；此外，Cloudflare 還開發(fā)了一個“按次付費(fèi)”市場，允許出版商向 AI 公司收取訪問其內(nèi)容的費(fèi)用。