Articol actualizat pe 04 July 2025
Cloudflare blochează automat bot-urile AI și lansează un model Pay Per Crawl
Cloudflare, care deservește aproximativ 20% din site-urile web, a anunțat marți că acum blochează bot-urile AI de web-scraping din accesarea acestor site-uri în mod implicit. În lipsa unei setări explicite din partea site-ului web, un crawler AI va trebui să obțină permisiunea de la site pentru a extrage conținutul său. Proprietarii de site-uri pot decide dacă doresc ca crawler-ii AI să aibă acces la conținutul lor și pot stabili modul în care companiile AI îl pot utiliza, a explicat Cloudflare într-o declarație.
Cloudflare a explicat că de zeci de ani internetul a funcționat pe un schimb simplu: motoarele de căutare indexează conținutul și îi direcționează pe utilizatori înapoi către site-urile originale, generând trafic și venituri din reclame pentru site-urile de toate dimensiunile. Acest ciclu recompensează creatorii care produc conținut de înaltă calitate cu compensații financiare și o urmărire în creștere, ajutând utilizatorii să descopere informații noi și relevante.
Acest model este acum în pericol, a continuat el. Crawler-ii AI colectează conținut precum text, articole și imagini pentru a genera răspunsuri, fără a direcționa vizitatorii către sursa originală, privând astfel creatorii de conținut de venituri și de satisfacția de a ști că cineva vede conținutul lor. Dacă stimulentul de a crea conținut original și de înaltă calitate dispare, societatea pierde, iar viitorul internetului este în pericol.
Modelul Pay Per Crawl pentru accesul AI
Pe lângă blocarea automată a web-scraping-ului de către bot-urile AI, Cloudflare a anunțat și Pay Per Crawl, care le permite proprietarilor de site-uri să aleagă, pe o bază individuală, să permită crawler-ilor AI să extragă conținutul site-ului lor la o rată stabilită – o mică plată pentru fiecare “crawl”.
“Scopul principal al Cloudflare este de a ajuta proprietarii de site-uri și editorii să decidă ce crawler-i pot accesa conținutul lor și să creeze condițiile pentru dezvoltarea unei piețe,” a declarat Will Allen, șeful de control al AI, confidențialitate și produse media din cadrul Cloudflare, pentru TechNewsWorld.
“Cu dezvoltarea Pay Per Crawl,” a spus el, “Cloudflare experimentează o modalitate de a ajuta creatorii de conținut să fie compensați pentru contribuțiile lor la economia AI. Pay Per Crawl le va permite creatorilor să controleze accesul și să primească plată, asigurându-se că companiile AI pot utiliza conținutul de calitate în mod corect – cu permisiune și compensație.”
Opțiuni și Reacții
- Cloudflare blochează bot-urile AI de web-scraping în mod implicit
- Lansează modelul Pay Per Crawl pentru controlul accesului AI
- Reacții mixte din partea experților și companiilor AI
Jason Dion, directorul de produs și fondatorul Akylade, un furnizor de certificări de securitate cibernetică din Altamonte Springs, Florida, a observat că acest model de plată per crawl este similar cu utilizarea unui API și plata pentru ceea ce utilizezi.
“La fel cum ChatGPT percepe utilizatorilor fracțiuni de bani pentru fiecare token, un model similar ar putea fi folosit pentru a compensa site-urile web care optează pentru extragerea conținutului lor,” a explicat el pentru TechNewsWorld.
Posibilă Lovitură Mare
Greg Sterling, co-fondatorul Near Media, o firmă de cercetare de piață din San Francisco, a argumentat că mișcarea Cloudflare este “potențial o lovitură mare”, deoarece compania alimentează aproximativ 20% din internet și o treime din site-urile mai cunoscute.
“Este un efort de a recâștiga puterea și de a oferi editorilor control asupra modului în care conținutul lor este utilizat de AI și încearcă să compenseze editorii într-o perioadă de declin al traficului și clicurilor, ceea ce le pune modelele de afaceri în pericol,” a spus el pentru TechNewsWorld, “dar în final ar putea să nu aibă un impact semnificativ asupra AI-ului.”
“Rămâne de văzut câte site-uri aleg să utilizeze aceasta,” a spus el. “Există o posibilă problemă de FOMO [frica de a rata ceva] sau un dilema prizonierului care avantajează companiile AI: ‘Dacă nu sunt acolo, competitorii mei vor fi’.”
“Totuși, este totuși un pas important care schimbă potențial termenii dezbaterii și dinamica puterii între editorii de conținut și platformele AI,” a adăugat el.
Balanța dintre Inovația AI și Controlul Conținutului
Mittelsteadt Matt, un cercetător în politici tehnologice la Institutul Cato, un think tank din Washington, D.C., a subliniat că există beneficii de securitate pentru site-urile web care utilizează schema permisiunilor Cloudflare.
“Abordarea permisiunilor este o îmbunătățire față de modelul actual de cucerire a sălbăticiei,” a spus el pentru TechNewsWorld. “Așa cum este acum, web-scraping-ul fără permisiune a pus într-adevăr la încercare capacitatea furnizorilor de conținut de a-și menține controlul asupra proprietății lor digitale. În curând, însă, permisiunile vor conta și mai mult.”
Daniel Castro, vicepreședintele Institutului de Tehnologie și Inovare, o organizație de cercetare și politici publice din Washington, D.C., a susținut că decizia Cloudflare de a bloca bot-urile AI de la a extrage site-uri web în mod implicit ar putea avea un impact semnificativ asupra ecosistemului AI.
„Multe companii AI caută activ acces la informații de încredere și de înaltă calitate pentru a-și antrena și rafina modelele – uneori plătind pentru ele, dar adesea bazându-se pe date publice,” a spus el pentru TechNewsWorld. „Trecând la blocarea implicită a acestor crawleri, Cloudflare riscului să limiteze accesul la acele informații publice, în special pentru companiile care sunt transparente în privința practicilor lor și respectă preferințele site-urilor.”
„Deși proprietarii de site-uri au toate drepturile să controleze accesul la conținutul lor, restrângerea accesului larg la datele web ar putea, în cele din urmă, să diminueze acuratețea și calitatea sistemelor AI,” a continuat el. „În timp, acest lucru ar putea defavoriza utilizatorii care depind de instrumentele AI pentru a rezuma, interpreta sau analiza informațiile online. Între timp, actorii mai puțin scrupuloși ar putea pur și simplu să ocolească restricțiile etichetând greșit crawler-ii sau obținând datele de la agregatori terți.”
Castro a adăugat că modelul Pay Per Crawl este o încercare interesantă de a aborda tensiunea dintre cererea AI și controlul editorilor. Cu toate acestea, plățile mici pentru crawl-urile individuale ar putea să nu fie viabile la scară. „Valoarea datelor de antrenament stă în amploarea lor, nu într-o sursă specifică, așa că acest model ar putea beneficia în principal intermediarilor de plată în loc de proprietarii de site-uri sau dezvoltatorii AI,” a explicat el.
„În cele din urmă, aceste mișcări subliniază o provocare mai largă: echilibrarea inovației cu controlul,” a spus el. „Dacă ne înclinăm prea mult spre restricționarea accesului, am putea submina webul deschis și potențialul AI de a servi interesul publicului.”
Întrebări frecvente
1. Cum funcționează modelul Pay Per Crawl propus de Cloudflare?
Răspuns: Modelul Pay Per Crawl le permite proprietarilor de site-uri să decidă dacă permit sau nu accesul crawlerilor AI la conținutul lor, plătind o mică sumă pentru fiecare “crawl”.
2. Care sunt beneficiile și riscurile asociate cu blocarea bot-urilor AI de la web-scraping?
Răspuns: Beneficiile includ protejarea drepturilor de autor și controlul conținutului, în timp ce riscurile pot include limitarea accesului la informații publice și impactul asupra dezvoltării AI.
3. Cum ar putea evolua relația
Sursa: Tech News World
