Cloudflare va introduce, începând cu 15 septembrie 2026, noi reguli pentru modul în care boții și crawlerii interacționează cu site-urile internet. Schimbările vizează separarea traficului destinat indexării pentru motoarele de căutare de cel folosit pentru antrenarea și funcționarea modelelor de inteligență artificială. Proprietarii de domenii vor putea configura explicit dacă acceptă sau nu accesul pentru aceste activități.
Ce presupune noua politică a Cloudflare
Cloudflare va activa noile setări în mod implicit pentru domeniile adăugate ulterior platformei. Traficul destinat căutărilor va fi permis de bază, însă accesul pentru antrenarea modelelor AI și pentru agenții care vizitează pagini în numele utilizatorilor va fi blocat în mod implicit pe site-urile cu reclame. Proprietarii vor putea schimba aceste preferințe ulterior, indiferent de termenul limită.
Este vorba despre o diferențiere clară între crawlerele clasice și cele cu utilizare mixtă, care pot combina indexarea pentru rezultate de căutare cu colectarea de date pentru trainingul modelelor AI. În cazul în care administratorii blochează categoria „Training”, regula va fi aplicată automat și pentru aceste crawlere multifuncționale, precum Googlebot, Applebot sau Bingbot.
Impactul asupra site-urilor și conținutului online
Schimbarea vizează în special site-urile care afișează reclame și conținut monetizat. În procesul de colectare a datelor, agenții AI pot extrage și rezuma conținut, fără ca utilizatorii să acceseze pagina originală. Pentru aceste site-uri, accesul nelimitat al boților poate însemna pierderi financiare, atât din cauza consumului de resurse, cât și din cauza faptului că informația ajunge în mod direct în răspunsurile generate de AI.
Procedura pentru utilizatorii Cloudflare permite modificări ale setărilor înainte sau după data de 15 septembrie 2026. Aceasta oferă o posibilitate de protecție suplimentară pentru conținutul care generează venituri din trafic și publicitate.
De ce crește atenția asupra boților AI
Mecanismele de inteligență artificială au generat o schimbare semnificativă în comportamentul traficului pe web. Pe lângă indexarea clasică pentru rezultate de căutare, sistemele AI vizitează site-urile pentru a colecta informații în timp real, pentru a crea rezumate și pentru a răspunde automat la întrebări.
Acest trafic poate deveni costisitor pentru infrastructură, fiind proporțional cu volumul de cereri automate. În plus, există întrebări legate de modul în care veniturile generate de conținutul original se redistribuie, având în vedere că răspunsurile AI pot folosi informația fără ca utilizatorii să fie direcționați către site-urile sursă.
Controlul proprietarilor de site-uri asupra traficului
Cloudflare își propune să diferențieze clar între tipurile de crawlere. Aceasta se face pentru a proteja site-urile de accesul necontrolat, în special în cazul celor care se bazează pe venituri din publicitate. Proprietarii pot decide dacă permit indexarea, antrenarea modelelor AI sau accesul pentru vizitele agenților.
Separarea acestor categorii poate ajuta site-urile să păstreze controlul asupra modului în care conținutul lor este utilizat în ecosistemul AI. Astfel, se poate evita folosirea neautorizată a datelor în formatele destinate procesării automate.
Această politică vine într-un moment în care crește preocuparea legată de încărcarea excesivă a serverelor și de pierderea controlului asupra datelor dacă acestea sunt accesate și folosite automat de algoritmi AI. Deținătorii de site-uri pot ajusta setările pentru a-și proteja conținutul în funcție de preferințele lor și de strategiile de monetizare.