Cloudflare introdurrà nuove restrizioni nei confronti dei crawler di intelligenza artificiale che combinano ricerca e addestramento dei modelli. L’obiettivo è proteggere editori e contenuti online, aprendo anche a nuovi modelli di remunerazione.

A partire dal 15 settembre 2026, la società modificherà le impostazioni predefinite della propria piattaforma bloccando automaticamente i cosiddetti crawler “mixed-use”, ovvero quei bot che utilizzano la stessa infrastruttura sia per l’indicizzazione dei contenuti destinati ai motori di ricerca, sia per alimentare servizi basati sull’intelligenza artificiale o addestrare nuovi modelli linguistici.

La novità riguarderà tutti i nuovi clienti Cloudflare, i nuovi siti creati dagli utenti già registrati e l’intera base degli account gratuiti. In pratica, i proprietari dei siti non dovranno più intervenire manualmente per limitare questo tipo di accesso, ma il blocco sarà attivo di default e potrà essere disattivato soltanto scegliendo impostazioni differenti.

L’obiettivo è distinguere in modo più netto le attività dei motori di ricerca tradizionali da quelle legate all’intelligenza artificiale. Cloudflare sottolinea che molti gestori di siti web desiderano continuare a comparire nei risultati di ricerca, ma non vogliono che i propri contenuti vengano utilizzati gratuitamente per addestrare modelli AI o alimentare agenti intelligenti senza alcuna compensazione.

L’azienda evidenzia come il più grande motore di ricerca del mondo disponga di una quantità di informazioni superiore rispetto agli altri sviluppatori di AI, proprio perché utilizza infrastrutture condivise che rendono difficile separare l’indicizzazione per la ricerca dall’utilizzo dei contenuti nei servizi basati sull’intelligenza artificiale. Google aveva già contestato questa interpretazione in passato, mettendo a disposizione Google Extended, un crawler dedicato che consente agli editori di impedire l’utilizzo dei propri contenuti per l’addestramento dei modelli e per prodotti come Gemini e Vertex AI senza compromettere la presenza nei risultati del motore di ricerca.

Rimane comunque il ruolo del tradizionale Googlebot, impiegato anche per funzionalità sempre più integrate con l’intelligenza artificiale, come AI Overviews e AI Mode, rendendo meno netto il confine tra ricerca classica ed elaborazione AI.

Secondo Matthew Prince, cofondatore e CEO di Cloudflare, il momento richiede un cambio di paradigma. L’azienda evidenzia che il traffico generato dai bot ha ormai superato quello prodotto dagli utenti umani, un traguardo previsto solo per il prossimo anno. Questo cambiamento rende necessario costruire un ecosistema più sostenibile, nel quale i proprietari dei contenuti possano decidere con maggiore trasparenza chi può accedere alle proprie informazioni e per quale finalità.

Le nuove impostazioni rappresentano una parte della strategia di Cloudflare. Negli ultimi anni, la società ha sviluppato numerosi strumenti dedicati alla gestione dei crawler AI, compreso Pay Per Crawl, un sistema che consente agli editori di richiedere un compenso economico alle aziende che effettuano attività di scraping dei contenuti.

Ora questo modello si evolve ulteriormente con Pay Per Use, un meccanismo che sposta il focus dal semplice accesso ai dati al valore effettivamente generato. L’idea è remunerare gli editori quando i loro contenuti vengono realmente utilizzati per produrre risposte, risultati di ricerca o altri servizi basati sull’intelligenza artificiale, superando il concetto tradizionale di pagamento per singola scansione delle pagine.

L’iniziativa potrebbe portare benefici anche dal punto di vista infrastrutturale. Le analisi interne di Cloudflare indicano che oltre la metà del traffico generato dai crawler AI riguarda pagine già acquisite in precedenza e rimaste invariate. Limitare queste richieste ridurrebbe il consumo di banda e di risorse computazionali a carico dei siti web, migliorando l’efficienza complessiva dell’ecosistema.

Per inaugurare il nuovo modello commerciale, Cloudflare collaborerà inizialmente con Ceramic.ai e You.com. Gli editori che aderiranno al programma riceveranno un compenso quando i propri contenuti verranno utilizzati nei risultati di ricerca AI di Ceramic oppure quando You.com accederà a materiali premium. L’azienda precisa inoltre che il sistema è pensato per essere adattabile anche da altri sviluppatori di intelligenza artificiale, aprendo la strada a un nuovo equilibrio tra innovazione tecnologica e tutela economica dei contenuti digitali.