Meta starebbe costruendo un indice del Web di proprietà, finalizzato a fornire dati aggiornati a Meta AI senza dover necessariamente ricorrere a Google e Bing. L’esistenza dei crawler dell’azienda è già documentata e alcuni webmaster hanno segnalato un aumento delle scansioni.

Meta sta lavorando alla creazione di un indice Web proprietario per alimentare Meta AI, riducendo la dipendenza da motori di ricerca come Google e Bing. L’informazione proviene da Pieter Levels, che ha pubblicato screenshot relativi alle visite dei crawler Meta sui propri siti web, mentre documenti ufficiali dell’azienda confermano l’esistenza di strumenti dedicati all’indicizzazione delle pagine per migliorare i risultati forniti da Meta AI.

Secondo quanto riferito da Levels, l’obiettivo sarebbe consentire a Meta AI di effettuare ricerche su un indice controllato direttamente da Meta, evitando di inviare le richieste ai motori di ricerca della concorrenza. In questo modo, la società potrebbe gestire autonomamente la raccolta dei dati, il recupero delle pagine, il posizionamento e i costi delle interrogazioni.

Questa iniziativa si inserisce in un progetto già emerso nel 2024, quando si parlò di un motore capace di analizzare il Web per fornire a Meta AI risposte conversazionali su notizie, sport, quotazioni e altri contenuti aggiornati. La documentazione pubblica di Meta conferma l’utilizzo di diversi crawler con funzioni specifiche: Meta-ExternalAgent analizza il Web per attività come l’addestramento dei modelli e il miglioramento dei prodotti, mentre Meta-WebIndexer è indicato come lo strumento dedicato alla qualità dei risultati di ricerca di Meta AI e alla possibilità di citare e collegare i contenuti nelle risposte.

Al momento non ci sono prove che Meta stia preparando un motore di ricerca generalista aperto al pubblico. L’ipotesi più probabile è quella di un’infrastruttura destinata principalmente al recupero di informazioni per Meta AI, all’interno dei servizi Facebook, Instagram, WhatsApp, Messenger e degli altri servizi Web dell’azienda.

Un indice proprietario consentirebbe a Meta di controllare l’intera catena tecnica che va dalla scansione di una pagina alla risposta generata dal modello, garantendo maggiore autonomia sui dati aggiornati e sulle fonti presentate agli utenti. L’azienda ha già pubblicato le stringhe User-Agent dei propri crawler e fornisce ai webmaster indicazioni sugli strumenti utilizzati per l’indicizzazione, il recupero di singoli link e l’addestramento dei modelli.

Meta non ha confermato pubblicamente il lancio di un motore di ricerca indipendente né fornito dettagli sulle dimensioni dell’indice, i criteri di ranking o le tempistiche. Per ora, il progetto sembra più orientato a costituire un livello infrastrutturale per Meta AI che a diventare un nuovo portale destinato a sostituire Google nella ricerca Web tradizionale.

* Contenuto realizzato con l’ausilio di sistemi di intelligenza artificiale.