OpenAI ha annunciato lo sviluppo di un nuovo modello di intelligenza artificiale denominato GPT-Red. Questo modello, tuttavia, non sarà reso disponibile al pubblico; è stato progettato per essere utilizzato internamente dai team di ingegneria OpenAI con l’obiettivo di migliorare le protezioni del modello GPT-5.6 contro gli attacchi di prompt injection.

GPT-Red è stato integrato nel processo di addestramento di GPT-5.6 Sol, una versione specifica del modello, per rafforzare le sue capacità difensive. OpenAI sottolinea l’importanza di un team dedicato alla ricerca e risoluzione delle vulnerabilità nei modelli AI prima della loro distribuzione pubblica, con particolare attenzione alle protezioni contro gli attacchi che potrebbero portare all’esfiltrazione di dati personali o all’esecuzione di azioni non autorizzate.

La ricerca di queste vulnerabilità rappresenta una sfida complessa e la completa verifica di tutti i possibili tipi di attacco è impraticabile. Per affrontare questa difficoltà, OpenAI ha sviluppato GPT-Red, un modello che simula gli attacchi inviando prompt specifici, valutando le risposte del sistema e ripetendo il processo iterativamente.

Grazie a GPT-Red, la robustezza di GPT-5.6 Sol è stata significativamente migliorata. I test condotti dall’azienda californiana dimostrano che GPT-5.6 Sol è ora in grado di bloccare efficacemente tentativi di esfiltrazione di credenziali AWS, l’esecuzione di pagamenti non autorizzati e la disattivazione dell’autenticazione a due fattori.

L’addestramento di GPT-Red si basa sulla tecnica del self-play reinforcement learning. In questo approccio, il modello viene addestrato simultaneamente con una collezione di diversi modelli linguistici (LLM) progettati per la difesa, su un ampio insieme di scenari possibili. GPT-Red riceve una ricompensa quando riesce a provocare un errore nel sistema, come ad esempio un’iniezione di prompt riuscita, mentre i modelli di difesa vengono premiati per aver resistito all’attacco e completato correttamente i loro compiti originali.

Man mano che i modelli di difesa diventano più robusti, GPT-Red è costretto a sviluppare attacchi sempre più sofisticati e diversificati. Al termine del processo di addestramento, GPT-Red si è dimostrato capace di violare quasi tutti i modelli con cui è stato confrontato, incluso GPT-5.5.

OpenAI ha quindi sfruttato le capacità di GPT-Red per generare prompt injection specifici da utilizzare nell’addestramento di GPT-5.6, rendendo il modello particolarmente resistente a questo tipo di attacchi. L’azienda prevede di aumentare la potenza computazionale e la quantità di dati utilizzati per addestrare le future versioni di GPT-Red, al fine di migliorare ulteriormente la sicurezza delle prossime generazioni di modelli AI.