Soofi S è un nuovo modello di intelligenza artificiale open source sviluppato in Germania. Si distingue per l’architettura ibrida Mamba-Transformer, l’addestramento su un vasto dataset di 27 trilioni di token e le prestazioni competitive dimostrate nei benchmark sia in lingua inglese che tedesca.

Mentre l’Europa continua a impegnarsi per recuperare terreno rispetto a Stati Uniti e Cina nel settore dell’intelligenza artificiale generativa, il progetto Soofi S 30B-A3B rappresenta un passo avanti significativo. Si tratta di uno dei primi modelli linguistici di grandi dimensioni (LLM) addestrato interamente su infrastrutture europee, con l’obiettivo di coniugare apertura del codice sorgente, sovranità tecnologica e prestazioni paragonabili ai principali modelli open disponibili.

Il progetto è coordinato dall’associazione tedesca KI Bundesverband, un consorzio ampio che riunisce università, centri di ricerca e aziende specializzate in intelligenza artificiale. Tra i partner figurano istituti come Fraunhofer, DFKI, TU Darmstadt, oltre a diverse realtà industriali. L’addestramento del modello è stato eseguito sull’Industrial AI Cloud di Deutsche Telekom, situato a Monaco di Baviera, utilizzando esclusivamente energia rinnovabile.

Soofi S adotta un approccio architetturale differente rispetto ai tradizionali modelli Transformer. Il sistema utilizza una struttura Mixture of Experts (MoE) con circa 31,6 miliardi di parametri complessivi, ma ne attiva solamente 3,2 miliardi durante la generazione di ogni token. Questo significa che, pur appartenendo alla categoria dei modelli da oltre 30 miliardi di parametri, il carico computazionale richiesto durante l’inferenza è comparabile a quello di un modello significativamente più piccolo.

La base architetturale deriva da Nvidia Nemotron 3 Nano, mantenendone la configurazione ibrida che combina layer Transformer tradizionali con layer basati su Mamba-2. Questa tecnologia è stata progettata per migliorare la gestione di contesti estremamente lunghi riducendo il fabbisogno di memoria durante l’elaborazione. Questo aspetto rappresenta uno dei punti di forza del progetto.

Nei modelli Transformer convenzionali, l’aumento della lunghezza del contesto comporta una crescita continua della cosiddetta KV Cache, ovvero la memoria utilizzata per conservare le informazioni necessarie al meccanismo di attenzione. Quando il numero di token aumenta e le richieste simultanee si moltiplicano, questa memoria diventa rapidamente un collo di bottiglia. Soofi S affronta questo problema limitando drasticamente il numero di layer che utilizzano tale cache. Su 52 livelli complessivi, soltanto sei fanno ricorso al tradizionale meccanismo di attenzione, consentendo al modello di mantenere prestazioni stabili anche con finestre contestuali molto estese.

I test pubblicati dal consorzio dimostrano una velocità di generazione quasi costante da 4.000 fino a 256.000 token di contesto. In scenari particolarmente impegnativi, come una finestra di 40.000 token con 32 richieste elaborate in parallelo, Soofi S è stato in grado di produrre circa otto volte più token al secondo per GPU rispetto a numerosi modelli Transformer tradizionali compresi tra i 14 e i 24 miliardi di parametri.

Un’altra caratteristica distintiva riguarda il dataset utilizzato per l’addestramento. Il modello è stato istruito su circa 27 trilioni di token distribuiti in tre fasi successive. La prima fase ha sfruttato un enorme insieme di contenuti provenienti dal web, codice sorgente, testi matematici e documentazione tecnica. La seconda si è concentrata su fonti ritenute qualitativamente superiori, mentre l’ultima è servita principalmente ad ampliare la capacità del modello di gestire documenti molto lunghi, arrivando fino a un milione di token.

La componente linguistica rappresenta una particolarità significativa. A differenza della maggior parte dei grandi LLM internazionali, fortemente orientati verso l’inglese, Soofi S dedica una quota significativamente maggiore ai contenuti in lingua tedesca. Durante la fase iniziale dell’addestramento questi rappresentavano circa il 7% del dataset, percentuale poi salita oltre il 15% nelle fasi successive. Per ottenere questo risultato, sono stati utilizzati numerosi corpus specifici tra cui raccolte di pagine web tedesche, Wikipedia, documenti PDF, articoli di giornale provenienti da oltre 900 testate nazionali e testi generati sinteticamente per ampliare ulteriormente la copertura linguistica.

Secondo gli sviluppatori, questa scelta ha permesso di migliorare sensibilmente la qualità del modello nelle attività che richiedono una profonda conoscenza della lingua e del contesto culturale tedesco, senza compromettere le prestazioni in inglese. I benchmark pubblicati confermano un livello competitivo, con Soofi S che ha ottenuto i migliori risultati complessivi tra i modelli completamente open sia nelle prove in inglese, sia in quelle in tedesco, superando concorrenti di riferimento come OLMo 3 32B e Apertus 70B.

Le prestazioni risultano particolarmente convincenti nella generazione di codice. Nei principali benchmark dedicati alla programmazione, come HumanEval e MBPP, il modello raggiunge risultati superiori rispetto alla maggior parte dei concorrenti open source, dimostrando una notevole efficacia anche nella versione tedesca del test. Tuttavia, nei problemi matematici particolarmente complessi, Soofi S rimane leggermente dietro a modelli come Qwen3.5 e Gemma 3, mentre nelle attività di recupero di conoscenze fattuali mostra qualche difficoltà, probabilmente legata al numero relativamente ridotto di parametri effettivamente attivi durante l’inferenza.

Anche uno dei test dedicati ai contesti molto lunghi evidenzia una debolezza specifica. Quando viene richiesto di individuare parole ricorrenti all’interno di documenti estremamente estesi, il modello perde precisione oltre i 32.000 token, un comportamento che gli sviluppatori attribuiscono alla composizione del dataset utilizzato durante la fase finale dell’addestramento, ricco di documenti lunghi ma meno specializzato nei compiti di estrazione delle informazioni.

Oltre alle prestazioni, Soofi S punta molto anche sulla trasparenza. Il consorzio renderà disponibili i pesi del modello, parte dei checkpoint intermedi, il codice utilizzato per l’addestramento e una documentazione estremamente dettagliata sull’origine dei dati impiegati. Secondo i promotori, circa il 99% dell’intero dataset può essere ricostruito indipendentemente, offrendo un livello di apertura ancora raro nel panorama dei grandi modelli linguistici. Resta soltanto una piccola eccezione rappresentata da una quota di dati provenienti dal database commerciale Genios, che impedisce al progetto di soddisfare le definizioni più restrittive di open data proposte in ambito europeo.

Nonostante questa limitazione, Soofi S rappresenta uno dei tentativi più concreti di costruire un ecosistema AI realmente europeo, sviluppato su infrastrutture sovrane e pensato per applicazioni industriali nei settori della documentazione tecnica, della generazione di codice e dei futuri sistemi agentici.