AMD ha annunciato l’acquisizione di Taalas, una startup canadese specializzata nella progettazione di acceleratori dedicati all’inferenza basati su un approccio innovativo: l’integrazione dei pesi dei modelli di intelligenza artificiale direttamente nel silicio del chip. L’operazione mira a ottimizzare velocità ed efficienza energetica dell’inferenza, un aspetto cruciale per il futuro dell’AI.

L’acquisizione rappresenta un passo significativo nella competizione con NVIDIA, leader di mercato nei sistemi per l’addestramento e l’utilizzo di modelli generativi grazie alle famiglie di GPU Hopper e Blackwell. AMD, che negli ultimi anni ha guadagnato terreno con gli acceleratori Instinct, intende posizionarsi come fornitore chiave di soluzioni AI complete.

Fondata nel 2023 a Toronto, Taalas ha sviluppato una tecnologia che si discosta dall’architettura tradizionale delle GPU. I processori grafici convenzionali devono costantemente caricare grandi quantità di parametri da memorie ad alta velocità come la HBM (High Bandwidth Memory) verso le unità di calcolo. Questo processo rappresenta un collo di bottiglia significativo, soprattutto nella fase di inferenza, ovvero nell’utilizzo pratico dei modelli addestrati.

La soluzione proposta da Taalas elimina gran parte di questa movimentazione dati integrando direttamente i pesi del modello all’interno della struttura stessa del chip. In pratica, si tratta di creare un circuito integrato progettato specificamente per un determinato modello AI, una sorta di “ASIC dedicato al modello” o MSIC (Model-Specific Integrated Circuit). Questo approccio promette velocità potenzialmente superiori rispetto alle architetture generaliste delle GPU tradizionali, anche se a scapito della flessibilità.

Lo scorso febbraio, Taalas ha presentato il suo primo chip sperimentale, denominato HC1, realizzato con processo produttivo TSMC a 6 nanometri. I test condotti dall’azienda hanno dimostrato che l’acceleratore è stato in grado di eseguire il modello Meta Llama 3.1 8B raggiungendo una velocità di circa 16.960 token al secondo. Questo risultato, secondo Taalas, supera ampiamente le prestazioni delle GPU NVIDIA utilizzate come riferimento e si rivela superiore anche a quelle offerte da acceleratori specializzati prodotti da aziende come Cerebras.

L’architettura interna del chip HC1 è particolarmente complessa. Integra una sezione basata su memoria ROM, utilizzata per conservare i pesi del modello direttamente nel silicio, e una parte basata su SRAM, dedicata alla gestione della cache KV (Key-Value) e degli adattamenti necessari per il fine tuning, ovvero l’affinamento del modello.

La seconda generazione della piattaforma, denominata HC2, punta ad aumentare significativamente la capacità dei modelli supportati, arrivando a gestire circa 20 miliardi di parametri per singolo acceleratore. Pur essendo un valore apparentemente ridotto rispetto ai modelli linguistici più avanzati attualmente disponibili – che raggiungono centinaia di miliardi o addirittura trilioni di parametri – questa capacità può essere scalata distribuendo il modello su più chip attraverso tecniche di parallelizzazione.

AMD potrebbe integrare i nuovi acceleratori all’interno dei propri sistemi rack Instinct Helios, creando un’architettura ibrida. In questo scenario, le GPU tradizionali gestirebbero le operazioni più complesse, come l’elaborazione iniziale delle richieste, mentre i chip basati sulla tecnologia Taalas si occuperebbero della generazione dei token. Questa strategia potrebbe portare vantaggi concreti per servizi AI commerciali.

Chatbot avanzati, assistenti per la programmazione e agenti autonomi richiedono infatti una capacità di risposta sempre maggiore, ma il costo dell’inferenza rappresenta in queste ore uno dei principali ostacoli per aziende come OpenAI, Anthropic e Meta. Ridurre il costo per token generato potrebbe diventare un elemento competitivo decisivo.

Un limite potenziale della tecnologia Taalas risiede nella sua rigidità. Un chip con i pesi di un modello incorporati fisicamente non può essere aggiornato con la stessa rapidità di una GPU tradizionale. Se il modello subisce modifiche significative, è necessario realizzare una nuova versione del silicio. Tuttavia, la startup sostiene che gli aggiornamenti potrebbero non richiedere necessariamente una riprogettazione completa del chip, ma solo modifiche a determinati livelli metallici della struttura interna, riducendo tempi e costi.

Questa caratteristica rende la tecnologia particolarmente interessante per i grandi laboratori di ricerca sull’AI, che spesso lavorano con modelli destinati a rimanere stabili per lunghi periodi. Aziende come OpenAI, Anthropic e Meta, già clienti AMD attraverso gli acceleratori Instinct, potrebbero rappresentare i primi acquirenti della combinazione di GPU tradizionali e chip specializzati Taalas.

L’impatto dell’acquisizione potrebbe estendersi anche allo sviluppo dei modelli stessi. Una delle tecniche più utilizzate per migliorare l’affidabilità delle risposte dell’AI è il cosiddetto test-time scaling, che permette al modello di dedicare più tempo al ragionamento prima di produrre un risultato. Se gli acceleratori Taalas riuscissero a moltiplicare la velocità di generazione e ridurre sensibilmente il costo dell’inferenza, gli sviluppatori potrebbero spingersi verso modelli capaci di ragionamenti più lunghi e complessi, modificando ulteriormente l’equilibrio tra potenza di calcolo, efficienza energetica e qualità delle risposte.

* Contenuto realizzato con l’ausilio di sistemi di intelligenza artificiale.