Nei prossimi anni, un singolo rack Nvidia potrebbe raggiungere un costo paragonabile a quello di un edificio di lusso. Questo non è dovuto solamente alle GPU, ma anche all’aumento dei requisiti di memoria per le future piattaforme dedicate all’intelligenza artificiale.

Le nuove architetture prevedono sistemi in grado di ospitare oltre 340 TB di memoria all’interno di un singolo armadio. Una quantità che, fino a poco tempo fa, sarebbe stata considerata eccessiva persino per data center di medie dimensioni. Le stime attuali indicano un costo complessivo vicino ai 40 milioni di dollari, equivalenti a circa 37 milioni di euro per un solo rack.

Questo dato evidenzia un cambiamento significativo nel settore: per anni il chip è stato l’elemento principale in termini di prestazioni e prezzo. Ora la memoria sta assumendo un ruolo centrale, modificando le dinamiche consolidate.

Quando la DRAM costa più della GPU

Nei futuri sistemi basati su Vera Rubin Ultra, la DRAM potrebbe rappresentare una quota di costo superiore a quella delle unità grafiche installate. Questa inversione di tendenza rispetto al passato, dove il silicio di calcolo assorbiva la maggior parte del budget, è dovuta alla crescente necessità di spazio per i modelli di intelligenza artificiale più avanzati.

Questi modelli richiedono ampie capacità di memoria per mantenere i parametri vicini ai motori di calcolo. Una carenza di memoria causerebbe rallentamenti nelle GPU, con conseguenti perdite economiche. Da qui la spinta a riempire i rack con quantità di memoria impensabili fino a qualche generazione fa.

Oltre 340 TB in un armadio implicano una densità che mette sotto pressione l’intera infrastruttura, dalla distribuzione elettrica al raffreddamento, fino alla logistica di installazione. Questi sistemi richiedono una progettazione integrata con l’edificio che li ospita.

Perché il prezzo sale così tanto

Un costo stimato di 40 milioni di dollari (circa 37 milioni di euro) per una singola configurazione può sembrare eccessivo. Tuttavia, la logica è semplice: aumentare la capacità di memoria significa moltiplicare i moduli necessari, e il loro prezzo attuale, in un mercato orientato all’intelligenza artificiale, non è in calo.

La domanda di chip di memoria per server dedicati all’IA ha alterato le dinamiche del settore, ponendo i produttori di DRAM in una posizione di forza. Di conseguenza, una voce di costo storicamente secondaria si è trasformata nel principale fattore che contribuisce al raggiungimento di cifre così elevate per i rack Nvidia di nuova generazione.

Cosa cambia per chi costruisce data center

Per gli operatori che stanno ampliando la capacità di calcolo dedicata all’IA, questo cambio di equilibrio non è un dettaglio trascurabile. Pianificare un investimento in cui la DRAM supera il costo delle GPU richiede una revisione dei modelli di acquisto, dei contratti di fornitura e persino dei tempi di consegna, considerando i ritmi produttivi specifici della memoria.

Le dimensioni previste per i sistemi Vera Rubin Ultra riflettono l’orientamento di Nvidia verso piattaforme sempre più integrate, dove il rack diventa l’unità di misura di riferimento, superando la singola scheda acceleratrice. Un armadio con oltre 340 TB a bordo non è un server tradizionale, ma un blocco infrastrutturale progettato per operare come un’entità unica. In questo scenario, la memoria smette di essere un componente accessorio per diventare il fattore determinante nel costo reale dell’addestramento e dell’esecuzione di modelli di grandi dimensioni.

* Contenuto realizzato con l’ausilio di sistemi di intelligenza artificiale.