La start-up di intelligenza artificiale di Elon Musk, xAI, ha annunciato di recente che “Colossus”, il supercomputer di addestramento per l’intelligenza artificiale (AI) più potente al mondo, è ora online. Con sede a Memphis, Tennessee, questo nuovo supercomputer di intelligenza artificiale è stato costruito in soli quattro mesi (122 giorni).
Il nuovo cluster di training xAI è stato costruito utilizzando 100.000 GPU NVIDIA benchmark Hopper H100, un componente molto richiesto per il training di nuovi modelli AI. Questo modello è progettato per addestrare la prossima generazione del modello linguistico di grandi dimensioni (LLM) di xAI, Grok.
L’azienda prevede inoltre di raddoppiare il numero di GPU, portandole a 200.000 in pochi mesi, aggiungendo altri 50.000 chip della nuova e più avanzata serie H200 di NVIDIA, che offre una maggiore memoria di calcolo.
Inoltre, le nuove GPU di riferimento Hopper H200 di NVIDIA dispongono di fino a 141 GB di memoria HBM3E più veloce, rispetto alla H100, che dispone di fino a 80 GB di memoria HBM3.
Questo fine settimana, il @xAI il team ha portato online il nostro cluster di formazione Colossus 100k H100. Dall’inizio alla fine, è stato fatto in 122 giorni.
Colossus è il sistema di addestramento AI più potente al mondo. Inoltre, raddoppierà le sue dimensioni a 200k (50k H200) in pochi mesi.
Eccellente…
— Elon Musk (@elonmusk) 2 settembre 2024
“Questo fine settimana, il team xAI ha portato online il nostro cluster di addestramento Colossus 100K H100. Dall’inizio alla fine, è stato fatto in 122 giorni. Colossus è il sistema di addestramento AI più potente al mondo. Inoltre, raddoppierà le sue dimensioni a 200K (50K H200) in pochi mesi. Ottimo lavoro da parte del team, di NVIDIA e dei nostri numerosi partner/fornitori”, ha twittato Musk su X (ex Twitter).
“È emozionante vedere Colossus, il più grande #supercomputer GPU al mondo, andare online in tempo record. Colossus è alimentato dalla piattaforma #acceleratedcomputing di @nvidia, che offre prestazioni rivoluzionarie con guadagni eccezionali in termini di #efficienzaenergetica. Congratulazioni a tutto il team!” ha scritto l’handle X di NVIDIA Data Center sulla sua piattaforma.
La GPU NVIDIA costa circa 30.000 dollari, il che suggerisce che Musk ha speso almeno 3 miliardi di dollari per costruire il nuovo supercomputer, una struttura che richiederà anche ingenti risorse di elettricità e raffreddamento.
Attualmente, Grok 2 di Musk, il modello di intelligenza artificiale di seconda generazione di xAI addestrato utilizzando 15.000 GPU H100, è disponibile esclusivamente per gli abbonati X premium e X premium plus con capacità di generazione di immagini e testo. Ha affermato che prevede di rilasciare il modello di intelligenza artificiale di terza generazione di xAI, Grok-3, entro dicembre.
