Il team di DeepSeek ha recentemente pubblicato un approfondimento tecnico sul loro ultimo modello, DeepSeek-V3. Questo studio si concentra sulle “sfide di scalabilità” incontrate durante l’addestramento di modelli AI su larga scala e sulle relative considerazioni sull’architettura hardware. Il documento, di 14 pagine, non solo riassume le esperienze e le lezioni apprese durante lo sviluppo di V3, ma offre anche spunti preziosi per la futura progettazione hardware. È degno di nota che anche il CEO di DeepSeek, Liang Wenfeng, abbia contribuito alla stesura di questo paper.
Questo studio rivela come la rapida crescita degli attuali modelli linguistici di grandi dimensioni (LLM) abbia messo in luce numerose limitazioni delle architetture hardware esistenti, tra cui la capacità di memoria, l’efficienza computazionale e la larghezza di banda di interconnessione. DeepSeek-V3 è stato addestrato su un cluster composto da 2048 GPU NVIDIA H800, superando queste sfide attraverso un design del modello efficace e consapevole dell’hardware, che ha permesso un addestramento e un’inferenza su larga scala economicamente vantaggiosi.
Il documento sottolinea diversi aspetti cruciali. In primo luogo, DeepSeek-V3 impiega un’architettura DeepSeekMoE avanzata e un’architettura multi-head latent attention (MLA), migliorando significativamente l’efficienza della memoria. La tecnica MLA comprime le cache key-value, riducendo notevolmente l’utilizzo della memoria: ogni token richiede solo 70 KB di memoria, una quantità significativamente inferiore rispetto ad altri modelli.
In secondo luogo, DeepSeek ha raggiunto un’ottimizzazione notevole in termini di rapporto costo-efficacia. Implementando la sua architettura mixture-of-experts (MoE), DeepSeek-V3 ha ridotto drasticamente il numero di parametri attivati, abbassando i costi di addestramento di un ordine di grandezza rispetto ai modelli densi tradizionali. Inoltre, il modello ha ottimizzato la velocità di inferenza adottando un’architettura a doppio micro-batch overlapping per massimizzare il throughput, garantendo il pieno utilizzo delle risorse GPU.
DeepSeek ha proposto idee innovative per la futura progettazione hardware. Suggeriscono di affrontare le tre principali sfide per gli LLM – efficienza della memoria, rapporto costo-efficacia e velocità di inferenza – attraverso un’ottimizzazione congiunta dell’hardware e dell’architettura del modello. Questo approccio fornisce un riferimento prezioso per lo sviluppo dei futuri sistemi di intelligenza artificiale.
