NVIDIA mostra come 3 ottimizzazioni sovrapposte accelerano l'inferenza MoE su un singolo DGX Spark. Con il flash Ling-3.0 124B di Ant Group inclusionAI, il throughput di decodifica GSM8K è aumentato del 42,5% senza alcun cambiamento rilevabile nella precisione. Il post NVID...
L’offerta di elaborazione, l’energia e la capacità dei data center determinano quanto a buon mercato può funzionare l’intelligenza artificiale. I cambiamenti infrastrutturali si manifestano nei costi di inferenza settimane dopo.
Aziende e modelli menzionati in questa storia: apri le loro pagine e scopri i prezzi
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.