NVIDIA heeft haar volgende generatie AI-supercomputer aangekondigd: de NVIDIA DGX SuperPOD, aangedreven door NVIDIA GB200 Grace Blackwell Superchips?

voor het verwerken van triljoen-parameter modellen met constante uptime voor superscale generatieve AI-training en inferentie workloads. Met een nieuwe, zeer efficiënte, vloeistofgekoelde rack-scale architectuur is de nieuwe DGX SuperPOD gebouwd met NVIDIA DGX? GB200 systemen en biedt 11,5 exaflops aan AI supercomputing bij FP4 precisie en 240 terabytes aan snel geheugen ?

Op te schalen naar meer met extra racks. Elk DGX GB200 systeem heeft 36 NVIDIA GB200 Superchips, waaronder 36 NVIDIA Grace CPU's en 72 NVIDIA Blackwell GPU's?

verbonden als één supercomputer via NVIDIA NVLink® van de vijfde generatie. GB200 Superchips leveren tot 30x hogere prestaties in vergelijking met de NVIDIA H100 Tensor Core GPU voor grote inferentiewerklasten van taalmodellen. De door Grace Blackwell aangedreven DGX SuperPOD bestaat uit acht of meer DGX GB200 systemen en kan worden opgeschaald tot tienduizenden GB200 Superchips die zijn verbonden via NVIDIA Quantum InfiniBand.

Voor een enorme gedeelde geheugenruimte om AI-modellen van de volgende generatie van energie te voorzien, kunnen klanten een configuratie implementeren die de 576 Blackwell GPU's in acht DGX GB200 systemen verbindt via NVLink. Nieuwe rack-schaal DGX SuperPOD-architectuur voor het tijdperk van generatieve AI: De nieuwe DGX SuperPOD met DGX GB200-systemen beschikt over een uniforme compute-fabric. Naast NVIDIA NVLink van de vijfde generatie bevat de fabric NVIDIA BlueField®-3 DPU's en zal NVIDIA Quantum-X800 InfiniBand networking ondersteunen.

Deze architectuur biedt tot 1.800 gigabyte per seconde aan bandbreedte voor elke GPU in het platform. Daarnaast biedt de vierde generatie NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)? technologie 14,4 teraflops aan In-Network Computing, een 4x hogere next-generation DGX SuperPOD architectuur vergeleken met de vorige generatie.

Kant-en-klare architectuur in combinatie met geavanceerde software voor ongeëvenaarde uptime: De nieuwe DGX SuperPOD is een complete AI-supercomputer op datacenterschaal die wordt geïntegreerd met krachtige opslag van NVIDIA-gecertificeerde partners om te voldoen aan de eisen van generatieve AI-workloads. Elke SuperPOD wordt in de fabriek gebouwd, bekabeld en getest om de implementatie in datacenters van klanten drastisch te versnellen. De door Grace Blackwell aangedreven DGX SuperPOD beschikt over intelligente mogelijkheden voor voorspellend beheer om continu duizenden datapunten in hardware en software te controleren om bronnen van downtime en inefficiëntie te voorspellen en te onderscheppen ?

Dit bespaart tijd, energie en computerkosten. De software kan probleemgebieden identificeren en onderhoud plannen, computermiddelen flexibel aanpassen en taken automatisch opslaan en hervatten om downtime te voorkomen, zelfs zonder dat er systeembeheerders aanwezig zijn. Als de software detecteert dat er een vervangend onderdeel nodig is, zal het cluster stand-by capaciteit activeren om ervoor te zorgen dat het werk op tijd klaar is.

Eventuele vereiste hardwarevervangingen kunnen worden ingepland om ongeplande downtime te voorkomen. NVIDIA DGX B200 systemen bevorderen AI-supercomputing voor industrieën: NVIDIA onthulde ook het NVIDIA DGX B200 systeem, een verenigd AI supercomputing platform voor AI modeltraining, fine-tuning en inferentie. DGX B200 is de zesde generatie van luchtgekoelde, traditionele DGX-ontwerpen voor rekmontage die wereldwijd door industrieën worden gebruikt.

Het nieuwe Blackwell architectuur DGX B200 systeem bevat acht NVIDIA Blackwell GPU's en twee 5e generatie Intel® Xeon® processoren. Klanten kunnen ook DGX SuperPOD systemen bouwen met DGX B200 systemen om AI Centers of Excellence te creëren die het werk van grote teams van ontwikkelaars die veel verschillende jobs uitvoeren van energie kunnen voorzien. DGX B200-systemen bevatten de FP4-precisiefunctie in de nieuwe Blackwell-architectuur, die tot 144 petaflops aan AI-prestaties, een enorm 1,4 TB GPU-geheugen en 64 TB/s aan geheugenbandbreedte biedt.

Dit levert 15x snellere real-time inferentie voor biljoen-parameter-modellen dan de vorige generatie. DGX B200 systemen bevatten geavanceerde netwerken met acht NVIDIA ConnectX?-7 NIC's en twee BlueField-3 DPU's. Deze bieden tot 400 gigabit per seconde bandbreedte per verbinding ?

Dit levert snelle AI-prestaties met NVIDIA Quantum-2 InfiniBand en NVIDIA Spectrum?-X Ethernet-netwerkplatforms. Software en deskundige ondersteuning om productie-AI te schalen: Alle NVIDIA DGX-platforms worden geleverd met NVIDIA AI Enterprise-software voor ontwikkeling en implementatie op bedrijfsniveau. DGX-klanten kunnen hun werk versnellen met de voorgetrainde NVIDIA foundation modellen, frameworks, toolkits en nieuwe NVIDIA NIM microservices die in het softwareplatform zijn opgenomen. NVIDIA DGX-experts en geselecteerde NVIDIA-partners die gecertificeerd zijn om DGX-platforms te ondersteunen, helpen klanten bij elke stap van de implementatie, zodat ze AI snel in productie kunnen nemen.

Zodra systemen operationeel zijn, blijven DGX-experts klanten ondersteunen bij het optimaliseren van hun AI-pijplijnen en -infrastructuur. Beschikbaarheid: NVIDIA DGX SuperPOD met DGX GB200- en DGX B200-systemen zal naar verwachting later dit jaar verkrijgbaar zijn bij NVIDIA's wereldwijde partners.