Amazon Web Services (AWS) en NVIDIA hebben aangekondigd dat het nieuwe NVIDIA Blackwell GPU-platform - door NVIDIA onthuld tijdens GTC 2024 - naar AWS komt. AWS zal de NVIDIA GB200 Grace Blackwell Superchip en B100 Tensor Core GPU's aanbieden, waarmee de langdurige strategische samenwerking van de bedrijven wordt uitgebreid om de meest veilige en geavanceerde infrastructuur, software en diensten te leveren om klanten te helpen nieuwe generatieve kunstmatige intelligentie (AI)-mogelijkheden te ontsluiten. NVIDIA en AWS blijven het beste van hun technologieën samenbrengen, waaronder NVIDIA's nieuwste multi-node systemen met het volgende-generatie NVIDIA Blackwell-platform en AI-software, AWS's Nitro System en AWS Key Management Service (AWS KMS) geavanceerde beveiliging, Elastic Fabric Adapter (EFA) netwerken op petabit-schaal en Amazon Elastic Compute Cloud (Amazon EC2) UltraCluster hyper-scale clustering.

Samen leveren ze de infrastructuur en tools die klanten in staat stellen om sneller, op grote schaal en tegen lagere kosten dan de vorige generatie NVIDIA GPU's op Amazon EC2 real-time inferentie op grote taalmodellen (LLM's) met meerdere triljoenen parameters te bouwen en uit te voeren. AWS zal het NVIDIA Blackwell-platform aanbieden, met GB200 NVL72, met 72 Blackwell GPU's en 36 Grace CPU's onderling verbonden door NVIDIA NVLink van de vijfde generatie. Wanneer verbonden met Amazon's krachtige netwerken (EFA) en ondersteund door geavanceerde virtualisatie (AWS Nitro System) en hyper-scale clustering (Amazon EC2 UltraClusters), kunnen klanten schalen tot duizenden GB200 Superchips.

NVIDIA Blackwell op AWS biedt een enorme sprong voorwaarts in het versnellen van inferentiewerkbelastingen voor resource-intensieve taalmodellen met meerdere triljoenen parameters. Gebaseerd op het succes van de door NVIDIA H100 aangedreven EC2 P5-instanties, die voor korte periodes beschikbaar zijn voor klanten via Amazon EC2 Capacity Blocks for ML, is AWS van plan om EC2-instanties aan te bieden met de nieuwe B100 GPU's in EC2 UltraClusters voor het versnellen van generatieve AI-training en inferentie op grote schaal. GB200's zullen ook beschikbaar zijn op NVIDIA DGX?

Cloud, een AI-platform dat samen met AWS is ontwikkeld en dat bedrijfsontwikkelaars speciale toegang geeft tot de infrastructuur en software die nodig is om geavanceerde generatieve AI-modellen te bouwen en in te zetten. De door Blackwell aangedreven DGX Cloud-instanties op AWS versnellen de ontwikkeling van geavanceerde generatieve AI en LLM's die meer dan 1 biljoen parameters kunnen bereiken. Nu klanten snel overgaan tot het implementeren van AI in hun organisaties, moeten ze weten dat hun gegevens veilig worden behandeld tijdens de trainingsworkflow.

De beveiliging van modelgewichten - de parameters die een model tijdens de training leert en die cruciaal zijn voor het vermogen om voorspellingen te doen - is van het grootste belang voor het beschermen van het intellectuele eigendom van klanten, het voorkomen van geknoei met modellen en het behouden van de integriteit van het model. De AI-infrastructuur en -services van AWS hebben al beveiligingsfuncties om klanten controle te geven over hun gegevens en ervoor te zorgen dat deze niet worden gedeeld met externe modelleveranciers.

De combinatie van het AWS Nitro System en de NVIDIA GB200 gaat nog een stap verder in de AI-beveiliging door te voorkomen dat onbevoegden toegang krijgen tot modelgewichten. De GB200 maakt fysieke versleuteling van de NVLink-verbindingen tussen GPU's mogelijk en versleutelt de gegevensoverdracht van de Grace CPU naar de Blackwell GPU, terwijl EFA gegevens versleutelt tussen servers voor gedistribueerde training en inferentie. De GB200 zal ook profiteren van het AWS Nitro System, dat I/O voor functies overhevelt van de host CPU/GPU naar gespecialiseerde AWS-hardware om consistentere prestaties te leveren, terwijl de verbeterde beveiliging de code en gegevens van de klant beschermt tijdens de verwerking, zowel aan de kant van de klant als aan de kant van AWS.

Deze mogelijkheid, die alleen op AWS beschikbaar is, is onafhankelijk geverifieerd door NCC Group, een toonaangevend cyberbeveiligingsbedrijf. Met de GB200 op Amazon EC2 stelt AWS klanten in staat om een vertrouwde uitvoeringsomgeving te creëren naast hun EC2-instantie, met behulp van AWS Nitro Enclaves en AWS KMS. Met Nitro Enclaves kunnen klanten hun trainingsgegevens en gewichten versleutelen met KMS, met behulp van sleutelmateriaal dat zij zelf beheren. De enclave kan worden geladen vanuit de GB200 instance en kan direct communiceren met de GB200 Superchip.

Hierdoor kan KMS rechtstreeks met de enclave communiceren en sleutelmateriaal op een cryptografisch veilige manier aan de enclave doorgeven. De enclave kan dat materiaal vervolgens doorgeven aan de GB200, beschermd tegen de instantie van de klant en om te voorkomen dat AWS-operators ooit toegang krijgen tot de sleutel of de trainingsgegevens of modelgewichten ontsleutelen, waardoor klanten ongeëvenaarde controle over hun gegevens krijgen.