Amazon Web Services, Inc. kondigde vier nieuwe innovaties aan voor Amazon SageMaker AI om klanten te helpen sneller aan de slag te gaan met populaire publiek beschikbare modellen, de trainingsefficiëntie te maximaliseren, de kosten te verlagen en hun favoriete tools te gebruiken om de ontwikkeling van generatieve kunstmatige intelligentie (AI)-modellen te versnellen. Amazon SageMaker AI is een end-to-end service die door honderdduizenden klanten wordt gebruikt om te helpen bij het bouwen, trainen en implementeren van AI-modellen voor elke use case met volledig beheerde infrastructuur, tools en workflows. Drie krachtige nieuwe toevoegingen aan Amazon SageMaker HyperPod maken het voor klanten eenvoudiger om snel aan de slag te gaan met het trainen van enkele van de populairste algemeen beschikbare modellen van dit moment, om weken aan modeltrainingstijd te besparen met flexibele trainingsplannen en om het gebruik van computermiddelen te maximaliseren om de kosten met wel 40% te verlagen.

Klanten van SageMaker kunnen nu gemakkelijk en veilig volledig beheerde generatieve AI- en machine learning (ML)-ontwikkeltoepassingen van AWS-partners, zoals Comet, Deepchecks, Fiddler AI en Lakera, direct in SageMaker ontdekken, implementeren en gebruiken, waardoor ze de flexibiliteit hebben om de tools te kiezen die voor hen het beste werken. Articul8, Commonwealth Bank of Australia, Fidelity, Hippocratic AI, Luma AI, NatWest, NinjaTech AI, OpenBabylon, Perplexity, Ping Identity, Salesforce en Thomson Reuters behoren tot de klanten die de nieuwe mogelijkheden van SageMaker gebruiken om de ontwikkeling van generatieve AI-modellen te versnellen. SageMaker HyperPod: De infrastructuur bij uitstek om generatieve AI-modellen te trainenMet de komst van generatieve AI is het proces van het bouwen, trainen en implementeren van ML-modellen aanzienlijk moeilijker geworden, waarbij diepgaande AI-expertise, toegang tot enorme hoeveelheden gegevens en het creëren en beheren van grote rekenclusters vereist zijn.

Bovendien moeten klanten gespecialiseerde code ontwikkelen om de training over de clusters te verdelen, hun model voortdurend inspecteren en optimaliseren, en handmatig hardwareproblemen oplossen, en dat alles terwijl ze hun tijdlijnen en kosten proberen te beheren. Daarom heeft AWS SageMaker HyperPod gecreëerd, dat klanten helpt om de ontwikkeling van generatieve AI-modellen efficiënt te schalen over duizenden AI-accelerators, waardoor de tijd om foundation-modellen te trainen tot 40% korter wordt. Toonaangevende startups zoals Writer, Luma AI en Perplexity en grote ondernemingen zoals Thomson Reuters en Salesforce versnellen hun modelontwikkeling dankzij SageMaker HyperPod.

Amazon gebruikte SageMaker HyperPod ook om de nieuwe Amazon Nova-modellen te trainen, waardoor hun trainingskosten daalden, de prestaties van hun trainingsinfrastructuur verbeterden en ze maanden aan handmatig werk bespaarden dat ze zouden hebben besteed aan het opzetten van hun cluster en het beheren van het end-to-end proces. Nu willen nog meer organisaties populaire algemeen beschikbare modellen verfijnen of hun eigen gespecialiseerde modellen trainen om hun bedrijven en toepassingen te transformeren met generatieve AI. Daarom blijft SageMaker HyperPod innoveren om het voor klanten eenvoudiger, sneller en kostenefficiënter te maken om deze modellen op schaal te bouwen, te trainen en in te zetten met nieuwe innovaties, waaronder: Nieuwe recepten helpen klanten sneller aan de slag te gaan: Veel klanten willen profiteren van populaire, openbaar beschikbare modellen, zoals Llama en Mistral, die kunnen worden aangepast aan een specifieke use case met behulp van de gegevens van hun organisatie.

Het kan echter weken van iteratief testen vergen om de trainingsprestaties te optimaliseren, inclusief het experimenteren met verschillende algoritmen, het zorgvuldig verfijnen van parameters, het observeren van de impact op de training, het opsporen van problemen en het benchmarken van de prestaties. Om klanten te helpen binnen enkele minuten aan de slag te gaan, biedt SageMaker HyperPod nu toegang tot meer dan 30 samengestelde modeltrainingsrecepten voor enkele van de populairste algemeen beschikbare modellen van dit moment, waaronder Llama 3.2 90B, Llama 3.1 405B en Mistral 8x22B. Deze recepten vereenvoudigen het opstartproces voor klanten aanzienlijk door het automatisch laden van trainingsdatasets, het toepassen van gedistribueerde trainingstechnieken en het configureren van het systeem voor efficiënte checkpointing en herstel na infrastructuurstoringen.

Dit stelt klanten van alle vaardigheidsniveaus in staat om vanaf het begin betere prijsresultaten te behalen voor modeltraining op AWS-infrastructuur, waardoor weken van iteratief evalueren en testen overbodig worden. Klanten kunnen de beschikbare trainingsrecepten doorbladeren via de GitHub-repository van SageMaker, de parameters aanpassen aan hun aanpassingsbehoeften en binnen enkele minuten implementeren. Bovendien kunnen klanten, met een eenvoudige bewerking in één regel, naadloos schakelen tussen GPU- of Trainium-gebaseerde instanties om de prijsprestaties verder te optimaliseren.

Onderzoekers bij Salesforce waren op zoek naar manieren om snel aan de slag te gaan met het trainen en finetunen van foundationmodellen, zonder zich zorgen te hoeven maken over de infrastructuur of wekenlang hun trainingsstack te moeten optimaliseren voor elk nieuw model. Met Amazon SageMaker HyperPod-recepten kunnen ze snel prototypes maken bij het aanpassen van foundationmodellen. Nu kunnen de AI-onderzoeksteams van Salesforce binnen enkele minuten aan de slag met een verscheidenheid aan recepten voor pre-training en fine-tuning, en kunnen ze foundationmodellen met hoge prestaties operationaliseren.