Anyscale heeft een samenwerking aangekondigd met NVIDIA om het NVIDIA AI Enterprise softwareplatform te integreren in het Anyscale platform, waardoor klanten grote taalmodellen (LLM's) kunnen versnellen en schalen naar een productieomgeving met beveiliging, ondersteuning en stabiliteit. De integratie biedt ondersteuning voor NVIDIA NIM inferentie microservices, aangekondigd tijdens de NVIDIA GTC op 18 maart 2024. Klanten zullen profiteren van de gecombineerde kracht van Ray en Anyscale's beheerde runtime-omgeving, die mogelijkheden biedt zoals containerorkestratie, observeerbaarheid en autoscaling, evenals toegang tot NVIDIA AI Enterprise om de beveiliging en LLM-prestaties te verbeteren.

AI-werklasten vragen steeds meer prestaties van de infrastructuur. Het dynamisch schalen van die infrastructuur terwijl de kosten in balans blijven, blijft een alomtegenwoordige uitdaging. De integratie van Anyscale met NVIDIA AI Enterprise zal de schaalbaarheid van AI-workloads verbeteren, waardoor training en inzet van grotere en complexere modellen mogelijk wordt en de optimalisatie van kleinere modellen voor specifieke taken wordt ondersteund.

Toegang tot de versnelde rekeninfrastructuur van NVIDIA vereenvoudigt de inzet en het beheer van gedistribueerde ML-toepassingen (machine learning), wat leidt tot efficiënter gebruik van resources, snellere iteratie en lagere kosten. Daarnaast minimaliseert toegang tot NIM beperkingen en tijd die aan infrastructuur wordt besteed, zodat ontwikkelaars zich kunnen blijven richten op het stimuleren van innovatie voor hun organisatie. De integratie van Anyscale met NVIDIA AI Enterprise levert ontwikkelaars meerdere voordelen op, waaronder Automatisch schalen om kosten te verlagen: Door middel van auto-scaling kunnen gebruikers een beter resourcegebruik bereiken om de kosten te verlagen en tegelijkertijd de prestaties en schaalbaarheid van hun AI-applicaties verbeteren.

Waarneembaarheid: Volledige transparantie biedt inzicht in de prestaties en betrouwbaarheid van toepassingen, zodat ontwikkelaars hun code kunnen aanpassen om de systeemprestaties te optimaliseren. Optimalisatie: Klanten hebben toegang tot generatieve AI-geoptimaliseerde inferentie via NVIDIA NIM, waardoor betere oplossingen kunnen worden ontwikkeld voor specifieke use cases zoals audioverwerking of medische beeldvorming. Beveiliging: Ontwikkelaars hebben de mogelijkheid om gebruik te maken van geavanceerde beveiligingsfuncties en ondersteuning van Anyscale en NVIDIA, waardoor het gebruik van bedrijfseigen gegevens om modellen te trainen veilig is.

Werkruimten: Gezamenlijke ontwikkeling via workspaces biedt klanten snellere iteratie en implementatie van modellen en de mogelijkheid om workflows te stroomlijnen.