NVIDIA heeft tientallen enterprise-grade generatieve AI microservices gelanceerd die bedrijven kunnen gebruiken om aangepaste toepassingen te creëren en te implementeren op hun eigen platforms, terwijl ze het volledige eigendom en de controle over hun intellectuele eigendom behouden. De catalogus van cloud-native microservices is gebouwd bovenop het NVIDIA CUDA®-platform en bevat NVIDIA NIM? microservices voor geoptimaliseerde inferentie op meer dan twee dozijn populaire AI-modellen van NVIDIA en haar partnerecosysteem.

Daarnaast zijn NVIDIA versnelde softwareontwikkelingskits, bibliotheken en tools nu toegankelijk als NVIDIA CUDA-X? microservices voor retrieval-augmented generation (RAG), guardrails, gegevensverwerking, HPC en meer. NVIDIA heeft ook afzonderlijk meer dan twee dozijn gezondheidszorg NIM en CUDA-X microservices aangekondigd. De gecureerde selectie van microservices voegt een nieuwe laag toe aan het full-stack computerplatform van NVIDIA.

Deze laag verbindt het AI-ecosysteem van modelontwikkelaars, platformproviders en bedrijven met een gestandaardiseerd pad om aangepaste AI-modellen uit te voeren die geoptimaliseerd zijn voor NVIDIA's CUDA-geïnstalleerde basis van honderden miljoenen GPU's in clouds, datacenters, werkstations en pc's. Onder de eersten die toegang krijgen tot de nieuwe NVIDIA generatieve AI microservices die beschikbaar zijn in NVIDIA AI Enterprise 5.0 zijn toonaangevende aanbieders van toepassingen, gegevens en cyberbeveiligingsplatformen, waaronder Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow en Shutterstock. NIM Inferentie Microservices versnellen implementaties van weken tot minuten: NIM microservices bieden vooraf gebouwde containers, aangedreven door NVIDIA inferentiesoftware ?

waaronder Triton Inference Server? en TensorRT?-LLM? waarmee ontwikkelaars de implementatietijd kunnen verkorten van weken tot minuten.

Ze bieden industriestandaard API's voor domeinen zoals taal, spraak en het ontdekken van medicijnen, zodat ontwikkelaars snel AI-toepassingen kunnen bouwen met hun eigen gegevens die veilig in hun eigen infrastructuur worden gehost. Deze toepassingen kunnen op verzoek worden geschaald en bieden flexibiliteit en prestaties voor het uitvoeren van generatieve AI in productie op computerplatforms met NVIDIA-acceleratie. NIM microservices bieden de snelste en best presterende AI-container voor productie voor het implementeren van modellen van NVIDIA, A121, Adept, Cohere, Getty Images en Shutterstock, evenals open modellen van Google, Hugging Face, Meta, Microsoft, Mistral AI en Stability AI. Klanten krijgen toegang tot NIM microservices van Amazon SageMaker [14], Google Kubernetes Engine en Microsoft Azure AI, en kunnen integreren met populaire AI-frameworks zoals Deepset, LangChain en LlamaIndex.

CUDA-X microservices voor RAG, gegevensverwerking, Guardrails, HPC: CUDA-X microservices [20] bieden end-to-end bouwstenen voor datavoorbereiding, aanpassing en training om de ontwikkeling van productie-AI in verschillende sectoren te versnellen. Om de invoering van AI te versnellen, kunnen bedrijven CUDA-X microservices gebruiken, waaronder NVIDIA Riva voor aanpasbare spraak- en vertaal-AI, NVIDIA cuOpt? voor routingoptimalisatie, evenals NVIDIA Earth-2 voor klimaat- en weersimulaties met hoge resolutie.

Met NeMo Retriever? microservices kunnen ontwikkelaars hun AI-toepassingen koppelen aan hun bedrijfsgegevens, inclusief tekst, afbeeldingen en visualisaties zoals staafdiagrammen, lijndiagrammen en cirkeldiagrammen.

om zeer nauwkeurige, contextueel relevante antwoorden te genereren. Met deze RAG-mogelijkheden kunnen bedrijven meer gegevens aanbieden aan copilots, chatbots en generatieve AI-productiviteitstools om de nauwkeurigheid en het inzicht te vergroten. Aanvullende NVIDIA NeMo?

microservices komen er binnenkort aan voor aangepaste modelontwikkeling. Deze omvatten NVIDIA NeMo Curator voor het bouwen van schone datasets voor training en ophalen, NVIDIA NeMo Customizer voor het fijn afstellen van LLM's met domeinspecifieke gegevens, NVIDIA NeMo Evaluator voor het analyseren van AI-modelprestaties, evenals NVIDIA NeMo Guardrails voor LLM's. Ecosysteem versterkt bedrijfsplatforms met generatieve AI-microservices: Naast toonaangevende leveranciers van toepassingen werken leveranciers van data-, infrastructuur- en rekenplatforms in het hele NVIDIA-ecosysteem met NVIDIA microservices om generatieve AI naar bedrijven te brengen. Toonaangevende aanbieders van dataplatformen, waaronder Box, Cloudera, Cohesity, Datastax, Dropbox en NetAppare, werken samen met NVIDIA microservices om klanten te helpen hun RAG-pijplijnen te optimaliseren en hun eigen data te integreren in generatieve AI-toepassingen.

Snowflake maakt gebruik van NeMo Retriever om bedrijfsgegevens te gebruiken voor het bouwen van AI-toepassingen. Ondernemingen kunnen NVIDIA microservices die zijn inbegrepen bij NVIDIA AI Enterprise 5.0 implementeren in de infrastructuur van hun keuze, zoals toonaangevende clouds Amazon Web Services (AWS), Google Cloud, Azure en Oracle Cloud Infrastructure. NVIDIA microservices worden ook ondersteund op meer dan 400 NVIDIA-gecertificeerde systemen, waaronder servers en werkstations van Cisco, Dell Technologies, Hewlett Packard Enterprise (HPE), HP, Lenovo en Supermicro.

Los daarvan kondigde HPE de beschikbaarheid aan van HPE's enterprise computing oplossing voor generatieve AI, met geplande integratie van NIM en NVIDIA AI Foundation modellen in HPE's AI-software. NVIDIA AI Enterprise microservices komen naar infrastructuursoftwareplatforms waaronder VMware Private AI Foundation met NVIDIA. Red Hat OpenShift ondersteunt NVIDIA NIM microservices om bedrijven te helpen gemakkelijker generatieve AI-mogelijkheden in hun applicaties te integreren met geoptimaliseerde mogelijkheden voor beveiliging, compliance en controles.

Canonical voegt Charmed Kubernetes ondersteuning toe voor NVIDIA microservices via NVIDIA AI Enterprise. NVIDIA's ecosysteem van honderden AI- en MLOps-partners, waaronder Abridge, Anyscale, Dataiku, DataRobot, Glean, H2O.ai, Securiti AI, Scale.ai, OctoAI en Weights & Biases, voegen ondersteuning toe voor NVIDIA microservices via NVIDIA AI Enterprise. Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis en Weaviate behoren tot de leveranciers van vectorzoekmachines die samenwerken met NVIDIA NeMo Retriever microservices om responsieve RAG-mogelijkheden voor bedrijven te bieden.

Beschikbaarheid: Ontwikkelaars kunnen gratis experimenteren met NVIDIA microservices op ai.nvidia.com [48]. Ondernemingen kunnen productieklare NIM microservices implementeren met NVIDIA AI Enterprise 5.0 die draait op NVIDIA-gecertificeerde systemen en toonaangevende cloudplatforms.