DataStax kondigt aan dat het zakelijke retrieval-augmented generation (RAG) use cases ondersteunt door de nieuwe NVIDIA NIM inference microservices en NeMo Retriever microservices te integreren met Astra DB om high-performance RAG data oplossingen te leveren voor superieure klantervaringen. Met deze integratie kunnen gebruikers onmiddellijke vectorembeddings creëren die 20x sneller zijn dan andere populaire cloud embeddingservices en kunnen ze profiteren van een 80% lagere servicekosten. Organisaties die generatieve AI-toepassingen bouwen, worden geconfronteerd met de ontmoedigende technologische complexiteit, beveiliging en kostenbarrières die gepaard gaan met het vectoriseren van zowel bestaande als nieuw verworven ongestructureerde data voor naadloze integratie in grote taalmodellen (LLM's).

De urgentie van het genereren van embeddings in bijna-realtime en het effectief indexeren van data binnen een vector database op standaard hardware maakt deze uitdagingen nog groter. DataStax werkt samen met NVIDIA om dit probleem op te lossen. NVIDIA NeMo Retriever genereert meer dan 800 inbeddingen per seconde per GPU, wat goed samengaat met DataStax Astra DB, die in staat is om nieuwe inbeddingen op te nemen met meer dan 4000 transacties per seconde met milliseconde latenties, op goedkope commodity opslagoplossingen/schijven.

Dit implementatiemodel verlaagt de totale eigendomskosten voor gebruikers aanzienlijk en zorgt voor bliksemsnelle embeddinggeneratie en indexering. In combinatie met NVIDIA NeMo Retriever bieden Astra DB en DataStax Enterprise (DataStax's on-premise aanbod) een snelle vector database RAG oplossing die gebouwd is op een schaalbare NoSQL database die op elk opslagmedium kan draaien. Out-of-the-box integratie met RAGStack (aangedreven door LangChain en LlamaIndex) maakt het gemakkelijk voor ontwikkelaars om hun bestaande inbeddingsmodel te vervangen door NIM.

Daarnaast kunnen bedrijven met behulp van de RAGStack compatibiliteitsmatrix tester de beschikbaarheid en prestaties van verschillende combinaties van embedding- en LLM-modellen voor veelgebruikte RAG-pijplijnen valideren. DataStax lanceert ook, in developer preview, een nieuwe functie genaamd Vectorize. Vectorize voert inbeddinggeneraties uit op de databasetier, waardoor klanten Astra DB kunnen gebruiken om eenvoudig inbeddingen te genereren met behulp van de eigen NeMo microservices-instantie, in plaats van hun eigen instantie, waarbij de kostenbesparingen direct aan de klant worden doorgegeven.