Cerence Inc. introduceert CaLLM? Edge, haar baanbrekende ingebedde kleine taalmodel (SLM) voor de auto-industrie. Dit nieuwe SLM is beschikbaar binnen het bestaande Cerence-oplossingenportfolio en zal het volgende generatie AI-assistentplatform aandrijven, waardoor een intelligente, naadloze gebruikerservaring mogelijk wordt, ongeacht de connectiviteit.

CaLLM Edge is ontwikkeld en geoptimaliseerd in samenwerking met Microsoft en is direct beschikbaar voor de klanten van Cerence automakers, evenals in de Microsoft Azure AI-modelcatalogus. CaLLM (Cerence Automotive Large Language Model) Edge is verfijnd op Microsofts Phi-3 familie van kleine taalmodellen en maakt gebruik van Cerence's uitgebreide automotive dataset om zeer gespecialiseerde AI te leveren die een verscheidenheid aan automotive use cases aankan. Met 3,8 miljard parameters, 4k contextgrootte en 4-bits kwantisering past dit model gemakkelijk in de autoradio.

De kerncapaciteiten omvatten impliciete en expliciete besturingscommando's voor de auto (bijvoorbeeld temperatuur, ramen en deuren, stoelpositie) en zoeken en navigeren op interessepunten, evenals conversatie-interactie zoals "Wat is de populairste film die ooit in Hollywood is opgenomen?" gevolgd door "Kunt u me meer vertellen over de plot?". CaLLM Edge is compatibel met de belangrijkste automobielplatforms en is beschikbaar in zowel embedded-only implementaties, wat betekent dat het onafhankelijk kan functioneren zonder enige connectiviteit, als hybride of cloud-first implementaties waarbij de SLM dient als één methode om zoekopdrachten te beantwoorden en als back-up wanneer de connectiviteit wegvalt. Voor gebruikers betekent dit dat ze altijd toegang hebben tot belangrijke generatieve AI-functies en informatie, zelfs als ze niet verbonden zijn met de cloud, en een betere gegevensprivacy, omdat de gegevens aan boord van de auto blijven in plaats van naar de cloud te worden gestuurd. Voor autofabrikanten levert CaLLM Edge niet alleen verbeterde assistentprestaties, maar ook kostenefficiëntie - door gebruik te maken van een volledig ingebed SLM-model kunnen OEM's de kosten onder controle houden en toch een generatieve, op AI gebaseerde ervaring voor hun bestuurders leveren.