Arteris Interconnect Ip ingezet in Neureality-inferentieserver voor generatieve Ai en toepassingen met grote taalmodellen
10 oktober 2023 om 22:30 uur
Delen
Arteris, Inc. heeft aangekondigd dat NeuReality het FlexNoC interconnectie-IP van Arteris heeft ingezet als onderdeel van de NR1 netwerk adresseerbare inferentieserver-op-een-chip om krachtige, baanbrekende verbeteringen in kosten en stroomverbruik te leveren voor machine en deep learning compute in zijn AI-inferentieproducten. Deze integratie is ondergebracht in een NoC met 8 hiërarchieën en een geaggregeerde bandbreedte van 4,5TB/sec, en voldoet aan de vereisten voor lage latency voor het uitvoeren van AI-toepassingen op schaal en tegen lagere kosten. De NeuReality inferentieserver richt zich op Generative AI, Large Language Models (LLM's) en andere AI-werklasten.
NeuReality's innovatieve NR1 server-op-een-chip is de eerste Network Addressable Processing Unit (NAPU), een voor workflows geoptimaliseerd hardwareapparaat met gespecialiseerde verwerkingseenheden, eigen netwerk en virtualisatiemogelijkheden. Het biedt native AI-over-fabric netwerken, inclusief volledige AI pipeline offload en hardware-gebaseerde AI hypervisor mogelijkheden. De mogelijkheid om CPU's, GPU's en zelfs deep learning-versnellers te offloaden naar meerdere NR1-chips maakt het mogelijk voor de inferentieserver van NeuReality om effectief tot 10 keer betere prestaties te leveren met minder stroomverbruik en tegen een fractie van de kosten in zijn inferentieserver.
Delen
Naar het originele artikel.
Wettelijke waarschuwing
Arteris, Inc. is een leverancier van IP voor halfgeleidersystemen, met inbegrip van interconnectie en andere intellectuele eigendom, (samen Systeem IP-technologie genoemd). Haar System IP-technologie beheert de on-chip communicatie en IP-blokimplementaties in system-on-chip (SoC) halfgeleiders en systemen van chiplets. Het bedrijf levert IP-oplossingen voor halfgeleiderinterconnectie en SoC Integratie Automatiseringssoftware (SIA) voor zijn doel-eindmarkten, waaronder auto's, bedrijfscomputers, consumentenelektronica, bedrade en draadloze communicatie en industriële segmenten. Haar IP-productportfolio voor halfgeleiders omvat Non-coherent NoC IP, met FlexNoC en FlexWay, Cache-coherent NoC IP, met Ncore en Last-level cache, met CodaCache. De SIA-technologie-suite van Magillem en CSRCompiler-producten biedt de belangrijkste mogelijkheden voor automatisering van SoC-integratie en algehele SoC-ontwikkelingsversnelling. Het Magillem-connectiviteitsproduct verkort en stroomlijnt het SoC-integratieproces.