Advantech heeft een Edge AI serveroplossing voor generatieve AI aangekondigd, met Phison's gepatenteerde aiDAPTIV+ technologie. De AIR-520 Edge AI Server, aangedreven door een AMD EPYC 7003-serie processor, integreert SQ ai100 AI SSD's, NVIDIA RTX GPU-kaarten, een Edge AI SDK en NVIDIA AI Enterprise om een kant-en-klare oplossing te bieden. Generatieve AI-tools zoals grote taalmodellen (LLM's) transformeren het kennisbeheer in bedrijven door de organisatie, het ophalen en de analyse van gegevens te automatiseren en zo de productiviteit te verhogen en de besluitvorming te verbeteren.

Aangepaste LLM's verbeteren de nauwkeurigheid, terwijl edge training de gegevensprivacy verhoogt, hoewel dit duurder kan zijn. Deze oplossing ondersteunt de fijnafstemming van LLM's met 1-4 GPU-kaarten en SQ ai100 AI SSD's, zodat bedrijven kosteneffectief LLM's kunnen trainen terwijl gevoelige gegevens aan de rand veilig blijven. Advantech biedt vier opties: AIR-520-L13B/L33B/L70B, en L70B-Plus, op maat gemaakt voor verschillende schalen en toepassingen.

De L13B is ideaal voor real-time applicaties zoals chatbots en taalvertalingen. De L33B is geschikt voor complexere taken en verbetert de productiviteit en innovatie bij het maken van content. De L70B blinkt uit in geavanceerde gegevensanalyse en besluitvorming voor gespecialiseerde domeinen.

Daarnaast biedt de L70B-Plus, uitgerust met de NVIDIA AI Enterprise, end-to-end, betrouwbare en geoptimaliseerde AI SDK's met ondersteuning op lange termijn en deskundige adviesdiensten. Alle AIR-520 oplossingen bevatten SQ ai100 AI SSD's, die gebruik maken van Phisons aiDAPTIV+ technologie. Deze SSD's fungeren als een uitbreiding van GPU vRAM, waardoor het systeem LLM's kan verfijnen met minimale GPU-kaarten.

Deze aanpak verlaagt niet alleen het budget, maar maakt de Edge AI Server ook compacter in vergelijking met traditionele grote servers die in rekken worden gemonteerd. De afmetingen zijn vergelijkbaar met die van een desktop PC, en de server kan in een rack worden gemonteerd met de juiste accessoires, zodat u zich geen zorgen hoeft te maken over ruimte en onderhoud. Naast de LLM fijnafstemmingsmogelijkheden biedt Advantech een Edge AI SDK met de GenAI Training Studio, vooraf geladen met Llama-2 modellen voor toepassingen zoals chatbots en data-analyse.

Dit vereenvoudigt en versnelt klantspecifieke LLM modeltraining en inferentie-evaluatie op de AIR-520. Verder biedt DeviceOn van Advantech OTA software/container-updates en beheer op afstand, wat efficiënte AI-orkestratie en onderhoud op lange termijn vergemakkelijkt.