NVIDIA CORPORATION 
De twee nieuwe benchmarks die MLCommons heeft toegevoegd, meten de snelheid waarmee de AI-chips en -systemen antwoorden kunnen genereren uit de krachtige AI-modellen boordevol gegevens. De resultaten laten ruwweg zien hoe snel een AI-toepassing zoals ChatGPT een antwoord kan geven op een vraag van een gebruiker.
Een van de nieuwe benchmarks voegde de mogelijkheid toe om de snelheid van een vraag-en-antwoordscenario voor grote taalmodellen te meten. Deze benchmark, Llama 2 genaamd, bevat 70 miljard parameters en is ontwikkeld door Meta Platforms.
MLCommons-functionarissen voegden ook een tweede tekst-naar-beeld-generator toe aan de reeks benchmarktools, MLPerf genaamd, gebaseerd op het Stable Diffusion XL-model van Stability AI.
Servers aangedreven door Nvidia's H100-chips, gebouwd door bedrijven als Alphabet's Google, Supermicro en Nvidia zelf, wonnen beide nieuwe benchmarks met glans op ruwe prestaties. Verschillende serverbouwers dienden ontwerpen in die gebaseerd waren op de minder krachtige L40S-chip van het bedrijf.
Serverbouwer Krai diende een ontwerp in voor de benchmark voor het genereren van afbeeldingen met een Qualcomm AI-chip die aanzienlijk minder stroom verbruikt dan de geavanceerde processors van Nvidia.
Intel diende ook een ontwerp in gebaseerd op zijn Gaudi2 versnellerchips. Het bedrijf omschreef de resultaten als "solide".
Ruwe prestaties zijn niet de enige maatstaf die kritisch is bij het implementeren van AI-toepassingen. Geavanceerde AI-chips verbruiken enorme hoeveelheden energie en een van de belangrijkste uitdagingen voor AI-bedrijven is het inzetten van chips die optimale prestaties leveren voor een minimale hoeveelheid energie.
MLCommons heeft een aparte benchmarkcategorie voor het meten van energieverbruik. (Verslag door Max A. Cherney in San Francisco; Bewerking door Jamie Freed)
