Google heeft zijn eigen chip ontworpen, de Tensor Processing Unit, of TPU. Het gebruikt die chips voor meer dan 90% van het werk van het bedrijf aan kunstmatige intelligentietraining, het proces waarbij gegevens door modellen worden gevoerd om ze bruikbaar te maken voor taken als het beantwoorden van zoekopdrachten met mensachtige tekst of het genereren van afbeeldingen.

De Google TPU is nu aan zijn vierde generatie toe. Google heeft dinsdag een wetenschappelijk artikel gepubliceerd waarin gedetailleerd wordt beschreven hoe het meer dan 4.000 van deze chips aan elkaar heeft geregen tot een supercomputer met behulp van zijn eigen speciaal ontwikkelde optische schakelaars om de individuele machines met elkaar te verbinden.

Het verbeteren van deze verbindingen is een belangrijk punt van concurrentie geworden tussen bedrijven die AI-supercomputers bouwen, omdat de zogenaamde grote taalmodellen die technologieën als Google's Bard of OpenAI's ChatGPT aansturen, explosief in omvang zijn toegenomen, waardoor ze veel te groot zijn om op één enkele chip op te slaan.

In plaats daarvan moeten de modellen worden verdeeld over duizenden chips, die vervolgens weken of langer moeten samenwerken om het model te trainen. Het PaLM-model van Google - het grootste openbaar gemaakte taalmodel tot nu toe - werd getraind door het te verdelen over twee van de 4000-chip supercomputers gedurende 50 dagen.

Google zei dat zijn supercomputers het gemakkelijk maken om verbindingen tussen chips tijdens de vlucht te herconfigureren, waardoor problemen kunnen worden voorkomen en de prestaties kunnen worden verbeterd.

"Circuit switching maakt het gemakkelijk om falende componenten te omzeilen", schrijven Google Fellow Norm Jouppi en Google Distinguished Engineer David Patterson in een blogpost over het systeem. "Dankzij deze flexibiliteit kunnen we zelfs de topologie van de supercomputerinterconnectie wijzigen om de prestaties van een ML-model (machine learning) te versnellen."

Hoewel Google nu pas details vrijgeeft over zijn supercomputer, staat hij al sinds 2020 binnen het bedrijf online in een datacenter in Mayes County, Oklahoma. Google zei dat startup Midjourney het systeem gebruikte om zijn model te trainen, dat verse beelden genereert nadat het een paar woorden tekst heeft gekregen.

In het artikel zegt Google dat zijn supercomputer voor systemen van vergelijkbare grootte tot 1,7 keer sneller en 1,9 keer energiezuiniger is dan een systeem op basis van de A100-chip van Nvidia, die op hetzelfde moment als de TPU van de vierde generatie op de markt was.

Google zei dat het zijn vierde generatie niet vergeleek met Nvidia's huidige vlaggenschip, de H100-chip, omdat de H100 na Google's chip op de markt kwam en met nieuwere technologie is gemaakt.

Google liet doorschemeren dat het mogelijk werkt aan een nieuwe TPU die zou concurreren met de Nvidia H100, maar verstrekte geen details. Jouppi vertelde Reuters dat Google "een gezonde pijplijn van toekomstige chips" heeft.