Het nieuwe grote taalmodel met de naam Jais bevat 13 miljard parameters die gemaakt zijn op basis van een grote hoeveelheid gegevens die Arabisch en Engels combineren, waarvan een deel afkomstig is van computercode.
De groep, bestaande uit academici en ingenieurs, begon gedeeltelijk aan het project omdat er volgens hen weinig grote taalmodellen zijn die tweetalig zijn.
Het nieuwe taalmodel werd gemaakt met behulp van supercomputers van het in Silicon Valley gevestigde Cerebras Systems, dat chips ter grootte van een dinerplaat ontwerpt die concurreren met de krachtige AI-hardware van Nvidia. De chips van Nvidia zijn schaars, waardoor bedrijven over de hele wereld op zoek zijn gegaan naar alternatieven.
Jais, vernoemd naar de hoogste piek in de Verenigde Arabische Emiraten, is een samenwerking tussen Cerebras, Mohamed bin Zayed University of Artificial Intelligence en een dochteronderneming van het in Abu Dhabi gevestigde technologieconglomeraat G42 genaamd Inception, dat zich richt op AI.
Omdat er niet genoeg Arabische data is om een model van Jais' grootte te trainen, hielp de computercode in de Engelstalige data het redeneervermogen van het model te trainen, volgens professor Timothy Baldwin van de Mohamed bin Zayed University of Artificial Intelligence.
"(Code) geeft het model een grote voorsprong in termen van redeneervermogen, omdat het de stappen beschrijft," vertelde Baldwin aan Reuters.
Jais zal beschikbaar zijn via een open source licentie.
De groep trainde het Jais-model op een supercomputer van Cerebras, de Condor Galaxy, die in samenwerking met G42 is gebouwd. Dit jaar kondigde Cerebras aan dat het met G42 was overeengekomen om drie van dergelijke eenheden te bouwen. De eerste zou dit jaar arriveren en twee extra eenheden zouden in 2024 geleverd worden.
"Dit model werd van begin tot eind, van 13 miljard (parameters), in drieënhalve dag getraind," zei Andrew Feldman, CEO van Cerebras. "Maar daar gingen maanden werk aan vooraf." (Verslaggeving door Max A. Cherney in San Francisco; Bewerking door Josie Kao en Mark Porter)
