Ze hadden een netelig probleem: ondanks spraakmakende investeringen in AI-onderzoek, was de social media gigant traag geweest met het invoeren van dure AI-vriendelijke hardware- en softwaresystemen voor zijn hoofdactiviteiten, wat zijn vermogen om gelijke tred te houden met innovatie op schaal belemmerde, zelfs toen het in toenemende mate op AI vertrouwde om zijn groei te ondersteunen, volgens de memo, bedrijfsverklaringen en interviews met 12 mensen die bekend waren met de veranderingen, die op voorwaarde van anonimiteit spraken om interne bedrijfsaangelegenheden te bespreken.

"We hebben een aanzienlijk gat in onze tooling, workflows en processen als het gaat om ontwikkelen voor AI. We moeten hier flink in investeren," aldus de memo, geschreven door het nieuwe hoofd infrastructuur Santosh Janardhan, die in september op het interne prikbord van Meta werd geplaatst en nu voor het eerst wordt gemeld.

Om het AI-werk te ondersteunen zou Meta "ons fysieke infrastructuurontwerp, onze softwaresystemen en onze aanpak om een stabiel platform te bieden fundamenteel moeten veranderen", voegde het eraan toe.

Meta is al meer dan een jaar bezig met een grootschalig project om zijn AI-infrastructuur in vorm te krijgen. Hoewel het bedrijf publiekelijk heeft toegegeven dat het "een inhaalslag aan het maken is" op het gebied van AI-hardwaretrends, zijn de details van de revisie - inclusief capaciteitsbeperkingen, veranderingen in het leiderschap en een geschrapt AI-chipproject - nog niet eerder gemeld.

Gevraagd naar de memo en de herstructurering, zei Meta-woordvoerder Jon Carvill dat het bedrijf "een bewezen staat van dienst heeft in het creëren en inzetten van ultramoderne infrastructuur op schaal in combinatie met diepgaande expertise in AI-onderzoek en -techniek."

"We hebben vertrouwen in ons vermogen om de mogelijkheden van onze infrastructuur te blijven uitbreiden om te voldoen aan onze behoeften op korte en lange termijn, terwijl we nieuwe AI-ervaringen toevoegen aan onze familie van apps en consumentenproducten," zei Carvill. Hij weigerde commentaar te geven op de vraag of Meta zijn AI-chip heeft opgegeven.

Janardhan en andere leidinggevenden gingen niet in op verzoeken om interviews via het bedrijf.

De revisie verhoogde de kapitaaluitgaven van Meta met ongeveer $4 miljard per kwartaal, volgens de openbaarmakingen van het bedrijf - bijna het dubbele van de uitgaven vanaf 2021 - en leidde tot het pauzeren of annuleren van eerder geplande bouw van datacenters op vier locaties.

Grafiek: Meta's capex boost - https://www.reuters.com/graphics/METAPLATFORMS-ARTIFICIALINTELLIGENCE/dwvkdldgkpm/chart.png

Deze investeringen vielen samen met een periode van zware financiële druk voor Meta, dat sinds november werknemers heeft ontslagen op een schaal die sinds de dotcom-bush niet meer is voorgekomen.

Ondertussen is OpenAI's ChatGPT, gesteund door Microsoft, na het debuut op 30 november de snelst groeiende consumentenapplicatie in de geschiedenis geworden, wat een wapenwedloop onder techgiganten op gang heeft gebracht om producten uit te brengen die gebruikmaken van zogenaamde generatieve AI, die niet alleen patronen in gegevens herkent zoals andere AI, maar ook op mensen lijkende geschreven en visuele inhoud creëert als reactie op aanwijzingen.

Generatieve AI slokt reusachtige hoeveelheden rekenkracht op, wat de urgentie van Meta's zoektocht naar capaciteit vergroot, aldus vijf van de bronnen.

ACHTEROP RAKEN

Een belangrijke bron van de problemen, aldus deze vijf bronnen, is Meta's late omarming van de grafische verwerkingseenheid (GPU) voor AI-werk.

GPU-chips zijn bij uitstek geschikt voor het verwerken van kunstmatige intelligentie omdat ze grote aantallen taken tegelijk kunnen uitvoeren, waardoor er minder tijd nodig is om miljarden gegevens te verwerken.

GPU's zijn echter ook duurder dan andere chips, waarbij chipmaker Nvidia Corp 80% van de markt in handen heeft en een grote voorsprong heeft op de bijbehorende software, aldus de bronnen.

Nvidia heeft niet gereageerd op een verzoek om commentaar voor dit verhaal.

In plaats daarvan voerde Meta tot vorig jaar AI-werklasten grotendeels uit met behulp van de vloot van commodity centrale verwerkingseenheden (CPU's) van het bedrijf, het werkpaard van de computerwereld, dat al tientallen jaren datacenters vult maar AI-werk slecht uitvoert.

Volgens twee van deze bronnen begon het bedrijf ook zijn eigen aangepaste chip te gebruiken die het zelf had ontworpen voor inferentie, een AI-proces waarbij algoritmen die getraind zijn op enorme hoeveelheden gegevens oordelen vellen en antwoorden op vragen genereren.

Tegen 2021 bleek die tweeledige aanpak langzamer en minder efficiënt dan een aanpak die was gebaseerd op GPU's, die ook flexibeler waren in het uitvoeren van verschillende soorten modellen dan de chip van Meta, aldus de twee personen.

Meta weigerde commentaar te geven over de prestaties van zijn AI-chip.

Terwijl Zuckerberg het bedrijf in de richting van de metaverse stuurde - een reeks digitale werelden die mogelijk worden gemaakt door augmented en virtual reality - vertraagde de capaciteitsschaarste het vermogen om AI in te zetten om te reageren op bedreigingen, zoals de opkomst van social media rivaal TikTok en door Apple geleide veranderingen in de advertentieprivacy, aldus vier van de bronnen.

De haperingen trokken de aandacht van voormalig Meta-bestuurslid Peter Thiel, die begin 2022 zonder uitleg ontslag nam.

Tijdens een bestuursvergadering voordat hij vertrok, vertelde Thiel Zuckerberg en zijn leidinggevenden dat ze zelfgenoegzaam waren over de kernactiviteiten van Meta op het gebied van sociale media, terwijl ze zich te veel concentreerden op de metaverse, waardoor het bedrijf volgens hem kwetsbaar werd voor de uitdaging van TikTok, aldus twee bronnen die bekend zijn met de uitwisseling.

Meta weigerde commentaar te geven op het gesprek.

INHAALSLAG

Na het stopzetten van een grootschalige uitrol van Meta's eigen aangepaste inferentiechip, die gepland was voor 2022, sloegen leidinggevenden het roer om en plaatsten dat jaar orders voor miljarden dollars aan Nvidia GPU's, aldus een bron.

Meta weigerde commentaar te geven op de bestelling.

Tegen die tijd liep Meta al een aantal stappen achter op collega's zoals Google, dat in 2015 was begonnen met het inzetten van zijn eigen op maat gemaakte versie van GPU's, de TPU genaamd.

Leidinggevenden begonnen dat voorjaar ook met het reorganiseren van Meta's AI-eenheden en benoemden twee nieuwe technische hoofden, waaronder Janardhan, de auteur van de memo van september.

Meer dan een dozijn leidinggevenden verlieten Meta tijdens de maandenlange omwenteling, volgens hun LinkedIn-profielen en een bron die bekend is met het vertrek.

Meta begon vervolgens met het aanpassen van haar datacenters om plaats te bieden aan de binnenkomende GPU's, die meer stroom verbruiken en meer warmte produceren dan CPU's, en die dicht bij elkaar geclusterd moeten worden met gespecialiseerde netwerken ertussen.

Grafisch: Meta's Amerikaanse datacenterstatus - https://www.reuters.com/graphics/METAPLATFORMS-ARTIFICIALINTELLIGENCE/mopakdkmzpa/chart.png

De faciliteiten hadden 24 tot 32 keer zoveel netwerkcapaciteit en nieuwe vloeistofkoelsystemen nodig om de warmte van de clusters te beheren, waardoor ze "volledig opnieuw ontworpen" moesten worden, volgens de memo van Janardhan en vier bronnen die bekend zijn met het project, waarvan de details niet eerder bekend zijn gemaakt.

Naarmate het werk vorderde, maakte Meta interne plannen om te beginnen met de ontwikkeling van een nieuwe en ambitieuzere interne chip die, net als een GPU, in staat zou zijn om zowel AI-modellen te trainen als inferentie uit te voeren. Het project, waarover nog niet eerder is bericht, zou rond 2025 klaar moeten zijn, aldus twee bronnen.

Carvill, de woordvoerder van Meta, zei dat de bouw van datacenters, die werd onderbroken tijdens de overgang naar de nieuwe ontwerpen, later dit jaar zou worden hervat. Hij weigerde commentaar te geven op het chipproject.

RUILEN

Hoewel Meta zijn GPU-capaciteit opschroeft, heeft het tot nu toe weinig kunnen laten zien van concurrenten zoals Microsoft en Google die commerciële generatieve AI-producten in het openbaar lanceren.

Financieel directeur Susan Li gaf in februari toe dat Meta niet veel van zijn huidige rekenkracht aan generatief werk besteedde, en zei dat "in principe al onze AI-capaciteit naar advertenties, feeds en Reels gaat", het TikTok-achtige formaat voor korte video's dat populair is bij jongere gebruikers.

Volgens vier van de bronnen gaf Meta geen prioriteit aan het bouwen van generatieve AI-producten tot na de lancering van ChatGPT in november. Hoewel het onderzoekslaboratorium FAIR, of Facebook AI Research, al sinds eind 2021 prototypes van de technologie publiceerde, was het bedrijf er niet op gericht om zijn goed aangeschreven onderzoek om te zetten in producten, zeiden ze.

Nu de interesse van investeerders stijgt, komt daar verandering in. Zuckerberg kondigde in februari een nieuw generatief AI-team op topniveau aan, dat volgens hem het werk van het bedrijf op dit gebied een "turbo zou geven".

Chief Technology Officer Andrew Bosworth zei deze maand ook dat generatieve AI het gebied was waar hij en Zuckerberg de meeste tijd aan besteedden en voorspelde dat Meta dit jaar een product zou uitbrengen.

Twee mensen die bekend zijn met het nieuwe team zeiden dat het werk zich in de beginfase bevindt en gericht is op het bouwen van een basismodel, een kernprogramma dat later kan worden verfijnd en aangepast voor verschillende producten.

Carvill, de woordvoerder van Meta, zei dat het bedrijf al meer dan een jaar bezig is met het bouwen van generatieve AI-producten in verschillende teams. Hij bevestigde dat het werk is versneld in de maanden sinds de komst van ChatGPT.