Executives in de hele technologiesector praten over hoe ze AI zoals ChatGPT kunnen gebruiken terwijl ze de hoge kosten in de hand houden. De razend populaire chatbot van OpenAI, die proza kan opstellen en zoekopdrachten kan beantwoorden, heeft "torenhoge" rekenkosten van een paar of meer cent per gesprek, heeft Sam Altman, Chief Executive van de startup, op Twitter gezegd.

In een interview vertelde John Hennessy, voorzitter van Alphabet, aan Reuters dat een uitwisseling met AI, bekend als een groot taalmodel, waarschijnlijk 10 keer meer kost dan een standaard zoekopdracht op trefwoorden, hoewel verfijning de kosten snel zal verlagen.

Zelfs met inkomsten uit potentiële chat-gebaseerde zoekadvertenties, zou de technologie kunnen snijden in de nettowinst van het in Mountain View, Californië gevestigde Alphabet met enkele miljarden dollars aan extra kosten, aldus analisten. De netto-inkomsten bedroegen in 2022 bijna 60 miljard dollar.

Morgan Stanley schatte dat Google's 3,3 biljoen zoekopdrachten vorig jaar ongeveer een vijfde van een cent per zoekopdracht kostten, een getal dat zou stijgen afhankelijk van hoeveel tekst AI moet genereren. Google zou bijvoorbeeld tegen 2024 met een kostenstijging van 6 miljard dollar te maken kunnen krijgen als ChatGPT-achtige AI de helft van de zoekopdrachten die het krijgt, zou moeten afhandelen met antwoorden van 50 woorden, zo voorspelden analisten. Google zal waarschijnlijk geen chatbot nodig hebben om zoekopdrachten voor sites als Wikipedia af te handelen.

Anderen kwamen op andere manieren tot een vergelijkbare schatting. SemiAnalysis, een onderzoeks- en adviesbureau dat zich richt op chiptechnologie, zei bijvoorbeeld dat het toevoegen van ChatGPT-achtige AI aan zoekopdrachten Alphabet $3 miljard zou kunnen kosten, een bedrag dat beperkt wordt door de interne chips van Google die Tensor Processing Units of TPU's worden genoemd, samen met andere optimalisaties.

Wat deze vorm van AI duurder maakt dan conventioneel zoeken, is de rekenkracht die ermee gemoeid is. Dergelijke AI is afhankelijk van miljarden dollars aan chips, een kostenpost die moet worden uitgesmeerd over de levensduur van meerdere jaren, aldus analisten. Elektriciteit brengt ook extra kosten met zich mee en zet bedrijven met CO2-voetafdrukdoelstellingen onder druk.

Het proces van het verwerken van AI-gestuurde zoekopdrachten staat bekend als "inferentie", waarbij een "neuraal netwerk", losjes gemodelleerd naar de biologie van het menselijk brein, het antwoord op een vraag uit eerdere training afleidt.

Bij een traditionele zoekopdracht daarentegen hebben de webcrawlers van Google het internet gescand om een index van informatie samen te stellen. Wanneer een gebruiker een zoekopdracht intypt, geeft Google de meest relevante antwoorden die in de index zijn opgeslagen.

Hennessy van Alphabet zei tegen Reuters: "Het zijn de inferentiekosten die je moet terugdringen," en noemde dat "in het ergste geval een probleem van een paar jaar".

Alphabet staat onder druk om de uitdaging aan te gaan, ondanks de kosten. Eerder deze maand hield rivaal Microsoft Corp een spraakmakend evenement op het hoofdkantoor in Redmond, Washington, om plannen te tonen voor het inbouwen van AI-chattechnologie in zijn zoekmachine Bing, waarbij topmanagers het gemunt hadden op het marktaandeel van Google voor zoekopdrachten, dat volgens de schatting van Similarweb 91% bedraagt.

Een dag later sprak Alphabet over plannen om zijn zoekmachine te verbeteren, maar een promotievideo voor zijn AI-chatbot Bard liet zien dat het systeem een vraag verkeerd beantwoordde, wat een koersdaling veroorzaakte die $100 miljard van de marktwaarde afhaalde.

Microsoft kreeg later zelf een kritisch onderzoek toen zijn AI naar verluidt bedreigingen uitte of de liefde verklaarde aan testgebruikers, wat het bedrijf ertoe aanzette om lange chatsessies te beperken die volgens het bedrijf onbedoelde antwoorden "uitlokten".

Amy Hood, Chief Financial Officer van Microsoft, heeft analisten verteld dat de toename van gebruikers en advertentie-inkomsten opwegen tegen de kosten terwijl de nieuwe Bing wordt uitgerold naar miljoenen consumenten. "Dat zijn incrementele brutomarge-dollars voor ons, zelfs tegen de servicekosten die we bespreken," zei ze.

En een andere Google-concurrent, CEO van zoekmachine You.com Richard Socher, zei dat het toevoegen van een AI-chaterervaring en toepassingen voor grafieken, video's en andere generatieve technologie de kosten met 30% tot 50% deed stijgen. "Technologie wordt goedkoper op schaal en na verloop van tijd," zei hij.

Een bron dicht bij Google waarschuwde dat het nog te vroeg is om precies vast te stellen hoeveel chatbots zouden kunnen kosten, omdat efficiëntie en gebruik sterk variëren afhankelijk van de betrokken technologie, en AI al producten zoals zoeken aandrijft.

Toch is het betalen van de rekening een van de twee belangrijkste redenen waarom zoekmachines en sociale mediagiganten met miljarden gebruikers niet van de ene op de andere dag een AI-chatbot hebben uitgerold, zei Paul Daugherty, chief technology officer bij Accenture.

"De eerste is nauwkeurigheid, en de tweede is dat je dit op de juiste manier moet schalen," zei hij.

DE WISKUNDE LATEN WERKEN

Onderzoekers bij Alphabet en elders bestuderen al jaren hoe ze grote taalmodellen goedkoper kunnen trainen en uitvoeren.

Grotere modellen vereisen meer chips voor inferentie en kosten daarom meer. AI die consumenten verblindt door haar mensachtige autoriteit is in omvang toegenomen tot 175 miljard zogenaamde parameters, of verschillende waarden waarmee het algoritme rekening houdt, voor het model dat OpenAI heeft bijgewerkt tot ChatGPT. De kosten variëren ook met de lengte van de zoekopdracht van een gebruiker, gemeten in "tokens" of stukjes woord.

Een hooggeplaatste technologieleider vertelde Reuters dat dergelijke AI voor miljoenen consumenten nog steeds onbetaalbaar is.

"Deze modellen zijn erg duur, en dus zal het volgende niveau van uitvinding bestaan uit het verlagen van de kosten van zowel het trainen van deze modellen als de inferentie, zodat we het in elke toepassing kunnen gebruiken," zei de leidinggevende op voorwaarde van anonimiteit.

Op dit moment hebben computerwetenschappers binnen OpenAI uitgevonden hoe ze de inferentiekosten kunnen optimaliseren door middel van complexe code die chips efficiënter laat werken, aldus een persoon die bekend is met de inspanning. Een woordvoerder van OpenAI gaf niet direct commentaar.

Een vraagstuk voor de langere termijn is hoe je het aantal parameters in een AI-model 10 of zelfs 100 keer kunt verkleinen zonder aan nauwkeurigheid in te boeten.

"Hoe je het meest effectief parameters kunt verwijderen, dat is nog steeds een open vraag," zei Naveen Rao, die voorheen leiding gaf aan de AI-chipinspanningen van Intel Corp. en nu werkt aan het verlagen van de kosten van AI-rekenen via zijn startup MosaicML.

In de tussentijd hebben sommigen overwogen om geld te vragen voor toegang, zoals OpenAI's abonnement van $20 per maand voor een betere ChatGPT-service. Technologie-experts zeiden ook dat het toepassen van kleinere AI-modellen op eenvoudigere taken een oplossing is, die Alphabet aan het onderzoeken is.

Het bedrijf zei deze maand dat een "kleinere model"-versie van zijn enorme LaMDA AI-technologie zijn chatbot Bard zal aandrijven, die "aanzienlijk minder rekenkracht nodig heeft, waardoor we naar meer gebruikers kunnen schalen".

Gevraagd naar chatbots zoals ChatGPT en Bard, zei Hennessy vorige week op een conferentie genaamd TechSurge dat meer gerichte modellen, in plaats van één systeem dat alles doet, zou helpen om "de kosten te drukken".