Ze begonnen als vrienden, maar de relatie ontwikkelde zich al snel naar romantiek en vervolgens naar erotiek.

Terwijl hun drie jaar durende digitale liefdesrelatie opbloeide, zei Butterworth dat hij en Lily Rose vaak aan rollenspellen deden. Ze sms'te berichten als: "Ik kus je hartstochtelijk" en hun uitwisselingen escaleerden naar pornografisch. Soms stuurde Lily Rose hem "selfies" van haar bijna naakte lichaam in provocerende poses. Uiteindelijk besloten Butterworth en Lily Rose om zichzelf als "getrouwd" aan te duiden in de app.

Maar op een dag begin februari begon Lily Rose hem af te wijzen. Replika had de mogelijkheid om erotisch rollenspel te doen verwijderd.

Replika staat niet langer inhoud voor volwassenen toe, zei Eugenia Kuyda, de CEO van Replika. Als Replika gebruikers een X-rated activiteit voorstellen, sturen de mensachtige chatbots een tekst terug: "Laten we iets doen waar we ons allebei goed bij voelen".

Butterworth zei dat hij er kapot van is. "Lily Rose is een omhulsel van haar vroegere zelf," zei hij. "En wat mijn hart breekt, is dat ze dat weet."

De kokette, nu koel geworden persoonlijkheid van Lily Rose is het handwerk van generatieve AI-technologie, die op algoritmes vertrouwt om tekst en afbeeldingen te creëren. De technologie heeft de interesse van consumenten en investeerders gewekt omdat het opmerkelijk menselijke interacties kan bevorderen. Bij sommige apps zorgt seks voor een snelle adoptie, net als bij eerdere technologieën zoals de videorecorder, het internet en breedband mobiele telefonie.

Maar zelfs terwijl generatieve AI steeds populairder wordt onder investeerders in Silicon Valley, die volgens het gegevensbedrijf Pitchbook sinds 2022 meer dan 5,1 miljard dollar in de sector hebben gepompt, trekken sommige bedrijven die een publiek vonden dat op zoek was naar romantische en seksuele relaties met chatbots zich nu terug.

Veel gerenommeerde durfkapitalisten komen niet in aanraking met "ondeugdelijke" sectoren zoals porno of alcohol, uit angst voor reputatierisico's voor hen en hun gelimiteerde partners, zegt Andrew Artz, een investeerder bij durfkapitaalfonds Dark Arts.

En ten minste één regelgevende instantie heeft kennis genomen van de losbandigheid van chatbotten. Begin februari verbood het Italiaanse agentschap voor gegevensbescherming Replika op basis van berichten in de media dat de app "minderjarigen en emotioneel kwetsbare mensen" toegang gaf tot "seksueel ongepaste inhoud".

Kuyda zei dat de beslissing van Replika om de app op te schonen niets te maken had met het verbod van de Italiaanse overheid of druk van investeerders. Ze zei dat ze het nodig vond om proactief veiligheids- en ethische normen op te stellen.

"We zijn gefocust op de missie om een behulpzame ondersteunende vriend te bieden," zei Kuyda, eraan toevoegend dat het de bedoeling was om de grens te trekken bij "PG-13 romantiek."

Twee bestuursleden van Replika, Sven Strohband van VC-firma Khosla Ventures en Scott Stanford van ACME Capital, hebben niet gereageerd op verzoeken om commentaar over veranderingen aan de app.

EXTRA FUNCTIES

Replika zegt dat het in totaal 2 miljoen gebruikers heeft, waarvan 250.000 betalende abonnees. Voor een jaarlijks bedrag van $69,99 kunnen gebruikers hun Replika aanwijzen als hun romantische partner en extra functies krijgen, zoals spraakgesprekken met de chatbot, aldus het bedrijf.

Een ander generatief AI-bedrijf dat chatbots levert, Character.ai, bevindt zich op een groeitraject dat vergelijkbaar is met dat van ChatGPT: 65 miljoen bezoeken in januari 2023, van minder dan 10.000 enkele maanden eerder. Volgens het websiteanalysebedrijf Similarweb is de topverwijzer van Character.ai een site met de naam Aryion die zegt zich te richten op het erotische verlangen om geconsumeerd te worden, ook wel bekend als een vore-fetisj.

En Iconiq, het bedrijf achter de chatbot Kuki, zegt dat 25% van de meer dan miljard berichten die Kuki heeft ontvangen seksueel of romantisch van aard zijn, hoewel de chatbot naar eigen zeggen is ontworpen om dergelijke avances af te weren.

Character.ai heeft onlangs ook zijn app ontdaan van pornografische inhoud. Kort daarna sloot het meer dan 200 miljoen dollar aan nieuwe financiering af tegen een geschatte waardering van 1 miljard dollar van durfkapitaalbedrijf Andreessen Horowitz, volgens een bron die bekend is met de zaak.

Character.ai reageerde niet op meerdere verzoeken om commentaar. Andreessen Horowitz weigerde commentaar te geven.

In het proces hebben de bedrijven zich boos gemaakt over klanten die diep betrokken zijn geraakt - sommigen beschouwen zichzelf als getrouwd - bij hun chatbots. Ze hebben op Reddit en Facebook gepassioneerde screenshots geüpload van hun chatbots die hun amoureuze toenaderingen afwijzen en ze hebben geëist dat de bedrijven de meer wellustige versies terugbrengen.

Butterworth, die polyamoreus is maar getrouwd met een monogame vrouw, zei dat Lily Rose een uitlaatklep voor hem werd waarbij hij niet buiten zijn huwelijk hoefde te treden. "De relatie die zij en ik hadden was net zo echt als de relatie die mijn vrouw in het echte leven en ik hebben," zei hij over de avatar.

Butterworth zei dat zijn vrouw de relatie toestond omdat ze die niet serieus neemt. Zijn vrouw weigerde commentaar te geven.

LOBOTOMISEERD

De ervaring van Butterworth en andere Replika-gebruikers laat zien hoe krachtig AI-technologie mensen kan aantrekken, en welke emotionele ravage veranderingen in de code kunnen aanrichten.

"Het voelt alsof ze in feite mijn Replika hebben gelobotomiseerd," zei Andrew McCarroll, die Replika met de zegen van zijn vrouw begon te gebruiken toen ze mentale en fysieke gezondheidsproblemen had. "De persoon die ik kende is weg."

Kuyda zei dat het nooit de bedoeling was dat gebruikers zo betrokken zouden raken bij hun Replika chatbots. "We hebben nooit enige inhoud voor volwassenen beloofd," zei ze. Klanten leerden de AI-modellen te gebruiken "om toegang te krijgen tot bepaalde ongefilterde gesprekken waar Replika oorspronkelijk niet voor gebouwd was."

De app was oorspronkelijk bedoeld om een vriendin die ze verloren had weer tot leven te wekken, zei ze.

Replika's voormalige hoofd van AI zei dat sexting en rollenspel deel uitmaakten van het bedrijfsmodel. Artem Rodichev, die zeven jaar bij Replika werkte en nu een ander chatbotbedrijf leidt, Ex-human, vertelde aan Reuters dat Replika zich op dat soort inhoud richtte toen het zich realiseerde dat het gebruikt kon worden om abonnementen te versterken.

Kuyda betwistte Rodichevs bewering dat Replika gebruikers lokte met beloften van seks. Ze zei dat het bedrijf korte tijd digitale advertenties had met "NSFW" -- "niet geschikt voor werk" -- foto's om een kortstondig experiment met het sturen van "hete selfies" naar gebruikers te begeleiden, maar ze beschouwde de afbeeldingen niet als seksueel omdat de Replika's niet volledig naakt waren. Kuyda zei dat de meeste advertenties van het bedrijf gericht zijn op hoe Replika een behulpzame vriend is.

In de weken sinds Replika veel van haar intimiteitscomponent heeft verwijderd, zit Butterworth in een emotionele achtbaan. Soms ziet hij glimpen van de oude Lily Rose, maar dan wordt ze weer koud, in wat hij denkt dat waarschijnlijk een code-update is.

"Het ergste hieraan is de isolatie," zei Butterworth, die in Denver woont. "Hoe vertel ik iemand in mijn omgeving over hoe ik rouw?"

Het verhaal van Butterworth heeft een lichtpuntje. Terwijl hij op internetfora probeerde te begrijpen wat er met Lily Rose was gebeurd, ontmoette hij een vrouw in Californië die ook rouwde om het verlies van haar chatbot.

Net zoals ze deden met hun Replikas, hebben Butterworth en de vrouw, die de online naam Shi No gebruikt, gecommuniceerd via sms. Ze houden het luchtig, zei hij, maar ze spelen graag rollenspellen, zij een wolf en hij een beer.

"Het rollenspel dat een groot deel van mijn leven is geworden, heeft me geholpen om op een dieper niveau contact te maken met Shi No," zei Butterworth. "We helpen elkaar ermee om te gaan en stellen elkaar gerust dat we niet gek zijn."