In een schemerige opnamestudio in Seoul gebruiken producers van het K-pop muzieklabel dat de wereldhit BTS heeft gebracht kunstmatige intelligentie om de stem van een Zuid-Koreaanse zanger te versmelten met die van moedertaalsprekers in vijf andere talen.

Dankzij deze technologie kon HYBE, het grootste muzieklabel van Zuid-Korea, in mei een nummer van zanger MIDNATT uitbrengen in zes talen - Koreaans, Engels, Spaans, Chinees, Japans en Vietnamees.

Sommige K-pop zangers hebben naast hun moedertaal Koreaans ook nummers in het Engels en Japans uitgebracht, maar het toepassen van de nieuwe technologie voor een gelijktijdige release in zes talen is volgens HYBE een wereldwijde primeur en kan de weg vrijmaken voor gebruik door meer populaire acts.

"We zouden eerst luisteren naar de reactie, de stem van de fans, en dan beslissen wat onze volgende stappen zouden moeten zijn," zei Chung Wooyong, het hoofd van de afdeling interactieve media van HYBE in een interview in de studio van het bedrijf.

Lee Hyun, 40, bekend als MIDNATT, die naast Koreaans slechts beperkt Engels en Chinees spreekt, nam het nummer "Masquerade" in elke taal op.

Moedertaalsprekers lazen de tekst voor en later werden de twee naadloos gecombineerd met behulp van HYBE's eigen AI-muziektechnologie, aldus Chung.

Het nummer is het nieuwste teken van de groeiende invloed van AI in de muziekindustrie op een moment dat de Grammy Awards nieuwe regels hebben geïntroduceerd voor het gebruik van de technologie en AI-gegenereerde mash-ups van nummers de sociale media overspoelen.

"We verdeelden een stuk geluid in verschillende componenten - uitspraak, timbre, toonhoogte en volume," zei Chung. "We keken naar uitspraak die geassocieerd wordt met tongbeweging en gebruikten onze verbeelding om te zien wat voor uitkomst we konden maken met behulp van onze technologie."

In een voor-en-na vergelijking die aan Reuters werd getoond, werd bijvoorbeeld een verlengde klinkerklank toegevoegd aan het woord "twisted" in de Engelse tekst om natuurlijker te klinken, terwijl er geen waarneembare verandering werd aangebracht aan de stem van de zanger.

Door gebruik te maken van deep learning met behulp van het raamwerk voor neurale analyse en synthese (NANSY) dat door Supertone is ontwikkeld, klinkt het liedje natuurlijker dan wanneer er geen AI-software wordt gebruikt, aldus Choi Hee-doo, chief operating officer van Supertone.

HYBE kondigde in januari de overname van Supertone aan voor 45 miljard won ($36 miljoen). HYBE zei dat het van plan was om een deel van de AI-technologie die gebruikt wordt in het liedje van MIDNATT toegankelijk te maken voor makers en het publiek, maar gaf niet aan of het daarvoor kosten in rekening zou brengen.

MEESLEPENDE ERVARING

MIDNATT zei dat het gebruik van AI hem een "breder spectrum van artistieke expressies" had gegeven.

"Ik heb het gevoel dat de taalbarrière is opgeheven en dat het voor fans wereldwijd veel gemakkelijker is om een meeslepende ervaring met mijn muziek te hebben," zei hij in een verklaring.

Hoewel de technologie niet nieuw is, is het een innovatieve manier om AI in muziek te gebruiken, zei Valerio Velardo, directeur van The Sound of AI, een in Spanje gevestigde adviesdienst voor AI-muziek en -audio.

Niet alleen professionele muzikanten, maar ook een bredere populatie zal op de lange termijn profiteren van AI-muziektechnologie, aldus Velardo.

"Het zal de drempel voor muziekcreatie verlagen. Het is een beetje zoals Instagram voor foto's, maar dan in het geval van muziek."

Op dit moment heeft de uitspraakcorrectietechnologie van HYBE "weken of maanden" nodig om zijn werk te doen, maar als het proces versnelt, kan het een breder scala aan doeleinden dienen, zoals tolken tijdens videoconferenties, zei Choi Jin-woo, de producer van MIDNATT's "Masquerade" die Hitchhiker heet. (Verslaggeving door Hyunsu Yim; Aanvullende rapportage door Daewoung Kim en Hyun Young Yi; Bewerking door Josh Smith en Jamie Freed)