S&P Global kondigde de lancering aan van S&P AI Benchmarks by Kensho. Deze innovatieve benchmarkingoplossing beoordeelt en rangschikt de kwantitatieve redeneercapaciteiten en expertise van grote taalmodellen (LLM's) in de zakelijke en financiële sector. De resultaten van deze beoordelingen worden weergegeven op een scorebord, waardoor een transparant en uitgebreid beeld ontstaat van de prestaties van verschillende LLM's. S&P AI Benchmarks by Kensho zal de manier veranderen waarop financiële professionals evalueren welke LLM ze moeten gebruiken voor hun financiële workflows.

De oplossing meet en rangschikt hoe goed LLM's complexe kwantitatieve redeneervragen kunnen oplossen, bedrijfsfundamentals kunnen begrijpen en relevante financiële informatie uit documenten kunnen halen. Door de uitvoer van het model rigoureus te valideren, biedt S&P AI Benchmarks by Kensho nauwkeurige en betrouwbare beoordelingen van LLM-toepassingen voor financiële professionals. S&P AI Benchmarks by Kensho onderscheidt zich door het rigoureuze validatieproces, ontwikkeld in samenwerking met een divers team van specialisten.

Dit omvat gewaardeerde academici, doorgewinterde onderzoekers, materiedeskundigen in verschillende domeinen en financiële professionals uit alle divisies van S&P Global, die allemaal bijdragen aan de nauwkeurigheid en doeltreffendheid van de tool. Een van de belangrijkste voordelen van S&P AI Benchmarks by Kensho is het veilige indieningsproces. Financiële professionals kunnen hun LLM's benchmarken zonder enig deel van hun model te delen, alleen de output.

Het bedrijf gebruikt de ingediende outputs om de score van de gebruiker te creëren, die op het leaderboard wordt geplaatst. Gebruikers die willen dat hun scores van het leaderboard worden verwijderd, kunnen dit op elk moment aanvragen.