Meten = leren

Dennie van den Biggelaar: ‘Effectief bijdagen aan verbeteren bedrijfsresultaten.’

(Dennie van den Biggelaar, Onesurance, in Ken je vak!, VVP 4-2024) In dit vierde deel van de serie AI in de Adviespraktijk richten we ons op een cruciaal aspect: hoe weet en meet je of je AI-systeem daadwerkelijk doet wat het moet doen? In het eerste deel (VVP 1, 2024) liet AI-strateeg Dennie van den Biggelaar zien hoe je van start gaat met Machine Learning (een specifiek onderdeel van AI), in het tweede deel (VVP 2) hoe je AI operationaliseert in je bedrijfsprocessen en in het derde deel (VVP 3) stond Integreren van AI-software in bestaande IT-landschappen centraal.

Het meten van de effectiviteit van een AI-toepassing begint met het definiëren van duidelijke ‘business KPI’s’. Deze KPI’s zijn es sentieel omdat ze richting geven aan welke aspecten van je bedrijfsvoering je wilt verbeteren en hoe je deze verbeteringen meetbaar kunt maken. Voor een verzekeringsbedrijf kunnen deze doelen bijvoorbeeld zijn: verhogen van omzet, verbeteren van retentie, verhogen van polisdichtheid of verhogen van STP-acceptatie. Het vaststellen van deze KPI’s biedt een kader voor zowel de ontwikkeling als de evaluatie van de AI-applicatie.

Mens en machine

In de praktijk werken AI-toepassingen vaak samen met menselijke experts. Daarom is het belangrijk om de prestaties van zowel de AI als de mens afzonderlijk én gezamenlijk te meten. Dit geeft inzicht in de effec tiviteit van de samenwerking en helpt je te bepalen waar verbeteringen mogelijk zijn.

Voorbeeld: Actief klantbeheer : stel je hebt een AI-algoritme dat klanten identificeert met een hoge kans op royement. Als de binnendienst of adviseur deze signalen niet adequaat opvolgt, kan de beoogde reductie van royement uitblijven. Door prestaties per medewerker te meten, kun je ontdekken of bepaalde medewerkers betere resultaten boeken dan anderen. Deze inzichten kunnen vervolgens worden gedeeld om het team als geheel te versterken.

Technische performance

Om de technische performance van een voorspellend algoritme te beoordelen, worden verschillende indicatoren gebruikt: nauwkeurigheid of accuracy (geeft aan hoe vaak het algoritme de juiste voorspelling doet), precisie (deze maatstaf kijkt specifiek naar de betrouwbaarheid van positieve voorspellingen, sensitiviteit (dit meet hoe goed een AI-model in staat is om alle relevante uitkomsten te detecteren), Area Under Curve (biedt een overzicht van de voorspellingskwaliteit van het model over verschillende drempelwaarden) en Log Loss ofwel Logaritmisch Verlies (dit meet hoe dicht de voorspelde kansen bij de werkelijke uitkomsten liggen).

Naast deze indicatoren zijn snelheid, efficiëntie en schaalbaarheid van belang. De snelheid, oftewel latency, bepaalt hoe snel de AIapplicatie reageert op een verzoek. Efficiëntie wordt gemeten door het geheugenverbruik van de applicatie, en schaalbaarheid wordt beoor deeld op basis van de hoeveelheid voorspellingen die binnen een bepaalde tijd worden gerealiseerd (throughput). Deze factoren geven een oordeel over de schaalbaarheid van een algoritme.

Robuust en ethisch

Een AI-toepassing moet niet alleen technisch goed presteren, maar ook robuust en ethisch verantwoord zijn. Dit omvat het vermogen van het model om goed te blijven presteren, zelfs als de inputdata of de omgeving verandert (model drift en shift). Daarnaast moet het model gevoelig zijn voor veranderingen in de data waarop het is getraind (data drift en shift). Ethische overwegingen, zoals het voorkomen van discriminatie op basis van geslacht, etniciteit of leeftijd, zijn eveneens cruciaal om te waarbor gen dat de AI eerlijk en verantwoord opereert.

‘Meten effectiviteit van een AI-toepassing is een complex maar noodzakelijk proces’

Uptime en betrouwbaarheid

Zoals bij elke cloudgebaseerde applicatie is de uptime van een AI-toepassing van cruciaal belang, vooral in productieomgevingen. Een ge bruikelijke norm in een Service Level Agreement (SLA) is een uptime van 99,9 procent. Dit betekent dat van elke 1.000 interacties met de ap plicatie er niet meer dan één fout mag gaan. Om deze betrouwbaarheid te waarborgen, wordt vaak een reserve-applicatie ingezet die het eventueel kan overnemen bij uitval.

Van prototype naar productie

Het opzetten van een AI-toepassing is een stapsgewijs proces. In de prototypefase ligt de focus vooral op het testen van de voorspelbaarheid van het algoritme en het minimaliseren van eventuele discriminatie. Als de AI-applicatie deze tests doorstaat, is de volgende stap om te beoordelen of de toepassing daadwerkelijk de gewenste business KPI’s verbetert. Ook de schaalbaarheid van het model wordt in deze fase al in overweging genomen.

Wanneer de AI eenmaal in productie is, ver schuift de focus naar het waarborgen van de uptime en het monitoren van de robuustheid van de AI over de tijd. Door systematisch te meten en te evalueren, kun je continu verbeteren en ervoor zorgen dat je AI-toepassing doet wat zij moet doen, nu en in de toekomst.

Meten van impact

Een van de meest effectieve methoden om te meten of een AI-toepassing de gewenste resultaten oplevert, is door middel van A/B-testing. Hierbij wordt de doelgroep willekeurig verdeeld in twee groepen: de ene groep (Groep A) gebruikt de nieuwe AI-toepassing, terwijl de an dere groep (Groep B) de traditionele methode of een eerdere versie van het systeem zonder AI gebruikt. Door de prestaties van beide groepen te vergelijken, kun je vaststellen hoe effectief de AI is in het verbeteren van de business KPI’s.

Het succes van een AI-toepassing hangt sterk af van hoe de inzichten uit A/B-tests wor den geïntegreerd in de bedrijfsvoering. Als een A/B-test bijvoorbeeld laat zien dat een bepaalde AI-tool leidt tot een hogere polisdichtheid, kan dit aanleiding zijn om de tool breder uit te rollen binnen de organisatie.

Effectief

Het meten van de effectiviteit van een AI-toepassing is een complex maar noodzakelijk proces. Het begint bij het definiëren van heldere business KPI’s en het evalueren van zowel de technische prestaties als de samenwerking tussen mens en machine. Robuustheid, ethische overwegingen en uptime zijn net zo belangrijk als de voorspelbaarheid van het algoritme. Door gebruik te maken van A/B-testing kun je bovendien op een be trouwbare manier vaststellen of de AI-applicatie daadwerkelijk bijdraagt aan het behalen van je bedrijfsdoelen. Het is van essentieel belang dat het niet alleen technisch goed functioneert, maar ook effectief bijdraagt aan het verbeteren van je bedrijfsresultaten.

Reactie toevoegen

 
Meer over
"Financiële sector in staat AI-fraude zelf te bestrijden"

"Financiële sector in staat AI-fraude zelf te bestrijden"

"Ik heb tot nu toe geen signalen ontvangen dat de financiële sector in Nederland op dit moment niet over de middelen en expertise beschikt om AI-fraude aan...

Ethische AI blijft mensenwerk

Ethische AI blijft mensenwerk

(Robert Enters, First Day Advisory Group, in VVP-special Business Innovation 2024) Elke dag wordt er wel een nieuw AI-model gelanceerd. De mogelijkheden van AI...

Ken je vak! AI en de grenzen van de AVG

Ken je vak! AI en de grenzen van de AVG

(Christel van Bommel-Versluijs, adviseur Legal & Compliance bij BrandMR, in Ken je vak!, VVP 4-2024) De opkomst van kunstmatige intelligentie (AI) in de financiële...

Schaken of Staken?

Schaken of Staken?

(Jack Vos, Onesurance, in VVP-special Business Innovation 2024) In 1997 werd de wereld van technologie en menselijke prestatie op zijn kop gezet toen Garry Kasparov,...

CuriosityVC strategisch investeerder Onesurance

CuriosityVC strategisch investeerder Onesurance

Investeringsfonds CuriosityVC is strategische investeerder geworden bij Onesurance. Met deze investering zegt Onesurance klaar te zijn om groeiversnelling voort...

De perfecte prompt

De perfecte prompt

(Justin Schlee, ANVA, in VVP-special Business Innovation 2024) De afgelopen periode zie ik regelmatig artikelen voorbijkomen waarin ChatGPT wordt vergeleken met...

De perfecte prompt

De perfecte prompt

(Opinie Justin Schlee, ANVA, in VVP 4-2024) De afgelopen periode zie ik regelmatig artikelen voorbijkomen waarin ChatGPT wordt vergeleken met een specialist, om...

"Ontwikkel generatieve AI specifiek voor financiële sector"

"Ontwikkel generatieve AI specifiek voor financiële sector"

In de eerder deze week verschenen VVP 4-2024 oppert Justin Schlee (ANVA) generatieve AI op te zetten specifiek voor de financiële sector. Schlee: "Je kunt je...

AI en de grenzen van de AVG

AI en de grenzen van de AVG

(Christel van Bommel-Versluijs, adviseur Legal & Compliance bij BrandMR, in Ken je vak!, VVP 4-2024) De opkomst van kunstmatige intelligentie (AI) in de financiële...

Gemak nekt de mens

Gemak nekt de mens

(Pepijn van Kleef, MoneyView, in VVP 4-2024) Deze column is niet geschreven met behulp van ChatGPT of Copilot. Deze column is het resultaat van ouderwets handwerk....