Hoe operationaliseer je een getraind algoritme?

1. 6 juni 2024, door Dennie Van Den Biggelaar
2. 0 reacties

Stel je voor: je hebt samen met je data science team een veelbelovend AI-algoritme ontworpen om royement te voorspellen met als doel dat adviseurs hiermee proactief aan de slag gaan. Het potentieel is er, maar al snel kom je er achter dat bij het werkelijk in de praktijk brengen een aantal complexe drempels overwonnen moeten worden. Welke drempels zijn dat en hoe kun je ze omzeilen?

Een helder geformuleerd doel identificeert nauwkeurig wat het algoritme precies moet bereiken en is afgestemd op bedrijfsdoelstellingen. De scope, daarentegen, geeft richting aan het project door de relevante gegevensbronnen, budget, tijdlijnen en verwachte resultaten te definiëren. Wat zijn de stappen om dit te bereiken?

Een data science project is over het algemeen een investering waarbij het niet duidelijk is wat het je kan opleveren en waarbij het niet zeker is of je team in staat is om dit te realiseren. Maak daarom het project zo klein en overzichtelijk mogelijk, zonder dat het zijn waarde en impact verliest als het slaagt. En probeer zo snel mogelijk resultaten te boeken die jou het bewijs geven dat je op het juiste spoor zit.

Boek je die resultaten niet, evalueer dan met het team en stuur bij. Boek je die wel? Eerste doel bereikt! Maak er dan een mooi verhaal van en presenteer het aan je business stakeholders en bespreek met hen hoe je dit groter maakt binnen je organisatie.

Vraagtekens

Veelvoorkomend struikelblok is de kwaliteit en de constante aanlevering van up-to-date gegevens. Inconsistenties en ontbrekende waarden kunnen de nauwkeurigheid van het AI-model in gevaar brengen. De oplossing? Een grondige verkenning van welke data altijd Accuraat, Beschikbaar en Consistent (de data ABC) is.

Voldoet essentiële data om je doel te bereiken hier niet aan? Pas hier dan uitgebreide data cleaning toe, zoals het omgaan met ontbrekende waarden, extreme outliers en fout ingevoerde data. Daarna zul je deze cleaning stappen structureel moeten borgen in een data transformatie pipeline en het bijbehorende proces, zodat je deze data kunt toevoegen aan je fundament voor een betrouwbaar operationeel model.

Onvoldoende vertrouwen

Onvoldoende begrip en vertrouwen in ML-modellen vormt een drempel voor acceptatie bij niet-technische gebruikers. Als je hier niet voldoende aandacht aan besteed, ontstaat er wantrouwen en weerstand.. Een oplossing is het selecteren van transparante modellen met goede uitlegbaarheid en slimme methoden waarbij complexiteit wordt omgezet naar een begrijpelijk concept. Visualisatie en heldere (proces) documentatie vergroten het vertrouwen. Daardoor verdwijnt het bezwaar van een ‘black box’ naar de achtergrond.

En zoals bij elke verandering is het hier ook belangrijk om je collega’s zorgvuldig mee te nemen in dit proces. Geef ze voldoende tijd om hun vragen te stellen en te laten wennen aan deze nieuwe technologie en haar mogelijkheden. En besef dat hun vragen en feedback voor jou essentiële ideale input is om de door jou beoogde toepassing in de praktijk succesvol te maken.

Bezwaren

Het spreekt voor zich dat beveiliging en privacy van (klant)gegevens een eerste voorwaarde zijn om überhaupt te starten. Gelukkig is er de afgelopen vijf jaar veel nieuwe wetgeving doorgevoerd en passen organisaties deze ook praktisch en structureel toe.

Vertrouwen is niet alleen een issue van wetgeving en technologie. Ook op ethisch vlak mag je bezwaren verwachten vanuit verschillende hoeken:

• Weten we zeker dat het algoritme eerlijk is?
• En wat betekent dat eigenlijk?
• Zijn bepaalde groepen slechter af in een situatie met algoritme?
• Vinden we dat ethisch verantwoord?
• Hoe voorkom ik dat mijn algoritme discrimineert?

Gelukkig heeft het Verbond van Verzekeraars een aantal richtlijnen opgesteld die je kunt borgen in je algoritme én aanpak. Wil je zeker weten dat je hierin niets over het hoofd ziet? Stel hier dan één persoon verantwoordelijk voor.

Feedbackcyclus

Luisteren naar gebruikerservaringen en het benutten van deze feedback zorgt voor een dynamische iteratieve cyclus, waarmee het model evolueert in overeenstemming met bedrijfsvereisten. Een gestructureerd feedbackmechanisme is cruciaal voor het zelflerend vermogen van het AI-model. Hoe je dit juist inricht, is per AI-toepassing verschillend.

In het specifieke geval van ‘royementen voorkomen’ laat je de adviseurs bijvoorbeeld vastleggen wat ze met de voorspelling hebben gedaan: klant gebeld, bezocht of niets mee gedaan. Zo wordt over tijd meetbaar wat het effect is op het royement.

Onvoldoende monitoring

Het motto moet zijn: ‘keep the algorithm on the leash’. Wat je niet wilt, zijn ‘hallucinaties’ of onverwachte prestatievermindering, bijvoorbeeld bij een trendbreuk. Dit betekent dat er een zorgvuldig monitorings- en waarschuwingssysteem moet zijn om de modelprestaties te bewaken. Een duurzame toepassing vereist voorts gedetailleerde documentatie van parameters en gebruikte data, zodat het model transparant en reproduceer is n blijft.

Niet schaalbaar

Een algoritme dient ‘by design’ onderdeel te zijn van een systeem met schaalbaarheid in gedachten. Hiervoor zijn doorgaans veilige cloudoplossingen en een schaalbare infrastructuur zoals MLOps technologie noodzakelijk (de ML-variant van DevOps). Houd rekening met groeiprognoses en waarborg een voldoende flexibel systeem dat zich aanpast aan evoluerende bedrijfsvereisten. Het maken van de juiste keuzes voor integratie met IT-landschap is essentieel (bijvoorbeeld real-time of batch-verwerking). Maar hierover meer in de volgende editie.

Onvoldoende betrokkenheid

Volgens hoogleraar innovatie Henk Volberda is het succes van innovatie slechts voor 25 procent technisch van aard en 75 procent afhankelijk van de adoptie door de mens. Een succesvolle adoptie begint met ‘CEO-sponsorship’, het water stroomt immers van boven naar beneden. De leiding dient er voor te zorgen dat er voldoende training, communicatie en ondersteuning is als een AI-model wordt ingezet. Investeer voldoende tijd en energie om met deze nieuwe technologie onderdeel te maken van je organisatie, van strategie tot operatie. Want daar zit de echte return on investment: de succesvolle samenwerking tussen menselijke expert en AI technologie.

Kortom: het bedenken, het bouwen en valideren van een robuust algoritme is slechts fase één van het succesvol in de praktijk brengen van AI. In de volgende editie gaan we nader in op hoe je het kunt integreren met bestaande IT-systemen en workflows.

In het eerste deel (VVP 1, 2024) liet AI-strateeg Dennie van den Biggelaar zien hoe je van start gaat met Machine Learning, een specifiek onderdeel van AI.

Reactie toevoegen

Naam

E-mailadres

Reactie

Organisatie

Telefoonnummer

VVPVIP HypothekenVVP Innovatie PlatformVIP SchadeVVP Twitter

Toevoegen 

Meer over

• kunstmatige intelligentie
• Onesurance
• Dennie van den Biggelaar
• AI