Hoe operationaliseer je een getraind algoritme?
(Dennie van den Biggelaar, Onesurance, in Ken je vak! VVP 2-2024) In dit tweede deel van de serie AI in de Adviespraktijk beantwoorden we de vraag: hoe operationaliseer je een getraind algoritme?
Stel je voor: je hebt samen met je data science team een veelbelovend AI-algoritme ontworpen om royement te voorspellen met als doel dat adviseurs hiermee proactief aan de slag gaan. Het potentieel is er, maar al snel kom je er achter dat bij het werkelijk in de praktijk brengen een aantal complexe drempels overwonnen moeten worden. Welke drempels zijn dat en hoe kun je ze omzeilen?
Een helder geformuleerd doel identificeert nauwkeurig wat het algoritme precies moet bereiken en is afgestemd op bedrijfsdoelstellingen. De scope, daarentegen, geeft richting aan het project door de relevante gegevensbronnen, budget, tijdlijnen en verwachte resultaten te definiëren. Wat zijn de stappen om dit te bereiken?
Een data science project is over het algemeen een investering waarbij het niet duidelijk is wat het je kan opleveren en waarbij het niet zeker is of je team in staat is om dit te realiseren. Maak daarom het project zo klein en overzichtelijk mogelijk, zonder dat het zijn waarde en impact verliest als het slaagt. En probeer zo snel mogelijk resultaten te boeken die jou het bewijs geven dat je op het juiste spoor zit.
Boek je die resultaten niet, evalueer dan met het team en stuur bij. Boek je die wel? Eerste doel bereikt! Maak er dan een mooi verhaal van en presenteer het aan je business stakeholders en bespreek met hen hoe je dit groter maakt binnen je organisatie.
Vraagtekens
Veelvoorkomend struikelblok is de kwaliteit en de constante aanlevering van up-to-date gegevens. Inconsistenties en ontbrekende waarden kunnen de nauwkeurigheid van het AI-model in gevaar brengen. De oplossing? Een grondige verkenning van welke data altijd Accuraat, Beschikbaar en Consistent (de data ABC) is.
‘Zorg voor voldoende begrip en vertrouwen bij niettechnische gebruikers’
Voldoet essentiële data om je doel te bereiken hier niet aan? Pas hier dan uitgebreide data cleaning toe, zoals het omgaan met ontbrekende waarden, extreme outliers en fout ingevoerde data. Daarna zul je deze cleaning stappen structureel moeten borgen in een data transformatie pipeline en het bijbehorende proces, zodat je deze data kunt toevoegen aan je fundament voor een betrouwbaar operationeel model.
Onvoldoende vertrouwen
Onvoldoende begrip en vertrouwen in ML-modellen vormt een drempel voor acceptatie bij niet-technische gebruikers. Als je hier niet voldoende aandacht aan besteed, ontstaat er wantrouwen en weerstand.. Een oplossing is het selecteren van transparante modellen met goede uitlegbaarheid en slimme methoden waarbij complexiteit wordt omgezet naar een begrijpelijk concept. Visualisatie en heldere (proces) documentatie vergroten het vertrouwen. Daardoor verdwijnt het bezwaar van een ‘black box’ naar de achtergrond.
En zoals bij elke verandering is het hier ook belangrijk om je collega’s zorgvuldig mee te nemen in dit proces. Geef ze voldoende tijd om hun vragen te stellen en te laten wennen aan deze nieuwe technologie en haar mogelijkheden. En besef dat hun vragen en feedback voor jou essentiële ideale input is om de door jou beoogde toepassing in de praktijk succesvol te maken.
Bezwaren
Het spreekt voor zich dat beveiliging en privacy van (klant)gegevens een eerste voorwaarde zijn om überhaupt te starten. Gelukkig is er de afgelopen vijf jaar veel nieuwe wetgeving doorgevoerd en passen organisaties deze ook praktisch en structureel toe.
Vertrouwen is niet alleen een issue van wetgeving en technologie. Ook op ethisch vlak mag je bezwaren verwachten vanuit verschillende hoeken:
- Weten we zeker dat het algoritme eerlijk is?
- En wat betekent dat eigenlijk?
- Zijn bepaalde groepen slechter af in een situatie met algoritme?
- Vinden we dat ethisch verantwoord?
- Hoe voorkom ik dat mijn algoritme discrimineert?
Gelukkig heeft het Verbond van Verzekeraars een aantal richtlijnen opgesteld die je kunt borgen in je algoritme én aanpak. Wil je zeker weten dat je hierin niets over het hoofd ziet? Stel hier dan één persoon verantwoordelijk voor.
Feedbackcyclus
Luisteren naar gebruikerservaringen en het benutten van deze feedback zorgt voor een dynamische iteratieve cyclus, waarmee het model evolueert in overeenstemming met bedrijfsvereisten. Een gestructureerd feedbackmechanisme is cruciaal voor het zelflerend vermogen van het AI-model. Hoe je dit juist inricht, is per AI-toepassing verschillend.
In het specifieke geval van ‘royementen voorkomen’ laat je de adviseurs bijvoorbeeld vastleggen wat ze met de voorspelling hebben gedaan: klant gebeld, bezocht of niets mee gedaan. Zo wordt over tijd meetbaar wat het effect is op het royement.
Onvoldoende monitoring
Het motto moet zijn: ‘keep the algorithm on the leash’. Wat je niet wilt, zijn ‘hallucinaties’ of onverwachte prestatievermindering, bijvoorbeeld bij een trendbreuk. Dit betekent dat er een zorgvuldig monitorings- en waarschuwingssysteem moet zijn om de modelprestaties te bewaken. Een duurzame toepassing vereist voorts gedetailleerde documentatie van parameters en gebruikte data, zodat het model transparant en reproduceer is n blijft.
Niet schaalbaar
Een algoritme dient ‘by design’ onderdeel te zijn van een systeem met schaalbaarheid in gedachten. Hiervoor zijn doorgaans veilige cloudoplossingen en een schaalbare infrastructuur zoals MLOps technologie noodzakelijk (de ML-variant van DevOps). Houd rekening met groeiprognoses en waarborg een voldoende flexibel systeem dat zich aanpast aan evoluerende bedrijfsvereisten. Het maken van de juiste keuzes voor integratie met IT-landschap is essentieel (bijvoorbeeld real-time of batch-verwerking). Maar hierover meer in de volgende editie.
Onvoldoende betrokkenheid
Volgens hoogleraar innovatie Henk Volberda is het succes van innovatie slechts voor 25 procent technisch van aard en 75 procent afhankelijk van de adoptie door de mens. Een succesvolle adoptie begint met ‘CEO-sponsorship’, het water stroomt immers van boven naar beneden. De leiding dient er voor te zorgen dat er voldoende training, communicatie en ondersteuning is als een AI-model wordt ingezet. Investeer voldoende tijd en energie om met deze nieuwe technologie onderdeel te maken van je organisatie, van strategie tot operatie. Want daar zit de echte return on investment: de succesvolle samenwerking tussen menselijke expert en AI technologie.
Kortom: het bedenken, het bouwen en valideren van een robuust algoritme is slechts fase één van het succesvol in de praktijk brengen van AI. In de volgende editie gaan we nader in op hoe je het kunt integreren met bestaande IT-systemen en workflows.
In het eerste deel (VVP 1, 2024) liet AI-strateeg Dennie van den Biggelaar zien hoe je van start gaat met Machine Learning, een specifiek onderdeel van AI.
Reactie toevoegen
Meer over
(Uit VVP-special Duurzaam Advies 2024) Nieuw in VVP in 2024: VVP legt een vraag voor aan ChatGPT en laat vervolgens een deskundige van vlees en bloed op het antwoord...
Kunstmatige intelligentie slim aanpakken
(Justin Schlee, ANVA, in katern Haal meer uit data in VVP 1-2024) Kunstmatige intelligentie is een interessante tool die het overwegen waard is, vooral als het...
VVP Ken je vak! Duurzaamheid: rode draad bij vergroening
(Björn Jalving, Turien/Ansvar, in Ken je vak! in VVP 1-2024) Over waarom een duurzame samenleving noodzakelijk is, raken we nooit uitgeschreven. Maar wat zullen...
Bepaal zelf uw toekomst en word local hero of global player
(Jack Vos, Onesurance en lid VVP Ondernemerspanel, in VVP 1-2024) Intermediairs waren ooit gefragmenteerd en nationaal georiënteerd, maar dit verschuift nu...
(Jelle Bartels, The Main Thing, in Ken je vak! in VVP 1-2024) Door verschillende vormen van vergaderingen te hanteren en conflicten leidend te laten zijn, kunnen...
Meeste aandacht naar de juiste klant
(Uit katern Haal meer uit data in VVP 1-2024) “De manier waarop data gebruikt kan worden om bijvoorbeeld te kunnen voorspellen wat de royeringskans is van...
Ken je vak! Wartaal: mooie grote woorden
(Mieke Dadema, Soepel, in Ken je vak! in VVP 1-2024) Veel mensen denken dat ik niet van ingewikkelde woorden hou, dat het altijd maar makkelijk moet. Dat is niet...
Ken je vak! Inkomen: het spel en de knikkers
(Annemieke Postema, AOVdokter, in Ken je vak! in VVP 1-2024) Bij een arbeidsongeschiktheidsverzekering draait het niet alleen om het spel, maar ook om de knikkers....
Katern Haal meer uit data in nieuwe VVP
Pak kunstmatige intelligentie slim aan, stelt Justin Schlee (ANVA) in het katern Haal meer uit data in de dinsdag verschenen nieuwe VVP 1-2024. Schlee: "Mijn advies...
Nieuw in VVP: branchekenners in duel met ChatGPT
In de vandaag (dinsdag) verschenen VVP 1-2024 duelleert Richard Meinders (SVC Groep, lid VVP Ondernemerspanel) met ChatGPT over actieve provisietransparantie in...