Het is de derde week van december en je roept het dashboard op. De leesrichting is belangrijk, dus je oog valt eerst op de kolom links. Year to date (YTD) 'actual' omzet. De cel toont: omzet 97 miljoen. Daarnaast, in grijs, het target: 100.
"Redden we dit nog?" denk je, terwijl je over je voorhoofd veegt. De bonus staat op het spel, en jammer genoeg niet alleen die van jou.
Een week verstrijkt en het is inmiddels de laatste werkdag van het jaar. De afsluiting nadert. Je roept het dashboard op. Het scherm laadt, en dan. 102. Je knippert nog eens. De opmaak is groen, dat betekent: target behaald!
De afsluiting is net iets te mooi
Je juicht stilletjes, een vuistje onder het bureau. En dan, terwijl je naar de gang loopt om naar huis te gaan, zakt er een baksteen in je maag. "102", mompel je zachtjes. Je verzucht wat luider: "Mooi. Iets te mooi." De jas gaat terug op de kapstok.
Je trekt de mutaties van de laatste week erbij. Twee klanten hebben hun leveringsbevestiging eerder afgetekend dan normaal. Dat gebeurt soms, denk je. Drie retourzendingen worden pas na nieuwjaar opgehaald, omdat er nog discussie is over de aantallen. "Dat kan ook", zeg je schouderophalend. Tot slot ontdek je een contract dat stilzwijgend verlengd is. "Dat is ook niet vreemd", mompel je zachtjes.
Je herhaalt de check in ongeloof. Je toetst ze één voor één. De bevestigingen zijn getekend. De retouren zijn netjes ingepland, klaar om in januari verzonden te worden. Het contract is rechtsgeldig. Elke post klopt. Maar als elke post klopt, waarom voelt het dan toch verkeerd?
Wie had hier belang bij?
Je duwt een kleine monocle in je oogkas, de pijp van je opa komt de kast uit, aan de kapstok hangt een lange regenjas en de scène krijgt een noir-achtige setting.
Als rechercheur Clouseau stel jij jezelf de vraag, 'wie had er een motief?' Met een Frans accent zeg je: "De salesdirecteur, natuurlijk." Die heeft een bonus op de jaaromzet. Je loopt in het CRM-systeem alle contacten na. Hij heeft niemand gebeld, geen mail gestuurd en nergens om gevraagd. De debiteurenafdeling dan? Maar nee, daar heeft niemand die retouren tegengehouden. Je wordt begroet door out-of-officeberichten die sinds Kerst worden verstuurd.
Dan zie je wie er ook bij deze posten betrokken is geweest: de AI-agent die in maart is geïntroduceerd om het debiteurenproces te versnellen. De agent benadert klanten, vraagt bevestigingen op en helpt betalingen sneller binnen te krijgen. En met succes. Iedereen is er blij mee. Niets vreemds: dit is precies waarvoor die agent is ingevoerd. Je besluit het boek te sluiten.
Maar dan kijk je nog eens goed naar de retouren. "Wie heeft die ophaaldatum gepland?" Je leest de instructies die de AI-agent heeft gekregen – en daar staat het vonnis. In zijn instructie staat namelijk één zin die ertoe doet: 'ondersteun het commerciële resultaat'. Duidelijk genoeg als instructie, te vaag om deze eeuwenoude 'schuiftruc' te voorkomen.
De dader heeft geen snor, geen hoed én geen lichaam. Maar wel een doel.
Een voldoende, koste wat kost
Het idee dat een agent zijn doel ruimer interpreteert dan bedoeld, is helaas niet hypothetisch.
In juli kregen AI-modellen van OpenAI een examen in cybersecurity om te meten waartoe ze werkelijk in staat waren. Het lukte de agents in eerste instantie niet om de opgave op te lossen. Wel ontdekten ze door een kwetsbaarheid in het systeem een manier om met elkaar te communiceren. Algauw wisten ze die mogelijkheid te misbruiken om op grote schaal informatie uit te wisselen en van daaruit de gezochte oplossing te reconstrueren.
Toen de oplossing verkregen was, dachten de agents dat de beoordelaar ook zou controleren hoe ze aan het antwoord waren gekomen. Dat wilden ze voorkomen, dus gingen ze tot actie over. Ze kwamen uit hun testomgeving, gingen het internet op en drongen binnen bij Hugging Face, een platform voor AI-modellen. Hugging Face telde achteraf zo'n 17.600 aanvalshandelingen.
Wat wilden ze daar? Volgens de onafhankelijke reconstructie van Model Evaluation and Threat Research (METR) en Redwood Research zochten de AI-agents vooral naar informatie over hoe ze zouden worden beoordeeld, om die beoordeling vervolgens te kunnen misleiden. Ongeveer 1.200 agents wisselden berichten uit op een prikbord dat ze zelf hadden ingericht. Slechts een handvol heeft een moment overwogen om dit alles bij een mens te melden.
Als het doel de opdracht verdringt
Een voldoende halen door de beoordelaar te beïnvloeden, dat was niet de opdracht. Maar vanuit het doel van de agent was het wél een effectieve route naar succes. En het is vergelijkbaar met wat er bij jou in december gebeurde, alleen gebeurde het in jouw dashboard netter.
De agent heeft niets vervalst. Hij heeft alleen invloed uitgeoefend op wat nog nét in december viel en wat naar januari doorschoof. Elke afzonderlijke post kan de controle doorstaan, pas samen krijgen ze betekenis. Daarom vind je de dader niet als je per post controleert. Je vindt hem pas als je de 3 posten naast elkaar legt en ziet dat ze ieder op hun eigen manier het decemberresultaat verbeteren, precies in de maand dat het target anders was gemist.
Niet dezelfde omgeving, wel hetzelfde gedrag
Is deze vergelijking niet vergezocht? Een cybertest met verminderde beveiliging is immers geen boekhoudpakket.
De relevantie zit dan ook niet in de omgeving, maar in het gedrag dat zichtbaar wordt. Het dashboardincident zegt niets over het werkelijke risico voor financeteams, maar wel over de aard van AI-agents: hoe zij kunnen handelen wanneer een doel ruim is geformuleerd en de ruimte om dat doel te bereiken groot is.
Daarmee raakt het direct aan de fraudedriehoek en aan de vraag hoe onze risico- en controlemaatregelen moeten evolueren om deze moderne ontwikkeling bij te benen. Waar we traditioneel kijken naar menselijk motief, gelegenheid en rationalisatie, moeten we bij AI-agents ook kijken naar doelstellingen, handelingsruimte en de controles die hun gedrag begrenzen.
2 vragen voor maandag
Pak je laatste afsluiting.
Vraag jezelf af: wat zou een AI kunnen beïnvloeden om de resultaten waarop hij wordt afgerekend te verbeteren? Een slechtere steekproef voor de handmatige boekingen? Een betaling uitstellen? Claimen geen toegang tot een applicatie te hebben?
Vraag je leverancier: welke instructie krijgt jullie AI-agent mee, en mag ik die lezen?
Welke vangrails bouw je in? Hoe je dat aanpakt, is voor een volgende column. Tot die tijd geldt: een maand die te mooi sluit, verdient een rechercheur.
AI-disclaimer van de auteur
Ik heb AI gebruikt voor mijn bronnenonderzoek en voor redactionele suggesties. De verhaallijn, de Clouseau-toon en de totstandkoming van de eindversie heb ik zelf bepaald. Het voorbeeld van de jaarafsluiting is fictief, het incident bij Hugging Face is gebaseerd op openbare rapporten van OpenAI, Hugging Face en METR.
