Willem Bakker, 52
Programme Manager AI · Municipal governmentProgrammamanager AI · Gemeente
The new model was demonstrably fairer than the old system. Internally the file was closed. Then a journalist asked: “Why was this citizen flagged?” The team could explain it technically, but not comprehensibly.Het nieuwe model was aantoonbaar eerlijker dan het oude systeem. Intern was het dossier gesloten. Toen vroeg een journalist: “Waarom is deze burger gesignaleerd?” Het team kon het technisch uitleggen, maar niet begrijpelijk.
What the adversarial session foundWat de tegensprekende sessie opleverde
We examined the decision as public accountability rather than model performance. It wasn’t the model that was missing, but the narrative around it. The register described every system, but not what it replaced. That meant there was no before-and-after explanation.We onderzochten het besluit als publieke verantwoording in plaats van modelprestatie. Niet het model ontbrak, maar het verhaal eromheen. Het register beschreef elk systeem, maar niet wat het verving. Daardoor ontbrak een voor-en-na-uitleg.
“We could prove it was better, but we couldn’t explain why anyone should believe that.”“We konden bewijzen dat het beter was, maar we konden niet uitleggen waarom iemand dat zou moeten geloven.”
These conversations usually start with one concrete question: can you explain it to a citizen?Deze gesprekken beginnen meestal met één concrete vraag: kunt u het uitleggen aan een burger?