Risico's van het gebruik van AI door de Nederlandse Overheid

Onderzoek van 70 organisaties

De Algemene Rekenkamer onderzocht 70 overheidsorganisaties die samen 433 AI-systemen gebruiken en publiceerde een rapport met de bevindingen. Het rapport, Focus op AI bij de rijksoverheid, stelt dat het gebruik van AI door de overheid nog beperkt is; de meeste systemen bevinden zich nog in de experimentele fase. De politie en het UWV (Uitvoeringsinstituut Werknemersverzekeringen) zijn de grootste gebruikers, met respectievelijk 23 en 10 systemen.

Zorgen over AI-gebruik door de overheid:

• Onvoldoende inschatting van risico’s door overheidsorganisaties.
• Verleiding om risico’s te bagatelliseren vanwege strengere regels voor risicovolle systemen.
• Gebrek aan duidelijke doelstellingen voor AI-systemen, waardoor prestaties moeilijk te beoordelen zijn.
• Potentieel voor zelfversterkende feedbackloops, wat kan leiden tot oneerlijke uitkomsten.

Een van de grootste zorgen is dat de risico’s van AI-systemen vaak worden onderschat door overheidsorganisaties.

Dit komt doordat er strengere regels gelden voor systemen die als risicovoller worden geclassificeerd. De Algemene Rekenkamer vermoedt dat dit een prikkel vormt voor organisaties om de risico’s te bagatelliseren. Het rapport noemt als voorbeeld een systeem dat wordt gebruikt om uitkeringen voor kwetsbare huishoudens te reguleren, dat inherent risicovoller is dan een systeem dat bedoeld is voor het samenvatten van officiële teksten. De Algemene Rekenkamer pleit voor de invoering van toezicht- en controlemiddelen bij het gebruik van AI-systemen.

Daarnaast blijkt dat organisaties vaak niet goed kunnen bepalen of hun AI-systemen presteren zoals bedoeld. Deze onduidelijkheid komt voort uit het ontbreken van duidelijke doelstellingen voor de systemen vooraf.

Specifiek voorbeeld: bijstandsfraude-algoritme in Rotterdam

• Gebruikte risicovariabelen:
  • Geslacht
  • Buurt
  • Taalvaardigheid
  • Psychische en financiële indicaties
• Aanpassingen in het algoritme:
  • Verwijdering van controversiële variabelen zoals taal, geslacht, en medische of psychische kwesties.
  • Woonbuurt blijft een factor in de risicoanalyse, ondanks aanpassingen.

Discriminatierisico’s bij AI: het voorbeeld van Rotterdam en bijstandsfraude-algoritmes

Er zijn ook enkele specifieke voorbeelden van problematisch AI-gebruik door de overheid. Een voorbeeld is de gemeente Rotterdam, die een algoritme gebruikte om bijstandsfraude te voorspellen. De criteria van het algoritme voor het bepalen van risicoscores omvatten factoren zoals geslacht, buurt, taalvaardigheid en zelfs indicaties van psychische en financiële problemen, wat zorgen opriep over mogelijke discriminatie. Inmiddels heeft de gemeente enkele controversiële variabelen uit het algoritme verwijderd, zoals taal, geslacht en medische of psychische kwesties, maar de woonbuurt blijft een factor in de risicoanalyse.

Het risico van bias-versterkende feedbackloops in AI-risicomodellen

Een andere zorg is het potentieel van AI-risicomodellen om een zichzelf versterkende feedbackloop te creëren. Deze modellen gebruiken historische gegevens om de kans op toekomstige overtredingen te voorspellen, wat kan leiden tot een verhoogde controle van personen of groepen die als risicovoller worden beschouwd. Dit kan ertoe leiden dat bepaalde groepen onevenredig worden onderzocht, zelfs als hun werkelijke kans op het plegen van een overtreding niet hoger is dan die van andere groepen. Deze feedbackloop kan bestaande vooroordelen in stand houden en versterken, wat tot oneerlijke uitkomsten leidt.

Risico’s van AI-feedbackloops

• Gebruik van historische gegevens om toekomstige overtredingen te voorspellen.
• Verhoogde controle op groepen die als risicovol worden beschouwd.
• Onevenredige controle op bepaalde groepen, ondanks gelijk risico.
• Behoud en versterking van bestaande vooroordelen, wat leidt tot oneerlijke uitkomsten.

AI als kans voor efficiëntere overheid en nationale veiligheid

Ondanks deze zorgen worden de potentiële voordelen van AI voor de overheid erkend. AI-systemen kunnen taken automatiseren, zoals het verwerken van grote hoeveelheden informatie, spraak-naar-tekst conversie en het samenvatten van officiële teksten, wat tijd en geld kan besparen. Het Nationaal Cyber Security Centrum (NCSC) pleit ervoor om nieuwe technologieën, waaronder AI, te omarmen. Het NCSC stelt dat tegenstanders al AI gebruiken en dat Nederland moet bijblijven om d e nationale veiligheid te waarborgen.