Voor gemeenten bieden algoritmes allerlei voordelen: ze zijn slimmer en sneller dan mensen, en kunnen patronen herkennen die anders niet herkend zouden worden. En ook burgers kunnen er beter van worden, stellen gemeentes: zo kunnen mensen die schulden opbouwen, eerder komen bovendrijven en dus eerder worden geholpen.
Maar critici waarschuwen voor het risico van discriminatie. Zo worden slimme algoritmes vaak gevoed met observaties van mensen van vlees en bloed. Maar mensen hebben vooroordelen, die daarmee in de algoritmes terecht kunnen komen.
“Het is lastig om discriminatie helemaal uit te sluiten”, zegt Nadia Benaissa van burgerrechtenorganisatie Bits of Freedom. “Ik geloof best dat gemeenten het goed bedoelen, maar je wordt als burger toch al vrij snel in een hoekje gestopt.”
Onduidelijkheid
Vaak bestaat onduidelijkheid over de precieze werking van algoritmes en risicoprofilering. De gemeente Nissewaard wil bijvoorbeeld niet vrijgeven hoe er wordt bepaald of iemand mogelijk een fraudeur is, om zo fraudeurs niet wijzer te maken. Dat schreef de gemeente eerder aan de raad, die vragen had gesteld over het systeem.
Dat niet precies duidelijk is hoe veel systemen werken, is een probleem, zegt Marlies van Eck van de Radboud Universiteit. Zij is gespecialiseerd in de juridische wereld achter kunstmatige intelligentie. “Als je in de echte wereld wordt gediscrimineerd, kun je dat instinctief aanvoelen. Maar als een algoritme dat doet, merk je dat misschien wel nooit.”
Nieuwe rechtszaak
Advocaat Ekker is er niet gerust op. “Ik vraag me af of lokale overheden genoeg kennis in huis hebben om dit op een goede manier te doen. Vaak zijn ze sterk afhankelijk van externe ICT-leveranciers.”
De coalitie van organisaties achter de SyRI-zaak houdt de lokale ontwikkelingen in de gaten, benadrukt hij. “En als het opnieuw mis dreigt te gaan, sluiten we een nieuwe gang naar de rechter niet uit.”
