
Politie en justitie gebruiken een algoritme om jaarlijks van tienduizenden jongeren te voorspellen of ze in de criminaliteit belanden. Dat meldde Follow The Money onlangs. Je gelooft het niet, maar die voorspelling blijkt er vaak naast te zitten, terwijl de gevolgen groot kunnen zijn. Ik gooi een knuppel in het hoenderhok: dit is een verboden AI praktijk per 2 februari.
Het uitgangspunt is precies zoals zo veel AI systemen worden ontworpen:
Preselect is getraind met de gegevens van vijfduizend jongeren die ooit zijn verdacht van een strafbaar feit. Het algoritme leerde op basis van deze politiedata te voorspellen welke minderjarigen wel en niet recidiveren. Jongeren met een profiel dat lijkt op dat van leeftijdgenoten die eerder opnieuw in de fout gingen, krijgen een hogere risicoscore.
Alles staat of valt met de data, en 5000 is dan niet denderend veel. Met een simpele regressie-analyse kom je daarmee nog wel een eind, maar je wilt natuurlijk wel dat je data mooi verdeeld is. Maar helaas:
Maar bepaalde groepen – 12-jarigen, meisjes en jongeren die voor het eerst in aanraking komen met de politie – zijn maar in kleine aantallen in deze ‘trainingsdata’ vertegenwoordigd.
Ik lees ook nergens hoe veel mensen er in gestopt zijn die nooit verdacht zijn van een strafbaar feit. Als je alleen verdachten in een dataset stopt, kan daar bij wijze van spreken uitkomen dat “melk drinken” een top-voorspeller is omdat ze dat allemaal doen.
Dit nog even los van de vraag of die 5000 data-items wel eerlijk gekozen zijn. Als de politie Mohammed van 14 als verdachte aanmerkt, en Jan-Hendrik met een waarschuwing wegstuurt, dan krijg je een ontzettend scheef beeld bijvoorbeeld. Het artikel meldt niets over de achtergronden van de verdachten, dus we weten het niet.
En dat is uiteindelijk het grootste probleem: niemand weet of en hoe goed dit werkt. Het algoritme staat niet in ons beroemde Algoritmeregister, waar het wel zou moeten gezien de hoge risico’s.
Zelf vind ik de link naar de AI Act nog wel interessant. We hebben het hier over een recidivevoorspeller, en daar Vond Men Wat Van bij het maken van die wet. Er zijn twee smaken: predictive policing op basis van profilering is verboden (art. 5.1(d) AIA) en recidiverisicobeoordeling en predictive policing anders dan op basis van profilering is hoogrisico (Annex III.6d AIA).
Dit is verboden per 2 februari:
AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken;
Wat “profilering” dan weer is, staat in de AVG:
elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen;
En dat komt vrijwel letterlijk overeen met wat in het artikel wordt aangeduid met “Jongeren met een profiel dat lijkt op dat van leeftijdgenoten die eerder opnieuw in de fout gingen, krijgen een hogere risicoscore.” We voorspellen jouw gedrag (risico van plegen strafbaar feit) op basis van jouw persoonlijke aspecten in vergelijking met bekende data.
Het systeem doet een aanbeveling:
Het leidt tot een ‘score’ die een groot verschil kan maken: gaat de jongere naar Halt voor een leer- of werktraject, of wordt het een strafrechtelijke aanpak die hem of haar een strafblad bezorgt.
Is dat hetzelfde als “risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen”? Ja. Want dit moet je in de context zien: je gaat naar Halt als dat risico klein is en je krijgt een strafrechtelijk traject als het risico groot is. Want kennelijk(?) is ooit bedacht dat wie toch al gaat recidiveren, beter hard kan worden aangepakt.
Arnoud