Tussen gedrag en wangedrag: de risico’s van geautomatiseerde voorspellingen

© Dongwei Su

Tussen gedrag en wangedrag: de risico’s van geautomatiseerde voorspellingen

Wat zijn de risico’s van automatische gedragsvoorspellingen?

In toenemende mate proberen overheidsorganisaties het gedrag van burgers te voorspellen. Maar burgers weten niet op welke manier deze algoritmen tot een beslissing komen en of de gebruikte gegevens juist zijn. In deze talk zetten we de risico’s van automatische gedragsvoorspellingen op een rij.

Zo belooft het predictive policing systeem CAS (Criminaliteits Anticipatie Systeem) criminaliteit te voorspellen, zodat de politie preventief kan ingrijpen. En maken verschillende gemeenten gebruik van SyRI (Systeem Risico Indicatie), dat voorspellingen over mogelijke misdragingen van burgers maakt. Maar of het ook echt werkt is een tweede.

De inzichten uit deze systemen zijn nogal eens onderhevig aan interpretatiefouten, feedbackloops en etnische bias. En het beoordelen en benaderen van burgers vanuit hun gedragsgeschiedenis is problematisch omdat het de keuzes reduceert die mensen kunnen maken. Waar moeten deze voorspellingssystemen aan voldoen en in welke situaties kunnen we ze beter niet inzetten?