Het College voor de Rechten van de Mens roept burgers op om het te melden als zij last hebben van discriminerende algoritmes. Softwareprogramma's waar belangrijke instanties gebruik van maken werken namelijk niet altijd bij mensen van kleur.

Robin Pocornie (26) maakte naam toen zij bij het College voor de Rechten van de Mens melding maakte van een discriminerend algoritme in de antispieksoftware van de Vrije Universiteit (VU) Amsterdam.

Niet herkend door de camera

Tijdens een online tentamen in coronatijd gaf de antispieksoftware aan dat er niemand in de kamer was, terwijl Robin - zelf een vrouw van kleur - voor haar laptop klaar zat om het tentamen te maken. Daardoor werd zij meermaals uit het tentamen gegooid. Lastig voor haar, maar vooral ook: oneerlijk en discriminerend.

Robin vermoedde dat het systeem haar niet als persoon herkende, omdat het alleen naar behoren werkt als witte mensen voor de camera zitten. Dat is al vaker aangetoond in onderzoek. Zo herkennen zelfrijdende auto's mensen van kleur op straat minder goed dan witte mensen.

Bekijk ook

Eenzijdige data

Sommige algoritmes discrimineren doordat ze eenzijdig gevoed zijn met data. Het algoritme voor de zelfrijdende auto kreeg vooral plaatjes van witte mensen op straat te zien en niet van mensen van kleur.

Daardoor herkent de auto mensen van kleur op straat minder goed. Het algoritme discrimineert dan en daar ondervindt een deel van de wereldbevolking hinder van.

Geen gehoor op de universiteit

Bij de universiteit zelf kreeg Robin geen gehoor voor haar klacht over de antispieksoftware. Ze werd van het kastje naar de muur gestuurd. "De ombudsman binnen de VU vond het niet binnen haar portefeuille vallen", vertelt ze.

"Ze verwees me naar een diversity officer binnen de VU, maar daar kon ik geen klacht indienen. En dat wilde ik juist. Op een bepaald moment was ik al bijna 2 jaar verder en deed inmiddels twee masters. Ik ben toen samen met het Racism and Technology Centre naar het College voor de Rechten van de Mens gegaan."

info

Toezicht op discriminerende algoritmes

Al jaren wordt er in de Tweede Kamer gepleit voor toezicht op algoritmes. We krijgen er steeds meer mee te maken en worden er steeds afhankelijker van. Het mag dus niet zo zijn dat ze bevolkingsgroepen benadelen. Toch gebeurt dat op verschillende manieren wel, bijvoorbeeld in de Toeslagenaffaire. Het algoritme bestempelde mensen met een tweede nationaliteit en een laag inkomen automatisch als mensen met een hoog frauderisico.

De nasleep van de Toeslagenaffaire zorgde ervoor dat sinds januari 2023 het toezicht op algoritmes een taak is van de Autoriteit Persoonsgegevens. Maar de organisatie kampt nu al met hoge werkdruk en personeelstekorten. Hoogleraar Sennay Ghebreab, de expert op het gebied van AI en discriminatie in Nederland, zegt dat algoritmes alleen eerlijker zullen worden als ze samen met burgers gemaakt worden.

Universiteit moet met bewijs komen

Het College voor de Rechten van de Mens concludeerde afgelopen december in een tussenoordeel dat Robin voldoende aannemelijk heeft gemaakt dat er sprake is van discriminatie door het algoritme. Daarbij baseert het College zich op haar ervaringen, hoe vaak ze er door de software uit werd gegooid en op wat al bekend is over discriminerende algoritmes vanuit wetenschappelijk onderzoek.

Het is nu aan de VU om te bewijzen dat het algoritme niet discrimineert. Tot nu toe heeft de universiteit dat volgens het College niet voldoende kunnen aantonen.

'Instabiel' systeem

Volgens de universiteit discrimineert het algoritme niet, maar is het systeem 'instabiel', iets waar meerdere studenten last van hebben gehad. Maar dat witte studenten evenveel last zouden hebben gehad als Robin, kunnen ze vooralsnog niet aantonen.

15 februari zou de VU met de definitieve argumentatie komen, maar dit is uitgesteld tot half maart. Daarna doet het College definitief uitspraak.

Bekijk ook

Betekenisvolle eerste stap

Voorzitter Jacobine Geel van het College voor de Rechten van de Mens spoort intussen mensen aan om het te melden als ze vermoeden dat een algoritme discrimineert. "Het is iemand nu gelukt om te zeggen: 'Wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert'", zegt ze over de zaak van Robin. "Dat is een heel betekenisvolle eerste stap."

Geel hoopt dat dit tussenoordeel een aansporing is voor iedereen om zich bij het College voor de Rechten van de Mens te melden als hij, zij of hen vermoedt dat een algoritme discrimineert.

Bekijk hier de tv-reportage

Vragen? Stel ze!

Heb je nog vragen of wil je reageren? Stuur ons dan hier een berichtje in onze chat. Elke donderdag vertellen we in de Doe mee-nieuwsbrief wat we met alle reacties doen. Wil je die in je mail? Meld je dan hier aan.