Studente Robin teleurgesteld over uitspraak dat ze niet gediscrimineerd is door anti-spieksoftware: 'Feiten blijven zoals ze zijn'

Student Robin Pocornie werd tijdens corona niet herkend door de anti-spieksoftware van de VU Amsterdam. Volgens Pocornie omdat de software discrimineert op huidskleur. Het College voor de Rechten van de Mens stelt nu dat daarvan geen sprake is.

Tijdens de corona-lockdowns maakten veel studenten thuis hun tentamens, via de computer. Voordat het tentamen gemaakt kon worden, moest programma Proctorio herkennen dat er een gezicht richting het scherm keek.

'No face found'

Robin Pocornie, student bio-informatica was een van die studenten. Bij het maken van tentamens werd zij meerdere keren uit het programma gegooid en kon alleen beginnen met het tentamen als ze een felle lamp op haar gezicht zette.

Deed ze dat niet, dan kreeg ze de melding 'room too dark' of 'no face found'. Het leek erop dat de software Robin niet als persoon herkende, vanwege haar donkere huidskleur.

Al vaker aangetoond

Omdat dit soort software steeds vaker wordt gebruikt en het al vaker is aangetoond dat die niet goed werkt bij mensen van kleur vond Robin het belangrijk een klacht in te dienen, in de hoop dat er wat gedaan zou worden aan dit probleem.

Uiteindelijk kwam haar verhaal als een klacht bij het College voor de Rechten van de Mens terecht. Daar werd in een tussenoordeel gesteld dat Pocornie voldoende aannemelijk had gemaakt dat er sprake was van discriminatie op grond van huidskleur.

Niet gediscrimineerd

Maar vandaag stelt het College in het eindoordeel dat de VU niet heeft gediscrimineerd door deze software te gebruiken. Van meet af aan heeft de VU gewezen op het feit dat de problemen bij de fabrikant van de software zouden liggen.

Daarbij zouden allerlei studenten problemen hebben ervaren. De VU deed zelf onderzoek en toonde daarmee volgens het College aan dat de software die zij gebruiken niet-discriminerend werkt.

'Slechte internetverbinding of bril'

"De VU heeft kunnen aantonen dat de student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten", laat het college vandaag weten.

De problemen met het verificatieproces en het maken van de herstart waren volgens hen te wijten aan "een slechte internetverbinding of het dragen van een bril".

Gediscrimineerd bij klachtenafhandeling

Wel oordeelt het College dat de VU bij de klachtenafhandeling gediscrimineerd heeft op basis van ras. "Aanvankelijk was namelijk volstrekt onduidelijk voor de student waar zij terecht kon met haar klacht."

Volgens het College was het, mede gezien de ernst van de klacht, aan de studentenombudsman om de student naar de juiste instantie te verwijzen.

Aandacht voor de zaak

Pocornie is teleurgesteld door de uitspraak: "Ik had een andere uitkomst verwacht. De feiten blijven namelijk staan zoals ze zijn: ik moest met een lamp in mijn gezicht mijn tentamens maken, terwijl mijn witte medestudenten dat niet hoefden te doen."

Wel is Pocornie blij met de aandacht die de zaak heeft gekregen. "Ik heb de afgelopen maanden gemerkt dat onderwijsinstellingen door mijn zaak een stuk bewuster zijn gaan nadenken over of de technologie die ze gebruiken wel voor iedereen hetzelfde werkt. Daar ben ik trots op."

'Moeilijk juridisch te bewijzen'

Naomi Appelman, jurist en voorzitter van het Racism and Technology Centre, laat weten dat 'het oordeel laat zien hoe moeilijk het is om ook juridisch te bewijzen dat een algoritme discrimineert'. Ze wijst op een overweldigende hoeveelheid wetenschappelijk bewijs dat gezichtsdetectie minder goed werkt bij mensen van kleur.

Dit inzicht deelt het College. Hoewel volgens het College in dit specifieke geval niet onomstotelijk bewezen is dat er gediscrimineerd zou zijn, sluit dit volgens hen niet uit 'dat het gebruik van Proctorio of vergelijkbare AI-software in andere situaties wel tot discriminatie kan leiden'.