Zo bevooroordeeld kunnen algoritmes zijn

In Brainwash Talks van Human delen invloedrijke denkers, schrijvers, kunstenaars en wetenschappers verrassende ideëen voor persoonlijke en maatschappelijke problemen. Deze keer Sennay Ghebreab.

Na in 2006 een hele dag op de universiteit hebben gewerkt, besloten een aantal collega's en ik om naar huis te gaan. Het was na zessen en de balie was gesloten. Daarom moesten wij het gebouw verlaten via een kleine, automatische draaideur. Mijn collega's gingen één voor één naar buiten. Toen ik de deur naderde, stopte hij met draaien.

Ik dacht: Er is iets mis met de draaideur. Maar toen een andere collega het probeerde, liep ook hij moeiteloos naar buiten. Mijn collega's moesten erom lachen. Ik kreeg een ongemakkelijk gevoel van de draaideur. Een gevoel dat al snel plaatsmaakte voor nieuwsgierigheid. Waarom draaide de deur wel voor mijn collega's, maar niet voor mij? Waarom werden mijn collega's wel gezien, maar ik niet?

Het toeval wilde dat ik gepromoveerd was op algoritmen voor automatische beeldherkenning. Herkenning van bijvoorbeeld tumoren in medische beelden, of van herkenning van mensen in beelden die zijn opgenomen door videocamera's.

Ik wist dus precies hoe zulke algoritmen werkten. Je geeft een algoritme voorbeeldplaatjes van een te herkennen object, bijvoorbeeld een mens. Vervolgens gaat zo'n algoritme zelf regels opstellen om het te herkennen object te onderscheiden van andere voorwerpen. Wat een algoritme niet heeft gezien, kan het dus ook niet herkennen of onderscheiden van andere voorwerpen.

Ik vermoedde dat de draaideur op de universiteit gebruikmaakte van een algoritme dat was getraind met voorbeeldplaatjes van witte personen, zoals mijn collega's, waardoor zwarte personen, zoals ik, niet herkend werden.

Door het draaideurincident realiseerde ik dat algoritmen niet per se neutraal zijn. Ten eerste zijn algoritmen afhankelijk van de makers van de algoritmen. Die makers voeden die algoritmen met voorbeeldplaatjes. Ten tweede leren algoritmen ook van de input van hun gebruikers. Zo maken Google en Facebook-algoritmen gebruik van de input van hun gebruikers, zoals hun klik- of zoekgedrag.

Als makers en gebruikers van algoritmen bewust of onbewust uitsluitend gedrag vertonen, zullen algoritmen dat gedrag ook overnemen. Neem de app voor automatische objectherkenning die Google lanceerde in 2016. Die app bleek zwarte mensen te categoriseren als gorilla's. Niet als mens. Veel mensen, en vooral donkere mensen, namen hier natuurlijk aanstoot aan. Zij zagen in de app de bevestiging van racisme in de maatschappij.

Tekst gaat verder onder de afbeelding

Wat bleek: Google's algoritme had niet genoeg voorbeelden gezien van donkere mensen om hen ook te categoriseren als mens. Google betuigde publiekelijk spijt voor de app.

Het corrigeerde de app door het te voeden met voorbeeldplaatjes van Europeanen, Aziaten, Afrikanen en Amerikanen. Google's app werd inclusiever gemaakt door het in aanraking te brengen met de diversiteit aan mensen. Dit voorbeeld laat zien dat algoritmen zowel een gevaar vormen, als een kans.

Het gevaar is dat algoritmen onze foute menselijke impulsen massaal overnemen of zelfs propageren. De kans is dat algoritmen ons een spiegel voorhouden en ons technische oplossingen bieden voor onze menselijke tekortkomingen. Zo heeft Google's app heel veel mensen bewust gemaakt van hoe uitsluiting werkt ofwel wat de mechanismes zijn achter uitsluiting. En Google's oplossing laat zien dat diversiteit van belang is voor het oplossen van sociale discriminatie.

Helaas zijn er tal van andere voorbeelden waarin algoritmen bepaalde bevolkingsgroepen benadelen. Algoritmen benadelen migranten in juridische zaken, vrouwen in financiële transacties en ouderen in medische behandelingen. En algoritmen worden zelfs ingezet om bepaalde bevolkingsgroepen op te hitsen en te mobiliseren voor politieke doeleinden.

Neem als voorbeeld Cambridge Analytica, het bedrijf dat een kwalijke rol speelde in de verkiezingscampagne van Trump. Dat bedrijf zette in het geheim algoritmen in voor cognitieve manipulatie en emotionele mobilisatie van miljoenen kiezers.

Daarmee zette het bedrijf een systematische aanval in op de Amerikaanse rechtsstaat. Bedrijven als Cambridge Analytica maken behendig gebruik van de onwetendheid van burgers over wat algoritmen zijn. Onwetendheid over hoe ze werken. Welke gevaren ze vormen. Welke kansen ze bieden.

Facebook maakt daar zelfs haar businessmodel van. Vorig jaar nog onthulde een ex-topman van Facebook dat Facebook verslavend werkt. Dat het bedrijf inspeelt op het beloningssysteem oftewel het dopaminesysteem in het brein van Facebooks twee miljard gebruikers.

Maar het merendeel van bedrijven, organisaties en overheidsinstellingen is niet bewust van het feit dat hun algoritmen bepaalde bevolkingsgroepen benadelen of zelfs uitsluiten. En daar zit in mijn ogen een enorm gevaar. Want dit kan al bestaande sociaal-economische ongelijkheden versterken.

Het onschuldige draaideurincident in 2006 en soortgelijke incidenten die anderen hebben ervaren in de afgelopen decennia hebben mij gemotiveerd om werk te maken van digitale geletterdheid en digitale gecijferdheid.

Digitale geletterdheid omhelst zachte vaardigheden, zoals het om kunnen gaan met computers, het kunnen opzoeken van informatie op het internet en mediawijsheid in het algemeen. Digitale gecijferdheid gaat over hardere vaardigheden zoals algoritmisch kunnen denken en kunnen programmeren.

Tekst gaat verder onder de afbeelding

Zowel digitale geletterdheid als digitale gecijferdheid zijn van belang om te begrijpen hoe algoritmen werken. Hoe ze gemaakt worden. Waartoe ze in staat zijn. Welke kansen en gevaren ze vormen voor de individuele burger, maar ook voor de samenleving als geheel.

Ik leer mijn studenten vanaf het eerste moment digitale geletterdheid en digitale gecijferdheid, omdat deze vaardigheden voorwaarden zijn voor inclusie en participatie in de moderne samenleving. Eigenlijk net als lezen en schrijven in het verleden belangrijk bleken voor emancipatie.

Terugkijkend bracht het draaideurincident mij in de voetsporen van mijn grootvader en van mijn overgrootvader. Mijn overgrootvader vond lezen en schrijven een voorwaarde voor participatie in de samenleving. Daarom spreekt hij ook zijn hele leven lang voor geletterdheid. Hij studeerde theologie van 1880 tot 1884 in Uppsala, Zweden. Waar hij ook twaalf talen leerde spreken, waaronder Zweeds, Engels, Grieks, Latijn, Hebreeuws en Arabisch.

Zijn kennis van de Bijbel en zijn talenknobbel zette hij in voor emancipatie van achtergestelde groepen. Zo vertaalde hij de Bijbel naar het Tigre en Tigrinya, de talen die gesproken worden in de Egyptische hooglanden.

Zijn zoon Isaac, mijn opa dus, groeide op met het bewustzijn van het belang van lezen en schrijven, maar hij vond rekenen net zo belangrijk. In zijn ogen was rekenen een universele taal waarmee je overal kunt functioneren.

Daarom zette hij zich in voor geletterdheid én gecijferdheid, zoals beschreven in zijn biografie The war on illiteracy, ofwel De strijd tegen ongeletterdheid. Met zijn strijd verzette hij zich tegen het onderwijsbeleid van de Italianen, de kolonisatoren destijds. Dat beleid was erop gericht Eritreeërs minimaal onderwijs te geven in een taal die niet hun eigen was.

Via ongeletterdheid probeerde de Italianen – en later de Britten en later de Ethiopiërs – om Eritreeërs uit te sluiten en uit te buiten. En ook vandaag de dag nog wordt in Eritrea ongeletterdheid gebruikt als een middel voor staatsonderwerping. Helaas.

Mijn overgrootvader en grootvader hebben hun hele leven gewijd aan de emancipatie van achtergestelde groepen in de samenleving. De een door ze te bewapenen met geletterdheid en de ander door ze te bewapenen met gecijferdheid. Vandaag de dag is rekenen, schrijven en lezen niet meer voldoende voor emancipatie in welke maatschappij dan ook. Niet in Eritrea en niet hier in Nederland. Digitale geletterdheid en digitale gecijferdheid zijn net zo belangrijk geworden.

Via onderwijs en via publieke discussie probeer ik daarom mij in te zetten voor digitale geletterdheid en digitale gecijferdheid voor iedereen. Voor jong en oud. Man, vrouw, laag opgeleid, hoog opgeleid. Migrant of niet. En ook voor jou. Want ook jij kunt, zonder dat je je daar bewust van bent, een achtergestelde positie hebben in deze digitale samenleving.