NIEUWSARTIKEL

Op 11 april aanstaande verzorgt Joris Krijger een kennissessie voor NGFG waarbij de FG en AI centraal staan. Hoog tijd om alvast even kennis te maken met Joris! Joris Krijger is een techniekfilosoof die werkt op het snijvlak van theorie en praktijk. Momenteel combineert hij een PhD aanstelling op het onderwerp Artificial Intelligence (AI) & Ethiek aan de Erasmus Universiteit Rotterdam met een functie als Ethiek en AI Officer bij de Volksbank. In zijn werk richt hij zich op de systeemaanpassingen die nodig zijn om menselijke waarden te borgen in AI en data science contexten. Joris is mede-oprichter van de Ethische Data Science Associatie en heeft verder aanstellingen als o.a. Senior Advisor bij het Center for Values en als Founding Editorial Board Member bij Springer Nature’s AI and Ethics Journal.

Joris Krijger in de BNNVARA serie ‘Reference Man’

Joris, de FG en AI

Kun je ons wat meer vertellen over hoe AI wordt toegepast in het specifieke domein waarin jij actief bent en welke gegevens worden verzameld en verwerkt?

• Zeker! Banken zijn een buitengewoon interessante plek als het gaat om data, innovatie en AI. De mogelijkheden van AI zijn enorm, zowel voor interactie met klanten als voor het optimaliseren van risicoanalyses, fraudedetectie etc. Daarnaast heeft een bank, met bijvoorbeeld alle transactiedata die voorhanden is, enorm veel gegevens tot zijn beschikking. Maar wat het voor mij echt interessant maakt is dat er vanuit verschillende hoeken en toezichthouders verschillende eisen aan het gebruik van die data worden gesteld: gebruik AI systemen om een zo volledig mogelijk risicoprofiel te maken of betaalachterstanden tijdig te signaleren om goed invulling te geven aan je zorgplicht, maar minimaliseer tegelijkertijd je datagebruik. Die spanning is als ethicus interessant.
  
  Goed gebruik van AI en goede beheersing van de risico's vereist een multidisciplinair team waar expertise rond AVG, data, modelontwikkeling, modelvalidatie, risicomanagement en ethiek een rol in hebben.  Omdat, naar verwachting, veel verantwoordelijkheden voor het toezicht op AI ook bij de AP gaan komen kan de FG hierin een sleutelrol spelen.

Wat zijn volgens jou de belangrijkste privacy zorgen met betrekking tot het gebruik van AI in jouw vakgebied?

• Er zijn een aantal bekende risico’s bij AI. Bijvoorbeeld rond de uitlegbaarheid van complexe AI systemen. Ook de AVG kent transparantienormen en die kunnen met AI in het geding komen. Maar AI wijst ons ook op een andere mogelijke valkuil voor ons huidige privacybegrip: wij beschouwen privacy als een individueel recht terwijl er met AI allerlei patronen gevonden kunnen worden, ook zonder dat jij je data afgeeft. Denk aan een verzekeraar die op basis van data van familieleden ook zonder jouw data voor jou een inschatting kan maken of jij een bepaalde erfelijke ziekte mogelijk gaat krijgen. Zo zie je bijvoorbeeld ook dat AI zich bepaalde bestaande vooringenomenheden eigen kan maken en deze kan repliceren waardoor ongelijkheid in de samenleving kan toenemen. Het interessante en ingewikkelde aan AI is dat het daarvoor dus niet eens bijzondere persoonsgegevens nodig heeft. Door slim patronen te herkennen in de data kan het ook zonder deze gegevens, op basis van proxy’s, een ongewenst onderscheid maken. En het interessante daar dan weer van is dat we, door privacy beperkingen, niet mogen toetsen of het AI systeem discrimineert omdat we deze bijzondere persoonsgegevens (nog) niet mogen hebben of gebruiken om discriminatie op te sporen. 

Welke maatregelen zijn er genomen om de privacy van individuen te waarborgen bij het gebruik van AI?

• Als het om de bescherming van privacy gaat is de AVG leidend maar om de ethiek van AI te borgen is het denk ik belangrijk dat je verder kijkt dan alleen de verwerking van gegevens: wat doet het model, wat zijn de uitkomsten en hoe worden de uitkomsten gebruikt? Wanneer we iets willen zeggen over het verantwoord gebruik van AI moeten we de hele keten bekijken van data tot gebruik van een uitkomst en daarbij ook oog hebben voor de nieuwe risico’s die AI met zich meebrengt.

Hoe worden individuen geïnformeerd over het gebruik van AI en de impact ervan op hun privacy?

• Dat is een interessante vraag want naast de vraag hoe je AI überhaupt moet of kunt uitleggen is ook de vraag wat en hoe je over AI moet communiceren naar klanten of burgers. Zeker voor overheden speelt de vraag hoe er iets van democratische controle kan komen op het gebruik van algoritmen en AI. Momenteel wordt dat gedaan door publiek toegankelijke algoritmeregisters waarin informatie over algoritmes en hun toepassing staat opgeschreven. Ik denk echter dat daar een weeffout in zit en dat we er nog niet uit zijn hoe we goede (democratische) controle op AI kunnen realiseren.

Welke stappen worden er genomen om ervoor te zorgen dat AI-systemen eerlijk en onpartijdig zijn bij het verwerken van persoonlijke gegevens?

• Leuke vraag! Leuk, omdat heel lang de aanname was dat algoritmen en AI systemen juist onpartijdiger en minder bevooroordeeld zijn dan mensen. Het zijn immers wiskundige formules op basis van data, hoe objectief en neutraal wil je het hebben. Maar zoals jouw vraag al impliceert merken we ook steeds vaker dat AI, omdat het getraind wordt met historische data, bestaande ongelijkheden meeneemt en uitvergroot. De vraag wat je kunt doen om de systemen eerlijk te maken is een van de belangrijkste vragen in mijn onderzoek. Niet omdat het zo moeilijk is dat technisch te programmeren: we kunnen op allerlei manieren in de data, het model of de uitkomst extra stappen nemen om groepen eerlijker te behandelen. De moeilijkheid zit hem in wat eerlijk betekent en wanneer een uitkomst rechtvaardig is: is het eerlijk om iemand op individuele verdiensten af te rekenen of moeten we iemand compenseren op basis van bepaalde groepskenmerken die gerelateerd zijn aan kansenongelijkheid. Een ongelofelijk ingewikkeld vraagstuk waar nog te weinig over nagedacht wordt bij de inzet van AI.

Wat zijn de uitdagingen bij het vinden van een balans tussen het gebruik van AI voor innovatie en het beschermen van de privacy van individuen?

• Een van de zorgen die ik heb als het gaat om het vinden van deze balans is dat niet iedereen evenveel inspraak heeft in dit vraagstuk. Veel ethische vragen rond AI worden besproken door nerds zoals ik en een handjevol onderzoekers en enthousiastelingen in organisaties. De gedachte lijkt dat, omdat het zo’n complexe technologie is, de normatieve vragen ook maar aan de experts overgelaten moeten worden terwijl dat denk ik niet een goede ontwikkeling is. AI gaat ons allemaal raken en gaat komende jaren steeds meer vervlochten raken met ons leven dus het is ook zaak een brede discussie te voeren over wat we daarin wenselijk en onwenselijke toepassingen vinden.

Hoe denk jij dat de opvattingen over privacy en AI verschillen tussen verschillende landen of regio's?

• Een goed antwoord hierop ligt enigszins buiten mijn expertisegebied, maar ik wil wel een poging wagen. Wat ik me namelijk kan voorstellen is dat, wanneer je de grote morele en culturele theorieën erbij pakt, je best wat verschillen zult vinden tussen culturen die bepalend zijn voor de opvattingen over privacy. Denk bijvoorbeeld aan de dimensies van Hofstede. Ik kan me voorstellen dat culturele verschillen tussen individualistische culturen, zoals bij ons in West Europa, en collectivistische culturen, zoals we bijvoorbeeld in China zien, ook resulteren in een heel andere opvatting wat AI wel en niet mag doen en monitoren in bijvoorbeeld de publieke ruimte. Of, als je kijkt naar de vijf ‘moral foundations’ van Haidt, dat je daar scherpe verschillen kunt vinden tussen groepen die zich inzetten voor privacyrechten en groepen die privacy minder belangrijk vinden.

Zijn er specifieke culturele, juridische of sociale factoren die van invloed zijn op de opvattingen over privacy en AI in verschillende delen van de wereld?

• Ook dat vind ik lastig om te zeggen en dat haakt enigszins in mijn vorige antwoord. Wereldwijd staat privacy bijna altijd als een van de belangrijke principes voor verantwoord gebruik van AI in de raamwerken en richtlijnen. Waar ik mij wel over kan verbazen is dat we in sommige gevallen en bij sommige bedrijven bereid zijn heel veel data weg te geven terwijl wanneer bijvoorbeeld de overheid om meer data vraagt we ineens overal wolven en beren op de weg zien.  

Welke stappen kunnen er worden genomen om wereldwijd een beter evenwicht te vinden tussen het gebruik van AI en het waarborgen van privacy?

• De belangrijkste uitkomst van mijn onderzoek is dat we verantwoord gebruik van AI te lang als een puur technisch vraagstuk hebben gezien: hoe stellen we AI zo af dat het onze belangrijke waarden respecteert? Dat heeft enorm veel beperkingen, bijvoorbeeld dat de verantwoordelijkheid voor ethiek ineens bij ontwikkelaars van AI wordt gelegd. In mijn onderzoek stel ik de vraag: wie ontwikkelt het ontwikkelproces? Oftewel: wie of wat stuurt al die AI ontwikkelaars aan? Ze werken in bedrijven en organisaties die duidelijke doelstellingen hebben, een eigen organisatiecultuur en organisatiewaarden hebben. Dat is allemaal bepalend als je ethische principes en mensenrechten serieus wilt nemen. Het vinden van een evenwicht vraagt om processen en structuren waarbinnen dit soort vraagstukken gewogen worden en waar vanuit een ethische invalshoek gekeken kan worden naar welke waarde we willen prioriteren. Dat mist mijns inziens nog grotendeels bij de meeste organisaties.

Kun je misschien al een tipje van de sluiter oplichten over wat je gaat vertellen op ons kennissessie van 11 april aanstaande?

•  Zeker! Ik wil op jullie kennissessie het begrip privacy in het perspectief van AI, en de enorme maatschappelijke transformatie die we gaan meemaken, plaatsen. AI brengt nieuwe uitdagingen met zich mee voor ons als maatschappij en gaat ook het begrip privacy op de proef stellen. De geschiedenis is een constante evolutie van belangen, rechten en normen en het lijkt me leuk om met elkaar in gesprek te gaan over waar we naartoe gaan en wat dat betekent voor belangrijke menselijke waarden als privacy in onze digitale toekomst.

Is er nog iets waar je op terug wilt komen?

• Volgens mij niet. Je zou me morgen dezelfde vragen nog een keer kunnen stellen en dan zou je waarschijnlijk weer een ander soort antwoord krijgen maar de belangrijkste punten zijn zeker aangestipt!

Persoonlijk kennismaken met Joris Krijger? 

Zorg dan dat je op 11 april 2024 bij het kennissessie van het NGFG bent. Joris gaat hier dieper in op het thema de FG, AI en ethiek. Meld je nu aan!