NIEUWSARTIKEL

Met het vieren van het 20-jarig bestaan van NGFG is de rubriek Bestuursinzichten door de jaren heen ten einde is gekomen. Hoog tijd dus voor een nieuw thema. Een onderwerp waarmee iedere FG geconfronteerd wordt, is AI (Artificial Intelligence). Kunstmatige intelligentie (AI) belooft ons leven te veranderen en ons efficiënter, productiever, gezonder en innovatiever te maken. Deze technologie wordt al gebruikt in de private en publieke sector, waarbij de kracht van gegevens wordt ingezet om voorspellingen te verbeteren, betere producten en diensten te maken, kosten te verlagen en werknemers te bevrijden van routinematig administratief werk. Maar hoe zit het eigenlijk met de privacy en wat staat ons als FG’s te wachten? Vanaf nu zullen wij maandelijks iemand aan de tand voelen over dit onderwerp. De eerste in deze reeks is Arnoud Engelfriet, Chief Knowledge Officer bij ICTRecht. We stelden hem 14 vragen.

1. Wie ben jij en wat doe jij precies?
Arnoud Engelfriet, ICT-jurist en partner bij adviesbureau ICTRecht. Ik leid daar de Academy en verzorg alle kennisdeling en opleidingen. Met mijn achtergrond in ICT ben ik dagelijks bezig met complexe vraagstukken over ict en recht, waar AI natuurlijk een belangrijk deel van uitmaakt. Ik schreef diverse boeken over technologie, privacy en recht, zoals ICT en Recht, de AVG: Artikelsgewijs Commentaar en het boek AI and Algorithms: Mastering Legal & Ethical Compliance dat in januari verschijnt.

2.Waarom was jij te porren voor dit interview over AI?
Door de eindsprint die de Europese AI Act nu trekt, is het onderwerp niet meer weg te denken. Iedereen moet nadenken over wat AI met hun organisatie doet, zowel de voordelen als de nadelen. En natuurlijk omdat ik al een half jaar bezig was met dat boek over ditzelfde onderwerp.

3. Welke wins zie jij in AI?
AI is automatisering van cognitieve taken, zeg maar van het traditionele denkwerk. De winst zit dan ook bij de inzet van AI om de saaie, vervelende cognitieve taken over te nemen. Ik ontwikkelde zelf in 2016 bijvoorbeeld een AI die geheimhoudingscontracten en verwerkersovereenkomsten screent op de belangrijkste pijnpunten. Dan weet je alvast dat alles erin staat dat belangrijk is, krijg je standaard commentaar voor de wederpartij op de dingen die anders moeten en tekstvoorstellen voor wat ontbreekt. Daarna moet je het zelf nog een keer lezen voor de rare dingen, maar de tijdsverdeling verschuift: niet 4 uur checken op standaardwerk en dan een half uurtje de rare dingen snelsnel doen, maar 2 minuten wachten op de check van DPA Lynn en daarna 2 uur een goede review of het wel past bij jouw situatie. Dat is een enorme win.

Ook bij andere zaken zoals het schrijven van teksten is AI heel waardevol. Het versnelt de standaard stappen zoals het vertalen van een leerdoel naar secties of bulletpoints voor je Powerpoint, het controleert en herschrijft je kladteksten in je eigen tone of voice en ga zo maar door. Een heel handig dingetje is bijvoorbeeld bronvermeldingen in de huisstijl van het tijdschrift te laten zetten. Bij cursussen helpt AI me om meerkeuzevragen (met antwoorden) te bedenken en casussen op te zetten.

4. Zoals bij iedere opkomende technologie zijn er ook risico’s. Uit het wereldwijde onderzoek 2023 Trust in artificial intelligence blijkt dat 61 procent van de 17.000 ondervraagden op zijn/haar hoede is t.a.v. het vertrouwen in Ai-systemen. Slechts 50 procent gelooft dat de voordelen van Ai opwegen tegen de risico’s. Over welke risico’s hebben we het dan eigenlijk?
Vaak denken mensen bij risico’s rond AI aan bias, vooringenomenheid met name in de vorm van discriminatie. Dat is zeker bij AI’s die werken met persoonsgegevens een probleem, maar het is zeker niet het enige. Een zelfrijdende auto bijvoorbeeld zal niet snel discrimineren maar kan wel enorme schade en letsel geven. Een AI die examens nakijkt, kan fouten maken en daardoor verkeerde cijfers uitdelen. Een robot bij de apotheek kan verkeerde medicijnen verstrekken en letsel veroorzaken. Een verkeersregel-AI kan enorme files geven en ga zo maar door.

In mijn boek schets ik een evaluatie langs zeven assen die voor meer of minder risico kunnen zorgen. Deze komen uit de Ethische richtsnoeren voor betrouwbare KI van de Europese Commissie:

1. menselijke controle en menselijk toezicht,
2. technische robuustheid en veiligheid,
3. privacy en datagovernance,
4. transparantie,
5. diversiteit, nondiscriminatie en rechtvaardigheid,
6. milieu- en maatschappelijk welzijn en
7. verantwoordingsplicht.

Afhankelijk van het systeem en de toepassing kies je per as hoe hoog je wilt scoren, en daar richt je je risicomanagement dan op in. Een medische AI moet bijvoorbeeld hoog scoren op controle en robuustheid, maar milieuwelzijn is secundair en nondiscriminatie zal minder snel spelen. Een AI die handelt in aandelen moet vooral heel robuust en transparant zijn maar heeft geen privacy-aspecten, en verantwoording afleggen is triviaal.

5. AI bevat enorme hoeveelheden (persoons)gegevens. Wat zijn naar jouw mening privacy-aspecten om rekening meet te houden bij AI?
Veel AI’s, maar lang niet alle, worden gemaakt om met persoonsgegevens om te gaan. De AI die in aandelen handelt, zal bijvoorbeeld niets van personen hoeven te weten. En bij een AI die een auto bestuurt, spelen persoonsgegevens een heel andere rol dan bij een AI die fraude opspoort bij webwinkels of die tentamens op de universiteit nakijkt. Zie verder volgende vraag, maar de kern van het privacyprobleem ismeestal transparantie: hoe kon de AI dit over mij concluderen, waarom neemt de AI deze stap en hoe moeten we omgaan met de gevolgen voor mij als mens?

6. Hoe verhoudt AI zich tot de privacywetgeving? Wat betekent de AVG voor de ontwikkeling en toepassing van AI?
De AVG is niet perse een privacywet, maar gaat over een zorgvuldige omgang met je gegevens. Dat kan ook in de openbare ruimte zijn: een AI die jou op een groot scherm projecteert als hij ziet dat je door rood loopt, bijvoorbeeld. De AVG stelt strenge kaders aan AI’s die omgaan met mensen. Allereerst moet je dataverzameling goed op orde zijn, wat een probleem is omdat AI’s enorme datasets vereisen en er dus vaak snel en rommelig van alles bij elkaar geharkt wordt. Maar denk hierbij aan de grondslag en/of doelbinding, plus hoe je mensen informeert bij het samenstellen van de AI. Bias speelt een rol bij het inzetten van de AI, de problematiek hier is vergelijkbaar met artikel 22 AVG, de geautomatiseerde besluitvorming. Ook beveiliging, privacy by design en omgaan met opt-outs zijn aandachtspunten.

7. Privacy en Ai zijn dus onlosmakelijk met elkaar verbonden?
Nee. De AI Act heeft dat heel goed begrepen: die definieert een AI als een systeem dat autonoom handelt of ingrijpt en daarbij risico’s opwerpt voor mens en maatschappij. Dat kan een privacyrisico zijn, maar ook een veiligheidsrisico (dood en letsel), financiële schade (verkeerde aandelen gekocht), economische schade (contract verkeerd gelezen) of zelfs milieuschade. We moeten dus niet de fout maken AI als een AVG compliance issue te zien, of bij handelen van AI alleen het kader van artikel 22 (geautomatiseerde besluitvorming) te hanteren.

8. Hoe ‘intelligent’ is AI?
Ondanks de algemene perceptie dat AI-algoritmen op de een of andere manier neutraal en objectief zijn, kunnen ze bestaande, onbekende vooroordelen of onvolledigheden in gegevens vaak reproduceren en zelfs vergroten. Een in het oog springend voorval is natuurlijk de Toeslagaffaire.

Maar wat zijn andere relevante voorbeelden?
De toeslagenaffaire is een slecht voorbeeld, omdat daar mensen bewust de keuze maakten om te discrimineren op afkomst. Een bekend voorbeeld van een biased AI is de recruitment tool van Amazon: die wees alle vrouwen af, omdat historisch het bedrijf alleen mannen in dienst had en er dus geen data was over succesvolle vrouwelijke medewerkers. Bij plaatjesgeneratoren zie je de bekende seksistische stereotypes: vraag om een dokter en je krijgt een man, vraag om een verpleegkundige en je krijgt een vrouw.

Belangrijk is te onthouden dat AI’s niet denken zoals mensen dat doen, ze redeneren niet via logische regels of stappenplannen waarbij je kennis toepast. AI’s trekken conclusies op basis van statistische analyse: dit plaatje lijkt op de tienduizend plaatjes die ‘vogel’ heten, dus dit is een vogel. Termen als ‘intelligent’ zijn dan ook gevaarlijk, want ze suggereren dat een AI menselijk denken kan vervangen. Wat je doet met inzet van AI is een proces automatiseren, maar net zoals een vorkheftruck niet hetzelfde werkt als een dokwerker, werkt een AI niet hetzelfde als een mens.

9. Waarom wordt er in discussies over AI zo vaak gehamerd op rekenschap ofwel accountability?
Rekenschap of verantwoording is een kernaspect van vertrouwen, en AI’s moeten vertrouwen opbouwen om als technologie aanvaard te worden. Heel lang hebben AI’s als zwarte dozen geopereerd: de computer zegt nee, en daar hebben we het mee te doen. AI systemen moeten nu dus vérgaand het omgekeerde doen: licht iedere stap toe, motiveer waarom dat een terechte stap is en verantwoord zo de inzet. Dit is meer dan transparantie: daar gaat het om wat het systeem doet, maar niet om waarom.

10. Een manier om privacy-risico’s bij AI en Chatbots t voorkomen, is het toepassen van het principe Privacy by Design. Wat houdt dat precies in?
Privacy by design is het algemene beginsel dat je bij iedere ontwerpstap in een systeem rekening houdt met privacy en gegevensbescherming. Dit beginsel is natuurlijk ook van belang als je een AI systeem bouwt, zoals een chatbot. Het kan lastig zijn dit toe te passen omdat een AI systeem feitelijk een enorme bak van gegevens bevat waar statistische analyse op gedaan wordt, en dat is lastiger te begrenzen dan bijvoorbeeld een personeelsadministratiesysteem waarbij je inbouwt wie waar wel of niet bij mag.

11. Wanneer je gebruikt wilt gaan maken van algoritmische systemen waarbij persoonsgegevens worden verwerkt, ben je verplicht een DPIA (data protection impact assessment) uit te voeren. Wat is dat eigenlijk en wat zijn belangrijke criteria voor DPIA?
Een DPIA heeft als doel om de risico’s van dergelijke verwerkingen in kaart te brengen en maatregelen te identificeren waarmee deze risico’s te beperken zijn. Voor FG’s zal dit dagelijkse kost zijn. Specifiek bij AI is het grootste probleem de risico’s vorzien, want die kunnen heel anders uitpakken dan bij traditionele ict-systemen. Een voorbeeld is de zaak van mevrouw Pocornie, die zich anders behandeld zag door AI-gedreven antispieksoftware en vermoedde dat haar huidskleur daarin meespeelde: het systeem zei dat ze niet in beeld was terwijl ze wel voor de camera zat. Uiteindelijk bleek de slechte kwaliteit van haar webcam een factor van betekenis, maar dat is een risico waar maar weinig mensen vooraf op checken.

12. Wil je nog iets delen waarbij je het niet eens bent met veel andere FG’s, de AP of anderen?
Wie AI systemen gaat beoordelen als FG moet zich voorhouden dat er meer aan zit dan alleen de AVG en omgang met persoonsgegevens. Ik denk dan ook dat een AI assessment breder moet zijn dan enkel een DPIA. Vertrouw verder niet op papieren of contractuele garanties dat bv. zorgvuldig en AVG-compliant persoonsgegevens zijn verwerkt, maar sta op een onafhankelijke controle en op daadwerkelijke inzage in de gebruikte data.

13. Wat wil je verder nog met ons delen aangaande dit interview?
Volgens mij hebben we alles wel behandeld zo.

14. Wie zou jij wel eens aan de tand willen voelen over AI, persoonsgegevens, privacy en de rol van de FG hierin?
Daar moet ik even over nadenken.

Meer informatie of contact opnemen met Arnoud Engelfriet?

Neem dan een kijkje op het LinkedIn profiel van Arnoud en stuur hem een persoonlijk bericht of stuur een e-mail aan taairaterces.[antispam].@ngfg.nl onder vermelding van interview Arnoud Engelfriet.