Het maken van een DPIA bij het gebruik van AI (Artificial Intelligence) is een belangrijk proces. Paul heeft gewerkt aan een Data Protection Impact Assessment (DPIA) en bijbehorende privacydocumenten zoals een passende beleidsdocumentatie, een LIA (Legitimate Impact Assessment) en privacyverklaringen voor het gebruik van AI met persoonsgegevens op bodycams die door bewakers in het nachtleven bij barren en clubs worden gedragen om personen te identificeren die bepaalde locaties niet zouden mogen betreden. Dit is als pilot uitgevoerd en de resultaten zijn veelbelovend: er zijn enkele personen geïdentificeerd die de toegang werd ontzegd. En, vooralsnog, zonder enige bezorgdheid over de privacy van de betrokkenen.. Wij zijn benieuwd naar de ervaringen van Paul en hebben hem de volgende vragen gesteld.

Wie is Paul en wat doe je?

• Ik ben Paul Collier, Data Protection Consultant bij The DPO Centre in het Verenigd Koninkrijk. Ik ben een van de ervaren consultants, die advies en begeleiding op maat levert aan een breed scala van diensten en sectoren. Ik heb uitgebreide ervaring in het uitvoeren van de DPO-functie (Data Protection Officer) in het Verenigd Koninkrijk en Ierland en heb gewerkt in organisaties in de technologie-, transport-, gezondheidszorg- en publieke sector.

Kun je ons wat meer vertellen over hoe de AI-verwerkingstechnologie tijdens de pilot werd toegepast op de bodycams van bewakers om personen te identificeren die bepaalde locaties niet mogen betreden?

• Het verzoek was om een privacyvriendelijke oplossing te vinden die het element van menselijke fouten en misleiding uit het bestaande handmatige proces zou verwijderen. Het handmatige proces vereiste een lijst van 60+ individuele gezichten die uit het hoofd moesten worden geleerd en herkend tijdens het werken in een moeilijke omgeving, vaak met grote groepen en dronken individuen. De oplossing was een innovatieve toepassing van softwaretechnologie met gezichtsherkenning (LFR: Live Facial Recognition) in een video-camera die op het uniform van de bewaker wordt gedragen (BWV: Body Worn Video).

Welke gegevens werden tijdens dit proces verzameld en verwerkt? Hoe zit het met de verwerking van persoonsgegevens?

• De LFR-software maakte gebruik van een bestaand, op kwaliteit gecontroleerd referentiebeeld dat was gemaakt van een persoon die zich eerder crimineel of a-sociaal had gedragen in een bar of nachtclub. Vaak gaat het om beelden die zijn gemaakt nadat de betrokkene was aangehouden voor een strafbaar feit. Deze beelden werden vervolgens geüpload naar een referentiedatabase en er werd een bijbehorend biometrisch sjabloon gemaakt. De BWV-camera legde vervolgens in realtime gezichten vast van personen die probeerden de locaties binnen te gaan, creëerde een  biometrisch sjabloon en voerde een functie uit om ze te matchen met deze referentiebeelden. Als er een match werd gevonden, werden de gegevens opgeslagen en werd een centrale gewaarschuwd om actie te ondernemen. Als er geen overeenkomst werd gedetecteerd, werd het vastgelegde beeld binnen microseconden verwijderd.
  

Hoe werd de privacy van personen beschermd tijdens het gebruik van AI op bodycams? Zijn er specifieke maatregelen genomen om de privacy te waarborgen?

• Op het apparaat werden technische maatregelen geïmplementeerd die ervoor zorgden dat alleen de minimale hoeveelheid gegevens werd verwerkt voor de vereiste doeleinden. Het gezichtsveldvan de camera was beperkt in zowel afstand als hoek om ervoor te zorgen dat alleen degenen werden vastgelegd die probeerden de locatie te betreden. Alleen de gegevens van de personen waarvan een goede match was met de referentielijst werden vastgelegd en de technologie werd zodanig ontwikkeld dat de persoonsgegevens van elke andere betrokkene onmiddellijk werden verwijderd. Het gebruik van een BWV-camera was uniek en stelt ons in staat om het aantal betrokkenen dat via deze oplossing wordt verwerkt, te beperken.
  

Welke stappen zijn er ondernomen om ervoor te zorgen dat de AI-verwerking voldeed aan de relevante wet- en regelgeving op het gebied van gegevensbescherming?

• De reden dat de technologieleverancier ons inschakelde, was om de benodigde input en kennis te leveren om ervoor te zorgen dat het voldeed aan de AVG en andere soortgelijke wetten in het VK. Aangezien de verwerking persoonsgegevens betrof, waaronder bijzondere categorieën van persoonsgegevens en gegevens betreffende strafrechtelijke veroordelingen, was het van vitaal belang om ervoor te zorgen dat ik zorgde voor alle relevante privacydocumentatie waaronder de DPIA, LIA, beleidsdocumentatie en privacyverklaringen.
  

Wat was jouw rol als DPO bij het uitvoeren van de DPIA voor dit AI-gebruik op bodycams?

• Mijn rol als Data Protection consultant was om advies te geven over de vraag of een DPIA nodig was, hoe deze moest worden ingevuld, de risico's die verbonden zijn aan de verwerkingsactiviteit en de maatregelen of waarborgen die konden worden genomen om die risico's te beperken. Het omvatte ook het adviseren over de raadplegingsvereisten en de mogelijke manieren om enkele van de problemen op te lossen die waren ondervonden bij andere soortgelijke implementaties in het VK.
  

Welke specifieke privacyrisico's zijn tijdens de DPIA geïdentificeerd en hoe zijn deze aangepakt?

• Eerdere pogingen om deze LFR-technologie te gebruiken, waren gebaseerd op traditionele beveiligingscamera's. Deze waren problematisch en ongedifferentieerd als het ging om grootschalige verwerking van betrokkenen. Andere problemen hadden te maken met de samenstelling van de referentielijsten, hoe nauwkeurig ze waren en de betrouwbaarheid van de technologie en de vooringenomenheid binnen de algoritmen. Het advies over het gerichte en proportionele gebruik van een BWV-systeem nam veel zorgen weg over de willekeurige verwerking op grote schaal (BWV-camera's hebben -van nature- een directere één-op-één-interactie die het verzamelen van zijdelinge gegevens vermindert) en het advies dat rond de referentielijsten werd gegeven, kon de meeste risico's aanpakken. Transparantie werd ook als een probleem aangemerkt, dat in de volgende paragrafen wordt behandeld, maar dat werd in de eerste plaats aangepakt door het toepassingsgebied van de LFR-technologie te beperken en ervoor te zorgen dat de betrokkene goede privacyinformatie kreeg.

Zijn er maatregelen genomen om ervoor te zorgen dat de AI-algoritmen eerlijk en onbevooroordeeld waren bij het identificeren van personen die bepaalde locaties niet mogen betreden?

• De technologieleverancier onderwierp de software aan strenge testprocedures om ervoor te zorgen dat eventuele mogelijke te verwachten problemen werden overwogen en aangepakt voordat deze in de pilot werd uitgerold. Ze werkten samen met het National Institute of Standards and Technology (NIST), een federaal agentschap binnen het Amerikaanse ministerie van Handel, om de LFR-software te testen. Een belangrijk aandachtsgebied van NIST is gezichtsherkenningstechnologie, met name via het Facial Recognition Vendor Test project (FRVT), een reeks onafhankelijke evaluaties van in de handel verkrijgbare en prototypes van gezichtsherkenningstechnologieën, ontworpen om hun mogelijkheden en potentiële toepassingen te beoordelen. Deze tests meten de prestaties van gezichtsherkenningssystemen in termen van nauwkeurigheid, snelheid, opslagcapaciteit en robuustheid tegen verschillende omgevingsfactoren.

Hoe werden personen geïnformeerd over het gebruik van AI op bodycams en hun rechten met betrekking tot gegevensbescherming?

• Er zijn verschillende maatregelen genomen om de bezorgdheid over transparantie rond het gebruik van de technologie weg te nemen. Er werd een openbare raadpleging gehouden waarbij iedereen in het vakgebied de geteste technologie kon komen bekijken en de doelstellingen van de proef kon leren begrijpen. Dit stelde hen ook in staat om mij privacyvragen te stellen en te begrijpen hoe we de zorgen hadden aangepakt die bij andere implementaties waren geuit. Daarnaast werden andere problemen en zorgen met betrekking tot transparantie/awareness door betrokkenen beperkt door maatregelen, waaronder een goed zichtbare QR-code bij de bewaker die was gekoppeld aan de privacyverklaring op de website van de verwerkingsverantwoordelijke, privacy-informatie ter grootte van een creditcard met een QR-code, borden, posters en een zichtbare publiciteitscampagne met persberichten en nieuwsinterviews.

Zijn de resultaten van de pilot regelmatig geëvalueerd om ervoor te zorgen dat de AI-verwerking effectief blijft en voldoet aan de privacywetgeving?

• De pilot zou 3 maanden duren en elke maand werd een gesprek gevoerd om de ontvangen registraties te bespreken en de nauwkeurigheid ervan te beoordelen. Aan het einde van de studie wordt een totale beoordelingssessie gepland voordat wordt besloten of de studie een succes was en of een verdere (of bredere) uitrol kan worden overwogen en geïmplementeerd. Als een betrokkene op enig moment zorgen had, kon hij contact opnemen met de verwerkingsverantwoordelijke en deze zorgen uiten (naast de standaardrechten waarop hij recht had onder de AVG), maar op het moment van schrijven waren er geen bezwaren ontvangen. In feite was de algemene feedback over het algemeen positief en complimenteus.

Zijn er plannen om AI-verwerking op bodycams op andere gebieden verder uit te breiden of toe te passen? Zo ja, welke maatregelen worden er genomen om de bescherming van de persoonlijke levenssfeer te waarborgen?

• De leverancier wil een soortgelijke uitrol uitbreiden naar andere delen van het VK en naar andere situaties. Een voorbeeld hiervan is voor gebruik in een winkelomgeving waar veel diefstal is en een ander is voor gebruik in stadions om degenen te identificeren die eerder toegang was ontzegd. In lijn met ervaringen van deze pilot zullen ze ervoor zorgen dat er vanaf het begin en gedurende het hele project rekening wordt gehouden met privacy.

Mogen we jou nog enkele vragen stellen over jouw mening over AI in het algemeen?

• Jazeker!

Wat zijn de uitdagingen bij het vinden van een balans tussen het gebruik van AI voor innovatie en het beschermen van de privacy van individuen?

• Ik ben van mening dat het zeer lastig is met het vinden van een evenwicht tussen de uiterst nuttige toepassing van AI en het waarborgen van de privacy van individuen. Een van die problemen, die relatief veel publiciteit krijgt, is vanwege de mogelijkheden van AI en in het bijzonder Large Language Models (LLM's) om echte anonimisering te realiseren. Verdere kwesties rond toestemming, transparantie van het gebruik van gegevens en de waargenomen of feitelijke vooringenomenheid in een AI-systeem zijn ook uitdagingen die moeten worden aangepakt voordat AI op grotere schaal kan worden gebruikt.

Hoe denk je dat de houding ten opzichte van privacy en AI verschilt tussen verschillende landen?

• Ik denk dat de belangrijkste verschillen zich voordoen tussen landen die een gedetailleerde en recente privacywetgeving hebben, zoals GDPR in Europa, en andere landen waar het gebruik van persoonsgegevens en ook het gebruik ervan binnen AI niet zo streng zijn gereguleerd. In de niet al te verre toekomst kan een kloof ontstaan waarbij sommige landen AI gebruiken op een manier die aanzienlijke problemen veroorzaakt voor betrokkenen en die landen die dergelijke problemen in een vroeg stadium identificeren en AI-systemen ontwerpen met privacy op de voorgrond.
  

Zijn er specifieke culturele, juridische of sociale factoren die van invloed zijn op de houding ten opzichte van privacy en AI in verschillende delen van de wereld?

• Zoals hierboven vermeld, hebben landen met een volwassen en ingebedde privacywetgeving over het algemeen strengere wetten die van invloed zijn op de regulering en het bewaakte gebruik van AI, zeker bij elke nieuwe technologie dat in de kinderschoenen staat. Andere culturen waar gegevens massaal zijn verzameld en worden gebruikt en het daar min of meer algemeen is geaccepteerd, zullen eerder AI gebruiken om door te gaan met dit soort gegevensverzameling en -analyse. Dit zijn meestal ook dezelfde landen waar het vertrouwen in de overheid en grote bedrijven lager is dan in andere landen, ik ben daarom sceptisch over hoe ze van plan zijn AI in de toekomst te gebruiken.

Welke stappen kunnen worden genomen om een beter mondiaal evenwicht te bereiken tussen het gebruik van AI en het waarborgen van privacy?

• Ik denk dat een aantal van de eerste stappen om dit evenwicht te bereiken al worden gezet. Er is een internationale acceptatie dat AI moet worden gereguleerd, waarbij sommige landen wetgeving hebben ingevoerd om precies dat te doen - voorbeelden hiervan zijn de AI-wet in de EU die zich in de laatste fase bevindt om het gebruik van AI te reguleren - terwijl andere landen soortgelijke stappen ondernemen, zoals de VS en India. Er zou een internationale overeenkomst moeten komen om het gebruik te reguleren en tegelijkertijd zouden de voordelen en nadelen van AI aangetoond moeten worden, voordat er enig vooruitzicht is op het bereiken van het vereiste evenwicht tussen het veilige gebruik door middel van regelgeving en de wijdverbreide uitrol van AI in alle sectoren.

Is er iets dat je zou willen delen of waar je het niet eens bent met veel andere DPO's, internationale  gegevensbeschermingsautoriteiten of anderen?

• Nee dank je!

Meer informatie of even kennis maken met Paul Collier? 

Bekijk dan het LinkedIn profiel van Paul hier. Let op: Paul is Engels; dit in het Engels gehouden interview is vertaald naar het Nederlands!