Artikel 5. Verboden AI-praktijken

De volgende AI-praktijken zijn verboden: Punt h) van de eerste alinea doet geen afbreuk aan artikel 9 van Verordening (EU) 2016/679 voor de verwerking van biometrische gegevens voor andere doeleinden dan rechtshandhaving.

a)

het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor zij een besluit nemen dat zij anders niet hadden genomen, op een wijze die ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen;

b)

het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een natuurlijke persoon of specifieke groep personen als gevolg van hun leeftijd, handicap of een specifieke sociale of economische omstandigheid, met als doel of met als gevolg het gedrag van die persoon of personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of waarvan redelijkerwijze te verwachten is dat deze ertoe zal leiden dat deze of andere personen aanzienlijke schade oplopen;

b bis)

het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat realistische beelden, video’s, audio of soortgelijk materiaal genereert of manipuleert van de intieme delen van een identificeerbare natuurlijke persoon, of van een identificeerbare natuurlijke persoon die expliciete seksuele gedragingen verricht, zonder de vrijelijk gegeven, specifieke, geïnformeerde, ondubbelzinnige en uitdrukkelijke toestemming van die persoon voor die generatie of manipulatie;

b ter)

het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat materiaal of een voorstelling genereert of manipuleert in de zin van artikel 2, punten c) en e), van Richtlijn 2011/93/EU, behalve wanneer krachtens het nationale recht een „wederrechtelijke” verdediging van toepassing is;

c)

het in de handel brengen, het in gebruik stellen of het gebruiken van AI-systemen voor de evaluatie of classificatie van natuurlijke personen of groepen personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft: i) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld; ii) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;

d)

het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van een AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken; dit verbod geldt niet voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd;

e)

het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen die databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden;

f)

het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs uit af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht;

g)

het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van systemen voor biometrische categorisering die natuurlijke personen individueel in categorieën indelen op basis van biometrische gegevens om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden; dit verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens of categorisering van biometrische gegevens op het gebied van rechtshandhaving;

h)

het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen: i) het gericht zoeken naar specifieke slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting van mensen, alsook het zoeken naar vermiste personen; ii) het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen of een reële en actuele of reële en voorspelbare dreiging van een terroristische aanslag; iii) de lokalisatie of identificatie van een persoon die ervan wordt verdacht een strafbaar feit te hebben gepleegd, ten behoeve van een strafrechtelijk onderzoek of vervolging of tenuitvoerlegging van een straf voor in bijlage II genoemde strafbare feiten waarop in de betrokken lidstaat een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel staat met een maximumduur van ten minste vier jaar.

Voor de toepassing van lid 1, eerste alinea, punten b bis) en b ter), is:

a)

het in lid 1, eerste alinea, punt b bis) of b ter), bedoelde in de handel brengen of in gebruik stellen van een AI-systeem dat het materiaal of de voorstelling genereert of manipuleert, alleen verboden indien: i) die generatie of manipulatie het beoogde doel van het AI-systeem is; of ii) het ontwerp, de training, de architectuur, de capaciteiten of de gebruikersgerichte functionaliteiten van het systeem maken dat het genereren of manipuleren een redelijkerwijs te voorzien en reproduceerbaar resultaat oplevert, zonder dat daarvoor aanzienlijke technische wijzigingen nodig zijn, en het systeem niet beschikt over redelijke en adequate technische veiligheidsmaatregelen en andere waarborgen om het genereren of manipuleren op betrouwbare wijze te voorkomen, rekening houdend met redelijkerwijs te voorzien misbruik, en om waargenomen of gemeld misbruik te corrigeren;

b)

het in lid 1, eerste alinea, punten b bis) en b ter, bedoelde gebruik van een AI-systeem dat het materiaal of de voorstelling genereert of manipuleert, alleen verboden wanneer de gebruiksverantwoordelijke het systeem gebruikt voor het genereren of manipuleren van dergelijk materiaal of een dergelijke voorstelling.

Voor de toepassing van lid 1, eerste alinea, punt b bis), vormt een AI-systeem dat materiaal zodanig manipuleert dat de blootstelling aan afgebeelde intieme delen niet toeneemt of dat de aard van afgebeelde seksueel expliciete gedragingen niet wordt gewijzigd, geen manipulatie.

Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), bedoelde doelstellingen wordt ingezet voor de in dat punt bedoelde doeleinden, uitsluitend om de identiteit van de specifiek beoogde persoon te bevestigen en daarbij wordt rekening gehouden met het volgende: Daarnaast moet het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), genoemde doelstellingen in overeenstemming zijn met noodzakelijke en evenredige waarborgen en voorwaarden in verband met het gebruik in overeenstemming met het nationale recht dat het gebruik ervan toelaat, en met name ten aanzien van de beperking in de tijd en de geografische en persoonlijke beperkingen. Het gebruik van het systeem voor biometrische identificatie op afstand in real time in openbare ruimten wordt alleen toegestaan indien de rechtshandhavingsinstantie een in artikel 27 voorziene effectbeoordeling op het gebied van de grondrechten heeft uitgevoerd en het systeem volgens artikel 49 in de EU-databank heeft geregistreerd. In naar behoren gemotiveerde spoedeisende gevallen kan echter met het gebruik van dergelijke systemen worden begonnen zonder de systemen in de EU-databank te registreren, op voorwaarde dat die registratie zonder onnodige vertraging wordt voltooid.

a)

de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt;

b)

de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen.

Voor de toepassing van lid 1, eerste alinea, punt h), en lid 2, wordt elk gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving afhankelijk gesteld van een voorafgaande toestemming die wordt verleend door een gerechtelijke instantie of een onafhankelijke administratieve instantie, waarvan het besluit bindend is, van de lidstaat waarin het gebruik moet plaatsvinden en die wordt gegeven op verzoek en in overeenstemming met de gedetailleerde regels van het nationale recht als bedoeld in lid 5. In een naar behoren gemotiveerde spoedeisende situatie kan echter zonder toestemming met het gebruik van een dergelijk systeem worden begonnen, op voorwaarde dat een dergelijke toestemming zonder onnodige vertraging en ten minste binnen 24 uur wordt aangevraagd. Bij weigering van die toestemming wordt het gebruik onmiddellijk gestaakt en worden alle gegevens, resultaten en outputs van dat gebruik onmiddellijk verwijderd en gewist. De bevoegde gerechtelijke instantie of onafhankelijke administratieve instantie, waarvan het besluit bindend is verleent de toestemming slechts wanneer zij op basis van objectief bewijs of duidelijke indicaties die aan haar zijn voorgelegd ervan overtuigd is dat het gebruik van het betreffende systeem voor biometrische identificatie op afstand in real time noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, eerste alinea, punt h), gespecificeerde doelstellingen, zoals genoemd in het verzoek en met name beperkt blijft tot wat strikt noodzakelijk is met betrekking tot de periode en de geografische en personele werkingssfeer. Bij haar beslissing over het verzoek houdt die instantie rekening met de in lid 2 bedoelde elementen. Een besluit dat nadelige rechtsgevolgen heeft voor een persoon mag niet uitsluitend worden genomen op basis van de output van het systeem voor biometrische identificatie op afstand in real time.

Onverminderd lid 3 wordt elk gebruik van een systeem voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving gemeld bij de bevoegde markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit in overeenstemming met de in lid 5 bedoelde nationale regels. Die melding bevat ten minste de in lid 6 bepaalde informatie en bevat geen gevoelige operationele gegevens.

Een lidstaat kan besluiten om te voorzien in de mogelijkheid om volledig of gedeeltelijk toestemming te verlenen voor het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving binnen de grenzen en onder de voorwaarden van lid 1, eerste alinea, punt h), en de leden 2 en 3. De betrokken lidstaten leggen in hun nationale recht de noodzakelijke gedetailleerde regels vast voor het verzoek om en de afgifte en het gebruik van, evenals het toezicht en verslaglegging in verband met, de in lid 3 bedoelde vergunningen. In deze regels wordt ook gespecificeerd voor welke doelstellingen van lid 1, eerste alinea, punt h), en voor welke strafbare feiten als bedoeld in punt h), iii), daarvan de bevoegde autoriteiten deze systemen mogen gebruiken met het oog op de rechtshandhaving. De lidstaten stellen de Commissie uiterlijk dertig dagen na de vaststelling van die regels in kennis. De lidstaten kunnen in overeenstemming met het Unierecht restrictievere wetgeving inzake het gebruik van systemen voor biometrische identificatie op afstand invoeren.

Nationale markttoezichtautoriteiten en nationale gegevensbeschermingsautoriteiten van lidstaten die op grond van lid 4 in kennis zijn gesteld van het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, dienen bij de Commissie jaarverslagen over dat gebruik in. Daartoe verstrekt de Commissie de lidstaten en de nationale markttoezicht- en gegevensbeschermingsautoriteiten een sjabloon, met informatie over het aantal besluiten dat is genomen door bevoegde gerechtelijke instanties of een onafhankelijke administratieve instantie, waarvan het besluit bindend is overeenkomstig lid 3, alsook het resultaat van die besluiten.

De Commissie publiceert jaarverslagen over het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, op basis van geaggregeerde gegevens in de lidstaten op basis van de in lid 6 bedoelde jaarverslagen. Die jaarverslagen bevatten geen gevoelige operationele gegevens van de gerelateerde rechtshandhavingsactiviteiten.

Dit artikel doet geen afbreuk aan de verbodsbepalingen die van toepassing zijn wanneer een AI-praktijk een inbreuk vormt op het Unierecht.