💼 Management Samenvatting
De EU AI Act is de eerste omvattende wetgeving ter wereld die kunstmatige intelligentie reguleert en legt specifieke verplichtingen op aan organisaties die AI-systemen ontwikkelen, implementeren of gebruiken. Nederlandse overheidsorganisaties moeten voldoen aan deze vereisten om legaal AI-toepassingen te kunnen inzetten voor kritieke besluitvormingsprocessen die gevolgen hebben voor burgers.
✓ M365
✓ AI Services
Niet-naleving van de EU AI Act kan leiden tot boetes tot zes procent van de wereldwijde jaaromzet, een verbod op het gebruik van niet-conforme AI-systemen, juridische aansprakelijkheid bij schade veroorzaakt door AI, en ernstige reputatieschade voor publieke organisaties. Voor Nederlandse overheidsorganisaties komt hier nog bij dat zij moeten voldoen aan transparantieverplichtingen onder de Wet open overheid en verantwoording moeten afleggen aan burgers. Organisaties die high-risk AI-systemen gebruiken zonder de vereisten na te leven, kunnen bovendien in strijd zijn met fundamentele rechten en democratische waarden, wat kan leiden tot rechtszaken en politieke gevolgen.
Connection:
Connect-MgGraph, Connect-AzAccountRequired Modules: Microsoft.Graph, Az.Accounts
Implementatie
Dit artikel beschrijft alle vereisten die de EU AI Act stelt aan Nederlandse overheidsorganisaties die AI-systemen gebruiken, met specifieke focus op high-risk AI-systemen die veelvuldig worden toegepast in de publieke sector. Het behandelt technische vereisten zoals risicomanagement systemen, data governance, transparantie verplichtingen, menselijke toezicht, accuraatheid en robuustheid eisen. Daarnaast worden organisatorische vereisten beschreven zoals kwaliteitsmanagementsystemen, conformity assessments, registratie verplichtingen en gebruikersinformatie. Het artikel biedt praktische implementatie richtlijnen voor Microsoft AI-services zoals Azure OpenAI Service, Microsoft Copilot en Azure Cognitive Services, met concrete stappen om compliant te worden volgens de gefaseerde implementatie die start in 2025.
Overzicht van EU AI Act Vereisten
De EU AI Act introduceert een risico-gebaseerde aanpak waarbij AI-systemen worden ingedeeld in vier categorieën: verboden AI-praktijken, high-risk AI-systemen, beperkt risico AI-systemen, en minimaal risico AI-systemen. Nederlandse overheidsorganisaties gebruiken voornamelijk high-risk AI-systemen, wat betekent dat zij moeten voldoen aan de strengste vereisten. High-risk AI-systemen omvatten onder andere AI-toepassingen die worden gebruikt voor besluitvorming over toegang tot publieke diensten en voordelen, in het bijzonder wanneer deze beslissingen de kans van een natuurlijke persoon op toegang tot onderwijs of beroepsopleiding beïnvloeden, of belangrijke privé- of beroepsmatige kansen beïnvloeden.
Voor high-risk AI-systemen legt de EU AI Act acht kernvereisten op die strikt moeten worden nageleefd. Ten eerste moeten organisaties een risicomanagementsysteem implementeren dat continu identificeert, analyseert, evalueert en beheerst de risico's die het AI-systeem kan veroorzaken gedurende de volledige levenscyclus. Dit systeem moet gebaseerd zijn op risicobeoordelingen en moet worden bijgewerkt wanneer nieuwe risico's worden geïdentificeerd of wanneer het systeem significant wordt gewijzigd. Het risicomanagementsysteem moet een systematische aanpak volgen en moet worden geïntegreerd in het algemene risicomanagementsysteem van de organisatie.
De tweede vereiste betreft data governance. Organisaties moeten ervoor zorgen dat trainings-, validatie- en testdatasets relevant, representatief, accuraat en compleet zijn. Dit betekent dat datasets moeten worden geselecteerd en beheerd met het oog op het minimaliseren van risico's op fouten en het identificeren van mogelijke vooroordelen. Organisaties moeten bovendien documenteren welke datasets zijn gebruikt, hoe deze zijn verzameld en voorbereid, en welke maatregelen zijn genomen om kwaliteit en representativiteit te waarborgen. Dit is bijzonder relevant voor Nederlandse overheidsorganisaties die vaak werken met historische data die mogelijk vooroordelen bevatten.
Transparantie is de derde kernvereiste. AI-systemen moeten zodanig zijn ontworpen en ontwikkeld dat hun werking transparant is voor gebruikers, wat betekent dat gebruikers moeten kunnen begrijpen hoe het systeem tot beslissingen komt en welke factoren daarbij een rol spelen. Voor Nederlandse overheidsorganisaties betekent dit bovendien dat zij moeten voldoen aan de Wet open overheid, die burgers het recht geeft om informatie te verkrijgen over hoe automatische besluitvorming werkt. Dit vereist dat organisaties gebruikersinformatie verstrekken die duidelijk, begrijpelijk en toegankelijk is, zonder gebruik van onnodig technisch jargon.
De vierde vereiste betreft menselijke toezicht. High-risk AI-systemen moeten menselijk toezicht mogelijk maken om risico's te minimaliseren en te zorgen dat het systeem niet buiten zijn beoogde doelstellingen en geografische en temporele toepassingsgebied wordt gebruikt. Dit betekent dat organisaties procedures moeten implementeren waarin wordt vastgelegd wanneer en hoe menselijke interventie kan plaatsvinden, wie verantwoordelijk is voor toezicht, en hoe beslissingen kunnen worden getoetst of aangepast. Voor automatische besluitvorming in uitkeringsprocessen of fraudedetectie betekent dit bijvoorbeeld dat er altijd een menselijke reviewer beschikbaar moet zijn die beslissingen kan herzien.
Accuraatheid, robuustheid en cybersecurity vormen de vijfde tot en met zevende vereisten. AI-systemen moeten accuraat, robuust en cyberveilig zijn gedurende hun volledige levenscyclus. Dit vereist dat organisaties maatregelen nemen om te zorgen dat systemen weerstand kunnen bieden tegen aanvallen, dat fouten worden gedetecteerd en gecorrigeerd, en dat systemen blijven functioneren zoals bedoeld onder verschillende omstandigheden. Voor Microsoft AI-services betekent dit dat organisaties moeten configureren voor beveiliging, monitoring moeten implementeren, en regelmatig moeten testen op kwetsbaarheden.
De achtste vereiste betreft kwaliteitsmanagementsystemen en technische documentatie. Organisaties moeten een kwaliteitsmanagementsysteem implementeren dat alle aspecten van de AI-levenscyclus dekt, en moeten uitgebreide technische documentatie opstellen die de systeemarchitectuur, trainingsdata, algoritmes en besluitvormingsprocessen beschrijft. Deze documentatie moet up-to-date worden gehouden en moet beschikbaar zijn voor conformity assessments en audits.
Implementatie van Vereisten voor Microsoft AI-Services
Het implementeren van EU AI Act vereisten voor Microsoft AI-services vereist een systematische aanpak die begint bij de selectie van de juiste services en configuratie, en doorloopt tot en met continue monitoring en onderhoud. Voor Azure OpenAI Service betekent dit bijvoorbeeld dat organisaties moeten beginnen met het configureren van content filters om te voorkomen dat het systeem ongepaste of discriminerende output genereert. Daarnaast moeten organisaties data residency instellen om ervoor te zorgen dat data binnen de Europese Unie blijft, wat vereist is voor bepaalde categorieën overheidsdata.
Voor de risicomanagement vereiste moeten organisaties een gestructureerd proces opzetten dat begint bij de initiële risicobeoordeling wanneer een AI-service wordt geselecteerd en geïmplementeerd. Dit proces moet alle potentiële risico's identificeren die kunnen ontstaan bij het gebruik van de service, inclusief risico's op discriminatie, privacy schendingen, beveiligingslekken, en functionele fouten. Voor Microsoft Copilot betekent dit bijvoorbeeld dat organisaties moeten beoordelen welke data worden geraadpleegd door het systeem, welke beslissingen kunnen worden beïnvloed door de output, en welke mitigatiemaatregelen nodig zijn om risico's te beheersen.
Data governance implementatie vereist dat organisaties een overzicht hebben van alle data die worden gebruikt door AI-systemen. Voor Azure Cognitive Services die werken met documenten, afbeeldingen of spraak, betekent dit dat organisaties moeten inventariseren welke datasets worden gebruikt voor training of fine-tuning, moeten valideren dat deze data representatief zijn en geen vooroordelen bevatten, en moeten implementeren hoe data worden beheerd en bijgewerkt. Organisaties moeten bovendien logging implementeren om bij te houden welke data worden verwerkt door AI-systemen, wat essentieel is voor compliance en auditing.
Transparantie vereisten kunnen worden geïmplementeerd door gebruikersinformatie te verstrekken die uitlegt hoe AI-systemen werken. Voor Microsoft Copilot betekent dit dat organisaties duidelijke richtlijnen moeten opstellen die uitleggen welke taken Copilot kan uitvoeren, welke beperkingen het systeem heeft, wanneer gebruikers kritisch moeten zijn op de output, en hoe zij kunnen verifiëren of informatie correct is. Deze informatie moet worden geïntegreerd in gebruikershandleidingen en training materialen, en moet beschikbaar zijn op intranet sites of in help systemen.
Menselijk toezicht implementatie vereist dat organisaties workflows aanpassen om menselijke review in te bouwen voor kritieke beslissingen. Dit betekent dat voor AI-systemen die worden gebruikt voor automatische besluitvorming, er altijd een escalatiepad moet zijn naar menselijke reviewers. Organisaties moeten bovendien training verzorgen aan deze reviewers zodat zij weten wanneer en hoe zij moeten ingrijpen, welke criteria zij moeten gebruiken om AI-beslissingen te beoordelen, en hoe zij beslissingen moeten documenteren. Voor uitkeringssystemen of fraudedetectie betekent dit bijvoorbeeld dat alle automatische beslissingen moeten worden gereviewd door een menselijke caseworker voordat definitieve actie wordt ondernomen.
Accuraatheid en robuustheid kunnen worden waarborgd door regelmatige testing en monitoring. Organisaties moeten testprocedures opstellen die de prestaties van AI-systemen evalueren op verschillende scenarios, inclusief edge cases en adversariale voorbeelden. Monitoring moet worden geïmplementeerd om te detecteren wanneer systemen afwijkend gedrag vertonen, wanneer accuraatheid daalt, of wanneer nieuwe risico's ontstaan. Voor Microsoft AI-services betekent dit dat organisaties moeten gebruik maken van Azure Monitor en Application Insights om metrics te verzamelen over systeemgedrag, en moeten alerts configureren voor anomalie detectie.
Cybersecurity vereisten voor AI-systemen omvatten zowel traditionele beveiligingsmaatregelen als AI-specifieke beveiliging. Organisaties moeten zorgen dat alle verbindingen naar AI-services worden versleuteld, dat authenticatie en autorisatie correct zijn geconfigureerd, dat API-keys en credentials veilig worden beheerd, en dat logging en auditing zijn ingeschakeld. Daarnaast moeten organisaties zich bewust zijn van AI-specifieke aanvallen zoals prompt injection, model poisoning, of adversarial attacks, en moeten maatregelen nemen om deze te mitigeren. Voor Azure OpenAI Service betekent dit bijvoorbeeld het gebruik van content filtering, rate limiting, en input validation.
Het kwaliteitsmanagementsysteem moet worden geïntegreerd in het bestaande kwaliteitsmanagement van de organisatie. Dit betekent dat procedures moeten worden opgesteld die beschrijven hoe AI-systemen worden geselecteerd, geëvalueerd, geïmplementeerd, gemonitord en bijgewerkt. Deze procedures moeten worden gedocumenteerd, moeten verantwoordelijkheden duidelijk maken, en moeten regelmatig worden gereviewd en bijgewerkt. Organisaties moeten bovendien training verzorgen aan alle medewerkers die betrokken zijn bij AI-implementatie, zodat zij begrijpen welke vereisten gelden en hoe deze moeten worden nageleefd.
Conformity Assessment en Registratie
Voor high-risk AI-systemen vereist de EU AI Act dat organisaties een conformity assessment uitvoeren voordat het systeem in gebruik wordt genomen. Deze assessment moet aantonen dat het systeem voldoet aan alle vereisten en moet worden gedocumenteerd in een EU-verklaring van overeenstemming. Nederlandse overheidsorganisaties kunnen kiezen tussen een interne conformity assessment, waarbij de organisatie zelf beoordeelt of zij voldoet aan de vereisten, of een externe assessment door een aangemelde conformity assessment body. Voor de meeste overheidsorganisaties zal een interne assessment voldoende zijn, mits deze wordt uitgevoerd volgens de voorgeschreven procedures en wordt gedocumenteerd.
De conformity assessment moet een systematische beoordeling omvatten van alle acht kernvereisten. Organisaties moeten voor elke vereiste bewijs verzamelen dat aantoont dat maatregelen zijn genomen om te voldoen, en moeten documenteren hoe deze maatregelen zijn geïmplementeerd. Dit kan bijvoorbeeld betekenen dat organisaties documentatie moeten verzamelen over risicobeoordelingen, testresultaten, gebruikersinformatie, procedures voor menselijk toezicht, en kwaliteitsmanagementsysteem documentatie. Alle documentatie moet actueel zijn en moet regelmatig worden bijgewerkt wanneer het systeem wordt gewijzigd.
Na de conformity assessment moeten high-risk AI-systemen worden geregistreerd in de EU-database voor high-risk AI-systemen. Deze database wordt beheerd door de Europese Commissie en maakt het mogelijk voor toezichthouders en het publiek om te zien welke AI-systemen worden gebruikt en door wie. Registratie vereist dat organisaties informatie verstrekken over het AI-systeem, inclusief een beschrijving van het systeem, de risicocategorie, de geïdentificeerde risico's en mitigatiemaatregelen, en de conformity assessment resultaten. Nederlandse overheidsorganisaties moeten ervoor zorgen dat alle benodigde informatie correct en compleet wordt ingevuld, en moeten registraties bijwerken wanneer significante wijzigingen worden doorgevoerd.
Naast de EU-database moeten Nederlandse overheidsorganisaties ook voldoen aan nationale registratieverplichtingen. Dit kan betekenen dat informatie over AI-systemen moet worden opgenomen in registers die worden beheerd door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties, of in registers die worden beheerd door individuele overheidsorganisaties. Organisaties moeten ervoor zorgen dat alle registraties consistent zijn en dat informatie accuraat is, omdat onjuiste informatie kan leiden tot compliance issues en mogelijke boetes.
Post-market monitoring is een continue verplichting die inhoudt dat organisaties hun AI-systemen moeten monitoren nadat deze in gebruik zijn genomen om te detecteren of er nieuwe risico's ontstaan of of het systeem niet meer voldoet aan de vereisten. Dit vereist dat organisaties monitoringprocessen implementeren die automatisch of handmatig controleren op afwijkend gedrag, dalende prestaties, nieuwe risico's, of gebruik buiten de beoogde context. Wanneer problemen worden gedetecteerd, moeten organisaties onmiddellijk actie ondernemen om deze te mitigeren, en moeten zij indien nodig de conformity assessment herzien en registraties bijwerken.
Monitoring van Compliance Status
Gebruik PowerShell-script eu-ai-act-requirements.ps1 (functie Invoke-Monitoring) – Controleert of AI-systemen voldoen aan EU AI Act vereisten en identificeert compliance gaps.
Het monitoren van compliance met EU AI Act vereisten is een continue activiteit die moet worden geïntegreerd in de dagelijkse operaties van de organisatie. Organisaties moeten een framework opzetten dat regelmatig controleert of alle vereisten worden nageleefd, of nieuwe risico's zijn ontstaan, of systemen nog binnen hun beoogde gebruik vallen, en of alle documentatie en registraties actueel zijn. Dit framework moet zowel automatische controles omvatten, bijvoorbeeld door middel van scripts die configuraties controleren, als handmatige reviews door compliance officers en technische teams.
Automatische monitoring kan worden geïmplementeerd door scripts te ontwikkelen die controleren op specifieke configuraties of settings die vereist zijn voor compliance. Voor Microsoft AI-services betekent dit bijvoorbeeld dat scripts kunnen controleren of content filtering is ingeschakeld, of data residency correct is geconfigureerd, of logging en auditing zijn ingeschakeld, of access controls correct zijn ingesteld, en of monitoring en alerting zijn geconfigureerd. Deze scripts kunnen regelmatig worden uitgevoerd, bijvoorbeeld wekelijks of maandelijks, en kunnen rapporteren over compliance status.
Handmatige monitoring omvat regelmatige reviews van AI-systemen door compliance officers en technische teams. Deze reviews moeten beoordelen of risicobeoordelingen nog actueel zijn, of nieuwe risico's zijn geïdentificeerd, of gebruikersinformatie nog correct is, of procedures voor menselijk toezicht nog worden nageleefd, en of kwaliteitsmanagementsysteem procedures nog worden gevolgd. Reviews moeten worden gedocumenteerd en moeten leiden tot actie wanneer non-compliance wordt gedetecteerd. Organisaties moeten een schema opstellen voor deze reviews, bijvoorbeeld kwartaalreviews voor alle AI-systemen en jaarlijkse deep-dive reviews.
Incident monitoring is een kritiek onderdeel van compliance monitoring. Wanneer incidenten voorkomen waarbij AI-systemen niet correct functioneren, bijvoorbeeld wanneer discriminatie wordt gedetecteerd, wanneer privacy wordt geschonden, of wanneer beveiligingslekken worden gevonden, moeten organisaties onmiddellijk beoordelen of dit impact heeft op compliance met EU AI Act vereisten. Incidenten moeten worden onderzocht om te begrijpen waarom zij zijn opgetreden, welke risico's zijn gerealiseerd, en welke maatregelen nodig zijn om herhaling te voorkomen. Alle incidenten moeten worden gedocumenteerd en moeten leiden tot updates van risicobeoordelingen en mitigatiemaatregelen indien nodig.
Performance monitoring is essentieel om te zorgen dat AI-systemen blijven voldoen aan accuraatheid en robuustheid vereisten. Organisaties moeten metrics verzamelen over systeemprestaties, bijvoorbeeld accuraatheid, false positive rates, response times, en gebruikersfeedback. Deze metrics moeten regelmatig worden geanalyseerd om te detecteren of prestaties dalen, of nieuwe patronen ontstaan die mogelijk wijzen op problemen, of of systemen buiten hun beoogde gebruik vallen. Wanneer prestaties significant afwijken van verwachtingen, moet dit leiden tot onderzoek en mogelijk tot updates van het systeem of de configuratie.
Remediatie van Non-Compliance
Gebruik PowerShell-script eu-ai-act-requirements.ps1 (functie Invoke-Remediation) – Helpt bij het implementeren van vereiste configuraties en maatregelen om compliant te worden met EU AI Act.
Wanneer monitoring non-compliance detecteert, moeten organisaties onmiddellijk actie ondernemen om de situatie te remediëren. De prioriteit van remediatie moet worden bepaald op basis van het risiconiveau: high-risk non-compliance issues moeten onmiddellijk worden aangepakt, terwijl lager risico issues kunnen worden gepland voor de volgende onderhoudscyclus. Organisaties moeten een proces opzetten dat beschrijft hoe non-compliance wordt gedetecteerd, hoe prioriteiten worden bepaald, hoe remediatie wordt gepland en uitgevoerd, en hoe compliance wordt geverifieerd na remediatie.
Voor technische non-compliance, bijvoorbeeld wanneer configuraties niet correct zijn ingesteld, moet remediatie worden uitgevoerd door technische teams onder toezicht van compliance officers. Dit kan betekenen dat scripts moeten worden aangepast, configuraties moeten worden gewijzigd, monitoring moet worden geïmplementeerd, of toegangscontroles moeten worden aangescherpt. Alle technische wijzigingen moeten worden getest voordat zij worden geïmplementeerd in productie, en moeten worden gedocumenteerd. Organisaties moeten bovendien verifiëren dat remediatie daadwerkelijk de non-compliance oplost en geen nieuwe problemen introduceert.
Voor organisatorische non-compliance, bijvoorbeeld wanneer documentatie ontbreekt of procedures niet worden gevolgd, moet remediatie worden uitgevoerd door de relevante teams in samenwerking met compliance officers. Dit kan betekenen dat documentatie moet worden opgesteld of bijgewerkt, dat procedures moeten worden herzien en gecommuniceerd, dat training moet worden verzorgd, of dat verantwoordelijkheden moeten worden herzien. Organisaties moeten ervoor zorgen dat alle betrokken medewerkers begrijpen wat er is veranderd en waarom, en moeten verificeren dat nieuwe procedures daadwerkelijk worden gevolgd.
In sommige gevallen kan non-compliance zo ernstig zijn dat het gebruik van een AI-systeem moet worden gestopt totdat remediatie is voltooid. Organisaties moeten criteria opstellen die bepalen wanneer systemen moeten worden uitgeschakeld, en moeten procedures hebben voor het veilig stilleggen van systemen zonder de dienstverlening teveel te verstoren. Wanneer systemen moeten worden uitgeschakeld, moeten organisaties bovendien communiceren met gebruikers over waarom dit gebeurt en wanneer het systeem weer beschikbaar zal zijn. Na remediatie moeten systemen worden getest en gevalideerd voordat zij weer in gebruik worden genomen.
Alle remediatie activiteiten moeten worden gedocumenteerd, inclusief wat de non-compliance was, welke maatregelen zijn genomen, wanneer remediatie is voltooid, en hoe compliance is geverifieerd. Deze documentatie is belangrijk voor audits en kan worden gebruikt om te leren van incidenten en om toekomstige non-compliance te voorkomen. Organisaties moeten bovendien updates maken aan risicobeoordelingen, conformity assessments, en registraties wanneer significante remediatie is uitgevoerd, omdat dit kan betekenen dat het systeem anders moet worden beoordeeld of geregistreerd.
Compliance & Frameworks
- BIO: 12.02, 12.05, 18.01, 19.01 - EU AI Act vereisten als onderdeel van informatiebeveiligingsmaatregelen en risicobeheer voor AI-systemen
- ISO 27001:2022: A.5.1.1, A.8.1.1, A.12.6.1, A.18.1.3 - Risicomanagement, kwaliteitsmanagement en beveiligingsmaatregelen voor AI-systemen volgens ISO 27001
- NIS2: Artikel - Beveiligings- en risicobeheersmaatregelen voor kritieke diensten die gebruik maken van AI
Automation
Gebruik het onderstaande PowerShell script om deze security control te monitoren en te implementeren. Het script bevat functies voor zowel monitoring (-Monitoring) als remediation (-Remediation).
Risico zonder implementatie
Management Samenvatting
EU AI Act legt acht kernvereisten op aan high-risk AI-systemen: risicomanagement, data governance, transparantie, menselijk toezicht, accuraatheid, robuustheid, cybersecurity, en kwaliteitsmanagement. Nederlandse overheidsorganisaties moeten conformity assessments uitvoeren en systemen registreren. Implementatie: 200 uur. Critical compliance vereiste vanaf 2025.
- Implementatietijd: 200 uur
- FTE required: 1 FTE