Interne audit voor ISO 42001
De interne audit is je eigen kwaliteitscontrole. ISO 42001 vereist dat je periodiek test of je AI-managementsysteem werkt. Voordat de externe auditor van een geaccrediteerde instantie komt, controleer je zelf. Op deze pagina leggen we uit hoe je een effectieve interne audit uitvoert.
Waarom interne audits?
ISO 42001 vereist interne audits. Maar ze zijn meer dan een vinkje.
Problemen vroeg ontdekken. Liever zelf een probleem vinden dan dat de externe auditor het vindt.
Verbeteren. Audits identificeren verbeterkansen. Ze dwingen je om kritisch te kijken.
Bewijs van werking. Je toont aan dat je managementsysteem niet alleen op papier bestaat.
Voorbereiding op certificering. De interne audit is een generale repetitie voor de externe audit.
Wie mag auditen?
De auditor moet onafhankelijk zijn van het te auditen proces. Je mag niet je eigen werk beoordelen.
Opties:
- Iemand van een andere afdeling
- Een interne auditfunctie (als je die hebt)
- Een externe consultant
- Een collega van een andere vestiging
Bij kleine organisaties is dit lastig. Iedereen is overal bij betrokken. Oplossingen:
- Train meerdere mensen zodat ze elkaars werk kunnen auditen
- Huur een externe auditor in voor de interne audit
- Wissel met een bevriende organisatie
Onafhankelijkheid gaat over het proces, niet de organisatie. Iemand van HR kan IT-processen auditen, mits die persoon getraind is.
Het auditprogramma
Je hebt een auditprogramma nodig: een plan voor wanneer je wat audit.
Frequentie
De norm zegt niet precies hoe vaak. Typisch:
- Jaarlijks alle onderdelen van het AIMS
- Voor certificering: minimaal één volledige audit
- Na grote wijzigingen: extra audit van dat onderdeel
Scope
Bepaal per audit wat je beoordeelt:
- Welke hoofdstukken van de norm?
- Welke AI-systemen?
- Welke locaties?
- Welke processen?
Over de cyclus moet je alle onderdelen dekken.
Planning
Plan audits vooruit. Houd rekening met:
- Beschikbaarheid van auditoren
- Beschikbaarheid van auditees
- Voldoende tijd voor opvolging voor de externe audit
De audit uitvoeren
Voorbereiding
Auditplan maken. Wat ga je auditen? Wanneer? Wie interview je? Welke documentatie wil je zien?
Documentatie reviewen. Lees vooraf de relevante documentatie. Ken het beleid, de procedures, de risico’s.
Checklist maken. Een lijst met vragen en punten om te controleren. Gebaseerd op de normeisen.
Opening meeting
Start met een korte meeting:
- Leg uit wat je gaat doen
- Bevestig de scope en planning
- Vraag of er bijzonderheden zijn
Dit stelt mensen op hun gemak en zorgt voor duidelijkheid.
Bewijsverzameling
Nu verzamel je bewijs. Dit doe je door:
Interviews. Praat met mensen die het werk doen. Vraag hoe processen werken, wat ze doen bij problemen, of ze het beleid kennen.
Documentatie-review. Bekijk documenten: zijn ze actueel? Worden ze gevolgd? Zijn de vereiste elementen aanwezig?
Observatie. Kijk hoe dingen in de praktijk gaan. Vraag om een live demonstratie.
Data-analyse. Bekijk metrics, logs, rapporten. Kloppen de cijfers met wat mensen zeggen?
Bevindingen formuleren
Categoriseer wat je vindt:
Conformiteit. Voldoet aan de eis.
Observatie. Geen afwijking, maar verbeterpunt.
Minor non-conformity. Afwijking die het systeem niet wezenlijk ondermijnt.
Major non-conformity. Ernstige afwijking. Een kerneis wordt niet nageleefd.
Formuleer bevindingen helder:
- Wat is de eis?
- Wat is het bewijs?
- Wat is de afwijking?
Closing meeting
Sluit af met een meeting:
- Presenteer de bevindingen
- Geef de auditees de kans om te reageren
- Bespreek de volgende stappen
Rapportage
Schrijf een auditrapport met:
- Scope en datum
- Auditoren en auditees
- Overzicht van bevindingen
- Conclusie en aanbevelingen
Opvolging van bevindingen
Een audit is pas waardevol als je iets doet met de bevindingen.
Correctieve acties
Per non-conformity bepaal je:
- Correctie: Fix het directe probleem
- Oorzaakanalyse: Waarom ging het mis?
- Correctieve actie: Wat doe je om herhaling te voorkomen?
Deadlines
Stel deadlines voor correctieve acties. Typisch:
- Major: binnen 30-60 dagen
- Minor: binnen 90 dagen
Verificatie
Verifieer dat de acties zijn uitgevoerd en effectief zijn. Dit kan de auditor doen bij de volgende audit, of tussentijds.
Registratie
Documenteer alles: bevindingen, acties, status, verificatie. Dit is bewijs voor de externe audit.
Specifieke aandachtspunten voor ISO 42001
ISO 42001 heeft AI-specifieke elementen. Let extra op:
AI-systeemimpactanalyse
- Is er een impactanalyse per AI-systeem?
- Is de analyse serieus of een vinkje?
- Zijn de gevolgen voor mensen echt overwogen?
- Zijn er maatregelen genomen?
Bias en eerlijkheid
- Is er getest op bias?
- Hoe worden de resultaten gemonitord?
- Wat gebeurt er als bias wordt ontdekt?
Uitlegbaarheid
- Kunnen beslissingen worden uitgelegd?
- Weten gebruikers hoe de AI werkt?
- Is er een proces voor vragen of klachten?
Data governance
- Waar komt de trainingsdata vandaan?
- Is de kwaliteit gecontroleerd?
- Is de herkomst gedocumenteerd?
Leveranciersbeheer
- Zijn AI-leveranciers geïdentificeerd?
- Zijn ze beoordeeld op risico’s?
- Zijn er contractuele afspraken?
AI-geletterdheid
- Zijn medewerkers getraind?
- Weten ze genoeg om verantwoord met AI te werken?
- Is er bewijs van training?
Voorbeeldvragen voor interviews
Voor management
- Hoe is de directie betrokken bij AI-governance?
- Hoe worden beslissingen genomen over nieuwe AI-systemen?
- Wat zijn de doelstellingen voor het AIMS?
- Hoe worden risico’s geëscaleerd?
Voor AI-eigenaren
- Kun je de impactanalyse van je systeem uitleggen?
- Welke risico’s heb je geïdentificeerd?
- Hoe monitor je het systeem?
- Wat doe je bij problemen?
Voor gebruikers
- Ken je het AI-beleid?
- Weet je hoe het AI-systeem werkt?
- Wat doe je als de AI een vreemde uitkomst geeft?
- Heb je training gehad?
Voor ontwikkelaars
- Hoe documenteer je modellen?
- Hoe test je op bias?
- Wat is het proces voor nieuwe releases?
- Hoe wordt data gemanaged?
Veel voorkomende bevindingen
Impactanalyse incompleet. De analyse is gedaan, maar oppervlakkig. Geen concrete voorbeelden, geen echte mitigatie.
Documentatie niet actueel. Procedures beschrijven een oud proces. Risicoanalyses zijn van vorig jaar.
Medewerkers kennen het beleid niet. Er is een mooi beleid, maar niemand weet ervan.
Geen eigenaarschap. Onduidelijk wie verantwoordelijk is voor welk AI-systeem.
Leveranciers niet beoordeeld. AI wordt ingekocht, maar er is geen beoordeling van de leverancier.
Training niet gedocumenteerd. “We hebben iedereen getraind” maar er is geen bewijs.
De interne audit als leermoment
De beste interne audits zijn geen politie-acties maar leermomenten.
Stel open vragen. Niet alleen “voldoe je?” maar “hoe werkt het?” en “wat zou beter kunnen?”
Deel kennis. Als de auditor iets weet dat de auditee helpt, deel het.
Wees constructief. Het doel is verbeteren, niet afstraffen.
Vier successen. Benoem ook wat goed gaat.
Een interne audit die alleen tekortkomingen vindt, is verdacht. Of het systeem is echt slecht, of de auditor kijkt niet naar wat goed gaat. Balans is belangrijk.
Relatie met de externe audit
De externe auditor vraagt naar je interne audits:
- Wanneer zijn ze uitgevoerd?
- Wat zijn de bevindingen?
- Zijn correctieve acties uitgevoerd?
- Is de effectiviteit geverifieerd?
Een goede interne audit maakt de externe audit soepeler. Je hebt al veel gevonden en opgelost.
Lees meer over het externe auditproces.
Meer lezen
- Het auditproces - De certificeringsaudit
- Veelgemaakte fouten - Wat je kunt tegenkomen
- Documentatie - Wat je nodig hebt
- Eisen van de norm - De auditcriteria