Een taalmodel kan een foutloze e-mail schrijven en vervolgens in hetzelfde gesprek een niet-bestaande juridische verwijzing verzinnen. De betrouwbaarheid van kunstmatige intelligentie meten betekent dat we verder moeten kijken dan alleen de vraag of antwoorden waar zijn. We moeten ook onderzoeken welke aspecten van het ontwerp van deze systemen ervoor zorgen dat ze soms nuttige en soms misleidende resultaten opleveren.
AI-betrouwbaarheid in tests en in de praktijk: een onderschat verschil
De meeste artikelen over de beperkingen van AI richten zich op zichtbare fouten: een verkeerde datum, een verzonnen cijfer of een niet-bestaande bron. Het analysekader van het NIST (AI 600-1, een profiel voor generatieve AI) wijst op een structureler probleem: prestaties die in een laboratorium worden gemeten, voorspellen niet hoe een systeem zich na de implementatie zal gedragen.
Een model kan hoog scoren op een testdataset en vervolgens slechtere resultaten opleveren bij anders geformuleerde vragen of in een context die niet aan bod kwam in de trainingsgegevens. Daarom adviseert het NIST om systemen tijdens het gebruik voortdurend te monitoren en niet alleen vooraf te valideren.
Dit onderscheid heeft concrete gevolgen. Een bedrijf dat een AI-tool op een gecontroleerde steekproef valideert en deze vervolgens op grote schaal inzet zonder een monitoringsysteem, loopt het risico dat de resultaten ongemerkt verslechteren. Om beter te begrijpen waarom AI niet betrouwbaar is, moeten we verder kijken dan alleen de nauwkeurigheid op een bepaald moment.
Hallucinaties, vooroordelen en privacy: overzicht van de risico’s die het NIST heeft vastgesteld
Het NIST-profiel AI 600-1 beperkt zich niet tot feitelijke fouten. Het onderscheidt verschillende risicocategorieën die de betrouwbaarheid van een generatief AI-systeem aantasten, ook wanneer het antwoord op het eerste gezicht correct lijkt.
| Soort risico | Beschrijving | Gevolg voor de gebruiker |
|---|---|---|
| Verzonnen informatie (confabulatie) | Het model genereert niet-bestaande feiten, citaten of verwijzingen | Beslissingen op basis van onjuiste gegevens |
| Vooroordelen uit de trainingsgegevens | De resultaten weerspiegelen ongelijkheden in de dataset | Discriminatie bij werving, kredietverlening en gezondheidszorg |
| Schending van de privacy | Het model kan persoonsgegevens reproduceren die het tijdens de training heeft opgenomen | Schending van de privacy zonder dat de gebruiker zich daarvan bewust is |
| Herkomst niet te achterhalen | Er is geen betrouwbare manier om te controleren waar gegenereerde informatie vandaan komt | Resultaten kunnen niet worden gecontroleerd of betwist |
Een aannemelijk antwoord kan ook problematisch zijn zonder zichtbare feitelijke fouten, bijvoorbeeld wanneer het persoonsgegevens gebruikt of wanneer de bron niet te achterhalen is. In publieksvoorlichting over de beperkingen van AI krijgt dit aspect nog weinig aandacht.
Europese AI-verordening: betrouwbaarheid als verplichting, niet als advies
De Europese AI-verordening (AI Act) is op 1 augustus 2024 in werking getreden. De toepassing ervan verloopt gefaseerd: de verplichtingen rond AI-geletterdheid en bepaalde verboden gelden sinds 2 februari 2025. De regels voor AI-modellen voor algemene doeleinden treden vervolgens in augustus 2025 in werking.
Deze aanpak op basis van risiconiveaus verandert de situatie ingrijpend. Een AI-tool die wordt gebruikt om sollicitaties te filteren of een kredietscore toe te kennen, valt niet onder hetzelfde regime als een chatbot voor klantenservice. De verplichtingen op het gebied van transparantie, documentatie en menselijk toezicht nemen toe naarmate het ingedeelde risiconiveau hoger is.
Wat het regelgevingskader concreet voorschrijft
- Systemen die als hoog risico zijn ingedeeld (gezondheidszorg, werving, rechtspraak) moeten vóór het op de markt brengen een conformiteitsbeoordeling ondergaan. Daarbij moeten onder meer de trainingsgegevens worden gedocumenteerd en maatregelen tegen vooroordelen worden vastgelegd
- Aanbieders van AI-modellen voor algemene doeleinden moeten transparant zijn over de gebruikte gegevens en de bekende beperkingen van het systeem
- Professionele gebruikers van hoogrisicosystemen moeten menselijk toezicht organiseren en ernstige storingen melden
De regelgeving beschouwt betrouwbaarheid dus als een kwestie van governance en verantwoordelijkheid, en niet uitsluitend als een technische vraag over de prestaties van een model.
AI-adoptie in bedrijven: de kloof tussen beschikbare tools en verantwoord gebruik
In Frankrijk gebruikte in 2024 slechts 10% van de bedrijven met 10 of meer werknemers minstens één AI-technologie, tegenover 6% het jaar ervoor. Deze snelle groei verhult een probleem: een tool beschikbaar hebben betekent nog niet dat je weet hoe je die betrouwbaar gebruikt.
Een individuele proef door een nieuwsgierige werknemer vormt nog geen proces. Zonder protocol om resultaten te controleren, zonder training over de beperkingen van het model en zonder duidelijke regels over welke gegevens wel of niet met een externe tool mogen worden gedeeld, blijft de invoering kwetsbaar. Het risico is dan niet alleen een onjuist antwoord, maar ook een verkeerd ingeschat vertrouwen in ongecontroleerde resultaten.
Resultaten controleren: wat er vaak ontbreekt
Het NIST adviseert om bronnen en citaten die door een generatief model worden geproduceerd systematisch te controleren. In de praktijk maakt deze controle zelden deel uit van werkprocessen. Een medewerker die een AI-assistent gebruikt om een samenvatting te schrijven of een beslissing voor te bereiden, denkt er niet altijd aan of heeft niet altijd de tijd om elke bewering te controleren.
Het probleem wordt groter in sectoren waar fouten ernstige gevolgen hebben, zoals de gezondheidszorg, het recht en de financiële sector. In deze sectoren is menselijk toezicht geen luxe, maar een voorwaarde voor verantwoord gebruik.
De betrouwbaarheid van kunstmatige intelligentie kan niet worden teruggebracht tot een foutpercentage op een benchmark. Ze hangt af van de kwaliteit van de trainingsgegevens, de context waarin het systeem wordt ingezet, de mate van menselijk toezicht en het regelgevingskader voor het gebruik. Door verplichtingen op te leggen die in verhouding staan tot het risico, legt de Europese verordening vast wat ervaringen uit de praktijk bevestigen: een model dat onder gecontroleerde omstandigheden goed presteert, kan zonder passende governance leiden tot onjuiste beslissingen.
