Ein Sprachmodell kann eine makellose E-Mail verfassen und im selben Gespräch eine nicht existierende Rechtsquelle erfinden. Um die Zuverlässigkeit künstlicher Intelligenz zu messen, reicht es nicht, nur die Wahrhaftigkeit der Antworten zu betrachten. Es gilt auch zu untersuchen, welche Aspekte der Systemarchitektur dazu führen, dass die Ergebnisse mal nützlich, mal irreführend sind.
KI-Zuverlässigkeit im Test und im realen Einsatz: eine unterschätzte Lücke
Die meisten Artikel über die Grenzen von KI konzentrieren sich auf sichtbare Fehler: ein falsches Datum, eine erfundene Zahl, eine nicht existierende Quelle. Der Analyseleitfaden des NIST (AI 600-1, Profil für generative KI) weist auf ein grundlegenderes Problem hin: Die im Labor gemessene Leistung lässt nicht auf das Verhalten nach der Bereitstellung schließen.
Ein Modell kann bei einem Testdatensatz einen hohen Wert erzielen und anschließend schlechtere Ergebnisse liefern, wenn Anfragen anders formuliert sind oder in einem Kontext gestellt werden, der in den Trainingsdaten nicht abgedeckt war. Deshalb empfiehlt das NIST, Systeme im laufenden Betrieb kontinuierlich zu überwachen und sich nicht auf eine anfängliche Validierung zu beschränken.
Diese Unterscheidung hat konkrete Folgen. Ein Unternehmen, das ein KI-Tool anhand einer kontrollierten Stichprobe validiert und es anschließend ohne Überwachungsmechanismus in großem Umfang einsetzt, riskiert eine schleichende Verschlechterung der Ergebnisse. Um die Gründe für die mangelnde Zuverlässigkeit von KI besser zu verstehen, muss man über die bloße punktuelle Genauigkeit hinausblicken.
Halluzinationen, Verzerrungen und Datenschutz: Überblick über die vom NIST identifizierten Risiken
Das NIST-Profil AI 600-1 beschränkt sich nicht auf sachliche Fehler. Es unterscheidet mehrere Risikokategorien, die die Zuverlässigkeit eines generativen KI-Systems beeinträchtigen – auch dann, wenn die Antwort auf den ersten Blick korrekt erscheint.
| Risikotyp | Beschreibung | Folgen für Nutzer |
|---|---|---|
| Erfundene Informationen (Konfabulation) | Das Modell generiert nicht existierende Fakten, Zitate oder Quellenangaben | Entscheidungen auf Grundlage falscher Daten |
| Aus den Trainingsdaten übernommene Verzerrungen | Die Ergebnisse reproduzieren Ungleichgewichte im Datenbestand | Diskriminierung bei Einstellung, Kreditvergabe und Gesundheitsversorgung |
| Verletzung des Datenschutzes | Das Modell kann während des Trainings aufgenommene personenbezogene Daten wiedergeben | Verletzung der Privatsphäre, ohne dass der Nutzer davon weiß |
| Fehlende Rückverfolgbarkeit der Herkunft | Es gibt keine zuverlässige Möglichkeit, die Herkunft generierter Informationen zu überprüfen | Ergebnisse lassen sich weder prüfen noch anfechten |
Eine plausible Antwort kann auch ohne sichtbaren Sachfehler problematisch sein, wenn sie personenbezogene Daten nutzt oder sich ihre Quelle nicht zurückverfolgen lässt. Dieser Aspekt wird in allgemein verständlichen Ratgebern zu den Grenzen von KI bislang kaum behandelt.
EU-KI-Verordnung: Zuverlässigkeit als Pflicht statt als Empfehlung
Die europäische KI-Verordnung (AI Act) ist am 1. August 2024 in Kraft getreten. Ihre Anwendung erfolgt schrittweise: Die Pflichten zur Förderung der KI-Kompetenz und bestimmte Verbote gelten seit dem 2. Februar 2025; die Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck treten dann im August 2025 in Kraft.
Dieser risikobasierte Ansatz verändert die Ausgangslage. Für ein KI-Tool, das Bewerbungen filtert oder Kreditwürdigkeit bewertet, gelten andere Vorschriften als für einen Kundenservice-Chatbot. Die Anforderungen an Transparenz, Dokumentation und menschliche Kontrolle steigen mit der jeweiligen Risikoklasse.
Was der Rechtsrahmen konkret vorschreibt
- Systeme, die als Hochrisiko eingestuft werden (Gesundheitswesen, Personalbeschaffung, Justiz), müssen vor ihrer Markteinführung einer Konformitätsbewertung unterzogen werden. Dazu gehören die Dokumentation der Trainingsdaten und Maßnahmen gegen Verzerrungen
- Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen Transparenzpflichten hinsichtlich der verwendeten Daten und der bekannten Grenzen des Systems erfüllen
- Professionelle Nutzer von Hochrisikosystemen müssen eine menschliche Aufsicht einrichten und schwerwiegende Fehlfunktionen melden
Die Verordnung behandelt Zuverlässigkeit somit als Frage der Governance und Verantwortung – und nicht nur als technische Frage der Modellleistung.
KI-Einsatz in Unternehmen: die Lücke zwischen verfügbarem Tool und kompetenter Nutzung
In Frankreich nutzten 2024 nur 10 % der Unternehmen mit mindestens 10 Beschäftigten mindestens eine KI-Technologie, gegenüber 6 % im Vorjahr. Dieser rasche Anstieg verdeckt ein Problem: Ein Tool zur Verfügung zu haben bedeutet nicht, es zuverlässig einsetzen zu können.
Ein einzelner Versuch durch einen neugierigen Mitarbeiter schafft noch keinen Prozess. Ohne ein Verfahren zur Überprüfung der Ergebnisse, ohne Schulungen zu den Grenzen des Modells und ohne klare Regeln dazu, welche Daten an ein externes Tool übermittelt werden dürfen, bleibt der Einsatz anfällig. Das Risiko besteht dann nicht mehr nur in einer falschen Antwort, sondern auch in einem fehlgeleiteten Vertrauen in ungeprüfte Ergebnisse.
Ergebnisse überprüfen: Was häufig fehlt
Das NIST empfiehlt, die von einem generativen Modell ausgegebenen Quellen und Zitate systematisch zu überprüfen. In der Praxis ist diese Prüfung nur selten in die Arbeitsabläufe integriert. Wer einen KI-Assistenten nutzt, um eine Zusammenfassung zu verfassen oder eine Entscheidung vorzubereiten, hat nicht immer die nötige Routine oder Zeit, jede Aussage zu kontrollieren.
In Bereichen, in denen Fehler schwerwiegende Folgen haben, verschärft sich das Problem: im Gesundheitswesen, im Rechtswesen und im Finanzsektor. In diesen Bereichen ist menschliche Aufsicht kein Luxus, sondern eine Voraussetzung für den Einsatz.
Die Zuverlässigkeit künstlicher Intelligenz lässt sich nicht auf eine Fehlerquote in einem Benchmark reduzieren. Sie hängt von der Qualität der Trainingsdaten, dem Einsatzkontext, dem Umfang der menschlichen Aufsicht und dem regulatorischen Rahmen ab. Indem die europäische Verordnung Pflichten entsprechend dem jeweiligen Risiko festlegt, formalisiert sie, was die Erfahrungen aus der Praxis bestätigen: Ein unter kontrollierten Bedingungen leistungsfähiges Modell kann ohne angemessene Governance zur Quelle falscher Entscheidungen werden.
