Warum KI halluziniert – und warum der Mensch verantwortlich bleibt

Einführung: KI-Halluzinationen als technische Realität

KI-Systeme, insbesondere Large Language Models (LLMs) und generative KI, können "halluzinieren" – das heißt, sie produzieren Informationen, die nicht korrekt sind, nicht in den Trainingsdaten enthalten waren oder sogar vollständig erfunden sind. Diese Halluzinationen sind keine Fehler, sondern eine technische Eigenschaft von KI-Systemen. Für B2B-SaaS-Anbieter und ihre Kunden bedeutet das: Verantwortung und Haftung bleiben beim Menschen.

Dieser Artikel erklärt, was KI-Halluzinationen sind, warum sie technisch unvermeidbar sind, wie sie rechtlich einzuordnen sind und warum Anbieter keine Garantien geben können. Er bietet auch praktische Handlungsempfehlungen für den Umgang mit KI-Halluzinationen.

Dieser Artikel ist ein Supporting-Artikel zum PILLAR-Artikel "KI im B2B-SaaS: DSGVO, AI Act und Verantwortung" und ergänzt unseren Artikel zu Automatisierung & Bots im B2B im Hinblick auf Haftung und Verantwortung.

Was Halluzinationen sind

KI-Halluzinationen sind falsche, irreführende oder erfundene Informationen, die von KI-Systemen produziert werden. Sie unterscheiden sich von menschlichen Fehlern dadurch, dass sie nicht auf Unwissenheit oder Nachlässigkeit beruhen, sondern auf der Art und Weise, wie KI-Systeme funktionieren.

Typen von Halluzinationen

KI-Halluzinationen können verschiedene Formen annehmen:

Faktische Fehler

Faktische Fehler sind falsche Informationen über reale Fakten:

• Falsche Daten: Falsche Zahlen, Daten, Namen oder Orte
• Falsche Zusammenhänge: Falsche Verbindungen zwischen Fakten
• Veraltete Informationen: Informationen, die zum Zeitpunkt der Abfrage nicht mehr aktuell sind

Beispiel: Ein KI-System behauptet, dass ein Unternehmen 2024 gegründet wurde, obwohl es tatsächlich 2020 gegründet wurde.

Erfundene Informationen

Erfundene Informationen sind Informationen, die vollständig erfunden sind und nicht in den Trainingsdaten enthalten waren:

• Erfundene Quellen: Quellen, die nicht existieren
• Erfundene Personen: Personen, die nicht existieren
• Erfundene Ereignisse: Ereignisse, die nie stattgefunden haben

Beispiel: Ein KI-System zitiert eine Studie, die nicht existiert, oder nennt einen Experten, der nicht existiert.

Konfabulierung

Konfabulierung ist das Zusammenfügen von Informationen aus verschiedenen Quellen zu einer scheinbar kohärenten, aber falschen Antwort:

• Kombination von Fakten: Korrekte Fakten werden falsch kombiniert
• Falsche Schlussfolgerungen: Logische Schlussfolgerungen, die nicht korrekt sind
• Scheinbare Kohärenz: Die Antwort wirkt kohärent, ist aber falsch

Beispiel: Ein KI-System kombiniert Informationen über zwei verschiedene Unternehmen zu einem scheinbar kohärenten Profil, das aber nicht korrekt ist.

Warum Halluzinationen schwer zu erkennen sind

Halluzinationen sind besonders problematisch, weil sie schwer zu erkennen sind:

• Scheinbare Kohärenz: Halluzinationen sind oft sprachlich kohärent und wirken überzeugend
• Hohe Konfidenz: KI-Systeme können mit hoher Konfidenz halluzinieren, ohne Unsicherheit zu signalisieren
• Fehlende Quellen: KI-Systeme geben oft keine Quellen an oder erfinden Quellen
• Kontextabhängigkeit: Halluzinationen können kontextabhängig sein und nur in bestimmten Situationen auftreten

Warum sie technisch unvermeidbar sind

KI-Halluzinationen sind technisch unvermeidbar, weil sie auf der fundamentalen Art und Weise beruhen, wie KI-Systeme, insbesondere LLMs, funktionieren.

Statistische Modellierung

KI-Systeme, insbesondere LLMs, basieren auf statistischer Modellierung:

• Wahrscheinlichkeitsverteilungen: KI-Systeme lernen Wahrscheinlichkeitsverteilungen über Wörter, Phrasen und Konzepte
• Vorhersage: KI-Systeme sagen das wahrscheinlichste nächste Wort oder die wahrscheinlichste Antwort vorher
• Keine Faktenprüfung: KI-Systeme prüfen nicht, ob die vorhergesagten Informationen faktisch korrekt sind

Konsequenz: KI-Systeme produzieren Informationen, die statistisch wahrscheinlich sind, aber nicht notwendigerweise faktisch korrekt. Dies ist keine Fehlfunktion, sondern eine Eigenschaft der Technologie.

Training auf unvollständigen Daten

KI-Systeme werden auf unvollständigen Daten trainiert:

• Trainingsdaten: Trainingsdaten sind immer unvollständig und können Fehler enthalten
• Veraltete Informationen: Trainingsdaten können veraltete Informationen enthalten
• Fehlende Informationen: Trainingsdaten können wichtige Informationen nicht enthalten
• Bias: Trainingsdaten können Bias enthalten, der zu falschen Schlussfolgerungen führt

Konsequenz: KI-Systeme können nur so gut sein wie ihre Trainingsdaten. Wenn Trainingsdaten unvollständig oder fehlerhaft sind, werden auch die Ausgaben unvollständig oder fehlerhaft sein.

Fehlende Ground Truth

KI-Systeme haben keine Ground Truth – keine absolute Wahrheit, gegen die sie ihre Ausgaben prüfen können:

• Keine Faktenprüfung: KI-Systeme prüfen nicht, ob ihre Ausgaben faktisch korrekt sind
• Keine Realitätsprüfung: KI-Systeme haben keinen Zugriff auf die reale Welt, um ihre Ausgaben zu verifizieren
• Keine Konsistenzprüfung: KI-Systeme prüfen nicht, ob ihre Ausgaben konsistent sind

Konsequenz: KI-Systeme können nicht zwischen korrekten und falschen Informationen unterscheiden, solange beide statistisch wahrscheinlich sind.

Generative Natur

Generative KI-Systeme sind darauf ausgelegt, neue Inhalte zu generieren, nicht nur vorhandene Inhalte zu reproduzieren:

• Kreativität: Generative KI-Systeme sollen kreativ sein und neue Inhalte produzieren
• Interpolation: KI-Systeme interpolieren zwischen Trainingsdaten, was zu neuen, aber möglicherweise falschen Informationen führen kann
• Extrapolation: KI-Systeme extrapolieren über Trainingsdaten hinaus, was zu falschen Informationen führen kann

Konsequenz: Die generative Natur von KI-Systemen macht Halluzinationen unvermeidbar, da sie Teil des kreativen Prozesses sind.

Rechtliche Einordnung

KI-Halluzinationen haben rechtliche Konsequenzen, insbesondere im Hinblick auf Haftung und Verantwortung:

Haftung des Anbieters

Der Anbieter haftet typischerweise nicht für KI-Halluzinationen, wenn:

• Technische Unvermeidbarkeit: Halluzinationen sind technisch unvermeidbar und keine Fehlfunktion
• Klare Dokumentation: Der Anbieter hat klar dokumentiert, dass Halluzinationen auftreten können
• Keine Garantie: Der Anbieter hat keine Garantie für die Korrektheit der Ausgaben gegeben
• Eigenverantwortung: Der Kunde ist für die Überprüfung und Verwendung der Ausgaben verantwortlich

Wichtig: Diese Haftungsausschlüsse müssen in den AGB klar geregelt sein. Sie sind rechtlich zulässig, wenn Halluzinationen technisch unvermeidbar sind und der Anbieter keine Garantie für die Korrektheit gibt.

Verantwortung des Kunden

Der Kunde ist verantwortlich für:

• Überprüfung: Überprüfung der KI-Ausgaben auf Korrektheit und Relevanz
• Verwendung: Verantwortliche Verwendung der KI-Ausgaben
• Kontrolle: Menschliche Kontrolle über die Verwendung von KI-Ausgaben
• Haftung: Haftung für Schäden, die durch die Verwendung von KI-Ausgaben entstehen

Wichtig: Die Verantwortung des Kunden endet nicht bei der technischen Nutzung. Der Kunde trägt die rechtliche Verantwortung für die Verwendung von KI-Ausgaben, auch wenn diese halluziniert sind.

DSGVO und KI-Halluzinationen

KI-Halluzinationen können auch DSGVO-Relevanz haben:

• Falsche personenbezogene Daten: Halluzinationen können falsche personenbezogene Daten produzieren
• Verstoß gegen Datenrichtigkeit: Falsche personenbezogene Daten verstoßen gegen Art. 5 Abs. 1 lit. d DSGVO (Datenrichtigkeit)
• Betroffenenrechte: Betroffene Personen haben das Recht auf Berichtigung falscher Daten (Art. 16 DSGVO)
• Datenpannen: Falsche personenbezogene Daten können Datenpannen darstellen, wenn sie zu erheblichen Schäden führen

Konsequenz: Unternehmen müssen sicherstellen, dass KI-Ausgaben, die personenbezogene Daten enthalten, überprüft und gegebenenfalls berichtigt werden.

Warum Anbieter keine Garantie geben dürfen

Anbieter von KI-Systemen können keine Garantie für die Korrektheit der Ausgaben geben, weil:

Technische Unvermeidbarkeit

Halluzinationen sind technisch unvermeidbar:

• Fundamentale Eigenschaft: Halluzinationen sind eine fundamentale Eigenschaft von KI-Systemen, nicht ein Fehler
• Keine Lösung: Es gibt keine technische Lösung, die Halluzinationen vollständig verhindern kann
• Risikominimierung: Halluzinationen können minimiert, aber nicht eliminiert werden

Konsequenz: Eine Garantie für die Korrektheit der Ausgaben wäre technisch nicht erfüllbar und rechtlich problematisch.

Rechtliche Risiken

Garantien bergen rechtliche Risiken:

• Haftung: Garantien können zu Haftungsansprüchen führen, wenn sie nicht erfüllt werden
• Bußgelder: Falsche Garantien können zu Bußgeldern führen (z.B. nach UWG)
• Schadensersatz: Garantien können zu Schadensersatzansprüchen führen

Konsequenz: Anbieter sollten keine Garantien geben, die sie technisch nicht erfüllen können.

Transparenz und Vertrauen

Transparenz ist wichtiger als falsche Garantien:

• Ehrlichkeit: Ehrliche Kommunikation über Risiken baut mehr Vertrauen auf als falsche Garantien
• Risikominimierung: Transparente Kommunikation über Risiken ermöglicht es Kunden, Risiken zu minimieren
• Compliance: Transparente Kommunikation ist auch rechtlich erforderlich (z.B. Informationspflichten nach DSGVO)

Konsequenz: Anbieter sollten transparent über Risiken kommunizieren, anstatt falsche Garantien zu geben.

Handlungsempfehlungen

Die folgenden Handlungsempfehlungen können helfen, mit KI-Halluzinationen umzugehen:

Für Anbieter

Anbieter sollten:

• Transparent kommunizieren: Klar kommunizieren, dass Halluzinationen auftreten können
• Dokumentieren: Halluzinationen in der Dokumentation erwähnen und erklären
• Keine Garantien geben: Keine Garantien für die Korrektheit der Ausgaben geben
• Risikominimierung: Technische Maßnahmen zur Risikominimierung implementieren (z.B. Confidence-Scores, Quellenangaben)
• AGB anpassen: AGB anpassen, um Haftungsausschlüsse für Halluzinationen zu regeln
• Schulungen anbieten: Schulungen für Kunden zum Umgang mit Halluzinationen anbieten

Für Kunden

Kunden sollten:

• Überprüfen: KI-Ausgaben immer überprüfen, bevor sie verwendet werden
• Quellen prüfen: Quellen prüfen, wenn angegeben, oder selbst recherchieren
• Menschliche Kontrolle: Menschliche Kontrolle über die Verwendung von KI-Ausgaben sicherstellen
• Risikobewertung: Risikobewertung durchführen, um kritische Anwendungsfälle zu identifizieren
• Prozesse etablieren: Prozesse etablieren, um Halluzinationen zu erkennen und zu korrigieren
• Schulungen: Mitarbeiter schulen, um Halluzinationen zu erkennen

Technische Maßnahmen

Technische Maßnahmen zur Risikominimierung:

• Confidence-Scores: Confidence-Scores anzeigen, um Unsicherheit zu signalisieren
• Quellenangaben: Quellenangaben für Informationen anzeigen, wenn verfügbar
• Fact-Checking: Fact-Checking-Tools integrieren, um offensichtliche Fehler zu erkennen
• Human-in-the-Loop: Human-in-the-Loop-Prozesse implementieren, um kritische Entscheidungen zu überprüfen
• Monitoring: Monitoring implementieren, um Halluzinationen zu erkennen und zu melden
• Feedback-Loops: Feedback-Loops implementieren, um Halluzinationen zu lernen und zu minimieren

Beispiel: Ein System wie IntelliLogical sollte Confidence-Scores anzeigen, Quellenangaben bereitstellen und Human-in-the-Loop-Prozesse unterstützen, um Halluzinationen zu minimieren.

Fazit

KI-Halluzinationen sind eine technische Realität, die nicht ignoriert werden kann. Die wichtigsten Erkenntnisse:

• Halluzinationen sind technisch unvermeidbar: Sie beruhen auf der fundamentalen Art und Weise, wie KI-Systeme funktionieren
• Rechtliche Einordnung ist wichtig: Halluzinationen haben rechtliche Konsequenzen, insbesondere im Hinblick auf Haftung und Verantwortung
• Anbieter können keine Garantien geben: Technische Unvermeidbarkeit und rechtliche Risiken machen Garantien problematisch
• Menschliche Verantwortung bleibt: Die Verantwortung für die Verwendung von KI-Ausgaben liegt beim Menschen
• Risikominimierung ist möglich: Technische und organisatorische Maßnahmen können Halluzinationen minimieren, aber nicht eliminieren
• Transparenz ist wichtig: Transparente Kommunikation über Risiken ist wichtiger als falsche Garantien

Für B2B-SaaS-Anbieter bedeutet das: KI-Systeme müssen mit Transparenz, Risikominimierung und klaren Haftungsausschlüssen konzipiert werden. Die Verantwortung für die Verwendung von KI-Ausgaben liegt beim Kunden, aber Anbieter müssen technische und organisatorische Maßnahmen bereitstellen, um Risiken zu minimieren.

Bei BeLogical setzen wir auf eine transparente und verantwortungsvolle KI-Architektur. Unsere Produkte wie IntelliLogical wurden mit Fokus auf Transparenz, Risikominimierung und menschliche Kontrolle entwickelt. Wir kommunizieren klar über Risiken und geben keine falschen Garantien. Die Verantwortung für die Verwendung von KI-Ausgaben liegt beim Kunden, aber wir unterstützen mit technischen Lösungen und Best-Practice-Empfehlungen.

Hinweis: Dieser Artikel dient der allgemeinen Information und stellt keine Rechtsberatung dar. Bei spezifischen rechtlichen Fragen sollten Sie einen qualifizierten Datenschutzberater oder Rechtsanwalt konsultieren.