Human-in-the-loop – Warum der Mensch unersetzbar bleibt

Genau hier liegt der Knackpunkt, denn die Antwort lautet nach wie vor: der Mensch! An dieser Stelle kommt das Prinzip von Human-in-the-loop ins Spiel. Das Prinzip beschreibt keine technische Kuriosität, sondern eine grundlegende Designentscheidung für jeden verantwortungsvollen KI-Einsatz. Dieser Beitrag erklärt, was das Konzept bedeutet, wann und wie menschliche Kontrolle wirksam gestaltet wird – und was der AI Act dazu vorschreibt.

KI-Systeme sind leistungsfähig; basieren aber lediglich auf Wahrscheinlichkeiten und sind nicht unfehlbar. Die Fehlerquellen sind vielfältig und ernst zu nehmen.

Halluzinationen sind eines der bekanntesten Probleme großer Sprachmodelle. Ein Modell kann sachlich falsche Informationen mit hoher Überzeugungskraft präsentieren und dabei so klingen, als wäre es vollständig korrekt. Ohne menschliche Prüfung kann aus einem Fehler schnell eine fehlerhafte Entscheidungsgrundlage werden. 

Trainingsdaten-Bias ist ein strukturelles Risiko: KI-Systeme lernen aus historischen Daten. Wenn diese Daten gesellschaftliche Ungleichheiten oder verzerrte Muster enthalten, reproduziert das Modell diese Verzerrungen. 

Fehlender Kontext ist ein weiteres Problem. Ein Algorithmus kennt Zahlen und Muster, aber nicht die individuelle Situation, die emotionale Lage eines Menschen oder den organisatorischen Hintergrund einer Entscheidung. Was statistisch plausibel ist, kann im Einzelfall schlicht falsch sein. 

Mangelnde Erklärbarkeit aufgrund der Architektur von KI-Systemen als „Black Box"*. Das Ergebnis ist sichtbar, der Weg dorthin nicht. Ohne menschliche Kontrolle bleibt die Frage „Warum hat das System so entschieden?" oft unbeantwortet.

Erhebliche Auswirkungen auf betroffene Personen können entstehen, wenn KI-Systeme personenbezogene Daten verarbeiten und darauf basierend Entscheidungen vorbereiten (Profiling). Eine menschliche Kontrolle hilft dabei, fehlerhafte oder unangemessene Ergebnisse frühzeitig zu erkennen und Risiken für die Rechte und Freiheiten Betroffener zu reduzieren.

KI kann als mächtiges Werkzeug dienen, sie beherrscht aber kein autonomes Urteilsvermögen.

*"Black Box" bedeutet, dass die internen Abläufe und Entscheidungsfindungen eines KI-Systems für den Benutzer undurchschaubar sind, sodass nur die Eingaben und Ausgaben beobachtet werden können, ohne den genauen Prozess dazwischen zu verstehen.

Nicht jede KI-gestützte Aufgabe braucht dieselbe Aufsichtsintensität. Die entscheidende Frage lautet: Was passiert, wenn das System falsch liegt? Je gravierender die Konsequenzen, desto mehr Aufsicht ist geboten. 

Eine grobe Orientierung:

Hohes Risiko – menschliche Kontrolle zwingend erforderlich:

• Medizinische Diagnosen und Behandlungsempfehlungen
• Kreditvergabe und finanzielle Bewertungen
• Personalentscheidungen (Einstellungen, Kündigungen)
• Rechtliche Beurteilungen
• Sicherheitsrelevante Infrastruktur

Mittleres Risiko – strukturierte Überprüfung empfohlen:

• Kundenkommunikation und automatisierte Antworten
• Priorisierung von Support-Anfragen
• Inhaltsmoderation auf Plattformen
• Predictive Analytics für operative Entscheidungen

Geringes Risiko – Monitoring ausreichend:

• Textvorschläge und Schreibassistenz
• Dateikategorisierung und -sortierung
• Standardisierte Berichte ohne rechtliche Wirkung

Ein Mensch, der lediglich auf einen „Bestätigen"-Button klickt, übt noch keine wirksame Kontrolle aus. Gute menschliche Aufsicht braucht konkrete Voraussetzungen.

Die verantwortliche Person muss wissen, welche Daten verwendet wurden, welche Unsicherheiten bestehen und wie die KI zu ihrer Empfehlung gelangt ist. Die Entscheidungsgrundlage muss verständlich und nachvollziehbar sein.

Außerdem muss die Person, die KI-Ergebnisse kontrolliert, den jeweiligen Fachbereich kennen und die Grenzen des Systems verstehen. Eine medizinische Empfehlung sollte beispielsweise nicht ausschließlich von technisch geschultem Personal bewertet werden.

Genauso entscheidend ist die Frage nach der Zeit. Wer fünfzig KI-Empfehlungen pro Stunde „genehmigen" soll, kann gar nicht ernsthaft prüfen. Kontrolle unter permanentem Zeitdruck wird schnell zur Formalität. Zeitbudgets müssen zur Aufgabe passen.

Schließlich muss auch eine Korrektur wirklich möglich sein. Wenn jemand ein KI-Ergebnis anzweifelt und das systemisch ignoriert wird, dann ist die Kontrolle rein formal. Wer prüft, muss auch abweichen dürfen, ohne dafür Rechtfertigungsdruck zu spüren.

Eine der größten Herausforderungen beim KI-Einsatz ist der sogenannte Automation Bias. Gemeint ist damit, die menschliche Tendenz, automatisierten Systemen unbewusst mehr Vertrauen zu schenken, als sie verdienen.

Automation Bias zeigt sich, wenn Mitarbeitende eine KI-Empfehlung ungeprüft übernehmen, widersprüchliche Fakten ignorieren oder die Verantwortung gedanklich an das System abgeben. Das Problem wird durch eine scheinbare Objektivität verstärkt. Eine Zahl, ein Score oder eine automatisch erzeugte Rangliste wirkt oft neutraler als eine menschliche Einschätzung. Tatsächlich kann auch ein Score fehlerhaft, verzerrt oder für den konkreten Fall ungeeignet sein.

Wenn Unternehmen dieses Risiko ernst nehmen, können sie aktiv gegensteuern. Das beginnt damit, Mitarbeitende in Schulungen explizit darauf hinzuweisen, dass KI-Systeme Fehler machen und dass diese Fehler oft nicht offensichtlich sind. Eine skeptische Grundhaltung ist kein Zeichen von Misstrauen gegenüber der Technologie, sondern professionelle Sorgfalt.

Sinnvoll ist außerdem, Begründungspflichten in den Freigabeprozess einzubauen. Wer kurz erklären muss, warum er einer KI-Empfehlung zustimmt oder sie ablehnt, denkt automatisch bewusster nach. Und schließlich braucht es eine Fehlerkultur, in der Korrekturen an KI-Ergebnissen als positives Signal gelten.

KI-Systeme können keine Verantwortung übernehmen. Sie haften weder rechtlich noch moralisch. Damit in der Praxis weiterhin der Mensch als Entscheidungsinstanz bleibt, braucht es klare Strukturen.

Der erste Schritt ist Klarheit darüber, wer eigentlich wofür zuständig ist. Wer hat bei einer KI-gestützten Entscheidung Prüfpflicht? Wer gibt formal frei? Und wer trägt am Ende die Verantwortung, wenn etwas schiefgeht? Solange diese Fragen unbeantwortet bleiben, entsteht ein Verantwortungsvakuum, das sich im Ernstfall niemand leisten kann.

Genauso wichtig ist es, risikoreiche Entscheidungen nicht mit einem einzigen Klick wirksam werden zu lassen. Formale Freigabestufen verlangsamen den Prozess minimal, schaffen aber eine Qualitätssicherung, die bei schwerwiegenden Konsequenzen den Unterschied macht.

Eskalationswege müssen definiert sein, bevor sie gebraucht werden. Was passiert, wenn ein KI-Ergebnis fraglich wirkt? Wer wird einbezogen, ab welchem Schwellenwert wird eskaliert, und wer trifft die finale Entscheidung? Diese Fragen im Ernstfall zum ersten Mal zu stellen ist zu spät.

 Wer diese Fragen allein der IT überlässt, berücksichtigt nicht, dass wirksame menschliche Aufsicht eine gemeinsame Aufgabe von Fachbereichen, Compliance, Datenschutz, Recht und IT ist.

Mit dem EU AI Act ist menschliche Aufsicht kein freiwilliges Qualitätsmerkmal mehr, sondern insbesondere für Hochrisiko-KI-Systeme gesetzliche Anforderung. Artikel 14 sieht vor, dass die Systeme so gestaltet und entwickelt werden müssen, dass sie während ihrer Nutzung wirksam durch natürliche Personen überwacht werden können.

Ziel der menschlichen Aufsicht ist es, Risiken für Gesundheit, Sicherheit und Grundrechte zu verhindern oder zu minimieren. Das bedeutet in der Praxis nicht zwingend, dass jede Ausgabe manuell geprüft werden muss. Entscheidend ist, dass die Aufsicht dem Risiko und dem Nutzungskontext angemessen ist.

Als hochriskant eingestuft werden unter anderem KI-Systeme in diesen Bereichen:

• Kritische Infrastruktur (z. B. Energie, Verkehr)
• Bildung und Berufsausbildung (z. B. Bewerbungsverfahren, Prüfungsbewertungen)
• Recht und Sicherheit (z. B. Predictive Policing, Asylentscheidungen)
• Gesundheitswesen (z. B. Diagnoseunterstützung)
• Beschäftigung und Personalmanagement
• Zugang zu wesentlichen Dienstleistungen (z. B. Kredite, Sozialleistungen)

Für Unternehmen, die in diesen Bereichen KI einsetzen oder entwickeln, ist ein durchdachtes Human-in-the-loop-Konzept keine Option, sondern Compliance-Pflicht.

Diese Frage ist berechtigt. Denn zu viel Kontrolle macht KI-Einsatz ineffizient, frustrierend und letztlich wertlos. Das Ziel ist nicht maximale Bürokratie, sondern angemessene Aufsicht.

Die richtige Balance zu finden heißt:

Risikobasiert denken: Nicht jede Entscheidung braucht dasselbe Maß an Kontrolle. Wo die Konsequenzen gering und reversibel sind, kann mehr Automatisierung sinnvoll sein.

Vertrauen durch Erfahrung aufbauen: Ein neues KI-System verdient weniger Vertrauen als eines, das über Monate zuverlässig funktioniert hat. Kontrolldichte kann mit wachsender Systemreife angepasst werden.

Feedback-Schleifen nutzen: Wenn kontrollierte Personen systematisch keine Korrekturen vornehmen, ist das ein Datenpunkt. Entweder das System ist gut, oder die Kontrolle ist nicht wirksam.

Ressourcen realistisch einplanen: Menschliche Aufsicht kostet Zeit. Diese Zeit muss im Prozessdesign eingeplant sein, sonst wird sie weggespart, und die Kontrolle bleibt nur noch formal.

Personalwesen: Eine KI sortiert Bewerbungen nach festgelegten Kriterien vor. HR-Fachkräfte prüfen anschließend jede Vorauswahl und hinterfragen systematisch, ob die Kriterien fair und trennscharf sind und ob Anzeichen für eine Benachteiligung bestehen. Eine automatische Ablehnung ohne menschliche Prüfung sollte bei risikoreichen Entscheidungen vermieden werden.

Kundenservice: Ein KI-Agent beantwortet Standardanfragen automatisiert. Bei komplexen, emotionalen oder rechtlich sensiblen Fällen erfolgt eine automatische Übergabe an einen menschlichen Mitarbeitenden. Mitarbeitende prüfen Tonalität, Fakten und Datenschutz, bevor Antworten gesendet werden. Die Übergabekriterien sind klar definiert.

Medizin: Ein KI-System analysiert radiologische Aufnahmen und markiert auffällige Befunde. Die finale Diagnose trifft immer eine Ärztin oder ein Arzt.

Finanzwesen: Ein Algorithmus berechnet Kreditwürdigkeit und schlägt eine Entscheidung vor. Bei Ablehnungen oder unklaren Fällen prüft ein Mensch den Vorgang und kann abweichen.

Bevor Sie ein KI-System produktiv einsetzen, sollten Sie diese Fragen beantworten können:

1. Welche Entscheidungen darf die KI nicht allein treffen? Führen Sie eine Risikoanalyse durch.
2. Wer ist für Prüfung und Freigabe verantwortlich? Definieren Sie klare Rollen und Eskalationswege.
3. Hat die prüfende Person ausreichend Zeit, Informationen und Fachkompetenz? Nicht nur das Ergebnis, auch Ausgangsdaten, Unsicherheitsgrade und Alternativen müssen vorliegen.
4. Darf sie abweichen? Korrekturen am KI-Ergebnis müssen systemisch ermöglicht und akzeptiert werden.
5. Wie werden Automation Bias und unkritisches Vertrauen verhindert? Schulungen, „Second Opinion"-Regeln und Begründungspflichten helfen.
6. Wie werden Entscheidungen und Korrekturen dokumentiert? Ein nachvollziehbarer Audit Trail ist Pflicht, insbesondere in regulierten Bereichen, und unterstützt die Revisions- und Nachweissicherheit.
7. Wie lernt das System aus Fehlern? Integrieren Sie Feedback-Schleifen in den Prozess.