KI aus Datenschutzsicht: „Just another software" – aber mit besonderen Risiken

KI ist zunächst Software – bringt aber besondere Datenschutzrisiken mit sich. Was Unternehmen bei Daten, Transparenz, Anbietern und Datenschutz-Folgenabschätzung beachten sollten.

Chatbots beantworten Kundenfragen. Systeme filtern automatisch Bewerbungen vor. KI-Assistenten fassen interne Berichte zusammen. Künstliche Intelligenz ist längst kein Experiment mehr – sie läuft in Produktion. Die meisten Unternehmen bauen KI nicht selbst – sie kaufen sie ein. Die gängigen Wege: Cloud-Dienste wie ChatGPT oder Copilot, KI-Funktionen in bestehender Software oder selbst gehostete Open-Source-Modelle. Und genau hier beginnt die datenschutzrechtliche Verantwortung.

KI unterscheidet sich von klassischer Software nicht durch ein Sonderrecht, sondern durch strukturelle Eigenschaften, die bekannte Datenschutzpflichten deutlich schwerer erfüllbar machen.

Datenmasse und Aggregation. KI-Systeme verknüpfen automatisch Informationen aus verschiedensten Quellen zu hochdetaillierten Profilen. Eine Person, deren Name, Wohnort, Berufsangabe und Verhaltensmuster aus unterschiedlichen Quellen stammen, kann durch diese Aggregation plötzlich klar identifizierbar werden – obwohl jeder einzelne Datenpunkt für sich genommen harmlos wirkte.

Intransparenz. Viele KI-Systeme – insbesondere neuronale Netze – arbeiten auf eine Weise, die selbst für Fachleute schwer nachzuvollziehen ist. Warum hat das System diese Empfehlung gegeben? Welche Eingaben haben die Ausgabe beeinflusst? Diese Fragen lassen sich bei komplexen Modellarchitekturen oft nicht beantworten. Das ist kein technischer Fehler, sondern ein strukturelles Merkmal. Datenschutzrechtlich ist das ein erhebliches Problem: Art. 13 und Art. 14 DSGVO verlangen, dass Betroffene transparent informiert werden über die Logik automatisierter Entscheidungen. Art. 22 DSGVO schützt Betroffene durch das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu sein, die erhebliche Folgen hat – und gewährt ihnen das Recht auf menschlichen Eingriff sowie die Möglichkeit, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten. Beide Anforderungen sind bei strukturell intransparenten KI-Systemen schwer zu erfüllen.

Anbieter können Eingaben für eigenes Training nutzen. Viele kommerzielle KI-Anbieter behalten sich in ihren Nutzungsbedingungen vor, Eingaben für die Weiterentwicklung ihrer Modelle zu verwenden. Personenbezogene Daten, die ein Mitarbeitender in ein solches System eingibt, können so dauerhaft Teil eines Modells werden – unkontrollierbar und faktisch kaum mehr löschbar. Das ist das eigentliche datenschutzrechtliche Kernrisiko beim Einkauf externer KI-Dienste.

Unvorhergesehene Ausgaben. KI-Systeme können Ausgaben (Output) erzeugen, die Verantwortliche weder beabsichtigt noch vorhersehen konnten – von sachlich falschen Angaben über Personen bis hin zu diskriminierenden Klassifikationen. Dieses Risiko skaliert mit der Komplexität des Einsatzszenarios.

Der EU AI Act ist die gesetzgeberische Antwort auf genau diese Eigenschaften. Seit dem 2. August 2026 müssen Betreiber von Chatbots und KI-Avataren Nutzerinnen und Nutzer aktiv darüber informieren, dass diese mit einer KI interagieren (Art. 50 KI-VO). KI-generierte Inhalte – Texte, Bilder, Audio, Video – müssen unter Umständen maschinenlesbar gekennzeichnet werden (Art. 50 Abs. 2 KI-VO). Für KI-generierte Inhalte von Systemen, die bereits vor dem 2. August 2026 auf dem Markt waren, gilt eine Übergangsfrist bis zum 2. Dezember 2026 für die maschinenlesbare Kennzeichnung nach Art. 50 Abs. 2 KI-VO.

Unabhängig davon, ob ein Unternehmen einen Cloud-Dienst einkauft, ein Open-Source-Modell selbst hostet oder eine KI-Funktion in bestehender Software nutzt – der Datenzyklus lässt sich in drei Phasen gliedern, und jede birgt eigene datenschutzrechtliche Risiken.

Hier liegt das unmittelbarste Risiko für Unternehmen. Mitarbeitende geben täglich Informationen in KI-Systeme ein – oft ohne zu prüfen, ob das datenschutzrechtlich zulässig ist. Kundendaten, Patienteninformationen, Bewerbungsunterlagen: All das sind Beispiele für personenbezogene Daten, für deren Eingabe in ein KI-System eine Rechtsgrundlage bestehen muss.

Die erste Frage lautet daher nicht „Welches Tool ist das beste?", sondern: „Auf welcher Rechtsgrundlage dürfen diese Daten in dieses System eingegeben werden?" Häufig fehlt eine klare Antwort – oder die Frage wurde nie gestellt. Mitarbeitende brauchen deshalb klare, konkrete Regeln: welche Daten in welchem Tool verarbeitet werden dürfen und welche nicht. Verbote allein lösen das Problem dabei nicht: Wer Mitarbeitenden keine geprüfte Alternative anbietet, erhöht das Risiko, dass nicht freigegebene Tools im Stillen trotzdem genutzt werden – sogenannte Schatten-KI. Klare Freigaben und geprüfte Werkzeuge sind wirksamer als jedes Verbot.

Kernpflichten: Rechtsgrundlage für jede Dateneingabe klären und dokumentieren, Zweckbindung beachten, Betroffene informieren (Art. 13/14 DSGVO), Datenminimierung konsequent einhalten – nur eingeben, was wirklich notwendig ist.

Das ist der Bereich, in dem Unternehmen als Einkäufer die wenigste direkte Kontrolle haben – und der deshalb besonders sorgfältig geprüft werden muss.

Wer einen externen KI-Dienst nutzt, arbeitet in der Regel datenschutzrechtlich mit einem Auftragsverarbeiter zusammen, insofern darf der Anbieter die Daten ausschließlich weisungsgebunden und nicht für eigene Zwecke verarbeitent. Vor jeder Nutzung muss ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO geschlossen werden – ohne ihn ist jede Datenverarbeitung im Auftrag rechtswidrig. Dieser Vertrag muss konkret regeln, was der Anbieter mit den Daten tun darf: Darf er Eingaben für das Training oder die Weiterentwicklung seiner Modelle nutzen? Welche Subdienstleister sind eingebunden, und wo befinden sich deren Server? Wie lange werden Eingaben gespeichert? Ein häufiger Fehler: AV-Verträge großer KI-Anbieter werden ungeprüft akzeptiert. Neben datenschutzrechtlichen Klauseln können solche Verträge auch Haftungsausschlüsse und nachteilige Regelungen enthalten. Der Verantwortliche bleibt gegenüber Betroffenen vollständig haftbar – unabhängig davon, was der Anbieter im Kleingedruckten regelt.

Sitzt der Anbieter in einem Drittland wie den USA – wie die marktführenden Dienste OpenAI, Google, Microsoft und Anthropic –, liegt zudem ein Drittlandtransfer vor, der nur unter den Voraussetzungen der Art. 44 ff. DSGVO zulässig ist. Seit dem 10. Juli 2023 bietet das EU-US Data Privacy Framework (DPF) eine Transfergrundlage, die jedoch politisch fragil ist – das Schicksal des Privacy Shield, den der EuGH im Jahr 2020 für ungültig erklärte, bleibt eine Mahnung. Alternativ genutzte Standardvertragsklauseln (SCC) sind nur dann wirksam, wenn der Anbieter die zugrundeliegenden technischen Schutzmaßnahmen auch tatsächlich umsetzt. Eine Prüfung, ob das der Fall ist, findet in der Praxis selten statt.

Ein strukturell anderer Ansatz ist das Self-Hosting: Wer ein Open-Source-Modell auf eigener Infrastruktur betreibt, vermeidet Drittlandtransfer und hat keine unkontrollierte Datenweitergabe Datenweiternutzung an durch externe Anbieter zu befürchten. Dafür trägt das Unternehmen die vollständige technische Verantwortung für Sicherheit, Verfügbarkeit und Aktualität des Systems – ein Tradeoff, der bewusst abgewogen werden sollte.

Kernpflichten: AV-Vertrag vor Nutzung abschließen und inhaltlich prüfen – insbesondere auf Trainingsnutzung, Subdienstleister und Löschpflichten. Drittlandtransfer absichern und dessen tatsächliche Wirksamkeit prüfen. Bei Self-Hosting: eigene technische und organisatorische Maßnahmen nach Art. 32 DSGVO sicherstellen.

Am Ende steht der Output – und hier werden Versäumnisse aus den vorgelagerten Phasen sichtbar. Wenn ein System intransparent arbeitet, lassen sich Entscheidungen nicht erklären, Fehler nicht identifizieren und Betroffenenrechte kaum erfüllen. Auskunftsansprüche, Berichtigungsansprüche und das Recht auf Widerspruch beispielsweise setzen voraus, dass ein Unternehmen nachvollziehen kann, was mit den Daten eines Betroffenen geschehen ist.

Besonders kritisch: KI-Systeme können halluzinieren und sachlich falsche Angaben über reale Personen produzieren – überzeugend formuliert, aber inhaltlich erfunden. Wenn solche Ausgaben ungeprüft in Entscheidungsprozesse einfließen, entsteht nicht nur ein Datenschutzverstoß, sondern ein Schadensersatzrisiko. Im Gesundheitswesen oder im Personalbereich – Bereiche, in denen privatwirtschaftliche Unternehmen ebenso tätig sind wie Einrichtungen der Diakonie und Caritas – können fehlerhafte KI-Ausgaben erhebliche Folgen für Betroffene haben. Menschliche Überprüfung ist dort keine Kür, sondern Pflicht.

Kernpflichten: Menschliche Überprüfung bei folgenreichen Entscheidungen sicherstellen, KI-Interaktion aktiv kennzeichnen, KI-generierte Inhalte maschinenlesbar markieren, Umsetzbarkeit der Betroffenenrechte prozesstechnisch sicherstellen.

Wer KI einsetzt, muss sich vor dem Start eine entscheidende Frage stellen: Was kann hier eigentlich schiefgehen – und für wen? Genau das ist der Kern einer Datenschutz-Folgenabschätzung, kurz DSFA. Sie ist kein bürokratisches Pflichtdokument ohne Mehrwert, sondern eine strukturierte Risikoprüfung: Welche Daten werden verarbeitet, welche Risiken entstehen für betroffene Personen, und was tun wir dagegen?

Bei KI ist diese Prüfung besonders häufig Pflicht – und wird besonders häufig vergessen. Auch von Organisationen, die lediglich ein fertiges Tool einkaufen und einsetzen.

Wann ist die DSFA verpflichtend? Immer dann, wenn die Verarbeitung voraussichtlich ein hohes Risiko für Menschen mit sich bringt. Drei Situationen treffen bei KI besonders häufig zu: wenn das System automatisch Entscheidungen trifft, die erhebliche Auswirkungen auf Menschen haben – etwa bei Bewerbungen, Kreditanträgen oder medizinischen Einschätzungen. Wenn besonders sensible Daten verarbeitet werden, wie Gesundheitsdaten, biometrische Merkmale oder Persönlichkeitsprofile. Und wenn Menschen systematisch in öffentlichen Bereichen durch KI überwacht werden. Eine entsprechende Erforderlichkeitsprüfung klärt, ob eine DSFA nach Art. 35 DSGVO im Einzelfall verpflichtend ist.

Was kommt beim EU AI Act noch dazu? Für bestimmte Betreiber gilt ab dem 2. Dezember 2027 zusätzlich eine Grundrechte-Folgenabschätzung. Das klingt komplizierter als es ist: Sie fragt nicht nur nach Datenschutzrisiken, sondern nach dem größeren Bild – könnte das System Menschen diskriminieren? Könnten faire Verfahren ausgehebelt werden? Könnte die Würde von Personen verletzt werden?

Diese zusätzliche Prüfung ist nicht für jeden Pflicht. Sie betrifft öffentliche Einrichtungen sowie private Organisationen, die öffentliche Dienste erbringen – etwa kommunale Dienstleister oder Träger öffentlicher Aufgaben. Außerdem gilt sie für alle Betreiber von KI-Systemen, die Kreditwürdigkeit bewerten oder Risiken für Lebens- und Krankenversicherungen einschätzen. Ein normales Handelsunternehmen, ein mittelständischer Arbeitgeber oder eine private Klinik ohne öffentlichen Auftrag ist von dieser zusätzlichen Pflicht in der Regel nicht betroffen.

Was bedeutet das praktisch? Wer beide Prüfungen durchführen muss, muss das nicht doppelt erledigen. Wo die DSFA bereits relevante Fragen beantwortet hat, können diese Ergebnisse direkt übernommen werden. Die Instrumente ergänzen sich – sie ersetzen sich nicht gegenseitig, aber sie müssen nicht von Grund auf neu erarbeitet werden.

Die wichtigste Botschaft: Eine DSFA ist kein Projekt für Juristen. Sie ist ein Denkprozess, den jede Organisation durchlaufen sollte, bevor KI mit personenbezogenen Daten live geht. Wer das überspringt, spart Zeit – und zahlt sie im Zweifel doppelt.

KI datenschutzkonform einzusetzen bedeutet nicht, auf die Technologie zu verzichten. Es bedeutet, vor dem ersten Einsatz die richtigen Fragen zu stellen.

Vor dem Start steht die Klärung der Rechtsgrundlage. Auf welcher Basis werden personenbezogene Daten verarbeitet – und dürfen diese Daten überhaupt in dieses System mit dem dem verfolgten Zweck eingegeben werden? Parallel dazu: Fällt das System unter Anhang III des EU AI Act? Wenn ja, gelten verschärfte Pflichten. Bei hohem Risiko ist die DSFA vor dem Start durchzuführen, nicht danach. Externe Anbieter dürfen erst nach Abschluss eines AV-Vertrags genutzt werden.

Bei der Auswahl des Tools ist der AV-Vertrag kein Beiwerk, sondern ein zentrales Steuerungsinstrument. Er muss konkret regeln, ob der Anbieter Eingaben für Training nutzen darf, welche Subdienstleister eingebunden sind und wie Betroffenenrechte erfüllt werden. Wer nur Standard-Bedingungen akzeptiert, ohne sie zu lesen, trägt das Risiko allein. Für datenschutzsensible Anwendungsfälle lohnt es sich, die Alternative Self-Hosting ernsthaft zu prüfen.

Im laufenden Betrieb ist bei folgenreichen Entscheidungen menschliche Überprüfung Pflicht, nicht Option. Da KI-Dienste sich durch Updates, neue Integrationen und veränderte Nutzungsbedingungen laufend verändern können, reicht eine einmalige Prüfung nicht aus – regelmäßige Kontrolle der eingesetzten Systeme ist erforderlich.

Governance und Dokumentation: Jeder KI-Einsatz mit personenbezogenen Daten gehört ins Verarbeitungsverzeichnis. Der Datenschutzbeauftragte muss frühzeitig einbezogen werden – nicht erst, wenn der Rollout läuft. Eine interne KI-Richtlinie schafft Klarheit darüber, welche Tools zugelassen sind, welche Daten eingegeben werden dürfen und was im Fall eines Vorfalls gilt.

Kein KI-System sollte in Betrieb gehen, ohne dass diese Fragen beantwortet sind – unabhängig davon, ob es sich um einen eingekauften Cloud-Dienst, eine KI-Funktion in bestehender Software oder ein selbst gehostetes Modell handelt. Das gilt für privatwirtschaftliche Unternehmen ebenso wie für Einrichtungen unter DSG-EKD oder KDG, da alle drei Regelwerke insoweit vergleichbare Anforderungen stellen.

1. Rechtsgrundlage geklärt?
Auf welcher Basis dürfen personenbezogene Daten in dieses System eingegeben werden? Ist dies mit der Zweckbindung vereinbar? Ist das dokumentiert? Ohne Rechtsgrundlage kein rechtmäßiger KI-Einsatz.

2. Handelt es sich um eine risikoreiche KI-Anwendung?
Trifft das System Entscheidungen mit erheblichen Folgen für Menschen – etwa bei Bewerbungen, Kreditvergabe, medizinischen Einschätzungen oder Bildungszugang? Wenn ja: Eine DSFA ist Pflicht, bevor das System live geht.

3. DSFA durchgeführt?
Wenn eine DSFA nach Art. 35 DSGVO verpflichtend ist: Wurden die Risiken für Betroffene systematisch analysiert und Maßnahmen zur Risikoreduktion definiert? Liegt das Ergebnis dokumentiert vor?

4. AV-Vertrag geprüft und abgeschlossen?
Ist der Vertrag abgeschlossen – und inhaltlich geprüft? Verbietet er dem Anbieter, Eingaben für das eigene Training zu nutzen? Ist der Datentransfer ins Ausland abgesichert – und wurde geprüft, ob diese Absicherung auch in der Praxis hält?

5. Betroffenenrechte und Mitarbeitende geregelt?
Können Betroffene erfahren, welche Daten verarbeitet werden – und können sie Auskunft, Korrektur oder Löschung verlangen? Wissen Mitarbeitende, welche Daten sie in das System eingeben dürfen – und welche nicht?

KI ist Software – damit gelten die bekannten Regeln. Wer das verinnerlicht, hat den ersten und wichtigsten Schritt getan. Aber KI ist eben auch mehr als „just another software": die schiere Datenmenge, die strukturelle Intransparenz, der Kontrollverlust gegenüber externen Anbietern und die Geschwindigkeit, mit der sich Systeme und Risiken verändern – all das macht KI zu einer Technologie, die bekannte Datenschutzpflichten auf eine ungewohnte Weise belastet. Die DSGVO, das DSG-EKD, das KDG und der EU AI Act bieten gemeinsam einen Rahmen, der diese Risiken adressiert. Wer ihn ernst nimmt – und das bereits beim Einkauf, nicht erst beim Rollout –, schafft die Grundlage für einen KI-Einsatz, der nicht nur rechtlich trägt, sondern auch das Vertrauen der Betroffenen verdient. Wer ihn ignoriert, haftet – und zahlt im schlimmsten Fall Bußgelder nach DSGVO bis zu 20 Mio. € / 4 % des Jahresumsatzes (Art. 83 Abs. 5 DSGVO) – oder nach KI-VO bis zu 35 Mio. € / 7 % bei Verstößen gegen die Verbote nach Art. 5 KI-VO bzw. bis zu 15 Mio. € / 3 % bei sonstigen Verstößen (Art. 99 Abs. 3 und 4 KI-VO).