Miriam und die KI, die sie nie nutzt
Miriam ist Pflegefachkraft in einer psychiatrischen Einrichtung. Ihr Arbeitgeber hat kürzlich ein KI-Modul eingeführt, das auf Basis der Klientenhistorie automatisch Pflegepläne vorschlägt. Die Absicht: weniger Schreibarbeit, mehr Zeit für Gespräche.
Miriam nutzt das System nicht. Nicht weil sie technisch unversiert wäre — sie arbeitet seit Jahren damit. Sondern weil sie nicht nachvollziehen kann, wie die KI zu ihren Schlussfolgerungen gelangt. 'Was, wenn ihr etwas entgeht', sagt sie. 'Dann habe ich einen Plan unterzeichnet, den ich selbst nicht vollständig erstellt habe.'
Miriam ist keine Ausnahme. Ein erheblicher Anteil der Pflegefachkräfte ignoriert KI-Empfehlungen systematisch — nicht aus Widerstand gegen Technologie, sondern aus einem fundierten Mangel an Vertrauen. Ein KI-System, dem kein Vertrauen entgegengebracht wird, wird nicht genutzt.
“Vertrauen ist die eigentliche Innovation bei KI im Gesundheitswesen.”
Was macht KI vertrauenswürdig?
Vertrauen in KI ist kein Gefühl. Es ist das Ergebnis konkreter technischer und organisatorischer Entscheidungen. Eine Pflegefachkraft muss verstehen können, warum ein KI-System eine bestimmte Empfehlung ausspricht. Im Pflegekontext ist Erklärbarkeit essenziell für Transparenz, DSGVO-Rechenschaftspflicht (Art. 13–15 und 22) und — bei Hochrisiko-KI-Systemen — für die Konformität mit dem AI Act.
Human-in-the-Loop ist keine Funktion, die deaktiviert werden kann — es ist eine Architekturentscheidung. Bei vertrauenswürdiger Pflege-KI entscheidet stets die Fachkraft. Das System präsentiert Optionen, liefert Kontext und weist auf Risiken hin. Die Kliniker validieren, korrigieren oder verwerfen.
Patienten vertrauen Gesundheitseinrichtungen die sensibelsten Informationen an, die es gibt. Diese Daten dürfen niemals für Zwecke verwendet werden, denen der Patient nicht zugestimmt hat. Privacy-by-Design ist der Mindeststandard.
Safe-by-Design: das wissenschaftliche Fundament
Yoshua Bengio, Turing-Award-Träger, arbeitet über seine gemeinnützige Organisation LawZero an einer neuen Generation von KI: 'designed to be trustworthy and safe.' Der Ausgangspunkt: Die aktuellen Frontier-Systeme sind intransparent und nicht auf menschliche Ziele ausgerichtet.
Safe-by-Design bedeutet: keine eigenständige Autonomie. KI-Systeme, die sich ohne menschliches Eingreifen selbst korrigieren, sind im Gesundheitswesen gefährlich. Sichere KI kann nicht mehr leisten, als wofür sie konzipiert wurde — sie arbeitet auf explizite, verifizierbare Ziele hin.
Der europäische AI Act klassifiziert KI im Gesundheitswesen als 'Hochrisiko' und stellt hohe Anforderungen an Transparenz, Auditierbarkeit und menschliche Aufsicht. Dies ist das Bild, das das Gesundheitswesen benötigt und das Regulatoren fordern.
Wie CareHub dies umsetzt
Das CareHub-Ökosystem unterscheidet zwischen Prozessen, bei denen KI einen Mehrwert bietet, und Prozessen, bei denen menschliches Urteilsvermögen unersetzlich ist. Jede KI-Empfehlung auf der Plattform wird auf verständlichem Niveau erläutert — nicht als technische Metrik, sondern als Kontext, den die Fachkraft nutzen kann.
Jede KI-Interaktion wird protokolliert: Was hat das System vorgeschlagen, was hat die Pflegefachkraft entschieden und warum? Das ermöglicht Auditing — und Lernen. Das Protokoll ist unveränderlich, aufbewahrungskonform und organisatorisch von den klinischen Daten getrennt, was sowohl den Datenschutz als auch die forensische Verwendbarkeit gewährleistet.
Klientendaten, die auf der CareHub-Plattform gespeichert sind, werden niemals zum Training von KI-Modellen außerhalb der eigenen Organisation verwendet. Datensouveränität ist eine verbindliche Anforderung — kein Marketingbegriff, sondern ein vertraglicher Grundsatz, auf dem Auftragsverarbeitungsvertrag und Architektur beruhen.
Die Patientenperspektive: Vertrauen beginnt bei Transparenz
Vertrauen in KI ist nicht nur eine Frage der Fachkräfte. Klienten und Patienten haben ein Recht auf Information über den Einsatz von KI in ihrer Versorgung. Die DSGVO erzwingt dies rechtlich (Artikel 13–15 zur automatisierten Entscheidungsfindung); die Praxis zeigt, dass informierte Patienten besser kooperieren und häufiger zufrieden sind.
Bei einer menschenzentrierten KI-Implementierung wird dem Klienten vorab mitgeteilt, dass KI beispielsweise bei der Zuordnung eines Behandlers oder bei der Erstellung eines Briefentwurfs unterstützt. Er kann erfragen, was die KI vorgeschlagen hat, und kann bei Bedarf Widerspruch gegen automatisierte Entscheidungsfindung einlegen.
Das klingt aufwendig. In der Praxis ist es unkompliziert: ein Hinweis im Klientenportal, eine kurze Erläuterung auf Anfrage und eine Seite 'Wie funktioniert KI in unserer Versorgung', die für alle zugänglich ist, die mehr erfahren möchten. Der Effekt: Klienten fühlen sich ernst genommen. Die Alternative — KI zu verschweigen oder zu verharmlosen — führt unweigerlich zu Vertrauensschäden, sobald es später bekannt wird.
Was Regulatoren sehen wollen
Die Datenschutzbehörde, die Gesundheits- und Jugendaufsicht sowie auf europäischer Ebene die Aufsichtsbehörden unter dem AI Act achten alle auf vergleichbare Aspekte. Erstens: dass der KI-Einsatz dokumentiert ist, mit DSFA, Konformitätsbewertung und Risikomanagement. Zweitens: dass menschliche Aufsicht konkret funktioniert und nicht nur auf dem Papier besteht. Drittens: dass Vorfälle erkannt, gemeldet und ausgewertet werden.
Für Gesundheitsdienstleister und Gesundheitstechnologie-Anbieter bedeutet dies: Die Beweislast verschiebt sich. Vor dem AI Act war 'wir haben uns eingehend damit befasst' in vielen Fällen ausreichend. Danach gilt: Weisen Sie nach, dass das System wie dokumentiert funktioniert — für die Zielpopulation, für die es bestimmt ist, mit akzeptablen Fehlerquoten.
Eine praxistaugliche Vorbereitung: Bauen Sie von Anfang an eine Protokollierungs- und Evaluierungsstruktur auf, die sowohl dem internen Lernen als auch der externen Rechenschaftslegung dient. Die technischen Aufzeichnungsanforderungen des AI Act überschneiden sich stark mit dem, was Sie ohnehin benötigen, um die KI im Produktionsbetrieb zu verbessern. Es ist kein Mehraufwand; es ist dieselbe Arbeit — nur bewusst durchgeführt.
Konkret: Wie bauen Sie eine vertrauenswürdige KI-Implementierung auf?
Vier Schritte, in der richtigen Reihenfolge. Erstens: Grenzen Sie das Problem strikt ein. Welche spezifische Entscheidung oder Aufgabe soll unterstützt werden? Nicht 'administrativen Aufwand reduzieren' (zu weit gefasst), sondern beispielsweise 'automatischer Entwurfs-Pflegeplan nach Erstgespräch in Bereich X'. Je enger der Anwendungsbereich, desto einfacher die Evaluation.
Zweitens: Gestalten Sie die menschliche Prüfstufe im Voraus. Wer sieht den KI-Vorschlag, mit welchen Informationen, und welche Aktion folgt? 'Genehmigen', 'anpassen', 'ablehnen mit Begründung'. Die letzte Option ist essenziell: Ohne Angabe einer Begründung kann Ihr System nicht lernen.
Drittens: Bauen Sie die Protokollierung von Tag eins an auf. Nicht später, nicht als Compliance-Häkchen. Protokollierung ist Ihr Werkzeug zur Produktverbesserung. Daten, die Sie jetzt nicht erfassen, können Sie in sechs Monaten nicht nachträglich abrufen, um die KI zu evaluieren.
Viertens: Definieren Sie Erfolgskriterien im Voraus. Welche Kennzahlen muss die KI im Produktionsbetrieb erreichen? Akzeptanzrate? Zeitersparnis pro Fall? Übereinstimmung mit dem Expertenurteil in einer Stichprobe? Ohne vorab definierte Erfolgskriterien wird jedes Pilot-Ergebnis zum Anlass für 'wir müssen mehr forschen' — anstatt zu einer klaren Go/No-Go-Entscheidung.
