Was ist 'agentic AI' eigentlich?
Agentic AI bezeichnet KI-Systeme, die nicht nur auf einen einzelnen Prompt hin Ausgaben generieren, sondern aktiv Aufgaben in mehreren Schritten ausführen — Informationen abrufen, Entscheidungen treffen, Aktionen in anderen Systemen durchführen und sich anhand der Ergebnisse selbst korrigieren. Im Gegensatz zu einem Chatbot, der eine Frage beantwortet, kann ein KI-Agent eine Aufgabe eigenständig 'erledigen'.
Im Gesundheitswesen bedeutet das beispielsweise: ein Agent, der Aufnahmefragebögen durchgeht, relevante Informationen aus einer elektronischen Patientenakte abruft, einen Entwurf für einen Pflegeplan vorschlägt und diesen zur Genehmigung an die behandelnde Person weiterleitet. Oder ein Agent, der einen Rückruftermin einplant, die elektronische Pflegedokumentation aktualisiert und eine SMS-Erinnerung an die Klientin oder den Klienten sendet — alles aus einer einzigen Anweisung einer Fachkraft heraus.
Der technologische Fortschritt seit 2023 ermöglicht agentic AI in einem Ausmaß, das zuvor undenkbar war. Gleichzeitig gilt: Je größer der Handlungsspielraum eines KI-Systems, desto größer die potenziellen Folgen eines Fehlers. Deshalb sind im Gesundheitswesen vier Prinzipien nicht verhandelbar — und das wird auch so bleiben.
1. Mensch immer in der Schleife
Klinische Entscheidungen werden von Menschen getroffen. KI schlägt vor, kontextualisiert, erstellt erste Entwürfe. Genehmigen, anpassen und entscheiden ist und bleibt Menschenwerk. Dies ist keine Gestaltungsoption, die man später zugunsten von 'Effizienz' abschalten kann — es ist ein Architekturprinzip.
Konkret bedeutet dies: KI darf einen Briefentwurf erstellen, aber die behandelnde Person versendet ihn. KI darf einen Planungsvorschlag unterbreiten, aber die Planerin oder der Planer genehmigt ihn. KI darf eine Risikomarkierung setzen, aber die verantwortliche Fachkraft handelt — oder entscheidet bewusst, nicht zu handeln, mit entsprechender Begründung. Die KI ist ein Instrument; die Fachkraft ist die handelnde Person.
Unter dem Europäischen AI Act fallen KI-Systeme im Gesundheitswesen in die Hochrisikokategorie, mit expliziten Anforderungen an die menschliche Aufsicht. 'Mensch in der Schleife' ist damit nicht nur eine ethische Entscheidung, sondern eine gesetzliche Verpflichtung. Ein KI-System, das medizinische Entscheidungen ohne menschliches Zutun autonom trifft, ist in Europa in einem klinischen Kontext per Definition non-compliant.
Dieses Prinzip hat Konsequenzen für den KI-Einsatz. Es funktioniert am besten in Workflows, die bereits eine menschliche Genehmigung vorsehen (die behandelnde Person liest den Brief, bevor sie ihn versendet). Es funktioniert schlechter dort, wo man 'vollständige Automatisierung' erwartet hatte. Viele KI-Projekte im Gesundheitswesen scheitern nicht an der Technik, sondern an falschen Erwartungen hinsichtlich dessen, was KI autonom tun darf.
2. Erklärbarkeit vor Leistung
Ein Modell, das nicht erklären kann warum, darf nicht eingesetzt werden. Einfacher, aber transparenter schlägt im Gesundheitswesen nahezu immer spektakulär, aber undurchsichtig. Das klingt wie eine konservative Entscheidung. In Wirklichkeit ist es eine Entscheidung, die langfristig mehr Wert schafft.
Unerklärbare KI ist für Gesundheitsfachkräfte nicht verwendbar. Die Pflicht zur Information der Klientin oder des Klienten (DSGVO Art. 13–15), die Anforderung zur Erläuterung automatisierter Entscheidungen (Art. 22) und die berufsrechtliche Verantwortung für klinische Entscheidungen machen Transparenz nicht zu einem Feature, sondern zu einer Grundvoraussetzung.
Erklärbarkeit bedeutet nicht immer technisch 'Explainable AI' im akademischen Sinne. Es bedeutet in der Praxis: Die KI zeigt, welche Daten sie verwendet hat, welche Regeln sie angewandt hat und — bei datengetriebenen Modellen — welche Faktoren am stärksten ins Gewicht gefallen sind. Ein Retrieval-Augmented-Modell, das Quellinformationen zitiert, ist häufig transparenter und nutzbarer als ein Black-Box-Klassifikator, der lediglich einen Score ausgibt.
In der Praxis beobachten wir, dass Erklärbarkeit die Akzeptanz beschleunigt. Fachkräfte nutzen KI häufiger, wenn sie deren Vorgehen nachvollziehen können — und verwenden die Ergebnisse häufiger zu Recht. Ein 'intelligenteres' Modell, das nicht nutzbar ist, liefert weniger Wert als ein einfacheres Modell, das täglich eingesetzt wird.
3. Daten bleiben innerhalb der Mauern
Gesundheitsdaten verlassen die EU nicht. Private Deployment oder on-premise-freundliche Modelle sind die einzige Option für die klinische Datenverarbeitung. Dies ist keine Präferenz — es ist Rahmenbedingung. DSGVO, NEN 7510 und die bevorstehende EHDS-Verordnung stellen für Gesundheitsdaten harte Anforderungen an Datenresidenz, Verschlüsselung, Zugriffsverwaltung und Zweckbindung.
In der Praxis bedeutet dies: Die Modelle werden in EU-Cloud-Regionen oder on-premise betrieben; Daten werden nicht für das Training von Modellen verwendet, die auch anderen Kundinnen und Kunden bereitgestellt werden; und APIs zu KI-Anbietern außerhalb der EU werden nur für Daten genutzt, die explizit pseudonymisiert oder de-identifiziert sind, mit DSFA und Rechtsgrundlage.
Das schließt nicht alle moderne KI aus — macht aber einen Unterschied darin, welche KI-Architekturen geeignet sind. Gehostete SaaS-Modelle, die alle Prompts protokollieren, sind für klinische Daten selten compliant. Modelle, die Sie in der eigenen Umgebung deployen können — oder über Partner, die EU-Residenz und Datenisolierung garantieren — sind der gangbare Weg. Das ist etwas, das KI-Anbieter entweder verstehen oder nicht verstehen; im Zweifelsfall lautet die Antwort 'nicht'.
4. Protokollieren Sie die KI selbst
Jede KI-Aktion wird im Audit-Log erfasst. Was hat die KI vorgeschlagen, was wurde genehmigt, was wurde abgelehnt? So können Sie in zwei Jahren erklären, was geschehen ist. Und so lernen Sie, was funktioniert und was nicht — denn ohne Protokoll haben Sie keine empirische Grundlage für Verbesserungen.
Das Audit-Log einer Gesundheits-KI muss mindestens enthalten: den Zeitpunkt, die handelnde Partei (welche Nutzerin oder welcher Nutzer, welche KI-Version), den Input, die generierte Ausgabe, die menschliche Entscheidung sowie die Datenzugriffe, die zur Erstellung der Ausgabe genutzt wurden. Unveränderlich (immutable) gespeichert, lange genug aufbewahrt, um Aufbewahrungsfristen zu erfüllen, und für die Zugangskontrolle von den klinischen Daten selbst entkoppelt.
Dieses Prinzip hat einen zweiten Effekt, der häufig unterschätzt wird: Es ermöglicht eine kontinuierliche Evaluation. Wenn Sie wissen, welche KI-Vorschläge abgelehnt wurden, können Sie den Signalwert dessen messen, was die KI leistet. Welche Art von Vorschlägen wird häufig übernommen? Welche nicht? Darin liegt die eigentliche Produkt-Lernschleife — die ohne Audit-Log unmöglich ist.
Für die Aufsichtsbehörden (AP, IGJ) und für die Patientinnen und Patienten selbst macht Audit-Logging den KI-Einsatz im Nachhinein erklärbar. Für die Organisation macht es den KI-Einsatz über die Zeit verbesserbar. Beides sind Voraussetzungen für Skalierung — nicht erst wenn Sie groß sind, sondern ab dem ersten Production-Deployment.
Was das in der Praxis bedeutet
Diese vier Prinzipien klingen streng. In der Praxis sind sie eher ein Filter als eine Blockade. Sie schließen eine Reihe von KI-Anwendungen aus (vollständig autonom entscheidende Systeme, undurchsichtige Modelle, gehostete Nicht-EU-KI auf klinischen Daten, KI ohne Logging) und weisen Sie auf die Anwendungen hin, die tatsächlich funktionieren und dauerhaft Wert schaffen.
Konkret sehen wir drei Arten von Use Cases, die innerhalb dieser Prinzipien gut funktionieren. Erstens: Dokumentationsunterstützung — automatische Berichtsentwürfe, Briefe, Indikationen, die von der Fachkraft validiert werden. Zweitens: Workflow-Orchestrierung — automatische Weiterleitung, Planung, Erinnerungen, mit menschlicher Genehmigung an kritischen Punkten. Drittens: Signalisierung — Risikomarkierungen, Frühwarnungen, Anomalieerkennung, wobei das System nur aufmerksam macht, aber nicht eingreift.
Was wir nicht tun: KI für diagnostische Schlussfolgerungen ohne klinische Validierung einsetzen oder KI für automatische Triageentscheidungen verwenden, ohne dass ein Mensch eingreifen kann. Die Prinzipien sind nicht dazu gedacht, KI kleinzuhalten. Sie sind dazu gedacht, KI groß werden zu lassen, ohne dass sie beim ersten Vorfall scheitert.
