KI in der Literaturrecherche für die klinische Bewertung
Ist künstliche Intelligenz Ersatz für den Experten?
Die Literaturrecherche gehört zu den arbeitsintensivsten Bestandteilen einer klinischen Bewertung von Medizinprodukten. Relevante Publikationen müssen gefunden, Duplikate entfernt, die Ergebnisse der Suche entsprechend den Ein- und Ausschlusskriterien geprüft, eingeschlossene Publikationen ausgewertet und der ganze Prozess nachvollziehbar dokumentiert werden.
Lies zum Vorgehen bei der Literaturrecherche auch unsere Blogbeiträge:
Die Vorstellung ist daher durchaus verlockend: Einige wenige Suchbegriffe werden in eine KI-Plattform eingegeben, und innerhalb kürzester Zeit entsteht ein vollständiger Literatursuchbericht inklusive Suchstrategie und Suchprotokoll. Die recherchierten Publikationen werden automatisch ausgewertet und zusammengefasst und stehen direkt für die klinische Bewertung zur Verfügung.
Doch ist ein solches Szenario tatsächlich realistisch? Und welche Rolle werden Experten dabei künftig noch spielen?
Möglichkeiten und Grenzen des KI-Einsatzes
Die klinische Bewertung ist ein zentraler Bestandteil der technischen Dokumentation von Medizinprodukten. Sie umfasst die systematische Bewertung klinischer Daten, um die Sicherheit, klinische Leistung und das Nutzen-Risiko-Verhältnis eines Produkts gemäß den Anforderungen der MDR nachzuweisen. Die klinischen Daten können aus klinischen Studien oder aus wissenschaftlicher Fachliteratur stammen und entweder direkt mit dem betreffenden Medizinprodukt oder mit einem äquivalenten Medizinprodukt erhoben worden sein. Weiterhin umfasst die klinische Bewertung die Ermittlung des Stands der Technik (State of the Art) durch die Analyse relevanter klinischer Daten zu vergleichbaren Produkten und alternativen Behandlungsoptionen.
Betrachten wir den Literaturrechercheprozess vereinfacht anhand seiner einzelnen Teilschritte und analysieren, ob KI die jeweilige Aufgabe selbstständig bearbeiten kann, ob sie den Experten dabei unterstützt und wo menschliche Fachkompetenz weiterhin unverzichtbar bleibt.
Hierbei legen wir den Fokus vor allem auf KI-gestützte Literaturrecherche-Plattformen, die strukturierte Recherchen in wissenschaftlichen Datenbanken wie MEDLINE oder der Cochrane Library unterstützen.
Davon zu unterscheiden ist die Nutzung allgemeiner generativer KI-Systeme, wie z.B. ChatGPT und Copilot. Generative KI-Systeme können im Rahmen der Auswertung bei der sprachlichen Ausarbeitung und Optimierung von Texten sowie bei der Bearbeitung konkreter Fragestellungen unterstützen. Hier ist aber besondere Vorsicht geboten: Generative KI-Systeme können scheinbar plausible, aber tatsächlich nichtexistierende Quellenangaben erzeugen, fehlerhafte bibliografische Angaben machen oder Studienergebnissen unzutreffend darstellen. KI-generierte Verweise auf Literaturangaben oder Literaturangaben selbst sollten daher niemals ungeprüft als Quelle übernommen werden. Eine Referenz gilt erst dann als identifiziert, wenn sie in einer verlässlichen bibliografischen Datenbank oder anhand der Originalpublikation verifiziert wurde.
Festlegung der Suchstrategie und Rechercheparameter
Jede Literaturrecherche beginnt mit einer präzisen Definition der klinischen Fragestellung. Welche klinischen Daten werden überhaupt benötigt? Dafür sind fundierte Kenntnisse des Medizinprodukts, seiner Zweckbestimmung, Zielpopulation, Indikationen sowie der relevanten Sicherheits- und Leistungsendpunkte erforderlich. Auf dieser Basis werden Suchstrategie, Suchbegriffe, Vergleichstherapien und Endpunkte festgelegt, sowie fachlich und regulatorisch begründete Ein- und Ausschlusskriterien definiert. Zudem sind potenzielle Datenlücken frühzeitig zu identifizieren und zu bewerten. KI kann bei diesem Schritt unterstützen und wertvolle Vorschläge liefern, ersetzt jedoch weder die Produktkenntnis noch das Verständnis der technischen und klinischen Dokumentation.
Für eine umfassende systematische Literaturrecherche sollten mehrere geeignete Datenbanken kombiniert werden. Welche Quellen ausgewählt werden, hängt von der klinischen Fragestellung und dem Medizinprodukt und seinem Anwendungsbereich ab und muss fachlich begründet werden. Die Auswahl und Begründung der Datenbanken bleibt daher eine Expertenaufgabe.
Zu berücksichtigen ist zudem, dass KI-gestützte Literaturrecherche-Plattformen häufig nur auf ausgewählte Datenbanken zugreifen können, so dass relevante Quellen wie Embase nicht immer abgedeckt sind.
Beim Festlegen der Suchbegriffe („Search Terms“) kann KI aus der Produktbeschreibung relevante Schlüsselwörter, Synonyme, Schreibvarianten, Abkürzungen, frühere Produktbezeichnungen und verwandte Fachbegriffe ableiten. Darüber hinaus kann sie beispielsweise MeSH-Begriffe für Recherchen in MEDLINE vorschlagen und Suchstrings für verschiedene Datenbanken erstellen. Eine fachliche Überprüfung bleibt jedoch unerlässlich, da die Suchbegriffe so gewählt werden müssen, dass keine wesentlichen Informationen übersehen werden. Bereits kleine Syntaxfehler können relevante Treffer ausschließen.
Während KI beim Zusammentragen, der Strukturierung und Dokumentation von Ein- und Ausschlusskriterien unterstützen kann, liegt die Verantwortung für deren Festlegung weiterhin beim Experten. Nur dieser kann sicherstellen, dass die Kriterien wissenschaftlich fundiert, regulatorisch konform und für die klinische Fragestellung geeignet sind.
Auch die Festlegung des Suchzeitraums ist Teil der Suchstrategie. Häufig werden die letzten zehn Jahre betrachtet. Bei vielen Treffern kann eine Beschränkung auf fünf Jahre sinnvoll sein, während bei begrenzter Evidenzlage oft auf eine zeitliche Einschränkung verzichtet wird. Die Entscheidung über den geeigneten Zeitraum setzt die fachkundige Bewertung der verfügbaren Daten voraus und bedarf daher weiterhin der Beurteilung durch Experten.
Titel- und Abstract-Screening
Bei großen Treffermengen kann KI die Sichtung von Titeln und Abstracts unterstützen, indem sie Publikationen anhand vordefinierter Kriterien priorisiert. Sie kann Studien thematisch kategorisieren, potenzielle Duplikate identifizieren und Treffer kennzeichnen, die voraussichtlich nicht relevant sind, beispielsweise Tierstudien und In-vitro-Studien. Diese Priorisierung kann das Screening erheblich beschleunigen. Sie sollte aber keine endgültige Ausschlussentscheidung darstellen. Insbesondere bei uneindeutigen Abstracts, seltenen Ereignissen oder unvollständig beschriebenen Produktmerkmalen besteht das Risiko von Fehlbewertungen. Die abschließende Beurteilung durch einen Fachexperten bleibt daher unverzichtbar.
Volltextevaluierung
Die Relevanz gefundener Literatur kann nicht automatisiert bestimmt werden. Es muss geprüft werden, ob Technologie, Indikation, Patientenpopulation und Endpunkte für die klinische Bewertung des Medizinprodukts geeignet sind und inwieweit die Ergebnisse auf das konkrete Produkt übertragbar sind. Diese Beurteilung erfordert Fachwissen, Erfahrung sowie ein tiefes Verständnis des Produkts und seines klinischen Einsatzbereichs.
Auch die Einstufung des Evidenzniveaus („Level of Evidence“) kann durch standardisierte Kriterien unterstützt und teilweise automatisiert werden, sodass auch KI-Systeme eine erste Zuordnung anhand des Studiendesigns vornehmen können. Die abschließende Beurteilung erfordert jedoch die fachliche Einordnung der Studienergebnisse und sollte daher durch einen qualifizierten Experten erfolgen.
Ebenso unverzichtbar ist die Bewertung der wissenschaftlichen Qualität („Weight of Evidence“) der eingeschlossenen Studien. Der Experte beurteilt die Angemessenheit des Studiendesigns, die Qualität der Durchführung und Datenerhebung, die Vollständigkeit der Berichterstattung sowie die Robustheit der statistischen Methoden. Zudem wird bewertet, ob die Ergebnisse ausreichend belastbar sind, um einen verlässlichen Beitrag zur klinischen Bewertung zu leisten. Die Identifikation methodischer Schwächen und Limitationen erfordert dabei wissenschaftliche und klinische Expertise sowie Erfahrung in der kritischen Literaturbewertung.
Bei der Analyse der Volltextpublikationen kann KI erheblich zur Effizienzsteigerung beitragen. Sie kann wichtige Informationen extrahieren, beispielsweise zu Studiendesign, Patientenpopulation, Prüfprodukt, Vergleichsgruppe, Beobachtungszeitraum, klinischen Endpunkten, Ergebnissen sowie Limitationen, und wissenschaftliche Artikel zusammenfassen. Darüber hinaus kann sie Entwürfe für Textpassagen erstellen. Dennoch gilt auch hier das Vier-Augen-Prinzip: Sämtliche extrahierte Daten müssen mit der Originalpublikation abgeglichen werden. KI kann Informationen fehlerhaft übernehmen, falsch interpretieren oder aus ihrem wissenschaftlichen Kontext lösen. Die abschließende Prüfung und fachliche Bewertung bleiben daher Aufgabe des Experten.
Dokumentation
Einen besonderen Mehrwert bietet KI bei der Dokumentation der Literaturrecherche. Suchprotokolle, Trefferübersichten und Dokumentationsentwürfe lassen sich häufig mit geringem Aufwand erstellen und aktualisieren. Dies kann den administrativen Aufwand deutlich reduzieren. Eine konsistente Dokumentation der Recherche kann darüber hinaus einen wichtigen Beitrag zur Nachweisführung und Nachvollziehbarkeit im Rahmen des Konformitätsbewertungsverfahrens leisten. Auch hier gilt jedoch: Alle KI-generierten Inhalte müssen vor ihrer Verwendung fachlich geprüft werden.
Klinische Daten sicher bewerten und fundierte Entscheidungen treffen
Vertiefe dein Wissen rund um klinische Bewertung, Literaturrecherche und die Bewertung wissenschaftlicher Evidenz mit den Trainings der qtec Academy.
Von der Literaturrecherche zur klinischen Bewertung
Die größte Herausforderung der klinischen Bewertung beginnt aber erst nach der Literaturrecherche. Der Experte muss beurteilen, ob die vorliegenden Daten zuverlässig und aussagekräftig sind, um wissenschaftlich fundierte und regulatorisch gerechtfertigte Schlussfolgerungen zu Sicherheit, klinischer Leistung und Nutzen-Risiko-Verhältnis des zu bewertenden Medizinproduktes zu ziehen. Darüber hinaus ist zu prüfen, ob die verfügbaren Erkenntnisse ausreichend sind oder weitere klinische Daten benötigt werden. KI kann unterstützen, indem sie Informationen strukturiert aufbereitet, Inhalte zusammenfasst und die Analyse großer Datenmengen erleichtert. Die fachliche Bewertung der Daten sowie die Ableitung und Verantwortung für die Schlussfolgerungen verbleiben jedoch beim Hersteller bzw. den Fachexperten. Daher sind KI-generierte Ergebnisse stets durch qualifizierte Experten zu prüfen, nachvollziehbar zu dokumentieren und fachlich zu bewerten.
Aufgabenverteilung zwischen KI und Experten
Aus den vorangegangenen Erläuterungen wird deutlich, dass die entscheidende Frage nicht lautet: „Kann KI die Literaturrecherche übernehmen?“, sondern vielmehr: „Welche Aufgaben können durch KI unterstützt werden, und an welchen Stellen sind menschliche Expertise, Kontrolle und Entscheidung unverzichtbar?“ Wie bereits erläutert, kann der gezielte Einsatz von KI die Effizienz klinischer Bewertungen erhöhen, darf dabei aber die Qualität nicht beeinträchtigen. Die fachliche Verantwortung bleibt immer bei den zuständigen Experten und kann nicht auf die KI übertragen werden.
Der größte Nutzen von KI liegt in der Verarbeitung großer Informationsmengen, der Unterstützung wiederkehrender Arbeitsschritte und der sprachlichen Strukturierung.
Die Belastbarkeit der Ergebnisse einer klinischen Bewertung hängt daher weiterhin wesentlich von der Expertise des bewertenden Experten ab: von einer präzisen Fragestellung, einer geeigneten Methodik, klinischer und regulatorischer Expertise bei der Daten-Analyse, kritischer Quellenprüfung und einer nachvollziehbaren Begründung der Schlussfolgerungen.
Aus eigener Erfahrung wissen wir auch, dass selbst die auf Literaturrecherche spezialisierten KI-Systeme noch erhebliches Entwicklungspotenzial haben. Bevor sich solche Anwendungen zuverlässig und routinemäßig in bestehende Abläufe integrieren lassen, müssen sie noch deutlich besser werden. Erst dann werden die Prozesse reibungsloser und zugleich weniger fehleranfällig sein.
Eine mögliche „Arbeitsteilung“ könnte aktuell folgendermaßen aussehen:
| Arbeitsschritt | Experten-Verantwortung | Beitrag der KI |
|---|---|---|
| Definition der klinischen Fragestellung | Festlegen und begründen | Vorschläge |
| Auswahl geeigneter Datenbanken | bereits relevant | stärker ausgearbeitet |
| Auswahl geeigneter Datenbanken | Auswählen und begründen | Vorschläge |
| Generierung der Suchbegriffe | Festlegen und prüfen | Synonyme und Varianten vorschlagen |
| Festlegen des Suchzeitraums | Festlegen und begründen | - |
| Festlegen der Ein- und Ausschlusskriterien | Festlegen und begründen | - |
| Trefferverwaltung | Ergebnisse kontrollieren | Ergebnisse sortieren und priorisieren; Duplikate entfernen |
| Title- und Abstract-Screening | Entscheidungen treffen | Treffer priorisieren |
| Volltextsichtung | Eignung beurteilen; Datenextraktion prüfen; Finale Bewertung | Informationen extrahieren; Zusammenfassungen erstellen |
| Bewertung der Relevanz einer Publikation | Fachliche Bewertung | Checkliste vorbereiten |
| Bewertung der Qualität einer Publikation | Methodische Bewertung | Checkliste vorbereiten |
| Dokumentation | Prüfen und freigeben | Protokoll erstellen |
| Kritische Analyse der klinischen Daten | Klinischen Daten analysieren und bewerten | Strukturieren und Zusammenfassen von Daten |
| Freigabe und Verantwortung | Freigabe und Verantwortung übernehmen | - |
Doch wie sehen KI-Systeme ihre eigene Rolle in der Literaturrecherche? Zu dieser Fragestellung habe ich mehrere generative KI-Systeme befragt. Schließlich gehört zu einer fairen Betrachtung, alle Beteiligten anzuhören, und es soll auch nicht der Eindruck entstehen, wir Experten wollten lediglich unsere eigene Daseinsberechtigung verteidigen. Die KIs und ich sind uns jedoch einig: Sie können und werden uns nicht ersetzen. Künftig leisten sie aber zweifellos einen wichtigen Beitrag dazu, Prozesse effizienter zu gestalten und wertvolle Zeit einzusparen.
Zusammenfassend lässt sich also feststellen, dass die beste Arbeitsteilung folgendermaßen aussieht: KI unterstützt bei der Suche, sortiert vor, extrahiert, strukturiert und dokumentiert. Der Mensch definiert, kontrolliert, bewertet, entscheidet und trägt die Gesamtverantwortung.
Risiken beim Einsatz von KI
Wie vorstehend erläutert, ist zu bedenken, dass, „KI“ nicht gleich „KI“ ist. Nicht jede KI eignet sich gleichermaßen für die Literaturrecherche. Während spezialisierte KI-gestützte Literaturrecherche-Plattformen gezielt wissenschaftliche Datenbanken durchsuchen und beim Screening unterstützen können, liegen die Stärken allgemeiner generativer KI-Systeme eher in der sprachlichen Aufbereitung von Informationen und der Bearbeitung konkreter Fragestellungen. Darüber hinaus unterscheiden sich auch spezialisierte KI-gestützte Literaturrecherche-Plattformen erheblich hinsichtlich ihrer Datenbasis, ihrer Such- und Analysefunktionen sowie der Qualität und Nachvollziehbarkeit ihrer Ergebnisse.
Trotz der Effizienzgewinne durch den Einsatz von KI bestehen weiterhin Risiken, die insbesondere im regulierten Umfeld von Medizinprodukten nicht unterschätzt werden dürfen.
Halluzinationen: Wie bereits zuvor erwähnt, können KI-Systeme Quellen erfinden, Studien falsch interpretieren oder Ergebnisse verfälscht darstellen. Deshalb muss jede Literaturquelle im Original geprüft werden.
Fehlende Transparenz: Regulatorische Audits verlangen Nachvollziehbarkeit. Wenn nicht dokumentiert werden kann, wie eine KI zu einem Ergebnis gekommen ist, führt dies zu einer Abweichung.
Datenschutz und Vertraulichkeit: Wer KI-Lösungen einsetzt, sollte kritisch prüfen: Wo werden Daten verarbeitet? Werden Inhalte zum Training verwendet? Sind die Anforderungen des Unternehmens erfüllt? Insbesondere bei unveröffentlichten Produktinformationen ist Vorsicht geboten! In KI-Systeme eingegebene Informationen können nach der Übermittlung nicht mehr vollständig gelöscht werden. Vertrauliche oder sensible Daten dürfen daher nur in KI-Systemen verarbeitet werden, für die eine entsprechende datenschutzrechtliche und organisatorische Freigabe vorliegt. Der Einsatz von KI sollte zudem in das Qualitätsmanagement eingebettet werden.
Vor der Nutzung ist daher mindestens zu klären: Für welche Arbeitsschritte darf das Werkzeug eingesetzt werden? Welche Daten dürfen eingegeben werden? Wie werden vertrauliche, personenbezogene oder urheberrechtlich geschützte Inhalte behandelt? Welche Version des Werkzeugs und welche Einstellungen wurden verwendet? Wie werden Eingaben, Ausgaben und menschliche Korrekturen dokumentiert? Welche Prüfungen sind vor der Übernahme eines Ergebnisses vorgeschrieben? Wie wird mit Fehlern, Unsicherheiten und Änderungen des Systems umgegangen? Wer besitzt die erforderliche fachliche Qualifikation und gibt Ergebnisse frei?
Fazit
Künstliche Intelligenz kann künftig viele zeitaufwändige und repetitive Schritte der Literaturrecherche beschleunigen und die Effizienz des gesamten Prozesses erhöhen. Sie unterstützt bei der Recherche, der Sichtung und Kategorisierung wissenschaftlicher Literatur, der Extraktion relevanter Informationen sowie der Dokumentation der Ergebnisse.
Die klinische Interpretation der Ergebnisse, die wissenschaftliche Bewertung der Evidenz sowie die regulatorische Verantwortung bleiben jedoch Aufgaben des Menschen. Auch mit fortschreitender technologischer Entwicklung wird KI den Experten nicht ersetzen, sondern ihn als leistungsfähiges Werkzeug unterstützen.
Unser Newsletter „qonzentrat“
kompakt, professionell und präzise
Profitiere von unserem Fachwissen.
Jetzt anmelden
