Chance und Herausforderung: Regulatorische Anforderungen für KI-basierte Medizinprodukte
09. August 2024
Stellen Sie sich eine Welt vor, in der Diagnose und Behandlung präziser und maßgeschneiderter sind als je zuvor, wo lebensrettende Entscheidungen in Sekundenbruchteilen getroffen werden und komplexe medizinische Daten in aussagekräftige Erkenntnisse umgewandelt werden. Diese Vision wird durch die Integration von Künstlicher Intelligenz (KI) in die Medizintechnik zur Realität. KI hat das Potenzial, die Gesundheitsversorgung zu revolutionieren und das Leben von Millionen von Menschen zu verbessern – aber nur, wenn sie sicher und zuverlässig eingesetzt wird.
Die Sicherheit von KI-basierten Medizinprodukten steht an erster Stelle. Von der frühzeitigen Erkennung von Krankheiten über die personalisierte Medizin bis hin zur Automatisierung administrativer Aufgaben – die Einsatzmöglichkeiten von KI sind nahezu grenzenlos. Doch mit diesen Möglichkeiten gehen auch große Verantwortungen einher. KI muss strenge regulatorische Anforderungen erfüllen, um sicherzustellen, dass sie sowohl effektiv als auch sicher für Patienten und Nutzer ist.
Wann sprechen wir überhaupt von künstlicher Intelligenz? Ist dann jeder Algorithmus KI?
Der EU AI Act definiert ein KI-System in Artikel 3 (1) wie folgt:
(1) ‘AI system’ means a machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;
Zerlegt man diese Definition mit der Frage im Hinterkopf, ob jeder Algorithmus in die Definition von Künstlicher Intelligenz erfüllt, kann man folgende Elemente extrahieren:
- Es handelt sich um ein Computersystem, das so entwickelt wurde, dass es eigenständig arbeiten kann
- Nach seiner Einführung im Markt kann es sich anpassen (muss aber nicht, Hinweis: „may“)
- Es kann aus den Informationen, die es erhält, ableiten, wie es Ergebnisse erzeugt
- Diese Ergebnisse können Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen sein, die dann sowohl die physische Welt (z.B. durch die Steuerung eines Geräts) als auch digitale Umgebungen (z.B. durch Anpassungen in einer Software) beeinflussen.
Kurz gesagt: Ein KI-System ist ein computergesteuertes System, das selbstständig arbeitet und auf Basis von Informationen Entscheidungen trifft oder Inhalte erstellt, die unsere Umgebung beeinflussen können. Ein Kernelement ist, dass es aus bereitgestellten Inhalten neue Inhalte ableitet und keine simplen if-else Abfolgen befolgt. Damit lässt es sich klar abgrenzen von einem Algorithmus, der beispielsweise in einem Defibrillator den Herzrhythmus analysiert und darauf basierend einen Elektroschock ausgibt. Dieser Algorithmus ist nicht in der Lage, eigenständig Entscheidungen abzuleiten, sondern wurde auf spezielle Parameter hin entwickelt, gegen welche er den Herzrhythmus abgleicht.
Überblick über die regulatorischen Anforderungen in Europa und den USA
In Europa ist, auch außerhalb der Medizintechnikwelt, aktuell der EU AI Act in aller Munde. Der EU AI Act ist eine umfassende Verordnung über KI durch eine wichtige Regulierungsbehörde. Das Gesetz ordnet die Anwendungen von künstlicher Intelligenz drei Risikokategorien zu:
- Anwendungen und Systeme, die ein inakzeptables Risikodarstellen, wie z. B. ein staatlich betriebenes Social Scoring, werden verboten.
- Anwendungen mit hohem Risiko, wie z. B. ein Tool zum Scannen von Lebensläufen, das eine Rangfolge von Bewerbern erstellt, unterliegen besonderen rechtlichen Anforderungen.
- Anwendungen, die nicht ausdrücklich verboten oder als risikoreich eingestuft sind, bleiben weitgehend unreguliert.
Welche Bedeutung hat der EU AI Act nun für Medizinprodukte? Der Artikel 6 des EU AI Act zu den Klassifizierungsregeln für Hochrisiko-AI-Systeme liefert hier die Antwort. So wird hier festgelegt, dass ein AI-System als Hochrisikosystem anzunehmen ist, wenn beide der folgenden Bedingungen erfüllt sind:
- Das AI-System ist dazu bestimmt, als Sicherheitsbauteil eines Produkts verwendet zu werden, oder das AI-System ist selbst ein Produkt, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt;
- Das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a) das AI-System ist, oder das AI-System selbst als Produkt muss einer Konformitätsbewertung durch einen Dritten unterzogen werden, damit dieses Produkt gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union in Verkehr gebracht oder in Betrieb genommen werden kann.
In Anhang I des EU AI Act wird unter anderem als Harmonisierungsrechtsvorschrift die Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte (MDR) sowie die Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates vom 5. April 2017 über In-vitro-Diagnostika (IVDR) aufgelistet.
Bis spätestens 02.02.2026 wird die Europäische Kommission Leitlinien für die praktische Umsetzung des Artikel 6 zusammen mit einer umfassenden Liste praktischer Beispiele für Anwendungsfälle von KI-Systemen mit hohem und ohne hohem Risiko bereitstellen.
Als weitere Grundlage für die Regulierung von KI in Medizinprodukten in Europa kann zum Beispiel noch der Standard 34971:2023 Application of ISO 14971 to machine learning in artificial intelligence herangezogen werden. Dessen Intention ist es, Risiken speziell bei KI-Medizinprodukten zu managen. Risiken werden oft auf der Grundlage klinischer Kenntnisse der Anatomie, Physiologie oder des Zustands und realer Erfahrungen mit ähnlichen medizinischen Geräten angenommen. Bei KI-gestützten Medizinprodukten kann die Erfahrung mit ähnlichen Technologien in der Praxis fehlen, was das Risiko erhöht, dass Gefährdungen nicht erkannt, die Technologie oder der Prozess falsch verstanden oder das Risiko unterschätzt wird. Es werden keine Änderungen zur ISO 14971 vorgenommen, sondern Informationen und Anleitungen für die Anwendung der ISO 14971 auf die KI-Medizintechnik geliefert.
Der DIN hat noch eine Leitlinie zum Thema „DIN SPEC 13288 Leitfaden für die Entwicklung von Deep-Learning-Bilderkennungssystemen in der Medizin“ herausgegeben. Vor allem der Umgang mit Trainingsdaten steht bei dieser Spezifikation im Fokus, wobei auch praktische Leitlinien für die Entwicklung und den Aufbau der Deep-Learning-Systeme dargestellt werden. Die Trainingsdaten dienen der zugrundeliegende KI zur Erkennung statistischer Muster und darauf basierend können dann komplexe Aufgaben der Bilderkennung gelöst werden. Die Spezifikation legt ein besonderes Augenmerk auf die Repräsentativität der Daten und auf seltene, für die Medizin typische Bildklassen. Auch die Erklärbarkeit der Ergebnisse ist von großer Bedeutung.
Das Thema Validierung von KI in der Medizintechnik wird in folgender Spezifikation behandelt: BS 30440:2023 Validation framework for the use of artificial intelligence (AI) within healthcare. Sie enthält neben zahlreichen Praxisbeispielen konkrete Tipps zu den Bereichen Entwicklung, Validierung, Wartung und Marktüberwachung und bildet so das Lebenszyklusmodell für ein AI-System in der Medizintechnik ab. Dabei wird je Lebenszyklusphase eine Reihe thematischer Kriterien, die die wichtigsten Anforderungen an ein KI-System für das Gesundheitswesen in der jeweiligen Entwicklungsphase abdecken, genannt.
Aktuell entstehen zahlreiche weitere Standards, Technische Reports und Spezifikationen, so dass es sich lohnt, regelmäßig neue Veröffentlichungen zu prüfen.
Im Gegensatz zu Europa hat die FDA bereits 2019 begonnen, Artikel zum Thema Künstliche Intelligenz und Maschinelles Lernen zu veröffentlichen.
Als erster Artikel zu diesem Themenbereich wurde „Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD)” veröffentlicht. Der Artikel wurde erarbeitet, um zu klären, wie mit der Fähigkeit von Künstlicher Intelligenz, sich fortlaufend weiterzuentwickeln, auf regulatorischer Ebene umzugehen ist. Die bisherigen Paradigmen der FDA zur Regulierung von Medizinprodukten wurden ursprünglich nicht dafür konzipiert, die iterative, autonome und adaptive Natur von Künstlicher Intelligenz abzubilden. Auch eignen sie sich nicht wirklich, um einen schnellen Zyklus der Produktverbesserung zu erlauben und es AI-Systemen zu ermöglichen, sich ständig zu verbessern und gleichzeitig wirksame Schutzmaßnahmen zu bieten. Daher bietet das Diskussionspapier Ansätze, um innovative KI-Technologie zu fördern und gleichzeitig sicherzustellen, dass diese sicher und effektiv bleibt, insbesondere wenn sie nach der Markteinführung modifiziert oder verbessert wird. Die FDA strebt eine flexible, aber kontrollierte Umgebung an, in der KI/ML-basierte Medizinprodukte kontinuierlich weiterentwickelt werden können, ohne dass ihre Sicherheit und Leistung darunter leiden. Kurz zusammengefasst enthält das Diskussionspapier folgende Ansätze:
- Lebenszyklusmodell (Total Product Lifecycle - TPLC): Alle Prozessschritte müssen den gesamten Lebenszyklus eines Produkts umfassen – von der Entwicklung über die Markteinführung bis hin zu kontinuierlichen Updates und Verbesserungen.
- Initial Premarket Assurance of Safety and Effectiveness: Hersteller haben die Möglichkeit, einen Plan für Produktanpassungen während des Initial Premarket Reviews zu übermitteln, analog zum Prinzip eines vorher festgelegten Change Control Plans.
- SaMD Pre-Specifications (SPS): Bereits vorauszusehende Anpassungen an der Perfomance, den Eingaben oder Änderungen in Bezug auf die Zweckbestimmung können als „region of potential changes“ zur initialen Spezifikation festgelegt werden. Hier bestimmt der Hersteller, was das KI-System können soll, wenn es sich durch seine Anpassung entwickelt.
- Algorithm Change Protocol (ACP): Hierunter ist ein methodisches Vorgehen zu verstehen, um sicherzustellen, dass die zu erwartenden Anpassungen unter Berücksichtigung von Risikobeherrschungsmaßnahmen weiterentwickelt werden und dass das Medizinprodukt auch nach der Änderung „safe and effective“ bleibt. Es geht also darum, wie das KI-System weiterentwickelt werden soll.
- Approach for modifications after initial review with an established SPS and ACP: Um die Frage zu beantworten, wie mit Änderungen hinsichtlich der regulatorischen Pflichten umzugehen ist, kann folgendes Ablaufdiagramm aus dem FDA-Diskussionspapier auf Seite 13 herangezogen werden:
- Quality Systems and Good Machine Learning Practices (GMLP): Die Entwicklung und Einhaltung von „Good Machine Learning Practices“ neben einem Qualitätsmanagementsystem werden gefordert. So soll sichergestellt werden, dass die KI-Systeme sicher und effektiv bleiben, auch wenn sie kontinuierlich angepasst und aktualisiert werden.
- Transparency and real-world performance monitoring of AI/ML-based SaMD: Hersteller sollen Daten im Feld sammeln und überwachen, um das Risiko von Änderungen an KI-basierten Medizinprodukten zu mindern und so das Nutzen-Risiko-Profil bei der Bewertung des KI-Medizinproduktes zu unterstützen. Im Sinne der Transparenz sind die Hersteller angehalten, die FDA regelmäßig über Anpassungen, die im Rahmen von SPS und ACP umgesetzt werden, zu informieren. Darüber hinaus sollen auch Anwender, Patienten oder Medizintechnikhersteller informiert werden.
Einen guten Überblick über diese Ansätze liefert folgende Grafik, welche im FDA-Diskussionspapier auf Seite 8 zu finden ist:
Als weiteren Artikel zum Themenbereich AI veröffentlichte die FDA im Januar 2021 den Artikel „Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan“. Mit diesem Action Plan wurden die Vorschläge des “Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD)” weiter verfeinert. So wird beispielsweise ein Guidance-Dokument herausgegeben, welches genauer auflistet, welche Elemente SPS und ACP umfassen sollen. Außerdem wird die Harmonisierung im Zuge der Weiterentwicklung der Good Machine Learning Practices (GMLP) gefördert. Wissenschaftliche Untersuchungen zum Thema Bias und Robustheit von künstlicher Intelligenz werden gefördert und unterstützt.
Aus dem Action Plan folgten weitere Veröffentlichungen, z.B. die „Good Machine Learning Practice for Medical Device Development: Guiding Principles” im Oktober 2021, welche 10 Grundprinzipien für die Entwicklung von KI-Systemen in der Medizintechnik umfasst:
- Multidisziplinäres Fachwissen wird über den gesamten Produktlebenszyklus hinweg genutzt
- Gute Softwareentwicklungs- und Sicherheitspraktiken werden implementiert
- Klinische Studienteilnehmer und Datensätze sind repräsentativ für die vorgesehene Patientenpopulation
- Die Trainingsdatensätze sind unabhängig von den Testdatensätzen
- Die ausgewählten Referenzdatensätze basieren auf den besten verfügbaren Methoden
- Das Modelldesign ist auf die verfügbaren Daten zugeschnitten und spiegelt die Zweckbestimmung des Geräts wider.
- Der Schwerpunkt liegt auf der Leistung des Teams aus Mensch und KI
- Die Tests zeigen die klinische Perfomance unter klinisch relevanten Bedingungen
- Dem Benutzer werden klare, wesentliche Informationen zur Verfügung gestellt
- Die Performance der im Feld befindlichen Modelle wird überwacht und die Risiken der Weiterentwicklung der KI werden gemanagt
Rund um das Thema Change Control Plan folgten noch zwei weitere Veröffentlichungen: Im April 2023 als Draft Guidance: „Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence/Machine Learning (AI/ML)-Enabled Device Software Functions“ und im Oktober 2023 „Predetermined Change Control Plans for Machine Learning-Enabled Medical Devices: Guiding Principles”. Um die Prinzipien zum Thema Transparenz weiter zu verfeinern folgte im Juni 2024 ein Artikel zu: „Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles“.
Herausforderungen, zukünftige Entwicklungen und Trends
Der Überblick über die regulatorische Landschaft in den USA und in Europa zeigt, dass die USA hier bereits deutlich besser bzw. verlässlicher aufgestellt ist und mehr konkrete Methoden bietet, was Hersteller von KI-Medizinprodukten beachten müssen. In Europa wurde zwar mit dem EU AI Act eine erste Basis geschaffen, es fehlen jedoch noch einige genauere Vorgaben für die Medizintechnik. Das Entstehen zahlreicher technischer Reports zu AI-Themen, die auch oft nicht direkt Medizinprodukte betreffen, führt dazu, dass es aktuell stellenweise Unsicherheiten sowohl bei Herstellern als auch Benannten Stellen gibt, was unter anderem die Umsetzung der Grundlegenden Sicherheits- und Leistungsanforderungen für KI-basierte Medizinprodukte betrifft. Aktuell können größtenteils nur die Standards angewandt werden, die auch für nicht-KI-Medizinprodukte Anwendung finden. Parallel dazu entstehen derzeit zahlreiche neue Standards und Technische Spezifikationen im Umfeld der KI-Medizintechnik, so dass Hersteller von eben diesen Produkten viel Zeit für regelmäßige Überprüfungen der geltenden Standards aufwenden müssen. In diesem Umfeld ist es derzeit für Hersteller nicht leicht, den Überblick zu behalten. Eine gute Orientierung im aktuell etwas unsicheren europäischen Umfeld kann daher durchaus die FDA mit ihren Leitsätzen zur „Good Practice“ für die Entwicklung von KI-Medizinprodukten bieten.
Künstliche Intelligenz (KI) hat das Potenzial, die Medizintechnik grundlegend zu verändern. Diese Innovationen können die Patientenversorgung erheblich verbessern und den Zugang zu hochwertigen medizinischen Dienstleistungen erweitern. Doch mit diesen Chancen gehen auch große Verantwortungen einher. Sicherheit und ein solides Risikomanagement sind unerlässlich, um sicherzustellen, dass KI-Systeme zuverlässig und sicher arbeiten. Eine sinnvolle und strategisch geplante Umsetzung regulatorischer Anforderungen hilft, um das volle Potenzial dieser bahnbrechenden Technologien zu nutzen und gleichzeitig das Vertrauen der Patienten und medizinischen Fachkräfte zu bewahren.
Hier finden Sie spannende Fortbildungen aus dem Software-Bereich für Medizinprodukte.
Unser Newsletter „qonzentrat“
kompakt, professionell und präzise
Profitieren Sie von unserem Fachwissen.
Jetzt anmelden
