KI in Medizinprodukten
Der technische Lebenszyklus im Kontext des EU AI Act
AI Act (EU-Verordnung 2024-1689)
Die Europäische Union hat die EU-Verordnung 2024/1689 über Künstliche Intelligenz (AI Act) verabschiedet, um einen sicheren Einsatz von KI zu gewährleisten.
In diesem Blogbeitrag geben wir einen Überblick über den für Medizinproduktehersteller relevanten Teil des EU AI Act. Dieser Blog zeigt welche Anforderungen an Medizinproduktehersteller und die bereitgestellte Dokumentation für Anwender beinhalten muss und geht weiterhin auf Transparenz, Datenpflege, Lebenszyklus ein.
1. Anforderungen an medizinische Geräte
AI-Act Kapitel III, Abschnitt 2 beschreibt Anforderungen an KI-Systeme in Medizinprodukten.
Hier sind die wichtigsten Anforderungen:
1. Einhaltung der Anforderungen und Nachweis der Konformität
Die Benannte Stelle überprüft die Konformität der Systeme durch umfassende Prüfungen hinsichtlich Sicherheit, Leistungsfähigkeit und regulatorischer Anforderungen.
2. Aufzeichnungspflichten (Record-keeping)
Hersteller müssen umfassende Aufzeichnungen über die Entwicklung und Lebensdauer des KI-Systems führen, um die Konformität mit den Anforderungen nachzuweisen. Diese dienen für interne Prüfungen, zur Vorlage bei Aufsichtsbehörden oder Benannten Stellen.
3. Daten und Daten-Governance
Hersteller müssen sicherstellen, dass die Datenqualität hoch ist und die Daten rechtmäßig verarbeitet werden. Dies betrifft sowohl Patientendaten als auch Trainingsdaten, die zur Entwicklung der KI-Algorithmen genutzt werden. Die Datenverwaltung muss sicher und transparent sein, um die Genauigkeit und Zuverlässigkeit der KI zu garantieren. Die Anforderungen des Datenschutzes sind zu erfüllen.
4. Risikomanagement
Es müssen alle möglichen Risiken im Zusammenhang mit der Nutzung der Systeme identifiziert, bewertet und minimiert werden, welche
- technologische Risiken
- ethische Risiken
- sicherheitsbezogene Risiken
umfassen. Das Risikomanagementsystem muss regelmäßig überprüft und aktualisiert werden, um neuen Risiken gerecht zu werden.
5. Technische Dokumentation
Hersteller müssen eine detaillierte technische Dokumentation bereitstellen, die
- Aufbau
- Funktionsweise
- Lebenszyklus
des Systems beschreibt. Diese werden durch Benannte Stellen und Aufsichtsbehörden überprüft. Die technische Dokumentation muss Informationen zu
- Algorithmen
- Trainingsprozess
- Daten
enthalten.
6. Transparenz und Bereitstellung von Informationen für Nutzer
- Benutzer und Betroffene sollen über
- Funktionsweise
- möglichen Risiken
- Nutzung
des KI-Systems informiert werden. Es bedeutet, dass Anwender klare Informationen erhalten müssen, wie die KI arbeitet, welche Entscheidungen sie trifft und welche Risiken dabei bestehen könnten. Nutzer sollen in der Lage sein, die Entscheidungen der KI nachzuvollziehen.
7. Menschliche Überwachung (Human Oversight)
KI-Systemen müssen durch Menschen überwacht werden. Der Mensch bleibt verantwortlich, dass das System korrekt funktioniert und keine unvorhergesehenen Risiken entstehen. Menschliche Kontrolle soll sicherstellen, dass bei Bedarf menschliches Eingreifen möglich ist.
8. Genauigkeit, Robustheit und Cybersicherheit
Die Genauigkeit, Robustheit und Cybersicherheit soll sicherstellen, dass das System seine Aufgaben zuverlässig und sicher erfüllt. Hersteller müssen nachweisen, dass ihre KI-Systeme robust genug sind, um Störungen, Manipulationen oder Cyberangriffen standzuhalten. Eine sichere und robuste Architektur ist dabei wichtig.
2. Zweckbestimmung und Stand der Technik
1. Berücksichtigung des Verwendungszwecks
Der Verwendungszweck des KI-Systems muss klar definiert sein, einschließlich der Angabe, wie und in welchem Kontext es eingesetzt werden soll. Dies ist notwendig, um:
- das KI-System entsprechend zu optimieren und zu überprüfen
- die Risiken zu bewerten und geeignete Schutzmaßnahmen festzulegen
2. Berücksichtigung des Standes der Technik
Die Entwicklung und Implementierung muss auf dem neuesten Stand der Forschung und Technik basieren (allgemein anerkannten Stand der Technik). Hersteller sollen ihre Systeme kontinuierlich verbessern und anpassen, durch die Integration neuester Algorithmen, Datenverarbeitungstechniken und Sicherheitsmaßnahmen.
3. Vollständige Compliance
Entwicklung und Betrieb von KI-Systemen muss im Einklang mit technischen Anforderungen erfolgen. Es müssen Überwachungs- und Prüfverfahren implementiert werden, um fortlaufende Compliance sicherzustellen. Dies wird durch robuste Prozesse für jede Phase des Produktlebenszyklus erreicht.
4. Integration von Test- und Berichtsprozessen
Die notwendigen Test- und Berichtsprozesse können Hersteller in ihre bestehenden (QMS) integrieren. Es wird empfohlen, dass alle notwendigen Testverfahren, Risikobewertungen und Berichte in bestehende Arbeitsabläufe einzubinden.
3. Transparenz und Informationsbereitstellung
Die Systeme müssen so gestaltet werden, dass ihre Funktionsweise für den Nutzer klar und nachvollziehbar ist.
1. Anforderungen an die Transparenz in der Systemgestaltung
Nutzer und Hersteller müssen genau verstehen, wie die KI funktioniert, welche Algorithmen verwendet werden und wie Entscheidungen getroffen werden.
2. Bereitstellung von Bedienungsanleitungen
Eine Bedienungsanleitung in einem digitalen Format muss den Anwendern zur Verfügung gestellt werden. Diese Anleitung muss folgende Kriterien erfüllen:
- Klarheit: Die Informationen sollten klar und prägnant formuliert sein.
- Vollständigkeit: Alle relevanten Informationen für den Betrieb und die Nutzung des Systems müssen enthalten sein.
- Korrektheit: Die bereitgestellten Informationen müssen genau und auf dem neuesten Stand sein.
- Verständlichkeit: Die Anleitung sollte in einer Sprache verfasst sein, die für die Zielgruppe verständlich ist.
3. Eigenschaften, Fähigkeiten und Leistungsgrenzen
Die Bedienungsanleitung muss eine klare Beschreibung der Eigenschaften, Fähigkeiten und Leistungsgrenzen enthalten. Dies umfasst:
- Funktionsumfang: Informationen darüber, was das System leisten kann und in welchen Szenarien es am besten geeignet ist.
- Einschränkungen: Hinweise darauf, in welchen Situationen die Leistung des Systems möglicherweise nicht den Erwartungen entspricht oder wo besondere Vorsicht geboten ist.
- Potenzielle Risiken: Aufklärung über die potenziellen Risiken, die mit der Nutzung des Systems verbunden sein können.
4. Vorherbestimmte Änderungen
Vorherbestimmte Änderungen am System müssen vom Hersteller bereitgestellt werden, damit Nutzer verstehen, wie sich die Änderungen auf die Funktionalität auswirken könnte.
5. Mechanismen zur Protokollierung und Dateninterpretation
Es müssen Protokolle ordnungsgemäß erfasst, gespeichert und interpretiert werden. Diese Protokolle sollten folgende Mechanismen umfassen:
- Protokollierungsmechanismen: Detaillierte Anleitungen zur Aufzeichnung relevanter Daten und Ereignisse, die während des Betriebs des KI-Systems auftreten. Dies kann helfen, Probleme frühzeitig zu erkennen und die Leistung des Systems zu bewerten.
- Dateninterpretation: Unterstützung bei der Analyse und Interpretation der gesammelten Protokolldaten, um Muster und Anomalien zu identifizieren und informierte Entscheidungen zu treffen.
4. Genauigkeit, Robustheit und Cybersicherheit
1. Anforderungen an die Genauigkeit
KI-Systeme müssen so konzipiert und entwickelt werden, dass sie ein angemessenes Maß an Genauigkeit erreichen. Dies umfasst:
- Präzise Vorhersagen und Entscheidungen: Die Systeme sollten in der Lage sein, genaue Vorhersagen zu treffen und fundierte Entscheidungen zu fällen, die auf den verfügbaren Daten basieren.
- Überprüfung der Genauigkeit: Während des gesamten Lebenszyklus des Systems sollte die Genauigkeit regelmäßig überprüft werden, um sicherzustellen, dass die Leistungsstandards eingehalten werden.
2. Robustheit des Systems
Die Robustheit bezieht sich auf dessen Fähigkeit, konsistent und zuverlässig zu funktionieren, auch wenn unerwartete Situationen oder Störungen auftreten:
- Konsistenz über den gesamten Lebenszyklus: Die Systeme müssen so entwickelt werden, dass sie während ihrer gesamten Lebensdauer konsistente Leistungen erbringen. Dies schließt die Berücksichtigung von Änderungen in den Eingabedaten und in der Betriebsumgebung ein.
- Fehler- und Fehlertoleranz: Die Systeme sollten möglichst widerstandsfähig gegen Fehler, Störungen oder Inkonsistenzen sein. Dies bedeutet, dass sie in der Lage sein sollten, Fehler zu erkennen und angemessen zu reagieren, ohne dass dies zu gefährlichen Situationen führt.
3. Cybersicherheit
Folgende Punkte sind bei der Cybersicherheit zu berücksichtigen:
- Sicherheitsmaßnahmen: Es sollten geeignete Sicherheitsmaßnahmen implementiert werden, um die Integrität, Vertraulichkeit und Verfügbarkeit von Daten zu schützen. Dazu gehören unter anderem Authentifizierungsverfahren, Verschlüsselung und Zugangskontrollen.
- Risikobewertung: Vor der Implementierung ist eine Risikobewertung erforderlich, um potentielle (Cybersecurity)-Schwachstellen zu identifizieren. Basierend darauf werden Cybersicherheitslösungen entwickelt und implementiert.
4. Kontinuierliches Lernen und Bias-Reduktion
Bei der Entwicklung von kontinuierlich lernenden Systemen ist es wichtig, Risiken von Bias (Vorurteilen) zu minimieren oder, wenn möglich, ganz zu eliminieren. Wichtige Überlegungen hierzu sind:
- Datenvielfalt und -qualität: Die Trainingsdaten sollten repräsentativ und vielfältig sein, um sicherzustellen, dass das Modell nicht durch Bias in den Daten beeinflusst wird. Eine sorgfältige Datenaufbereitung und -validierung ist hierbei unerlässlich.
- Überwachung und Anpassung: Kontinuierlich lernende Systeme sollten regelmäßig überwacht und angepasst werden, um sicherzustellen, dass sie keine diskriminierenden Muster erlernen und ihre Leistung im Einklang mit den ethischen und regulatorischen Standards bleibt.
5. Lebenszyklus und relevante Verpflichtungen
Die Hersteller sind verpflichtet, Sicherheit, Zuverlässigkeit und Konformität während des gesamten Lebenszyklus sicherzustellen. Im Folgenden die wichtigsten Aspekte:
1. Ex-ante-Konformitätsbewertung
Eine Ex-ante-Konformitätsbewertung ist ein Verfahren, bei dem geprüft wird, ob ein Produkt, System oder Dienstleistung vor Markteinführung die geltenden Vorschriften, Standards und Sicherheitsanforderungen erfüllt. Hersteller müssen dafür folgende Daten systematisch erfassen, dokumentieren und analysieren:
- Zuverlässigkeit: Beurteilung, wie zuverlässig das KI-System unter verschiedenen Bedingungen funktioniert.
- Leistung: Evaluierung, wie gut das System die festgelegten Anforderungen erfüllt und die erwarteten Ergebnisse erzielt.
- Sicherheit: Überprüfung, ob das System sicher im Einsatz ist und keine Risiken für die Benutzer oder Dritte darstellt.
2. Kontinuierliche Überprüfung der Konformität
Die fortlaufende Überprüfung der Konformität bedeutet, dass Hersteller sicherstellen, dass Systeme während der gesamten Lebensdauer den regulatorischen Anforderungen entsprechen. Dies umfasst:
- Regelmäßige Bewertungen: Hersteller müssen in der Lage sein, die Konformität ihrer Systeme kontinuierlich zu überprüfen und zu dokumentieren. Diese Bewertungen sollten während der gesamten Nutzung des Systems durchgeführt werden, um sicherzustellen, dass alle Änderungen und Entwicklungen berücksichtigt werden.
- Anpassung an neue Anforderungen: Hersteller sollten sich auch proaktiv auf neue regulatorische Anforderungen vorbereiten, die sich im Laufe der Zeit ergeben können.
3. Post-Market-Überwachung
Post-Market-Überwachung (PMS) bedeutet die Überwachung eines Produkts, nachdem es auf den Markt gebracht wurde. Ziel ist dessen Sicherheit, Funktionstüchtigkeit und Regelkonformität zu überprüfen. Hersteller müssen dafür:
- Ernsthafte Vorfälle melden: Alle schwerwiegenden Vorfälle sowie Fehlfunktionen, die zu Verstößen gegen die Grundrechte führen, müssen umgehend gemeldet werden.
- Vorfallberichtsysteme implementieren: Hersteller sollten Systeme zur Meldung von Vorfällen einrichten, um sicherzustellen, dass alle relevanten Informationen erfasst und angemessen behandelt werden.
4. Neue Konformitätsbewertung bei wesentlichen Änderungen
Bei wesentlichen Änderungen am System müssen Hersteller eine neue Konformitätsbewertung durchführen. Dies gilt insbesondere für:
- Substantielle Modifikationen: Wenn Änderungen außerhalb des „vordefinierten Rahmens“ für kontinuierlich lernende KI-Systeme erfolgen, ist eine neue Konformitätsbewertung erforderlich.
6. Wichtige Erkenntnisse zur EU-KI-Verordnung
Nachfolgend sind die wesentlichen Punkte der EU-Verordnung zur Künstlichen Intelligenz zusammengefasst:
1. Überprüfung der Anforderungen
Die Anforderungen sind in Kapitel III, Abschnitt 2 der Verordnung aufgeführt und beinhalten spezifische Verpflichtungen zur Gewährleistung der Sicherheit und Zuverlässigkeit der Systeme, welche konkret sind:
- Sicherheitsstandard: Hersteller müssen sicherstellen, dass ihre Systeme den festgelegten Sicherheits- und Leistungsanforderungen entsprechen.
- Dokumentation und Nachweisführung: Eine umfassende Dokumentation über die Entwicklung, die verwendeten Daten und die Validierung der Systeme ist erforderlich.
2. Übergangsbestimmungen in den Artikeln 178 und 179
Wichtige Daten und Aspekte der Übergangsbestimmungen gemäß den Artikeln 178 und 179 der Verordnung sind:
- Anwendungsdatum: Die Verordnung tritt offiziell am 2. August 2026 in Kraft.
- Durchsetzung: Bestimmungen zur Durchsetzung der Verordnung sollen bereits am 2. August 2025 in Kraft treten. Daher müssen bereits vor dem offiziellen Anwendungsdatum Maßnahmen zur Einhaltung ergriffen werden.
3. Überprüfung der Konformitätsbewertungsprozesse
Gemäß Artikel 43 der EU-KI-Verordnung sind Hersteller verpflichtet, die Konformitätsbewertungsprozesse zu überprüfen und anzupassen. Diese Prozesse umfassen:
- Interne Kontrollen: Hersteller können eine interne Kontrolle implementieren, die keine Benachrichtigung durch ein benanntes Prüforgan erfordert. Voraussetzung ist, dass sie nachweisen, dass ihr Qualitätsmanagementsystem (QMS) und die technische Dokumentation den Anforderungen entsprechen.
- Qualitätsmanagementsystem (QMS) und technische Dokumentation: Die Entwicklung und Implementierung eines effektiven QMS sind entscheidend, um die kontinuierliche Compliance der Systeme sicherzustellen. Die technische Dokumentation muss alle relevanten Aspekte der KI-Systeme abdecken, einschließlich ihrer Risiken, Sicherheitsanforderungen und der damit verbundenen Testverfahren.
Unser Newsletter „qonzentrat“
kompakt, professionell und präzise
Profitieren Sie von unserem Fachwissen.
Jetzt anmelden
