Unsere Experten-Videoreihe:
Runde 7

Dr. Jens-Uwe Hagenah: Guten Tag meine Damen und Herren! Wir heißen Sie herzlich willkommen zur 7. Folge unseres Video-Casts zum Thema „Klinische Bewertung“. Heute wollen wir insbesondere darüber sprechen, wie man für das zu bewertende Produkt klinische Daten bekommen und bewerten kann. Wir, das sind Professor Michael Imhoff und ich, Jens-Uwe Hagenah. In der letzten, der 6. Folge, hatten wir ausführlich darüber gesprochen, wie man den Stand der Technik erhebt, der ja Grundlage des Vergleichs mit dem zu bewertenden Produkt ist. Wir hatten geguckt, wie man dort Leistungsfähigkeit und Sicherheit analysieren kann. Es ging um den klinischen Nutzen, der bereits im Stand der Technik vorhanden ist, und darum, welches Nutzen-Risiko-Verhältnis die Produkte nach dem Stand der Technik schon erreicht haben. Heute geht es dann auch darum, die einzelnen Quellen anzugucken.

Dr. Jens-Uwe Hagenah: Michael, was können denn so Quellen von klinischen Daten für das zu bewertende Produkt sein?

Prof. Michael Imhoff: Quellen können einmal das sein, was in der Literatur über Studien oder andere klinische Daten mit meinem eigenen Produkt, also dem zu bewertenden Produkt, oder mit äquivalenten Produkten zu finden ist. Oder eben auch Studien – insbesondere klinische Prüfungen – mit dem eigenen Produkt oder äquivalenten Produkten. Grundsätzliche alle klinischen Studien, die mit meinem oder äquivalenten Produkten durchgeführt wurden.

Dr. Jens-Uwe Hagenah: Jetzt geht es also darum, die Daten, die vorhanden sind, zu identifizieren. Welche Möglichkeiten existieren denn da? Insbesondere bei der Frage: Was muss ich mir denn alles zu diesen Daten angucken, wenn es jetzt um die eigenen klinischen Prüfungen geht – also diejenigen, die der Hersteller selber mit seinen Produkten durchgeführt hat?

Prof. Michael Imhoff: Wenn man klinische Prüfungen durchgeführt hat – gerade in der jüngeren Zeit, in den letzten Jahren – dann wird man die Durchführung dieser klinischen Prüfung entsprechend einem guten Studienprotokoll, was sich zum Beispiel an die ISO 1455 anlehnt, durchgeführt haben. Wenn dem so ist, dann wird man sicherlich bei der Auswertung auch wenigstens von der Datenqualität her keine allzu bösen Überraschungen erleben. Man wird da dann die Auswertung entsprechend dem Studienprotokoll durchführen können. Schwieriger ist es, wenn ich ältere Studien habe oder auch zum Beispiel unvollständig durchgeführte Studien – es gibt ja verschiedene Gründe, warum Studien abgebrochen wurden oder warum Studienteilnehmer, insbesondere auch Studienärztinnen und -ärzte, Studien nicht zu Ende geführt haben. Wenn man jetzt davon ausgeht, wir haben unsere Studie regelhaft durchgeführt, dann haben wir eigentlich auch alle Informationen, die wir für die Studien brauchen. Das, was wir inhaltlich brauchen, mussten wir eigentlich schon bei der Erstellung des Studienprotokolls festlegen. Das heißt: Haben wir alle relevanten Studienziele berücksichtigt? Entsprechen die Studienziele dem, was ich über das Produkt aussagen oder was ich über das Produkt erforschen möchte? Sind die richtigen Patientenpopulationen inkludiert? Sind die Fallzahlen ausreichend? Und natürlich: Ist der statistische Auswerterplan korrekt? Das sind alles Dinge, die ich spätestens dann, wenn ich den Studienbericht schreibe, klären muss.

Dr. Jens-Uwe Hagenah: Und das wäre etwas, wenn man jetzt auf die klinischen Bewertungen guckt, die dann nochmal angeguckt werden, ob all das, was du gerade geschildert hast, tatsächlich erfolgreich durchlaufen wurde?

Prof. Michael Imhoff: Ja! Wenn ich die klinische Studie als klinische Prüfung, also als die entscheidende oder eine der wenigen entscheidenden Studien zum Nachweis von Leistungsfähigkeit, Sicherheit und Nutzen meines Medizinproduktes durchgeführt habe, dann sollten diese Daten auch vollständig in die klinische Bewertung einfließen – und auch die Fragen, die ich in der klinischen Bewertung an das Produkt habe, klären können.

Dr. Jens-Uwe Hagenah: Das würdest du dir dann nochmal angucken, dass das gegeben ist?

Prof. Michael Imhoff: Natürlich. Das wäre auch etwas, das schon vorher im Studienbericht dargelegt werden muss. Eigentlich ist es unsere normale Vorgehensweise, wenn wir einen umfangreichen Studienbericht haben, das wir daraus die wichtigsten Teile wirklich wieder in die klinische Bewertung übernehmen, damit die klinische Bewertung überhaupt lesbar bleibt. Und für Detailfragen dann wieder auf den Studienbericht verweisen

Dr. Jens-Uwe Hagenah: Wann würde ich denn eigene klinische Daten aus der Verwendung ausschließen müssen?

Prof. Michael Imhoff: Eigentlich gar nicht. Es ist eher die Frage, welche klinischen Daten kann ich einschließen, um bestimmte Kriterien zu überprüfen. Wenn ich Fragen zur Leistung habe, zur Leistungsfähigkeit meines Produktes, dann müssen diese Daten von hoher Qualität sein. Sie müssen auch statistisch hinreichend mächtig sein, damit ich eine Aussage zum Beispiel zur Messgenauigkeit oder zur Wirkstärke meines Medizinproduktes treffen kann. Wenn ich aber in Richtung Sicherheit gehe, wo ich insbesondere die Fragen stellen: Habe ich unerwartete Nebenwirkungen? Oder habe ich häufiger Nebenwirkungen, als ich sie erwarte? – Dann ist jede Information, auch aus zum Beispiel abgebrochenen klinischen Studien, relevant, weil sie ja auch Hinweis geben können, dass irgendwo eine seltene Nebenwirkung beobachtet wurde.

Dr. Jens-Uwe Hagenah: Das ist der Teil eigene klinische Daten, die durch eigene klinische Prüfungen erzeugt wurden. Die meisten klinischen Bewertungen haben ja einen riesengroßen Teil der Daten aus der Literatur. Diese werden mit einer gewissen Systematik gesucht, erhoben und anschließend verarbeitet. Was gibt es da für Kriterien, die ich bei der Suche nach diesen klinischen Daten berücksichtigen muss? Und worauf muss ich bei der Durchführung dieser Suche achten?

Prof. Michael Imhoff: Wenn ich eine Literatursuche aufbaue, dann orientiere ich mich – das wird auch in verschiedenen Guidance Dokumenten vorgeschlagen – an bestimmten Kriterien, zum Beispiel PICO-Kriterien. Ich überlege mir also, welche Patienten und welche Probleme, sprich Indikationen und Diagnosen, betrachten werden sollen, welche Interventionen. Ein Beispiel: Ich untersuche die Verwendung einer Hüftgelenksprothese. Dann ist das Ziel der Comparator, d.h. die Vergleichsintervention. Das macht eigentlich nur bei therapeutischen Studien Sinn, wo ich dann sage, ich vergleiche zum Beispiel eine operative mit einer nicht-operativen Intervention als Kontrolle. Oder ich vergleiche zwei Messmethoden mit einer Methode, die Referenz-Methode ist. Aber ich habe auch, zum Beispiel wenn ich Werkzeuge habe wie Skalpelle oder Beatmungsgeräte, dann die Frage, wogegen ich diese Produkte klinisch vergleichen soll. Da ist dann dieses PICO-Schema nicht mehr sauber anwendbar. Das letzte sind die Outcome-Parameter, d.h. welche klinischen Parameter möchte / muss ich untersuchen, welche sind relevant auch in Hinblick darauf, welche Behauptungen ich über mein Medizinprodukt aufgestellt habe? Zum Beispiel wäre das bei der Hüftprothese: Reduktion von Schmerzen, Verbesserung von Beweglichkeit und Belastbarkeit.

Dr. Jens-Uwe Hagenah: Typischerweise sicher so: Wenn man etwas sucht, dann kann man sehr eng suchen. Dann wird man wenig Daten erhalten, die man nicht verwenden kann. Oder man kann eher unspezifisch suchen. Man wird dann sehr viele Daten bekommen, hat dabei auch das Risiko, das man etwas Wichtiges übersieht, verkleinern können … wie macht man so eine Abwägung zwischen Sensitivität und Spezifität der Suche?

Prof. Michael Imhoff: Das hängt sehr stark davon ab, in welchem Anwendungsbereich man sich befindet. Wenn ich jetzt zum Beispiel Interventionen, also Produkte, die in der Behandlung der koronaren Herzkrankheit eingesetzt werden, untersuche, da habe ich eine unglaubliche Fülle an Studien, auch an qualitativ sehr hochwertigen Studien. Wenn ich über die koronare Herzkrankheit suche, dann finde ich allein pro Jahr würde ich sagen 20 bis 30 hochqualitative Metaanalysen, die teilweise zigtausende von Patienten inkludieren. Da würde ich dann sehr eng suchen und sagen, ich suche nach meiner klinischen Fragestellung erst mal nur nach Metaanalysen Wenn ich eine so große Fülle an Daten habe, ist es sehr sehr unwahrscheinlich, dass ich mit qualitativ weniger hochwertigeren Studien noch mehr Erkenntnis gewinne. Umgekehrt: Wenn ich eine seltene Erkrankung habe oder wenn ich ein komplett neues Behandlungsverfahren habe, wo ich schon von vornherein vermute, dass ich nur sehr wenige Studien finden kann, dann muss ich natürlich breit suchen mit dem Risiko, dass ich relativ viele Studien ausschließen muss und dadurch einfach unnötige Mehrarbeit habe.

Dr. Jens-Uwe Hagenah: Gibt es beschriebene Verfahren, an denen man sich orientieren kann? Würdest du so etwas nach MEDDEV 2.7/1 durchführen? Würdest du noch bei Cochrane nach systematischen Reviews gucken? Wenn du jetzt so etwas wie ein Protokoll für die vorgesehene Suche aufstellen sollst.

Prof. Michael Imhoff: Ich würde mich an beiden orientieren. Allerdings muss man ganz klar sagen, dass die Anforderungen aus der MEDDEV 2.7/1 Revision 3 und vor allem auch Revision 4 teilweise aus wissenschaftlicher Sicht nicht immer hilfreich sind. Bei Cochrane ist es so, dass Cochrane eine sehr detaillierte Beschreibung – das Cochrane-Handbuch ist eine wunderbare Quelle von Informationen, auch von Handlungsanweisungen, wie man eine Metaanalyse durchführen soll – liefert. Viele Fragestellungen, die wir bei den Medizinprodukten haben, gerade wenn es um Produkte mit Werkzeugcharakter geht, sind in der Cochrane-Systematik aber relativ schwer abzubilden. Deswegen orientieren wir uns häufig zwar an den grundsätzlichen Konzepten (Wie führe ich eine Literatursuche durch? Wie dokumentiere ich sie?) gerne an Cochrane – damit macht man garantiert nichts falsch. Aber bei anderen Fragen (Welche Art von Literatur schließt man aus? Welche Kriterien gibt es auch für den Ausschluss von Literatur?) muss man sich dann wirklich daran orientieren, welche Fragen man hat und wie die Antworten einem gegeben werden sollen.

Dr. Jens-Uwe Hagenah: Das ist dann der Teil Erfahrung des Durchführenden, ob bestimmte Herangehensweisen eher schlechter oder eher besser zum Produkt passen?

Prof. Michael Imhoff: Richtig. Manchmal muss man auch einfach verschiedene Suchen ausprobieren, ob man überhaupt irgendetwas findet, was passt, was einem Informationen liefert.

Dr. Jens-Uwe Hagenah: Wie verträgt sich damit, dass die Suche ja nicht willkürlich sein soll?

Prof. Michael Imhoff: Jede Suche muss begründet sein – und man muss sie auch verteidigen können. Wenn ich keine unsinnigen Suchen mache oder wenn ich sage, eine Suche ist unsinnig und ich mache sie dann nicht – dann ist das eine klare Begründung. Was mir natürlich nicht passieren darf: Ich sage, ich mache diese Suche jetzt nicht und wenn man diese Suche gemacht hätte, hätte man die entscheidenden Studien gefunden – das darf einem natürlich nicht passieren. Aber das passiert einem eigentlich auch nicht.

Dr. Jens-Uwe Hagenah: Das schließt auch die Frage ein, bei welchen Datenbanken ich denn nachgucke. Was einem sofort einfällt sind Embase und die FDA-Datenbank. Gibt es da noch Weitere?

Prof. Michael Imhoff: Auf der Literaturseite benutzen wir eigentlich immer MEDLINE, bzw. als Benutzerschnittstelle PubMED, und als kommerzielle Datenbank Embase. Damit hat man eigentlich im Medizinbereich die breiteste Abdeckung. Der einzige Nachteil von EMBASE ist, dass es eben teuer ist. Bei den meisten Literatursuchen kriegt man meistens sogar mehr Treffer, als man wirklich gebrauchen kann. Was man da dann nicht mehr findet, da kann man dann auch davon ausgehen, dass das in der Regel nicht mehr relevant ist. Fußnote: Es gibt ganz seltene Situationen, wo ich dort gar nichts finde. Wenn ich jetzt zum Beispiel auf Teufel komm raus für ein bestimmtes Medizinprodukt / einen Produkte-Namen Literatur haben möchte – aus welchen Gründen auch immer – kann es sein, dass ich weder bei MEDLINE noch bei Embase etwas finde. Dann würde ich noch breiter suchen. Nächste Suchstufe wäre dann Google Scholar. Aber da Google Scholar von der Syntax her sehr ineffizient ist, ist das eigentlich nur eine Ausnahmesituation.

Dr. Jens-Uwe Hagenah: Wie legst du Zeiträume fest, wie weit du zurück suchst? Du sagtest, wenn Metaanalysen vorliegen hast du einen anderen Fall, als wenn du eigentlich erwarten würdest, fast nichts zu finden.

Prof. Michael Imhoff: Wenn man sich überlegt, dass es ungefähr 10 bis 20 Jahre dauert, bis sich neue medizinische Kenntnisse in die medizinische Praxis übersetzen, dann ist glaube ich ein initialer Suchzeitraum von 10 Jahren ein guter Startpunkt. Das ist auch das, was wir in der Regel machen, gerade wenn wir klinische Bewertungen zum ersten Mal schreiben. Oder auch gerade jetzt, wo wir immer noch von MDD nach MDR migrieren: Da ist die erste klinische unter der MDR eine komplett neue klinische Bewertung. Da würden wir dann typischerweise 10 Jahre nehmen. Wenn ich aber jetzt von vornherein schon weiß, dass sich zum Beispiel eine Technologie vor 15 Jahren etabliert hat und sich seitdem eigentlich nicht mehr großartig was getan hat, dass es da auch keine neuen Studien geben kann – dann würde ich den Zeitraum entsprechend auf 20 Jahre verlängern. Bei dem Beispiel der KHK, der koronaren Herzkrankheit, würde ich meinen Suchzeitraum unter Umständen auf 5 Jahre festlegen, wenn ich dann genügend Studien bekomme. Das sollte man dann im Einzelfall begründen, zumindest, wenn man den Zeitraum einschränkt. Bei 10 Jahren oder länger haben wir bisher noch nie eine Nachfrage bekommen, dass das zu wenig gewesen wäre.

Dr. Jens-Uwe Hagenah: Das ist ja als Daumenwert schon mal sehr hilfreich. Wenn die ganzen Antworten von der Literatursuche vorliegen, was ist dann der nächste Schritt? Wie kriegt man das ganze wieder in Richtung einer Systematik behandelt?

Prof. Michael Imhoff: Zuerst wird eine Literaturselektion durchgeführt. Man wird identifizieren, welche der gefundenen Literaturstellen überhaupt relevant sind.

Dr. Jens-Uwe Hagenah: Nach welchen Kriterien macht man das?

Prof. Michael Imhoff: Wir haben da einen dreistufigen Prozess. Zunächst haben wir festgelegt, welches die Suchkriterien sind. Im Rahmen dieser Suchkriterien legt man teilweise auch schon fest, welches die Ausschlusskriterien sind. Wenn ich jetzt sage, ich suche nach Studien zu Hüftprothesen bei über 75-Jährigen, dann würden schon automatisch alle Studien bei jüngeren Patienten aus dem Raster fallen. Sobald ich weiß, in der Studie sind es jüngere Patienten, fällt diese Studie raus, weil sie eben den Einschlusskriterien nicht genügt. So hangelt man sich dann durch die gesamten Treffer hindurch. Erfahrungsgemäß kann man 70 bis 80 Prozent der nicht relevanten Literatur schon auf der Ebene des Titels ausschließen, weil eben im Titel klar ist, das passt nicht. Dann geht man auf die Abstract-Ebene, schaut sich im Abstract beispielsweise Kriterien wie das Patientenalter oder geschlechterspezifische Angaben an. Die restlichen Literaturstellen muss man sich dann im Volltext anschauen. Erfahrungsgemäß fallen dann nochmal von allen Treffern zwischen 5 und 10 Prozent auf der Volltextebene raus, weil man dann sehen kann, dass dann doch nicht das richtige Produkt untersucht wurde. So ungefähr läuft der Selektionsprozess. Dann kommt natürlich die Frage nach der Bewertung der Literatur.

Dr. Jens-Uwe Hagenah: Dazu erhebe ich dann für alle Literaturstellen einen möglichst identischen Satz an Kriterien, um sie tatsächlich später beispielsweise anhand der Anzahl der Patientenpopulation und Ähnlichem vergleichbarer zu machen?

Prof. Michael Imhoff: Ja und nein. Es kommt darauf an, welches Ziel ich habe. Wir machen es in der Regel nicht so, dass wir die Daten zu echten Metaanalysen zusammenfassen. Wir bleiben eigentlich bei der klinischen Bewertung auf der Stufe der systematischen Reviews – ohne weitere statistische Analyse – stehen. Jede Literaturstelle beurteilen wir dann natürlich danach, ob dass Produkt, was untersucht wurde, unserem Produkt entspricht oder ein äquivalentes Produkt ist. Oder wenn wir vom State of the Art sprechen ein ähnliches Produkt. Da ist es relativ selten so, dass wir bei Einzelstudien Studien haben, die ein unpassendes Gerät haben, weil wir das ja schon vorher aussortiert haben. Aber dann wird man sich immer entsprechend den Empfehlungen die Beurteilung anschauen – das machen wir immer. Sind es die passenden Daten? Sind es die passenden Patienten? Ist es die richtige Anwendung? Sind die Daten ausreichend? Hat die Statistik interne Validität – danach wird ja gefragt? Und hat sie eine klinische Relevanz? Und dann fassen wir das ganze im Sinne eines narrativen Reviews zusammen, d.h. wir sagen: Wir haben x Metaanalysen vorliegen und alle diese Metaanalysen weisen nach, dass beispielsweise das Stenting bei KHK mit einer entsprechend hohen Einschränkung der fraktionellen Flussreserve des Gefäßes im Durchschnitt besser ist, als nichts zu machen.

Dr. Jens-Uwe Hagenah: Damit würde man dann so etwas wie Fallzahlen, Populationen, Ergebnisse oder auch mögliche aufgetretene Nebenwirkungen jeweils tabellarisch für alle gefundenen und ausgewerteten Literaturstellen zusammenfassen? Und dann den Weg von der ursprünglichen Suche hin zu dem Produkt, zu den Literaturstellen, die dann tatsächlich angeguckt werden, würde man im Sinne der Dokumentation von Ein- und Ausschlusskriterien (Was ist auf welcher Ebene raus geflogen?) entsprechend dokumentieren?

Prof. Michael Imhoff: Das Ziel ist es, das vollständig nachvollziehbar ist, wie eine Literaturstelle gefunden wurde und auf welchem Weg sie wieder verschwunden ist – und wo sie jetzt liegt. Und für die, die man ausgewählt hat, warum man sie wie ausgewertet hat.

Dr. Jens-Uwe Hagenah: Was noch gefordert wird – wir sind ja immer noch auf der Ebene der einzelnen Literaturstelle – ist so etwas wie eine Gewichtung, die MEDDEV vorsieht. Wonach kann man denn sagen, diese Studie hat mehr Gewicht, als eine andere? Du hattest erwähnt: Ist es eigentlich meine Patientenpopulation? Ist es ein hinreichend ähnliches Verfahren, was eingesetzt wurde? Was gibt es so an Kriterien, wo du am Ende sagen kannst, dass ist die wichtigste und das ist eher eine unwichtige Literaturstelle?

Prof. Michael Imhoff: Das ist nicht ganz einfach. Ich würde sagen, dann, wenn ich hochqualitative Metaanalysen habe, die genau meine Fragestellung abbilden, dann habe ich da das höchste Niveau der Evidenz – und da würde ich dann auch keine weitere Differenzierung zwischen solchen Metaanalysen mehr machen. Ich würde mir nur noch angucken, wie stark überlappen diese Metaanalysen – also wie viele Studien sind in verschiedenen Metaanalysen gleich eingeschlossen. Und dann eben alles das, was mit meinem oder einem äquivalenten Produkt gemacht wurde an Studien hat dann auch eine hohe Relevanz. Und je weiter ich mich sozusagen von meinem Produkt oder meiner Anwendung entferne, desto weniger Relevanz hat es. Bei den Studien, die Nebenwirkungen beschreiben – gerade wenn wir nur relativ wenig Studien dazu haben – dann hat jede dieser Literaturstudien, auch wenn es nur ein einzelner Fall ist, hohe Relevanz.

Dr. Jens-Uwe Hagenah: Vielen Dank für die Einsicht. In dieser Folge haben wir also besprochen, was man auf der Ebene der einzelnen Literaturstelle machen kann – und wie man sie finden kann. In der nächsten Folge werden wir uns damit beschäftigen, in welcher Form nun der Vergleich zwischen den einzelnen Literaturstellen stattfinden kann und in welcher Form alle Literaturstellen zusammen das Ergebnis abliefern, dass uns dann sagen kann, ist dieses Produkt in seiner Leistungsfähigkeit und Sicherheit nachgewiesen. Lieber Michael, vielen Dank. Ihnen vielen Dank für die Aufmerksamkeit und dann hoffentlich bis zur nächsten Folge.

Prof. Michael Imhoff: Auch von mir aus vielen Dank und auf Wiedersehen.