Evaluationskonzept reloaded: Think ahead!
Vor nicht einmal 12 Monaten ist die DiGA-Verordnung in Kraft getreten, inzwischen haben 12 DiGAs die Aufnahme ins Verzeichnis geschafft – eine davon haben wir auf ihrem Weg begleitet. In den vergangenen Monaten haben sich viele offene Fragen geklärt, neue sind hinzugekommen und manche sind nach wie vor aktuell – vor allem zum Evaluationskonzept.
Da mit den DiGAs auch der neue Begriff der „positiven Versorgungseffekte (pVE)“ in das SGB V eingezogen ist, gibt es entsprechend wenig Vorerfahrungen bei der Nachweisführung. Umso spannender zu sehen: Was machen die anderen DiGA-Hersteller und welche Erfahrungen haben sie gemacht?
Die Evaluation der DiGA ist sicher Pflicht, aber auch Kür. Im Kontext von Softwareprodukten mit kontinuierlich neuen Releases und knappen Budgets und agiler Entwicklung ist ein angemessenes Vorgehen – auch beim Evaluationskonzept – vorausschauend und ganzheitlich. Durch die frühzeitige und umfassende Betrachtung aller Anforderungen für den Marktzugang kann nicht nur die Aufnahme in das DiGA-Verzeichnis und somit in die kollektivvertragliche Erstattung der gesetzlichen Krankenversicherungen bestmöglich vorbereitet werden, sondern z.B. auch das Produkt zukünftig mit einem angemessenen Preis im Markt positioniert werden. Nach einem knappen Jahr ist das wohl das wichtigste Learning. Also: Think ahead!
Nachweis positiver Versorgungseffekte – Das Evaluationskonzept der DiGA
Über den DVG-Fast-Track können DiGA endgültig oder auf Erprobung ins Verzeichnis und damit in die Erstattungsfähigkeit innerhalb der GKV gelangen. Dabei ist die Aufnahme in das DiGA-Verzeichnis sowohl an die Erfüllung der allgemeinen Anforderungen zur Sicherheit, Qualität, Funktionstauglichkeit, Datensicherheit und -schutz als auch an den Nachweis positiver Versorgungseffekte gebunden. Im Rahmen der Erprobung muss auf Basis einer vergleichenden Studie nachgewiesen werden, dass die DiGA für eine bestimmte Patientengruppe einen oder sogar mehrere positive Versorgungseffekte erzielen kann.
Der mit dem DVG neu ins GKV-System gekommene Begriff der positiven Versorgungseffektes (pVE) umfasst den medizinischen Nutzen (mN) sowie patientenrelevante Struktur- und Verfahrenseffekte (pSVV). Bislang hat in der GKV nur der medizinische Nutzen eine Rolle gespielt, während die pSVV für die Erstattung nicht relevant waren. Der Gesetzgeber hat nun erkannt, dass DiGA auch Strukturen und Prozesse des Gesundheitswesens verbessern können und deren Erstattungsfähigkeit an den Nachweis eines medizinischen Nutzens und/oder patientenrelevanter Struktur- und Verfahrensverbesserungen geknüpft.
Nach Antragsstellung entscheidet das BfArM innerhalb von drei Monaten über die Aufnahme in das Verzeichnis. Ist der Nachweis positiver Versorgungseffekte bereits mit hinreichender Evidenz erbracht, kann die Anwendung endgültig in das DiGA-Verzeichnis aufgenommen werden. Alternativ ist die vorläufige Aufnahme auf Erprobung möglich und die Antragsteller erhalten zwölf Monate (in Ausnahmefällen bis zu zwei Jahren) Zeit, Daten zu erheben und den Nachweis über die pVE einzureichen.
Grundlage für die Aufnahme auf Erprobung bildet das nach allgemein anerkannten wissenschaftlichen Standards erstellte Evaluationskonzept. In diesem muss dargelegt werden, für welche positiven Versorgungseffekte (pVE) der Nachweis bei einer bestimmten Patientenpopulation erbracht werden soll und warum diese mit der DiGA angestrebt werden. Ebenso ist darzustellen, wie der Nachweis dieser Effekte innerhalb der Erprobungszeit erfolgen soll.
In dem Evaluationskonzept sollten insbesondere die Wahl des Studiendesigns, der gewählte Vergleich im Kontext der Versorgungsrealität sowie die Outcomes begründet werden.
Dabei muss das Evaluationskonzept nicht nur ein Studienprotokoll (Prüfplan) inkl. statistischem Analyseplan umfassen, sondern auch die Ergebnisse einer systematischen Auswertung von Daten zur Nutzung der DiGA angemessen berücksichtigen. Die Datenauswertung umfasst dabei die systematische Literaturrecherche und -bewertung und schließt eigene systematisch ausgewertete Daten, die in der DiGA-Anwendung gewonnen wurden, ein. Damit liefert sie erste Anhaltspunkte für wichtige Parameter der während der Erprobung durchzuführenden Studie wie z.B. anzunehmende Effektgröße, Fallzahl, Messinstrumente und Rekrutierungsmethoden.
Anforderungen an das den Nachweis und das Studiendesign
Zum Nachweis der Überlegenheit der DiGA ist eine vergleichende Studie notwendig, die vom Evidenzniveau her mindestens eine retrospektive Studie sein muss. Das BfArM kann aber auch eine prospektive Studie verlangen, wenn es davon ausgeht, dass die historischen Daten eine unzureichende Aussagesicherheit aufweisen.
Zu den allgemeinen Anforderungen an die Studie gehört, dass die Studiendurchführung in Deutschland erfolgen muss, andernfalls muss ein Nachweis über die Vergleichbarkeit der Versorgungssituation erbracht werden. Des Weiteren sollte die Studien zum Nachweis der pVE möglichst in der Versorgungsrealität angesiedelt und quantitative Forschungsergebnisse liefern. Zudem muss die Studie in einem öffentlichen Register (z.B. DRKS) erfasst werden. Die vollständigen Studienergebnisse sind spätestens 12 Monate nach Studienende zu veröffentlichen, daher sollten die Claims der Erprobungsstudie mit Bedacht gewählt werden, da auch negative Aspekte, die sich gezeigt haben, publiziert werden müssen.
Eine der wichtigsten Fragen, die im Rahmen der frühzeitigen Studienorganisation gestellt werden sollte: Wie realistisch ist es, die angestrebten Claims und deren Endpunkte auch tatsächlich innerhalb der 12-monatigen Erprobungszeit nachzuweisen?
Ein Jahr Fast Track – Was haben die anderen gemacht?
Vergleicht man die Aktivitäten der 12 derzeit ins Verzeichnis aufgenommenen DiGA nach dem PICO-Schema, zeigt sich im Hinblick auf die geplanten und erfolgten Studien zum Nachweis der positiven Versorgungseffekte ein ziemlich heterogenes Bild.
Betrachtet man beispielsweise die Population, so zeigt sich, dass die Anzahl der ICD-Codes und Anzahl der Kontraindikationen stark variieren: von einer ICD-Population (zanadio) bis zu 45 ICD-Codes (Vivira). Ein Grund hierfür ist die je nach Indikation unterschiedliche Systematik des ICD-10-Katalogs sowie sich hieraus ergebend z.B. unterschiedliche Abstufung im Hinblick auf die Erkrankungsschwere einer Indikation. Darüber hinaus sieht die Anforderung des BfArM-Leitfadens vor, dass der Nachweis über die pVE grundsätzlich für eine Population einzeln geführt werden muss, es sei denn es kann argumentiert werden, dass für verschiedene Patientengruppen eine Behandlung aufgrund bestehender Vergleichbarkeit zusammengefasst und damit auch der Nachweis gemeinsam geführt werden kann.
Im Hinblick auf die Intervention zeigt sich, dass in den meisten Studien die Intervention der DiGA alleine oder zusätzlich zur herkömmlichen Standardbehandlung (Care-as-usual – CAU) angewandt wird. Die Anwendungsdauer liegt dabei häufig zwischen 6 bis 12 Wochen, ist ein Einzelfällen aber auch deutlich länger (z.B. zanadio).
Bei der Kontrollgruppe handelt es sich häufig um die übliche Standardbehandlung CAU. Diese kann nicht nur die übliche aktive Behandlung (z.B. Physiotherapie, hausärztliche Behandlung) umfassen, sondern darüber hinaus auch eine Warteliste-Kontrolle sein. In Einzelfällen kann diese Warteliste-Kontrolle auch keine zusätzliche Behandlung zum Warten („Nicht-Behandlung“) erhalten, insofern in der Versorgungsrealität die Patienten z.B. infolge langer Wartezeiten tatsächlich keine oder eine zeitlich verzögerte Behandlung erhalten.
Die Betrachtung der Outcomes zeigt, dass in allen Studien mindestens ein pVE aus dem Bereich des medizinischen Nutzens als Claim angestrebt wird. Im Bereich der pSVV variiert die Anzahl der Claims zwischen einem einzigen und vielen verschiedenen Claims.
In nahezu allen Studien für die Aufnahme ins DiGA-Verzeichnis wurde bzw. wird als Studiendesign eine randomisierte kontrollierte Studie (RCT) zum Nachweis der pVE durchgeführt. Lediglich bei VIVIRA wird ergänzend hierzu ein intra-individueller Vergleich durchgeführt. Die Anzahl der Probanden schwankt dabei erheblich und liegt zwischen 56 (Somnio) und 524 (mika). Die Unterschiede in der Studiengröße kann beispielsweise auf die unterschiedlich große Effektstärke – je kleiner eine Effekt desto mehr Probanden werden benötigt – zurückgeführt werden, sodass eine pauschale Beantwortung der Frage, wie viele Probanden notwendig sind vom individuellen Einzelfall abhängt.
Lessons learned
Im Kontext von Softwareprodukten mit kontinuierlichen neuen Releases, knappen Budgets und agiler Entwicklung ist ein angemessenes Vorgehen – auch beim Evaluationskonzept – vorausschauend und agil. Daher ist sicher das wichtigste Learning aus den zurückliegenden Monaten: Nicht nur das Evaluationskonzept als Dokument und Anforderung im Blick haben, sondern alle relevante Aspekte und Prozesse des Marktzugangs über den Fast-Track frühzeitig bedenken!
Eine weiteres Learning aus den Rückmeldungen des BfArM ist, dass die DiGA-Entwicklung für die systematische Auswertung der eigenen DiGA-Daten weitestgehend abgeschlossen sein sollte, da das BfArM Wert darauf legt, dass die Daten mit einem Produkt erhoben werden, das ein Mindestentwicklungsstadium besitzt und im Kern schon der später gelisteten DiGA entspricht und demnach keine größeren Änderungen mehr vorgenommen werden sollten.
Die Betrachtung der eingereichten Vordaten mit der DiGA sowie die Spruchpraxis des BfArM zeigen zudem, dass die Vordaten zur vorläufigen Aufnahme ins DiGA-Verzeichnis bisher sehr heterogen waren und sich noch kein einheitliches Vorgehen etabliert hat. Daher ist es nicht selten sinnvoll im Rahmen eines Vorgesprächs mit dem BfArM über die Eignung der bestehenden oder geplanten systematischen Datenauswertung zu sprechen.
Zudem werden durch das BfArM häufig Anmerkungen zur Statistik der geplanten Erprobungsstudie gemacht. So verlangt das BfArM beispielsweise – anders als das IQWiG – eine Korrekturrechnung bei mehreren Endpunkten (multiples Testen). Die Erfahrungen aus der Spruchpraxis des BfArM sowie eine sorgfältige Auswahl der statistischen Methoden sollten entsprechend bei der Erstellung des statistischen Analyseplans (SAP) berücksichtigt werden. Insgesamt legen die bisherigen Erfahrungen nahe, dass das BfArM den gesamten Prüfplan, insbesondere aber den SAP sehr detailliert und kritisch prüft.
Eine zentrale Fragestellung liegt nach wie vor in der Wahl des geeigneten Studiendesigns sowie dem damit verbundenen Evidenzniveau für den Nachweis der positiven Versorgungseffekte. Auch wenn laut DVG grundsätzlich retrospektive Studien sowie Studien mit intra-individuellem Vergleich zulässige Studien sind, zeigen die bisherigen Erfahrungen, dass nahezu ausschließlich randomisierte kontrollierte Studien (RCT) durchgeführt wurden bzw. für die Erprobungsstudie geplant sind. Ein wesentlicher Grund hierfür könnte sein, dass ein grundsätzlich in der evidenzbasierten Medizin erforderlicher kausaler Nachweis mit anderen Studiendesigns als einer RCT nicht zu erbringen ist, sodass solche beim BfArM auch nur in Einzelfällen akzeptiert werden.
Neben den methodischen und statistischen Anforderungen an die Studie und das Evaluationskonzept ist es zugleich wichtig, Planungssicherheit herzustellen und sich frühzeitig um die Studienorganisation zu kümmern. Das bedeutet unter anderem, Studienzentren rechtzeitig vor Beginn der Erprobungszeit zu rekrutieren. Ansonsten kann es aufgrund der begrenzten Erprobungszeit von 12 Monaten, welche die Probandenrekrutierung und die abschließende Studienauswertung und Berichterstellung betreffen, schnell zeitlich eng werden. Daher sollte auch ein Ethikantrag frühzeitig vorbereitet sein und die Sitzungstermine und -häufigkeiten der Ethikkommissionen bedacht werden. Und last but not least: Der Aufwand für die Auswertung der Studie und die finale Berichterstellung zur Einreichung beim BfArM sollte nicht unterschätzt werden!
Im Rahmen unseres modularen Beratungsangebotes können wir insbesondere bei folgenden DiGA-relevanten Themen unterstützen:
- Begleitung des gesamten Antragsverfahrens | Nutzung des DVG-Fast-Tracks
- Eignung als DiGA und Erfüllung der DiGA-Kriterien: Ist mein Produkt eine DiGA?
- Nachweis positiver Versorgungseffekte | Evaluationskonzept und Studiendesign
- Anforderungen der DiGA-Verordnung: u. a. Interoperabilität, Datenschutz & Informationssicherheit
- Vorbereitung und Begleitung der BfArM-Beratungsgespräche
- Erstellen des Antrags inkl. Studienprotokoll und statistischem Analyseplan
- Vorbereitung der Preisverhandlungen