of 201/201
Qualitätsmonitoring in der ambulanten Psychotherapie ABSCHLUSSBERICHT Modellvorhaben der Techniker Krankenkasse nach § 63 Abs. 1 SGB V

ABSCHLUSSBERICHT - ptk-nrw.de · monitoring in der ambulanten Psychotherapie" sowie die Bedingungen für die Teilnahme von Versicher- ten wurden gemäß § 63 SGB V Abs. 5 vom Verwaltungsrat

  • View
    0

  • Download
    0

Embed Size (px)

Text of ABSCHLUSSBERICHT - ptk-nrw.de · monitoring in der ambulanten Psychotherapie" sowie die Bedingungen...

  • Qualitätsmonitoring in der ambulanten Psychotherapie

    ABSCHLUSSBERICHT

    Modellvorhaben der Techniker Krankenkasse nach § 63 Abs. 1 SGB V

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 3

    Impressum

    Wittmann, W.W., Lutz, W., Steffanowski, A., Kriz, D., Glahn, E.M., Völkle, M.C., Böhnke, J.R., Köck, K., Bittermann, A. & Ruprecht, T. (2011). Qualitätsmonitoring in der ambulanten Psychotherapie: Modellprojekt der Techniker Krankenkasse - Abschlussbericht. Hamburg: Techniker Krankenkasse.

    Der Abschlussbericht wurde im Auftrag der TK erstellt von den Evaluatoren des TK-Modellprojekts:

    Prof. Dr. Werner W. Wittmann, Dr. Andrés Steffanowski, Dr. David Kriz, Esther M. Glahn, Dr. Manuel C. Völkle

    Otto -Selz-Institut für Angewandte Psychologie

    verantwortlich für die Kapitel (ansonsten gemeinsam) 3.5, 3.7, 3.8.2, 3.9, 4.1, 4.2.1, 4.2.4 – 5.1.1, 5.2.-5.4.

    Prof. Dr. Wolfgang Lutz, Jan R. Böhnke, Katharina Köck, André Bittermann

    Universität Trier, Abteilung für Klinische Psychologie und Psychotherapie

    verantwortlich für die Kapitel (ansonsten gemeinsam) 3.6, 3.8.1, 4.2.2, 4.2.3, 5.1.2, 6, 7

    Kontaktadresse Mannheim Dr. Andrés Steffanowski -Wissenschaftlicher Mitarbeiter- Otto-Selz-Institut für Angewandte Psychologie Arbeitsbereich 1: Methoden, Diagnostik & Evaluation Universität Mannheim, L 13, 15 68131 Mannheim

    [email protected]

    Kontaktadresse Trier Dipl.-Psych. Katharina Köck -Wissenschaftliche Mitarbeiterin- Klinische Psychologie & Psychotherapie Fachbereich 1 Universität Trier 54286 Trier

    [email protected]

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 4

    Abkürzungen:

    IG Experimentalgruppe (Versicherte, die an der Studie teilnehmen und per Randomisierung dem modifizierten Gutachterverfahren zugeteilt wurden).

    KG Kontrollgruppe 1 (Versicherte, die an der Studie teilnehmen und per Randomisierung dem herkömmlichen Gutachterverfahren zugeteilt wurden)

    KG2 Kontrollgruppe 2 (Versicherte, die nicht an der Studie teilnehmen, aber im Bereich der teilnehmenden KVen Westfalen-Lippe, Hessen und Südbaden versichert sind.

    KG3 Kontrollgruppe 3 (Versicherte, die nicht an der Studie teilnehmen und auch nicht im Bereich der teilnehmenden KVen Westfalen-Lippe, Hessen und Südbaden versichert sind.

    KV Kassenärztliche Vereinigung

    QS Qualitätssicherung

    RCT Randomisierter Kontrollgruppenplan

    TK Techniker Krankenkasse

    5-Datenbox-Konzeption:

    PR-Box Prädiktor-Box (vor der Intervention)

    KR-Box Kriterien-Box (nach der Intervention)

    EVA-Box Stakeholderinteressen (bestimmen die Kriterienauswahl der KR-Box)

    ETR-Box Experimentelle Treatment-Box (während der Behandlung)

    NTR-Box Nichtexperimentelle Treatment-Box (während der Behandlung)

    Messzeitpunkte:

    A Messung bei Therapiebeginn „Aufnahme-Messung“

    E Messung bei Therapieende „Entlass-Messung“

    K Messung bei 1-Jahres-Katamnese „Katamnesemessung“

    V Verlaufsmessung

    Stichproben:

    T1: N = 1.629 Therapeutendokumentationen zu Therapiebeginn (A-Messung)

    T2: N = 934 Therapeutendokumentationen zu Therapieende (A- und E-Messung)

    P1: N = 1.598 Patientendokumentationen zu Therapiebeginn (A-Messung)

    P2: N = 597 Patientendokumentationen zu Therapieende (A- und E-Messung)

    P3: N = 468 Patientendokumentationen zur 1-Jahres-Katamnese (A- und K-Messung)

    P4: N = 300 Patientendokumentationen (A-, E- und K-Messung liegt vor)

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 5

    Hinweis der Autoren:

    Zur besseren Lesbarkeit wurden bei der Abfassung des Abschlussberichtes folgende Konventionen bei der Schreibweise in diesem Bericht gewählt:

    • Es wird eine einheitliche Schreibweise z.B. „Therapeuten“ oder „Patienten“ verwendet, welche sowohl das männliche als auch das weibliche Geschlecht einbezieht.

    • Die niedergelassenen ärztlichen und psychologischen Psychotherapeuten und Psychotherapeu-tinnen werden einheitlich als „Therapeuten“ bezeichnet.

    • Die am Modellvorhaben teilnehmenden Patienten der zur Interventionsgruppe clusterrandomi-sierten Therapeuten (im Evaluationsplan als EX-Grp bezeichnet) werden als IG bezeichnet

    • Die am Modellvorhaben teilnehmenden Patienten der zur Kontrollgruppe clusterrandomisierten Therapeuten (im Evaluationsplan als KON-Grp 1 bezeichnet) werden als KG bezeichnet

    • Die nicht am Modellvorhaben teilnehmende Referenzgruppe (anonymisierte Leistungsdaten von TK-Versicherten) in den drei KV-Modellregionen Westfalen-Lippe, Hessen und Freiburg (im Eva-luationsplan als KON-Grp 2 bezeichnet) wird als KG2 bezeichnet.

    • Die nicht am Modellvorhaben teilnehmende Referenzgruppe (anonymisierte Leistungsdaten von TK-Versicherten) außerhalb der drei KV-Modellregionen (im Evaluationsplan als KON-Grp 3 be-zeichnet) wird als KG3 bezeichnet.

    • Beim Inventar für interpersonale Probleme (IIP) wird in der Studie durchgängig die deutsche Kurzversion mit 64 Items nach Horowitz, Strauss und Kordy (2000) verwendet und mit der Ab-kürzung IIP-D bezeichnet.

    Gesetzliche Grundlage

    Ziele, Dauer, Art und allgemeine Vorgaben zur Ausgestaltung des TK-Modellvorhabens "Qualitäts-monitoring in der ambulanten Psychotherapie" sowie die Bedingungen für die Teilnahme von Versicher-ten wurden gemäß § 63 SGB V Abs. 5 vom Verwaltungsrat der TK am 24. September 2004 als 29. Nach-trag zur Satzung der Techniker Krankenkasse (TK) vom 1. Januar 2000 beschlossen und vom Bundesver-sicherungsamt (BVA) mit Bescheid vom 7. Januar 2005 genehmigt. Mit BVA-Bescheid vom 5. November 2007 wurde auch die vom Verwaltungsrat der TK am 28. September 2007 beschlossene Verlängerung des Modellvorhabens als 53. Nachtrag zur Satzung der Techniker Krankenkasse (TK) vom 1. Januar 2000 genehmigt (AZ II3-59015.0-4069/2003).

    Projektberatung und -betreuung

    Die TK wurde bei der Konzeption des Modellvorhabens beratend unterstützt durch die Autoren dieses Berichts (Prof. Dr. Werner Wittmann und Prof. Dr. Wolfgang Lutz) sowie weiterhin durch Herrn Prof. Dr. rer. nat. Thomas Fydrich (seinerzeit Leiter des Zentrums für Psychologische Psychotherapie an der Uni-versität Heidelberg, seit 2004 Professor für Psychotherapie und Somatopsychologie am Institut für Psy-chologie der Humboldt-Universität zu Berlin), Herrn Prof. Dr. phil. Rainer Richter (Leiter der Poliklinik für Psychosomatik und Psychotherapie am Zentrum für Innere Medizin des Universitätsklinikums Hamburg-Eppendorf, Präsident der Deutschen Fachgesellschaft für Tiefenpsychologisch fundierte Psychotherapie und Präsident der Bundespsychotherapeutenkammer) sowie Herrn Prof. em. Dr. Gerd Rudolf (seinerzeit Leiter des Instituts für Psychotherapieforschung und Qualitätssicherung an der Universität Heidelberg).

    Als externes Trustcenter und als Datenstelle fungierte das Apparatezentrum der Hogrefe Verlag GmbH & Co. KG in Göttingen. Betreut wurde das Projekt dort von Herrn Karl-Heinz Schlawis und Herrn Wolf-Rüdiger Just.

    Die Gesamtleitung des TK-Modellvorhabens lag bei Hauptverwaltung der Techniker Krankenkasse in Hamburg. Verantwortlich waren dort bis zum 30.06.2006 Herr Andreas Nagel und ab dem 01.07.2006 Herr Dr. med. Thomas M. Ruprecht, Fachbereich Versorgungsmanagement - Innovationen und Angebo-te.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 6

    Danksagung

    Ein so umfassendes Projekt wie das Modellvorhaben „Qualitätsmonitoring in der ambulanten Psycho-therapie“ der Techniker Krankenkasse ist stets gekennzeichnet durch die direkten wie indirekten Beiträ-ge einer Vielzahl beteiligter Einzelpersonen und Interessensgruppen.

    Besonders hervorheben möchten wir an dieser Stelle jedoch die Arbeit des Wissenschaftlichen Beirats. Seinen Mitgliedern Herrn Prof. Dr. C. E. Scheidt (Vorsitzender), Herrn Dr. J. Brockmann, Herrn Prof. Dr. F. Caspar, Herrn Prof. G. Rudolf, Herrn Prof. Dr. U. Stangier und Herrn Dr. H. Vogel sowie den Beisitzenden des Wissenschaftlichen Beirats Herrn Dr. H. Herholz, Herrn Dr. P. Hinz, Herrn A. Kintrup, Herrn J. Klauen-flügel, Frau Dr. R. Simon und Herrn M. Singmann verdanken die Autoren dieses Berichts und das gesam-te Projekt eine Vielzahl wertvoller Anmerkungen und Vorschläge. Es soll erst gar nicht der Versuch einer Rekonstruktion der individuellen Beiträge zu diesem Projekt unternommen werden, doch steht außer Frage, dass durch die stets konstruktive Kritik des Wissenschaftlichen Beirates das Modellvorhaben als Ganzes wiederholt profitieren konnte.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 7

    Inhalt

    1 Zusammenfassung .......................................................................................................................... 11

    1.1 Methodisches Vorgehen ............................................................................................................ 11

    1.2 Ergebnisse .................................................................................................................................. 12

    2 Evaluationsplan vom 04.11.2003 ................................................................................................... 13

    2.1 Ziele der Evaluation .................................................................................................................... 13

    2.2 Evaluationsdesign ....................................................................................................................... 14

    2.2.1 Vorbemerkung .................................................................................................................... 14

    2.2.2 Messinstrumente ............................................................................................................... 15

    2.2.3 Vergleichsstrategien ........................................................................................................... 19

    2.3 Statistische Datenanalyse ........................................................................................................... 23

    2.3.1 Teststärkeanalyse und Fallzahlenberechnung ................................................................... 23

    2.3.2 Datenaufbereitung und Datenreduktion ........................................................................... 26

    2.3.3 Deskriptive statistische Analysen ....................................................................................... 26

    2.3.4 Inferenzstatistische Analysen ............................................................................................. 26

    2.3.5 Exploratorische Analysen ................................................................................................... 26

    2.4 Zentrale Hypothesen .................................................................................................................. 26

    2.4.1 Mittelwertsunterschiede .................................................................................................... 27

    2.4.2 Korrelative Zusammenhänge und Strukturgleichungsverfahren ....................................... 27

    2.4.3 Gesamtbewertung .............................................................................................................. 28

    2.5 Qualitätssicherung der Daten .................................................................................................... 29

    2.6 Durchführung der Evaluation ..................................................................................................... 29

    2.6.1 Zeitplan ............................................................................................................................... 29

    2.6.2 Aufgaben des Evaluationsteams ........................................................................................ 29

    2.7 Anlage A: Berechnung der Break-Even-Effektgröße .................................................................. 30

    2.8 Anlage B: Einstellungen zur Qualitätssicherung ......................................................................... 33

    2.9 Anlage C: Evaluationsfragen aus Patientensicht ........................................................................ 35

    2.10 Anlage D: Evaluation der Rückmeldungen u. Handlungsempfehlungen ................................... 36

    3 Realisierung des Projekts ............................................................................................................... 37

    3.1 Evaluationsdesign und Messzeitpunkte ..................................................................................... 37

    3.2 Auswahl der Erhebungsinstrumente .......................................................................................... 38

    3.3 Bewertungs- und Entscheidungshilfen ....................................................................................... 40

    3.3.1 Standardisierte Ergebnisbewertung mit Effektgrößen ...................................................... 40

    3.3.2 Multiple Ergebniskriterien .................................................................................................. 41

    3.4 Randomisierung der Studientherapeuten .................................................................................. 42

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 8

    3.5 Schulung der Therapeuten ......................................................................................................... 45

    3.6 Hotline für Therapeuten ............................................................................................................. 46

    3.7 Datenerhebung und Fragebogenrücklauf .................................................................................. 47

    3.7.1 Fragebogenrücklauf der Therapeuten ................................................................................ 48

    3.7.2 Fragebogenrücklauf der Patienten ..................................................................................... 50

    3.8 Gründe für fehlende Dokumentationen ..................................................................................... 52

    3.8.1 Nichtteilnahme von Patienten am Modellvorhaben .......................................................... 52

    3.8.2 Fehlende Abschluss- und Katamnesedokumentationen .................................................... 54

    3.9 Abschließende Bewertung .......................................................................................................... 56

    4 Stichprobenbeschreibung und Überprüfung der Randomisierung ................................................ 58

    4.1 Repräsentativität der Daten: Stichprobe TK ............................................................................... 58

    4.2 Therapeutenangaben bei Behandlungsbeginn: Stichprobe T1 .................................................. 60

    4.2.1 Basisdokumentation ........................................................................................................... 60

    4.2.2 Therapieeingangsdiagnostik ............................................................................................... 67

    4.2.3 Erfassung der Therapieziele mit dem Berner Inventar für Therapieziele (BIT-CT) ............. 78

    4.2.4 Psychopharmakologische Behandlung ............................................................................... 80

    4.2.5 Therapeuten-Ratings bei Therapiebeginn .......................................................................... 82

    4.3 Patientenangaben bei Therapiebeginn (Stichprobe P1) ............................................................ 82

    4.4 Zusammenfassende Bewertung ................................................................................................. 83

    5 Wirksamkeit (Makroebene) ............................................................................................................ 84

    5.1 Abschlussdokumentation der Therapeuten (Stichprobe T2) ..................................................... 84

    5.1.1 Behandlungsverlauf und Situation bei Therapieende ........................................................ 84

    5.1.2 Therapieziele zum Ende der Therapie ................................................................................ 86

    5.2 Angaben der Therapeuten zur OPD (optional, nur IG) ............................................................... 87

    5.2.1 Zu Therapiebeginn ausgewählte Konflikt- und Strukturbereiche ...................................... 87

    5.2.2 Konstruktion der Fokusskala .............................................................................................. 89

    5.2.3 Prä-Post-Vergleich auf der Fokusskala ............................................................................... 90

    5.2.4 Validierung der Fokusskala anhand der Patientenmessungen .......................................... 91

    5.2.5 Zusammenfassende Bewertung ......................................................................................... 91

    5.3 Therapeutenratings .................................................................................................................... 92

    5.3.1 Drop-Out-Analyse für die Therapeutenangaben ................................................................ 92

    5.3.2 Status- und Ergebnisindikatoren der Therapeutenangaben .............................................. 93

    5.3.3 Vergleich zwischen Interventions- und Kontrollgruppe ..................................................... 94

    5.3.4 Vergleich zwischen Therapiebeginn und Therapieende .................................................. 100

    5.3.5 Statistische Kontrolle möglicherweise vorhandener Confounder ................................... 101

    5.4 Patientenratings ....................................................................................................................... 103

    5.4.1 Drop-Out-Analyse für die Patientenangaben ................................................................... 103

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 9

    5.4.2 Status- und Ergebnisindikatoren der Patientenangaben ................................................. 105

    5.4.3 Vergleich zwischen Interventions- und Kontrollgruppe (Stichprobe P2) ......................... 106

    5.4.4 Statistische Kontrolle möglicherweise vorhandener Confounder (Stichprobe P2) ......... 110

    5.4.5 Vergleich zwischen Therapiebeginn und Therapieende (Stichprobe P2)......................... 111

    5.4.6 Bias-Korrektur der Prä-Post-Effekte (Stichprobe P2) ....................................................... 112

    5.4.7 Vergleich zwischen Interventions- und Kontrollgruppe (Stichprobe P3) ......................... 113

    5.4.8 Statistische Kontrolle möglicherweise vorhandener Confounder (Stichprobe P3) ......... 117

    5.4.9 Vergleich zwischen Therapiebeginn und 1-Jahres-Katamnese (Stichprobe P3) .............. 118

    5.4.10 Bias-Korrektur der Prä-Post-Effekte (Stichprobe P3) ....................................................... 118

    5.4.11 Verlaufsmessung auf dem multiplen Ergebnisindikator (Stichprobe P4) ........................ 119

    5.4.12 Explorative Abschätzung der Kosten-Nutzen-Relation anhand der Effektgrößen ........... 119

    6 Entscheidungsregeln im Modellvorhaben (Mesoebene) ............................................................. 121

    6.1 Entscheidungsregeln zu Beginn sowie im Verlauf .................................................................... 121

    6.2 Evaluation der Entscheidungsregeln ........................................................................................ 127

    6.2.1 Patienten mit und ohne Komorbidität bei den Eingangsdiagnosen ................................ 127

    6.2.2 Psychometrische Diagnostik zu Therapiebeginn: Überprüfung der Grenzwerte ............. 129

    6.3 Verlaufserhebungen und Rückmeldungen ............................................................................... 134

    6.3.1 Rückmeldung zu Beginn der Therapie .............................................................................. 134

    6.3.2 Rückmeldung und Fortschritt im Therapieverlauf ........................................................... 135

    6.3.3 Verlaufsprofile und Rückmeldung .................................................................................... 137

    6.3.4 Modifiziertes Gutachterverfahren im Therapieprozess und im Verlauf .......................... 144

    7 Praktikabilität und Akzeptanz des Modellvorhabens (Mikroebene) ............................................ 145

    7.1 Evaluation aus Therapeutensicht ............................................................................................. 145

    7.1.1 Praktikabilitätseinschätzung durch die Therapeuten ....................................................... 145

    7.1.2 Bewertung der eingesetzten Assessment-Instrumente durch die Therapeuten ............. 147

    7.1.3 Nutzung der Rückmeldungen durch die Therapeuten ..................................................... 147

    7.1.4 Praktikabilitätseinschätzung durch die Therapeuten und Anzahl der Therapien ............ 149

    7.2 Evaluation aus Patientensicht .................................................................................................. 150

    7.2.1 Bewertung des Modellvorhabens durch die Patienten ................................................... 150

    7.2.2 Akzeptanz der ambulanten Therapie durch die Patienten .............................................. 152

    7.3 Evaluation aus Gutachtersicht .................................................................................................. 155

    8 Beantwortung der Studienfragestellungen .................................................................................. 157

    8.1 Hauptfragestellungen ............................................................................................................... 157

    8.2 Nebenfragestellungen .............................................................................................................. 157

    9 Diskussion ..................................................................................................................................... 160

    9.1 Effektivität ................................................................................................................................ 160

    9.1.1 Angaben zum gesundheitlichen Befinden (EMEK-nonmonetär) ...................................... 160

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 10

    9.1.2 Gesundheitsökonomische Daten (EMEK-monetär) .......................................................... 160

    9.2 Effizienz ..................................................................................................................................... 160

    9.2.1 Kosten-Nutzen-Verhältnis: Effektivität pro Therapiestunde ............................................ 160

    9.2.2 Dokumentationsaufwand für die Therapeuten ................................................................ 160

    9.3 Nebenfragestellungen .............................................................................................................. 161

    9.3.1 Kategoriale Diagnostik ...................................................................................................... 161

    9.3.2 Ausgangsbelastung und Psychotherapiebedarf der Patienten ........................................ 161

    9.3.3 Verlaufsmessungen .......................................................................................................... 161

    9.3.4 Prä-Post-Effekte ................................................................................................................ 162

    9.3.5 Abschätzung der Kosten-Nutzen-Relation anhand der Prä-Post-Effektgrößen ............... 163

    9.3.6 Zufriedenheit der Patienten und Therapeuten ................................................................ 164

    9.3.7 Therapiedauer und Varianzen .......................................................................................... 164

    9.4 Methodische Aspekte ............................................................................................................... 165

    9.5 Fazit .......................................................................................................................................... 166

    10 Literaturverzeichnis ...................................................................................................................... 167

    11 Anhang: Fragebogen Nichtteilnehmer - Sonstige Gründe für die Nichtteilnahme am Modellprojekt aus Therapeuten- und Patientensicht im Original-Wortlaut ................................ 170

    12 Anhang: Offene Antworten zu den Evaluationsfragen aus Patienten- und Gutachtersicht im Original-Wortlaut.......................................................................................................................... 178

    13 Anhang: Optimierung der Rückmeldungen im Projektverlauf ..................................................... 191

    13.1 Anonymisierte Beispiel-Auswertung (grafische Rückmeldung) vor Modifikation der Rückmeldungen ........................................................................................................................ 193

    13.2 Anonymisierte Beispiel-Auswertung (grafische Rückmeldung) nach Modifikation der Rückmeldungen ........................................................................................................................ 198

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 11

    1 Zusammenfassung

    1.1 Methodisches Vorgehen Der vorliegende Abschlussbericht dokumentiert die Ergebnisse des Modellvorhabens der Techniker Krankenkasse (TK) nach § 63 Abs. 1 SGB V „Qualitätsmonitoring in der ambulanten Psychotherapie“ (MVPT). Es wurde im Jahr 2003 initiiert, zum 01.05.2005 gestartet, am 05.11.2007 (Bescheid des BVA) verlängert und zum 31.05.2011 mit dem vorliegenden Bericht abgeschlossen.

    Zugrunde liegt ein clusterrandomisiertes Design mit 200 Therapeuten der Interventionsgruppe (IG) und 200 Therapeuten in der Kontrollgruppe (KG) in drei Modellregionen: Kassenärztliche Vereinigung (KV) Westfalen-Lippe, KV Hessen und KV Baden-Württemberg / Bezirk Südbaden.

    Die 400 per Ausschreibung ermittelten, freiwillig am Modellvorhaben teilnehmenden Therapeuten wur-den zunächst auf die IG und KG randomisiert (jeweils 200). Diese Therapeuten offerierten die (freiwilli-ge) Studienteilnahme den insgesamt 4.452 TK-Versicherten (Grundgesamtheit), die sich bei ihnen wäh-rend der Feldphase (01.05.2005 bis 30.06.2009) in psychotherapeutische Behandlung begaben und die Einschlusskriterien erfüllten. 1.708 Patienten (IG: 1.031, KG: 677) konnten für das Modellvorhaben ge-wonnen werden. Das Indikationsspektrum ist charakteristisch für die ambulante psychotherapeutische Versorgung. Am häufigsten sind depressive Störungen vertreten, gefolgt von Angsterkrankungen.

    Zu Therapiebeginn (A), bei Therapieende (E) und zur 1-Jahres-Katamnese (K) wurden beim Patienten psychometrische Daten erhoben, u.a. BSI, IIP-D sowie ein störungsspezifisches Instrument. Letzteres wurde im Rahmen der Probatorik aufgrund der Hauptdiagnose für jeden Patienten individuell festgelegt (im MVPT meist der BDI aufgrund der Prävalenz depressiver Störungen). Alle Therapeuten füllten au-ßerdem bei A und E eine Basisdokumentation aus.

    Auf der Basis dreier psychometrischer Instrumente (BSI für allgemeine Symptomatik, IIP-D für interper-sonale Probleme sowie einem störungsspezifischen Instrument je Patient) wurden zur Beurteilung der Krankheitslast bei Therapiebeginn Entscheidungsregeln ("klinisch auffällig" bzw. "unauffällig") sowie zur Veränderung der psychischen Problematik während der Therapie entsprechende Rückmeldungen für die Therapeuten der IG erstellt und evaluiert.

    Bei Versicherten der IG genehmigte die TK im Falle klinisch auffälliger Werte eine Langzeittherapie ohne Einschaltung eines Gutachters. Nur in unklaren Fällen wurde eine (modifizierte) Begutachtung eingelei-tet. Zudem erfolgten in der IG zu festgelegten Messzeitpunkten Verlaufsmessungen (V), deren Ergebnis-se grafisch aufbereitet und den Therapeuten der IG umgehend rückgemeldet wurden. Optional bestand die Möglichkeit, die Ergebnisse auch mit den Patienten zu besprechen. Den grafischen Reports konnten die Therapeuten entnehmen, ob und wenn ja welche Veränderung der psychischen Problematik vorlag.

    Bei Versicherten der KG war für die Bewilligung einer Langzeittherapie die traditionelle Begutachtung gemäß Psychotherapie-Richtlinien erforderlich. V-Messungen bzw. Rückmeldungen der Testergebnisse an die Therapeuten der KG (und damit auch der Patienten) fanden nicht statt.

    Es bestand immer die Möglichkeit, das Therapieende schon vor Erreichen der bewilligten Sitzungszahl einzuleiten, in der IG z.B. bei Rückmeldung einer positiven Entwicklung (stabile Abnahme der psychi-schen Problematik).

    Für den Therapiebeginn (A), fünf Verlaufsmessungen (V), die Abschlüsse (E) sowie die Katamnesen (K) liegen genügend Daten vor, um stabile Auswertungen mit einer hinreichenden Teststärke vornehmen zu können. Zusätzlich zur summativen Ergebnisevaluation auf Makro-, Meso- und Mikroebene (vgl. Evalua-tionsplan) wurde eine formative Evaluation zur Akzeptanz des Modellvorhabens aus Patienten-, Thera-peuten- und Gutachtersicht sowie der Entscheidungsregeln für die grafischen Rückmeldungen durchge-führt. Die Auswertung zeigt eine gute Akzeptanz bei den Patienten sowie eine etwas zurückhaltendere Bewertung der Therapeuten (wenngleich die grafischen Reports als nützlich bewertet werden). Eher kritisch bewerteten hingegen die Gutachter das Modellvorhaben.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 12

    1.2 Ergebnisse Die zentralen Fragestellungen des Projektes waren:

    1. Führt der Einsatz von Qualitätsmonitoringinstrumenten des TK-Modells in ambulanten Psycho-therapien zu einer höheren Ergebnisqualität (Effektivität) im Vergleich zur traditionellen Richtli-nienpsychotherapie ?

    2. Kann das TK-Modell die Effizienz der ambulanten Psychotherapie nachhaltig verbessern?

    Es zeigen sich auch bei Berücksichtigung möglicher Confoundervariablen keine statistisch signifikanten Unterschiede zwischen IG und KG auf den zur Bewertung der Ergebnisqualität herangezogenen Skalen und multiplen Ergebniskriterien. Die erste Studienfrage ist somit zu verneinen. Auch die zweite Studien-fragestellung muss mit nein beantwortet werden.

    Bei Therapiebeginn sind die Mittelwerte in den Messinstrumenten für alle Instrumente vergleichbar mit den klinischen Normstichproben. Für 93% der Fälle ergeben sich mittlere bis schwere klinische Beein-trächtigungen. Lediglich bei 7% der Patienten lag eine geringe Beeinträchtigung vor, so dass bei Patien-ten der IG das modifizierte Gutachterverfahren eingeleitet wurde.

    Bei den Zwischenmessungen (V) verzeichnen bereits über 30% Patienten eine Abnahme der Problema-tik, 20% eine Zunahme, bei rund 50% der Patienten kann (noch) keine Veränderung gemessen werden.

    Bei den Abschlussmessungen (E) und Katamnesen (K) war bei ca. 65% der dokumentierten Fälle eine Abnahme der Problematik sichtbar, bei 28% keine signifikante Veränderung, bei 7% eine Verstärkung.

    Insgesamt zeigen die explorativ berechneten, biaskorrigierten Prä-Post-Vergleiche große Effekte beim Vergleich zwischen Anfangs- (A) und Abschlussmessung (E) in einer Größenordnung von d = 1,0, die zu-dem in der 1-Jahres-Katamnese (K) stabil sind. Eine Kosten-Nutzen-Analyse unter Verwendung nichtmo-netärer Ergebnismaße auf der Grundlage der Gleichung von Brogden, Cronbach und Gleser (Brogden, 1949; Cronbach & Gleser, 1965) erbrachte einen Nutzen zwischen 2 und 4 Euro pro investiertem Euro. Diese Ergebnisse dokumentieren einen beachtlichen Effekt der ambulanten Psychotherapie im Gesund-heitswesen.

    Mit Blick auf die externe Validität und der Interpretation aller Ergebnisse ist einschränkend zu beachten, dass nur etwa die Hälfte der von den Therapeuten im Studienzeitraum behandelten TK-Versicherten Patienten am Modellvorhaben teilgenommen hat. Zudem ist die Datenausfallrate zum E- und K-Zeitpunkt erheblich. So konnten für die Patientenangaben zum E-Zeitpunkt lediglich 597, für den K-Zeitpunkt lediglich 468 vollständige Datensätze gewonnen werden. Es ergaben sich allerdings keine Hinweise auf systematische Selektionseffekte in Abhängigkeit von der Gruppenzugehörigkeit IG/KG.

    Fazit: Mit Blick auf die Prozess- und Ergebnisqualität psychotherapeutischer Behandlungen ergaben sich keine empirisch belegbaren, statistisch signifikanten Unterschiede zwischen IG und KG, weder durch die psychometrischen Messungen bei den Patienten bzw. Befragungen von Therapeuten und Patienten, noch durch den weitgehenden Verzicht auf das traditionelle Gutachterverfahren bei der Genehmigung von Langzeittherapien in der IG. Geht man davon aus, dass es sich beim Gutachterverfahren ebenso wie beim TK-Modell um eine Form der Qualitätsbeurteilung handelt, lassen sich im Vergleich beider Vorge-hensweisen keine Unterschiede in den Behandlungsergebnissen feststellen.

    Das Modellvorhaben liefert wertvolle Daten zur Versorgungsforschung, die auf eine hohe Wirksamkeit der ambulanten Psychotherapie hinweisen und damit ihre gesamtgesellschaftliche Bedeutung unter-streichen.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 13

    2 Evaluationsplan vom 04.11.2003 Die Hintergründe zur Entwicklung des Modellvorhabens "Qualitätsmonitoring in der ambulanten Psy-chotherapie", die Inhalte, die angewendeten Methoden und die Erläuterung der Durchführung sind in der nachfolgenden Projektbeschreibung ausführlich dargelegt (§ 63 SGB V). Der Gegenstand dieses Eva-luationsplans nach § 65 SGB V sind die Fragestellungen und Hypothesen, das Evaluationsdesign und die Datenanalysen.

    2.1 Ziele der Evaluation Die beiden Kernziele des Projektes bestehen darin, im Rahmen der Richtlinienpsychotherapie verschie-dene diagnostische Maßnahmen zur Qualitätssicherung zu erproben und zu vergleichen. Dies soll dazu beitragen, wissenschaftlich fundierte Befunde zur Prozess- und Ergebnisqualität der Psychotherapie im ambulanten Bereich zu erheben. Die Hauptfragestellung zielt auf die Erprobung neuer Qualitätssiche-rungsinstrumente und -maßnahmen in der ambulanten Psychotherapie und der Evaluation von deren Qualität und deren Wirtschaftlichkeit. Dabei wird das traditionelle QS-Verfahren mit dem QS-Verfahren nach dem TK-Model verglichen.

    Die QS-Maßnahmen des TK-Modells sehen die Kombination der folgenden vier Komponenten vor (vgl. Abbildung 1):

    Abbildung 1. TK-Modell

    Das vorliegende TK-Modell besteht aus einer Kombination von Maßnahmen der internen Qualitätssiche-rung (Eingangsdiagnostik, Verlaufsmonitoring und Abschlusserhebung) mit Instrumenten der externen Qualitätssicherung (modifiziertes Gutachterverfahren) und geht von einer positiven wechselseitigen Beeinflussung aus. Ein zeitnaher Austausch zwischen Therapeut (ggf. auch Patient) und Gutachter bzw. der unabhängigen Auswertungsstelle ist ein wichtiger Bestandteil des QS-Projektes.

    Die zentralen Fragestellungen des Projektes sind:

    1. Führt der Einsatz von Qualitätsmonitoringinstrumenten des TK-Modells in ambulanten Psycho-therapien zu einer höheren Ergebnisqualität (Effektivität) im Vergleich zur traditionellen Richtli-nienpsychotherapie ?

    2. Kann das TK-Modell die Effizienz der ambulanten Psychotherapie nachhaltig verbessern?

    Diese Hauptfragestellungen lassen sich nach der Makro-, Meso- und Mikroebene differenzieren, die im Rahmen der Abschlussevaluation untersucht werden und in Kapitel 1.6 (Hypothesen) im Einzelnen be-schrieben werden.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 14

    2.2 Evaluationsdesign Für das gesamte Evaluationsdesign wird die ,,Konzeption der fünf Datenboxen“ herangezogen, die eine Synthese unterschiedlicher Evaluationsschulrichtungen in sich vereint. Diese Konzeption hat sich bereits in vielen Anwendungsfeldern bewährt (Schmidt, 1991; Wittmann, 1990; Wittmann & Walach, 2001; Wittmann, Nübling, & Schmidt, 2002).

    2.2.1 Vorbemerkung Evaluationen sind Bewertungen, die naturgemäß bei allen beteiligten Gruppen Vorbehalte, Miss-brauchsbefürchtungen, Hoffnungen und Ängste auslösen. Es ist deshalb wichtig, klar nach den verschie-denen Gruppen, den sogenannten Stakeholdern, zu unterscheiden und die verwendeten Kriterien, die die einzelnen Gruppen betreffen, fair und nachvollziehbar zu gestalten.

    Die wichtigsten Stakeholdergruppen sind:

    • die Versicherten (Psychotherapienutzer und Nichtnutzer) • die ärztlichen und psychologischen Psychotherapeuten • die Kassenärztlichen Vereinigungen • die Hochschulambulanzen • die Gutachter • die wissenschaftlichen Fachvertreter aus Klinik und Forschung • die Techniker Krankenkasse (TK) • die Gesundheitspolitiker • die gesundheitspolitisch interessierte Öffentlichkeit

    Die TK hat in der Planungsphase große Anstrengungen unternommen, die zu verwendenden Kriterienmaße und Messinstrumente unter Einbezug unterschiedlicher Expertengruppen auf die einzel-nen Therapien und Störungsformen zuzuschneiden. Damit werden die Interessen und Fragestellungen der unterschiedlichen Stakeholdergruppen im Modellprojekt berücksichtigt. Die aus dem Modellprojekt zu erwartenden Antworten dürften daher für alle Gruppen, gerade angesichts der Debatten um unser Gesundheitswesen, von hoher Relevanz sein.

    Randomisierte Kontrollgruppenpläne (RCT's) sind einerseits in der Regelversorgung durch gesetzliche Rahmenbedingungen erschwert. Einzelne Stakeholdergruppen zeigen andererseits aus den unterschied-lichsten Interessen Vorbehalte gegenüber RCT's, meist mit Argumenten, die die externe Validität favori-sieren. Andererseits wird das Potential von RCT's gerade in der Praxis, die durch Modellvorhaben nach § 63 Abs. l SGB V ermöglicht werden, nicht voll ausgeschöpft. Der hier unterbreitete Evaluationsplan ver-sucht, beiden Gesichtspunkten gerecht zu werden. Es wird wo immer möglich randomisiert, dort wo dies nicht möglich ist, werden Kontrollstrategien entwickelt und gleichzeitig ein Maximum an Generalisierbarkeit der Ergebnisse angestrebt.

    Das TK-Modellprojekt hat ausdrücklich diesen Fokus auf die reale Regelversorgung. Es wird aber erwar-tet, dass sich auch in diesem Bereich positive Effekte nachweisen lassen. Die ambulant tätigen Thera-peuten wurden ja von denjenigen Therapeuten ausgebildet, die hinter den obengenannten erfolgrei-chen psychotherapeutischen Interventionen stehen. Break-Even-Point Analysen, d.h. „Wie groß muss ein Effekt sein, an dem sich Kosten und Nutzen gerade aufwiegen?“ weisen darauf hin, dass dieser Punkt bereits bei relativ kleinen Effekten liegt. Die Berechnung der Fallzahlen berücksichtigt diesen Sachver-halt und sieht einen Stichprobenumfang vor, der auch kleine Effekte mit genügend großer statistischer Teststärke entdecken kann, wenn sie vorhanden sein sollten.

    Der Hauptfokus des Modellprojektes liegt vor allem darin, wie durch neue qualitätssichernde Maßnah-men (mit kurzen Reaktionszeiten) in der realen Versorgung die Effektivität weiter gesteigert werden kann. Diagnostische Informationen, die zur Therapiezielfindung dienen und ein Monitoring der Zielerrei-chung erlauben, sind in diesem Zusammenhang von hohem potenziellem praktischem Nutzen.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 15

    2.2.2 Messinstrumente Die Auswahl und Zuordnung der einzelnen Messinstrumentgruppen kann konzeptuell über die Konzep-tion der fünf Datenboxen veranschaulicht werden (Abbildung 2). Diese Konzeption unterscheidet Da-tenquellen die vor einer Intervention (PR: Prädiktorbox), während einer Intervention (ETR: experimen-telle Treatmentbox und NTR: nichtexperimentelle Treatmentbox) und nach einer Intervention (KR: Kriterienbox) erhoben werden sollen. Die fünfte Datenbox (EVA: Evaluationsbox) umfasst die einzelnen Stakeholdergruppen mit ihren unterschiedlichen Interessen und Zielsetzungen. Informationen zu dieser Datenbox müssen zu Beginn jeder Evaluationsstudie erfasst werden, um die Konstruktvalidität der Mess-instrumente und Akzeptanz der Ergebnisse schon im Vorfeld der eigentlichen Studie zu maximieren.

    Abbildung 2. Ein umfassendes Forschungskonzept zur systematischen Programmevaluation. PR-Box: Prädiktor-Box. ETR-Box: Experimentelle Treatment-Box. NTR-Box: Nichtexperimentelle Treatment-Box. KR-Box: Kriterien-Box. r PR,ETR: Korrelation zwischen PR- und ETR-Box etc.

    Die Anordnung der vier erstgenannten Datenboxen folgt einer klaren zeitlichen Reihenfolge und erlaubt auch für nichtexperimentelle korrelative Datenkonstellationen kausale Aussagemöglichkeiten über die statistische Methode der Pfadanalyse. Diese Methode kann entweder klassisch über hierarchische Reg-ressionsanalysen oder über die modernen Methoden der Strukturgleichungsverfahren (SEM: structural equation modeling) durchgeführt werden.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 16

    2.2.2.1 Datenquellen zu Beginn der ambulanten Psychotherapie (PR-Box)

    Tabelle 1 und Tabelle 2 geben einen Überblick über die diagnostischen Verfahren, die von Patienten bzw. Therapeuten bearbeitet werden.

    Tabelle 1. Diagnostische Verfahren und Erhebungen für Patienten

    Beginn Zwischen Ende

    1-Jahres-Katamnese

    Basisdokumentation Anfang x Brief Symptom Check List (BSI) x (x) x x Interpersonale Probleme (IIP-D) x (x) x x Störungsspezifische Verfahren (BDI, AKV, HZI, SOMS oder EDI)

    x (x) x x

    Therapeutische Arbeitsbeziehung (HAQ-II)

    x (x) x

    Gesundheitsbezogene Lebensqualität (SF-12)

    x (x) x x

    Basisdokumentation Ende x Anmerkungen. (x) Nur bei der Interventionsgruppe erhoben.

    Tabelle 2. Diagnostische Verfahren und Erhebungen für Therapeuten

    Beginn Zwischen Ende

    Therapeutenbasisbogen (einmalig) x Basisdokumentation Beginn x SKID Screening x ICD-Diagnostik nach ICDL x OPD Achsen Konflikt und Struktur (TP/AT)

    x

    Beeinträchtigungsschwere (BSS) x (x) x Problemrelevante Lebensbereiche x (x) x Beeinträchtigung Funktionsniveau (GAF)

    x (x) x

    Therapeutische Arbeitsbeziehung (HAQ-I)

    x (x) x

    Therapieziele (VT) x (x) x Heidelberger Umstrukturierungsska-la (TP/AT)

    (x) x

    Basisdokumentation Ende x Anmerkungen. VT – Verhaltenstherapie, TP – Tiefenpsychologische Therapie, AT – Analytische Therapie. (x) Nur bei der Interventionsgruppe erhoben

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 17

    2.2.2.2 Datenquellen zur Operationalisierung der Treatment-Boxen

    In der ETR-Box operationalisiert ein einfacher Dummy-Vektor den Kontrast der Experimentalgruppe (Wert 1) zu Kontrollgruppe 1 (Wert 0). Bei erfolgreicher Randomisierung ist die Korrelation rPR, ETR zwi-schen allen PR-Box Variablen und diesem Dummy-Vektor gleich Null, d.h. Experimental- und Kontroll-gruppe unterscheiden sich nicht voneinander. Die Kontrastvektoren zur Operationalisierung der Kont-rollgruppen 2 und 3 in Relation zueinander und zur Experimentalgruppe und der Kontrollgruppe 1 müs-sen der NTR-Box zugewiesen werden, da die Teilnahme am Modellvorhaben insgesamt ja freiwillig er-folgt (unabhängig davon, ob der betreffende Therapeut nun der Experimental- oder Kontrollgruppe zu-gelost wird). Hier kann über die Korrelationen rPR, NTR untersucht werden, welche Selektionseffekte bei den beiden Studiengruppen gegenüber der Kontrollgruppe 2 und 3 zu berücksichtigen sind.

    Neben den Dummy-Variablen zur Operationalisierung der Gruppenunterschiede können die Informatio-nen die für die Experimentalgruppe erhoben werden zusätzlich in die ETR-Box eingebracht werden. Hierzu zählen alle Informationen die im Therapeutenbogen (siehe Projektbeschreibung) und im HAQ (Bassler, Potratz, & Krauthauser, 1995) erhoben werden. Diese Informationen können als individuelle Unterschiede der Therapeuten und als individuelle Unterschiede der Therapeut/Patientenbeziehung mit den Kriterienmaßen der KR-Box, sichtbar an den Korrelationen rETR, KR analysiert werden. Diese Variablen können als Therapiedosis oder Therapiequalitätsmerkmale aufgefasst werden, sie liefern Informationen wie die Höhe der Effekte möglicherweise mit solchen Merkmalen variieren.

    Die Variationen des Gutachterverfahrens alt und neu können ebenfalls den Treatment-Boxen zugeord-net werden. Die Art der Variationen sind aber nicht experimentell variiert, sie werden so abgebildet wie sie in der Praxis entstehen und werden daher der NTR-Box zugeordnet. Die Gutachter für die drei The-rapievarianten werden aber den zu begutachtenden Therapiefällen innerhalb jeder Therapierichtung per Zufall zugeordnet.

    2.2.2.3 Datenquellen zur Operationalisierung der Kriterien-Box

    In die KR-Box werden alle Variablen eingeordnet, für die Messwerte am Ende der Behandlung und zur 1-Jahres-Katamnese erhoben werden. Diese Messwerte können als Rohwerte oder als Differenzwerte zum Assessment in der PR-Box verwendet werden. Differenzwerte können für die Experimentalgruppe für alle Variablen die sowohl in der PR-Box als auch in der KR-Box erhoben werden berechnet werden. Für die Kontrollgruppe erfolgt die Prä-Messung (PR-Box) nur für BSI und IIP-D, so dass dort Differenzwerte nur für diese Variablen berechenbar sind. Weiterhin werden diese gemeinsamen Variablen verwendet, um den Randomisierungserfolg auch tatsächlich überprüfen zu können.

    Die Vielzahl der Kriterienmaße kann entweder über theoriegeleitete Aggregation oder über faktoren-analytische Verfahren zu sogenannten einmaligen, messzeitpunktspezifischen, multiplen Ergebniskrite-rien (EMEK) verarbeitet werden. Die meisten der einzelnen Ergebnismaße korrelieren positiv unterei-nander, was eine solche Strategie rechtfertigt. Solche EMEK's zeichnen sich dann durch höhere Reliabili-tät und Validität aus. In den obengenannten Programmevaluationsstudien (Zauberberg und EQUA) wur-den solchermaßen aggregierte Kriterien, die zudem noch differenziert nach den Interessen verschiede-ner Stakeholdergruppen aggregiert werden können, mit großem Erfolg eingesetzt. Zeigen sich z.B. ver-gleichbare Effekte auf einem rein monetär bewertbaren EMEK, ebenso wie auf einem EMEK das nur psychosoziale Kriterien oder nur Befindlichkeitsmerkmale umfasst, so steigen Glaubwürdigkeit der Er-gebnisse über Effektivität und Effizienz eines Programms. Kontroversen über den Ertrag eines Modell-projektes oder Programms werden dann abgeschwächt und die Akzeptanz über das Umsetzungspoten-tial steigen.

    In die monetäre Analyse gehen neben den Behandlungskosten für die Psychotherapiesitzungen die Kos-ten ein, die im Rahmen des klassischen Gutachterverfahrens und des modifizierten Gutachterverfahrens entstehen. In der Abschlussbetrachtung ist zu berücksichtigen, dass die Stückkosten der einzelnen diag-nostischen Instrumente bei einem Routineeinsatz deutlich sinken dürften und dass dann der Break-

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 18

    Even-Point (Effektgröße d) in der Routineversorgung nach Abschluss des Modellprojektes noch weiter absinkt.

    2.2.2.4 Datenquellen zur Operationalisierung der EVA-Box

    Die Evaluationsbox ganz rechts in Abbildung 2 enthält die Interessen und Zielsetzungen der Stakeholder. Bei der Auswahl der Messinstrumente und der Wahl der Varianten des Evaluationsplanes wurden diese Interessen bereits in der Planungsphase berücksichtigt (siehe oben). Entscheidend ist jedoch auch wie das gesamte Modellprojekt mit seinen qualitätssichernden Maßnahmen von der Gruppe der Patienten und Therapeuten bewertet und eingeschätzt wird. Zum Abschluss der Therapie (Therapeut und Patient) und in der Katamnese (Patient) werden deshalb Fragebogen zur Zufriedenheit und Akzeptanz des Qualitätsmonitorings eingesetzt. Hierzu werden Fragebogen wie ZUF-8 (Schmidt, Lamprecht, & Wittmann, 1989) und das amerikanische SERVQUAL-System, speziell adaptiert auf das Modellprojekt, eingesetzt. Diese Adaptionen müssen noch erfolgen und werden vom Evaluationsteam in der Anfangs-phase des Projektes entwickelt.

    2.2.2.5 Variationen des Datenerhebungsmodus

    Die gesamte psychometrische Datenerhebung der Selbstbeurteilung soll nach Möglichkeit internetba-siert über das Hogrefe Testsystem erfolgen. Für diejenigen Teilnehmer, welche der klassischen Papierva-riante den Vorzug geben, soll auch die Möglichkeit bestehen, die ausgefüllten Fragebögen an die unab-hängige Datenstelle zu senden, wo diese dann eingegeben und der Studiendatenbank hinzugefügt wer-den. Die Art der Datenerhebung wird dokumentiert und als mögliche Kovariate im Hinblick auf alle Da-tenboxen analysiert.

    2.2.2.6 Übersicht der Messinstrumente

    Die Operationalisierung der verschiedenen Datenboxen ist in der Tabelle 3 im Überblick dargestellt.

    Tabelle 3. Überblick zur Operationalisierung der Datenboxen

    PR-Box ETR-Box NTR-Box KR-Box EVA-Box Prädiktoren Experimentelle

    Treatment-Box (Intervention)

    Nichtexperiment. Treatment-Box (Kontrollgruppe)

    Kriterien nach der Intervention

    Evaluationsbox

    Basisdokumen-tation Patient und Therapeut

    Dummy-Vektor =1/0

    Dummy-Vektoren für zusätzliche Kontrollgruppen

    Basisdokumen-tation Patient und Therapeut

    Fragestellungen der verschiede-nen Stakeholder

    Diagnose Diagnose OPD OPD Umstruktu-rierungsskala

    Umstruktu-rierungsskala

    BSI BSI IIP-D IIP-D Spezifischer Test Spezifischer Test HAQ HAQ SF-12 SF-12

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 19

    2.2.3 Vergleichsstrategien Die Evaluation wird soweit wie möglich als randomisiertes Kontrollgruppendesign (RCT= randomized clinical trial) durchgeführt. Bestimmte Rahmenbedingungen, die durch die Einbettung des Modellprojek-tes in die reale Versorgung mit ambulanter Psychotherapie bedingt sind, verhindern jedoch eine perfek-te Randomisierung für alle Fragestellungen. Bei diesen Problemen werden jedoch quasiexperimentelle Kontrollstrategien eingesetzt, die ein Höchstmaß an interner Validität und damit an kausalen Aussage-möglichkeiten erlauben. Forschungsleitend sind insgesamt betrachtet die Gütestandards der Versuchs-planung nach Cook und Campbell (1979) bzw. Shadish, Cook und Campbell (2002):

    • interne Validität • statistische Schlussfolgerungsvalidität • externe Validität • Konstruktvalidität

    Durch umfangreiche Rekrutierungsbemühungen wird versucht, möglichst viele Therapeuten und damit implizit auch ihre TK-Patienten zur Teilnahme am Modellprojekt zu motivieren. Auf der Grundlage der statistischen Fallzahlenberechnung wurden drei Kassenärztliche Vereinigungen (Hessen, Südbaden und Westfalen-Lippe) ausgewählt, in denen die Rekrutierung von Therapeuten stattfinden soll.

    2.2.3.1 Randomisierungsstrategien zur kausalen Wirksamkeit des Qualitätsmonitorings

    Die Auswahl der Therapeuten, die das Qualitätsmonitoringsystem anwenden sollen, erfolgt durch eine Zufallsauswahl der Therapeuten, die ihre Teilnahmebereitschaft bekundet haben. Die Liste der teilnah-mebereiten Therapeuten wird dem Evaluationsteam von der KV in Form einer Liste anonymisierten The-rapeutencodes übermittelt, so dass eine Verblindung sichergestellt ist. Sodann wird die Randomisierung vom Evaluationsteam in zwei Gruppen durchgeführt.

    Die eine Gruppe stellt die Experimentalgruppe (EX-Grp) dar, nachfolgend auch einfach als IG bezeichnet. Die Kontrollgruppe 1 (KON-Grp 1) umfasst die teilnahmebereiten Therapeuten, die nicht der Experimen-talgruppe zugelost wurden (vgl. Abbildung 3) und wird nachfolgend auch einfach als KG bezeichnet. Bei dieser Gruppe wird die psychometrische Diagnostik ebenfalls zu Beginn, am Ende der Therapie und bei der 1-Jahres-Katamnese in einer reduzierten Form (Basiserhebung mit BSI und IIP-D) durchgeführt. Da-durch ergeben sich zwei Vergleichsmöglichkeiten von Mittelwertsunterschieden auf den verwendeten Kriterienmaßen. Dieser Vergleich von IG und KG erlaubt einen kausalen Nachweis der Wirksamkeit der modifizierten Vorgehensweise im Modellprojekt mit der bisherigen Praxis. Durch erfolgreiche Randomisierung werden alle rivalisierenden Alternativerklärungen der Effekte ausgeschlossen. Der Randomisierungserfolg wird im Sinne eines Manipulationsschecks über Informationen aus der Eingangs-diagnostik (PR-Box), die für Experimental- und Kontrollgruppe vergleichbar erhoben werden (BSI und IIP-D), geprüft.

    Abbildung 3. Randomisierungsstrategien.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 20

    Weiterhin werden Informationen aus dem Therapeuten-Praxisbogen und Kennwerte der Abschlussdo-kumentation am Behandlungsende, die sich jedoch auf den Behandlungsbeginn beziehen, wie z.B. Diag-nosen, herangezogen. Durch diese Maßnahmen kann die Vergleichbarkeit von Therapeuten und deren teilnahmebereiten Patienten zwischen beiden Gruppen ausführlich überprüft und sichergestellt werden. Diese Strategie hilft, die interne Validität des Evaluationsplanes zu kontrollieren und zu maximieren.

    2.2.3.2 Nichtexperimentelle Kontrollstrategien zur Maximierung der Generalisierbarkeit

    Es ist aber nicht auszuschließen, dass sich die teilnahmemotivierten Therapeuten und deren teilnahme-motivierten Patienten systematisch von den nichtteilnahmebereiten Gruppen unterscheiden. Teilnah-mebereite Therapeuten könnten kompetenter sein und/oder ihre teilnahmebereiten Patienten eine höhere Psychotherapiemotivation aufweisen. Dies gefährdet wiederum vor allem die Generalisierbarkeit (externe Validität) der Ergebnisse auf das gesamte reale Versorgungssystem ambu-lanter Psychotherapie. Eine Randomisierung aller niedergelassenen Psychotherapeuten und ihrer Pati-enten ist jedoch nicht möglich und durchsetzbar. Voraussetzung für alle Modellprojekte ist die Einver-ständniserklärung (informed consent) von Therapeut und Patient.

    Um diese Gefährdung der externen Validität abschätzen und zumindest partiell überprüfen zu können, werden zwei weitere Kontrollgruppen eingesetzt. Die TK zieht in Abstimmung mit dem TK-Datenschützer eine nach Therapierichtungen (VT, TP, AT) geschichtete Zufallsstichprobe aus der Gruppe derjenigen Therapeuten, die nicht an der Studie teilgenommen haben. Sie liefert die Kernkriterien der Versicherten, die von dieser Gruppe behandelt wurden, ebenfalls in anonymisierter Form an das Evalua-tionsteam. Diese Gruppe von Versicherten sollte zu gleich großen Teilen aus Versicherten der teilneh-menden KV'en (KON-Grp 2) und aus nicht ausgewählten KV'en (KON-Grp 3) stammen. Diese beiden Gruppen bezeichnen wir als Kontrollgruppen 2 und 3. Für diese beiden Gruppen stehen keine Daten aus dem QS-System zur Verfügung. Die TK verfügt jedoch über personenbezogene Leistungsdaten, z. T. in EDV-Form (Data-Warehouse), für alle vier Gruppen, d.h. Experimentalgruppe und die drei Kontrollgrup-pen. Diese Daten lassen sich nach direkten Kosten wie medikamentöse Therapie (Arzneimittel), statio-näre Behandlung (Krankenhaus), Kuren, Krankengeld und indirekte Kosten (Arbeitsunfähigkeitstage) gliedern. Alle kostenrelevanten Daten der vier Gruppen werden für den Zeitraum ein Jahr vor der ambu-lanten Psychotherapie und den Katamnese-Zeitraum ein Jahr nach Ende der Behandlung personenspezi-fisch aggregiert. Diese Daten werden dem Evaluationsteam in anonymisierter Form zur Analyse zur Ver-fügung gestellt.

    Beim Randomisierungsprozess Gutachten erhält jeder Gutachter einen Code, und die Randomisierung wird vom Evaluator geschichtet nach der Therapierichtung vorgenommen. Bei jedem notwendigen Gut-achten wird der Gutachter durch einen Zufallsgenerator bestimmt. Diese Reihenfolge kann a-priori über die Laufnummer (1-xxxx) der zu begutachtenden Fälle erfolgen.

    Der Vergleich der vier Gruppen erlaubt zumindest für einige entscheidende Variablen die Überprüfung der Generalisierbarkeit der Ergebnisse und gibt damit Antworten auf Fragen der externen Validität. Die-se Datenbasis ermöglicht aber auch durch den Vorher-Nachher-Vergleich und den Vergleich zwischen den Gruppen, die Beantwortung der unter der Makroebene (Wirksamkeit und Wirtschaftlichkeit) aufge-stellten Fragestellungen.

    2.2.3.3 Kontrollstrategien zur Überprüfung der Konstruktvalidität

    Konstruktvalidität kann bezüglich Ursachen und Effekten unterschieden werden und bezieht sich vor allem auf die eingesetzten Messinstrumente. In der Planungsphase wurden Experten aus den unter-schiedlichen Therapierichtungen eingesetzt, um die Inhaltsvalidität der Verfahren zu optimieren. Diese Instrumente stellen einen Kompromiss dar, der von allen Gruppen im Konsensverfahren akzeptiert wur-de. Die Messinstrumente werden bisher nicht routinemäßig in der Regelversorgung eingesetzt. Vor al-lem aus psychoanalytischer Stakeholderperspektive wurden in der Planungsphase des Modellvorhabens Bedenken gegen quantifizierende Instrumente dahingehend geäußert, dass eine Dominanz psychomet-

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 21

    rischer, quantitativer Verfahren die Konstruktvalidität psychodynamischer Ursachen und Effekte nicht adäquat abbilden könne. In unseren eigenen Programmevaluationsstudien erwies sich dieser Einwand bislang als unbegründet (Wittmann, Nübling, & Schmidt, 2002), so konnten der Stellenwert und die Konstruktvalidität der psychometrischen Messinstrumente für psychoanalytische Interventionen über beachtliche Effektgrößen mehrfach nachgewiesen werden. Diese Programmevaluationen untersuchten stationäre psychoanalytische Behandlungsprogramme, wie sie in psychosomatisch ausgerichteten Groß-kliniken mit sechs bis achtwöchigen Aufenthalt durchgeführt werden.

    2.2.3.4 Implementation und Evaluation des modifizierten Gutachterverfahrens

    Das gesamte Modellprojekt besteht aus einer Kombination zweier qualitätssichernder Innovationen, erstens der Einführung eines umfassenden Inventars an psychometrischen Messinstrumenten zum Monitoring des Therapieverlaufs und der Zielerreichung, sowie zweitens einer darauf aufbauenden Neuorientierung des Gutachterwesens.

    Hier erwarten wir Antworten auf den Zielbereich der Mesoebene: Diagnostische und adaptive Entschei-dungsstrategien. Die Entscheidungsregeln werden in einer ersten formativen Evaluationsphase explorativ entwickelt und optimiert, um dann in der zweiten Phase summativ evaluiert zu werden.

    2.2.3.4.1 Formative Evaluation der Entscheidungsregeln, des grafischen Rückmeldemodells und des Gutachterverfahrens In einem ersten Evaluationsschritt der sogenannten formativen Evaluation sollen die spezifischen empi-rischen Entscheidungsregeln des TK-Projektes (vgl. Lutz et al., 2005) evaluiert und optimiert werden. Dies erfolgt sobald 200 Patienten das TK-Projekt mit mindestens 20 Sitzungen durchlaufen haben. Die Daten dieser Patienten werden eingesetzt, um die Normen und Berechnungen, welche den Entschei-dungsregeln zugrunde lagen, anhand des TK-Datensatzes anzupassen. Die Grundlage der Entscheidungs-regeln für die Stabilitätsabschätzungen war bisher ein Datensatz der Psychotherapeutischen Ambulanz der Universität Bern, Schweiz.

    Die klinischen Grenzwerte sowie die Entscheidungsregeln hinsichtlich der Entwicklungsverläufe wurden auf der Grundlage dieses Datensatzes entwickelt. Wenn auch dieser Datensatz in vielen Punkten reprä-sentativ für ambulante Psychotherapie in der Bundesrepublik Deutschland sein dürfte, so sind doch auch Abweichungen bei diesem Klientel zu erwarten. Aus diesem Grund sollten die Grenzwerte, klini-schen Normen sowie die Entscheidungsregeln hinsichtlich des bis zu diesem Zeitpunkt zur Verfügung stehenden Datensatzes angepasst werden.

    2.2.3.4.2 Summative Evaluation der Entscheidungsregeln, des grafischen Rückmeldemodells und des Gutachterverfahrens Die folgenden vier summativen Evaluationsschritte werden im Anschluss an die formative Evaluation erarbeitet:

    a) Evaluation der Entscheidungsregeln und Erstellung eines endgültigen Entscheidungsalgorithmus. Das forschungsstrategische Vorgehen entspricht dem Vorgehen der formativen Evaluation. Die Regeln werden anhand des Gesamtdatensatzes angepasst. Wichtig ist, dass nun auf der Basis sämtlicher zur Verfügung stehender Patientenangaben, die Grenzwerte, klinischen Normen so-wie die Entscheidungsregeln evaluiert werden können und die Erfahrungen für eine routinemä-ßige Anwendung nutzbar gemacht werden können. Zur Durchführung bedarf es einer kontinu-ierlichen Prüfung und fortlaufender Updates des Datensatzes durch das Forschungsteam.

    b) Statistischer Vergleich zur Bedarfsgerechtigkeit der Indikationsentscheidungen. Neben der im vorherigen Abschnitt beschriebenen Erhebung zu den Einstellungen der Therapeuten sowie der Gutachter zur QS und dem neuen System wird zusätzlich ein Vergleich anhand der psychometri-schen Informationen zu dem alten und neuen Gutachterverfahren durchgeführt werden. Dazu

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 22

    erfolgt ein Vergleich hinsichtlich der Behandlungsdauer unter Berücksichtigung der Ausgangsla-ge der Patienten sowie den Behandlungsbedingungen. Zentrales Ziel ist eine optimale Indikation für die Patienten. Das alte Gutachtersystem verteilt bestimmte Behandlungskontingente relativ unabhängig von der konkreten (empirisch nachvollziehbaren) Ausgangslage der Patienten. Da-her muss analysiert werden, inwieweit sich durch das modifizierte Gutachtersystem eine Opti-mierung der Indikationsentscheidungen dahingehend ergibt, dass bedürftige Patienten eine aufwendigere Therapie erhalten und weniger bedürftige Patienten eine weniger aufwendigere Therapie.

    c) Befragung zur Evaluation von QS-Maßnahmen und des Gutachtersystems an Therapeuten und Gutachtern. In einem weiteren Evaluationsschritt wird eine Befragung zur Einschätzung des neuen Gutachterverfahrens und der QS-Maßnahmen an den Therapeuten sowie den Gutachtern durchgeführt. Dazu wird ein speziell zur Evaluation von Qualitätssicherungsmaßnahmen in der Psychotherapie entwickelter Fragebogen modifiziert und eingesetzt (Lutz et al., 1997). Dieser Fragebogen wird durch Fragen zu dem im Modellprojekt der TK neuartig eingesetzten Gutach-terverfahren, den Qualitätssicherungsmaßnahmen, den Handlungskonsequenzen, der Überein-stimmung zwischen der klinischen Sicht und den empirischen Handlungsempfehlungen sowie zur Durchführung und Praxisrelevanz ergänzt. Zentral soll in diesem Schritt die Sicht der Thera-peuten zu den Stärken und Schwächen sowie der Effektivität und Effizienz (altes versus neues Verfahren) herausgearbeitet werden. Aus diesen Angaben lassen sich wiederum wertvolle Schlussfolgerungen für ein zukünftig optimal einsetzbares Qualitätssicherungssystem und Gut-achterverfahren ziehen (siehe Anlage B: Einstellungen zur Qualitätssicherung).

    d) Auswertung der Evaluationsfragen aus der Patientensicht. In die Erhebungen zum Therapieende werden zusätzliche Fragen zu den Effekten der Erhebungen, zur Qualität der Fragebogen, der Ergebnisabschatzung durch die Patienten sowie der Patientenzufriedenheit integriert. Anhand der Analysen zu diesen Fragen können wertvolle Informationen zur Patientensicht hinsichtlich des TK-Projektes bzw. des neuen Evaluationssystems ermittelt werden (siehe Anlage C: Evalua-tionsfragen aus Patientensicht).

    e) Effekte der grafischen Rückmeldung und Handlungsempfehlungen für die Therapeuten und Gutachter. In diesem Schritt wird über die globale Abschatzung zu den Effekten aus Therapeu-ten- und Gutachtersicht eine gezielte Evaluation am jeweiligen Patienten erfolgen. Die Angaben, welche in diesem Evaluationsschritt ausgewertet werden, befassen sich mit den Effekten, wel-che das grafische Rückmeldesystem sowie die darin integrierten Handlungsempfehlungen für das konkrete Handeln der Therapeuten haben. Angepasste Fragen werden in das neue Gutach-terverfahren integriert und erlauben so die Abschatzung von konkreten Effekten, welche die Rückmeldungen für die Gutachter haben bzw. welche Konsequenzen daraus gezogen werden. Weiterhin spielen hier Fragen zur Konsistenz zwischen empirischen Handlungsregeln und klini-schem Eindruck bzw. der Nützlichkeit beider Datenquellen eine zentrale Rolle (siehe Anlage D: Evaluation der Rückmeldungen und Handlungsempfehlungen).

    Tabelle 4 zeigt das Analyseschema der Mesoebene mit den drei Stakeholdern und der Konsistenz zwi-schen der klinischen und der empirischen Beurteilung.

    Tabelle 4. Analyseschema Mesoebene: Qualität der Indikationsentscheidung in der ambulanten Psychotherapie (Beginn/Verlauf/Ende)

    Stakeholder Studiengruppe Klinischer Eindruck

    Empirische Bewertung

    Konsistenz Stärken / Schwächen

    Patient TK-Modell x x x x Gutachterverfahren x x Therapeut TK-Modell x x x x Gutachterverfahren x x Gutachter TK-Modell x x x x Gutachterverfahren x x

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 23

    2.2.3.5 Kontrollstrategien zur Überprüfung der Akzeptanz des Qualitätsmonitorings, des alten und des neuen Gutachterverfahrens

    Die Messinstrumente ZUF-8 und SERVQUAL werden für die EX-Grp und KON-Grp 1 eingesetzt. Diese Messinstrumente erlauben die Analyse von Mittelwertsunterschieden zwischen den drei Therapierich-tungen in Bezug auf Ertrag und Akzeptanz. Korrelative Analysen zu PR-, ETR- und KR-Box Variablen er-lauben die Beantwortung von Fragen, in welchem Ausmaß Akzeptanz und Zufriedenheit mit Eingangs-, Therapie- und Erfolgsmerkmalen korrelieren. Dieser Teil des Evaluationsdesigns beantwortet die Frage-stellungen des Zielbereiches Mikroebene: Praktikabilität und Akzeptanz.

    Tabelle 5. Messinstrumente auf Meso- und Mikroebene

    Patient Therapeut Gutachter Einstellungen zur Qualitätssicherung, Anlage B x (x) Evaluationsfragen aus Patientensicht, Anlage C x Evaluation der Rückmeldungen und Handlungsempfehlun-gen, Anlage D

    x (x)

    ZUF-8, Fragebogen zur Messung der Patientenzufriedenheit x SERVQUAL, Einstellungen und Zufriedenheit bei Dienstleis-tungen (Parasuraman, Zeithaml, Berry 1985)

    x x

    2.3 Statistische Datenanalyse Das Modellprojekt fordert und ermöglicht den Einsatz eines breiten Spektrums an einfachen und kom-plexen Datenanalyseverfahren, adaptiert an die jeweilige Fragestellung, um damit eine möglichst hohe statistische Schlussfolgerungsvalidität zu erzielen.

    2.3.1 Teststärkeanalyse und Fallzahlenberechnung Ein zentraler Aspekt der statistischen Schlussfolgerungsvalidität ist die a-priori Planung einer ausrei-chenden Fallzahl für die vier verschiedenen Gruppen, um praktisch relevante Effektgrößen mit hoher Teststärke (Power = 1 - Fehler 2. Art) bei gegebenen Alpha-Niveau (Fehler 1. Art) auch entdecken zu können, falls vorhanden. Die Ableitung der erforderlichen Fallzahlen findet auf der Basis der Berechnung der Break-Even-Effektgröße und Variationen und Sensitivitätsanalysen für monetär bewertbare Kriterien statt (siehe Anlage A).

    Als Effektgrößenmaße werden Cohen’s d und das Glass'sche delta für alle Prä-Post-Vergleiche und alle Mittelwertsunterschiede zwischen den vier Gruppen eingesetzt. Bei Cohen’s d werden Mittelwertsunterschiede im Prä-Post-Vergleich durch die gepoolte Standardabweichung prä-post divi-diert. Bei Mittelwertsunterschieden wird diese Differenz durch die gepoolte Standardabweichung der beiden zu vergleichenden Gruppen dividiert. Beim Glass'schen delta wird die Differenz im Prä-Post-Vergleich nur durch die Standardabweichung (SD) prä und beim Vergleich zweier unabhängiger Gruppen nur durch die Standardabweichung der Kontrollgruppe dividiert. Bei Cohen's d kann ein differentieller Effekt die berechnete Effektgröße im Vergleich zum Glass'schen delta erhöhen, wenn die SD-post kleiner als die SD-prä ausfällt und im Vergleich zum Glass'schen delta erniedrigen wenn die SD-post größer aus-fällt als die SD-prä. Vergleichbare Effekte ergeben sich, wenn die SD's von EX-Grp und KON-Grp unter-schiedlich ausfallen. Erhöhungen und Reduzierungen von SD's sind Anzeichen für differentielle Effekte, die zusätzlich zu Mittelwertsunterschieden auftreten können, wenn Subgruppen von Patienten stärker von einer Intervention profitieren als andere.

    Beide Effektgrößevarianten liefern jedoch Ergebnismaße, die unabhängig von der Skalierung des ver-wendeten Kriteriums sind. Sie erlauben einen direkten Vergleich unterschiedlicher Kriterienmaße. Sie sind metaanalytisch aggregierbar und können synthetisiert werden. Prä-Post Effektgrößemaße lassen sich auch für jede einzelne Person berechnen, was über die Analyse von Mittelwertsunterschieden hin-

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 24

    aus korrelative Analysen zur Prognose und Erklärung der individuellen Variabilität der Effekte über mul-tiple Regressionen und Pfadanalysen zulässt.

    Legt man die gewünschte Effektgröße, das Alpha-Niveau und die Power fest, so lässt sich die benötigte Fallzahl ausrechnen. Was ist jedoch ein gewünschter Effekt? Cohen stellte ein heuristisch aus der For-schungspraxis abgeleitete Klassifikation vor, so bezeichnete er d=.20, .50 bzw. .80 als kleine, mittlere bzw. große Effekte. Diese Klassifikation gilt jedoch nur für gruppenstatistische Mittelwertsunterschiede. Für individuelle Effekte wurde das Konzept der klinisch relevanten oder bedeutsamen Effekte vorge-schlagen, das auf individuellen Veränderungswerten, dem Standardmessfehler (Reliabilität) des Messin-strumentes und der Prä-Posttestkorrelation beruht. Dieses Konzept wird bei der Indikation zum mögli-chen Therapieende und dem neuen Gutachterverfahren eingesetzt. Für die Fallzahlenberechnung müs-sen wir jedoch das gruppenstatistische Cohen d heranziehen.

    Für die Stakeholdergruppen TK und die gesundheitspolitische Öffentlichkeit sind kostenrelevante Krite-rien von hoher Bedeutung. Welche Effekte sind unter dieser Perspektive relevant und bedeutsam? In Wittmann, Nübling und Schmidt (2002) ist eine Strategie vorgestellt, wie groß ein solcher Effekt am Break-Even Punkt sein muss, ein Effekt an dem sich Kosten und Nutzen gerade aufwiegen. Wir haben dabei Ideen und Konzeptionen weiterentwickelt, die bereits von Schmidt, Hunter und Pearlman (1982) vorgelegt wurden. Ein Effekt der etwas größer als der Break-Even-Effekt ist, lohnt sich aus einer ROI-Perspektive (ROI= return on investment). Zu unserer Überraschung liegt der Break-Even-Effekt im Be-reich von d=.15, d.h. unterhalb von d=.20. Bereits kleine Effekte beginnen sich unter einer rein monetä-ren Betrachtung zu lohnen (siehe Anhang A zu den Berechnungsgrundlagen und den getroffenen An-nahmen).

    Wir haben deshalb die Fallzahlenberechnung auf dieser Basis durchgeführt und kommen zu einer Fall-zahl von je 1.400 Patienten für Experimental- und Kontrollgruppe, für d=. 15, alpha=.01 und power=.95. Liberalisiert man diese strengen Kriterien in d=.20, alpha=.05 und power=.95 benötigt man 540 Perso-nen pro Gruppe. Eine Teilnehmerzahl von ca. 1.100 Versicherten erlaubt also bereits in Cohen's Termi-nologie kleine Effekte auf monetären Kriterien statistisch abzusichern, wenn sie vorhanden sein sollten.

    Wie bei jedem längsschnittlich angelegten Design werden unweigerlich sogenannte Dropouts entstehen. Patienten könnten die Befragungsinstrumente unvollständig ausfüllen, die Therapie abbrechen oder Informationen könnten bei einzelnen Patienten verloren gehen. Für solche fehlenden Daten innerhalb der Befragungsinstrumente gibt es Schätzverfahren (EM-Algorithmen), die dann eingesetzt werden. Kompletter Datenausfall führt zur Reduzierung der Stichprobe. Wir rechnen damit, dass der Datenausfall nicht größer ist als 20%. Es wird geprüft, ob der Datenausfall als ein Zufallsprozess zu betrachten ist oder ob eine systematische Selektion vorliegt. Weiterhin werden ex-post-facto Power-Analysen durchgeführt. Diese ermöglichen dann bei Vorliegen der tatsächlichen verwertbaren Stichprobengröße, dem festge-setzten Alpha-Fehlerniveau und dem empirisch erzielten Effekt die Berechnung der Teststärke. Sollte diese Teststärke nicht ausreichen, kann entschieden werden, wie lange das Modellvorhaben noch wei-terlaufen müsste, um die gewünschte Teststärke zu erzielen.

    In die Planung der Fallzahlen sind bereits Sicherheitspuffer eingebaut, die aus heutiger Sicht ein solches Szenario als unwahrscheinlich erscheinen lassen. Diese Puffer liegen in der gewählten Effektgröße und der Teststärke (Power=.95). Erhöht man den erwarteten Effekt am Break-Even-Point von d=. 15 auf d=.20, so liegen wir mit den Erwartungen immer noch im Bereich kleiner Effekte, bei denen sich die Qualitätssicherung bereits zu lohnen beginnt. Senkt man die Teststärke von .95 auf .90 so benötigt man ebenfalls deutlich weniger Personen. In der akademischen Forschungspraxis begnügt man sich sogar häufig mit dem Wert .80,

    Die Teststärke wurde bewusst höher gesetzt, um in diesem sensiblen Bereich Konflikten über die Bewer-tung der erzielten Effekte vorzubeugen. Eine Stichprobengröße von 1.000 Personen reicht nach unseren Berechnungen (siehe Anhang A) aus, um allen beteiligten Stakeholdergruppen eine faire Bewertungs-grundlage zu geben. Sollte der tatsächlich erzielte Effekt, den wir a-priori noch nicht kennen, in einem Grenzbereich liegen der zu Bewertungskonflikten fuhrt, so kann die Stichprobenfallzahl durch Verlänge-rung der Laufzeit gegebenenfalls erhöht werden. Ob ein solcher Fall eintreten wird, lässt sich jedoch

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 25

    bereits nach der Hälfte der Laufzeit des Modellvorhabens abschätzen, da dann die bis dahin erzielten Effektgrößen insgesamt und für bestimmte Teilgruppen berechenbar sind.

    Effekte im Spiegel nichtmonetär bewertbarer Kriterien sind ebenso wichtig. Aus der Psychotherapiefor-schung und den Programmevaluationsstudien zur stationären Psychotherapie wissen wir, dass diese Effekte im Bereich von mittleren und großen Effekten liegen, deshalb können solche Effekte auf jeden Fall mit der geplanten Fallzahl gesichert werden. Die vorgeschlagene Fallzahl entspricht daher allen un-terschiedlichen Stakeholdergruppen.

    Wie lassen sich diese Fallzahlen praktisch realisieren? Unter der begründeten Annahme, dass ein Psy-chotherapeut ca. vier neue TK-Versicherte pro Jahr behandelt und der Tatsache, dass in der KV-Hessen 2.010 und in der KV-Südbaden 531 Psychotherapeuten zugelassen sind, werden etwa 8.040 bzw. 2.124 Versicherte der TK in den beiden Regionen eine Behandlung aufsuchen. Bei einer Therapeuten-Teilnahmequote von geschätzten 10% könnten damit insgesamt etwa 1.000 Personen pro Jahr in die Studie aufgenommen werden, was einer Teilnehmerzahl von etwa 2.000 Patienten im Laufe von zwei Jahren entsprechen würde. Mit dieser Teilnehmerzahl könnten sogar kleine Effekte mit einer guten Teststärke nachgewiesen werden.

    Tabelle 6. Zugelassene Psychotherapeuten und Schätzung teilnehmender TK-Patienten pro Jahr.

    KV Hessen KV Südbaden KV Westfalen-Lippe SummeZugelassene Psychotherapeuten

    2.010 531 1.307 3.848

    Teilnehmerquote 10% 804 212 523 1.539Teilnehmerquote 20% 1.608 425 1.046 3.078Teilnehmerquote 30% 2.412 637 1.568 4.618Anmerkung. Die Schätzung erfolgt unter der Annahme, dass ein Psychotherapeut pro Jahr vier TK-Versicherte behandelt.

    Die Laufzeit des Modellprojektes ist vor allem durch die maximale bewilligbare Stundenzahl und die Therapiedichte (Anzahl der Sitzungen pro Woche) mitbedingt. Zusätzlich zur Laufzeit der Therapie muss noch das Jahr bis zur Katamnese berücksichtigt werden. Die Gruppe der analytischen Langzeittherapien ist naturgemäß der entscheidende Faktor für den Abschluss des Modellprojektes.

    Ausgehend von einer Therapiefrequenz von einer Sitzung pro Woche (TP und VT), wären alle Daten ei-ner VT mit dem maximalen Kontingent von 80 Stunden einschließlich der Katamneseerhebung (52 Wo-chen) nach 132 Wochen bzw. eineinhalb Jahren verfügbar. Bei einer TP-Langzeitbehandlung von 100 Stunden und 52 Wochen Katamnese beträgt der Beobachtungszeitraum 152 Wochen. Bei der AT (hier ausgehend von 3 Sitzungen pro Woche) wären ebenfalls 152 Monate bzw. knapp 3 Jahre vorzuhalten (jeweils ohne Urlaub und sonstige Unterbrechungen kalkuliert).

    Falls die Teilnahmebereitschaft im ersten Jahr bei wenigstens 10% oder darüber liegt, könnte das Mo-dellprojekt in einem überschaubaren Rahmen von drei Jahren in den wichtigsten Aspekten abgeschlos-sen werden.

    Die Daten werden beginnend mit der Eingangsdiagnostik kontinuierlich an das Evaluationsteam zur Auswertung weitergeleitet. Für alle 500 Fälle wird eine Zwischenauswertung vorgenommen. Diese Sub-stichproben können wie in einer Metaanalyse einzeln und kontinuierlich über den Projektverlauf aggre-giert analysiert und dargestellt werden. Es wird erwartet, dass die Größe der Effekte des Qualitätsmonitorings mit zunehmender Laufzeit und größerer Vertrautheit der Therapeuten mit dem System ansteigt. Sollten die Effekte deutlich größer als die a priori errechneten Break-Even-Effekte sein, so kann die notwendige Fallzahl und damit die Laufzeit deutlich verkürzt werden. Eine maximale Laufzeit von drei Jahren müsste dann zumindest für VT und TP nicht überschritten werden.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 26

    2.3.2 Datenaufbereitung und Datenreduktion Die einzelnen Datenquellen, die wir den Datenboxen zugeordnet haben, umfassen eine Fülle an Variab-len und Merkmalen, die über theoriegeleitete Aggregationen und exploratorische Faktorenanalysen reduziert werden, um der Kapitalisierung von Zufallseffekten vorzubeugen. Auf der Kriterienseite wer-den sogenannte multiple Ergebniskriterien für monetäre und nichtmonetäre Ergebnisaspekte gebildet (Schmidt, Bernhard, Wittmann, & Lamprecht, 1987; Wittmann, Nübling, & Schmidt, Evaluationsforschung und Programmevaluation im Gesundheitswesen, 2002). Ein EMEK-monetär wird als Summe der Reduktion von Leistungen in den Bereichen Krankengeld, Krankenhaus, Kuren und Medi-kamentenkonsum gebildet, das EMEK-nonmonetär aus den Veränderungen im BSI, IIP-D und SF-12. Die Rechtfertigung der Bildung solcher EMEK-Aggregate wird über die interne Korrelation der Indikatoren überprüft. Beide Varianten können aber auch theoriegeleitet begründet werden, da das monetäre EMEK den Ressourcenverbrauch in Geldwerteinheiten abbildet und das nichtmonetäre EMEK einen Index für die Verbesserung der Lebensqualität darstellt.

    2.3.3 Deskriptive statistische Analysen Für Patienten und Therapeuten werden die wichtigsten soziodemographischen Variablen hinsichtlich Häufigkeiten, Proportionen oder Prozentsätze für kategoriale Variablen dargestellt. Für stetige Variablen werden die Maße der zentralen Tendenz (Mittelwerte und Median) und die Streuungsmaße Standard-abweichung, Schiefe und Rangemaße berichtet.

    2.3.4 Inferenzstatistische Analysen Grundlage für die inferenzstatische Analyse ist das allgemeine lineare Modell im Sinne von Cohen, Cohen, West, & Aiken (2003), das varianzanalytische Datenanalysen und Methoden der Regressi-on/Korrelation miteinander verknüpft. Alle Analysen werden über Methoden der Regressionsdiagnostik auf Ausreißer und Verteilungsannahmen hin überprüft. Bei Verletzungen der Verteilungsannahmen werden die entsprechenden verteilungsfreien Analyseverfahren eingesetzt.

    2.3.5 Exploratorische Analysen Der Datensatz ist von der Anzahl der erhobenen Variablen äußerst umfangreich, so dass sich neben den a-priori spezifizierten Hypothesen viele explorativ interessante Fragestellungen bearbeiten lassen. Hauptziel der exploratorischen Analyse ist die Varianzaufklärung ausgewählter multipler Kriterienmaße durch die Prädiktor- und die Treatmentboxvariablen. Die Suchstrategien lauten beispielsweise:

    • Welche Kombination von PR- und ETR/NTR-Box Variablen führen zu einer maximalen multiplen Korrelation?

    • Gibt es Therapieziele die sich leichter erreichen lassen als andere? Hier wird eine qualitativ ori-entierte Inhaltsanalyse der Ziele verfolgt.

    • Resultieren unterschiedliche Effektgrößen für unterschiedliche Diagnosegruppen?

    Die empirisch gestützten Entscheidungsregeln des grafischen Rückmeldesystems werden in der formati-ven Evaluationsphase (siehe 2.2.3.4.1) ebenfalls exporatorisch gewonnen.

    2.4 Zentrale Hypothesen Die Hypothesen orientieren sich an univariaten, bivariaten und multivariaten Verteilungskennwerten der Kriterienvariablen und dienen zur Beurteilung des Gesamterfolgs des Modellvorhabens.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 27

    2.4.1 Mittelwertsunterschiede

    2.4.1.1 Makroebene - Wirksamkeit und Wirtschaftlichkeit

    a) Das Qualitätsmonitoring führt bei allen nicht monetären Kriterienmaßen zu signifikant bes-seren Ergebnissen als bei der Kontrollgruppe 1, für die diese Kriterien ebenfalls erhoben werden (für die Kontrollgruppen 2 und 3 werden diese Informationen nicht erhoben).

    b) Das Qualitätsmonitoring, das bei der Experimentalgruppe verwendet wird, führt zu höheren Effektgrößen auf dem EMEK-nonmonetär bei allen Vergleichen von EX-Grp. mit KON-Grp. 1, und auf dem EMEK-monetär bei der Katamnese zu allen Kontrollgruppen 1-3.

    c) Wir erwarten für alle vier Gruppen im EMEK-monetär Effektgrößen d>.20 im Vorher-Nachher-Vergleich, d.h. für den Vergleich des Einjahreszeitraumes vor der Therapie und den der Katamnese.

    2.4.1.2 Mesoebene - Diagnostische und adaptive Entscheidungsstrategien

    a) Die Vorgehensweise nach dem TK-Modell (EX-Grp.) führt zu einem bedarfsgerechteren Ein-satz der therapeutischen Ressourcen (Indikator: Varianz der Behandlungsdauer in der EX-Grp. ist größer als in der KON-Grp. 1).

    b) Die Indikationsstellung bei der Aufnahme von Psychotherapie kann in der EX-Grp. durch den Einsatz verschiedener diagnostischer Instrumente gegenüber der KON-Grp. l verbessert werden.

    c) Die Therapeuten in der EX-Grp. nutzen die Handlungsempfehlungen in unterschiedlicher Weise.

    d) Die beteiligten Gutachter der EX-Grp. nutzen die Handlungsempfehlungen in unterschiedli-cher Weise.

    e) Die Konsistenz der eingesetzten Entscheidungsregeln und Handlungsoptionen unterscheidet sich aus Patienten-, Therapeuten- und Gutachtersicht.

    f) Die in der EX-Grp. eingesetzten Messinstrumente decken die zentralen Problembereiche aus Patientensicht ab.

    g) Der Umfang des Erhebungsinventars muss für einen praktikablen Einsatz in der Routine an-gepasst werden.

    2.4.1.3 Mikroebene - Praktikabilität und Akzeptanz

    a) Die Patienten in der Experimentalgruppe erleben die Rückmeldung als eine Stärkung ihrer Befähigung (Empowerment).

    b) Es wird eine relativ hohe Akzeptanz der ambulanten Psychotherapie bei Experimental- und Kontrollgruppe auf den Messinstrumenten ZUF-8 und SERVQUAL erwartet.

    c) Experimental- und Kontrollgruppe unterscheiden sich im Spiegel der Patientensicht nicht signifikant voneinander.

    d) Die Praktikabilitätseinschätzung des Qualitätsmonitorings aus Therapeutensicht steigt mit der Anzahl der Therapien, die mit diesem System durchgeführt werden.

    2.4.2 Korrelative Zusammenhänge und Strukturgleichungsverfahren Zwischen PR-Box, ETR/NTR-Box Variablen sowie zur KR-Box wird, gestützt auf frühere Forschungsergeb-nisse, eine Reihe korrelativer Zusammenhänge erwartet.

    Modellhypothesen („latent growth") zum Prozess des Verlaufs der Zwischen- und Endmessungen. Die Zwischenmessungen der psychometrischen Messinstrumente bei der Experimentalgruppe werden hin-sichtlich Ausgangsniveau (Intercept) und Prozessverlauf (slope) hin analysiert.

  • Qualitätsmonitoring in der ambulanten Psychotherapie – Abschlussbericht 2011 – Seite 28

    2.4.3 Gesamtbewertung Insgesamt stellt sich die Frage, unter welchen Bedingungen die im Modellvorhaben eingesetzten In-strumente und Prozesse für den Einsatz in der Routineversorgung empfohlen werden können. Der Erfolg des Modellvorhabens wird aus der Perspektive der unterschiedlichen Stakeholdergruppen unterschied-lich bewertet werden, da sie sich in der Gewichtung der Erfolgsparameter unterscheiden werden. Eine Gruppe wird besonders den Erfolg in Geldwerteinheiten bewerten, eine andere Gruppe wird Aspekte der Lebensqualität, gesundheitliches Wohlbefinden, Symptomreduktion und Zufriedenheit am höchsten gewichten.

    Wir haben einen breiten Kriterienkatalog von monetär bewertbaren Parametern und von nichtmonetä-ren Kriterien vorgesehen, die zu getrennten Indexskalen aggregiert werden. Erstere werden einer Kos-ten-Nutzen-Analyse unterzogen und letztgenannte einer Kosteneffektivitäts-Analyse. Im Anhang A ha-ben wir eine Form der Kosten-Nutzen-Analyse vorgestellt, die es erlaubt, einen Erfolgsparameter d am Break-Even-Point zu berechnen, an dem sich monetäre Kosten und Nutzen gerade aufwiegen. Dieser Wert liegt nach unseren Modellrechnungen auch nach Variationen im Sinne einer Sensitivitätsanalyse eher um den Wert d=.20, der in der Fachliteratur als kleiner Effekt betrachtet wird. Sollte der tatsächli-che Erfolg im monetären Index um die Hälfte größer sein, d.h. d=.30, so wäre das Modellprojekt alleine an diesem Parameter bereits ein großer Erfolg. Betriebswirtschaftlich wäre dann der Index ROI = 1,5. Bereits deutlich kleinere ROI's werden in anderen Bereichen schon als ein Erfolg betrachtet.

    Für den nichtmonetären Index können die Effektgrößenmaße d ebenfalls als standardisierte Mittelwertsdifferenz vor und nach der Behandlung und im Vergleich zu Kontrollgruppen berechnet wer-den. Zur vergleichenden Bewertung werden hier als Benchmarks einerseits die bisher berichteten Maße aus Meta-Analysen der internationalen Psychotherapieforschung herangezogen, die im Schnitt um d=.80 liegen, andererseits werden zum Vergleich auch die bisher im deutschen Sprachraum berichteten Effekte stationärer Psychotherapie wie sie im Bereich der psychosomatischen Rehabilitation erforscht wurden herangezogen. Auch in diesem Bereich sind die berichteten Effekte beachtlich, sie streuen um 0,60 bis über 1,00 (Wittmann, Nübling & Schmidt, 2002). Da die Meta-Analysen meist auf gut kontrol-lierten Studien beruhen, erwarten wir in der realen Versorgungspraxis eine gewisse Reduktion des Wir-kungsgrades, da dort die Rahmenbedingungen nicht so gut kontrollierbar sind.

    Von einem Erfolg sprechen wir, wenn ein d>.40 erreicht wird und dieser Effekt im Verlauf des Projektes vom ersten zu dritten Jahr signifikant ansteigt. Ein solcher Anstieg wäre ein Nachweis der internen Qua-litätssicherung, der auch durch einen Anstieg in der Zufriedenheit der Patienten und Therapeuten be-gleitet werden so