12/06/14

1

Pflegekennzahlen – Internationale Perspektive: Was können wir daraus

lernen

Prof. Dr. Michael Simon Institut für Pflegewissenschaft, Universität Basel Bereichsleitung Universitäre Forschung Pflege, Inselspital Bern

Inhalte

•  Hintergrund Qualitätsmessung

•  Erfahrungen USA: NDNQI

•  Erfahrungen UK: Safety Thermometer

•  Erfahrungen D: PTVS

•  Was können wir daraus lernen?

12/06/14

2

Was ist eine gute (Pflege)-Kennzahl? I

1.  Relevanz •  Bedeutsam für Akteure des

Gesundheitswesens •  Bedeutsam für die Gesundheit •  Potenzial zur Verbesserung •  Beeinflussbar

Was ist eine gute (Pflege)-Kennzahl? II

2.  Wissenschaftlich solide •  Evidenzbasiert •  Zuverlässig •  Aussagekräftig •  Adjustierbar •  Verständlich

12/06/14

3

Was ist eine gute (Pflege)-Kennzahl? III

3.  Machbarkeit •  Explizite Spezifizierung

•  von Zähler und Nenner •  Erhebungsverfahren

•  Verfügbarkeit von Daten

Ergebnis Prozess Struktur

Donabedian’s S-P-O Modell

Eigenschaften der Pflegenden

Stations- eigenschaften

Risk assessment: •  Häufigkeit •  Type •  Inter-Rater Reliability

Ergebnis Risk assessment

Pflegende interpertiert das Ergebnis & plant ggf. Massnahmen

Sturz ist verhindert

12/06/14

4

Warum Kennzahlen?

BERWICK, D. M., JAMES, B. & COYE, M. J. 2003. Connections between quality measurement and improvement. Medical care, 41, I30-8.

Ergebnisse

Auswahl & Rechenschaft

Wissen über Ergebnisse

Wissen über Prozesse und Ergebnisse

PatientenVersicherungen

LeistungserbringerGesundheitspolitik

Organisationen

Teams

Messung zur Qualitätsverbesserung

VeränderungAuswahl

Motivation

Ziele/Zweck

Wie messen?

Modifiziert  nach  VAN  DISHOECK,  A.-­‐M.,  LINGSMA,  H.  F.,  MACKENBACH,  J.  P.  &  STEYERBERG,  E.  W.  2011.  Random  variaMon  and  rankability  of  hospitals  using  outcome  indicators.  BMJ  Qual  Saf,  20,  869-­‐874.  

Beobachtete  Unterschiede  

Unklare  Unterschiede  

PaMenten  Eigenscha]en  

Zufall  

Residuales  Confounding  

Erhebungs-­‐verzerrung  

Pflegequalität  

 AggregaMon  

 StraMfizierung  

 Standardisierung,  

O/E    

Regression  

 Empirical  Bayes  

 Regression  mit  

zufälligen  Effekten  

Unklare  Unterschiede  

KonzepMonelle  Ebene  

Methodische  Ebene  

12/06/14

5

1998 von der American Nurses Association (ANA) gegründet.

Betrieben an der University of Kansas School of Nursing

~2000 Krankenhäuser

>20.000 Stationen

Vierteljährliche Berichte für internes & externes Benchmarking

Jährliche Personalbefragung (>400,000 Pflegende)

Entwickler von NQF-Indikatoren

CMS‘ Anforderung

National Database of Nursing Quality Indicators (NDNQI®)

9

NDNQI Erfahrungen USA

12/06/14

6

Patientenbezogene Indikatoren • Sturz (E) • Sturz mit Verletzungen (E) • Dekubitalulcera (E)

• Aggressives Verhalten psychiatrischer Patienten (E) • Anzahl paravasat verlaufender Infusionen in der

Pädiatrie (E)

• Katheterassoziierte Blasenentzündung (E) • Katheterassoziierte Sepsis (E) • Beatmungsassoziierte Ereignisse (E)

NDNQI-Indikatoren I

E=Ergebnis  S=Struktur  P=Prozess  

Personalbezogene Indikatoren • Arbeitszufriedenheit (E) • Praxis-Umgebungsindex (E) •  Fluktuation (E)

Struktur- und Prozessindikatoren • Skillmix (S) • Pflegestunden pro Patiententag (S) • Pflegeaus- und Weiterbildung (S) • Schmerzassessment (P) •  Freiheitseinschränkende Maßnahmen (P)

NDNQI-Indikatoren II

E=Ergebnis  S=Struktur  P=Prozess  

12/06/14

7

Beispiel: Report

Beispiel: Grafik

12/06/14

8

SAFETY THERMOMETER Erfahrungen UK

Erfahrungen in UK: Safety Thermometer

•  “Harm free care” •  Seit 2012 •  P4P (CQUIN) •  Dekubitalulcera, Stürze, Katheterassoziierte

Blasenentzündung, Thrombosen •  Alle Patienten an einem Tag pro Monat •  <10 Minuten pro Patient •  1.8 Mio Patienten erfasst (2013) •  „Open data“

12/06/14

9

Copyright © 2014, Health & Social Care Information Centre. All rights reserved. i

Appendix  1:  Definitions Data  Recording Data is recorded monthly for every NHS-funded patient in participating organisations. It is recorded by ward or team name, organisation code, and organisation name.

The following table describes the data recorded for each patient:

Table  1:  NHS  Safety  Thermometer  Patient  data

Field Values Notes

Age Band: 1 = <18, 2 = 18-70, 3 = >70

Sex: 1 = F, 2 = M

Old PUs 1 = None, 2 = Cat 2, 3 = Cat 3, 4 = Cat 4

New PUs 1 = None, 2 = Cat 2, 3 = Cat 3, 4 = Cat 4

Falls 1 = No Fall, 2 = No Harm, 3 = Low Harm, 4 = Moderate Harm, 5 = Severe Harm, 6 = Death

A  value  of  ‘2’  is  not  a  Harm

UTIs 1 = No UTI, 2 = Old UTI, 3 = New UTI

Catheters 1 = No Catheter, 2 = 1-28 days, 3 = >28 days, 4 = Days Not Known

VTE Risk Assessment

1 = No, 2 = Yes, 3 = N/A

VTE Prophylaxis 1 = No, 2 = Yes, 3 = N/A

VTE Treated 1 = No VTE, 2 = Old DVT, 3 = Old PE, 4 = Old Other, 5 = New DVT, 6 = New PE, 7 = New Other

Values 5 to 7 are New Harms Values 2 to 4 are not Harms

The following count as harms: old or new pressure ulcers, falls with harm, catheters with UTIs, and new VTEs.

The following count as new harms: new pressure ulcers, falls with harm, catheters with new UTIs, and new VTEs.

Guidance  included  in  the  NHS  Safety  Thermometer  tool   Pressure  Ulcers The Safety Thermometer asks you to record the patient's worst old pressure ulcer and worst new pressure ulcer. An 'old' pressure ulcer is defined as being a pressure ulcer that was present when the patient came under your care, or developed within 72 hours of admission to your organisation. A 'new' pressure ulcer is defined as being a pressure ulcer that developed 72 hours or more after the patient was admitted to your organisation. To collect the data, you should examine the patient for any skin damage and ask them about any skin damage they have experienced as well as consulting their notes or handover documents.

HSCIC (2014). NHS Safety Thermometer: Patient Harms and harm free care

~2/3 der Stationen haben gar keine Stürze

3% der Patienten stürzen

1% der Patienten Stürzen mit Verletzung

Stürze in Allgemeinen Internistischen Stationen

12/06/14

10

Stürze im Vergleich: Krankenhausebene Org.Code

RGRRW3RTPRVYRFSRLNRBTRMPRJFRL4RLQRTDRDERWHRBLRH8RD1RTGRC9RM3RWYRA7RDZREMRCFRDDRC3RCXRA9RWWVM0C0RY5RYWRWPRJERN3RJ1RASRXQRJDRBDRN7RNLRXKRQWR1HRKBRR7RRFRWFRC1RVRRBKRFFRWNRHWRM1RA2RDURXWRKERFWRGNRJ6RVVVLYJ5RD8RWJRBAREFRNZRVJRTERJZRTKRV3RA4RA3RQ6RBNRGTRXRRH5RXCRK5RLTRVLRYRRNARNQRM2RWDR1GRQMRJ2RP5RJNRWGRTXRFRRAJRXPRXFRHM

−0.5 0.0 0.5 1.0

(Intercept)

ward.id

RJ2:QEW WARD 15ARFR:A5RBT:WARD 7RXP:1 UHNDRTE:RYEWORTHRXF:QUEEN ELIZABETH HOUSERFS:16RRF:INCERWP:WAMURWD:LINCOLN WARD BURTONRWW:A8RTE:4BRFS:5RXP:6 BAHRWD:LINCOLN WARD DIXONRGR:G4RCX:PENTNEYRXP:52 DMHRP5:WARD 26RDD:ECMBRBK:WARD 03RWP:WAVON3RTD:FH WARD 16RFS:1RCX:TERRINGTONRNQ:HARROWDEN AREM:MAURVR:EGH − CHUTER EDE AMURLN:B28RNL:LARCH CRBT:WARD 2RXR:C9RJE:WARD 210REF:MED 2 WCHRDD:EFMBRWG:WHITE 2RA3:KEWSTOKER1H:PLASHETRQM:EDGAR HORNERHM:AMU2RLN:E53RVR:EGH − CROFT WARDRNL:JENKINRD1:CHESELDENRYR:ASHLINGRXC:BAIRDRVR:EGH − BUCKLEY WARDRTP:HAZELWOODRBN:2ARTD:FH WARD 17RA9:SIMPSONRCF:WARD 15RQW:LISTERRLQ:ROSS COMMUNITY HOSPITALRK5:SCONCERCX:MAURDE:NAYLANDRN3:NEPTUNERC9:WARD 11RWF:CHAUCER WARDREF:GRENVILLERGR:F7 AMU AND SHORT STAYRWH:DIGSWELLRH5:BURNHAMR1G:NEWTON ABBOT TEMPLARRLT:MELLY GASTRORDD:WHMBRAJ:GORDON HOPKINSRTP:GODSTONE WARDRXK:D41RM2:F12RWP:WASURFS:14RJ6:AMURTX:FGH WARD 6RQW:RAYRFW:OSTERLEY 1RDU:F9RR7:24RGN:A10RVJ:WARD 107RP5:WARD A4RBT:WARD 4RA7:BHI WARD 54RL4:C19RKB:20RMP:WARD 41RC9:WARD 12RFR:B1RR7:25RGR:F10RD8:WARD 8RLT:FELIX HOLTRTD:FH WARD 18RLQ:ARROW WARDRDU:F3RWF:WARD 21RMP:WARD 42RGR:G5RTD:RVI WARD 31RJE:WARD 218 (123)RWD:GRANTHAM WARD 2RTG:306RNL:HONISTERRXR:C3RTE:7ARFW:AMURWY:WARD 6 HRIRQW:LOCKERMP:WARD 44RCF:AMURWG:AAU L3 BLUERNQ:CLIFFORDRDD:ORSETTRTE:8BRA7:BRI WARD 15RNQ:CRANFORDRBD:ABBOTSBURYRXP:44 DMHRJ2:QEW WARD 15BRXP:14 DMHRTP:AMURC3:6 SOUTHRFF:28RM2:F14RTE:6BRBK:WARD 17RH5:LYDEARDRJE:WARD 123 (122)VM0C0:UNIT ONE AND TWORL4:C16RNZ:REDLYNCHRBK:WARD 12RH5:CREWKERNER1G:TAVISTOCKRXC:WELLINGTONRXC:NEWINGTONRBD:EMURWY:WARD MAU CRHRXR:C6RLQ:WYE WARDRXR:MAURBT:WARD 14RWH:AAURP5:WARD 24RBL:WARD 26RNL:WILLOW BRJF:WARD 3RHM:AMU3RGT:C4RN7:OAKRC3:AMURYR:AMU WORTHINGRGT:EAU4RVY:9BRVY:14BRMP:WARD 40RWJ:A1RXF:38 PGHRTP:TANDRIDGE WARDRR7:1RH5:SWINBANKSRDE:DEDHAMRJ6:DUPPASRW3:ACUTE MEDICAL UNITRGN:CARDIAC WARDRDE:LANGHAMRY5:MANBY WARDRP5:WARD A5RJN:MEDICAL ASSESSMENT UNITRXP:RICHARDSON LOWSONRDZ:RB01RN7:ROSEWOODRVR:STH − MARY MOORE WARDRTE:7BRH8:LOWMANRLN:F61RGT:D5RTE:6ARGT:F6RVY:7ARXR:C8RWP:AMAUMRVV:KCH INVICTARKB:HOSKYNRWH:MAURC9:WARD 10RXC:SEAFORD 2 MSSURHW:SIDMOUTH WARDRBT:WARD 18RW3:WARD 46RWD:PILGRIM WARD CDURWJ:A14RXW:7RWP:WAVON4RJ6:PURLEY 1RJZ:OLIVERRGR:F9RFS:21RC1:WHITBREAD WARDRKE:ITURGT:N2RYR:DITCHLINGRQW:HARVEYRRF:ASTLEYRMP:WARD 31RGT:N3RNA:C8 ST 2RNA:C7 ST 3RWG:GADERXQ:WARD 10 SMHRKE:EXTRA WARDRXR:C4RA3:HARPTREE EASTR1H:NIGHTINGALERNZ:WHITEPARISHRTE:WOODMANCOTERXP:RICHARDSON STARLINGR1H:CURIERC1:HARPUR WARDR1H:11FRWP:AMAUFRFS:20RH5:HADSPENRWG:AAU 1 YELLOWRWJ:A11RWW:A1RH5:LUKER1H:STRATFORDRH8:OKEMENTRWW:A2RWH:9BRYR:ERRINGHAMRVY:11BRM3:SHC L3RJF:WARD 7RWG:AAU L3 YELLOWRDZ:RB24RM3:SHC L6 DIAB ENDORW3:AM4RJ1:ALBERTRAS:PINEWOODRLQ:REDBROOK WARDRJF:WARD 6RWF:ROMNEYRWP:A5RH5:EXMOORRKB:CDURR7:4RRF:WINSTANLEYRGR:G9 (FORMERLY F7)RH5:COATESRW3:WARD 5MRGN:B1 ISOLATIONRRF:ASURW3:WARD 30MRKB:2RWH:SSURLT:ADAM BEDE (DOLLY)RNL:BEECH ARXR:C11RD1:MSSURJZ:BROM MEDICAL 9RDU:G1RA7:BRI WARD 17RR7:11RJ6:FAIRFIELD 2RWH:6BRD8:CDURBL:AAURJF:WARD 12RM3:SHC H2 RESPRA7:BRI WARD 12R1G:BRIXHAMRW3:WARD 32MRP5:WARD 14 MSSRTP:CAPEL WARDRV3:TOPASRVY:7BRTE:KEMERTONRC1:ARNOLD WHITCHURCH WARDRA7:BRI WARD 7RW3:WARD 45RBL:AMURWF:CORNWALLISRC1:GODBER WARDRWW:B18RR7:14ARWP:WLAU2RAS:DRAYTONRVJ:F WARDRTK:MAYRH8:DYBALLRTX:FGH MEDICAL ADMISSIONS UNITRM3:NR H3 RENALRKB:3RC9:WARD 3RTG:409RYR:BURLINGTONRAS:BEVAN WARDRJ6:FAIRFIELD 1RJZ:LONSDALERW3:AM3RFF:23RM3:SURG H8 IFURKE:MARY SEACOLE SOUTHRC3:8 SOUTHRM3:CSS M3 DERMRTP:CHARLWOODRJZ:TWININGRNA:C8 ST 3RMP:WARD 30RL4:C17RVJ:K ANNEXER1G:TEIGNMOUTHRH5:BRENDONRKE:MARY SEACOLE NORTHRXW:32ERH5:ATHLONERYW:MHH W4RCF:WINTER WARDRYR:BOSHAMRVV:WHH OXFORDRW3:WARD 16 TRAFFORDRRF:CCURWH:10BSRWJ:B2RXF:20 PGHRV3:WOODHILLRYW:WARD 7RN3:SHALBOURNE SUITERW3:OMU − OBSERVATIONAL MED. UNITRTE:9ARWJ:C2RTG:PIURTD:RVI WARD 51RTK:MAURW3:WARD 31MRW3:WARD 31RRJD:AMURWD:LINCOLN WARD MEAURL4:A7RVJ:WARD 205RNQ:HARROWDEN CRBN:5DRJ2:QEW WARD 16RWY:WARD 6A CRHRTX:RLI WARD 39RXP:41 DMHRXQ:MEDICAL SHORT STAY SMHRFS:3RNQ:HC PRETTY ARWG:SARRATT WARDRXF:MAU DDHRP5:WARD C1RXF:6 DDHRAJ:STAMBRIDGERXW:22 SRRXF:5 DDHRXP:43 DMHRXP:6 UHNDRWN:HMP BEDFORDRWP:A6RDE:LAYER MARNEYRXP:3 UHNDRA4:WARD 9BRAJ:BLENHEIMRNZ:PITTONRWD:GRANTHAM WARD EAURAJ:ELEANOR HOBBSRXP:1 CLSRA3:BERROWRXP:2 SBHRN7:BEECHRQ6:AMURN7:EBONYRP5:ATCRM1:GUISTRTD:FH WARD 15RFS:18RN3:TEAL TRAUMA UNITRYR:PETWORTHRWW:A3RTD:RVI WARD 30RQM:DAVID ERSKINERWP:AECURA2:TILFORDRK5:34RVL:LARCHRYR:AMU ST RICHARDSRJ2:MULBERRYRWD:PILGRIM WARD 7BR1G:PAIGNTONRXK:L5RC3:5 NORTHRBK:WARD 14RWP:A12RYR:BOXGROVERJZ:MARY RAYRP5:C2 CARDIO & ENDORCX:STANHOERLT:BOB JAKINRTD:RVI WARD 48RFW:OSTERLEY 2RTK:MSSUR1H:11CRGN:B12RYR:LAVANTRP5:MAU DRIRWD:LINCOLN WARD CARLTON COLEBYRVJ:WARD 106RXR:C2RLQ:LUGG WARDRCF:WARD 07RTE:HAZELTONRJ2:ALDERRDD:M WARRENRYR:EARTHAMRTE:9BRAS:GRANGE−ADMISSIONSRWG:CROXLEY WARDREF:CARNKIERW3:WARD 6 TRAFFORDRD8:WARD 3RFS:13RYR:BROOKLANDSRXP:11 UHNDRVJ:WARD 30RHW:REDLANDS ESCALATION WARDRGT:C5RXC:FOLKINGTONRFS:17RM2:A7RNL:PATTERDALE PILLARR1G:DAWLISHR1H:11ERWF:MERCERRBN:1BRH5:MARY ROBERTSONRJ6:HEATHFIELD 1RWH:9ARWH:STANBOROUGHRXP:SEDGEFIELDRVJ:WARD 206RWD:LINCOLN WARD NAVENBYRJZ:ANNIE ZUNZRR7:22RNA:C6RWW:C22R1H:MARYRBD:HINTONRR7:12RNL:WILLOW ARQW:HENRY MOORERC9:WARD 4RLT:CCURXR:C7RNA:C7 ST 2VLYJ5:GENERAL UNITRM3:SHC L2 GASTRORMP:WARD 46RBA:WARD 1RRF:LOWTONRXW:AMU PRHRJN:WARD 3RR7:MAU SSURDU:AMURCX:TILNEYRNA:C7 ST 1RVR:C5RDU:F15RTE:ACUARNA:C8 ST 1RFF:17RH5:MARSHFIELDRWP:WLAU3RNL:LARCH ABRGT:R2RA4:WARD8ARTK:MAPLERD8:WARD 2RJZ:BROM MEDICAL 7RGT:D10RFR:A4RA7:BRI WARD 21RFR:A1RFW:LAMPTONRXF:10 DDHRLT:ELIZABETHRWF:MAU TWHRQW:WINTERRHM:E2RDD:FNMBRLT:MARY GARTHRWG:PURPLE &GREENRM2:F11RWP:WAVON2RJE:WARD 230RP5:WARD 17RXP:WEARDALERRF:STANDISHRQ6:7ARYR:EASTBROOKRTE:GW 1RBK:WARD 15RBT:WARD 3 AMURWD:PILGRIM WARD 8ARQM:AAURVV:KCH HARBLEDOWNRGN:A8RGT:K3RC1:ELIZABETH WARDRXR:D1RNZ:DURRINGTONREF:MED 1 WCHR1G:NEWTON ABBOT TEIGNRBN:2DRVR:STH − ACUTE MEDICAL UNITRJ2:ASPENRV3:WICURXP:5 UHNDR1G:TOTNESRKE:MERCERS WARDRHM:D5RKB:1RH5:WELLINGTONRQM:NELL GWYNNERTX:RLI ACUTE MEDICAL UNITRM2:F4RJ2:CHESNUT 1RWD:GRANTHAM WARD 1RVL:CDUMAU BHRAJ:ROCHFORDRJ6:PURLEY 2RXP:4 UHNDRH5:CATHEDRALRHM:D6RXR:B4RHM:D7RTX:FGH WARD 9RA3:CHEDDARRK5:36RTE:GUITINGRWJ:A10RXF:STROKE REHAB UNIT PGIRXF:MONUMENT HOUSERP5:WARD 27RXF:A1RJN:WARD 9RHM:D8RFR:A2RAJ:ESTUARYRXP:51 DMHRXC:CUCKMERERWG:GREEN LEVEL 1RNQ:MAU

−2 0 2 4

(Intercept)

Stürze im Vergleich: Stationsebene

12/06/14

11

PTVS Erfahrungen Deutschland

•  PTVS: “Pflege-Transparenzvereinbarung Stationär” •  >13,000 Pflegeheime in Deutschland •  Seit 2009 jährlich Inspektionen des Medizinischen

Dienstes der Pflegekassen •  82 Kriterien, die in Teil- und einer Gesamtnoten

zusammengefasst werden •  Kritik: Fokus auf Struktur- und Prozesskriterien,

mangelnde Fähigkeit zwischen Heime zu unterscheiden.

Erfahrungen in D: PTVS - Pflegenoten

12/06/14

12

•  Gesamtnote (1-5) •  --

•  Pflege und medizinische Versorgung •  Umgang mit demenzerkrankten Bewohnern •  Soziale Betreuung und Alltagsgestaltung •  Wohnen,Verpflegung,Hauswirtschaft und Hygiene

•  --

•  Bewohnerbefragung

PTVS

•  Internes QM-Monitoring eines freigemeinützigen Trägers

•  83 Pflegeheime •  Befragung des Personals

•  Wie schätzen Sie aus Ihrer Sicht alles in allem die gesamte Pflegequalität in Ihrer Einrichtung ein?

•  Wie schätzen Sie aus Ihrer Sicht die pflegerische Versorgung der Bewohner im seelisch, geistigen Bereich?

•  sehr zufrieden, zufrieden ß àunzufrieden, sehr unzufrieden

3Q-Studie

12/06/14

13

PTVS (range: 1-5) Mean   Median   min.   max.  

Gesamtnote 1,25   1,1   1,0   2,6  

Pflege und medizinische Versorgung 1,43   1,2   1,0   3,6  

Umgang mit demenzerkrankten Bewohnern

1,25   1,0   1,0   4,0  

Soziale Betreuung und Alltagsgestaltung 1,08   1,0   1,0   1,9  

Wohnen,Verpflegung,Hauswirtschaft und Hygiene 1,04   1,0   1,0   2,1  

Gesamtqualität: PTVS vs. Einschätzung der Pflegenden

Besser

Bes

ser

12/06/14

14

Soziale Betreuung und Alltagsgestaltung (PTVS) vs. Versorgung der Bewohner im seelisch, geistigen Bereich

PTVS “Soziale Betreuung” Besser

Bes

ser

Fazit

Forschung und Entwicklungsbedarf Ausbildung Gesundheitspolitik

12/06/14

15

Literatur Berwick, D. M., B. James and M. J. Coye (2003). "Connections between quality measurement and improvement." Med

Care 41(1 Suppl): I30-38. Bouldin, E. L., E. M. Andresen, N. E. Dunton, M. Simon, T. M. Waters, M. Liu, M. J. Daniels, L. C. Mion and R. I. Shorr

(2013). "Falls Among Adult Patients Hospitalized in the United States: Prevalence and Trends." Journal of Patient Safety 9(1): 13-17.

Dixon-Woods, M., R. Baker, K. Charles, J. Dawson, G. Jerzembek, G. Martin, I. McCarthy, L. McKee, J. Minion, P. Ozieranski, J. Willars, P. Wilkie and M. West (2013). "Culture and behaviour in the English National Health Service: overview of lessons from a large multimethod study." BMJ Quality & Safety.

Donabedian, A. (1988). "The quality of care. How can it be assessed?" JAMA : the journal of the American Medical Association 260(12): 1743-1748.

Donabedian, A. (1992). "The role of outcomes in quality assessment and assurance." QRB Qual Rev Bull 18(11): 356-360.

Normand, S.-L. T., M. E. Glickman and C. A. Gatsonis (1997). "Statistical Methods for Profiling Providers of Medical Care: Issues and Applications." Journal of the American Statistical Association 92(439): 803-814.

Normand, S.-L. T. and D. M. Shahian (2007). "Statistical and Clinical Aspects of Hospital Outcomes Profiling." Statistical Science 22(2): 206-226.

Simon, M. and N. Dunton (2014). Entwicklung, Erprobung und Anwendung von Qualitätsindikatoren der Pflege im Krankenhaus: das Beispiel NDNQI® aus den USA. Qualitätsentwicklung in der Pflege - Methoden und Instrumente. D. Schiemann, M. Moers and A. Büscher, Kohlhammer.

Simon, M., S. Klaus, B. J. Gajewski and N. Dunton (2013). "Agreement of Fall Classifications Among Staff in U.S. Hospitals." Nursing Research 62(2): 74-81.

Simon, M., S. Schmidt, C. G. G. Schwab, H.-M. Hasselhorn and S. Bartholomeyczik (2013). "Messung der Pflegequalität in der Langzeitpflege - Eine vergleichende Analyse von Pflegetransparenzkriterien, bewohnerbezogenen Indikatoren und Beurteilungen der Mitarbeiter." Bundesgesundheitsblatt - Gesundheitsforschung - Gesundheitsschutz 56(8): 1088-1097.

van Dishoeck, A. M., H. F. Lingsma, J. P. Mackenbach and E. W. Steyerberg (2011). "Random variation and rankability of hospitals using outcome indicators." BMJ Qual Saf 20(10): 869-874.