Agreement and Correlation Between Claims-based and Self-reported Adherence Measures in Patients

with Type 2 Diabetes Mellitus

 Mukul Singhal, Brandon K. Bellows, Sudhir Unni, 

Carrie McAdam-Marxmukul.singhal@pharm.utah.edu

Department of PharmacotherapyPharmacotherapy Outcome Research Center

Health Services Research Conference 2

Outline

• Background• Objective• Methods• Results• Conclusions• Future Research

Health Services Research Conference 3

Background

• Medication non-adherence is a complex issue driven by many factors such as cost, perception of benefit, forgetfulness, and side effects1 

• In type 2 diabetes mellitus (T2DM), adherence to oral medications varies from 36%-93%2

• Medication adherence is clinically important as good adherence is associated with improved outcomes in T2DM1

1. Dunbar, et al. J Clin Epidemiol. 2001;54:S57–S60. 2. Cramer, et al. Diabetes care. 2004;27(5):1218-1224.

Health Services Research Conference 4

Background• Self-reported adherence measures are used in practice 

and research.1

• Recall bias is an issue with self-reported adherence.2

• Claims-based measures use prescription refill data to estimate adherence.

• Claim-based adherence uses purchasing behavior as a surrogate for consumption, which may also produce a bias result.2

1. Robin, et al. Med Care. 2002;40:794–811. 2. Dunbar, et al. J Clin Epidemiol. 2001;54:S57–S60.

Background• Self-reported measures often capture intentional and unintentional 

aspects of adherence

• Claims-based adherence describes prescription purchasing behaviors

• These adherence measurement approaches may not be correlated, with most studies showing a weak association.1-2

• In understanding how adherence effects T2DM treatment outcomes, it is first important to understand the correlations between adherence measurement approaches in patients treated with diabetes medications

1. Thorpe, et al. Med Care. Apr 2009;47(4):474-481.2. Garber, et al. Med Care. Jul 2004;42(7):649-652.

Health Services Research Conference 6

Objective

• Report the agreement and correlation between pharmacy claims-based and self-reported adherence measures in patients with T2DM. 

Health Services Research Conference 7

Methods

Study Design & Data• Historical cohort study and patient survey

• Geisinger Health System (GHS) Electronic Health Record Database– Integrated health system in Pennsylvania – Over 3 million patients and 650 physicians– Affiliated with Geisinger Health Plan (GHP), one of the largest rural HMOs in the US

– A third of GHS patients have GHP coverage

Health Services Research Conference 8

• Patients with T2DM – Diagnosis per ICD-9 codes, elevated blood glucose/HbA1c, or anti-diabetic therapy

• Prescribed any class of anti-diabetic not previously prescribed (index date) from Nov 1, 2010 to Apr 30, 2011 

• Willing to complete survey, with GHP medication claims data, and taking index-date medication for >30 days

• Exclusion criteria– Newly prescribed 2+ anti-diabetic classes on index date

Methods: Study Population

9

Methods: Adherence Tools

• Claim Based Adherence– Modified Medication Possession Ratio (mMPR)– Adherence measured for up to 6 months after index date

• Self Reported Adherence– 5-item Medication Adherence Report Scale (MARS-5)– Adherence survey conducted 6+ months after index date

Health Services Research Conference

Health Services Research Conference 10

Claim based Adherence

Modified Medication Possession Ratio (mMPR)

                        Total days supplied of the anti-diabetic medication                   .# of days between first and last fill+ days supplied on the last claim

 • mMPR ≥0.8 considered adherent

Health Services Research Conference 11

30 days 60 days 90 days 120 days

30 days refill +(day 0)

30 days refill +(day 30)

30 days refill +(day 70)

30 days refill(day 100)

MPR= 120(days)/100+30(days)=0.923

Adherence Calculation Example

Modified Medication Possession Ratio (mMPR)

Health Services Research Conference 12

Self Reported Adherence

• Medication Adherence Reported Scale -5 (MARS-5)– I forget to take my diabetes medicine.  Would you say this occurred "Always", "Often", "Sometimes", "Rarely", or "Never"?  (Score 1-5)

– I alter the dose of my diabetes medicine. (Score 1-5)– I stop taking my diabetes medicine for a while. (Score 1-5)– I decide to miss out on a dose of my diabetes medicine. (Score 1-5)– I take less diabetes medicine than instructed. (Score 1-5)

• MARS-5 score of 25 was considered adherent; a score <25 was 

considered non-adherent.1-2

1. Farmer et al. Diabet Med. Mar 2006;23(3):265-270.2. Horne et al.. J Psychosom Res. Dec 1999;47(6):555-567

Health Services Research Conference 13

Methods: Statistical Analysis

• Descriptive:– Baseline characteristics, adherence measures

• Kappa coefficient: – Agreement between the mMPR and MARS-5 

• Tetrachoric correlation coefficients:–  correlation between mMPR and MARS-5 

Health Services Research Conference 14

Results

Patients in Geisinger EMR Database with newly prescribed antidiabetic class Nov 1, 2010 to Apr 30, 2011

N=1,080

Surveyed and provided self-reported adherence data

N=580

With anti-diabetic pharmacy claim data in GHP

N=194

With pharmacy claims on or after the index day for patient-reported drug class

N=185

Self-reported taking index-drug ≥30 daysStudy Population

N=166

Patient Identification

Health Services Research Conference 16

Baseline Characteristics

Variables Self-reported taking index-drug ≥30 days(Final Cohort)

n=166Mean (SD) age 61.1(12.1)

Age 65+ 41%

Male 44%

Mean (SD) baseline BMI (kg/m2) 35.5(7.9)

Mean (SD) baseline HbA1c (%) 8.1(1.6)

Mean (SD) baseline weight (kg) 98.8(22.5)

Anti-diabetic treatment naïve pre-index date

30.7%

Health Services Research Conference 17

Self reported Vs. Claim Based Adherence (N=166)

Self Reported Adherence (MARS-5) Claim Based Adherence (mMPR)0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

72.20%77.10%

Agreement and disagreement between self reported and claim adherence (N=166)

  MPR (Claim Based)

 MARS (Self

Reported )

Adherent (≥0.8 )N(%)

Non-Adherent (<0.8)N(%)

Adherent (25) 97(58.4) 23(13.9)

Non-Adherent (<25) 31(18.7) 15(9.0)

Health Services Research Conference 19

Results

• Slight agreement was observed between claims based and self reported adherence measures (Kappa coefficient=0.142)

Range 0–0.20 0.21–0.40  0.41–0.60  0.61–0.80  0.81–1.0

Interpretation Slight Fair Moderate Substantial Perfect Agreement

Results

• A significant but weak positive correlation was observed in the most highly adherent patients (mMPR ≥80%) 

– Tetrachoric correlation coefficient=0.250, p=0.0635)

Limitation/ Strength• There are multiple methods for assessing claims-based and self-reported 

adherence – this study is based on one of each type and agreement and correlation may not be generalizable to other measurement approaches

• Limited external validity - a small sample of patients from Pennsylvania treated in integrated health system

• Patients asked to recall medication adherence when newly started on index date drug – concurrent self-reported MARS may have different association/correlation with mMPR

Health Services Research Conference 22

Conclusion• Agreement and correlation between these measurement approaches was 

weak – conclusions about adherence based on patient report may not match the conclusions drawn about adherence based on refill data

– Neither is the gold standard

• When interpreting adherence data, is important to consider what behavior the measurement approach represents

– Important in clinical practice as well as in interpreting results from studies reporting the associations between adherence and treatment outcomes

Health Services Research Conference 23

Future Research• This study has been used to inform ongoing research that assesses the 

impact of adherence on diabetes treatment on weight and glycemic contol outcomes

• Future research will more precisely align claims-based and self-reported adherence measurement periods to reduce potential bias

Health Services Research Conference 24

Acknowledgement/ Financial disclosure

• This study was funded by a grant from Bristol-Myers Squibb (BMS) 

• Geisinger center for survey

• Elizabeth Unni for developing survey contents

• Brian Oberg for data management

Health Services Research Conference 25

Additional References1. Dunbar-Jacob J, Mortimer-Stephens MK. Treatment adherence in chronic disease. J Clin Epidemiol. 

2001;54:S57–S60. 2. Robin DM, Giordani PJ, Lepper HS, et al. Patient adherence and medical treatment outcomes: a meta-

analysis. Med Care. 2002;40:794–811.   3. Roter DL, Hall JA, Merisca R, et al. Effectiveness of interventions to improve patient compliance. A meta-

analysis. Med Care. 1998;36:1138–1161. 4. McDonald HP, Garg AX, Haynes RB. Interventions to enhance patient adherence to medication. JAMA. 

2002;288:2868–2879. 5. Farmer KC. Methods for measuring and monitoring medication regimen adherence in clinical trials and 

clinical practice. Clin Ther. 1999;21:1074–1090.   6. Rudd P. The measurement of compliance: medication taking. In: Krasnegor NA, et al., eds. Developmental

Aspects of Health Compliance Behavior. Hillsdale, NJ: Lawrence Erlbaum Associates; 1993.7. Haynes RB, McDonald H, Garg AX, Montague P: Interventions for helping pa-tients to follow prescriptions 

for medications (Review). Cochrane Database Syst Rev CD000011, 2002 8. Cramer, Joyce A. "A systematic review of adherence with medications for diabetes." Diabetes care 27.5 

(2004): 1218-1224.9. Thorpe CT, Bryson CL, Maciejewski ML, Bosworth HB. Medication acquisition and self-reported adherence 

in veterans with hypertension. Med Care. Apr 2009;47(4):474-481.

Additional References10. Garber MC, Nau DP, Erickson SR, Aikens JE, Lawrence JB. The concordance of self-report with other measures of medication adherence: a summary of 

the literature. Med Care. Jul 2004;42(7):649-652.11. Cook CL, Wade WE, Martin BC, Perri M, 3rd. Concordance among three self-reported measures of medication adherence and pharmacy refill records. J Am Pharm Assoc (2003). Mar-Apr 2005;45(2):151-159.12. Steiner JF, Prochazka AV. The assessment of refill compliance using pharmacy records: methods, validity, and applications. J Clin Epidemiol. Jan 

1997;50(1):105-116.13. Morris AB, Li J, Kroenke K, Bruner-England TE, Young JM, Murray MD. Factors associated with drug adherence and blood pressure control in patients 

with hypertension. Pharmacotherapy. Apr 2006;26(4):483-492.14.  Wetzels GE, Nelemans PJ, Schouten JS, van Wijk BL, Prins MH. All that glisters is not gold: a comparison of electronic monitoring versus filled 

prescriptions--an observational study. BMC Health Serv Res. 2006;6:8.15. Choo PW, Rand CS, Inui TS, et al. Validation of patient reports, automated pharmacy records, and pill counts with electronic monitoring of adherence to 

antihypertensive therapy. Med Care. Sep 1999;37(9):846-857.16. Cohen HW, Shmukler C, Ullman R, Rivera CM, Walker EA. Measurements of medication adherence in diabetic patients with poorly controlled HbA(1c). 

Diabet Med. Feb 2010;27(2):210-216.17. van de Steeg N, Sielk M, Pentzek M, Bakx C, Altiner A. Drug-adherence questionnaires not valid for patients taking blood-pressure-lowering drugs in a 

primary health care setting. J Eval Clin Pract. Jun 2009;15(3):468-472.18. Shi L, Liu J, Fonseca V, Walker P, Kalsekar A, Pawaskar M. Correlation between adherence rates measured by MEMS and self-reported questionnaires: a 

meta-analysis. Health Qual Life Outcomes. 2010;8:99.19. Nau DP, Steinke DT, Williams LK, et al. Adherence analysis using visual analog scale versus claims-based estimation. Ann Pharmacother. Nov 

2007;41(11):1792-1797.20. Krousel-Wood M, Islam T, Webber LS, Re RN, Morisky DE, Muntner P. New medication adherence scale versus pharmacy fill rates in seniors with 

hypertension. Am J Manag Care. Jan 2009;15(1):59-66.21. Farmer A, Kinmonth AL, Sutton S. Measuring beliefs about taking hypoglycaemic medication among people with Type 2 diabetes. Diabet Med. Mar 

2006;23(3):265-270.22. Horne R, Weinman J. Patients' beliefs about prescribed medicines and their role in adherence to treatment in chronic physical illness. J Psychosom Res.

Dec 1999;47(6):555-567.