1

Using Surveys to Assess Patient‐Centered Factors that May Affect Responses to Chronic Pain 

Treatment 

Carol Greco, PhD1; Lan Yu, PhD1; Paul Pilkonis, PhD1

1University of Pittsburgh, Pittsburgh, Pennsylvania

Original Project Title: Measuring the Context of Healing: Using PROMIS in Chronic Pain TreatmentPCORI ID: ME‐1402‐10114 HSRProj ID: 20152286 ClinicalTrials.gov ID: NCT02873429 

_______________________________        To cite this document, please use: Greco V, Yu L, Pilkonis P.(2019). Using Surveys to Assess Patient‐Centered Factors that May Affect Responses to Chronic Pain Treatment. Washington, DC: Patient‐Centered Outcomes Research Institute (PCORI). https://doi.org/10.25302/4.2019.ME.140210114  

2 

Table of Contents  ABSTRACT ...........................................................................................................................................  3 BACKGROUND ....................................................................................................................................  4 PATIENT AND STAKEHOLDER ENGAGEMENT .......................................................................................  9 METHODS ...........................................................................................................................................  9 

Study Overview and Study Design  ....................................................................................................................... 9 

Study cohort ......................................................................................................................................................... 9 

Inclusion and Exclusion Criteria.  ........................................................................................................................ 10 

Data Collection...................................................................................................................................................  12 

Outcome Measures for Aims 1 and 2 ................................................................................................................  13 

Baseline Computerized Assessment  .................................................................................................................. 13 

Follow‐up Computerized Assessments (2 Months and 4 Months) ....................................................................  18 

Patient Baseline Cognitive Interview .................................................................................................................  18 

Patient Follow‐up Cognitive Interview   .............................................................................................................  18 Clinician Baseline Cognitive Interview. ..............................................................................................................  19 Clinician Follow‐up Cognitive Interview. ...........................................................................................................  19 

Aim 1 utilized correlation and multiple linear regression (ordinary least squares estimation) to test the 

proposed hypotheses  ........................................................................................................................................ 19 

Aim 2: Heterogeneity of Treatment Effects .......................................................................................................  20 

Aim 3 involved direct, in‐person feedback from  

patients and clinicians and used patient voices in research.   ...........................................................................  20 

Study protocol ...................................................................................................................................................  21 

RESULT ..............................................................................................................................................  21 

Descriptive Information About the Study Participants. .....................................................................................  21 

Results of Analyses for Aim 1: Are baseline scores on HEAL measures predictive of outcomes?  ..................... 27 

HEAL and Clinical Global Impression.. ...............................................................................................................  27 

HEAL and PROMIS Pain Intensity and Interference  ........................................................................................... 30 

Results of Analyses for Aim 2: Heterogeneity of Treatment Effects. ................................................................  32 

Results of Analysis of Aim 3. ..............................................................................................................................  38 

DISCUSSION ...........................................................................................................................  41 Decisional context..............................................................................................................................................  41 

The study results in context ...............................................................................................................................  42 

Implementation of study results .......................................................................................................................  43 

Generalizability ..................................................................................................................................................  44 

Subpopulation Considerations ...........................................................................................................................  44 

Study limitations ................................................................................................................................................  45 Future research ..................................................................................................................................................  46 

CONCLUSION .........................................................................................................................  46 

REFERENCES ..........................................................................................................................  48 

APPENDIX ..............................................................................................................................  51 

    

3 

B. Abstract 

Background: Nonspecific, contextual factors are seldom measured in research trials or clinics, yet they 

can influence outcomes. This project evaluated the Healing Encounters and Attitudes Lists (HEAL) and 

Patient‐reported Outcomes Measurement Information System (PROMIS) measures during pain 

treatment. HEAL includes Patient‐Provider Connection, Healthcare Environment perceptions, Treatment 

Expectancy (TEX), Positive Outlook (POS), Spirituality (SPT), and Attitudes Toward 

Complementary/Alternative Medicine (CAM). We addressed heterogeneity of treatment effects (HTE), 

the methods gap, by comparing outcomes in patient subgroups: persons receiving CAM versus 

conventional treatments and, separately, patient subgroups who had higher and lower scores on HEAL 

TEX. 

Objective: Specific research questions: 

1. Do nonspecific factors, assessed by HEAL, predict pain treatment outcomes?  

2. Do the PROMIS and HEAL measures contribute to an understanding of which subgroups of 

patients may benefit from pain treatments? 

3. Do patients and clinicians find HEAL, PROMIS, and the American Chronic Pain Association (ACPA) 

Pain Log to be useful in treatment? 

Methods: In this prospective observational study, persons with chronic pain starting a CAM (eg, 

acupuncture, chiropractic; n = 109) or a conventional medicine treatment (eg, physical therapy, 

medication management; n = 100) completed HEAL and PROMIS measures online at baseline and at 2 

and 4 months later. They rated clinical global improvement (CGI) at follow‐ups. Correlations and 

multiple regression were the main analytic strategies. We compared CAM and conventional patients as 

well as those with lower and higher HEAL TEX in order to evaluate HTE. A subset of patients (n = 44) and 

clinicians (n = 13) completed interviews on the clarity and clinical utility of HEAL, PROMIS, and ACPA Pain 

Log. 

Results: Baseline HEAL TEX, POS, and CAM were correlated with follow‐up PROMIS Pain Intensity, and 

baseline HEAL TEX, POS, CAM, and SPT were correlated with PROMIS Pain Interference. All baseline 

HEAL scores except those for Spirituality were correlated with CGI at 2 and 4 months (Spearman rho, all 

p value < 0.05). In final regression models, baseline HEAL TEX and baseline Pain Intensity accounted for 

42% of the variance in 4‐month Pain Intensity, with HEAL TEX contributing 2% additional variance over 

baseline Pain Intensity. Baseline HEAL CAM, SPT, and POS accounted for 2.1%, 1.7%, and 1.5%, 

respectively, of 4‐month follow‐up Pain Interference variance beyond that accounted for by baseline 

Pain Interference. Regarding subgroup comparisons based on receiving CAM versus conventional 

4 

treatments, the conventional treatment group had higher PROMIS Average Pain, Pain Interference, and 

Pain Intensity; lower Physical Functioning; and poorer Overall Health compared with the CAM treatment 

group at all time points. The lower TEX group had higher pain and poorer health and functioning than 

the higher TEX group at all time points. In interviews, patients and clinicians reported HEAL and PROMIS 

to be relevant to their treatment, and patients made suggestions for the ACPA Pain Log. 

Conclusions: Several HEAL measures were correlated with later PROMIS Pain treatment outcomes. 

Higher HEAL TEX and choosing CAM over conventional medicine were patient factors that positively 

influenced outcomes. Patients and clinicians found HEAL and PROMIS measures as well as the ACPA Pain 

Log to be potentially useful tools for enhancing communication in clinical settings. 

Limitations: This study included only patients with chronic pain; however, HEAL and many PROMIS 

measures apply to a broader range of patients and treatments. 

C. Background 

In both health care and research, there is a growing recognition that important contributors to 

health and healing are the clinical context and patients’ own beliefs and attitudes.1,2 The 2011 Institute 

of Medicine report Relieving Pain in America highlights the importance of the patient–provider bond, 

stating that “the effectiveness of pain treatments depends greatly on the strength of the clinician‐

patient relationship.” The 2011‐2015 strategic plan of the National Institutes of Health (NIH) National 

Center for Complementary and Alternative Medicine (NCCAM) notes that “better understanding of the 

contributions of both specific and nonspecific effects influencing outcomes and the potential for insight 

into exploitation of either or both to improve symptom management or general health and well‐being is 

needed.” Nonspecific aspects of treatment include factors such as patients’ beliefs and expectations, 

patients’ sense of connection or trust in the provider, and optimism and spirituality. These nonspecific, 

or contextual, factors may interact with the direct effects of various types of treatments, such as 

medication adjustment or physical therapy. 

Historically, such complex and interactive factors have been unexamined or relegated to the 

“black box” of placebo response.3,4 More recently, however, patient‐centered and contextual factors 

have been the subject of investigation, particularly in studies of complementary and alternative 

medicine (CAM). Factors that have been found to influence outcomes include patients’ beliefs or 

expectations about treatment,5‐7 patients’ perceptions of the bond with a provider,8 negative affect,9,10 

and spirituality.11‐13 For example, 2 studies of openly labeled placebos support the role of patient beliefs 

and expectations. A study of more than 80 chronic low back pain patients assigned to treatment as usual 

(TAU) or to openly labeled placebo pills that included a statement about mind–body influences found 

5 

statistically significant improvements in pain and pain‐ related disability in the placebo group compared 

with TAU.14 A similarly designed study with irritable bowel syndrome patients showed that open‐label 

placebo resulted in reduced symptom severity (p = .03) and adequate symptom relief (p = .03) compared 

with an evaluation‐only control group.15 Furthermore, in a randomized, double‐blind placebo‐controlled 

trial for gastroesophageal reflux disease, those randomly assigned to receive an expanded patient–

provider interaction (including questions about lifestyle and symptom details) were more likely to have 

decreased gastroesophageal reflux disease (GERD) severity (p = .01) and were significantly more likely to 

report a 50% or greater reduction in GERD symptoms than those who received the nonexpanded visit (p 

= .01).16 

Within‐patient (spirituality, outlook) and contextual factors (treatment expectations, patient–

provider connection) are often referred to as nonspecific factors, as they are not specific to a particular 

treatment. Although nonspecific factors are known to be important in health outcomes, the issue 

remains of how to measure these factors in a standardized and systematic way. Existing questionnaires 

are often long, difficult for low literacy patients to understand, and disease‐ or treatment‐specific and 

thus of little use in comparative effectiveness research or general medical settings. To address this gap, 

our team developed a set of item banks to measure nonspecific factors in healing, the Healing 

Encounters and Attitudes Lists (HEAL) (NCCAM R01 AT006453, The Healing Context in CAM: Instrument 

Development and Initial Validation), using the rigorous methodology of the Patient‐reported Outcomes 

Measurement Information System (PROMIS). PROMIS has developed and calibrated item banks 

assessing a wide variety of domains17 and represents the most ambitious attempt to date to apply 

models from item response theory to health‐related assessment.18,19 PROMIS tools confer 2 major 

advantages: They are standardized to be comparable across diseases, treatments, and patients of 

various ages and literacy levels, and they can be presented as computerized adaptive tests (CATs), in 

which items are presented to test takers based on their responses to previously presented items. This 

reduces the number of items (typically 3 to 6) needed to determine a patient’s score, thus minimizing 

patient burden. The efficiency of the PROMIS and HEAL measures makes it feasible to generate a rich 

health status profile and “snapshot” of the current treatment context at little cost. 

We chose to evaluate the HEAL and PROMIS measures  in the context of treatment for 

chronic pain because pain is a widespread problem associated with considerable personal and 

societal costs.2 

Main Research Questions 

Research Question 1: Do nonspecific factors, as assessed by our HEAL measures, predict 

6 

treatment outcomes? 

We hypothesized that HEAL scores would predict significant variance in outcome on 

measures such as global impression of improvement, pain intensity, and pain interference with 

life activities. 

Research Question 2: Do the HEAL and PROMIS health status measures contribute to an 

improved understanding of the heterogeneity of patients and treatment effects? 

Our person‐centered approach was to compare patients based on their preferences for 

CAM versus conventional medicine. In addition, we wanted to evaluate the role of expectations 

of patients about their treatment, comparing patients with lower and higher positive Treatment 

Expectancy (TEX). We hypothesized that those with higher expectations of treatment would 

have greater symptom reduction than those with lower expectations. 

Research Question 3: Do patients and providers find the information provided by HEAL and 

PROMIS measures to be clear, relevant, and useful in the treatment setting? Do patients find 

the American Chronic Pain Association Pain (ACPA) Pain Log clear and helpful as a 

communication tool in treatment?  

To address these questions, we conducted cognitive interviews with patients and their 

providers. We predicted that patients and clinicians would endorse the HEAL instruments, the 

PROMIS health status instruments, and the ACPA Pain Log as useful tools to improve the quality 

of care. 

Significance 

This project, Measuring the Context of Healing: Using PROMIS in Chronic Pain 

Treatment, focuses on PROMIS health status measures of Pain Intensity and Interference, 

Physical Function, Sleep, Depression, and Anxiety, and a set of new instruments developed 

using PROMIS methods, HEAL. The HEAL measures include TEX, Patient‐Provider Connection 

(PPC), Healthcare Environment perceptions (HCE), Positive Outlook (POS), Spirituality (SPT) and 

Attitude Toward CAM (CAM). Regarding the patient‐centered questions that inspire PCOR, 2 are 

most relevant to this study: “Given my personal characteristics, conditions, and preferences, 

what should I expect will happen to me?” and “What can I do to improve the outcomes that are 

most important to me?” The HEAL measures and other PROMIS health status instruments allow 

us to document patient‐centered factors that may play a role in predicting outcomes of 

treatment for chronic pain.20‐23 Our project also sought to inform the methodology gap 

7 

identified by PCORI: heterogeneity of treatment effects (HTE). In this project, we used HEAL 

CATs and the selection of PROMIS health status CATs to better characterize individual 

differences among patients and their views of clinicians and health care settings that contribute 

to HTE. An equally important goal was to capture the patient voice in the development of 

measures. In the development of the HEAL measures (NIH R01 AT006453), 6 patient focus 

groups had helped identify important concepts in healing, and a diverse group of 48 community 

members participated in cognitive interviews to determine clarity and content validity of items. 

The qualitative review and cognitive interviewing led to enhanced ease of use, greater 

simplicity and clarity, and decreased literacy demands. Because PROMIS and HEAL CATs are 

relevant across medical conditions and treatments, including conventional medicine and 

integrative medicine, we expect the current project to have broad impact on both research and 

clinical treatment. When used clinically, HEAL instruments, in conjunction with other PROMIS 

measures, are expected to enhance treatment relationships, provide information about 

patients’ trajectories of healing, and promote understanding of HTE. 

D. Patient and Stakeholder Engagement 

    Patient and clinician stakeholders were involved in this study from its inception. As we 

were creating the study proposal, we interviewed patients about study questions and outcomes 

that were important to them. This highlighted the significant outcomes of pain reduction and 

improved function, and the importance of clinicians’ understanding of patients’ preferences 

and everyday environment. We collaborated with patient advocacy organizations (American 

Chronic Pain Association and Chronic Pain Research Consortium) and integrative and 

conventional pain clinicians to shape the questions and methods. 

Through these initial collaborations, we identified a set of stakeholders to serve on our 

Patient/Stakeholder Advisory Panel (PSAP). Our PSAP included 2 patients, a patient advocacy 

organization stakeholder, a pain research advocacy group organizer who is also a patient, and 4 

clinician stakeholders. The PSAP met quarterly face to face as well as individually with 

researchers or in subcommittees, as needed, to work on activities such as the following: 

1. Formulating Research Questions and Study Design. PSAP members contributed to the 

relevance of the study by expanding the list of pain conditions participants could endorse in 

8 

online assessments; adding questions regarding opioid pain medications, resulting in an 

additional research exploration regarding satisfaction with opioids and the prescribing clinician; 

and adding the Press‐Ganey Patient Satisfaction Questionnaire to our online assessment to 

assess concurrent validity of our treatment‐related HEAL measures. 

2. Participating in and Monitoring the Conduct of the Project. PSAP members monitored the 

study at each of the quarterly meetings; one of the standing agenda items was updates on the 

research progress. The PSAP also enhanced the rigor of the conduct of the project through 

creative ideas for recruitment, providing recruitment assistance through placing flyers at new 

locations and talking about the study at various community events, increasing the clarity of 

instructions for the online assessments, and revising the layperson descriptions of HEAL and 

PROMIS measures so that they could be easily understood in treatment settings by both 

patients and clinicians. 

3. Disseminating the Study’s Results/Facilitating Adoption of Research Evidence Into 

Practice. Our PSAP was very active in creating dissemination plans and materials: We formed 

subcommittees with unique skillsets to work on dissemination to such various groups as 

patients/caregivers, researchers, clinicians, and health system leadership. For example, our 

ACPA representative PSAP member helped create a PowerPoint presentation for patients was 

shown at the Pain Day for consumers during the May 2017 American Pain Society annual 

meeting. We had also been actively disseminating results at scientific meetings; one of our 

clinician PSAP stakeholders won a prize for best poster from North America during the March 

2017 research conference of the World Federation of Chiropractic and International Board of 

Chiropractic Examiners. See Section M for a summary of presentations and adoption of the 

HEAL measures by other researchers. 

In addition to engaging with our PSAP, we engaged with patients and clinicians during 

in‐depth cognitive interviews. We conducted cognitive interviews with 44 patients and 13 

providers to determine their views on whether HEAL and PROMIS can help patients and 

providers communicate and engage more fully in their treatment partnerships. We used 

feedback from the patient interviews to modify the HEAL and PROMIS reports. We also asked 

patients for feedback about the clarity and potential utility of the ACPA Pain Log items; their 

9 

suggestions will be shared with the ACPA. 

E. Methods 

The research questions include: 1) Do non‐specific factors, as assessed by our HEAL 

measures, predict treatment outcomes? (2) Do the PROMIS health profile and HEAL measures 

contribute to the understanding of HTE? and (3) Do patients and their providers find the HEAL 

and PROMIS measures easy to understand and useful and relevant to their ongoing treatment? 

Likewise, do patients consider the ACPA Pain Log to be clear and useful as a communication 

tool in treatment? 

Overview and Study Design. This PROMIS‐related project is a prospective cohort study. 

Because our intention was to evaluate PROMIS and HEAL measures in clinical treatment for 

chronic pain, we invited patients who were starting a new treatment to complete the HEAL and 

PROMIS computerized assessments. Participants completed the online questionnaires at 3 time 

points: baseline (within 1 month of starting treatment), 2 months after baseline, and 4 months 

after baseline. For this study patients needed to have some experience with their provider and 

some knowledge about the treatment so that they could rate these areas on HEAL TEX and PPC. 

Therefore, the baseline was early in treatment rather than prior to treatment. 

Participants received $30 for completing each of the 3 online assessments. Participants 

in Pittsburgh were also invited to complete individual cognitive interviews, in which they “think 

aloud” while reviewing HEAL, PROMIS, and ACPA Pain Log items, and rate items and summary 

reports. Participants and their clinicians, many of whom also completed individual interviews, 

received $40 for each interview. Enrollment began on July 10, 2015 and continued through 

August 30, 2016. The final online assessments were completed by December 9, 2016. 

Study Cohort. For recruitment, we used several methods for identifying potentially 

eligible and interested individuals. We routinely spoke with practicing pain clinicians about the 

study and supplied clinics with our flyers and information. In addition, clinicians at the Center 

for Integrative Medicine in Pittsburgh introduced interested persons to our research staff 

directly, in person. We regularly advertised electronically through university‐wide email 

delivery systems (Read Green) and on electronic message boards in clinics. We utilized the 

services of the University of Pittsburgh’s Clinical and Translational Science Institute’s (CTSI) 

10 

research registry. The CTSI research registry performed initial screening and provided contact 

information for potentially eligible participants. In addition, our stakeholder panel members 

helped by placing our recruitment flyers at their doctors’ offices, gyms, and other public 

settings. 

We enrolled patients who were seeking treatment in a variety of conventional medicine 

settings (pain clinics, primary care settings, and rehabilitation services) or integrative/CAM 

clinics. Institutional Review Board (IRB) approval was obtained from the University of 

Pittsburgh. Our 2 external collaborating integrative medicine clinics—Venice Family Clinic at UCLA 

and Allina Health System in Minneapolis—obtained IRB approval at their respective institutions. 

We intentionally included a wide range of patients with many types of pain who 

received diverse treatments, because (1) a broad range of patients and treatments is needed to 

examine HTE, and (2) PROMIS and HEAL assessments are designed to apply broadly across 

patients and treatments. Recruitment materials were distributed at each research site. 

Interested patients who saw our advertisements or heard about the study at their health care 

offices telephoned or emailed our study staff to learn about the study and undergo screening, 

which required no more than 5 minutes of their time. 

Inclusion and Exclusion Criteria. To be eligible to participate in the computerized 

assessments, patients must have had pain of at least 3 months duration and had started a pain 

treatment requiring at least monthly visits within the past month. They must have been 18 

years of age or older and able to read and understand English as well as complete 

questionnaires on a computer. Individuals were ineligible if they were currently diagnosed (self‐

reported) with a psychotic disorder (eg, schizophrenia, schizoaffective disorder) or a bipolar 

disorder, or were unable to speak or read English. 

Minimizing Attrition, and Reasons for Loss to Follow‐up. Informed consent 

documentation as well as the main study questionnaires were completed online. Although 

participants were welcome to complete the assessments at our research offices or at their pain 

treatment sites, they could also complete them remotely. To minimize attrition, we tracked the 

time when second and third assessments were due and contacted participants via email and 

telephone, if necessary. In addition, the same research staff member contacted them across 

11 

the 3 time points of the study. We found that careful monitoring and friendly connection with 

participants helped minimize attrition and loss to follow‐up.  

Table 1. Assessment Measures 

  Baseline  2‐month Follow‐up 

4‐month Follow‐up 

HEAL Item Banks       

Patient‐Provider Connection   ■ ■ ■

Treatment Expectancy   ■ ■ ■

Healthcare Environment   ■ ■ ■

Positive Outlook   ■ ■ ■

Attitude Toward Conventional/AlternativeMedicine  

■ ■ ■

Spirituality   ■ ■ ■

PROMIS Item Banks       

Alcohol Usea  ■ ■ ■

Anxiety   ■ ■ ■

Average Pain Rating   ■ ■ ■

Depression   ■ ■ ■

Fatigue   ■ ■ ■

Pain Intensity   ■ ■ ■

Pain Interference   ■ ■ ■

Physical Functioning   ■ ■ ■

Sleep Disturbance   ■ ■ ■

Clinical Characteristics       

Height/weight (BMI; self‐report) ■    

Charlson Comorbidity Index   ■    

Clinical Global Improvement     ■ ■

Global Report of General Health  ■ ■ ■

Press‐Ganey Survey (CAHPS v.5)a  ■ ■ ■

Treatment/provider questions  ■ ■ ■

Brief Opioid Prescription Historya  ■ ■ ■

ACPA Pain Log (interview with patients)  ■   ■

General Participant Information       

Demographic questionnaire  ■    

12 

  Baseline  2‐month Follow‐up 

4‐month Follow‐up 

Stakeholder Interviews       

Patient cognitive interview  ■   ■

Clinician cognitive interview  ■   ■

aAdded at the request of stakeholder advisory panel members. 

 

Data Collection. The schedule for assessment measures is provided in Table 1. All HEAL 

and PROMIS health status measures used in this project had been previously developed and 

validated, and were not developed as part of this study.20,21,24‐27 The HEAL measures include the 

following: PPC, which assesses patient views of the relationship with the provider; TEX, which 

assesses patient expectations about whether the treatment will be helpful; HCE, which assesses 

patient perceptions of the health care provider’s office and staff; POS, which assesses patient 

level of confidence and optimism in general; CAM, which assesses patient views about 

integrative medicine or CAM; and SPT, which assesses patient spiritual beliefs and experience of 

spiritual support. The HEAL responses are scored on a 1‐to‐5 scale representing frequency 

(“Never” to “Almost always”) or intensity (“Not at all” to “Very much”).  Within each scale, raw 

scores are summed and converted to T scores with mean of 50 and standard deviation of 10. 

PROMIS health status measures in the assessments were Depression (DEP), Anxiety 

(ANX), Fatigue (FAT), Sleep Disturbance (SLP), Alcohol Use, Physical Functioning (PHYS), Pain 

Intensity (PINT), and Pain Interference (PI). The PROMIS measures listed previously are, like the 

HEAL scales, scored on 1‐to‐5 scales of frequency or intensity, and raw scores are summed and 

converted to T scores with mean of 50 and standard deviation of 10. In addition, we collected 

PROMIS Average Pain Rating (AvePain), which is a single item rated from none (0) to very 

severe (9‐10), and PROMIS Overall Health (Health), a single item rating from excellent (1) to 

poor (5). 

We administered the HEAL and PROMIS scales as CATs—except HEAL CAM, which is 

available only as a 6‐item scale. CAT administration means that items are presented to the 

patient based on his or her responses to previous items; this reduces the number of items that 

a patient needs to answer. 

13 

Outcome Measures for Aims 1 and 2. The outcome measures for aim 1 were PROMIS 

Pain Intensity and Pain Interference, and the single‐item rating of Clinical Global Improvement 

(CGI),28 which asks the patient to report his or her current symptoms compared with when he 

or she began treatment (eg, ranging from much worse to unchanged to much better). For aim 

2, which evaluated heterogeneity of patient and treatment effects based on type of treatment 

(CAM or conventional) and, in separate subgroup analyses, HEAL treatment expectations, the 

outcome measures were PROMIS Pain Intensity, Pain Interference, Physical Function, overall 

health, and Average Pain. 

All measures used in this study were patient‐reported outcomes chosen because people 

with chronic pain care about them. Thus, patients in treatment for chronic pain (along with 

their clinicians) are the best source of information for reporting about their pain, pain 

treatment, and the nonspecific factors assessed. We chose some of our measures, such as pain 

intensity, pain interference with life activities,25 and physical function based on interviews with 

patient stakeholders between February and April 2014.29 Our patient advocacy organization 

stakeholder, ACPA, has a pain log communication tool that we also included in the subsample 

of patients who participated in qualitative interviews, in order to document its clarity, ease of 

use, and patient perceptions of its utility. The PROMIS and HEAL measures were developed and 

tested using the rigorous instrument development procedures of the NIH PROMIS initiative, 

with validation studies published and in preparation.23,26,30  

Additional measures included in the study are noted in Table 1 (PROMIS Alcohol Use, 

Press‐ Ganey Questionnaire, Opioid Prescription History). We included them based on specific 

input from stakeholders following the initial PCORI project submission. Patients at the 

conventional and integrative medicine sites completed the same online assessment protocol 

(through Assessment Center, the platform used by PROMIS). Each participant was assigned a 

study identification number. We used the identification number to link participants’ data across 

the 3 online assessments (baseline, 2 months, and 4 months). We collected no medical record 

data for this study. 

Baseline Computerized Assessment. Eligible participants completed informed consent 

procedures and were administered the CAT versions of HEAL measures, a selection of PROMIS 

14 

health status measures, and other demographic and clinical characteristics measures (see 

Tables 2 and 3).

15  

Table 2. Demographic Characteristics at Baseline, Overall, by Group, and by Low/High TEX  

   Total (N = 

209) 

CAM (n = 

109) 

nventional (n = 

100) 

P Valuea (CAM 

Versus 

Conventional)

Low TEX (n =

105) 

High TEX (n =

104) 

P  Value

(Low 

Versus 

High)Categorical 

Measure 

 Category 

 

N (%) 

 

n (%) 

 

n (%) 

   

n (%) 

 

n (%) 

 

Gender  Male  52 (24.9)  27 (24.8)  25 (25.0)  .96923 (21.9)  29 (27.9)  .317 

Female  157 (75.1)  82 (75.2)  75 (75.0)  82 78.1)  75 (72.1) 

Race  White  159 (76.1)  87 (79.8)  72 (72.0)  .22875 (71.4)  84 (80.8)  .201 

Nonwhite  42 (20.1)  16 (14.7)  26 (26.0)  26 (24.8)  16 (15.4) 

Multiracial  6 (2.9)  4 (3.7)  2 (2.0)  4 (3.8)  2 (1.9) 

Missing  2 (0.96)  2 (1.8)  0 (0.0)  0 (0.0)  2 (1.9) 

Hispanic/ 

Latino 

Yes  14 (6.7)  11 (10.7)  3 (3.0)  .0745 (4.8)  9 (8.7)  .285 

No  195 (93.3)  98 (89.9)  97 (97.0)  100 (95.2)  95 (91.3) 

Education  Less than 4‐year degree  101 (48.3)  54 (49.5)  47 (47.0)  .76552 (49.5)  49 (47.1)  .781 

Greater than or equal to 

4‐year degree 

 108 (51.7) 

 55 (50.5) 

 53 (53.0) 

 53 (50.5) 

 55 (52.9) 

Age  Mean + SD  47.5 ± 14.9  45.6 ± 14.5  49.5 ± 15.0  .05447.0 ± 15.0  47.9 ± 14.5  .645 

aChi‐square test was used for categorical measures, independent samples t test for age. 

 

        

16  

 Table 3. Clinical Characteristics at Baseline, Overall, by Group, and by Low/High TEX 

   Total (N =

209) 

CAM (n = 

109) 

nventional (n = 

100) 

P Valuea 

(CAM Versus 

Conventional) 

Low TEX (n 

= 105) 

High TEX (n =

104) 

P Value

Low Versus 

High) 

Categorical 

Measure  Category 

 N (%) 

 n (%) 

 n (%) 

   n (%) 

 n (%) 

 

Opioid use  Only 1  55 (26.3)  21 (19.3)  34 (34.0) .001

40 (38.1)  15 (14.4) < .001

  2 or more  12 (5.7)  2 (1.8)  10 (10.0)    7 (6.7)  5 (4.8)   

  Missing  2 (1.0)  0 (0.0)  2 (2.0)    1 (1.0)  0 (0.0)   

  Do not use  140 (67.0)  86 (78.9)  54 (54.0)    57 (54.3)  84 (80.8)   

Satisfaction with 

opioids taken 

Not at all  6 (2.9)  2 (1.8)  4 (4.0)  .4254 (3.8)  2 (1.9)  .755

  A little bit  12 (5.7) 6 (5.5) 6 (6.0)   10 (9.5) 2 (1.9)  

  Somewhat  30 (14.4)  11 (10.1)  19 (19.0)    21 (20.0)  9 (8.7)   

  Quite a bit  15 (7.2)  4 (3.7)  11 (11.0)    10 (9.5)  5 (4.8)   

  Very much  4 (1.9)  0 (0.0)  4 (4.0)    2 (1.9)  2 (1.9)   

  Missing  2 (1.0)  0 (0.0)  2 (2.0)    1 (1.0)  0 (0.0)   

  Not asked  140 (67.0)  86 (78.9)  54 (54.0)    57 (54.3)  84 (80.8)   

CCI: 2+ health 

conditions 

Yes  50 (23.9)  25 (22.9)  25 (25.0)  .72726 (24.8)  24 (23.1)  .775 

  No  159 (76.1) 84 (77.1) 75 (75.0)   79 (75.2) 80 (76.9)  

Abbreviation: CCI, Charlson Comorbidity Index. aChi‐square tests were used.      

17  

    Table 3. Clinical Characteristics at Baseline, Overall, by Group, and by Low/High TEX (Cont’d)  

     Total (N =

209) 

 CAM (n = 

109) 

 nventional (n 

= 100) 

P Valuea (CAM 

Versus 

Conventional)

Low TEX (n = 105)High TEX (n = 

104) 

P Value  (Low 

Versus High)

Categorical 

Measure  Category 

 N (%) 

 n (%) 

 n (%) 

   n (%) 

 n (%) 

 

Pain on average  Mild (1‐3)  21 (10.0)  16 (14.7)  5 (5.0)  .0346 (5.7)  15 (14.4)  .143 

  Moderate (4‐6)  92 (44.0)  49 (45.0)  43 (43.0)    45 (42.9)  47 (45.2)   

  Severe (7‐8)  85 (40.7)  41 (37.6)  44 (44.0)    48 (45.7)  37 (35.6)   

  Very severe (9‐10)  9 (4.3)  2 (1.8)  7 (7.0)    5 (47.6)  4 (3.8)   

  Missing  2 (1.0)  1 (0.9)  1 (1.0)    1 (1.0)  1 (1.0)   

Overall health  Excellent  9 (4.3)  5 (4.6)  4 (4.0)  .4372 (1.9)  7 (6.7)  .321 

  Very good  50 (23.9)  28 (25.7)  22 (22.0)    22 (21.0)  28 (26.9)   

  Good  73 (34.9)  41 (37.6)  32 (32.0)    38 (36.2)  35 (33.7)   

  Fair  56 (26.8)  23 (21.1)  33 (33.0)    31 (29.5)  25 (24.0)   

  Poor  21 (10.0)  12 (11.0)  9 (9.0)    12 (11.4)  9 (8.7)   

aChi‐square tests were used. 

18  

Follow‐up Computerized Assessments (2 Months and 4 Months). Patients were eligible 

for follow‐up assessments if they participated in treatment visits at least once after their 

baseline assessment. The reason for this requirement is that we wanted to be sure that they 

were actually in a treatment for their pain. We considered patients lost to follow‐up if they did 

not complete any follow‐up evaluations. Patients who did not complete the first follow‐up (2 

months) were still invited to complete the final (4 month) follow‐up. 

Patient Baseline Cognitive Interview. We conducted “think aloud,” or cognitive, 

interviews with a subset of patients to assess their understanding of the HEAL, PROMIS, and 

ACPA Pain Log questions and to determine whether they found the questions to be clear, 

relevant, and potentially useful for enhancing communication and understanding in clinical 

encounters. We set the maximum number of cognitive interviews at 25% of the overall sample 

(50 out of 200) based on guidelines that suggest that qualitative interviews should cease when 

no new information is uncovered (saturation)31 and the report that saturation may take place 

after approximately 20% of a sample has been interviewed.32 Participants in the assessment 

study were invited to participate in the cognitive interviews immediately after they completed 

their baseline assessment. We interviewed Pittsburgh participants and not participants from 

external integrative medicine sites (Los Angeles and Minneapolis) for feasibility reasons. As a 

part of the interview, both patients and clinicians rated the HEAL and PROMIS item banks on 

their understanding of the concepts, relevance of the concepts for their treatment, and 

usefulness of the information on a 0‐to‐4 ordinal scale (“Not at all,” “A little bit,” “Somewhat,” 

“Quite a bit,” “Very much”; see Appendix A for the cognitive interview guide and survey 

questions). Patients also completed the ACPA Pain Log and provided feedback on its content (at 

initial interview only). Patients were provided with graphic representations of their HEAL and 

selected PROMIS health status scores and were asked to provide feedback and suggestions to 

the research team.  

Patient Follow‐up Cognitive Interview. We conducted follow‐up interviews to assess 

patient perspectives on the personal and clinical utility of reviewing changes over time on the 

HEAL and PROMIS scales. The follow‐up cognitive interview mirrored the baseline interview, 

including the same types of questions. Interviewees were encouraged to ask questions and 

19  

engage in critical dialogue about the uses and implications of this type of assessment in clinical 

care settings. If the treatment was short term (eg, as with physical therapy, chiropractic 

treatment, or acupuncture), we conducted the second interview at the 2‐month follow‐up 

rather than at 4 months. 

Clinician Baseline Cognitive Interview. We approached all clinicians of the Pittsburgh 

patients who completed cognitive interviews to participate in clinician interviews. We enrolled 

several types of health care providers, including physicians, acupuncturists, massage therapists, 

and physical therapists. The clinicians were given their patients’ summary scores from the 

online assessments and were encouraged to engage in a candid conversation about the 

directions that computer assessment might take in the treatment environment and what 

information is most beneficial for their purposes. 

Clinician Follow‐up Cognitive Interview. At follow‐up interviews, the same clinicians 

were provided with longitudinal HEAL and PROMIS summary scores, which were briefly 

explained to them. The clinicians were asked to reflect on how the scores could potentially 

influence the clinical encounter over time. The topics mirrored those in the baseline interview, 

with additional attention paid to the potential value of having longitudinal health status 

measures available. 

Data Analysis Plan 

Aim 1 utilized correlation and multiple linear regression (ordinary least squares 

estimation) to test the proposed hypotheses. We predicted that correlations (Spearman’s rank 

correlation) between HEAL scores and patients’ reports of CGI at 2‐month and 4‐month follow‐

ups would be moderate or larger (0.50 or greater). These 2 predictions regarding HEAL and CGI 

at 2‐month and 4‐month follow‐ups represent hypotheses 1a and 1b, respectively. Similarly, for 

hypotheses 1c and 1d (regarding HEAL and Pain outcomes), we predicted that correlations 

(Pearson) between HEAL scores and PROMIS Pain Interference and Pain Intensity at 2‐month 

and 4‐month follow‐ups would be moderate to large (.50 or greater). Regarding our hypotheses 

about regressions, with pain as outcomes and HEAL as predictors, we expected that HEAL 

scores would account for significant amounts of variance in PROMIS Pain Intensity and Pain 

Interference outcomes in preliminary, unadjusted models and also in final regression models 

20  

that were adjusted for a baseline level of pain. 

Aim 2: Heterogeneity of Treatment Effects. We specifically designed our study to 

address whether subgroups of patients experience different treatment effects. The main goals 

of aim 2 were to assess (1) the effect on treatment outcome of patients’ choice to engage in 

CAM or conventional medicine, and, separately, (2) whether patients with higher and lower 

HEAL TEX at baseline had different pain treatment outcomes. For aim 2, we used stepwise 

multiple linear regression for each pain treatment outcome (ordinary least squares estimation), 

then used mixed models (ie, multivariate mixed effect linear regression models) to examine the 

cohort difference longitudinally. All predictors were fixed effects, and intercepts were random 

effects. For regression analyses, we examined whether HEAL scores were significant predictors 

of outcome in each model, with and without controlling for baseline status. For mixed models, 

we modeled HEAL scores at baseline, different cohorts (CAM versus conventional; high TEX 

versus low TEX), time, and baseline status simultaneously. In the series of mixed models, we 

examined (1) HEAL scores and time only; (2) HEAL scores, time, and time squared; and 3) HEAL 

scores, time, and baseline status. The outcome variables used in the models—and presented in 

Tables 8 and 9—are PROMIS Average Pain, PROMIS Overall Health, PROMIS Physical Function, 

PROMIS Pain Interference, and PROMIS Pain Intensity. With the final models, we used 

backward selection by adding the significant (at p < .15) HEAL score predictors back to the 

model after controlling for the baseline status of the outcome variable, and time. We designed 

these analyses to increase understanding of the contributions of PROMIS and HEAL in the 

different cohorts: (1) CAM and conventional medicine, and (2) higher and lower TEX. We used 

SPSS and STATA software for data analyses. 

Aim 3 involved direct, in‐person feedback from patients and clinicians, and used 

patient voices in research. For aim 3, we conducted individual cognitive interviews with 

patients and clinicians regarding clinical utility of the HEAL measures, PROMIS health status 

measures, and the ACPA Pain Log. At each of the 2 cognitive interviews (baseline and 4‐month 

follow‐up), we elicited several structured, evaluative ratings of clarity, relevance to the 

patients’ treatment experience, and potential usefulness in the clinical setting, using 0‐to‐4 

ordinal scales (eg, “Never” to “Very much”). We expected that patients and clinicians would 

21  

rate the PROMIS and HEAL highly on clarity of language (ie, means of 3.0 or higher on a 0‐to‐4 

scale). We expected that the patients would rate the relevance and usefulness of treatment‐

related HEAL items (eg, their views of the Patient‐Provider Connection, their perceptions of the 

Healthcare Environment, and their Treatment Expectancy) significantly higher than HEAL items 

that reflect personal characteristics (eg, Positive Outlook, Spirituality) that may or may not be 

pertinent to clinical treatment. We compared mean scores on relevance of treatment‐related 

versus within‐patient HEAL measures using paired t tests.  

Our data analysis plan for the aim 3 evaluation of the ACPA Pain Log included counts of 

comments regarding clarity and confusion related to the log’s items, pictograms, response 

scales, and relevance to chronic pain. Thus, we obtained descriptive data during the cognitive 

interviews with patients with the intent to compile these data into charts with positive and 

negative comments and specific suggestions. 

Study Protocol. We implemented the study protocol outlined above as originally 

contracted, based on our original proposal and the data analytic requests made by PCORI 

scientific staff prior to the contract award. The protocol was approved by the University of 

Pittsburgh IRB and the IRBs of our contracted external integrative medicine sites: Venice Clinic 

in Los Angeles and Allina Health System in Minneapolis. 

F. Results 

To briefly reiterate our aims, this project assessed (1) whether nonspecific factors 

assessed by HEAL measures predict pain treatment outcomes, (2) whether HEAL and PROMIS 

measures contribute to understanding of HTE, and (3) whether patients and their providers find 

HEAL and PROMIS measures, and the ACPA Pain Log, easy to understand and useful in their 

ongoing treatment. 

The first 2 aims were addressed through our main study, which included 209 persons 

with chronic pain who were initiating a new treatment; the third question was addressed 

through interviews with a subset of patients and their health care providers. 

Descriptive Information About the Study Participants 

Descriptions of study flow, participants, and assessments can be found in Tables 1‐3 and 

Figure 1. The participants included 209 patients with chronic pain who had started a new 

22  

complementary/alternative treatment (n = 109) or conventional medicine treatment (n = 100) 

during the previous month (Figure 1).

Figure 1. Participant Flow Diagram

Telephone Screening for eligibility (n=436)

Screened as ineligible (n=175)

• No new treatment for pain (n=99)• Mild pain/not chronic (n=18)• Excluded condition (n=20)• No frequent treatment/not continuing

treatment (n=30)• Not interested (n=8)

Not eligible for 2-mo follow up (n=4)

Completed 2-mo follow up (n=95) Missed 2-mo follow up (n=10)

Not eligible for 2-mo follow up (n=2)

Completed 2-mo follow up (n=97) Missed 2-mo follow up (n=1)

Complementary/Alternative (n=132)

Did not start treatment w/in window (n=19)

Consented ineligible/withdrew (n=4)

Eligible Baseline completed (n=109)

Conventional (n=128)

Did not start treatment w/in window (n=23)

Consented ineligible/withdrew (n=5)

Eligible Baseline completed (n=100)

Eligible Screens (n=260)

4-mo follow up complete (n=100)

Completed 2-mo follow up missed 4-mo follow up (n=2)

Lost to all follow up (n=3)

4-mo follow up complete (n=96)

Completed 2-mo follow up missed 4-mo follow up (n=2)

Lost to all follow up (n=0)

• Withdrew (n=2)• Ineligible – no

treatment (n=2)

• Withdrew (n=1)• Ineligible – no

treatment (n=3)• Ineligible

condition (n=1)

Baseline

4-mo Follow Up

2-mo Follow Up

23 

24  

In terms of study flow, eligibility issues, study enrollment, and loss to follow‐up, 42 

eligible persons did not enroll or complete assessments. These 42 individuals were screened 

eligible and expressed interest in participating and were then emailed the link to enroll; 

however, they failed to complete enrollment after several contact attempts, apparently 

because they were no longer interested in participating. In addition, 3 participants completed 

the online consent and then withdrew without completing the questionnaires due to confusion 

about the technology or loss of interest. Five participants consented and then were deemed 

ineligible because they did not start treatment. One individual consented and completed the 

questionnaire but was later found to be ineligible due to an excluded psychiatric condition. See 

Figure 1 for details of eligibility, enrollment, and retention. 

Regarding demographics, the participants’ average age was 47.5 years (SD = 15), 75% 

were female, 23% were nonwhite or multiracial, and 7% were of Hispanic ethnicity; further 

demographic and clinical characteristics can be found in Tables 2 and 3. CAM and conventional 

medicine participants did not differ on demographic characteristics (Table 2). Regarding clinical 

characteristics at baseline, CAM patients’ PROMIS Average Pain was less than that of 

conventional medicine participants (p = .034).  

Of our participants, 24% reported having 2 or more other medical comorbidities in 

addition to their chronic pain (Table 3). We also explored subgroups of patients who were using 

opioid medications and who were not (140 out of 209), as well as their satisfaction with these 

prescriptions. Only 23 out of 109 CAM patients used opioids, whereas 44 of 100 conventional 

medicine patients did (p = .001). Those in the high TEX group were less likely than low TEX 

participants to be taking opioid medications (20 out of 104 versus 47 of 105; p < .001).

  

25  

Table 4. Current Pain Treatment, Provider, and Pain Type, Self‐reported at Baseline  

    Total (N = 209) CAM (n = 109) nventional (n = 

100) 

  Category  N (%)  n (%)  n (%) 

Treatment type  Medication  41 (19.6)  5 (4.6)  36 (36.0) 

  Injection  15 (7.2)  3 (2.8)  12 (12.0) 

  Physical therapy  56 (26.8)  8 (7.3)  48 (48.0) 

  Chiropractic  29 (13.9)  27 (24.8)  2 (2.0) 

  Acupuncture  37 (17.7)  37 (33.9)  0

  Massage/other body work  15 (7.2)  15 (13.8)  0

  Meditation  6 (2.9)  6 (5.5)  0

  Psychotherapy/counseling  1 (0.5)  1 (0.9)  0

  Biofeedback/relaxation  2 (1.0)  2 (1.8)  0

  Hypnosis/guided imagery  1 (0.5)  1 (0.9)  0

  Occupational therapy  4 (1.9)  2 (1.8)  2 (2.0) 

  Nutritional counseling  2 (1.0)  2 (1.8)  0

Provider type  Primary care doctor  33 (15.8)  18 (16.5)  15 (15.0) 

  Specialist doctor  50 (23.9)  9 (8.3)  41 (41.0) 

  Physical therapist  40 (19.1)  2 (1.8)  38 (38.0) 

  Chiropractor  33 (15.8)  31 (28.4)  2 (2.0) 

  Acupuncturist  23 (11.0)  23 (21.0)  0

  Massage therapist/body worker  14 (6.7)  14 (12.8)  0

  Psychotherapist/counselor  3 (1.4)  1 (0.9)  2 (2.0) 

  Biofeedback therapist  2 (1.0)  2 (1.8)  0

  Nurse  1 (0.5)  1 (0.9)  0

  Meditation teacher  5 (2.4)  5 (4.6)  0

  Occupational therapist  2 (1.0)  1 (0.9)  1 (1.0) 

  Other health care provider  3 (1.4)  2 (1.8)  1 (1.0) 

26  

Table 4. Current Pain Treatment, Provider, and Pain Type, Self‐reported at Baseline (Cont’d)  

    Total (N = 209) CAM (n = 109) nventional (n = 

100) 

  Category  N (%)  n (%)  n (%) 

Pain type  Back pain  96 (45.9)  49(45.0)  47 (47.0) 

  Neck pain  16 (7.7)  9 (8.3)  7 (7.0) 

  Headaches/migraines  6 (2.9)  5 (4.6)  1 (1.0) 

  Arthritis or joint pain  25 (12.0)  10 (9.2)  15 (15.0) 

  Muscle pain  6 (2.9)  5 (4.6)  1 (1.0) 

  Nerve pain/neuropathy  14 (6.7)  7 (6.4)  7 (7.0) 

  Fibromyalgia  12 (5.7)  7 (6.4)  5 (5.0) 

  Cancer pain  3 (1.4)  1 (0.9)  2 (2.0) 

  Stomach or gastrointestinal pain  4 (1.9)  3 (2.8)  1 (1.0) 

  Pelvic/bladder pain  4 (1.9)  3 (2.8)  1 (1.0) 

  Other pain problems  23 (11.0)  10 (9.2)  13 (13.0) 

 

 

Table 4 shows the variety of CAM and conventional treatments that participants 

received. The most common pain condition was back pain, reported by 46% (96 out of 209) of 

participants. The most frequently used CAM treatments were acupuncture (17.7%; 37 out of 

209), chiropractic (13.9%; 29 out of 209), and massage/other body work (7.2%; 15 out of 209), 

and the most frequently used conventional medicine treatments were physical therapy (26.8%; 

56 out of 209), medication (19.6%; 41 out of 209), and injection (7.2%; 15 out of 209). In 

addition to inquiring about current treatment, we asked participants to indicate number of 

prior treatments they had received for their chronic pain, and the vast majority—92% (192 out 

of 209)—had received 2 or more types of treatments previously for their pain. 

We found that the participants had improvement in PROMIS Pain Intensity and PROMIS 

Pain Interference from baseline to the 2‐month assessment and from baseline to the 4‐month 

assessment (all p’s < 0.001). On the CGI, 63% of participants reported improvement 

27  

(“Somewhat better” or “Much better”) at both follow‐up assessments (see Table 5). Thus, 

across multiple pain conditions and many types of conventional medicine and integrative 

medicine treatments, the participants as a group showed improvement. 

Results of Analyses for Aim 1: Are baseline scores on HEAL measures predictive of outcomes? 

Our aim 1 research question addressed the issue of whether the HEAL nonspecific 

factors scores at baseline were associated with later improvement in (1) CGI, (2) PROMIS Pain 

Intensity, and (3) PROMIS Pain Interference with life activities. 

1. HEAL and Clinical Global Impression. All HEAL baseline scores were significantly and 

positively associated with CGI—except for HEAL Spirituality, which was not significantly 

associated with CGI. However, the HEAL baseline scores were not as strongly associated with CGI 

as we had hypothesized: The largest rho with CGI at 2 months was baseline HEAL PPC 

(Spearman rho = 0.257, 2‐tailed p < 0.01), and the largest rho with 4‐month CGI was baseline 

HEAL POS (Spearman rho = 0.252, 2‐tailed p < 0.01; see Table 6).

  

28  

Table 5. HEAL, PROMIS, and CGI at Baseline, 2‐month, and 4‐month Assessments  

  Baseline  2‐month FU  4‐month FU 

 ± SD  ± SD  ± SD 

HEAL: Health Care Environment   50.7 ± 8.3  50.7 ± 8.2  50.5 ± 8.7 

HEAL: Attitude Toward CAM   52.6 ± 9.4  52.9 ± 9.9  53.6 ± 10.3 

HEAL: Positive Outlook   50.4 ± 10.4  50.6 ± 10.5  50.8 ± 11.0 

HEAL: Patient‐Provider Connection   57.1 ± 7.9  58.1 ± 8.5  57.0 ± 9.7 

HEAL: Spirituality   51.9 ± 12.0  51.1 ± 11.5  51.5 ± 11.9 

HEAL: Treatment Expectations   51.4 ± 7.5  50.4 ± 9.7  51.0 ± 10.3 

PROMIS: Anxiety   56.4 ± 9.1  56.1 ± 10.0  56.6 ± 10.7 

PROMIS: Depression   54.8 ± 9.0  54.1 ± 9.7  54.1 ± 10.1 

PROMIS: Fatigue   57.5 ± 9.1  57.4 ± 9.5  56.9 ± 10.1 

PROMIS: Physical Function   39.7 ± 7.0  40.6 ± 8.4  41.3 ± 8.9 

PROMIS: Pain Interference   63.5 ± 6.6  61.2 ± 7.6  61.2 ± 9.0 

PROMIS: Pain Intensity   54.1 ± 5.9  51.5 ± 6.5  50.8 ± 7.5 

PROMIS: Sleep   55.9 ± 8.7  55.3 ± 9.5  55.3 ± 9.7 

  

29  

Table 5. HEAL, PROMIS, and CGI at Baseline, 2‐month, and 4‐month Assessments (Cont’d)  

    aseline N (%)  ‐month FU N (%)‐month FU N 

(%) 

PROMIS Average Pain    None (0) 

 

0 (0.0) 

 

1 (0.5) 

 

4 (1.9) 

  Mild (1‐3)  21 (10.0)  48 (23.0)  54 (25.8) 

  Moderate (4‐6)  92 (44.0)  79 (37.8)  70 (33.5) 

  Severe (7‐8)  85 (40.7)  56 (26.8)  57 (27.3) 

  Very severe (9‐10)  9 (4.3)  8 (3.8)  12 (5.7) 

  Missing  2 (1.0)  17 (8.1)  12 (5.7) 

PROMIS Overall Health   Excellent 

 

9 (4.3) 

 

8 (3.8) 

 

9 (4.3) 

  Very good  50 (23.9)  48 (23.0)  50 (23.9) 

  Good  73 (34.9)  77 (36.8)  67 (32.1) 

  Fair  56 (26.8)  44 (21.0)  56 (26.8) 

  Poor  21 (10.0)  15 (7.2)  14 (6.7) 

  Missing  0 (0.0)  17 (8.1)  13 (6.2) 

Clinical Global 

Impression  

 Much better 

   

25 (12.0) 

 

32 (15.3) 

  Somewhat better    96 (45.9)  92 (44.0) 

  No change    43 (20.6)  35 (16.7) 

  Somewhat worse    14 (6.7)  24 (11.5) 

  Much worse    3 (1.4)  0 (0.0) 

  Missing    28 (13.4)  26 (12.4) 

30  

Table 6. Correlations Between HEAL Measures at Baseline, and CGI at 2 Months and 4 Months  

  CGI at 2 Months 

CGI at 4 Months 

Health Care Environment   0.232a  0.160b 

Attitude Toward CAM   0.224a  0.245a 

Positive Outlook   0.226a  0.252a 

Patient‐Provider Connection   0.257a  0.202a 

Spirituality   –0.031  –0.051 

Treatment Expectations   0.182b  0.227a 

aSignificant at 0.01 level (2‐tailed). bSignificant at 0.05 level (2‐tailed).  

 

 

Table 7. Significant Correlations Between HEAL Measures at Baseline and PROMIS Pain Interference and Pain Intensity at 2 Months and 4 Months  

  Pain Interference 2 

Months 

Pain Intensity 2 Months 

Pain Interference 4 

Months 

Pain Intensity 4 Months 

Health Care Environment   NS  NS  NS  NS 

Attitude Toward CAM   –0.144a  NS  –0.202a  –0.151a 

Positive Outlook   –0.311a  –0.181b  –0.263a  –0.246a 

Patient‐Provider Connection   NS  NS  NS  NS 

Spirituality   0.155b  NS  NS  NS 

Treatment Expectations   –0.230a  NS  –0.232a  –0.191a 

aSignificant at 0.01 level (2‐tailed). bSignificant at 0.05 level (2‐tailed). 

   

2. HEAL and PROMIS Pain Intensity and Interference. We found that several of the baseline 

HEAL scores were significantly associated with PROMIS Pain Interference at 2‐months and 4‐

31  

months follow‐up (see Table 7 for details): HEAL TEX, HEAL POS, and HEAL CAM. HEAL SPT was 

associated with 2‐month ratings of Pain Interference but not with 4‐month ratings. Baseline 

HEAL POS was associated with 2‐month and 4‐month PROMIS Pain Intensity. Baseline HEAL 

Attitude toward CAM and Baseline HEAL TEX were associated with 4‐month PROMIS Pain 

Intensity but not 2‐month Pain Intensity. Although the associations were statistically significant, 

ranging from –0.16 to –0.31, they were not of the magnitude that we had hypothesized (0.50 or 

greater). Thus, several of the HEAL measures were predictive of 2‐month and 4‐month pain 

outcomes—but modestly so. 

In the multiple regression analyses, one goal was to evaluate whether HEAL scores 

predicted pain outcomes in the entire group of 209 patients. As a preliminary step to the final 

models, we evaluated whether HEAL measures at baseline predicted pain outcomes at 2 

months and 4 months, without adjusting for baseline levels of pain. In these unadjusted 

models, we found that HEAL POS and HEAL SPT accounted for 17.7% of the variance in PROMIS 

Pain Interference at 2 months, and 7.6% of the variance in PROMIS Pain Intensity at 2 months. 

Together, HEAL POS, HEAL SPT, and HEAL Attitudes Toward CAM accounted for 15.8% of the 

variance in PROMIS Pain Interference at 4 months, and HEAL POS and HEAL SPT accounted for 

8.2% of the variance in PROMIS Pain Intensity at 4 months. 

We adjusted the final regression models for baseline level of pain outcomes. This is 

important because the severity of pain at the first assessment is a confounder in the association 

of HEAL measures with pain outcomes. We adjusted the regression models by first entering the 

baseline value of the outcome (eg, PROMIS Pain Intensity). Thus, these analyses provide 

information about variance accounted for by HEAL over and above the influence of baseline 

level of pain symptoms on follow‐up pain symptoms. Baseline PROMIS Pain Interference, HEAL 

SPT, and HEAL POS accounted for 46.7% of the variance in 2‐month PROMIS Pain Interference, 

but most of this was due to baseline status: HEAL SPT contributed an additional 1.8% of 

variance beyond that accounted for by baseline Pain Interference. HEAL POS added an 

additional 3.7% of variance beyond the effects of baseline Pain Interference and HEAL SPT. 

When baseline Pain Intensity was added to the regression model predicting 2‐month PROMIS 

Pain Intensity, we found that baseline Pain Intensity and HEAL TEX accounted for 47.5 % of the 

32  

PROMIS Pain Intensity outcome at 2 months, with just 1.2% of this due to the addition of 

baseline HEAL TEX. The regression model predicting 4‐month PROMIS Pain Interference 

adjusted for baseline Pain Interference resulted in a total of 46.2 % of the PROMIS Pain 

Interference variance predicted by baseline Pain Interference (40.9%), Attitudes Toward CAM 

(additional 2.1% of variance), HEAL SPT (additional 1.7% of variance), and HEAL POS (additional 

1.5% of variance accounted for). The model predicting 4‐month PROMIS Pain Intensity with 

baseline PROMIS Pain Intensity and HEAL scores as predictors resulted in a total of 41.2% of 

variance accounted for: Baseline PROMIS Pain Intensity accounted for 39.2 % of the variance, 

and an additional 2% of variance was accounted for by including HEAL TEX in the model.  

 

Figure 2. Observed Means of Outcome Measures by CAM and Conventional 

 

 

Results of Analyses for Aim 2: Heterogeneity of Treatment Effects 

For aim 2, we were interested in whether HEAL and PROMIS measures contribute to 

Observed Mean

 

                    

  

 

Abbreviations: AvePain, PROMIS Average Pain; Health, PROMIS Global Report of General Health (high 

scores = worse health); PHYS, PROMIS Physical Function (higher scores = better function); PI, PROMIS 

Pain Interference; PINT: PROMIS Pain Intensity. 

33  

understanding of HTE. The goal was to determine HTE based on the type of treatment patients 

had chosen (subgroup analyses of patients receiving CAM/integrative medicine or conventional 

medicine). An additional goal was to determine heterogeneity of pain treatment outcomes 

based on the patients’ baseline HEAL TEX scores (subgroup analyses of patients with higher 

versus lower TEX). In other words, the aim was to determine the effects on outcome of (1) 

choosing a CAM or a conventional treatment, and, in a separate subgroup analysis, determine 

effects of (2) initial treatment expectations (HEAL TEX). We conducted longitudinal analysis 

using mixed models to capture HTE based on type of treatment and HEAL TEX scores at 

baseline. For the CAM and the conventional medicine treatments, we plotted observed mean 

scores at baseline, 2‐months follow‐up, and 4‐months follow‐up for each of the 5    outcome 

variables: Average Pain, Overall Health (higher values = poorer health), PROMIS Physical 

Functioning, PROMIS Pain Interference with life activities (PI), and PROMIS Pain Intensity (PINT). 

The conventional group had a higher Average Pain score, poorer Overall Health, poorer Physical 

Functioning, higher PI, and higher PINT than did the CAM group at each time point (see Figure 

2). We used a series of mixed models to further examine these differences. We fitted the final 

most parsimonious model using backward selection on HEAL scores after controlling for 

baseline status. For Average Pain, the overall average across all time points for the CAM group 

was 0.2444 (ie, the intercept, p < .001). The Average Pain in the conventional group was 0.215 

(p = .062), which was higher than that of the CAM group after controlling for time, baseline 

status, and baseline HEAL scores. A 1‐unit change in time made a 0.462 (p < .001) decrease in 

Average Pain after controlling for other predictors in the model.

34  

Table 8. Multivariable Regression Final Models With Pain and Health Status Variables as Outcomes, and Treatment Type, Time, Baseline HEAL 

Scores, and Baseline Status as Predictors 

  Average Pain  Health PHYS PI PINT

Treatment  NS0.114 [0.038, 0.191]  –0.979 [–1.695, –0.263]  1.011 [0.205, 1.817]  1.541 [0.788, 2.295] 

Time  –0.462 [–0.595, –0.329]  NS0.847 [0.433, 1.261]  –1.185 [–1.663, –0.707]  –1.714 [–2.126, –1.301] 

Baseline status  0.837 [0.772, 0.902]  0.815 [0.775, 0.854]  0.898 [0.843, 0.953]  0.781 [0.718, 0.844]  0.825 [0.766, 0.885] 

HCE  – – – NS –

PCAM  – – – –0.058 [0.015, 0.101] 

POS  NS–0.010 [–0.014, –0.006]  0.064 [0.025, 0.102]  –0.107 [–0.151, –0.063]  –0.041 [–0.077, –0.006] 

PPC  – – – – –

SPT  0.013 [0.003, 0.023]  ––0.058 [–0.090, –0.027]  0.091 [0.054, 0.127]  –

TEX  –0.035 [–0.048, –0.022]  –0.073 [0.032, 0.115]  –0.121 [–0.170, –0.072]  –0.089 [–0.134, –0.045] 

Intercept  2.444 [1.536, 3.351]  1.022 [0.748, 1.297]  NS17.929 [12.441, 23.417]  11.978 [7.635, 16.321] 

Notes: Treatment refers to CAM group (served as control) versus conventional group.  NS stands for not significant at 0.05 level. – stands for not applicable: The variable was not entered in the model due to p > 0.15. For each cell, the estimated coefficient beta is followed by its corresponding 95% confidence interval.  Baseline status = baseline value on the outcome variable. This was included in the prediction models. 

 

Abbreviations: Average Pain, PROMIS Average Pain; CAM, HEAL Attitude Toward Conventional/Alternative Medicine; HCE, HEAL Health Care Environment; Health, PROMIS Overall Health; PHYS, PROMIS Physical Function; PI, PROMIS Pain Interference; PINT, PROMIS Pain Intensity; POS, HEAL Positive Outlook; PPC, HEAL Patient‐Provider Connection; SPT, HEAL Spirituality; TEX, HEAL Treatment Expectancy. 

35  

Also, a 1‐unit change in baseline status on Average Pain made a 0.837 (p < .001) increase 

in Average Pain after controlling for other predictors in the model. Similarly, a 1‐unit change in 

HEAL SPT scores at baseline made a 0.013 (p = .009) increase in Average Pain after controlling 

for other predictors, and a 1‐unit change in HEAL TEX scores at baseline made a 0.035 decrease 

in Average Pain after controlling for other predictors. These baseline variables, HEAL SPT and 

HEAL TEX, were statistically significant predictors of Average Pain in the final model. See Table 8 

for estimates for each of the 5 outcomes. 

To examine the impact of Treatment Expectancy, we divided the sample into 2 groups 

using a median split (low: < 51.5 versus high: 51.5+) of the HEAL TEX scores at baseline. 

Observed mean score plots showed that the low HEAL TEX group had higher Average Pain, 

Poorer Overall Health, poorer Physical Functioning, higher Pain Intensity, and higher Pain 

Interference than did the high HEAL TEX (see Figure 3). The same series of mixed models was 

fitted to each of the 5 outcomes for Treatment Expectancy as that used for type of treatment 

(CAM versus conventional). The final most parsimonious model using backward selection on 

HEAL scores, after controlling for baseline status, showed that the overall average across all 

time points for the low TEX group was 2.590 (ie, the intercept, p < .001). The Average Pain in 

the high TEX group was 0.237 (p = .053) lower than the low TEX group after controlling for time, 

baseline status, and baseline HEAL scores. A 1‐unit change in time made a 0.448 decrease in 

Average Pain after controlling for other predictors in the model; also, a 1‐unit change in 

baseline status made a 0.851 increase in Average Pain after controlling for other predictors in 

the model. Similarly, a 1‐unit change in HEAL SPT scores at baseline made a 0.016 increase in 

Average Pain after controlling for other predictors. A 1‐unit change in HEAL PCAM scores at 

baseline, HEAL POS scores at baseline, and HEAL PPC scores at baseline made a 0.016 decrease, 

0.013 decrease, and 0.018 decrease, respectively, after controlling for other predictors in the 

model. See Table 9 for estimates for each of the 5 outcomes.

  

36  

Figure 3. Observed Means of Outcome Measures by Treatment Expectancy   

 

Observed Mean by Low TEX vs. High TEX

 

Av ePain

PHYS

PI

Abbreviations: AvePain, PROMIS Average Pain; Health, PROMIS Global Report ofGeneral Health 

(high scores = worse health); PHYS, PROMIS Physical Function (higher scores =

better function); PI, PROMIS Pain Interference; PINT, PROMIS Pain Intensity; 

TEX, Treatment Expectancy.  

  

37  

Table 9. Multivariable Regression Final Models With Pain and Health status Variables as Outcomes, and High Versus Low Treatment 

Expectancy, Time, Baseline HEAL Scores, and Baseline Status as Predictors 

  Average Pain  Health PHYS PI PINT

Expectancy  NS NS NS NS–0.844 [–1.571, –0.116] 

Time  –0.448 [–0.582, –0.314]  NS0.795 [0.376, 1.214]  –1.113 [–1.600, –0.625]  –1.646 [–2.064, –1.229] 

Baseline status 0.851 [0.785, 0.917]  0.805 [0.763, 0.847]  0.916 [0.861, 0.970]  0.796 [0.731, 0.861]  0.825 [0.764, 0.887] 

HCE  – –  – –PCAM  –0.016 [–0.028, –0.004]  NS0.050 [0.012, 0.088]  –0.054 [–0.098, –0.009]  –

POS  –0.013 [–0.025, –0.001]  –0.010 [–0.015, –0.006]  0.078 [0.041, 0.116]  –0.126 [–0.169, –0.083]  –0.054 [–0.091, –0.016] 

PPC  –0.018 [–0.032, –0.004]  – – ––0.047 [–0.090, –0.004] SPT  0.016 [0.006, 0.027]  NS–0.067 [–0.099, –0.035]  0.101 [0.064, 0.139]  0.037 [0.006, 0.069] 

Intercept  2.590 [1.570, 3.610]  1.185 [0.867, 1.503]  NS16.795 [11.584, 22.005]  13.025 [8.730, 17.319] 

Expectancy refers to low Treatment Expectancy group (served as control) versus high Treatment Expectancy group.  NS stands for not significant at 0.05 level. – stands for not applicable: The variable was not entered in the model due to p > 0.15. For each cell, the estimated coefficient beta is followed by its corresponding 95% confidence interval.  Baseline status = baseline value on the outcome variable. This was included in the prediction models. 

Abbreviations: AvePain, PROMIS Average Pain; CAM: HEAL Attitude Toward Conventional/Alternative Medicine; HCE, HEAL Health Care Environment; Health, PROMIS Overall Health; PHYS, PROMIS Physical Function; PI, PROMIS Pain Interference; PINT, PROMIS Pain Intensity; POS, HEAL Positive Outlook; PPC, HEAL Patient‐Provider Connection; SPT, HEAL Spirituality; TEX, HEAL Treatment Expectancy 

  

38  

After we completed the mixed model analysis, we calculated post hoc power using 

Average pain. We observed a 0.7 Average Pain difference between CAM and conventional 

groups and a 0.5 difference across time points. Based on 100 simulations of a group sample of 

100 participants, we achieved a 78% power to detect the difference of 0.7 between CAM and 

conventional groups and a 75% power to detect a difference of 0.5 across time points, with 

alpha level of .05. 

Results of Analysis of Aim 3 

Aim 3 evaluated patients’ and providers’ views of the utility of HEAL, PROMIS health 

status measures, and the ACPA Pain Log in the treatment context. We conducted individual 

interviews with 44 of the aim 1 and aim 2 participants, and 13 of their CAM and conventional 

medicine practitioners. Of these 44 interview participants, 23% were male, 34% were nonwhite 

or multiracial, 5% were of Hispanic/Latino ethnicity, and 34% had less than a 4‐year college 

education. During the interview, patients and clinicians were asked to rate the clarity, 

relevance, and usefulness of each of the HEAL and PROMIS measures on a scale of 0 (“Not at 

all”) to 4 (“Very much”).

  

39  

Figure 4. HEAL Short Form Itemsa  

 

  

    

   

FACTOR 2: Health Care Environment

Item ID Item Stem

HCEn_2402 The staff was respectful.

HCEn_2403 The staff was friendly.

HCEn_2398 The staff was helpful.

HCEn_2446 My care was well organized.

HCEn_2448 The health care provider's office respected my privacy.

HCEn_2400 The waiting area was comfortable.

— —

FACTOR 3: Treatment Expectancy

Item ID Item Stem

TEC_6199 I am confident in this treatment.

TEC_6132 This treatment will be successful.

TEC_6082 I feel good about this treatment.

TEC_6221 I expect good outcomes from this treatment.

TEC_6160 This treatment is right for me.

TEC_6220 I value this treatment.

  

40  

Table 10. Preliminary Summary of Patient Stakeholder Concerns With the American Chronic Pain Association Pain Log 

Number of Concerns Reported by Conceptual Category 

Item Content 

Concerns Reported (N)a 

Proportion of Reviews (%) 

ondents (N)  Pictures 

Rating Scale  Time Frame 

rrelevant Content 

omprehen sion/Ill‐ defined 

Medication (taken as prescribed) 

29  57.5%  23  18  8  0  2  1 

Exercise (number of days per week) 

18  35.0%  14  7  8  0  1  2 

Overall activity level  17  35.0%  14  7  9  0  0  1 

Sexual activity  15  30.0%  12  6  2  0  4  3 

Alcohol (number of drinks) 

9  22.5%  9  0  0  8  1  0 

aFewer than 20% of interviewees expressed a concern for the following items: appetite, level of pain, stress level, fear of pain, side effects of medication, bowel irregularity, mood level, social interaction level, financial worries, sleep interference. 

Note: The ACPA Pain Log is publicly available at https://theacpa.org/painLog/default.aspx . 

  

41  

Regarding clarity of the HEAL and PROMIS items, patients and providers found the items to be 

clear and easy to understand (means ranged from 3.5 to 4.0 on a 0‐to‐4 scale). PROMIS pain‐

related measures were rated as highly relevant in the treatment context (means ranged from 

3.8 to 4.0), and PROMIS Physical Function, Depression, Anxiety, and Sleep Disturbance were 

also rated as clinically relevant (means ranged from 3.3 to 3.8). As we expected, the clinical 

relevance of treatment‐related HEAL items (eg, TEX, PPC) were rated significantly higher than 

within‐person HEAL items (POS and SPT). Paired t tests revealed TEX (mean = 3.5, SD = 0.8) 

relevancy ratings were significantly higher than POS ratings (mean = 3.3, SD = 1.0) and SPT 

ratings (mean = 2.3, SD = 1.4); t(79) = 2.31, p < .03 and t(79) = 6.54, p < .001, respectively, when 

both patient and health care provider ratings were combined. PPC relevance ratings (mean = 

3.5, SD = 0.7) were higher than those for POS and SPT (t(79) = 2.43, p < .02 and t(79) = 7.29, p < 

.001, respectively) for the combined patient–provider sample. HCE was the only treatment‐

related HEAL item bank that did not significantly differ from the within‐person HEAL ratings of 

POS and SPT. Overall, patients and HCPs were often in agreement of HEAL relevance to 

treatment; however, health care providers rated the relevance of the TEX items and SPT items 

lower than did patients (F[1, 79] = 9.90, p < .01, and F[1, 79] = 4.96, p < .03, respectively) (see 

Figure 4 for HEAL Short Form items). 

Our aim 3 intention regarding the ACPA Pain log was to collect in‐depth interview 

information concerning the log’s graphic representations of symptoms and side effects, the 

log’s response scales and verbal content, and the log’s general relevance for enhancing patient–

provider communication and understanding. Table 10 summarizes the types of comments 

patients made about the ACPA Pain Log. Our research team will report these results in detail to 

the ACPA along with any suggestions for changes to the log. 

G. Discussion 

    Decisional Context. Our study evaluated the roles of patients’ perceptions, treatment‐

related beliefs, and personal characteristics in pain treatment outcomes. Of the patient‐

centered questions that inspire PCOR, 2 are relevant to the current study: “Given my personal 

characteristics, conditions, and preferences, what should I expect will happen to me?” and 

“What can I do to improve the outcomes that are important to me?” We found that nonspecific 

  

42  

factors as assessed by HEAL influenced pain treatment outcomes. The magnitude of baseline 

HEAL scores’ influence on outcomes was small, although it was statistically significant for HEAL 

POS, SPT, PCAM, and TEX. Having higher expectations regarding the value and personal 

appropriateness of a particular treatment (eg, “This treatment is right for me”) was associated 

with better outcomes at our 2‐month and 4‐month follow‐up. We also found that patients who 

initiated CAM treatments had more positive outcomes than did those who chose conventional 

medicine. Although the study design limits our ability to draw conclusions regarding the direct 

causes of improvement, the study results may inspire patients to become familiar with and 

educated about CAM treatments. And, if, once educated, they determine whether they could 

personally expect benefits (ie, have high Treatment Expectancy), they may engage in CAM fully 

and experience positive outcomes. Our results may also inform clinicians’ decisions. Clinicians 

may be inspired in several ways: increased openness to CAM and increased recognition of the 

importance of the patients’ beliefs about treatment and the connection between patient and 

provider. In some settings and with some patients, providers may recognize the value of talking 

about deeply personal factors such as spirituality. If health systems and payers recognize these 

results, increase their openness to CAM for pain, and increase their focus on nonspecific factors 

as important for outcomes, this could lead to decreasing the burden of pain in our society. It is 

important to recognize, however, that not all patients have access to CAM due to lack of 

availability and lack of insurance coverage for some CAM treatments. It is also important to 

note that, in our study, CAM and conventional medicine patients differed from each other on 

other factors, such as baseline average pain, and this may have also influenced the results. 

    The Study Results in Context. The study addresses the methods gap of heterogeneity of 

patients and treatment effects, specifically evaluating how patient choices of CAM or 

conventional treatment modify outcomes and assessing the modifying effects of initial 

treatment expectations regarding pain treatment. To summarize what we have learned based 

on the HTE analyses, 3 main patterns are worth noting. First, as a group, the chronic pain 

patients in this study showed improvement over time in the following areas: Average Pain, 

Physical Function, Pain Interference, and Pain Intensity. This was true for the group of 

participants overall, regardless of type of treatment they received and whether their treatment 

  

43  

expectations were lower or higher than average. Second, participants’ characteristics and 

treatment choices at baseline were strong predictors of their outcomes. Participants who 

engaged in CAM treatments had less severe pain and better physical function at baseline than 

did conventional medicine participants, and they also had greater improvements in these areas 

over time. Likewise, those participants who had higher HEAL TEX at baseline showed greater 

improvement in pain and function than those with lower HEAL TEX. Third, given the importance 

of baseline HEAL TEX and patient choices about treatment types, and considering the impact of 

time in predicting improvement, several other HEAL measures also emerged as contributing to 

treatment outcomes. Although the additional outcome variance predicted was relatively small, 

HEAL POS and HEAL SPT were statistically significant contributors to physical function and pain 

outcomes, and HEAL CAM and HEAL PPC were statistically significant contributors to several 

outcomes variables as well (see Tables 8 and 9). 

There is growing recognition of the influence of nonspecific factors such as expectations, 

beliefs, ritual, and perceptions of the patient–provider connection in the experience of pain.33 

Some studies have evaluated open‐label placebo and found that patient beliefs and the ritual 

involved with taking the placebo pills led to improvements in pain relative to patients receiving 

usual care alone.14,34 A recent study used experimentally induced pain (a heat stimulus) and an 

opioid or a placebo infusion, and manipulated treatment expectations and attention through 

instructions to study participants. This study supported the role of expectations.35 Our study 

adds to this literature by measuring reports of nonspecific factors from the patient’s 

perspective and evaluating their role in real‐world pain treatment settings. In addition, we 

obtained patients’ and clinicians’ perspectives on the utility of using HEAL and PROMIS to 

enhance care in clinical settings. 

    Implementation of Study Results. Our aim 3 sought patients’ and clinicians’ 

perspectives on implementing PROMIS and HEAL assessments as part of clinical care. Patients 

viewed treatment‐related assessments particularly favorably, rating them to be highly relevant. 

Regarding HEAL, patients made statements such as, “Integration between mental and physical 

is best” and “If I’m in a medical environment where people are spiritual, that adds another level 

to me; there is more trust.” However, some patients felt that HEAL SPT questions were 

  

44  

irrelevant to their chronic pain condition, but “spirituality may be more relevant in a terminal 

situation,” and some providers said that they would not be comfortable discussing the HEAL 

PPC and HEAL HCE with their patients. 

Conventional medicine providers also noted that the extra time required for viewing and 

discussing HEAL and PROMIS reports with patients would be a barrier to implementation in 

clinical settings. Thus, in implementing HEAL and PROMIS into clinical care in the future, it will 

be important for the assessments to be completed online before visits and for automatically 

generated summary reports to be easily available to clinicians as part of the medical record. 

Ideally, clinicians should receive training in how to discuss the report with their patients. And, 

preferably, patients and clinicians must have the freedom to choose which HEAL and PROMIS 

measures to use as communication tools in their treatment. Similarly, many patients found the 

ACPA Pain Log to be a potentially useful tool to enhance communication with their provider—

given that some confusing elements of the log can be modified. The research team will suggest 

changes to the ACPA that should improve the log’s clinical utility. 

Disseminating the results of this study and encouraging other researchers to adopt HEAL 

into their studies were major activities of our research team and PSAP during recent months. 

Publications and presentations are listed in Section M of this report. Our dissemination of HEAL 

measures to other researchers is also provided in Section M. 

  Generalizability. We were able to recruit and retain a fairly diverse sample of persons with 

chronic pain, including 23% nonwhite or multiracial persons, 25% males, and approximately 

50% with less than a 4‐year college education; however, we had few persons of Hispanic/Latino 

ethnicity in the study (14 out of 209). We increased the breath of our sample by including 

patients from the Venice Clinic at UCLA, which is an integrative medicine clinic where patients 

receive treatment free of charge. Our results have reasonable generalizability to US populations 

seeking treatment for chronic pain. However, HEAL and many PROMIS measures are equally 

relevant for patients with a broad range of medical conditions and treatments, and the choice 

to study chronic pain limits the generalizability of our results to other patient populations. 

    Subpopulation Considerations. Our study included subpopulations of persons seeking 

  

45  

CAM treatment and conventional medicine treatment. Persons in CAM treatments tended to 

have higher expectations about their new treatment and better self‐reported health and less 

pain than those in conventional treatments, and fewer of the CAM patients were also using 

opioid medications. Approximately one‐quarter of both CAM and conventional participants 

reported having 2 or more medical comorbidities in addition to their chronic pain; thus 

medically ill persons were represented. The questions regarding opioid use were suggested by a 

clinician member of our PSAP to explore the potential role of opioids in treatment satisfaction 

with pain treatment overall, which will require further study. We assessed the PROMIS health 

status measures of depressive and anxiety symptoms; these psychosocial factors are important 

to assess along with self‐reports of pain and physical function. Although depression can 

contribute to poor pain treatment outcomes, our study found that, overall, in our diverse 

sample of persons who freely select their pain treatments, depressive symptoms were not 

significantly reduced over the 4‐month period of study; however, pain was reduced over time 

to a statistically significant extent. 

    Study Limitations. This study focused broadly on the measuring contextual factors in 

treatment using the HEAL and PROMIS health status instruments. We chose to study patients 

with chronic pain during their routine, self‐chosen treatments. Thus, there are limits to the 

generalizability of this study beyond pain. And, due to the diversity of treatments, from 

acupuncture to physical therapy, we are unable to discern for which treatments contextual 

factors may be most important. HEAL and many PROMIS measures are relevant on a broad 

level to many types of medical conditions and treatments, however. In addition, in addressing 

the HTE methods gap, we chose to evaluate subgroups of patients based on type of treatment 

they had chosen (CAM or conventional medicine). In separate subgroup analyses, we also chose 

to evaluate outcomes in subgroups of patients with lower and higher levels of HEAL TEX. These 

treatment type and expectancy subgroupings were important factors in HTE; however, the 

roles of other potentially important factors remain unknown. A limitation of this study is that 

biases may be present in the analysis of HTE. Patients in the comparison groups of CAM versus 

conventional medicine and those showing low versus high HEAL TEX may diverge in many ways. 

Of note, CAM and conventional medicine patients did not differ on demographic grounds; 

  

46  

however, in terms of clinical variables, there were differences. CAM participants reported less 

pain on average at baseline and were less likely to be taking prescription opioid medications. 

Thus, there may be bias in our HTE results. We addressed this through controlling for baseline 

level of Average Pain (and baseline levels of our other outcome variables) in our final 

multivariate models. 

Some of the limits to the conclusions that can be drawn from this study are based on our 

chosen design. This study was a cohort study of patients who chose their pain treatments. 

Factors that may contribute to those choices—such as preference for CAM methods, types of 

pain, and severity of symptoms—were not controlled. The self‐selection of treatments, while of 

real‐world significance, is a limitation of this study. In contrast, in randomized controlled trials 

such potential sources of bias or confounding can be systematically addressed through 

stratification and other methods. Another limitation is that, given our simple subgroup 

analyses, we did not show that HEAL scores (such as TEX) identified a subpopulation for whom 

CAM therapies were more effective than conventional therapies. That said, despite limitations 

in the design, the study has value, as it was conducted in the real‐world settings in which 

patients with chronic pain seek and obtain treatment. 

  Future Research. Recommendations for future research include evaluating HEAL and 

PROMIS measures in populations with medical illnesses other than chronic pain to support 

generalizability. Feasibility, acceptability, and outcomes associated with implementing HEAL 

and PROMIS within the electronic medical record in real‐world clinical settings should also be a 

focus of future research. In addition, HEAL measures could be a valuable addition to large 

placebo‐controlled trials. In such a research design, investigators would be able to test, through 

patient‐reported measures, the specific influences of treatment beliefs and personal 

characteristics as contributors to the placebo effect. 

H. Conclusions 

We found that the patients’ perceptions of the treatment context and of themselves (eg, 

positive outlook and spirituality), as assessed by the HEAL measures, are associated with 

PROMIS pain treatment outcomes. This is consistent with recent literature on nonspecific and 

placebo research in pain.14,35 Factors such as expectations about treatment and participation in 

  

47  

CAM versus conventional medical treatment were associated with significant differences in 

symptoms throughout the 4 months of our study follow‐up. In interviews, patients and 

clinicians reported that the HEAL and PROMIS measures were easy to understand and useful for 

enhancing patient–provider communication during treatment. These results may be useful to 

the following health care decision makers: patients, clinicians, and health system leaders who 

are interested in enhancing treatment outcomes and fully engaging patients in treatment. 

 

   

48  

References 

1. Barrett B, Muller D, Rakel D, Rabago D, Marchand L, Scheder JC. Placebo, meaning, and health. Perspect Biol Med. 2006;49(2):178‐198. 

2. Institute of Medicine Committee on Advancing Pain Research, Care, and Education. Relieving Pain in America: A Blueprint for Transforming Prevention, Care, Education and Research. Washington, DC: National Academies Press; 2011. 

3. Barrett B, Muller D, Rakel D, Rabago D, Marchand L, Scheder JC. Placebo, meaning, and health. Perspect Biol Med. 2006;49(2):178‐198.  

4. Price DD, Finniss DG, Benedetti F. A comprehensive review of the placebo effect: recent advances and current thought. Annu Rev Psychol. 2008;59(1):565‐590. 

5. Vase L, Robinson ME, Verne NG, Price DD. The contributions of suggestion, desire, and expectation to placebo effects in irritable bowel syndrome patients. Pain. 2003;105(1):17‐25. 

6. Vase L, Robinson ME, Verne NG, Price DD. Increased placebo analgesia over time in irritable bowel syndrome (IBS) patients is associated with desire and expectation but not endogenous opioid mechanisms. Pain. 2005;115(3):338‐347. 

7. Wasan AD, Kong J, Pham L‐D, Kaptchuk TJ, Edwards R, Gollub RL. The impact of placebo, psychopathology, and expectations on the response to acupuncture needling in patients with chronic low back pain. J Pain. 2010;11(6):555‐563. 

8. Kaptchuk TJ, Kelley JM, Conboy LA, et al. Components of placebo effect: randomised controlled trial in patients with irritable bowel syndrome. BMJ. 2008;336(7651):999‐1003. 

9. Karp JF, Yu L, Friedly J, Amtmann D, Pilkonis PA. Negative affect and sleep disturbance may be associated with response to epidural steroid injections for spine‐related pain. Arch Phys Med Rehabil. 2014;95(2):309‐315. 

10. Jamison RN, Edwards RR, Liu X, et al. Relationship of negative affect and outcome of an opioid therapy trial among low back pain patients. Pain Pract. 2012;13(3):173‐181. 

11. Hyland ME, Geraghty AWA, Joy OET, Turner SI. Spirituality predicts outcome independently of expectancy following flower essence self‐treatment. J Psychosom Res. 2006;60(1):53‐58. 

12. Hyland ME, Whalley B. Motivational concordance: an important mechanism in self‐help therapeutic rituals involving inert (placebo) substances. J Psychosom Res. 2008;65(5):405‐413. 

13. Jegindø E‐ME, Vase L, Skewes JC, et al. Expectations contribute to reduced pain levels during prayer in highly religious participants. J Behav Med. 2012;36(4):413‐426. 

14. Carvalho C, Caetano JM, Cunha L, Rebouta P, Kaptchuk TJ, Kirsch I. Open‐label placebo treatment in chronic low back pain: a randomized controlled trial. Pain. 2016;157(12):2766‐2772. 

49  

15. Kaptchuk TJ, Friedlander E, Kelley JM, et al. Placebos without deception: a randomized controlled trial in irritable bowel syndrome. PLoS One. 2010;5(10):1‐7. 

16. Dossett ML, Mu L, Davis RB, et al. Patient‐provider interactions affect symptoms in gastroesophageal reflux disease: a pilot randomized, double‐blind, placebo‐controlled trial. PLoS One. 2015;10(9):e0136855. 

17. Cella D, Yount S, Rothrock N, et al. The Patient‐Reported Outcomes Measurement Information System (PROMIS). Med Care. 2007;45(suppl 1):S3‐S11. 

18. Cella D, Gershon R, Lai J‐S, Choi S. The future of outcomes measurement: item banking, tailored short‐forms, and computerized adaptive assessment. Qual Life Res. 2007;16(suppl 1):133‐141. 

19. Reeve BB, Hays RD, Bjorner JB, et al. Psychometric evaluation and calibration of health‐related quality of life item banks. Med Care. 2007;45(suppl 1):S22‐S31. 

20. Greco CM, Glick RM, Morone NE, Schneider MJ. Addressing the "it is just placebo" pitfall in CAM: methodology of a project to develop patient‐reported measures of nonspecific factors in healing. Evid Based Complement Alternat Med. 2013;2013:1‐9. 

21. Greco CM, Yu L, Johnston KL, et al. Measuring nonspecific factors in treatment: item banks that assess the healthcare experience and attitudes from the patient’s perspective. Qual Life Res. 2016;25(7):1625‐1634. 

22. Cella D, Riley W, Stone A, et al. The Patient‐Reported Outcomes Measurement Information System (PROMIS) developed and tested its first wave of adult self‐reported health outcome item banks: 2005‐2008. J Clin Epidemiol. 2010;63(11):1179‐1194. 

23. Pilkonis PA, Choi SW, Reise SP, et al. Item banks for measuring emotional distress from the Patient‐Reported Outcomes Measurement Information System (PROMIS): Depression, anxiety, and anger. Assessment. 2011;18(3):236‐283. 

24. Pilkonis PA, Choi SW, Reise SP, et al. Item banks for measuring emotional distress from the Patient‐Reported Outcomes Measurement Information System (PROMIS): Depression, anxiety, and anger. Assessment. 2011;18(3):263‐283. 

25. Amtmann D, Cook KF, Jensen MP, et al. Development of a PROMIS item bank to measure pain interference. Pain. 2010;150(1):173‐182. 

26. Cella D, Riley W, Stone A, et al. The Patient‐Reported Outcomes Measurement Information System (PROMIS) developed and tested its first wave of adult self‐reported health outcome item banks: 2005‐2008. J Clin Epidemiol. 2010;63(11):1179‐1194. 

27. Choi SW, Reise SP, Pilkonis PA, Hays RD, Cella D. Efficiency of static and computer adaptive short forms compared to full length measures of depressive symptoms. Qual Life Res. 2010;19:125‐135. 

28. Guy W. Clinical global impressions. In: ECDEU Assessment Manual for Psychopharmacology. Rockville, MD: National Institute of Mental Health; 1976:218‐222. 

50  

29. Rose M, Bjorner JB, Becker J, Fries JF, Ware JE. Evaluation of a preliminary physical function item bank supports the expected advantages of the Patient‐Reported Outcomes Measurement Information System (PROMIS). Assessment. 2008;61(1):17‐33. 

30. Greco CM, Glick RM, Morone NE, Schneider MJ. Addressing the “it is just placebo” pitfall in CAM: methodology of a project to develop patient‐reported measures of nonspecific factors in healing. Evid Based Complement Alternat Med. 2013;2013:1‐9. 

31. Huston P, Rowan M. Qualitative studies: their role in medical research. Can Fam Physician. 1998;44:2453‐2458. 

32. Guest G. How many interviews are enough? an experiment with data saturation and variability. Field Methods. 2006;18(1):59‐82. 

33. Kelley JM, Lembo AJ, Ablon JS, et al. Patient and practitioner influences on the placebo effect in irritable bowel syndrome. Psychosom Med. 2009;71(7):789‐797. 

34. Kaptchuk TJ, Friedlander E, Kelley JM, et al. Placebos without deception: a randomized controlled trial in irritable bowel syndrome. PLoS One. 2010;5(12):e15591. 

35. Atlas LY, Wielgosz J, Whittington RA, Wager TD. Specifying the non‐specific factors underlying opioid analgesia: expectancy, attention, and affect. Psychopharmacology (Berl). 2014;231(5):813‐823. 

 

   

51 

APPENDIX 

Appendix A: Cognitive Interview Materials

1. Patient Interview – Baseline2. Patient Interview – Assessment 23. Patient FAQ4. Clinician Interview – Baseline5. Clinician Interview – Assessment 26. Clinician FAQ7. HEAL definitions

PROMIS Patient Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Treatment Expectancy items are clear and easy to understand.

The Treatment Expectancy items are relevant to my treatment experience.

The Treatment Expectancy items provide useful information to my healthcare provider.

The Patient-Provider Connection items are clear and easy to understand.

The Patient-Provider Connection items are relevant to my treatment experience.

The Patient-Provider Connection items provide useful information to my healthcare provider.

The Healthcare Environment items are clear and easy to understand.

The Healthcare Environment items are relevant to my treatment experience.

The Healthcare Environment items provide useful information to my healthcare provider.

The Positive Outlook items are clear and easy to understand.

The Positive Outlook items are relevant to my treatment experience.

The Positive Outlook items provide useful information to my healthcare provider.

The Spirituality items are clear and easy to understand.

The Spirituality items are relevant to my treatment experience.

The Spirituality items provide useful information to my healthcare provider.

The CAM Attitudes items are clear and easy to understand.

The CAM Attitudes items are relevant to my treatment experience.

The CAM Attitudes items provide useful information to my healthcare provider.

The Pain Intensity items are clear and easy to understand.

The Pain Intensity items are relevant to my treatment experience.

The Pain Intensity items provide useful information to my practitioner.

PROMIS Patient Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Pain Interference items are clear and easy to understand.

The Pain Interference items are relevant to my treatment experience.

The Pain Interference items provide useful information to my healthcare provider.

The Limited Physical Function items are clear and easy to understand.

The Limited Physical Function items are relevant to my treatment experience.

The Limited Physical Function items provide useful information to my healthcare provider.

The Sleep Problems items are clear and easy to understand.

The Sleep Problems items are relevant to my treatment experience.

The Sleep Problems items provide useful information to my healthcare provider.

The Fatigue items are clear and easy to understand.

The Fatigue items are relevant to my treatment experience.

The Fatigue items provide useful information to my healthcare provider.

The Depression items are clear and easy to understand.

The Depression items are relevant to my treatment experience.

The Depression items provide useful information to my healthcare provider.

The Anxiety items are clear and easy to understand.

The Anxiety items are relevant to my treatment experience.

The Anxiety items provide useful information to my healthcare provider.

PROMIS Patient Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

For the following set of questions, we will be referring to the graph and item report resulting from the questions you were asked on the computer.

Did the questions on the computer assessment make sense? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What do you like/dislike about the graphical and numerical formats? What could we do to improve these formats? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Do the scores make sense? Do you understand from the graphs/item output which areas might be important to you and your provider? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Would this type of information help your treatment? In what way? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Patient Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

How comfortable would you be discussing this information during your treatment sessions? How should the assessments be used in treatment? How useful do you think this information would be in communicating with your healthcare provider?

___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Do you like the color?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Are the HEAL definitions helpful?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Do you prefer paper-and-pencil questionnaires or computer questionnaires? Why?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Do you have any overall comments about your experience completing the questionnaires? What other suggestions do you have for us?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Patient Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

For the following set of questions, we will be referring to the “Live Better with Pain Log”

Did this questionnaire make sense? Why or why not? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

When you were making your ratings, did you refer to the pictures? Did the pictures accurately represent the questions? Would you change them in any way? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

On a scale of 1-10, with 1 being not at all helpful and 10 being extremely helpful, how helpful were the pictures when you were answering the questions? __________________________________________________________________________________________

How helpful were the numbers below each set of pictures when you were making your ratings?

______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What questions or suggestions do you have about this assessment? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Patient Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Treatment Expectancy items are clear and easy to understand.

The Treatment Expectancy items are relevant to my treatment experience.

The Treatment Expectancy items provide useful information to my healthcare provider.

The Patient-Provider Connection items are clear and easy to understand.

The Patient-Provider Connection items are relevant to my treatment experience.

The Patient-Provider Connection items provide useful information to my healthcare provider.

The Healthcare Environment items are clear and easy to understand.

The Healthcare Environment items are relevant to my treatment experience.

The Healthcare Environment items provide useful information to my healthcare provider.

The Positive Outlook items are clear and easy to understand.

The Positive Outlook items are relevant to my treatment experience.

The Positive Outlook items provide useful information to my healthcare provider.

The Spirituality items are clear and easy to understand.

The Spirituality items are relevant to my treatment experience.

The Spirituality items provide useful information to my healthcare provider.

The CAM Attitudes items are clear and easy to understand.

The CAM Attitudes items are relevant to my treatment experience.

The CAM Attitudes items provide useful information to my healthcare provider.

The Pain Intensity items are clear and easy to understand.

The Pain Intensity items are relevant to my treatment experience.

The Pain Intensity items provide useful information to my practitioner.

PROMIS Patient Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Pain Interference items are clear and easy to understand.

The Pain Interference items are relevant to my treatment experience.

The Pain Interference items provide useful information to my healthcare provider.

The Limited Physical Function items are clear and easy to understand.

The Limited Physical Function items are relevant to my treatment experience.

The Limited Physical Function items provide useful information to my healthcare provider.

The Sleep Problems items are clear and easy to understand.

The Sleep Problems items are relevant to my treatment experience.

The Sleep Problems items provide useful information to my healthcare provider.

The Fatigue items are clear and easy to understand.

The Fatigue items are relevant to my treatment experience.

The Fatigue items provide useful information to my healthcare provider.

The Depression items are clear and easy to understand.

The Depression items are relevant to my treatment experience.

The Depression items provide useful information to my healthcare provider.

The Anxiety items are clear and easy to understand.

The Anxiety items are relevant to my treatment experience.

The Anxiety items provide useful information to my healthcare provider.

PROMIS Patient Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

For the following set of questions, we will be referring to the handouts titled “XXXXXXXX” (PROMIS/HEAL graph and items) and the questions you answered on the computer.

Did the questions on the computer assessment make sense? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Since taking the first assessment, have you and your treatment provider discussed the assessment or the results? If so, tell me more about that. Has the information been helpful? __________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Is it useful to see how your answers have changed over time? In what way? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What do you like/dislike about the graphical and numerical formats? What could we do to improve these formats? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Do you like the color?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Patient Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Are the HEAL definitions helpful?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Do you understand that the presentation is over time?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

How comfortable would you be discussing this information during your treatment sessions? How should the assessments be used in treatment? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What other suggestions do you have for us?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PCORI Interview FAQ’s

Patient:

1. Can I have a hard copy of the graphs and items?We would like the opportunity to speak with your healthcare provider before we give you acopy or your results. Once we have spoken with them, you are free to ask them for a copy ofyour results, or you can contact our office at (412) 246-6972. In order it give us a chance toreach your healthcare provider, we ask that you wait at least 30 days after this interview tocontact us.

2. Can I have an electronic version (e.g. pdf) of the graphs and items?Yes, we can provide you with a secured pdf after we have contacted your healthcare provider.

3. What does a rating of 50 mean?A rating of 50 is considered “average” for the general population. These items were tested in asample of the US population which was balanced for age, race, gender, and education.

The numbers on the graphs are percentiles on a scale of 0-100 that tell us the percent of peoplein general who rate this item less than you. For example, the 20th percentile is the value (or“rating”) in which 20% of people score at or below.

4. Can you explain what the high ratings mean in the separate categories?In general, higher ratings indicate “more” of that category, and vice versa. A higher rating couldsometimes be more favorable, Patient Provider Connection, and sometimes less favorable, i.e.Pain Intensity.

5. Why are there only 4-6 questions in some of the categories?

All of the questions are presented in a Computerized Adaptive Test (CAT) format. Items are selected on the basis of the person’s responses to previous items. Each person only needs to answer a subset of items to accurately estimate what would have been obtained by administering the entire set of items.

6. What are all of the possible response options?For a majority of the questions, the possible responses are: Frequency: Never Rarely Sometimes Often Almost Always

Severity: Not at all A little bit Somewhat Quite a bit Very Much

Category Response Options

Treatment Expectancy Not at all, A little bit, … , Quite a bit, Very much

Patient-Provider Connection Never, Rarely, … , Often, Almost always Not at all, A little bit, … , Quite a bit, Very much

Healthcare Environment Never, Rarely, … , Often, Almost always Not at all, A little bit, … , Quite a bit, Very much

Positive Outlook Never, Rarely, … , Often, Almost always Not at all, A little bit, … , Quite a bit, Very much

Spirituality Never, Rarely, … , Often, Almost always Not at all, A little bit, … , Quite a bit, Very much

CAM Attitudes Not at all, A little bit, … , Quite a bit, Very much

Pain Intensity Had no pain, Mild, … , Severe, Very severe No pain, Mild, … , Severe, Very severe

Pain Interference Never, Rarely, … , Often, Always Not at all, A little bit, … , Quite a bit, Very much

Limited Physical Function Cannot do, Quite a lot, … , Very little, Not at all Can't do because of health, A lot of difficulty, … , A little bit of difficulty, No difficulty at all Unable to do, With much difficulty, … , With a little difficulty, Without any difficulty

Sleep Problems Never, Rarely, … , Often, Always Not at all, A little bit, … , Quite a bit, Very much Very good, Good, … , Poor, Very poor

Fatigue Never, Rarely, … , Often, Always Not at all, A little bit, … , Quite a bit, Very much None, Mild, … , Severe, Very severe None, 1 day, … , 4-5 days, 6-7 days

Depression Never, Rarely, … , Often, Always

Anxiety Never, Rarely, … , Often, Always

PROMIS Clinician Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Treatment Expectancy items are clear and easy to understand.

The Treatment Expectancy items are relevant to the care I provide.

The Treatment Expectancy items provide useful information.

The Patient-Provider Connection items are clear and easy to understand.

The Patient-Provider Connection items are relevant to the care I provide.

The Patient-Provider Connection items provide useful information.

The Healthcare Environment items are clear and easy to understand.

The Healthcare Environment items are relevant to the care I provide.

The Healthcare Environment items provide useful information.

The Positive Outlook items are clear and easy to understand.

The Positive Outlook items are relevant to the care I provide.

The Positive Outlook items provide useful information.

The Spirituality items are clear and easy to understand.

The Spirituality items are relevant to the care I provide.

The Spirituality items provide useful information.

The CAM Attitudes items are clear and easy to understand.

The CAM Attitudes items are relevant to the care I provide.

The CAM Attitudes items provide useful information.

The Pain Intensity items are clear and easy to understand.

The Pain Intensity items are relevant to the care I provide.

The Pain Intensity items provide useful information.

PROMIS Clinician Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Pain Interference items are clear and easy to understand.

The Pain Interference items are relevant to the care I provide.

The Pain Interference items provide useful information.

The Limited Physical Function items are clear and easy to understand.

The Limited Physical Function items are relevant to the care I provide.

The Limited Physical Function items provide useful information.

The Sleep Problems items are clear and easy to understand.

The Sleep Problems items are relevant to the care I provide.

The Sleep Problems items provide useful information.

The Fatigue items are clear and easy to understand.

The Fatigue items are relevant to the care I provide.

The Fatigue items provide useful information.

The Depression items are clear and easy to understand.

The Depression items are relevant to the care I provide.

The Depression items provide useful information.

The Anxiety items are clear and easy to understand.

The Anxiety items are relevant to the care I provide.

The Anxiety items provide useful information.

The Alcohol Use items are clear and easy to understand.

The Alcohol Use items are relevant to the care I provide.

The Alcohol Use items provide useful information.

PROMIS Clinician Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

For the following set of questions, we will be referring to the handouts titled “XXXXXXXX” (PROMIS/HEAL graph and items).

Are the questions your patient answered easy to understand? What would you change about them? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Would this type of information affect your treatment decisions? In what way? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What do you like/dislike about the graphical and numerical formats? What could we do to improve these formats? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

How comfortable would you be discussing this information during your treatment sessions? How should the assessments be used in treatment? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Clinician Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Do you prefer paper-and-pencil questionnaires or computer questionnaires? Why?

___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What barriers are there to implementing an assessment like this in your clinic?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What other suggestions do you have for us?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Clinician Interview – Baseline PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

For the following set of questions, we will be referring to the “Live Better with Pain Log”

Do you feel this questionnaire will be easily understood by patients? Why or why not? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Did the pictures accurately represent the questions? Would you change them in any way? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

On a scale of 1-10, with 1 being not at all helpful and 10 being extremely helpful, how helpful is this information when formulating a treatment plan? __________________________________________________________________________________________

What questions or suggestions do you have about this assessment? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Clinician Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Treatment Expectancy items are clear and easy to understand.

The Treatment Expectancy items are relevant to the care I provide.

The Treatment Expectancy items provide useful information.

The Patient-Provider Connection items are clear and easy to understand.

The Patient-Provider Connection items are relevant to the care I provide.

The Patient-Provider Connection items provide useful information.

The Healthcare Environment items are clear and easy to understand.

The Healthcare Environment items are relevant to the care I provide.

The Healthcare Environment items provide useful information.

The Positive Outlook items are clear and easy to understand.

The Positive Outlook items are relevant to the care I provide.

The Positive Outlook items provide useful information.

The Spirituality items are clear and easy to understand.

The Spirituality items are relevant to the care I provide.

The Spirituality items provide useful information.

The CAM Attitudes items are clear and easy to understand.

The CAM Attitudes items are relevant to the care I provide.

The CAM Attitudes items provide useful information.

The Pain Intensity items are clear and easy to understand.

The Pain Intensity items are relevant to the care I provide.

The Pain Intensity items provide useful information.

PROMIS Clinician Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Please rate the following statements on a 5-point scale:

0 – Not at all 1 – A little bit 2 – Somewhat 3 – Quite a bit 4 – Very Much

The Pain Interference items are clear and easy to understand.

The Pain Interference items are relevant to the care I provide.

The Pain Interference items provide useful information.

The Limited Physical Function items are clear and easy to understand.

The Limited Physical Function items are relevant to the care I provide.

The Limited Physical Function items provide useful information.

The Sleep Problems items are clear and easy to understand.

The Sleep Problems items are relevant to the care I provide.

The Sleep Problems items provide useful information.

The Fatigue items are clear and easy to understand.

The Fatigue items are relevant to the care I provide.

The Fatigue items provide useful information.

The Depression items are clear and easy to understand.

The Depression items are relevant to the care I provide.

The Depression items provide useful information.

The Anxiety items are clear and easy to understand.

The Anxiety items are relevant to the care I provide.

The Anxiety items provide useful information.

PROMIS Clinician Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

For the following set of questions, we will be referring to the handouts titled “XXXXXXXX” (PROMIS/HEAL graph and items).

Are the questions your patient answered easy to understand? What would you change about them? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Have you discussed the results of the first assessment with this patient? What affect has that had on your treatment plan? _______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What do you like/dislike about the graphical and numerical formats? What could we do to improve these formats? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

How comfortable would you be discussing this information during your treatment sessions? How should the assessments be used in treatment? ________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PROMIS Clinician Interview – Assessment 2 PCORI

ID# __ __ __ __ __ __ Initials __ . __ __ __ Date __ __ / __ __ / __ __

Is it useful to see how your patient’s answers have changed over time? In what way?

___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What barriers are there to implementing an assessment like this in your clinic?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

What other suggestions do you have for us?

________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

PCORI Interview FAQ’s (Healthcare provider)

1. Can I make these items a part of my patient’s medical record/clinical file?**NO. Please do not add hard copies or electronic copies of these data into your patient’s files. If you would liketo document a discussion of the information, we suggest a general “as reported by [patient]…” approach, ratherthan stating the information was directly drawn from the computerized assessment study.

As a part of our NIH Certificate of Confidentiality, we are not permitted to include references or documentsrelated to this study in the patients’ medical records. Also, the current study is a pilot study and the graphs andformatting will be changing throughout the study.

2. Can I have a hard copy of the graphs and items?Yes, we will provide you with a hard copy of each. Feel free to provide your patient with a copy as well. (Thepatient has seen this info during his/her baseline interview, but was not provided a copy at that point.)

3. Can I have an electronic version (e.g. pdf) of the graphs and items?Yes, we can provide you with a secured pdf.

4. What does a score of 50 mean?A score of 50 is considered “average” for the general population.

These items were tested in a sample of the US population which was balanced for age, race, gender, and education.

5. What do scores between 40 and 60 mean?A score of 40 or 60 means that 40 or 60% of the population scored at the same level or below your patient.

6. Can you explain what the high scores mean in the separate categories?In general, higher scores indicate “more” of that category, and vice versa. Certain categories are more“negative” while others could be considered “positive”. For example, a higher than average score in the Angercategory would indicate “more” anger. On the other hand, a higher than average score in Social Satisfactionwould indicate “more” satisfaction.

7. Do you have definitions of each of the categories?Yes, we have definitions available for most of the categories if you are interested. They are also available on themain PROMIS website: http://www.nihpromis.org/measures/domainframework

8. Why are there only 4-6 questions in some of the categories?

All of the questions are presented in a Computerized Adaptive Test (CAT) format. CAT is a method of administering tests by computer, based on the psychometric framework of IRT (Item Response Theory). Items are selected on the basis of the examinee’s responses to previously administered items. This process uses an algorithm to estimate person "ability" and then chooses the best next item, enabling test administration based on specifications such as content coverage and test length. The capacity to rank all examinees on the same continuum, even if they have not been given any common items, allows for a test that is individually tailored to each examinee. With item banking, each patient need only answer a subset of items to obtain a measure that accurately estimates what would have been obtained by administering the entire set of items.

Helpful Definitions

Treatment Expectancy • Your expectations about whether the treatment will be helpful

Patient-Provider Connection • Your views of your relationship with your healthcare provider

Healthcare Environment • Your views about the healthcare provider’s office and staff

Positive Outlook • Your level of confidence and optimism, in general

Spirituality • Your spiritual beliefs and experience of spiritual support

Attitudes toward CAM (Complementary Alternative Medicine) • Your views about integrative medicine or CAM

Appendix B: Glossary of Terms

ABBREVIATIONREVIATI TERM

ACPA American Chronic Pain Association ANX PROMIS Anxiety AvePain PROMIS Average Pain BMI Body Mass Index CAM Complementary/Alternative Medicine CAM Attitudes Toward CAM (HEAL) CATs Computerized Adaptive Tests CCI Charlson Comorbidity Index CGI Clinical Global Improvement CON Conventional (medicine group) DEP PROMIS Depression FAQ Frequently Asked Questions FAT PROMIS Fatigue HCE Health Care Environment (HEAL) HEAL Healing Encounters and Attitudes Lists Health PROMIS Overall Health HTE Heterogeneity of Treatment Effects IOM Institute of Medicine IRB Institutional Review Board IRT Item Response Theory NCCAM National Center for Complementary and Alternative Medicine NIH National Institutes of Health NS Not significant OLS Ordinary Least Squares PHYS PROMIS Physical Function PI PROMIS Pain Interference PINT PROMIS Pain Intensity POS Positive Outlook (HEAL) PPC Patient-Provider Connection (PPC) PROMIS Patient Reported Outcomes Measurement Information System PROs Patient Reported Outcomes PSAP Patient Stakeholder Advisory Panel SD Standard Deviation SLP PROMIS Sleep SPT Spirituality (HEAL) TEX Treatment Expectancy (HEAL) UCLA University of California Los Angeles

Copyright© 2019. University of Pittsburgh.  All Rights Reserved. 

Disclaimer: The [views, statements, opinions] presented in this report are solely the responsibility of the author(s) and do not necessarily represent the views of the Patient‐Centered Outcomes Research Institute® (PCORI®), its Board of Governors or Methodology Committee. 

Acknowledgement: Research reported in this report was [partially] funded through a Patient‐Centered Outcomes Research Institute® (PCORI®) Award (#ME‐1402‐10114) Further information available at: https://www.pcori.org/research-results/2014/using-surveys-assess-patient-centered-factors-may-affect-responses-chronic