Town Hall Debrief: 2018 ADR and What Happens Next

ADAP Data Report (ADR) HIV/AIDS Bureau July 31, 2019

Welcome to today’s Webcast. Thank you so much for joining us today!

My name is AJ Jones. I’m a member of the DART Team, one of several groups engaged by HAB to provide training and technical assistance to ADAPs during the implementation of the ADR. 

Today’s Webcast is presented by Ellie Coombs, also from the DART Team. This webcast serves as an opportunity to debrief after the submission of the ADR data. We hope that all of you will use this webcast as an opportunity to ask any questions and provide any comments or suggestions you have resulting from this latest round of ADR data submission.

At any time during the presentation, you’ll be able to send us questions using the “Question” function on your control panel on the right‐hand side of the screen. You’ll also be able to ask questions directly “live” at the end of the presentation. You can do so by clicking the “raise hand” button (on your control panel) and my colleague will conference you in. You can also click the “telephone” button and you’ll see a dial‐in number and code. 

We hope you consider asking questions “live,” because we really like hearing voices other than our own.

          

    

   

Presentation Outline

• Why we’re here

• Submission timing

• Issues and upcoming enhancements

o ADR Web System and UCR

o CAREWare

o TRAX

o Reportable d-codes

o Clarification of data element definitions

• Follow up and next steps

• Your questions and comments

2

Thanks, AJ. We’re going to touch briefly on several topics today, and we hope to get your feedback on how this submission went for you all. First, I’ll give an intro of why we’re here and submission timing. Then, I want to talk about some of the issues that came up during submission, including with the ADR Web System and TA requests received. We’ll touch on what we’re learning so far from our review of your ADRs, and what our next steps will be. Finally, we’ll turn it over to you for your feedback, questions and concerns.

I also want to note that we’ll be asking poll questions throughout the presentation, also as a way of getting feedback. 

 

 

 

Poll: ADR Experience

3

Before we get into the presentation, I like to get a sense of how you felt about the submission. 

I’ll turn things over to Beth to facilitate our first poll. 

How was the submission of the 2018 ADR? • Smooth, and I feel good about the quality of the data • Challenging, but I feel good about the quality of the data. And, those challenges could be internal to your agency and process or external – like the last‐minute CAREWare update.

• Challenging, and I’m concerned about the quality of the data • I wasn't involved with submission

  

    

We use your input to…

• Review reporting requirements that may need clarification or modifications

• Revise existing tools and materials

• Increase awareness of existing tools and resources

4

Looks like a few of you did have challenges with the ADR, and we hope to learn more about those today. We will use your input today to review any requirements that may need clarifications. We’ll also use your feedback to revise existing tools and materials. For example, we may modify language in the instruction manual so it is clearer. Or, if you find that a report in the ADR Web System is not that intuitive, we may update that tool. We’ll also take today as an opportunity to increase awareness of existing tools and resources. 

 

     

 

       

Other Channels of Feedback

• Data quality outreach

• 2018 report comments

• Questions and comments via phone and email channels

5

Other than today, there are a couple of other venues we will use to get your input. 

First, we communicate with you through our regular fall calls and data quality outreach, which I’ll discuss more later on in the presentation

We are also carefully reading your comments in the 2018 ADR to understand your specific program and how it affects data collection and submission.

And, outside of the more formal forums, we are always available via phone or email for questions or suggestions.

          

   

   

 

    

Submission Timing

• Deadline extended due to CAREWare issues

o Users frustrated by multiple updates

o Need for additional data quality checks well before the deadline

6

Congrats to Washington, our first submitter!

This is the point in the presentation when we talk about submission timing. Obviously, this year, submission timing was seriously impacted by late updates to CAREWare. In fact, HAB extended the deadline to accommodate these changes. We know what ADAPs can’t simply install new versions of CAREWare. They often need approval and IT support. As always, we apologize for this inconvenience and appreciate your patience.

We also want to thank the ADAPs that recognize ADR data quality issues early on that allow us to identify and fix CAREWare or ADR Web System issues. No one likes to be the guinea pig, but it’s so important to ensuring the overall quality of ADR data. 

Finally, I would like to highlight our first submitter – Washington state. Thank you! Getting started early on the ADR is a best practice for submitting high quality data to HAB. 

    

 

Poll: Submission Timing

7

Next we’re going to do a quick poll so we can get a better understanding of what delays your ADR submission. I’ll turn things back over to Beth for our second poll.

What delayed your submission? (check all that apply): • Nothing, we submit well before the deadline • Last minute changes in CAREWare • Challenges getting data from our PBM or surveillance • Data import issues that result in inaccurate or incomplete data • Other (please chat in your response)

Issues with the ADR Web  System

8

Now let’s talk about issues related to the ADR Web System and the Upload Completeness Report. 

    

Duplicate Entries for Triumeq

9

First, there was confusion around the duplicate entries of Triumeq on the UCR. As you can see, the Recipient Report has a list of drugs that ADAPs mark are on the formulary. There are two generic names that map to the same brand name and d‐code.

   

 

Duplicate Entries for Triumeq

10

Both of these entries show up in the UCR, but because they have the same d‐code, the counts are the same. We are suggesting that one of the entries on the UCR is removed to avoid confusion.

 

 

1,650 dispenses of Biktarvy

1,544 clients with medication assistance

More than 100%

   

ADAP-Funded Medication Calculation

Numerator: # of dispenses of a certain d-code

Denominator: # of clients with medication assistance

11

The medication calculation is a little wonky because the denominator is the number of clients with medication services and the numerator is the number of dispenses with that d‐code. So, it could be over 100%. It’s more intuitive for the numerator to be the number of clients with that d‐code.

           

  

Better Summaries of Client Services

• Identify clients with no services, one service, or both services

• Assess service data quality

12

We’d also like to restructure the services summary table. Right now, the rows in the table are not mutually exclusive, so you can’t identify number of clients with no services. Having rows with medication services only, insurance services only, both services, and neither service can help ADAPs better assess the quality of the data. 

     

 

  

Poll: UCR

13

One thing we’ve noticed is that ADAPs don’t always access the UCR after submission. They run the Validation Report because that’s required. We’d like to get a better sense of why you may or may not use the UCR, and what else we could do to improve it.

How would you best describe your use of the UCR? • It helped me identify data quality issues • It helped me, but I have suggestions about content • I prefer the Validation Report • I did not use it

Please chat in your suggestions. Or, raise your virtual hand, and at the end of the presentation, we’ll unmute your line. It’s really important to us that this report serves as a good tool for you to assess your data.

   

      

      

CAREWare Process Issues

• Late release of final build

• Request for better Provider Data Import (PDI) documentation

• CAREWare Tips for ADAPs: https://targethiv.org/library/adr-focus-careware-tips-adaps-key-areas-impact-adr-data-quality

14

Now, we’ll talk about CAREWare issues. Of course, the big one is the late release of the final version that postponed many of your submissions. 

We also received several requests for more documentation to be available related to the Provider Data Import, or PDI, the tool that allow ADAPs to import data into CAREWare from external systems. I want to point ADAPs to an important resource on TargetHIV.

    

 

CAREWare Export Issues

• Values of <$1 were rounded down and reported as zero; should be reported as $1

• Enrollment date populates the recertification date for new clients, causing validation issues

15

Also, there were several export issues that we want to address. For one, medication cost values of less that $1 were rounded down to zero. These should actually be reported as $1. 

Also, for new clients, the enrollment date populated the recertification date, which gets exported into the ADR and cases validations. 

 

 

Poll: CAREWare

16

What best describes your TA needs around CAREWare (check all that apply)? • None • Importing medication data • Accurately recording insurance services • Using internal data quality and validation reports • I don’t use CAREWare

 

  

   

Very Few TRAX-Related Issues!

• Duplicate values

• More than two recertification dates reported for a client

• Costs of <$1 should be reported as $1

17

TRAX seems to be working smoothly, but there were a couple of issues we identified. First, duplicate values in your .CSV files create errors messages, so you’ve got to get rid of those through a simply remove duplicates function. A trickier issue to deal with is the fact that TRAX only wants to see two recertification dates for clients. So if you’ve cleaned up your duplicates but are still getting a vague message, make sure to clean out any extra dates. Finally, as I mentioned medication costs of less than $1 should be rounded up to $1. We’ll add this to the manual. 

      

   

D-Codes Are Proprietary

• They cannot be made public

• A representative from each ADAP can receive:

o Excel spreadsheet of reportable d-codes

o NDC to d-code crosswalk

18

We added this slide based on a recent comment we received through TargetHIV. I want to clarify that d‐codes are proprietary so we cannot make the list of ADR reportable d‐codes available on TargetHIV. Instead, a representative from each ADAP can apply to receive access to an Excel spreadsheet with the d‐codes and the Multum database, which is an NDC to d‐code crosswalk. 

        

     

Requesting/Changing Access

• Submit a form to the DART Team: https://targethiv.org/library/hab-grantee-request-form-multum-medication-information

• HAB will notify you of updates

• Thank you for your patience!

19

To request or change access, you need to fill out a simple form available on TargetHIV and send it to the DART Team. If you aren’t sure who is in your state has access, contact the DART team. Once you have access, HAB will let you know when there is an updated database available and send you the link and password. 

   

 

Clarification of Data Element Definitions

• Amount paid for medications is the amount without dispensing fees and before rebates

• Cost reconciliation of advance payments of the premium tax credit (APTC):

o Client/ADAP receives refund: No need to update

o ADAP makes additional payment: Add an entry that would get reported in the following year

20

Ok, now let’s do some quick data element definitions. The amount paid for medications in the client‐level data file is the amount without dispensing fees and before rebates. 

And, as always, HAB does not expect you to update information related to retroactive billing – such as for cost reconciliation of advance payment of premium tax credits. If the client gets a refund, you don’t need to update the amount the ADAP paid. But, the amount would need to be updated if the ADAP made an additional payment.

 

Reporting Full-Pay Medications for Insured Clients

Situation How it’s reported

Drug is not covered by insurance Medication

Drug is covered by insurance, but the client has not yet met the deductible

Insurance

21

A final quick reminder on reporting medications for insured clients. If the drug is not covered by the insurance program, it should be reported as medication assistance. If the drug is covered by the insurance program, but falls in the client’s deductible, so the ADAP pays the full cost of the drug, it should be reported as insurance assistance.

 

 

22

2018 Data Follow Up

• Review ADR report comments

• Hold calls with ADAPs to discuss

• Data trends

• Low completeness rates for certain data elements

• Data quality issues related to medication

• Recreate ADR Data Summary Reports with 2017 and 2018 comparison, including medication cost information

Now, what’s next? In the next couple of months, we’ll follow up with ADAPs that had significant problems as indicated by report comments. We go through every single comment, so it takes a little time to give you feedback. 

And, just like the last couple of years, we’ll hold calls with all ADAPs to go over data summaries to make sure your data reflect your program and learn about any changes you’re making to your data management processes. You’ll be hearing from the DART team soon regarding your ADR Data Summary Reports, which we will update to compare 2017 and 2018 data.

              

        

Poll: Using Technical Assistance Resources

23

Finally, we’d like to hear from you all regarding what resources you use in completing your ADR. There are a lot of resources available to you, and we want to know if you used them and found them helpful.

What resources and TA options do you use to complete your ADR? Please check all that apply.

Webinars

ADR Instruction Manual

ADR Web System Reports

Data Quality Summary  Report

Individual technical assistance from the HRSA  Help Desk, Data Support, DART, and/or the CAREWare help desk.

 

 

 

 

 

Technical Assistance

• The DART Team: Data.TA@caiglobal.org

o Sign up for the listserv: https://targethiv.org/user/login?destination=library/ryan-white-listservs-mailings

• Ryan White HIV/AIDS Program Data Support: 888-640-9356; RyanWhiteDataSupport@wrma.com

• HRSA Help Desk: 877-464-4772; http://www.hrsa.gov/about/contact/ehbhelp.aspx

• CAREWare helpdesk: 877-294-3571; cwhelp@jprog.com

o Sign up for the listserv: https://list.nih.gov/cgi-bin/wa.exe?A0=CAREWARE

24

The DART Team addresses questions for those needing significant assistance to meet data reporting requirements, such as helping  ADAPs who do not know what to do or where to start; Determining if grantee systems currently collect required data; Assisting grantees in extracting data from their systems and reporting it using the required XML schema; Connecting grantees to other grantees that use the same data system. We encourage you to sign up for our TA listserv and the link under DART if you have not already done so.

DART also deals with data quality issues, as well as providing TA on the encrypted Unique Client Identifier (eUCI) Application.

Data Support addresses ADR‐related content and submission questions. Topics include: Interpretation of the Instruction Manual and HAB’s reporting requirements; Allowable responses to data elements of the Grantee Report and client‐level data file; Policy questions related to the data reporting requirements; Data‐related validation questions.

The HRSA Contact Center addresses software‐related questions. Topics include: Electronic Handbook (EHB) navigation: EHB registration; EHB access and permissions; Performance Report submission statuses. 

Finally, the CAREWare help desk is your best resource for any TA requests related to CAREWare. We encourage you to register for the listserv to join the conversation with other CAREWare users across the country.

There is no wrong door for TA – if we can’t assist you we’re happy to refer you where you need to go!

25

    

                

  

 

   

  

   

Q&A Session

• Please use the “raise hand” function to speak. We will unmute you in the order that you appear.

OR

• Type your question in the question box.

And now to your questions – but first, I would like to remind you that a brief, three‐question evaluation will appear on your screen as you exit, to help us understand how we did and what other information you would have liked included on this webcast. We appreciate your feedback very much, and use this information to plan future webcasts.

As a reminder, you can send us questions using the “Question” function on your control panel on the right hand side of the screen. You can also ask questions directly “live.” You can do this by clicking the raise hand button (on your control panel). If you are using a headset with a microphone, my colleague, Beth, will conference you in; or, you can click the telephone button and you will see a dial in number and code.  We hope you consider asking questions “live”, we really like hearing voices other than our own.

We do want to get all of your questions answered, and we do not usually run over an hour. If you have submitted your question in the question box and we cannot respond to your question today, we will contact you to follow up.  We often need to explore your question in order to give you the most appropriate answer.