UvA-DARE is a service provided by the library of the University of Amsterdam (http://dare.uva.nl)

UvA-DARE (Digital Academic Repository)

Interpreting the evidence-base for making recommendations on medical tests

Gopalakrishna, G.

Link to publication

Citation for published version (APA):Gopalakrishna, G. (2016). Interpreting the evidence-base for making recommendations on medical tests.

General rightsIt is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s),other than for strictly personal, individual use, unless the work is under an open content license (like Creative Commons).

Disclaimer/Complaints regulationsIf you believe that digital publication of certain material infringes any of your rights or (privacy) interests, please let the Library know, statingyour reasons. In case of a legitimate complaint, the Library will make the material inaccessible and/or remove it from the website. Please Askthe Library: https://uba.uva.nl/en/contact, or a letter to: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam,The Netherlands. You will be contacted as soon as possible.

Download date: 15 Mar 2021

Interpreting the Evidence-base for Making Recommendations on Medical Tests

228

Chapter NineSummaryNederlandse samenvattingPhd profileCurriculum vitae Acknowledgements

229

Gowri Gopalakrishna

Summary

The development of medical test evaluation has predominantly focused on evidence around test performance, such as the analytical and clinical sensitivity and specificity of a test, in order to make conclusions on whether a medical test should be recommended for use or not. We argue in this thesis that the evaluation of tests needs to move beyond test performance measures to include questions on the clinical utility (i.e. the value of a test to a patient), in terms of outcomes related to the test results or testing process.

The main thrusts of our argument lies in the fact that firstly, a more accurate test does not directly equate to a better test. Take for instance the circumstance when no appropri-ate treatment is available or one in which the harms of testing with a new test outweigh its benefits. Under such situations, maintaining status quo may be a more preferable option. Secondly, tests are never used in isolation but are always part of a larger context; what we have chosen to call the “test-treatment pathway”. Such a pathway illustrates the sequences of tests before and after that a patient may receive when they undergoing diagnosis for a certain condition. It also includes the downstream clinical management decisions such as re-testing, follow-up testing, a wait and see approach as well treat-ment options available for the said condition.

By attempting to describe such a test treatment pathway, we are able to put the test in question into the clinical context in which it may later be used. This can help guideline developers understand the consequences of replacing, removing or adding on a new test and what impact this may have on the patient eventually receiving the test in question, in terms of downstream clinical management decisions, and treatment options. It can also help authors of diagnostic test accuracy reviews develop meaningful key questions that take into account the clinical context of a test being reviewed. It can help not only in selection of the types of evidence needed but also help identify where gaps in research lie. In this way, evidence synthesis becomes more meaningful, as a test is evaluated not only on how accurate it may be in the diagnosis of a specific condition but also in terms of what benefit or harm it may lead to further downstream in its test-treatment pathway. This can help the eventual end reader – the health care practitioner, guideline developer or patient - see the downstream implications of using the new test compared to an existing test or test strategy. The test-treatment pathway can also assist research-ers of primary test accuracy studies in developing targeted test evaluation hypotheses.

Interpreting the Evidence-base for Making Recommendations on Medical Tests

230

Our thesis begins with illustrating the typical challenges systematic review authors of diagnostic test accuracy reviews face. In Chapter 2, we report a systematic review to determine the diagnostic accuracy of circulating antigen tests and urine reagent strips for the detection of active schistosomiasis in endemic parts of the world. Poor, inconsist-ent reporting of the primary studies included in this review limited our ability to make meaningful suggestions for clinical practice and further research. Poor quality primary studies that have no clear study hypothesis defined from the outset is an ongoing issue that continues to plague diagnostic test accuracy review authors.

In Chapter 3 we presented a systematic review of methodologies (aka grading systems) available to guideline developers when it came to assessing the evidence and making recommendations around medical tests. We describe the various methodologies availa-ble for this in terms of methodological and guideline process characteristics. We found that almost all methodologies consider test accuracy data as the single most crucial piece of evidence in medical test guideline development. Out of the 12 grading systems we included in our study, we found that less than half (n=5) (AHRQ, EGAPP, GRADE NICE, USPSTF) explicitly mention the need for including different evidence types and how such evidence can be linked to making conclusions and recommendations that are patient outcome centered.

In Chapter 4, we took one of the more prominent and current grading systems (GRADE for Diagnostics) and reported on the challenges one may face when applying this ap-proach in assessing and making recommendations from diagnostic test accuracy re-views. Our aims in doing so were to report from a practical standpoint the issues and challenges a guideline developer may face when using GRADE for Diagnostic to assess and develop patient centred testing recommendations. Our study concludes that while the GRADE for Diagnostics system provides a transparent, structured approach to link-ing and making patient centered recommendations, the current guidance is not explicit enough to end users.

In Chapter 5, we described semi-structured, in depth interviews of European medical test guideline developers to explore issues, difficulties and possible solutions they may have when making medical test guidelines. Our previous research in Chapters 2-4 clearly confirmed our ideas around existing challenges, however we were curious to explore the viewpoints of guideline developers themselves face to face in order to generate a deeper understanding and uncover any considerations we may have missed in our ear-lier research on this topic. Our interviews revealed an unsurprisingly overwhelming con-

231

Gowri Gopalakrishna

sensus around interviewees on the main challenges as to why guideline development around medical tests is not patient outcome centred. These could be categorized into challenges relating to methods, those around resource and last but not least a general lack of awareness of on the need to link testing to downstream outcomes. In order to sustainably resolve the methodological and resource challenges raised, a paradigm shift is needed on how we globally view medical tests beginning with how we educate med-ical doctors in medical school on testing and the value of a test beyond accuracy, to our regulatory framework around the approval of medical tests into the market.

Chapters 6 & 7 dealt with the test-treatment pathway as a means of enabling tests to be seen in the clinical context in which they may eventually be used. We look at the Cochrane Diagnostic Test Accuracy Reviews and how authors fulfill the Cochrane requirement to develop such a pathway. We then went on in Chapter 7 to propose a step-by-step approach to help users such as guideline developers and review authors explicitly derive such pathways based on hands on feedback generated from real life examples. Our work supports that conclusion: while the development of such pathways is increasingly being seen as important in medical test evaluation, the development of such pathways in itself is riddled with a number of challenges, the primary one being the lack of explicit practical guidance on how to actually develop such a pathway.

In Chapter 8, we aimed to help primary authors of diagnostic test accuracy reviews develop clear study hypothesis to guide their evaluation of tests. We proposed a pre-liminary guide on how authors can, in a stepwise fashion, generate a study hypothesis a priori, that can guide them in assessing the clinical utility of a test.

The evaluation of medical tests is by far lagging in many ways compared to the evalua-tion of interventions, such as drugs and medical devices for treatment. This ranges from primary study quality, to methods available for gathering, appraising and evaluating testing evidence to regulatory requirements governing the access of such tests into the market.

In our thesis, we have used a mixed methods approach, of both quantitative and qual-itative research methodologies, to explore why this is the case. In doing so, we have proposed a number of solutions for the way forward such as building upon more explicit guidance on development of the test treatment pathway as part of guideline develop-ment and test accuracy reviews. We suggest an approach that primary authors of test accuracy reviews can use to generate clear study hypothesis that focus on meaningful test evaluation based on analytical and clinical utility of the test in question.

Interpreting the Evidence-base for Making Recommendations on Medical Tests

232

However, we feel, underpinning these methodological challenges and proposed solu-tions, is a clear need on improving medical education and general awareness that medi-cal tests evaluation should be patient outcome centred. Having clear regulatory require-ments around medical test approval for access into the market is a clear way to make this push on the need for patient centred evidence. The trickle-down effect would be improved resources in terms of time, money and expertise in meeting this requirement.

Nederlandse samenvatting

De evaluatie van medische tests heeft zich tot nu toe voornamelijk gericht op het bep-alen van eigenschappen van de test zelf, zoals de analytische en klinische sensitiviteit en specificiteit. Aanbevelingen om een test al dan niet te gebruiken zijn dan ook door-gaans op die eigenschappen gebaseerd. In dit proefschrift hebben we echter argumenten aangedragen voor de stelling dat de evaluatie van tests verder moet gaan dan dit, en vooral ook naar het klinisch nut zou moeten kijken. Dat is waarde die het ondergaan van de test voor de patiënt heeft – of kan hebben – doordat er een diens gezondheid ver-betert, door het ondergaan van de test zelf of, onrechtstreeks, door de resultaten van de test, die het verdere beleid bepalen.

De kern van onze argumentatie ligt in de vaststelling dat een meer accurate test nog niet noodzakelijk inhoudt dat die test ook beter is. Als het ondergaan van die nieuwe test bij voorbeeld meer nadelen dan voordelen kent, is er doorgaans weinig reden om op de nieuwe test over te stappen. Medische tests staan ook zelden op zichzelf. Ze mak-en deel uit van een groter geheel, wat we in dit proefschrift hebben omschreven als “test-behandelpaden”. Het uittekenen van zo’n pad kan duidelijk maken welke tests een patiënt al eerder heeft ondergaan, na presentatie, vóór de test wordt overwogen, en wel-ke er eventueel nog kunnen volgen. Het pad beschrijft ook de klinische beslissingen die worden geïnformeerd door de testresultaten, zoals opnieuw testen, vervolgonderzoek, afwachtend beleid, of het starten van een behandeling.

Door het uittekenen van een test-behandelpad geven we de test een plaats in de pas-sende klinische context: het geheel aan acties en beslissingen waarin die test, nu of later, wordt gebruikt. Op die manier kunnen de opstellers van klinische richtlijnen de gevolgen voor de praktijk overzien die het aanbevelen of het ontraden van een test heeft. Het bestuderen van het test-behandelpad kan systematisch onderzoek van de bestaande literatuur sturen, doordat gerichte vragen kunnen worden geformuleerd, die rekening houden met de context waarin het gebruik van de test wordt overwogen.

233

Gowri Gopalakrishna

Een beschrijving van het hele pad helpt onderzoekers ook in het bepalen welke vormen van onderzoek relevant zijn, en waar zich de leemtes in de beschikbare kennis bevinden. Op die manier kan een meer informatieve synthese van het al uitgevoerde onderzoek worden uitgevoerd, een die ook rekening houdt met de gevolgen die de test heeft voor het verdere klinische beleid en, langs die weg, welke gevolgen de test heeft voor de patiënten die de test kunnen ondergaan.

Ook de lezer van het systematische literatuuronderzoek – dat kan de zorgverlener zijn, de opsteller van richtlijnen, of de patiënt – kan zich zo een beter beeld vormen van wat de invoering van een nieuwe test voor gevolgen zou kunnen hebben. Daarnaast kan een heldere analyse van het overwogen test-behandelpad ook de onderzoekers helpen, als die een nieuwe studie overwegen of plannen. Zij kunnen zo nagaan welke testeigen-schappen minimaal nodig zijn om de verhoopte verbetering in patiëntenuitkomsten tot stand te brengen.

Aan het begin van dit proefschrift hebben we een uitdagingen geschetst waarmee sys-tematisch literatuuronderzoek naar testeigenschappen wordt geconfronteerd. Hoofd-stuk 2 bevatte een verslag van zo’n literatuuronderzoek, in dit geval naar tests voor antigenen bij schistosomiasis, een parasitaire ziekte veroorzaakt door wormen. Onvolle-dige of inconsistente rapportage maakte het ons moeilijk om betekenisvolle conclusies voor de praktijk te formuleren, of voor verder onderzoek. Dit is helaas maar een al te een vertrouwd probleem voor systematisch literatuuronderzoek; veel primaire studies laten het na om bij de start van het onderzoek heldere onderzoekshypotheses te formuleren.In Hoofdstuk 3 lieten we een overzicht zien van de systemen waarop de opstellers van richtlijnen een beroep kunnen doen als zij de onderbouwing voor aanbevelingen over medische tests moeten beoordelen. Die systemen hebben we beschreven aan de hand van methodologische kenmerken en proceseigenschappen. We moesten vaststellen dat vrijwel alle systemen uitgaan van de diagnostische accuratesse van de beoordeelde tests. Van de 12 systemen die we analyseerden maakten er maar 5 expliciet melding van andere vormen van onderbouwing (AHRQ, EGAPP, GRADE NICE, USPSTF). Slechts een minderheid gaf aan hoe die andere vormen van onderbouwing aan accuratesse kunnen worden gekoppeld, om zo te komen tot conclusies en aanbevelingen over tests die geba-seerd zijn op de uiteindelijke gevolgen voor de patient.

In Hoofdstuk 4 namen we een van die meer prominente beoordelingssystemen onder de loep: GRADE voor diagnostiek. We hebben onderzoek verricht naar de hindernissen die gepaard gaan met de eventuele toepassing van dit systeem op systematisch lit-

Interpreting the Evidence-base for Making Recommendations on Medical Tests

234

eratuuronderzoek naar de accuratesse van tests. Het was onze bedoeling om hiermee ontwikkelaars van richtlijnen te informeren, op een heel praktische manier, over de moe-ilijkheden die ze kunnen ondervinden bij het toepassen van GRADE voor diagnostiek. Wij kwamen tot de conclusie dat de GRADE-aanpak weliswaar transparant en systematisch is, maar dat de bestaande instructies nog niet toereikend zijn voor eindgebruikers.

Als deel van ons onderzoek hebben we ook een reeks semigestructureerde diepte-inter-views afgenomen van richtlijnontwikkelaars in Europa; daarover hebben we in Hoofd-stuk 5 verslag uitgebracht. In die interviews hebben we de uitdagingen, problemen, en moeilijkheden verkend die gepaard gaan met het opstellen van richtlijnen over medis-che tests, en ook mogelijke oplossingen verkend. Op die manier hoopten we de inzicht-en die we hadden opgedaan in ons eerdere onderzoek, samengevat in de hoofdstukken 2 tot en met 4, verder te verdiepen. We waren niet helemaal verrast door de breed gedragen consensus. Onze gesprekspartners wezen op de hindernissen die ontwikke-laars ondervinden, waardoor de meeste richtlijnen over tests niet expliciet gericht zijn op de gevolgen voor de patiënt. We konden die hindernissen indelen in drie categorieën: één ervan omvat methodologische aspecten, een tweede verwijst naar een tekort aan middelen, en een derde naar een gebrek aan bewustzijn over de noodzaak om bij aan-bevelingen rondom tests ook de gevolgen van het testen expliciet te betrekken. Er is vermoedelijke een stevige paradigmaverandering nodig, een die begint met de opleiding van nieuwe artsen, waarin duidelijker dan voorheen aan bod moet komen dat het bij tests niet alleen om de accuratesse gaat. Maar ook de regelgeving moet wellicht ver-anderen; de evaluaties die nodig zijn voordat nieuwe tests op de markt mogen worden gebracht kunnen worden uitgebreid.

De Hoofdstukken 6 en 7 gingen meer over test-behandelpaden (test-treatment path-ways), als een middel om tests in de klinische context te plaatsen waarin ze worden – of kunnen worden – gebruikt. Auteurs van Cochrane reviews, een vorm van systematisch literatuuronderzoek, worden sinds enige tijd expliciet uitgenodigd om in hun onderzoek het pad waarin de geëvalueerde test is opgenomen te beschrijven. Wij zijn nagegaan of ze dat ook daadwerkelijk doen, en het verslag is te vinden in Hoofdstuk 6. Hoewel aan het benoemen van de test-behandelpaden steeds meer belang wordt toegeschreven, valt de toepassing nog tegen. Eén van de mogelijke verklaringen kan het gebrek aan hel-dere instructies zijn. In Hoofdstuk 7 hebben we dan ok een nieuwe, expliciete methode beschreven, en uitgeprobeerd, om test-behandelpaden te identificeren.

Het doel van de methode die in Hoofdstuk 8 staat beschreven was om onderzoekers die een studie opzetten naar de diagnostische accuratesse van een test bij te staan in

235

Gowri Gopalakrishna

het omschrijven van ondubbelzinnige hypotheses over de te evalueren tests. Stap voor stap beschrijven we hoe onderzoekers kunnen komen tot specifieke minimumeisen voor de sensitiviteit en specificiteit van een test. Het precies omschrijven van die criteria kan de onderzoekers helpen om na te gaan, op basis van de resultaten van het onderzoek, of de test geschikt ook daadwerkelijk is om in de praktijk te worden gebruikt, en of die mogelijk klinisch nut heeft.

De evaluatie van medische tests hinkt achter de evaluatie van andere medische inter-venties aan. De methoden voor het evalueren van geneesmiddelen en hulpmiddelen zijn duidelijk al veel verder ontwikkeld. Dat geldt zowel voor het opzetten van origineel onderzoek, als voor de methoden voor het verzamelen, beoordelen en samenvatten van eerder uitgevoerd onderzoek. Dat heeft ook alles te maken, volgens ons, met de wet- en regelgeving over medische tests.

In het onderzoek dat in dit proefschrift staat samengevat hebben we een combinatie van methoden toegepast, met zowel kwantitatieve als kwalitatieve vormen van onderzoek, om na te gaan wat de verklaringen zijn voor die achterstand in het evalueren van tests. Tegelijk hebben we een aantal voorstellen geformuleerd om die situatie te verbeter-en, zoals instructies voor het omschrijven van test-behandelpaden, als onderdeel van richtlijnontwikkeling of van systematisch literatuuronderzoek. Daarnaast hebben we een methode voorgesteld om minimale eisen voor de accuratesse van tests te formuleren; die methode gaat uit van het beoogd gebruik van de test en kijkt naar de gevolgen van dat gebruik voor de patiënt, en zo naar het klinisch nut van testen.

Willen we echter de bestaande praktijk verbeteren, dan is er meer nodig dan methodol-ogische vooruitgang. Er is ook behoefte aan veranderingen in onderwijs en opleiding, en het bevorderen van de notie dat elke evaluatie van tests uiteindelijk op de uitkomsten voor de patiënt moet zijn gericht. Strengere voorwaarden voor het toelaten van tests zouden daarbij zeker kunnen helpen. Uiteindelijk zou dit kunnen leiden tot meer mid-delen en een betere expertise, om informatieve evaluaties van medische tests mogelijk te maken.

Interpreting the Evidence-base for Making Recommendations on Medical Tests

236

Phd profile

237

Gowri Gopalakrishna

Interpreting the Evidence-base for Making Recommendations on Medical Tests

238

239

Gowri Gopalakrishna

Curriculum vitae

Gowri Gopalakrishna completed her Bachelor with Honors in Microbiology at the Nation-al University of Singapore between 1995 to 1999. After which she felt a keen interest in extending her training and skills beyond the laboratory to a more public health orienta-tion. This led to an opportunity for an internship at the World Health Organisation in Ge-neva, Switzerland where she had her first encounter in public health and evidence based medicine. Her stint at the WHO became the stepping stone to public health and health policy development. She was subsequently accepted at the prestigous London School of Hygiene and Tropical Medicine to pursue her Masters in Epidemiology.

Immediately after her masters, she was offered a job as an epidemiologist at the Singa-pore Ministry of Health, where she pursued her career as an infectious disease epidemi-ologist. During her time at the Ministry, she played a key role in the control and preven-tion of the Severe Acute Respiratory Syndrome (SARS) epidemic which became a global concern in 2003. She received the President’s medal of honor for her contributions at this time. She was also fortunate to subsequently develop Singapore national policies governing the movement and handling of biological agents nationally.

Thereafter, she pursued a career as an epidemiologist in the private sector for a number of years as a way of expanding her exposure in the field of epidemiology. She subse-quently commenced her PhD at the Academic Medical Centre in 2011.

Her research interests include the use of more traditional quantitative research methods with qualitative methodology to answer issues around evidence based decision making at various levels from policy making and guidelines to patient experiences. She is also a keen contributor and participates actively in supporting efforts around the safe handling and use of biological agents through her involvement with the International Federation of Biosafety Associations, a non-governmental organization based in Ottawa Canada.

Interpreting the Evidence-base for Making Recommendations on Medical Tests

240

Acknowledgements

I like to thank my supervisors, Patrick Bossuyt and Rob Scholten and co-supervisors, Mariska Leeflang and Miranda Langendam for their unlimited support despite all odds to get me through to this stage, for their vision and dedication to helping me see my thesis through its delivery. I cannot find the words to fully express how deeply grateful I am for this. I am honored to have known you and had the chance to work along side you.

I like to thank my family, Mohan, Kamani, Joerg and my parents for believing in me from start to the end and everything in between. Thank you from the bottom of my heart. De-spite the distance, I felt you cheering me on all the way to the finishing line and further! To my grandparents who left their countries of origin and all things familiar, at a tender age to forge for a better future in a new land. I have thought of you many times, of the opportunities you fought for and all the challenges you overcame. I am grateful to you. I hope I have done you proud.

To my paranymphs: Immy, what can I say, “thank you” seems so inadequate to express just how much your friendship has meant to me and continues to mean to me. Six years I have known you, but feels like a lifetime. Corien, thank you for all your silent support, looking out for me on all the details I might miss so my boat reaches its destination. I am sincerely grateful to you.

To all my friends I have made in my 9 years in Amsterdam, I have been pleasantly sur-prised at how blessed I am to have you by my side – friends I never expected to make moving to a new country in the middle of my life whilst also juggling a full time job and young children. Thank you so much for the impromptu ‘’rescue” play dates, coffees, and words of encouragement.

To my fellow colleagues, Daniel, Jeremie, Jungfeng, Parvin, Eleanor, thank you for contrib-uting to a co-operative, warm, jovial work atmosphere. Special thanks to Elmer, Carine from AMR – I have been touched by your kindness on so many occasions.

To my collaborators, I wish to thank you for your interest, guidance and collaboration in my work.

241

Gowri Gopalakrishna

To Rob, I am grateful to you for your skill and willingness to help put my thesis together so swiftly. Thank you for our wonderful daughters who are truly the joy of my life. Motherhood has been an unexpected welcome surprise in my life.

Last but certainly not least to my children, Nikki and Kira, who are my source of inspira-tion and motivation to continually push boundaries, test myself and strive to be the best of who I can be. You are my guiding light.