Medical StudentRecruitment into Neurology

via Curricular ReformDavid Lee Gordon, M.D., FAAN, FANA, FAHA

Professor & ChairDepartment of Neurology

Kathryn G. and Doss Owen Lynn, M.D., Chair in NeurologyThe University of Oklahoma Health Sciences Center

Under Accreditation Council for Continuing Medical Education guidelines disclosure must be made regarding relevant financial 

relationships with commercial interests within the last 12 months.

David Lee Gordon, M.D.

I have no relevant financial relationships or affiliationswith commercial interests to disclose.

% U.S. MD SENIORS MATCHING IN NEUROLOGYPGY‐1 Matches 2016‐2020 per NRMP

0.5 0.6 0.6 0.6 0.6

1.4 1.41.6 1.6

1.81.9 2.02.2 2.2

2.4

0

1

2

3

2016 2017 2018 2019 2020

Child Neurology Neurology TOTAL

%

%

%

Mean values2016‐2020:

Neurology 1.6%Child Neurology 0.6%Total 2.1%

NRMP 2020

% U.S. DO SENIORS MATCHING IN NEUROLOGYPGY‐1 Matches 2016‐2020 per NRMP

0.2 0.3 0.30.1

0.3

2.11.8 1.7

2.01.7

2.32.1 2.0 2.1 2.0

0

1

2

3

2016 2017 2018 2019 2020

Child Neurology Neurology TOTAL

%

%

%

Mean values2016‐2020:

Neurology 1.9%Child Neurology 0.2%Total 2.1%

NRMP 2020

MEDICAL STUDENT CAREER CHOICEGeneral Factors & Clerkship Influence• General factors that affect a medical student’s choice of specialty include:

• Gender• Lifestyle• Specialty archetype/personality• Perceived specialty prestige• Student experiences

Jordan JT et al.Neurology 2020;95:e1080‐e1090

• Clinical clerkships influence medical student career choices based on:

• Clinical experiences—including patient type

• Role modeling• Perceived work conditions

Maiorova T et al.Medical Education 2008;42:554‐562

CHOICE OF NEUROLOGY AS A CAREERResults of a Qualitative StudyMedical student & resident participation in focus groups and semistructured individual interviews determined that four factors may increase medical student recruitment into neurology1. Early and broad clinical exposure2. Preclerkship experiences & a strong neuroscience curriculum3. Positive personal interactions with neurology providers4. Debunking negative stereotypes about neurologists, neurology 

patients, and neurology treatment options

Jordan JT et al. Neurology 2020;95:e1080‐e1090

CHOICE OF NEUROLOGY AS A CAREERFactors Determined in Past Studies• Medical students are more likely to choose a career in neurology if they:

• Attend a medical school with a required neurology clerkship*• Majored in neuroscience as an undergraduate**• Were interested in neurology upon medical school matriculation**• Rated their basic neuroscience course or neurology clerkship as excellent on the AAMC Graduation Questionnaire (GQ)**

*Albert DV et al. Neurology 2015;85:172‐176**Jordan JT et al. Neurology 2020;95:e1080‐e1090

UNIVERSITY OF MIAMI 10‐YEAR EXPERIENCEEffect of Curriculum on Career Choice

UM Medical Students Matching in Neurology or Child Neurology

New curriculumn=30

Old curriculumn=15

OLD mean = 3/y= 2%

NEW mean = 6/y

= 4%p = 0.034

chi‐square = 4.5

1998‐2007Class sizes

~150

Farrow AK et al. 2017

UNIVERSITY OF OKLAHOMA 10‐YEAR EXPERIENCEEffect of Curriculum on Career Choice

0

2

4

6

8

10

2004 2005 2006 2007 2008 2009 2010 2011 2012 2013

0

32

10

6

8

6

10

8

New curriculumn=38

Old curriculumn=6

OLD mean = 1.2/y= 1%

NEW mean = 7.6/y

= 5%p < 0.001

chi‐square = 22.5

2004‐2013Class sizes

~150

OU Medical Students Matching in Neurology or Child Neurology

Farrow AK et al. 2017

UNIVERSITY OF OKLAHOMA 19‐YEAR EXPERIENCESustained Effect of Curriculum on Career Choice

0

2

4

6

8

10

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

12

0

32

10

6

8

6

10

89

7

4

7 7

4

7

OU Medical Students Matching in Neurology or Child Neurology

OLD mean = 1.3/y= 1%

NEW mean = 6.9/y

4.6%

2002‐2020Class sizes

~150

AAMC GRADUATION QUESTIONNAIRE (GQ)OUCOM Within‐School Rank & Career Choice

21

0

6

8

6

10

89

7

4

7 7

4

77 7

45

32

12 2

12

1 1 1 1

7 7 7

1 1 1 1 1 1 1 1 1 1 1 1

0123456789

10

2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020

Neurology Matches M2 Course Rank M3 Clerkship Rank Neurology Matches = Total OU medical students matching in neurology & child neurology

M2 Course Rank =% students rating educational quality excellent vs. 13 other OUCOM preclinical topics

M3 Clerkship Rank = % students rating educational quality excellent vs. 6 other OUCOM clerkships

Low Course Ranks= Fewer Recruits

High Course Ranks= More Recruits

LOW

HIGH

LOWLOW

HIGHHIGH

OU NEUROSCIENCE COURSE (M2)AAMC GQ Results vs. Other Schools 2006‐20

24.635.5

41.650.9

56.161.4

76.9

62.4

49.5

77.5

63.4

76.184.9

78.4 76.2

30.6 31.1 31.841.1 42.2 44.7 43.3 42.5 43.7 45.8 46.5 45.7 45.2 44.7 44.1

0102030405060708090

100

06 07 08 09 10 11 12 13 14 15 16 17 18 19 20

% OUCOM% All LCME

2020 GQ reflects2017 M2 course

% Students Rating Education Quality EXCELLENT

New OU curricula

2011 GQ reflected revised 2008 course

2014 GQ reflected new 2011 course in association with school‐wide change

%

OU NEUROLOGY CLERKSHIP (M3)AAMC GQ Results vs. Other Schools 2006‐20

18.0 15.825.0

76.168.2 72.8

83.0 79.874.2

80.0

64.674.8

80.8 78.4 76.6

24.9 24.5 24.329.1 33.1 34.1 33.9 34.5 35.0 38.2 39.4 40.6 41.4 42.1 41.7

0102030405060708090100

06 07 08 09 10 11 12 13 14 15 16 17 18 19 20

% OUCOM% All LCME

%

New OU curriculum (clerkship ‘07‐’08)

% Students Rating Education Quality EXCELLENT2020 GQ reflects2018‐19 M3 clerkship

MEDICAL EDUCATION SUCCESS STRATEGYFlip the Paradigm

Change from neurologist who teachesto educator who teaches neurology

EXPERIENTIAL LEARNING ALONEIs Insufficient

“Experience itself teaches nothing”W. Edwards Deming (1900‐1993)American management consultant & champion of quality improvement

“The value of experience is not in seeing much,but in seeing wisely.”  Sir William Osler (1849‐1919)Canadian, Johns Hopkins, & Oxford physician & father of modern medicine

Learners crave clinical experiences &experience is the “best” teacher (results in optimal recall), but…

EXPERIENTIAL LEARNING ALONEMay Lead to Inaccurate Learning• U. of Michigan investigators:

• Reviewed patient logs of 212 neurology clerkship students from 2005‐6 academic year• Determined number of patients each student saw in 5 diagnostic areas—seizure, headache, stroke, acute mental status change, dementia

• Compared number of patients seen by student with student written exam scores (including 5 diagnostic area subscores) & clinical performance scores

• The more patients a student saw in a given diagnostic area, the LOWER the student’s exam subscore in that area (p=0.03)

• The total number of patients seen did NOT correlate with total written exam score (p=0.77) or clinical performance score (p=0.23)

Poisson SN et al. Neurology 2009;72:699‐704

NEUROLOGY CLERKSHIPPitfalls of Focus on Clinical Experiences & Shelf• Providing experiences without feedback does not lead to learner growth and, in fact, may lead to regression through inaccurate experience interpretation

• Providing experiences without learner preparation leads to missed opportunities and increased learner anxiety/neurophobia

• Testing material not covered in the didactic curriculum—such as by using an NBME shelf exam—results in:

• Learners ignoring the didactic curriculum & clinical instructors• Lack of focus and direction for the learners• Increased learner anxiety/neurophobia

OPTIMIZING EXPERIENTIAL LEARNINGLessons of Educational PsychologyExperiences result in optimal learning if learners are:• Prepared• Focused• Motivated• Provided feedback

Corresponding educational psychology concepts• Priming• Curriculum alignment• Flow channel• Deliberate practice

PRIMINGPrepare Learners for Experiences• Priming = influencing learners’ responses to an experience by first exposing them to a related stimulus (e.g., didactic session, case‐based learning, or simulation exercise before seeing a patient)

• Expands the knowledge base or “experience” of the learner in preparation for an upcoming experience

• Lessens anxiety & optimizes potential learning during experience• Utilizes the framing heuristic – guides learners appropriately• Avoids the availability heuristic – does not allow them to generalize based on lack of knowledge or experience

After KS Lashley 1951

CURRICULUM ALIGNMENTFocus Learners by Teaching to the Test• Curriculum alignment = the process of linking objectives, assessments, & learning experiences to ensure learners achieve what is expected of them

• Has positive effect on learner growth & satisfaction (facilitates flow)After Benjamin S. Bloom (1913‐1999), educational pioneer

Bloom BS. Evaluation Comment 1968; 1(2):1‐12

You can expect what you inspectW. Edwards Deming (1900‐1993), quality improvement pioneer

Assessment drives learning George E. Miller (1918‐1998), medical education research pioneer

Miller GE. Acad Med 1990;65:S63‐S67

Objectives LearningAssessments

FLOW CHANNELMotivate Learners by Providing Sufficient Skill

• Flow channel / flow• State of optimal experience (enjoyment & maximal concentration) – confident & content

• Occurs as a result of participating in activities that one perceives as worth pursuing for their own sake

• Requires both: • Learner skills matching challenge difficulty—facilitated by priming

• Goals, structure, & feedback—facilitated by curriculum alignment & deliberate practice

NOV = Novice learner; INT = Intermediate learner; ADV = Advanced learner After M Csikszentmihalyi 1990

SKILL LEVEL

CHAL

LENGE

FLOW CHANNEL

ADV

INT

NOV

ANXIETY

BOREDOM

DELIBERATE PRACTICEProvide Feedback to Promote Learner Growth• Deliberate practice = focused, repetitive practice designed by instructors to improve performance of specific tasks necessary to advance to the level of expert

• 10,000 hours improves learner likelihood of achieving level of expert• Essential components:

• Motivated & attentive learner (flow channel)• Well‐defined task & goals (priming & curriculum alignment)• Appropriate level of difficulty (flow channel)• Informative feedback from instructor (curriculum alignment)• Opportunities for repetition & refinements (priming & flow)

Modified from KA Ericsson et al. 1993; KA Ericsson 2008; WC McGaghie et al. 2011

EXPERIENCE

LEAR

NER

 GRO

WTH

w/o DP

OU NEUROLOGY CLERKSHIPDidactic Curriculum Components

• Lesion localization• Neurologic history• Neurologic exam • Neurologic findings• Brain imaging (CT & MRI)• Unconscious bias• Case summaries (SBAR)• Ward‐based learning (H&P)

• Patient‐centered articles• Aphasia SP/OSCE• Coma SP/OSCE• Case‐based learning

• 10 outpatient cases• 10 emergency cases

• Ethics & professionalism• Interdisciplinary team

Neurology clerkship didactic curriculum based on AAN core curriculum.*Taught by select faculty, including nurse educator.

*Gelb DJ et al. Neurology 2002; 58:849‐852

Taught via mix of self‐learning and small‐group sessions

SP = standardized patientOSCE = objective structured clinical examination

OU NEUROLOGY CLERKSHIPLearning Materials & AssessmentsTo promote curriculum alignment:• Clerkship supplies all required learning material• All tests based on clerkship‐supplied materials• Final Exam is an internal exam—NOT NBME Shelf—yet students consistently perform > national average in neurology on USMLE 2

• “Ward Performance” is worth only 10% of total grade & is the only component not part of the structured, didactic curriculum

IMPROVING RECRUITMENT INTO NEUROLOGYStudent Satisfaction & the Didactic Curriculum• Student satisfaction – surrogate outcome measure

• Successful medical student curricula as determined by AAMC Graduation Questionnaire results increase the likelihood of students choosing a career in neurology or child neurology

• Didactic curriculum reform – methodology• Basing a neurology clerkship’s didactic curriculum on core educational psychology principles significantly affects both student satisfaction and the number of medical students who choose to pursue a career in neurology

REFERENCES 1 OF 2• Albert DV, Yin H, Amidei C, et al. Structure of neuroscience clerkships in medical schools and matching in neuromedicine.  Neurology 2015;85:172‐176.

• Bloom BS. Learning for Mastery. Evaluation Comment 1968; 1(2):1‐12.• Csikszentmihalyi M. Flow: The Psychology of Optimal Experience. New York: Harper & Row; 1990.• Ericsson KA, Krampe RT, Tesch‐Römer C. The role of deliberate practice in the acquisition of expert performance. Psychological Review 1993;100:363‐406.

• Ericsson KA. Deliberate practice and acquisition of expert performance: a general overview. Acad Emerg Med 2008;15:988‐994.

• Farrow AK, Gordon DL, Prodan CI.  The effect of a clerkship didactic curriculum on medical student career choice in neurology. American Academy of Neurology 69th Annual Meeting, S6.002. April 23, 2017. Boston, MA. 

• Gelb DJ, Gunderson CH, Henry KA, et al. The Neurology clerkship core curriculum. Neurology 2002; 58:849‐852.• Jordan JT, Cahill C, Ostendorf T, et al. Attracting neurology’s next generation. A qualitative study of specialty choice and perceptions. Neurology 2020;95:e1080‐e1090.

REFERENCES 2 OF 2• Lashley KS.  The Problem of Serial Order in Behavior.  In Jeffress LA (ed) Cerebral Mechanisms in Behavior. Pp 112‐131. New York: Wiley; 1951.

• Maiorova T, Stevens F, Scherpbier A, van der Zee J.  The impact of clerkships on students' specialty preferences: what do undergraduates learn for their profession?  Medical Education 2008;42:554‐562.

• McGaghie WC, Issenberg SB, Cohen ER, et al.  Does simulation‐based medical education with deliberate practice yield better results than traditional clinical education? A meta‐analytic comparative review of the evidence.  Acad Med 2011;86:706‐711.

• Miller GE. The assessment of clinical skills / competence / performance. Acad Med 1990;65:S63‐S67.

• National Resident Matching Program, Results and Data: 2020 Main Residency Match®. National Matching Program, Washington, DC. 2020.

• Poisson SN, Gelb D, Oh M, Gruppen L. Experience may not be the best teacher, patient logs do not correlate with clerkship performance.  Neurology 2009;72:699‐704.

THE END