Validitate “2.0”.Aplicatii mai avansate ale

Conceptului

Validitatea diferentiala• Sinonime:– differential validity– differential prediction– adverse impact (in selectie)– test bias (in dezvoltarea de teste)

Validitatea diferentiala: Problem Statement• Se pune diferit in functie de domeniu:• Muncii/organizationala:– in ce masura putem utiliza pentru a fundamenta decizii depersonal, un test la care anumite categorii de personal obtin inmod sistematic scoruri mai mici decat altele– nu este aceasta o discriminare?• Clinica:– in ce masura putem utiliza, pentru decizii diagnostice, un test lacare anumite categorii demografice obtin in mod sistematicscoruri mai mici decat altele• ... etc.

Validitatea diferentiala: Detectare• comparatii de scoruri medii pe grupuri tinta: WRONG!• metoda Cleary:– comparatia dreptelor de regresie pentru grupurile vizate– gradul in care performanta prezisa coincide cu performantaefectiva unor grupuri distincte, atunci cand predictia se face pe odreapta de regresie comuna• exemplificarea care urmeaza se bazeaza pe textul luiSusan Wurtz (2009) (http://www.cba.uni.edu/wurtz/)

Impact asupra principiilor

Evaluarea psihologica este de cele mai multe ori realizata:• MONO-SURSA:– cu informatii provenind dintr-o singura sursa (subiectul insusi)• MONO-TRASATURA:– cu evaluarea unei singure trasaturi notabile, de ex. inteligenta• MONO-EVALUATOR– cu informatii oferite de un singur evaluator, de cele mai multe ori subiectul insusi,sau un sef direct, sau un intervievator• MONO-METODA– cu informati provenind dintr-o singura metoda, de exemplu doar un test sau doarun interviu• MONO-TEMPORAL– cu informatii obtinute la un singur moment in timp

Multitrait-Multisource-Multirater-Multimethod (principiu)• MULTITRAIT– evaluarea mai multor trasaturi care sunt predictori pentru criteriul urmarit• MULTISOURCE– extragerea de date din mai multe surse, adica di mai multe medii relationate cutrasaturile tintite: scoala, familie, munca, viata cotidiana etc.

• MULTIRATER– culegerea de date de la mai multi evaluatori: persoana insasi, seful direct, colegi,membri ai familiei etc.• MULTIMETHOD– obtinerea de date prin mai multe metode: observatie, interviu, test, chestionar• MULTIPLE MOMENTS IN TIME– obtinerea de date la mai multe momente in timp

Ce inseamna Multi ...• Multi-Informants:– persoana evaluata– alte persoane– alti observatori intr-un regim 180/360 gr (peers, supervisors, direct reports,customers / teachers, caregivers, parents, tutors)• Multi-Methods: calitativ vs. cantitativ (obiectiv/standardizat)– test psihologice– interviu– observatie (in I/O de obicei indusa: role play, presentation, business task, groupexercise etc., in clinica de obicei naturala)• Multi-Measures– mai multe tipuri de teste– mai multe tipuri de interviuri– mai multe tipuri de observatii

Validitate = "corectitudine"

Dorele, probleme, mă ?• probleme de metodologie– validitatea unui design ... poate designul saimi demonstreze ce vreau eu sa demonstrez?• probleme de logica– validitatea unei concluzii (inferente) ... sepoate trage aceasta concluzie din datelemele?

Cand este un enunt stiintific adevarat?• ... problema a filosofiei stiintei– corespondenta: corespondenta cu lumeainconjuratoare• afara ploua– coerenta: coerenta fata de alte elemente aleunei teorii acceptate• marijuana genereaza cancer– pragmatism: utilitate in recunoastereaadevarului acelui enunt• electronii exista

Internal vs. external validity (Campbell, 1957)• Internal validity– a generat cu adevarat stimulul experimentalschimbarea in cazul specific studiat?• External validity– la ce populatii, contexte sau variabile poate figeneralizat efectul stabilit?• population validity (reprezentativ pentrupopulatie?)

• ecological validity (reprezentativ pentru context?)

Alta tipologie(Cook & Campbell, 1979)• statistical conclusion validity– appropriate use of statistics• internal validity– inference of causality• construct validity– generalizare catre construct• external validity– generalizare catre populatii

Despre cauzalitate• exemplul unui foc in padure (Shadish, Cook &Campbell):– chibritul aprins este cauza?– material uscat, aflat pe jos, conditii atmosferice etc.• Inus condition (J. L. Mackie, 1917-1981):– an insufficient but nonredundant part of an unnecessarybut sufficient condition– in exemplul de mai sus:• insufficient: caci fara restul conditiilor nu face nimic• nonredundant: adauga ceva in plus fata de restul conditiilor• sufficient condition: este suficient sa ai toate aceste conditii pentru aputea declansa un foc• unnecessary condition: nu este necesara neaparat asa, exista sialte constelatii care ar putea genera un foc

Cauza (concluzii preliminare)• majoritate cauzelor nu sunt decat inusconditions• KTP:– relatiile cauzale nu sunt principial deterministe, ciridica doar problema probabilitatii ca un fenomen sase manifeste (ca un anumit efect sa apara)– toate relatiile cauzale sunt dependente de context, iargeneralizarea efectelor experimentale este oproblema

Efectul• “the counterfactual model” (David Hume)– comparam• ceea ce s-a intamplat in prezenta (datorita) stimulului• ceea ce se crede ca s-ar fi intamplat in absenta stimulului– efectul este diferenta dintre cele doua– rationamentul de acest tip este fundamental calitativ– necesitatea pentru counterfactual reasoning provine dinfaptul ca e imposibil pentru grupul-tinta sa primeasca si sanu primeasca tratamentul (expunerea la stimul)• exemplu:– PKU = phenylketonuria, afectiune metabolica genetica,genereaza retard mental daca nu e tratata in primelesaptamani de viata

Relatia cauzala• John Stuart Mill:– 1. cauza precede efectul– 2. cauza este relationata cu efectul– 3. nu putem gasi alta explicatie plauzibila pentruefect, alta decat cauza• in experiment manipulam o variabila si:– vedem ca dupa manipulare apare un efect– vedem ca exista o relatie intre manipulare si efect– vedem daca exista alte explicatii plauzibile pentruacel efect (si incerca sa le izolam)

Corelatia nu este cauzalitate• corelatia nu este decat conditia 2 din cauzalitate, nupresupune si conditiile 1 si 3• relatii simetrice vs. asimetrice– symmetric relationships: doua variabile pot fi corelate, fara saexiste o relatie de cauzalitate:– asymmetric rel.: exista cauzalitate si ea poate fi dedusa• Ex: educatie & venit: care este prima?– problema variabilelor confundate:• inteligenta• statut socio-economic al familiei

... inapoi la validitatea interna si cea externa• in modelul medical, cele 2 forme de validitatesunt adresate in studii diferite:– efficacy: studii in contexte experimentale (in vitro)• pacienti selectati intr-un anumit fel (de ex. criterii deincluziune care presupun absenta unei alte afectiuni)• ideal = “noiseless study”– effectiveness: studii in contexte naturaliste (in vivo)• pacientii au in mod frecvent mai multe afectiuni• in special in stiintele educationale “ecological validity”: dacastudiul retine sau captureaza experientele normale,cotidiene, ale profesorului, elevului, clasei

Threats to validity• amenintari la adresa unui tip de validitate• existenta unor variabile care influenteaza rezultatul, farasa ne dam seama ca acest lucru se intampla– “extraneous variables”• variabile– independente– dependente– moderating variables– mediating variables– intervening variables (uneori moderatoare/mediatoare)– variabile confundate (confounded / lurking)

Variabile moderatoare• parte din lantul cauzal, dar nu obligatoriu• lantul se desfasoara si in absenta lor• dar au un efect puternic asupra relatiei,modificand intensitatea sau manifestarileei• Ex:– ochelari varsta accidente de circulatie ?– JD-R model– TABP vs. internal-external LOC

Variabile mediatoare• parte din lantul cauzal• Ex:– nivel educational tip de ocupatie nivel de venit• variabilele de interventie NU sunt in modobligatoriu variabile confundate• recunoasterea lor si controlul lor in design le facsa nu mai fie confundate

Variabile confundate• Ex:• cafeaua cauzeaza afectiuni cardiace?– exista o corelatie intre bautul de cafea siexistenta afectiunilor cardiace– exista oare o variabila confundata aici?

... inapoi la threats to validity• variabile care sunt explicative dar pe care leignoram DIN LIPSA DE GANDIRE CRITICA• ne asteptam ca amenintarile fata de validitateainterna si cea externa sa fie diferite– amenintarile la validitatea interna: ne compromitincrederea in afirmatiile privind existenta unei relatii– amenintarile la validitatea externa: ne comprimitincrederea in generalizarea rezultatelor si catre altegrupuri, variabile sau context

Threats to internal validity (1)• Istoric (History)– a avut loc vreun eveniment deosebit in timpulstudiului, care ar fi putut sa influenteze rezultatul?– in mod special o problema in• studii cross-sectionale• studii experimentale fara grup de control (de ex. one-grouppre-posttest design)– poate fi o problema si in studii cu perioade scurte detimp (de ex. evenimente foarte punctuale – “s-a luatcurentul”)

Threats to internal validity (2)• Maturizare (Maturation)– atunci cand modificarile pot fi datorate trecerii timpului(recuperare, dezvoltare, evolutii diverse)– este o problema chiar si in studiile experimentale cugrup experimental si grup de control

• oare participantii se “matureaza” in acelasi ritm?– poate fi o problema si in studii cu perioade scurte detimp (de ex. oboseala)

Threats to internal validity (3)• Evaluarea (Testing)– efectele pretestului asupra rezultatelor posttestului– pretestul poate sensibiliza participantii la o problema– pretestul devine “tratament”, sau interactiunea“pretest x tratament”– amenintare in• designurile cu pre- si post-test• designurile longitudinale• designurile “diary” sau “repeated-measure”

Threats to internal validity (4)• Instrumentarea (Instrumentation)– felul in care este “instrumentat” studiul, in modspecial modificarile in masurare– modificari in instrument, observatori,modalitati de scorare

Threats to internal validity (5)• Statistical regression (Regression towards themean)– tendinta scorurilor extreme de a regresa catre medie– atunci cand participantii la studiu sunt selectati dingrupuri extreme (de ex. diagnostice extreme),scorurile subsecvente au o sansa mai mare saregreseze catre medie decat departe de medie– fenomenul tine de fidelitatea testului• participantii cu scoruri extrem de joase auincrement mai mare in urma tratamentului decatcei cu scoruri medii sau mari

Threats to internal validity (6)• Selectia participantilor (Selection ofparticipants)– cum au fost selectati participantii?• problema in special in– auto-selectie– snowball sampling– daca participantii sunt impartiti in grupuri, suntgrupurile echivalente?• randomizarea ... nu rezolva toate probleme deechivalenta (se va discuta la alt curs)• problema in two-group design

Threats to internal validity (7)• Mortalitate (Experimental mortality)– numarul participantilor care au disparut dingrupul sau grupurile utilizate in cercetare• “mortalitate” inseamna si renuntare (drop-out)– problema in designurile• cu un singur grup• cu mai multe grupuri

Threats to internal validity (8)• Contaminarea designului (Designcontamination)– John Henry effect / Hawthorne effect– cunoasterea de catre participanti a grupuluidin care fac parte (experimental sau decontrol)• participantii incearca sa confirme sau infirmesistematic o concluzie• de ex. participantii discuta intre ei si compara ce lis-a spus

Threats to external validity (1)• Efectul interactiunii dintre testare xtratament (Interaction effect of testing)– evaluarea din pretest da indicii participantilorprivind felul in care e dezirabil sa reactionezela tratament– acest lucru nu s-ar intampla in viata reala,unde nu ar exista pretest– deci efectul experimental, chiar daca e stabilit,nu se poate generaliza la populatie

Threats to external validity (2)• Efectul interactiunii dintre selectie xtratament (Interaction effect of selection)– selectia participantilor face ca grupul sa nu fiereprezentativ pentru populatie– de ex.:• noua metoda de predare a matematicii testata peun grup de elevi cu note foarte mici• chiar daca exista un efect experimental, el nu sepoate generaliza la populatie, unde clasele sunteterogene in abilitati matematice

Threats to external validity (3)• Efecte reactive fata de design (Reactiveeffects)– Hawthorne effect– efect negeneralizabil in viata reala candmanipulam conditiile de munca

Threats to external validity (4)• Interferenta tratamentelor multiple(Multiple treatment interference)– efectul tratamentelor ulterioare nu poate fidiferentiat de efectul prelungit al primuluitratament– problema• in experimentele cu tratament multiplu• in designurile cu expunere prelungita la stimul