Click here to load reader

ZNANJE MATEMATIKE V TIMSS ADVANCED 2015 IN NA …timsspei.splet.arnes.si/files/2017/02/timss15-na-metodološkem... · algebra, analiza, geometrija → razdeljene v poglavja ... 1

  • View
    219

  • Download
    0

Embed Size (px)

Text of ZNANJE MATEMATIKE V TIMSS ADVANCED 2015 IN NA...

  • ZNANJEMATEMATIKEVTIMSSADVANCED2015

    INNAMATURI:

    KJESOUSPENEJIFANTJEINKJEDEKLETA

    BARBARAJAPELJPAVEI, PEDAGOKIINT ITUT

    GAPER CANKAR,DRAVNIIZP ITNICENTER

    februar 2017 1

    Metodoloko sreanje,14.2.2017

  • OTIMSSAdvanced

    februar 2017 TIMSSADVANCED2015+MATURA 2

    Sodelovalo je

    9drav:

    Francija,Italija,Libanon,Norveka,Portugalska,Ruskafederacija,Slovenija,vedskainZDA.

    VSloveniji:

    MATEMATIKA: vzorecpopulacijematurantovprogramasplonemature(3000na70olah),kandidatizavijo(25%)inosnovno ravenmatureizmatematike(75%)

    FIZIKA: vsidijakivprogramumaturitetnefizike(1200na50olah)

    Skupaj:56000dijakov:32000izmatematike,24000izfizike,~5000uiteljevin3000ol

  • Dosekimaturantov iz matematike

    februar 2017 TIMSSADVANCED2015+MATURA 3

    25.5

    14.1

    10.6

    34.4

    21.5

    28.5

    10.1

    11.4

    3.9

    1.9

    8.2

    % pokritja populacije

    422

    431

    459

    460

    463

    482

    485

    485

    500

    532

    540

    549

    0 100 200 300 400 500 600

    Italija

    vedska

    Norveka

    Slovenija

    Francija

    Portugalska

    ZDA

    Ruska federacija

    TIMSS povpreje

    Libanon

    Ruska federacija 6ur+

    Slovenija, vija raven mature

    Doseki

    Viji doseki odslovenskega

    Statistinopodobni doseki

    Niji doseki odslovenskega

    Slovenskikandidatizamaturoizmatematikenavijiravni:najvijidoseek

    Slovenijaskupaj: enakdoseekkotspecializiranidijakiFrancijeinNorveke

  • Dosekimaturantov iz fizike

    februar 2017 TIMSSADVANCED2015+MATURA 4

    21.5

    18.2

    3.9

    4.8

    14.3

    5.1

    6.5

    4.9

    7.6

    % pokritja populacije

    373

    374

    410

    437

    455

    467

    500

    507

    508

    531

    0 100 200 300 400 500 600

    Francija

    Italija

    Libanon

    ZDA

    vedska

    Portugalska

    TIMSS povpreje

    Norveka

    Ruska federacija

    SlovenijaDoseki

    Niji doseki odslovenskega

    Slovenskimaturanti,kisoizbralimaturoizfizike:najvijidoseekmedvsemi

  • RazlikemedspolomavOingimnaziji vSVN

    februar 2017 TIMSSADVANCED2015+MATURA 5

    deki

    dekideki

    440

    480

    520

    560

    1995 2003 2007 2011 2015

    MAT4

    480

    520

    560

    1995 2003 2007 2011 2015

    MAT8

    Vosnovniolinirazlik,dokoncagimnazijepapostanejovelike.

    fantje

    fantje fantje

    fantjeVRM

    fantjeVRM

    fantjeORM

    fantje

    420

    440

    460

    480

    500

    520

    540

    560

    580

    1995 2008

    MATEMATIKA

    dekleta dekletaVRM dekletaORM

    fantje fantjeVRM fantjeORM

  • Razlikev znanjumatematikemedspolomadrugje

    februar 2017 TIMSSADVANCED2015+MATURA 6

  • AnalizenalogAlmanacs deskriptivneanalizevsehodgovorov nanalogeinvpraanja:http://timssandpirls.bc.edu/timss2015/advanced-international-database/

    Naloge:nacionalnoporoiloTIMSSAdvanced:http://timsspei.splet.arnes.si

    7februar 2017 TIMSSADVANCED2015+MATURA

  • TIMSSnaloge3vsebine:

    algebra,analiza,geometrijarazdeljenevpoglavja

    3kognitivne kategorije:

    poznavanjedejstevinpostopkov,uporabaznanja,sklepanje

    Vpreizkusu:kratkeizbirne (A,B,C,D)+odprti tip

    as:

    90minutza3skupinepo11-14nalogeuravnoteenepoasuzareevanje

    Ocenjevanje:1tokazaizbirne,1ali2zaodprte;vmodelukasnejeobteenezzahtevnostjo;

    PoizraunudosekovzIRTsonalogerazvrenevmednarodnemejnikeznanja.

    februar 2017 TIMSSADVANCED2015+MATURA 8

  • Naloge za preverjanjedejstev inpostopkov

    februar 2017 TIMSSADVANCED2015+MATURA 9

    M1_01

    M1_02

    M1_05

    M1_08

    M2_01

    M2_02

    M2_06M2_10

    M3_01

    M3_02

    M3_05M3_11

    M4_01

    M4_05

    M4_06

    M1_01,T

    M1_02,T

    M1_05,T

    M1_08,T

    M3_01,T

    M3_02,T

    M3_05,T

    M3_11,T

    0

    10

    20

    30

    40

    50

    60

    70

    80

    90

    100

    0 10 20 30 40 50 60 70 80 90 100

    %pravilnihreitevm

    edfanti

    %pravilnihreitevmeddekleti

    Naloge2015Naloge2008

    M1_01Izraziinoperacije Visok

    M1_02 Izraziinoperacije Najviji

    M1_05 Odvodi Srednji

    M1_08

    Nekoordi-natnainkoordinatnageometrija

    Srednji

    M2_01 Funkcije Srednji

    M2_02 Enabeinneenabe Visok

    M2_06 Integrali Najviji

    M2_10 Trigonome-trija Visok

    M3_01 Izraziinoperacije Srednji

    M3_02 Izraziinoperacije Visok

    M3_05 Odvodi Visok

    M3_11Nekoord.inkoordinatnageometrija

    Najviji

    M4_01 Izraziinoperacije Visok

    M4_05 Limite Srednji

    M4_06 Odvodi Visok

  • Primeranalog

    februar 2017 TIMSSADVANCED2015+MATURA 10

    Naloga M3_01,ki sojomnogo bolje reili fantje kot dekleta,jenaloga ozaporedju (15%razlike):

    Najslabe reena naloga M1_02(pravilnih reitev 22%- ugibanje?)

  • februar 2017 TIMSSADVANCED2015+MATURA 11

    M1_03M1_06

    M1_07

    M1_09

    M1_10

    M2_04

    M2_05

    M2_08

    M2_11

    M3_03

    M3_07 M3_08

    M3_09

    M3_10

    M4_02

    M4_03

    M4_09

    M1_03,T

    M1_06,T

    M1_07,T

    M1_09,T

    M1_10,T

    M3_03,T

    M3_07,T

    M3_08,T

    M3_09,T

    M3_10,T

    0

    10

    20

    30

    40

    50

    60

    70

    80

    0 10 20 30 40 50 60 70 80

    %pravilnihreitev

    med

    fanti

    %pravilnihreitevmeddekleti

    Naloge2015

    Naloge2008

    Naloge za preverjanje uporabe znanjaM1_03 Funkcije Visok

    M1_06 Odvodi Najviji

    M1_07

    Nekoordinatnainkoordinatnageometrija Najviji

    M1_09

    Nekoordinatnainkoordinatnageometrija

    Nadnajvijim

    M1_10

    Nekoordinatnainkoordinatnageometrija Najviji

    M2_04Izraziinoperacije Najviji

    M2_05 Funkcije VisokM2_08 Limite VisokM2_11 Trigonometrija Srednji

    M3_03Enabeinneenabe Visok

    M3_07 OdvodiNadnajvijim

    M3_08 Integral Najviji

    M3_09

    Nekoordinatnainkoordinatnageometrija Srednji

    M3_10 Trigonometrija Srednji

    M4_02Enabeinneenabe Najviji

    M4_03Enabeinneenabe Najviji

    M4_09 Trigonometrija Visok

  • M2_03M2_09

    M2_12

    M3_04M3_06

    M4_04M4_07

    M4_08

    M4_10 M4_11

    M3_04,T

    M3_06,T

    0

    10

    20

    30

    40

    50

    60

    0 10 20 30 40 50 60

    %pravilnihreitevmed

    fanti

    %pravilnihreitevmeddekleti

    Nalogeza preverjanjematematinegasklepanja

    februar 2017 TIMSSADVANCED2015+MATURA 12

    M2_03Izraziinoperacije

    Najviji

    M2_09 Limite Najviji

    M2_12Nekoordinatnainkoordinatnageometrija

    Najviji

    M3_04Enabeinneenabe

    Srednji

    M3_06 Odvodi Srednji

    M4_04 Funkcije Visok

    M4_07 Odvodi Visok

    M4_08 Integral Visok

    M4_10 Trigonometrija Visok

    M4_11Nekoordinatnainkoordinatnageometrija

    Visok

    Ugotovitev:fantjesobolji vrazlinihnalogahizvsehkognitivnih ravni,vsebininmejnikov. Uninart?Bodoitudij?

  • Primeranalog

    februar 2017 TIMSSADVANCED2015+MATURA 13

    Nalogaiz uporabeznanjaM3_09,pri katerisofantjedosegli14%vereitev.(srednjimejnik):

    Naloga iz sklepanja M2_03,kisomnogo bolje reili fantje kotdekleta,16%razlike (najviji mejnik):

  • Maturitetnenaloge podobneTIMSS?

    februar 2017 TIMSSADVANCED2015+MATURA 14

    Obseg: ORM:pisno120minza12kratkihnalog+ustno20minza3vpraanjaznalogo

    VRM:pisno180minza12kratkih+za3strukturiranenaloge+ustno20minza3vpraanjaznalogo

    Ocenjevanje:Tokespisnegadela+tokezustnegadela=tokeocena(ORM1-5;VRM1- 8);DoloanjemejzaocenejeloenozaORMinVRM!

  • Kakodoanalizpodatkov

    15

    14skupinnalog;

    vsakotrokrei2

    poie sepodobne

    otroke,kisoreilidrugeskupinenalog

    prvemuotrokusepripieverjetendoseekzavsenaloge

    otrokdobi s TOPnapoveddosekavoblikiporazdelitve

    (doloajo5nakljunihvrednosti=

    plausiblevalues)

    IDCNTRY IDBOOK IDSCHOOL IDCLASS IDSTUD IDTEACH IDLINK TOTWGT PSPPHY01 PSPPHY02 PSPPHY03 PSPPHY04 PSPPHY05705 11 22 2204 220402 2203 3 1.523809 409.44 458.81 451.28 434.65 400.80705 12 22 2204 220403 2203 3 1.523809 475.50 414.33 404.67 435.21 383.24705 7 22 2204 220404 2203 3 1.523809 429.74 389.07 419.15 393.27 458.52705 8 22 2204 220405 2203 3 1.523809 555.00 616.03 572.12 569.86 564.35705 9 22 2204 220406 2203 3 1.523809 508.80 456.08 464.17 328.68 376.80705 10 22 2204 220407 2203 3 1.523809 345.68 398.21 428.39 480.46 481.69705 11 22 2204 220408 2203 3 1.523809 455.21 412.36 562.13 474.88 513.30705 7 24 2408 240802 2403 3 2.461538 464.28 477.62 451.16 430.77 426.37705 9 24 2408 240804 2403 3 2.461538 409.78 428.49 447.43 450.78 421.04705 10 24 2408 240805 2403 3 2.461538 473.75 424.98 456.95 392.22 389.20705 11 24 2408 240806 2403 3 2.461538 475.75 463.65 549.77 498.54 517.27705 10 24 2408 240811 2403 3 2.461538 599.48 551.81 577.88 583.32 569.90705 11 24 2408 240812 2403 3 2.461538 544.08 545.77 511.67 536.32 541.54

    OrodjezaIRT:Mplus(Muten&Muten)

    februar 2017 TIMSSADVANCED2015+MATURA

  • Omejitvepri analizahpodatkov1. Strukturapreizkusovznanja(multipleimputacije)2. Izraundosekov (PV)zmetodoodgovoranapostavko(IRT)

    3. Vzorci:utei+analizevdravah+standardnenapake

    4. Lestvice inindeksistali (zdruenespremenljivke)

    5. Hierarhina strukturauenci-uitelji-ole

    Bistveno:

    Za statistike iz dosekov (PV),standardne napake vsebujejo sluajnost zaradiposploitve iz vzorca na populacijo (vzorna varianca)inocene odoseku na vsehnalogah (varianca zaradi imputacij).

    Za statistike spremenljivk iz vpraalnikov jestandardna napaka samo zaradi vzornevariance.

    17februar 2017 TIMSSADVANCED2015+MATURA

  • Kajvsejenavoljozastatistike? Podatkizavsakodravo(uencitesti+vpraalniki;uitelji,ola) Uporabnikiprironik+IDBAnalyzer+prironikzanj Vsetabelenavoljovexcelusstrani:http://timssandpirls.bc.edu/

    17februar 2017 TIMSSADVANCED2015+MATURA

  • Programizaanalize:

    18

    IDBANALYZER:

    potrebujedelujoSPSS/SAS(ustvarisintakso)

    http://www.iea.nl/research-collaborationOurdata

    omogoaanalizovsehIEAinOECDtudij

    omejennaosnovnestatistinemetode

    PaketBIFIEsurveyvR

    funkcijedefiniramosami

    omogoatudiHLMmodele

    bootstrapraunadrugae, zatosestand.napakemalorazlikujejoodIDB.

    Vzorecizraunov:AnalizapodatkovTIMSSzRPlakatkonferencaPI,Mihaelatiglic

    februar 2017 TIMSSADVANCED2015+MATURA

  • SistempoimenovanjapodatkovvTIMSSMCGlllM3 olski podatki

    MSAlllM3 odgovori uencev na testne naloge

    MSGlllM3 odgovori uencev na vpraalnike

    MSTlllM3 povezovanje uencev inuiteljevMTGlllM3 odgovori uiteljev na vpraalnike (G=Mmat;G=Pfizika)

    MB:8.razred MA:4.razred MP:maturantiizfizike

    19

    UserGuideSupplement 1- InternationalVersionoftheTIMSSAdv2015ContextQuestionnaires

    Supplement 2- NationalAdaptationsofInternationalContextQuestionnaires

    Supplement 3- VariablesDerivedfromtheStudent, Teacher,andSchoolQuest.

    februar 2017 TIMSSADVANCED2015+MATURA

  • PogledvIDBAnalyzer nastavitevanalize

    20februar 2017 TIMSSADVANCED2015+MATURA

  • SintaksaizIDBseodprevSPSSvrnerezultate!

    21

    VIDBvkljuene:deskriptivne, korelacije,regresije, logistineregresije,percentili,mejniki...Izpisvsebujeanalizoznailnostirazlikmedskupinami (xlsdatoteke).

    februar 2017 TIMSSADVANCED2015+MATURA

  • Maturaiz matematike+TIMSSpo spolu

    februar 2017 TIMSSADVANCED2015+MATURA 22

    VRM=vijaravenmatureORM=osnovna ravenmature

    300

    350

    400

    450

    500

    550

    600

    650

    1 2 3 4 5 6 7 8

    DoseekT

    IMSS

    Ocenanamaturi

    TIMSSinocenaizmature

    dekletaorm fantjeorm dekletavrm fantjevrm

    Osnovnaravenmature

    Vjaravenmature

    Ugotovitvi:

    1.Fantje,kisodobiliistoocenonamaturikotdekleta,sovTIMSSpokazaliveznanjakotdekleta.

    2.Dijaki,kisodelalimaturonaosnovni ravniindobiliistoocenokotdijakinavijiravni,sovTIMSSpokazalimanjznanja.

  • KorelacijemedtremidosekiNajboljstapovezaniTIMSSinkonnaocenanamaturi.

    BoljsosTIMSSpovezanidosekinamaturivijeravni.

    Dekleta Fantje .MaturaOR,pisno :TIMSS 0,56 = 0,57MaturaVRpisno :TIMSS 0,59 > 0,56

    Matura OR,ustno :TIMSS 0,27 > 0,24Matura VR,ustno :TIMSS 0,23 < 0,26

    Tokenamaturi,OR:TIMSS 0,56 = 0,56Tokenamaturi,VR:TIMSS 0,58 > 0,55

    Ocena namaturi (1-5):TIMSS 0,70 < 0,73olska ocena (1-5):TIMSS 0,61 < 0,65

    februar 2017 TIMSSADVANCED2015+MATURA 23

  • Razlikamedspoloma:TIMSS+matura

    februar 2017 TIMSSADVANCED2015+MATURA 24

    0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 %

    0 %

    10 %

    20 %

    30 %

    40 %

    50 %

    60 %

    70 %

    80 %

    90 %

    100 %

    Primerjava doseka TIMSS ADV matematika po spolu

    Dekleta OME(x) = 0.4034

    Fant

    je O

    ME

    (y) =

    0.6

    0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 %

    0 %

    10 %

    20 %

    30 %

    40 %

    50 %

    60 %

    70 %

    80 %

    90 %

    100 %

    Primerjava ocen na maturi po spolu

    Dekleta OME(x) = 0.4485

    Fant

    je O

    ME

    (y) =

    0.5

    5

    Maturiteneoceneizmatematike

    DoseekTIMSSAdvancedvSloveniji

    0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 %

    0 %

    10 %

    20 %

    30 %

    40 %

    50 %

    60 %

    70 %

    80 %

    90 %

    100 %

    Primerjava olskih ocen po spolu

    Dekleta OME(x) = 0.504

    Fant

    je O

    ME

    (y) =

    0.5

    olske oceneizmatematike

    RazlikemedspolomasemanjajoodTIMSSdomature.Priolskihocenahjihsplohni.

  • Ustniizpitnamaturiizmatematikepospolu

    februar 2017 TIMSSADVANCED2015+MATURA 25

    OdstotnetokenaustnemdelumatureVijaraven

    OdstotnetokenaustnemdelumatureOsnovna raven

    Ustneocenenamaturinakazujejovijedosekedeklet,boljizrazitonaosnovniravnimature.

  • Mejnikiznanjav TIMSSinmaturitetneocene

    februar 2017 TIMSSADVANCED2015+MATURA 26

    68.927.2

    3.8 0.19.48

    39.09 40.35

    11.08

    2.9

    3.84.2 4.54.0

    5.4

    6.4

    7.2

    manjkotsrednjeznanje

    srednjeznanje visoko znanje najvije znanje0

    1

    2

    3

    4

    5

    6

    7

    8

    Delei

    dijakov

    Ocenana

    maturi

    Povprena ocena indelei dijakov,ki sodosegli vsak mejnik znanjaTIMSS

    DeledijakovORM DeledijakovVRMOsnovna ravnemature Vijaravenmature

    Ocenenamaturinisousklajenezumestitvijodijakovvmejnikeznanja.Velikanausklajenost jemedosnovno invijo ravnjonamaturi.

  • tudijskinamenimaturantov

    februar 2017 TIMSSADVANCED2015+MATURA 27

    05101520253035404550

    Fizik

    a

    Matem

    atika

    Tehnika

    IKT

    Kemija

    Biom

    edinskezn.

    Izobraevanje

    Ekonom

    ija

    Drugo

    Odstotonideleidijakov

    FizikiVijaravenmatureOsnovnaravenmature

  • tudentimatematikeinbiomedicinskihved

    februar 2017 TIMSSADVANCED2015+MATURA 28

    0

    100

    200

    300

    400

    500

    600

    700

    0

    5

    10

    15

    20

    25

    30

    35

    40

    45

    50

    1 2 3 4 5 6 7 8

    Odstotnideledijakovpoocenahnam

    aturi

    Ocenenamaturiizmatematike

    Dijaki, kiso zatudij izbralimatematikoinstatistiko

    0

    100

    200

    300

    400

    500

    600

    700

    1 2 3 4 5 6 7 8

    Dijaki, kiso zatudij izbralimedicino inbiomedicinske tudije

    DoseekTIMSS

  • Naklonjenostmatematiki+dosekipospolu

    februar 2017 TIMSSADVANCED2015+MATURA 29

    3

    31

    66

    6

    4253

    25tokrazlike

    19tokrazlike

    200

    250

    300

    350

    400

    450

    500

    550

    600

    0

    20

    40

    60

    80

    100

    120

    140

    160

    180

    Zelonaklonjenimatematiki

    Srednjenaklonjenimatematiki

    Nisonaklonjenimatematiki

    DosekiTIMSS

    Odstotni

    delei

    dijakov

    Doseekdeklet Doseekfantov

  • PoroilaraziskaveTIMSSinTIMSSADVANCED2015:

    februar 2017 30

    etrtoolci

    Osmoolci

    Maturanti

    nahttp://timsspei.splet.arnes.si

    napodstrani:PoroilaTIMSS2015

    Geslo:timssslo15