Datorbaserad tentamen och säker onlinetenta

Mats Brenner, IKT-pedagog – Learning Center på Högskolebiblioteket i Gävle.

2014-12-11

Tendens och riktning är interaktivitet och mobilitet

OER Webinar MOOC

E-assessment & Badge E-portfolio & e-CV

Förmedlande Dialog & Interaktiviet

På plats

Active learning Classroom (ALC)

Mobilt

Hyflex learning

Blended learning Video & Podcast

Aktiva kontor

Öppen data Open Access

Digital Tentamen – projekt inom SUNET Inkubator under 2015

Samverkan via SUNET Inbubator om Digital Tentamen. Målet: Att under 2015, skapa en grund för tekniska lösningar som kan användas som startvärde av lärosäten som skall införa digital tentamen. Bakgrund: Många lärosäten är i startgroparna med att införa eller närmare undersöka digital tentamen t.ex. digitala salstentor. Projektet kommer arbeta i nära samarbete med de lärosäten i Sverige som har påbörjat ett arbete med digital tentamen, samt kommer även ta tillvara erfarenheter som gjorts i bl.a. övriga norden. Projektledningsuppdrag Digital tentamen: Mats Brenner, Högskolan i Gävle

Digital Tentamen – Saker att fundera över… Salstentor med dator Salstent i datasal Salstenta med egen dator (BYOD)… trad. tentasalar Vad skall funka online och offline Programvara med USB Programvara som måste installeras Webbaserad programvara Skall fungera både på Campus och Distans Enkelt lägga in frågorna och antal frågetyper Skall klara olika filer och representationsformer Enkelt att göra bedömningen Enkelt meddela prestation, feedback/återkoppling och betyg System som kan prata med LMS, LADOK et cetera (internoperabilitet) Lagring, rutiner Arkivering, rutiner (e-arkivering, tentamen är myndighetsutövning)

Kursupplägg och examinationskriterier…

När gör man valideringstest, ett quiz, en dugga, en onlinetenta?

Bild: Nick8jun, Wikimedia Commons

Bedömningsmallar (Rubrics) Rättvis och likvärdig bedömning vid examination, anonym tenta eller anonym kollegial bedömning och betygsättning. Anonym examination eller ”anonyma tentor” (Bologna s k kurskrav) Använder man Bloom´s eller SOLO-taxonomi…

Kompetens om examinationsformer

Examinationsformer vanliga och mindre vanliga

REF: http://www.provainfact.se/publish/examination/9127-Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9126

Nätbaserade examinations- former – kopplade till lärverktyg (i lärplattform) eller webbkonferens- verktyg

Examinations- former – kopplade till LMS Bb (En wordfil att ändra/modifiera för eget behov, ladda hem REF nedan.)

REF: http://hig.se/Ext/Sv/Biblioteket/Distansstudier-Flexibelt-larande/Pedagogiskt-stod/Bedomningsmallar-i-Blackboard---Kriterier-Rubrics.html

Stöd för examination - LoA

Utöver att fastställa att någon uppfyller lärandemålen, behöver man också diskutera hur säker man är i den bedömningen. Level of Assurance (LoA). De två utmaningarna: 1.   Säkerställa vem som det är som examineras 2.  Personen kan det som är lärandemålen för kursen

Vem det är? Kan säkerställas via identitetshandlingar och via nätet via inloggning t ex digitala legitimationer. Men det finns flera metoder & verktyg för detta som inte alla känner till…

Problematiken- LoA

Skilja på LoA för känna igen personen och LoA för uppfyllande av kursmål. Level of Assurance (LoA). Idealet: Hög LoA för både individen och lärandemål. Exempel: Låg LoA för inlämnaren men hög LoA för uppfyllande av kursmål. Man vet inte vem det är man examinerar, men har ett gott underlag för ge omdöme. Problem även vid grupparbete då t ex en wiki är bättre använda, än 2-3 sidor wordfil (utan prestationshistorik). Hög LoA för inlämnaren med låg LoA för uppfyllande av kursmål. Man vet vem det är, men har t ex bara underlag från ett mycket begränsat onlinetest för lärandemålet. Bättre då om man kan jmf individen utöver denna tentamen med andra inlämningsuppgifter, laborationer och hur Individen kommenterat andra inlämningar. REF: Kap 7, boken Mer om nätbaserad utbildning – fördjupning och exempel (2001)

Kombinera synkront och asynkront- för högre LoA

Representationsform Synkront (nu/online) Asynkront

Text Textdokument, wiki eller diskussionsforum

Bild/graf/tabell Skapa ett t ex ett fiskbensdiagram på whiteboard med aspekter

Skapa en Mindmap

Ljud Muntlig examination Göra en Podcast

Film/video E-möte/Webinar Skärminspelning med ljud

Representationsformer, multimodalt, gestalningsformer…

Indentifiera individen- för högre LoA

•  I Sverige är examination myndighetsutövning •  Identitetskontroll •  Identifieringsgrad •  Höga identifieringsgraden •  Kamera (t ex webbkonf.system eller anpassande verktyg) •  Inloggnings med koder •  Säkra utskick av koder •  Sociala medier kan stöda •  Lämna in även andra representationsformer •  Lämna in både synkront och asynkront •  Frågan om studenter skall övervakas •  Avgöra vem som har gjort vad, problem vid grupp- och projektarbeten

REF: Kap 7, boken Mer om nätbaserad utbildning – fördjupning och exempel (2001)

Funktion, frågetyperna och representationsformerna styr !  Hur kan Du styra onlinetestet via tid, datum, tillgänglighet vid avklarad aktivitet (nivå,

datum, poäng eller procent etc. Kan du randomisera frågorna? Förbjuda s k backtracking? Hämta ut testbanker på olika villkor, lägga metadata, svårighetsnivåer?

!  Lärplattform med 17 frågetyper i onlinetestfunktionen?

!  Finns s k objektanalys i systemet – d v s se vilka frågor som är svaga/ej får många rätt svar.

!  Finns peer assessment i lärplattformen?

!  Finns t ex wiki med prestationshistorik vem som producerat vad i grupparbete - gruppinlämningar?

!  Hanterar diskussionsforum bedömning/betygsättning av diskussiontrådar, diskussionsinlägg och anonyma inlägg.

!  Finns möjlighet till inspelning av muntliga/video-inlägg/presentationer direkt i lärplattformen för enkel bedömning.

!  Kan man delegera bedömning så det är flera lärare som examinerar anonymt.

!  Körs plagiatkontroll samtidigt med inlämnad dokumentfil/text eller är det en separat arbetsprocess

•  FiftySneakers.com http://www.fiftysneakers.com (helt webbaserat, kostnadsfri) – och ett kollaborativ verktyg

•  Webbaserat system som är open source för onlinetest/quiz som heter Onyx med god

standard: https://www.bps-system.de/cms/en/products/onyx-testsuite/ •  Respondus, skapa test offline och exportera samt importera

http://respondus.com/products/respondus/index.shtml •  Tao Testing, Open Source, god standard http://www.taotesting.com/ •  Svenska uppstickaren: DigiExam (…ingen IMS-standard) •  Danska WISEFlow (I Danmark har man tagit bort papperstentor) •  Norska Inspera Assessment •  Flera redan etablerade finns förstås som t ex QuestionMarks… •  Du har förmodligen ett Test/Quiz-verktyg i din lärplattform (LMS) •  iSpring Solutions går integrera med LMS och ha på egen dator.

http://www.ispringsolutions.com •  Google Docs för onlinetests/quiz, så kan du använda http://www.flubaroo.com/

hanterar resultatsammanställningar m m. •  Du kan även lägga in dina frågor i YouTube-filmer/videos och med

Mozilla Popcorn Maker så kan du editera och lägga till frågor eller hänvisningar direkt i videos och till ljudfiler.

Frågeverktyg - för onlinetest och quiz

!  Lock Down Browser och Monitor, www.respondus.com

!  Safe Exam Browser (SEB) http://www.safeexambrowser.org/about_overview_en.html

!  Netop , Secure Remote Control & Classroom management http://www.netop.com/ eller

Netcontrol2 http://www.netcontrol2.com/

!  LanSchool, Monitor student software http://www.lanschool.com/ (även Lite free softeware

licence)

!  SMART Sync classroom management

http://smarttech.com/Solutions/Education+Solutions/Products+for+education/Software/SMART

+Sync

!  DyKnow Monitor

http://www.dyknow.com/educational-software-products/classroom-management/monitor/

!  Nueber UserMonitor http://www.neuber.com/usermonitor/

!  AB Tutor http://www.abtutor.com/

Säker onlinetenta på campus och distans - verktyg Frysa studentens skärm så den inte kan göra annat än testet… och övervaka/monitor (stödja proctor)…

Jmf mellan olika system för Digital Tentamen… Ett påbörjat arbete… Empiriska studier (tester) även gjorda hos GU, på Island och många är ju även i drift sedan flera år… HiG använder LMS Blackboard och har även använt Respondus för import…

”Datorbaserad tentamen Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats som prov där frågorna görs tillgängliga för studenterna via Internet och studenterna redovisar sina svar via Internet eller via e-post. Det är uppenbart att denna examinationsform är beroende av att de tekniska förutsättningarna fungerar. I övrigt torde de rättssäkerhetsfrågor som kan uppkomma vara desamma som för examinationsformer som inte är datorbaserade. Myndigheten för Sveriges nätuniversitet publicerade 2005 en rapport där rättssäkerheten vid nätburen examination diskuterades (rapport Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten var att ”rättssäkerheten vid nätburen examination inte skiljer sig från examination på campus.” ” (sid 89)

Rapport 2008:36 R från HSV: Rättssäker examination

!  Rapport 2013 från DU - Målanpassad och säker examination

!  Resultat från webbenkät, Nitus Teknikgrupp 2011 – Framtidens tentor

!  Enkät: Från UU till ITHU-lärosäten - Webbenkät om tentasystem (hur genomförs duggor/prov/onlinetentor)

!  Rapport från Nätuniversitetet 2005: Nätburen examination

!  Rapport 2008:36 R från HSV: Rättssäker examination – Andra omarbetade upplagan

!  Rapport från Linneuniversitetet Dnr: FAK 2011/632: Med kvalitet i fokus – en rättsäker examination. En vägledning till dig som examinator på grundnivå och avancerad nivå

Rapporter och webbenkäter – liten översikt

Onlinetenta – problematik… • Att autenticering sker – att vi som

myndighetsutövare av examination vet att student är den uppger sig vara vid examinationstillfället. • Att studenten har en ”låst” datorskärm och inte kan surfa runt på webben eller kommunicera t ex med mobiltelefon eller chatt på den dator där onlinetentan skall utföras. Det är bara onlinetentan med frågor som skall synas/användas. • Att tentavärd (proctor/övervakning) sker på ett lämpligt sätt - så studenten inte kan fuska, med information ifrån fusklappar et cetera.

Onlinetenta – problematik…

!  Att lokalerna är lämpliga för onlinetenta, utformning/bordsplacering och att eventuell stör-utrustning för mobil kommunikation kan ske.

!  Lokaler som är ”certifierade” för onlinetenta med ”rätt” utrustning.

!  Framförallt tänker vi IKT-pedagoger oss mer Aktiva lärosalar än ”tentasalar som är digitaliserade”. D v s högsta möjliga säkerhet, att WiFi fungerar – att studenterna kommer åt stödmaterial de får har med sig för att göra onlinetentan, e-böcker et cetera. Anpassning för funktionsnedsatta, hörslinga, lärverktyg.

Tenta med ljud – alternativ och verktyg

För den som behöver stöd för ljudrepresentation vid examinations-processen eller tentamentillfället – finns flera alternativ. Skillnaden är mellan att få stöd med verktyg som har koppling till t ex Internet (online) mot att bara få stöd med verktyg som används helt offline – det är en säkerhetsfråga som måste hanteras från fall till fall vid examinationstillfället. Flera av verktygen ovan är även bra för läraren (inte bara studenten), för att förmedla/distribuera och förstärka sitt budskap och sin information – instruktioner, läsanvisningar, frågor, ge feedback etc. Inte bara till studenter som har funktions- nedsättning typ dyslexi. Om studenterna får information och budskapet förstärkt med flera olika representationstyper så minskar sannolikheten för missförstånd, och budskapet tydliggörs därmed (jmf lärstilar eller ta till sig audivisuell information etc).

Onlinetenta – problematik…

• Att rutiner finns när tekniska eller handhavande-fel sker kring hantering av onlinetentan på dator eller programvaran i lärplattformen.

• Att internutbildning sker av tentavärdar i hur onlinetenta skall gå till.

• Att beställningsrutiner för schemaläggning av lämplig lokal är anpassade för onlinetenta.

• Att information om beställd lokal och tillfället samt hur onlinetentan skall genomföras kommuniceras till IT-avdelning och Learning Center för IT-stöd.

Onlinetenta – problematik.

• Studenter med funktionshinder – skall ha likvärdig möjlighet utföra onlinetenta.

• Att det finns möjlighet till anonym digital/t tenta och testförfarande och till detta även anonymt examinations- förfarande med anonym (kollegial) bedömning.

• Vad som skall arkiveras och lagras måste tydligöras – speciellt på myndigheter

• Ofta ingen standard typ IMS QTI 2.1

• Kan testverktyg / lärplattformen leverera en Badge

Checklistor för skapa frågetyper

!  Behöver du snabba tips & råd hur du väljer frågetyper när du skapa ditt onlinetest eller quizfrågor, gå till Computor Assisted Assessment Centre.

!  10 Golden Rules for Writing Multiple Choice Questions http://www.carnet.hr/referalni/obrazovni/en/spzit/theory/mcqwrite

!  10 Rules for Writing Multiple Choice Questions http://theelearningcoach.com/elearning_design/rules-for-multiple-choice-questions/

!  Designing Multiple-choice Questions https://uwaterloo.ca/centre-for-teaching-excellence/teaching-resources/teaching-tips/developing-assignments/assignment-design/designing-multiple-choice-questions

!  Techniques for Writing Multiple-Choice Items that Demand Critical Thinking http://tep.uoregon.edu/resources/assessment/multiplechoicequestions/sometechniques.html

Standards, e-portfolio och för validering/reell kompetens

•  Standard för test IMS QTI 2.1 – metadatastandard och interoperabilitet – import och export av data/frågor/tester (IMS Question & Test Interoperability™ Specification)IMS Question Test and Interoperability (QTI) v2.1 Spezifikation http://www.imsglobal.org/question/

•  Standard för e-portfolio: IMS Portfolio Standards http://www.imsglobal.org/ep/ - innehållet och interoperabilitet)

•  UNIQUE Learning Badges - diplom/prestations- och kompetenskvitto http://www.learningbadges.eu/

•  Meritförteckning med EuroPass på nätet och europeiskt färdighetspass. Mer innehåll men mer svårbedömd https://europass.cedefop.europa.eu/sv/home

•  YouthPass https://www.youthpass.eu/en/youthpass/ (volontärarbete)

•  WMPass: http://vmpass.eu/ (modell för erkännande av olika meriter)

Kontaktadresser: Mats Brenner Högskolan i Gävle – Learning Center Högskolebiblioteket i Gävle mats.brenner@hig.se Tfn: 026-64 82 18, 070-350 02 33

TACK!