Απολογιστική αξιολόγηση εκπαιδευτικού λογισμικούΜελέτη περίπτωσης

Σταυρούλα ΠαντελοπούλουΕκπαιδευτικός Β/θμιας ΠΕ19, M.Sc Management in Information TechnologyΜεταπτυχιακή φοιτήτρια ΠΤΔΕ ΕΚΠΑ

Κωνσταντίνος ΔραγογιάννηςΕργαστηριακός Συνεργάτης Α.Σ.ΠΑΙ.Τ.Ε., M.Sc Ηλεκτρονικής & ΡαδιοηλεκτρολογίαςΜεταπτυχιακός φοιτητής ΠΤΔΕ ΕΚΠΑ

Σοφία Χρήστου Μεταπτυχιακή φοιτήτρια ΠΤΔΕ ΕΚΠΑ

Μαρία ΓκορτσάΕκπαιδευτικός Β/θμιας ΠΕ02, Μεταπτυχιακή φοιτήτρια ΠΤΔΕ ΕΚΠΑ

Ελένη ΜπογιατζιδάκηΕκπαιδευτικός Α/θμιας ΠΕ70, Μεταπτυχιακή φοιτήτρια ΠΤΔΕ ΕΚΠΑ

2ο Πανελλήνιο Συνέδριο Επιστημών ΕκπαίδευσηςΠ.Τ.Δ.Ε. Πανεπιστήμιο Αθηνών

ΑΘΗΝΑ - Μάιος 2010

2

Στόχος

Η δημιουργία ενός πλαισίου για την αξιολόγηση εκπαιδευτικού λογισμικού

Επιμέρους Στόχοι: Εκτενής κριτικός έλεγχος για υφιστάμενες προσεγγίσεις αξιολόγησης του Ε.Λ

Αναφορά τόσο στις μεθοδολογίες όσο και στα κριτήρια αξιολόγησης

Περιγραφή της προσέγγισης που επιλέχθηκε

Εφαρμογή στην αξιολόγηση συγκεκριμένου εκπαιδευτικού λογισμικού

3

Αξιολόγηση εκπαιδευτικού λογισμικού

Διδακτική αποτελεσματικότητα

Αξιοπιστία

Ανταπόκριση σε συγκεκριμένες προδιαγραφές

Φιλικότητα

Ποιότητα περιεχομένου

Παιδαγωγική επάρκεια

4

Παράγοντες διαμόρφωσης μεθόδων & τύπων αξιολόγησης

Ο χρόνος και η φάση υλοποίησης του λογισμικού

Οι στόχοι που έχουν επιλεχθεί

Το θεωρητικό πλαίσιο που θα ακολουθηθεί

Οι φορείς και τα πρόσωπα που θα πραγματοποιήσουν την αξιολόγηση

Τα μέσα και οι συνθήκες αξιολόγησης

5

Τύποι Αξιολόγησης

Τέσσερις βασικοί τύποι αξιολόγησης:

1. Προβλεπτική ή αξιολόγηση πρόβλεψης (predictive evaluation)

2. Ερμηνευτική αξιολόγηση (interpretative evaluation)

3. Διαμορφωτική αξιολόγηση (formative evaluation)

4. Τελική αξιολόγηση (summative evaluation)

6

Μέθοδοι Αξιολόγησης (Ι)

Τέσσερις κύριες μέθοδοι αξιολόγησης:

1. Αναλυτική αξιολόγηση (analytic evaluation)

2. Αξιολόγηση από ειδικούς (expert evaluation)

3. Εμπειρική αξιολόγηση (empirical evaluation)

4. Πειραματική αξιολόγηση (experimental evaluation)

7

Ευρετική αξιολόγηση (heuristic evaluation)

Ειδικοί αξιολογητές ελέγχουν την ευχρηστία του εκπαιδευτικού λογισμικού

Ο έλεγχος γίνεται ως προς τους σκοπούς για τους οποίους έχει επιλεγεί

Χρησιμοποίηση ως βάση των ευρετικούς κανόνες (heuristics) ή ερωτήσεις

Από τον Nielsen διαμορφώθηκαν 10 ευρετικοί κανόνες

8

Κριτήρια Αξιολόγησης Εκπαιδευτικού Λογισμικού

Απώτερος σκοπός της αξιολόγησης ενός Ε.Λ είναι να εξετασθεί η διδακτική του αποτελεσματικότητα

Η αξιολόγηση του είναι αναγκαία προκειμένου να αποφασιστεί η ένταξή του στην εκπαίδευση

Η εκτίμηση της διδακτικής καταλληλότητας βασίζεται στην εξέταση ενός συνόλου χαρακτηριστικών που συνθέτουν το Ε.Λ

Από τα χαρακτηριστικά αυτά, αφού ομαδοποιηθούν, προκύπτουν οι βασικοί άξονες και τα επιμέρους κριτήρια αξιολόγησης

Είναι χαρακτηριστικό ότι δεν υπάρχει μια κοινή αντίληψη ως προς τον καθορισμό των αξόνων και των ειδικότερων κριτηρίων αξιολόγησης

που αφορούν το εκπαιδευτικό λογισμικό

9

Κριτήρια Αξιολόγησης Εκπαιδευτικού Λογισμικού (ΙΙ)

Αξιολόγηση του αντικειμένου μάθησης με τη χρήση των ακολούθων ομάδων χαρακτηριστικών:

Το περιεχόμενο Την παιδαγωγική ή διδακτική μέθοδοΤη διεπιφάνεια συστήματος – χρήστη

– Γλώσσα– Δεδομένα – Πληροφορίες – Δομή – Σχεδίαση– Αλληλεπίδραση λογισμικού και χρηστών– Πολυμέσα– Μηνύματα Λογισμικού

Την τεχνική αρτιότητα – Τη λειτουργικότητα– Τη συμβατότητα του λογισμικού– Τη δυνατότητα Υποστήριξης του λογισμικού

Τη στήριξη της διδασκαλίας– Τα εργαλεία Δασκάλου-Μαθητή– Τα συνοδευτικά Εγχειρίδια Χρήσης του λογισμικού και Υποστήριξης Δασκάλου

Το μαθησιακό αποτέλεσμα Το κόστος

10

Case Study: Ε.Λ «Ανακαλύπτω τις Μηχανές»

Αξιολόγηση του πολυμεσικού εκπαιδευτικού λογισμικού «Ανακαλύπτω τις Μηχανές» χρησιμοποιώντας την επιλεχθείσα μεθοδολογία

11

Επιλογή μεθοδολογίας για τη διαδικασία αξιολόγησης (Ι)

Μελέτη των δεδομένων:

Το συγκεκριμένο λογισμικό είναι ολοκληρωμένο και διατίθεται προς χρήση. Η αξιολόγηση του εν λόγω λογισμικού είναι επιθυμητό να γίνει με κατάλληλες προσαρμογές από διάφορες ομάδες χρηστών και όχι αποκλειστικά από ειδικούς αξιολογητές.Δεν είναι επιθυμητή μια χρονοβόρα μέθοδος, με απαιτήσεις για κατασκευή πολλών σεναρίων χρήσης.Δεν είναι επιθυμητός ο έλεγχος της συμβατότητας με κανόνες και πρότυπα σχεδιασμού καθώς επιθυμούμε μια περισσότερο ολιστική προσέγγιση.

12

Επιλογή μεθοδολογίας για τη διαδικασία αξιολόγησης (ΙΙ)

Μέθοδος: Ευρετική αλλά με τους ευρετικούς κανόνες του Nielsen προσαρμοσμένους σε εκπαιδευτικά χαρακτηριστικά.

Επιθεώρηση των χαρακτηριστικών της εφαρμογής με κριτήρια που μπορούν να μετρηθούν, επομένως περισσότερο αντικειμενικά ως προς την επεξεργασία.Χρησιμοποίηση όταν οι ενέργειες του χρήστη δεν είναι προβλέψιμες. Απαιτεί μικρό σχετικά αριθμό αξιολογητών και δεν είναι επίπονη. Δεν είναι ιδιαίτερα χρονοβόρα και έχει χαμηλό κόστος. Καθένα από τα κριτήρια αξιολόγησης μπορεί να αποτελέσει την πηγή για μία ή περισσότερες ερωτήσεις σε ένα ερωτηματολόγιο που απευθύνεται σε κάθε μια από τις κατηγορίες αξιολογητών.

13

Εργαλεία έρευνας

Μέσο συγκέντρωσης των επιθυμητών πληροφοριών: ερωτηματολόγιο.

Πραγματοποιείται ποσοτική αξιολόγηση από πέντε αξιολογητές εκπαιδευτικούς (δύο εκ των οποίων μηχανικοί λογισμικού).

Η αξιολόγηση πραγματοποιήθηκε με τη χρήση ενός ερωτηματολογίου το οποίο χρησιμοποιεί μια κλίμακα Likert. Τα αντικείμενα Likert υλοποιούνται με 5 βαθμωτά επίπεδα αποκρίσεων (Oppenheim, 2005).

Και στις ???? αξιολογήσεις το λογισμικό θεωρείται ???????

Καθόλου Λίγο Μέτρια Πολύ Πάρα πολύ1 2 3 4 5

Απαράδεκτη Μη ικανοποιητική Μέτρια Ικανοποιητική Πολύ καλή

14

Ανάλυση – Αποτελέσματα (I)

Κριτήριο Α΄ αξ/της

Β΄ αξ/της

Γ΄ αξ/της

Δ΄ αξ/της

Ε΄ αξ/της

ΜΟ αξ/των

1 Αξιολόγηση διδακτικού περιεχομένου 3.62 4.00 3.62 4.77 3.77 3.962 Αξιολόγηση της διδακτικής και παιδαγωγικής μεθοδολογίας 3.44 2.89 3.22 4.78 2.67 3.40

3 Αξιολόγηση διεπιφάνειας χρήστη3.74 4.26 3.59 4.74 3.70 4.01

4 Τεχνική αξιολόγηση 3.67 3.48 3.48 4.52 3.43 3.72

5 Αξιολόγηση στήριξης της διδασκαλίας 2.41 2.45 2.50 4.55 3.18 3.026 Αξιολόγηση μαθητή και μαθησιακού αποτελέσματος 3.50 3.67 2.83 4.50 3.17 3.53

ΣΥΝΟΛΙΚΑ 3.40 3.46 3.21 4.64 3.32 3.61

15

Ανάλυση – Αποτελέσματα (II)

Κριτήριο Α΄ αξ/της

Β΄ αξ/της

Γ΄ αξ/της

Δ΄ αξ/της

Ε΄ αξ/της

ΜΟ αξ/των

1 Αξιολόγηση διδακτικού περιεχομένου 3.62 4.00 3.62 4.77 3.77 3.962 Αξιολόγηση της διδακτικής και παιδαγωγικής μεθοδολογίας 3.44 2.89 3.22 4.78 2.67 3.403 Αξιολόγηση διεπιφάνειας χρήστη 3.74 4.26 3.59 4.74 3.70 4.013.1 Γλώσσα 4.67 5.00 4.67 4.67 3.33 4.473.2 Δεδομένα – Πληροφορίες 3.67 4.00 3.67 4.67 2.33 3.673.3 Δομή – Σχεδίαση 3.50 4.25 3.00 5.00 4.25 4.003.4 Αλληλεπίδραση λογισμικού και χρηστών 3.83 3.83 3.67 4.83 4.33 4.103.5 Πολυμέσα 3.43 4.71 3.57 4.43 3.71 3.973.6 Μηνύματα λογισμικού 3.75 3.75 3.25 5.00 3.50 3.854 Τεχνική αξιολόγηση 3.67 3.48 3.48 4.52 3.43 3.724.1 Κριτήρια για τη λειτουργικότητα 4.71 4.14 4.29 4.71 3.71 4.314.2 Κριτήρια συμβατότητας λογισμικού 1.50 2.00 1.50 4.00 2.75 2.354.3 Κριτήρια για τη δυνατότητα Υποστήριξης του λογισμικού 4.25 3.50 3.50 4.25 3.50 3.85 Αξιολόγηση στήριξης της διδασκαλίας 2.41 2.45 2.50 4.55 3.18 3.025.1 Αξιολόγηση εργαλείων δασκάλου-μαθητή 2.71 2.93 2.86 4.43 3.29 3.245.2 Αξιολόγηση Συνοδευτικών Εγχειριδίων Χρήσης του λογισμικού και Υποστήριξης Δασκάλου 1.88 1.63 1.88 4.75 3.00 2.63

6 Αξιολόγηση μαθητή και μαθησιακού αποτελέσματος 3.50 3.67 2.83 4.50 3.17 3.53ΣΥΝΟΛΙΚΑ 3.40 3.46 3.21 4.64 3.32 3.61

16

Συμπεράσματα

Ο M.O των πέντε βαθμολογητών είναι 3.61.Οι αξιολογητές θεωρούν ότι το συγκεκριμένο εκπαιδευτικό λογισμικό είναι ικανοποιητικού επιπέδου.

Θετικά στοιχεία• μη ύπαρξη σφαλμάτων (error free software) • ικανοποιητικότατο interface

Προβλήματα • Ελλείψεις που αφορούν στις συνεργατικές δραστηριότητες:

• διασύνδεσης με άλλους χρήστες του λογισμικού μέσω chat, forum, email ή τηλεδιάσκεψης• πρόσβασης στο Internet

• Δεν υπάρχει εύκολη συνεργασία με άλλες εφαρμογές για ανταλλαγή στοιχείων• Δεν επιτρέπει τη δημιουργία τετραδίου εργασίας και παρέχει στοιχεία αποτυπωμένα μόνο ως

εικόνα• Τυχόν τροποποιήσεις δεν μπορούν να πραγματοποιηθούν εύκολα (το update ισοδυναμεί με εκ

νέου εγκατάσταση). • Το λογισμικό δεν εγκαθίσταται πλήρως αλλά απαιτεί τη χρήση CD-ROM drive με αποτέλεσμα

για το μαθητικό Netbook, που δεν έχει τέτοια συσκευή να απαιτείται εξειδικευμένη διαδικασία.

Τα παραπάνω προβλήματα θα μπορούσαν να έχουν λυθεί με τη χρήση διαμορφωτικής αξιολόγησης.

17

Μελλοντική έρευνα

Καθένα από τα κριτήρια αξιολόγησης μπορεί να αποτελέσει την πηγή για μία ή περισσότερες ερωτήσεις σε ένα ερωτηματολόγιο που απευθύνεται σε κάθε μια από τις υπόλοιπες κατηγορίες αξιολογητών. Επομένως δίνεται μελλοντικά η δυνατότητα χρήσης υποσυνόλου

των κριτηρίων ώστε να κατασκευαστούν τέτοια ερωτηματολόγια.

Στο παραγόμενο ερωτηματολόγιο η στατιστική επεξεργασία έγινε με την παραδοχή πως στη διαμόρφωση των βαθμών των ομάδων κριτηρίων συμμετέχουν όλα τα κριτήρια με το ίδιο ποσοστό. Αυτό μελλοντικά μπορεί να εξελιχθεί ώστε να αποκτήσουν βάρη τα

επιμέρους κριτήρια.

18

Αναφορές Ι

Ξενόγλωσση D. Benyon, G. Davies, L. Keller & Y. Rogers, A guide to usability-usability now!, Milton Keynes:

The Open University, 1990.

R. Condie, K. Livingston, “Blending online learning with traditional approaches: changing practices”, British Journal of Educational Technology, vol. 8, issue 2, pp. 337–348, 2007.

H. Deghaidy, A. Nouby, “Effectiveness of a blended e-learning cooperative approach in an Egyptian teacher education programme”, Computers & Education, ScienceDirect, 2008.

D. Jonassen, Designing constructivist learning environments. In C. Reigeluth (Ed.), Instructional design theories and models: A new paradigm of instructional theory (Vol. II, pp. 215-239). Mahwah, NJ: Lawrence Erlbaum Associates, 1999.

A. Karoulis, S. Demetriadis, A. Pombortsis, “Comparison of expert-based and empirical evaluation methodologies in the case of a CBL environment: the ‘‘Orestis’’ experience”, Computers & Education, vol. 47, pp. 172–185, 2006.

C. Knussen, G. Tanner, M. Kibby, “An approach to the evaluation of hypermedia”, Computers & Education, vol. 17, issue 1, pp.13-24, 1991.

J. Nielsen, R. Molich, “Heuristic evaluation of user interfaces”, In Empowering People: Human Factors in Computing Systems: CHI ‘90 Conference Proceedings (Edited by Chew J. C. and Whiteside J.), pp. 249-256, Seattle, Wash., 1990.

19

Αναφορές ΙΙ

J. Nielsen, Usability inspection methods, in J. Nielsen, R. L. Mark (ed.), Usability Inpection Methods, John Willey, New York, 1994.

A.N. Oppenheim, “Questionnaire Design, Interviewing and attitude measurement”, Continuum, 2005.

M. Scriven, “The methodology of evaluation”, In R. Tyler (Ed.), Perspectives of curriculum evaluation, Chicago: Rand McNally 1976.

D. Squires, A. McDougall, Choosing and Using Educational Software: A teachers' guide, The Falmer Press, London 1994.

D. Squires, J. Preece, “Predicting quality in educational software: Evaluating for learning, usability and the synergy between them”, Interacting with Computers, vol. 11, pp. 467-483, 1999.

D. Squires, J. Preece, “Usability and Learning: Evaluating the potential of educational software”, Computers & Education, vol. 27, issue 1, pp. 15-22, 1996.

G. Sim, S. MacFarlane, J. Read, “All work and no play: Measuring fun, usability, and learning in software for children”, Computers & Education, vol. 46, pp. 235–248, 2006.

A. Spyrtou, E. Hatzikraniotis, P. Kariotoglou, “Educational software for improving learning aspects of Newton’s Third Law for student teachers”, Education and Information Technologies, vol. 14, pp. 163–187, Springer, March 2009.

L. Vigotsky, Σκέψη και Γλώσσα, Γνώση, Αθήνα 1998.

20

Αναφορές ΙΙΙ

Ελληνική Β. Δαγδιλέλης (επιμέλεια), Επιμορφωτικό υλικό για την εκπαίδευση των επιμορφωτών στα

Πανεπιστημιακά Κέντρα Επιμόρφωσης, ΕΑΙΤΥ, Πάτρα, Νοέμβριος 2007.

Β. Κόμης, Εισαγωγή στις εκπαιδευτικές εφαρμογές των Τεχνολογιών της Πληροφορίας και των Επικοινωνιών, Εκδόσεις Νέων Τεχνολογιών, Αθήνα 2004.

Χ. Μαρκέα & Π. Πιντέλας, “Αξιολόγηση εκπαιδευτικού λογισμικού”, Πάτρα, 2000.

Τ. Μικρόπουλος, Εκπαιδευτικό Λογισμικό, Αθήνα: Κλειδάριθμος, 2000.

Χ. Παναγιωτακόπουλος & Π. Πιντέλας, “Το πρόβλημα της αξιολόγησης του εκπαιδευτικού λογισμικού”, Πάτρα, 2001.

Χ. Παναγιωτακόπουλος, X. Πιερρακέας & Π. Πιντέλας, Το εκπαιδευτικό λογισμικό και η αξιολόγησή του, Μεταίχμιο, Αθήνα 2003.

Π. Πιντέλας, “Εκπαιδευτικό Λογισμικό: Μια πρόταση για την εξασφάλιση της ποιότητάς του”, Πανελλήνιο Συνέδριο Πληροφορική στην Εκπαίδευση, Ιωάννινα, 1999.

A. Ράπτης & A. Ράπτη, Μάθηση και Διδασκαλία στην Κοινωνία της Πληροφορίας, Τόμος Α΄: Ολική προσέγγιση, Αθήνα: Έκδοση συγγραφέων, 2007.

21

Ευχαριστούμε

?Ερωτήσεις