INVESTIGACIQNES / RESEARCH

Recibido: 20-02-2012 / Revisado: 21-03-2012• Rocío Yuste, Laura Alonso y Florentino Blázquez Aceptado: 03-04-2012 / Publicado: o í -10-2012

Cáceres / Badajoz (España) Döh 10.3916/C39-2012-03-06

La e^evaluación de aprendizajesen educación superior a través de

aulas virtuales síncronasSynchronous Virtual Environments for e-Assessment in Higher Education

RESUMENEn el presente trabajo de investigación se somete a estudio un sistema de evaJuación de los aprendizajes en ense-ña.nza a distancia en el que, combinando un tipo de evaJuación virtuaJ pedagógicamente innovadora y el uso de aulasviruales síncronas, con videoconferencia, pueda acreditarse un modelo fiable y garauite de evaJuación de los proce-sos de enseñanza/aprendizaje para actividades de e-leaming universitarias. Eí modelo se ha probado en un cursoonline de EspeciaJista en Educación Secundaria dirigido a titulados universitauios espauioles, portugueses y latinoa-mericanos. Desde una perspectiva metodológica cuaJitativa, se diseñó una investigación cuyos participamtes han sidoel profesorado y el alumnado protagonistais de la formación, así como evaluadores extemos. Durante todo el procesose han cuidado especialmente los aspectos relacionados con la credibilidad, consistencia y confirmabilidad de losdacos obtenidos, extrayendo de modo inductivo un sistema de categorias y subcategorías que representan la evalua-ción de los aprendizajes en procesos formativos online. Los resultados confirmaui que se ha avamzado en la conse-cución de un modelo innovador de e-evaluación viable, eficaz y que garantiza su aplicación en enseñanza superiora distancia. Asimismo, el uso de videoconferencias y de las aulas virtuales síncronas para reaJizau- entrevistáis de e-evaJuación ha resultado ser un instrumento eficaz en espacios virtuales de aprendizaje. De cualquier modo, se evi-dencia la necesidad de continuar experimentando este modelo en otros escenarios educativos.

PAIJ\BRAS CLAVE / KEYWORDSThis research studies aui assessment system of distance learning that combines an innovative virtual assessment tooland the use of synchronous virtual classrooms with videoconferencing, which could become a reliable and guaraui-teed model for the evaJuation of university e-leauning activities. This model has been tested in an online course forSecondary School Education Specialists for Spanish, Portuguese and Latin American graduates. The research wasdesigned fi-om a quaJitative methodology perspective and involved teachers, students and external assessors. Duringthe whole process great cau e was taken to preserve data credibility, consistency and reliability, auid a system of cate-gories and subcategories that represents online assessment has been developed. The results confirm that we havemade considerable progress in achieving a viable, efficient and innovative educational model that can be implemen-ted in Higher Distamce Education. Also, videoconferencing and synchronous virtuaJ classrooms have proved to beefficient tools for evaluating the e-assessment method in virtual learning spaces. However, we need to keep testingth s model in other educational scenarios in order to guau-auitee its viability.

ABSTRACTE-leaming, educación virtual, e-evaluación de aprendizajes, videoconferencia, educación superior, innovaciónpedagógica, aulas síncronas, investigación cuaJitativa.E-leaming, e-evaluation, assessment, videoconferencing, higher education, teaching method innovations, synchro-nous environments, quaJitative research.

^ Rocío Yuste-Tosina es Profesora Contratada del Departamento de Ciencias de la Educación de la Facultad deFortnación del Profesorado de la Universidad de Extremadura en Cáceres (España) (rocioyuste(ffiunex.es).

^ Dra. Laura Alonso-Díaz es Profesora Contratada Doctora del Departamento de Ciencias de la Educación de laFacultad de Formación del Profesorado de la Universidad de Extremadura en Cáceres (España) (laulonso(@unex.es).

• Dr. Florentino Blázquez-Entonado es Catedrático de Universidad del Departamento de Ciencias de la Educaciónde la Facultad de Educación de la Universidad de Extremadura en Badajoz (España) (blazento(@unex.es).

Comunicar. n° 39. v. XX. 2012, Revista Clcniííica de Educomunlcactón: ISSN: 1134-3478: páginas 159-167

www.revistacomunicar.com

160

I. IntroducciónLos estudios sobre evaluación educativa haui aJ-

canzado una notable expansión a nivel intemacional.El propio concepto de evaluación ha concitado nume-rosos intereses no solo desde el punto de vista pedagó-gico, sino también estratégico e incluso económico, loque ha propiciado la modificación y precisión de sudefinición en los últimos auios.

Centramos nuestro estudio en la evaluación on-linede los aprendizajes, donde de partida encontramos ele-mentos idénticos a los que surgen en cualquier sistemade evaluación y que habrán de ser contextualizadosconforme a la situación concreta de aprendizaje a ob-servar, medir y mejorau-. En sus estudios, Gikandi, Mo-rrow y Davis (2011 ) indicam que la evaJuación -ya seaformativa o sumativa- en contextos de aprendizaje enlínea incluye característicais distintivas en compau-acióncon los contextos presenciaJes, en pauliculau- debido ala naturaleza asincrona de la interactividad entre lospaulicipauites. Por lo tauito, exige a los educadores re-pensar la pedagogía en ambientes virtuales, a.fin delograr estrategias efectivas de evaluación formativa.

&Dn anterioridad a 2005, el tema más común quehemos encontrado en entomos de e-leaming ha sidoel de la clasificación de las evaluaciones entre formati-va y sumativa (Bimbaum, 2001 ; Wentling &- Jonson,1999), modelos como el Input-Proceso-Output (Meh-rotra &- aJ., 2001) y otros derivados que contemplancomponentes similau-es (Stufflebeam, 2000; Rockwell£r al., 2000; Potts &• al., 2000; Forster &• Washington,2000; Moore &- al., 2002), tal y como señaJamos enrevisiones anteriores (Blázquez y Alonso, 2006).

Estudios más actuales comienzan a centrar sus es-fuerzos en la e-evaluación de aiprendizajes, que tal ycomo destacan Rodnguez e Ibarra (2011:35): «se apo-ya en la concepción abierta, flexible y compartida delconocimiento, centrando la atención en el uso de es-trategias de evaJuación que promueven y maximizauilas oportunidades de aprendizaje de los estudiantes».En esta línea, OosterhofF, Conrad y Ely (2008) desta-caui la importancia de la evaluación formativa en loscursos que se desaurollaui online.

En nuestro contexto, Peñalosa (2010) defiendeque para identificau- el progreso de los procesos cogni-tivos e interactivos en entomos virtuales de aprendiza-je, es necesario contar con una estrategia sensible yválida de evaJuación del desempeño, así como una se-rie de herraunientas que permitan detectar caunbios enla complejidad de las construcciones de conocimientospor parte de los estudiantes.

Weschke y Canipe (2010) presentam orientacio-nes de evaJuación dirigidas aJ profesorado, y destacam

un proceso de evaluación interactiva donde se utilizauiindicadores como la evaluación de los cursos de los es-tudiauites, la autoevaJuación, actividades presentadas yel cumplimiento de rubricáis, otorgando valor a la eva-luación cooperativa para el desarrollo profesional.

Dentro de los últimos estudios realizados detecta-mos dos instrumentos que implican innovación en laevaluación en entomos virtuales, serían las e-rúbricasy el uso de videoconferencias. Serrano y Cebrián(2011 ) están desarrollando un sistema de e-rúbricas eneducación superior en el que el estudiauite desempeñael rol de evaluador principal del proceso, lo que supo-ne un cambio metodológico en la concepción delagente de la e-evaluación, que por tradición ha sido elprofesorado. Con respecto a la videoconferencia, des-tacaunos en el ámbito nacionaJ los esfijerzos de Cuboy otros (2009) por incluir las aulas virtuales síncronascomo espacios de aprendizaje, así como los de Caberoy Prendes (2009), quienes destacam que a través de lavideoconferencia se puede llevau- a cabo evaluacióniniciaJ (debate sobre conocimientos previos), procesual(seguimiento de la interacción del aJumnado) y final(exposiciones orales, exámenes oraJes...).

Consideramos necesario trabajar en la línea depropuestas educativais innovadoras, pues los métodosy estrategias docentes serán los que determinarán eluso de la tecnología, y no al contrauio, ya que estamosde acuerdo con Sancho (2011) en que la tecnologíapor sí misma no supone innovación docente, sino quea veces, sirve para reforzau- comportamientos conser-vadores y escasamente pauiicipativos. El e-leamingestá permitiendo a profesores y estudiantes explorarnuevos modos de aprendizaje y colaboración, desde lafiexibilidad que las configuraciones educativas con-vencionaJes no suelen ofi-ecer.

Interesados en probau- un sistema de e-evaJuaciónde los aprendizajes innovador, desde nuestro equipode investigación se diseñó una propuesta específicapau-a un curso on-line de especialista en Educación Se-cundaria dirigido a personas tituladas universitariasespañoláis, portuguesais y latinoaunericanas que desea-ran formarse para ser docentes en Educación Secun-daria. Nuestra propuesta de enseñanza virtual con-templaba un entomo concebido como flexible, baisadoen el acceso a fuentes originales y variadais, pau'a unosestudiantes considerados paulicipauites activos en supropia formación, acompauiados por un equipo deprofesores coordinado e interfuncional que compauiíacon los estudiantes, tauito individualmente como engrupo, la responsabilidad del proceso. Un proceso enel que se negociaban las fórmulas de interacción ydonde primaba la resolución de problemas, en el que

© ISSN: 1134-3478 • e-ISSN: 1988-3293- Págims 159-167

161

se alternaba el trabajo personal y el cooperativo, y queofi-ecía una ríca diversidad de materíales (multimedia),y una evaJuación continua, formativa e integral, cuyapríncipaJ premisa es el diálogo. A lo largo del curso, sepretendía que los estudiantes adquiríeran conocimien-tos y destrezas necesarías pau-a refiexionar, analizau- ysometer a crítica los príncipales contenidos que confi-guran los aspectos formativos de un profesor de ense-ñanza secundaría o media en distintos países delmundo occidental y formau-lo para su desempeño enese nivel educativo.

La metodología constructivista que se implementoen el curso partía de un diseñofonmativo virtual en la platafor- ^—ma Moodle que combinabauna actividad didáctica que fo-mentaba el trabajo colaborati-vo y en la cooperación delalumnado entre sí y de alum-no.Vprofesores. Uno de los ejesde la formación fije el modelotutoríal de aprendizaje y acom-pañamiento, en tanto que eltutDr se encau-gaba de todo el Lproceso formativo y de su eva-luación del estudiante, que a suvez recibía aportaciones de profesores especialistais,experímentando una evaluación continua y a distanciarefiarzada por autoevaJuación, coevaluación y entre-vistas a través de videoconferencia.

El sistema de evaluación y caJificación que se pro-puso para el curso era un modelo flexible, adaptado alais circunstancias del curso y de los estudiantes, dondeel aprendizaje se evaluó a lo largo del propio procesoformativo incluía tareas en línea y evaluadas desde laperspectiva del aprendizaje individual y grupal. Todoesto se concretaba en actividades individuales, activi-dades colaborativas, trabajo monográfico final, entre-vista mediante videoconferencia y otros aspectos comola paulicipación activa y de caJidad.

Para la entrevista por videoconferencia como ele-mento evaluador, hemos utilizado la aplicación depaieba que nos presenta el Aula Virtual Síncrona deAdobe Connect. En este programa entre otrais muchasapJicaciones se encuentran las reuniones, conferenciasen línea y en directo entre varíos usuauios. La sala dereuniones contiene diversos paneles de visualización(pods) y componentes. Y permite a vanos usuanos, oasistentes a la reunión, compartir pantaJlas de ordena-dor o au chivos) chatear, transmitir audio y vídeo endirecto y participar en otrais actividades interactivas enlínea.

En este contexto y con la experíencia pedagógicaindicada, nos propusimos realizar una investigacióncuyo objetivo fundamental fije desarrollar y compro-har la viabilidad de un sistema de evaJuación de losaprendizajes para la enseñanza virtual fiable y congarantías de acreditación de conocimientos, sin nece-sidad de la presencia fisica del estudiante de enseñan-za superíor. Al tiempo pretendimos:

• Colaborar en la innovación y el desaurollo del e-leaming como agente de cambio educativo, paoticulao--mente en lo que se propone desde el Espacio Europeode Enseñanza Superíor.

Debemos utilizar estas tecnologíais para innovar y no para

reproducir modelos tradicionales poco efectivos, abusando

de los recursos sincrónicos (como videoconferencias) en

desmedro de los asincrónicos (página web, e-mail, foros

de discusión, etc.).

• Experímentao- la idoneidad de la plataforma desofiware libre Moodle para el trabajo individual y cola-borativo de los alumnos para la realización de la entre-vista final a través de videoconferencia como elementopaira la evaluación online que probamos.

2. MateríaJ y métodosEl estudio que se presenta investiga la evaluación

en entomos virtuales de aprendizaje, correspondientea un curso de especialista universitarío para personasque desean formaise como docentes de secundaria.Las peculiarídades de los estudiantes del curso, así co-mo la singularídad de la metodología y del sistema deevaluación propuestos para, el mismo (descrítos ya enla introducción), son la fiindamentación de una pro-puesta de investigación de corte cualitativo; en tantoque, tal y como afirman Rodríguez, Cil y Carcía( 1999), se trata de estudiar la realidad en su contextonatural para dar sentido o interpretar los fenómenosde acuerdo con los significados que tienen para laspersonas implicadas. En definitiva, este estudio tratade otorgar especial significado a los aspectos subjetivosde los propios actores de la acción, interesándose enlas impresiones y reflexiones de los participantes pao-apoder extraer teorías de una manera inductiva.

Siguiendo a Rodríguez, Cil y Catfcía (1999), se ha

© ISSN: 1134-3478 • e-ISSN: 1988-3293' Páginas 159-167

162

desarrollado la investigación en cuatro fases: prepara-toría, trabajo de caunpo, faise anaJítica e informativa.En este apartado explicaremos las faises preparatoríasy el trabajo de campo desarrollado. Los apautados re-ferentes a los resultados y su discusión los menciona-remos posteríormente.

Fase prepau-atoria: de la que surge el marco teórí-co conceptual de la investigación. En ella se definió elcaunpo de estudio, así como las diferentes etapas deldiseño de investigación cuaJitativa, descríbiendo el ob-jeto de estudio, la tríangulación, las técnicas e instru-mentos de recogida de datos y los tipos de auiálisis adesarrollar.

Trabajo de campo: consistió en la recogida dedatos, que se reaJizó en dos espacios temporales, en elinicio y tras la conclusión del curso de especialista.

Momento

Al Iniciode la formación

Al concluirla formación

TécnicaFocus groupEntrevistasEntrevista

CuestionarioFocus group

Fuente8 Profesores-Tutores4 Expertos

1 Alumna

17 Alumnos/as8 Profesores-Tutores

Tabla I. Momentos, técnicas y fuentes de la investigación.

2.1 Participantes• Los profesores o tutores se caracterízaui fijnda-

mentalmente por su formación de corte universitarío ypsicopedagógico, lo que quiere decir que están espe-cialmente familiarízados con modelos de enseñanza/-aprendizaje. Participaron ocho.

• Por otro lado, el alumnado, diplomados y/o li-cenciados en distintas carreras universitauiais que desea-ban obtener una certificación que avalara sus conoci-mientos psicopedagógicos y su preparación para for-mar alumnos de educación secundaría. Participaron 20.

• Los expertos han sido cuatro profesores alta-mente especializados en sistemas de enseñanza/apren-dizaje, tres de ellos especialistas y miembros de institu-

Críteríos Estrategias

ciones de enseñauiza a distauicia. Dos de ellos de laQpen University (Reino Unido) y un tercero de laUNED (España), el cuarto es un español de reconoci-do prestigio en formación virtual.

2.2. Rigor metodológicoUna constante durante todo el proceso ha sido el

rígor metodológico con el que ha sido diseñada y desa-rrollada la investigación. Esto nos permite crear evi-denciáis, es decir, fortaJecer la investigación con rígor ypertinencia. Para ello hemos controlado los cuatroconceptos que según Rodríguez, Cil y Carcía ( 1999)son imprescindibles: la credibilidad, la transferencia, laconsistencia y la confirmabilidad.

3. Resultados3.1. Reducción de datos

Para la separación en unidadesen este estudio se utilizó príncipaJ-mente el críterío temático, conside-rando conversaciones, sucesos, acti-vidades que ocurren en la mismasituación estudiada y la posibilidadde encontrar segmentos que hablande un mismo tema. Este procedi-miento nos ha llevado a crear una

síntesis y agrupamiento en unidades de significaciónque se correspondían con los objetivos del estudio.

Con respecto a la identificación y clasificación deelementos es recomendable destacar que se creó unsistema de categorías y sub-categorías de mauiera de-ductiva-inductiva. Deductivamente, en tanto que sefijndamentó en un estudio de investigación previo(Alonso &- Blázquez, 2009) que permitió definir lasmacrocategorías iniciales. Inductivaunente, dado queposteríormente se procedió a la elaboración de nuevascodificaciones, categorías y subcategorías, a partir delos registros realizados. El sistema de categorías finalesse expone a continuación (las sub-categoríais emergen-tes del estudio se descríben en la tabla 3).

Acciones estudio

Credibilidad

Transferencia

Consistencia

Confltmabliidad

Presencia prolongada enel campo

Descripciones copiosasde ios escenarios

Métodos solapados

Negociación sistemáticaentre investigadores

Durante todo el proceso formativo hasta llegar a ia saturación de los datos.

Se ha descrito el escenario de manera pormenorizada para que otrosinvestigadores puedan utilizar ei estudio con la intención de comparar consimilares escenarios.Se han triangulado Instrumentos (entrevistas, cuestionarios y fbcus group) yfuentes (alumnado, profesorado y expertos).Reunión de ties Investigadores semanales a lo iargo del todo el proceso, quehan codificado independientemente y postenormente realizado una puesta encomían para negociar y consensuar cóidígos, relaciones y resultados.

Tabla 2. Criterios, estrategias y acciones del estudio para garantizar su rigor metodológico.

© ISSN: 1134-3478 • e-lSSN: 1988-3293» Páginas 159-167

163

3.2. Disposición y transformación de datos

Pao-a esta fase se utilizó el softwau-e de análisis de

datos cualitativos NVIVO que facilita notablemente la

codificación y análisis de las transcripciones o docu-

mentos. Nos ha permitido aJmacenau-, organiza - y

obtíner informes resumidos de los datos más significa-

tives que iban emergiendo del análisis, así como com-

binir una doble dimensión en nuestro análisis inte-

grando una perspectiva narrativa y otra más anaJítica.

En esta fase del proceso de análisis se presentan los

resultados a través de la gráfica 1 por categorías y téc-

nicas, indicando qué categoría se abordó en cada téc-

nica y si la vaJoración realizada fue positiva o negativa.

CAT SUBCAT.

A continuación destacaunos algunos resultados en

los que se da respuesta a los datos de la gráfica 1 :

a) Cuestionau^o abierto al alumnado. Con res-

pecto a la prímera categoría, aispectos generaJes de la

evaluación (AGE), el alumnado encuestado (15 de los

17 cuestionarios analizados) se ha mostrado satisfecho

en términos generales con el tipo de evaluación plan-

teada: «Desde mi punto de vista la evaluación com-

prende las cuatro dimensiones del proceso de evalua-

ción, es decir, hay un diseño previo de los criteríos, un

contraste de información para la obtención de un jui-

cio ponderado, adopción de decisiones y comunica-

ción de los resultados» (alumno).

DESCRIPCIÓN

AGE

EAI

EAG

EVID

HER

Formativa

Fiabilidad

Motivación

Criterios decalificación

innovación

Aprendizaje

Competencias

Evaluacióncontinuaimplicaciónindividual

Aprendizaje

Competencias

Evaiuacióncontinua

implicación grupai

Aprendizaje

Competencias

Videoconferencia

implicaciónalumnadoinformación sobreias herramientas

Síncronas

Asincronas

Piataforma

Evaluación que facilita ayuda en función de ios obstáculos y necesidades que se vanencontrando a lo iargo de proceso de enseñanza-aprendizaje.Evaluación que valora, de verdad, el aprendizaje que ei alumnado adquiere en su formaciónon-line.La e-evaluación supone un proceso continuo que estimula al alumno a ir mejorando en suproceso de enseñanza-aprendizaje.La e-evaluación se ajusta coherentemente a ias metas educativas propuestas para elalumnado.Evaluación que supone una mejora sistemática y una transformación educativa con relacióna métodos, materiales, fbmias trabajo, etc.En qué medida la evaluación de las actividades individuales solicitadas a ios estudiantesiian fomentado el aprendizaje.En qué medida ia evaluación de las actividades individuales solicitadas a ios estudianteshan contribuido ai desanollo de conocimientos, habilidades, actitudes, etc.En qué medida ia evaiuación de ias actividades individuaies solicitadas a ios estudianteshan fomnado parte de un continuum.En qué medida ha influido la implicación individual en la evaluación de las actividadesindividuales solicitadas.En qué medida ia evaluación de ias actividades grupaies solicitadas a ios estudiantes hanfomentado el aprendizaje.En qué medida ia evaluación de ias actividades gnipaies solicitadas a ios estudiantes hancontnbuido ai desarrollo de conodmientos, habilidades, actitudes, etc.En qué medida ia evaiuación de ias actividades gmpaies solicitadas a ios estudiantes hanfbnnado parte de un continuum.En qué medida ha influido ia implicación gmpal en ia evaiuación de ias actividades grupaiessolicitadas.En qué medida ia evaluación a través de videoconferencia se considera idónea para eiproceso de aprendizaje.En qué medida ia evaluación a través de videoconüerenda ha contribuido al desanoilo decompetencias para el trabajo individual y coiaborativo.En qué medida se considera idónea ia videoconferencia como modalidad de evaiuación on-iine.En qué medida influye en ia valoración de ia videoconferencia la implicación del alumnadode manera individual y grupai.Hace referenda a si se ha requerido fbrmadón previa pana el uso de ias diferenteshenamientas antes de ser utilizadas.Uso de henamientas sincronas (chat, videoconférenda, mensajeria instantánea, enaiestadei aula virtual, etc.) para favorecer el proceso de evaiuadón.Uso de herramientas asincronas (foros, cuestionarios, eta) para favorecer el proceso deevaiuadón.Uso dei sistema de evaiuadón de la piatafonna virtual.

Tabla 3. Descripción de sub-categorías emergentes de la investigación.

© ISSN: 1134-3478 • e-ISSN: 1988-3293- Páginas 159-167

164

Focus Groupprofesorado

Leyenda:Categoría valorada positivamente

Categoría valorada negativamente

Gráfica 1. Categorías abordadas en cada técnica y su valor.

De cuaJquier modo, hay estudiantes que sugierencaunbios en el sistema de caJificación, motivados poraspectos meraunente subjetivos. Definen la evaluaciónde este modo: «La formación continua ha sido muybuena y se ha podido debatir y complementau- la for-mación a través de los foros temáticos de cada uno delos temas. Las actividades propuestas y realizadas hauiservido, para afianzau- conocimientos adquiridos o tra-bajarlos de una manera un poco más práctica, no tanteórica. Y mediante el proyecto final, hemos podidotrabajar con esos conocimientos adquiridos, a la vezque se ha profundizado aún más en ellos y a través delcual hemos podido demostrau-los, al igual que con laentrevista final» (aJumno, cuestionauio).

Con respecto a la evaluación de las actividadesindividuaJes (EAl), 12 de los 17 aJumnos y alumnasencuestados, haui vaJorado muy positivamente el usode las mismas pau-a favorecer los procesos de enseñan-za-aprendizaje y por tanto la evaluación: «Con la rea-lización de lais actividades se aprende mucho, ya quepara realizau-las has de estudiau- y comprender los con-tenidos teóricos y después llevarlos a la práctica que escomo mejor se aprenden los contenidos» (aJumna).

Asimismo, son amplias las referencias en el textoen relación a la evaluación continua, descubriendoque el alumnado confiere especiaJ vaJor a este aspecto(los 17 alumnos y alumnas del curso), de hecho es laraizón por la que la mayoría de ellos consideran que esun buen sistema de evaluación: «En general me haparecido un buen sistema de evaluación teniendo encuenta las cau-acterísticas del curso. El sistema emplea-do ha hecho, que los contenidos se trabajaisen diauia-mente. Con las actividades individuaJes y colectivas, yla pauticipación en los foros se puede conseguir dichoobjetivo» (alumno).

En general, el aJumnado ha vaJorado las activida-

des individuales so-licitadas por partede los profesorescomo una herra-mienta muy eficazpara garantizar lacalidad del sistemade evaJuación delcurso. En cuauito ala evaluación de lasactividades grupa-les (EAG), el alum-nado no ha presta-do mucha atencióna esta categoría,pero quien lo hace

(3 de los 17 encuestados) lo reaJiza de manera muypositiva como afirma una aJumna: «Con el trabajo finalhe podido afianzar mejor los contenidos tratados en elcurso, aisí como profijndizar en otros temas relaciona-dos».

El alumnado tiene claro que estas actividades nofuncionan solas y señala como aspectos positivos tantoel mantenimiento de la plataforma donde se encon-traban lais actividades, como la tutorización que se hareaJizado por paule de los profesores-tutores del curso.

En relación a lais herraunientas utilizadas pau-a lavideoconferencia (EVID), el alumnado destaca comopositivo el uso de foros, que son valorados como unaherramienta excelente, destacauido una vez más elcontinuo feed-back producido por paute de los profe-sores-tutores.

Con respecto a la categoría evaluación a través devideoconferencia, el aJumnado demanda más contactovisual a lo largo del curso, con videoconferenciais pun-tuales cada cierto tiempo.

b) Entrevista readizada a una aJumna del curso.Respecto a la evaluación de las actividades individua-les solicitadas aJ alumnado (EAl), la entrevistada vaJorapositivamente que se otorgue mayor valor o peso a lasactividades, pues considera que «es como mejor seaprende».

En cuanto a la evaluación de las actividades gru-pales (EAG) en la entrevista se destacó la experienciadel chat como negativa, pues al alumnado le resultócomplicado establecer una comunicación escrita efi-caz, resultando el uso de la herraunienta problemática.Finalmente en cuauito a la evaluación de la videocon-ferencia (EVID), la alumna abordó el tema de evalua-ción para garauntizar que la persona que está detrás yque realiza los ejercicios es realmente la persona queobtiene el diploma, con lo que está muy relacionado

© ISSN: 1134-3478 • c-ISSN: 1988-3293' Páginas 159-167

165

con la subcategoría fiabilidad de los aspectos generaJesde la evaluación. De una manera muy subjetiva unaalumna nos contesta aJ respecto que: «En mi caiso lanota obtenida es fiable, pero no sé si hay gente quepodrá hacer trampa, yo no me lo había planteado.Ayer se lo comentaba a mi abuela, que puede hacerlais actividades otro, pero yo a lo mejor soy muy tontay no había pensado en eso».

c) Focus group. Se auializaui los dos focus groupque se llevaron a cabo con los profesores tutores delcurso. Con respecto a los aspectos generales de la eva-luación (AGE), el profesorado ha valorado muy positi-vamente el curso. Un tema recurrente resultó ser el delos criterios de evaluación, en concreto el criterio deaisignación de porcentajes, pues varios de los profeso-res (6 de los 8 profesores-tutores) consideran que lasactK/idades individuales deben tener un peso mayor,debido al trabajo e implicación personal que suponenpara el estudiante.

En segundo lugar, en referencia a la evaluación delas actividades individuales solicitadas aJ alumnado(EAI), los profesores-tutores reconocen que gracias alas mismas se ha llevado a cabo una evaluación de lomás precisa, donde han podido conocer perfectamen-te a los alumnos a los que evaluabaui: «Lo que paisa esque con un curso como este con tan pocos estudiaui-tes, con un seguimiento taui grande, la evaluación hasido continua, es decir, llevamos una evaJuación tre-mendamente precisa, de quiénes eran, qué estabanhaciendo, por qué no lo hacía, por qué se había retra-sado. ..» (profesor-tutor del curso).

En cuanto a la evaluación de las actividades gru-palís (EAG), las opiniones se diversifican, el 60% delprofesorado defiende que no se llegó a llevar a caboun trabajo colaborativo cien por cien, pues el aJumna-do se limitó a repartirse las partes y luego unirlas.Otros profesores-tutores, en cambio defendían que lasactividades grupales habían sido las que verdadera-mente les habíaui dado criterios para evaJuar y conocermás a los alumnos.

Por último, en referencia a la evaJuación a travésde la videoconferencia (EVID), con respecto al cursoencontraunos reticenciais por parte de algún sector delprofesorado (2 de los 8 profesores tutores) pau-a utilizarla -i/ideoconferencia. «No da fiabilidad, a mí por lomoios no me la ha dado, (...) en mi caso, todo el cur-so geniaJ todo muy bien, pero se lo comentaba al tutor2, a mí la evaluación... es más, yo me quedé con dosalumnos, porque dos abandonaron, a uno se la hicepor webcaun y otra telefónicamente, la de telefónica-mente le planteé cuestiones sobre actividades, otrasacerca del tema, a ver qué había hecho y cómo lo

había hecho, bueno pues imaginaros cuando no eracapaz de responderme directamente se cortaba la co-municación, y le volvía a llaunar y le hacía la mismapregunta. Y con la webcam exactaunente lo mismo, seiba...» (profesor-tutor). Sin embargo, otro sector delprofesorado (65%) sí resultó proclive aJ empleo de lavideoconferencia como herramienta comunicativa yde evaJuación, mostrauido una elevada satisfaccióncon esta experiencia totaJmente virtuaJ que ademásacreditaba los conocimientos adquiridos a lo largo delmismo, insistiendo en la necesidad de realizar más en-trevistas virtuales a lo largo del curso.

Finalmente, el profesorado alegó que este cursohabía sido el más innovador en el que había trabajado,a pesau- de la necesidad de seguir trabajando ciertosaspectos pedagógicos.

d) Entrevistáis a expertos. Los expertos aportaroninformación sobre tres de las categorías, la primerasobre la evaluación de las actividades individuales soli-citadas a los aJumnos (EAI), donde destacan la impor-tamcia de la evaJuación continua: «Creo que una vaJo-ración continuada de los aportes tanto individuales co-mo de grupo son esenciaJes en estos entomos» (exper-to evaluación).

En cuanto a la evaluación de las actividades gru-paJes solicitadas a los aJumnos (EAG), los expertos secentran en la necesidad de tener un buen sistema dechat para la comunicación sincrónica e incluso para laevaluación final.

Con respecto a la evaluación a través de la video-conferencia (EVID), uno de ellos se ha centrado en lafiabilidad exponiendo: «Muchas veces cuando noso-tros de forma presenciaJ le decimos aJ aJumno quevaya haciendo un portafolio electrónico o aJ finaJ va apresentar un proyecto o una memoria de investiga-ción. Lo que sabemos es que el alumno fi'sicaunentenos lo ha dado a nosotros, pero no tenemos el meca-nismo, lo tenemos cuando estamos hablando con él.Eso se puede hacer en la Red, pero hay que buscarotro criterio y es que la ratio alumno-tutor no puedeser muy elevadai» (experto). Además otros matizanque: «Si estás realizauido adecuadamente un cursoonline conoces a tus estudiauites profùndaunente, ysería imposible que te 'engauiaran' en su trabajo. Loimportauite es que esté bien diseñado y te aseguro queno engaúian» (experto).

Por último, otro de los apuntes que realizaui es lanecesidad de establecer una coherencia entre el tipode formación y el sistema de evaluación, de modo quese arbitren los medios necesau4os para poder realizau-una evaluación virtuaJ y a distauicia cuauido la modali-dad formativa sigue estos pau-ámetros.

© ISSN: 1134-3478 • e-ISSN: 1988-3293« Páginas 159-167

166

4. DiscusiónEn este estudio hemos presentado un modelo de

evaJuación on-line que no requiere de la presenciali-dad del aJumnado, basándonos en una consideraciónconstructiva del conocimiento, donde el aprendizajepuede y debe vaJorarse y evaJuarse a lo largo del pro-pio proceso formativo, utilizando tau-eas evaJuablesdesde la perspectiva del aprendizaje individuaJ y gru-paJ. La evaluación de este estudio nos ha permitidoestablecer las siguientes conclusiones:

1 ) Se ha avanzado en la consecución de un mode-lo innovador de e-evaluación viable, eficaiz y que ga-rantiza su aplicación en enseñanza superíor a distan-cia, que se vaJora como un aporte aJtamente beneficio-so para cuantos docentes practiquen modelos de ense-ñanzas e-leaming anclados en evaJuaciones sumativaisestándares, producto de procesos de enseñanzas tradi-cionales.

2) Se puede afirmar que la evaJuación que plante-amos es formativa, es decir forma paule de un procesoy permite la mejora a lo largo del mismo. Estamos portanto en la línea au-gumentativa de Rodríguez e IbauTa(2011 ) que defienden que la e-evaJuación debe seruna oportunidad de aprendizaje oríentada a mejorar ypromover aprendizajes significativos y que actualmen-te en el sistema universitarío no se realiza pues se sigueponiendo el énfasis en el trabajo del profesorado antesque en el aprendizaje de los estudiantes.

3) La mayoría del aJumnado considera el métodode evaJuación empleado como aJtamente motivadorpues además de las diferentes técnicas y herramientaisque se utilizan, se considera la evaluación como partedel proceso de enseñanza aprendizaje y no solo comouna actividad que se realiza al finaJ de curso.

4) Por el grado de satisfacción de aJumnado, ex-pertos y profesorado, los resultados avalan que se haavanzado en vanas direcciones claves para una ense-ñanza mucho más activa, menos la memorízadora,más centrada en tau-eas del alumnado y, lo que es dedestaca«-, con un sistema de evaluación que no precisala presencialidad. De modo que se confirman las apor-taciones Sloep y Berlanga (2011), que proponen laposibilidad de crear redes de aprendizaje más allá delas fi-onteras entre lais universidades.

5) Los resultados de este estudio hacen convergerla pretendida innovación docente en la universidadcon el e-leauning como agente de cambio educativo.El uso de la entrevista por videoconferencia represen-ta la innovación más significativa de nuestro estudio, sibien como método de evaJuación es susceptible demejora, pues todavía produce insegurídades en su usocomo instrumento de evaluación. Sin embau-go, se va-

lora la experíencia como aJtamente positiva, y aunquehay que continuar avanzando para afinar la técnica,parece que estamos en el buen camino.

De cuaJquier modo, taJ y como se ha sugerído(Blázquez, 2004) debemos utilizar estas tecnologíaspara innovau- y no pau-a reproducir modelos tradiciona-les poco efectivos, abusando de los recursos sincróni-cos (como videoconferencias) en desmedro de losaisincrónicos (página web, e-mail, foros de discusión,etc.).

6) El modelo de evaluación de los aprendizajesensayado facilita la existencia de actividades universi-tauias regladas para estudiantes imposibilitados geográ-ficamente de acceder a pruebas finales (exámenes)presenciales, con lo que se abre un enorme mercadoformativo a nuestras universidades, especialmente apaíses latinoamerícanos.

7) Como señala Solectic (2000), la especificidadde los materíaJes didácticos requiere que se ubiquenuna seríe de actividades que ayuden a que los estu-diantes pongan en juego sus recursos, estrategias yhabilidades y paulicipen en la construcción del conoci-miento. Este, desde el príncipio, fije nuestro objetivoen relación con las actividades individuales y comohemos ido comprobando así lo han percibido los estu-diantes, ya que las actividades individuales son las másvaJoradas como estandarte de evaJuación continua.

8) En general la implementación de esta modaJi-dad de evaluación no presencial ha sido positiva, espe-cialmente al trabajar centrados en una evaluación con-tinua mediante las actividades, trabajos y entrevistas(mediante videoconferencia), así como la existencia deun modelo tutoríal, que gau-antiza un seguimiento delproceso de aprendizaje del estudiante, potenciado poruna ratio de fácil gestión, cinco alumnos por tutor. Asu vez, este factor está reforzado por la singulauidad dela experíencia piloto, donde el profesorado fije selec-'cionado por su alta implicación y motivación.

9) De cuaJquier modo siempre hay propuestas demejora a implementau- referentes a ligeros cambios re-lacionados con la flexibilidad en las actividades y lavaJoración singuiau- de las actividades colaborativas,que han de ir más allá del mero reparto de tareas. Asi-mismo, se debe potencian- el incremento en el númerode entrevistas, lo que a su vez proporcionau^á mayorsegurídad aJ profesorado en el manejo de la tecnologíade Aulas Virtuales Síncronais.

10) Concluimos señalando que, partiendo del crí-terío cuaJitativo de transferencia, animamos a la comu-nidad docente con escenaríos similares a implementarprocesos de e-evaluación de los aprendizajes a seguirlos príncipios presentados en el estudio.

© ISSN: 1134-3478 • e-ISSN: 1988-3293« Paginas 159-167

167

ReferenciasALONSO, L. &- BIÁZQUEZ, F . (2009). Are the Functions of Teachers

in E-leaming and Face-to-Face Leaming Environments Really

Different? Educational Technology &• Society, 12(4), 331 -343.

BLÁZOUEZ, F. (2004). Nuevas tecnologías y cambio educativo. In F.

•SALVADOR, J .L . RODRÍGUEZ 6- A. BOLÍVAR (Eds.), Diccionario En-

ciclopédico de Didáctica (pp.345-353). Málaga: Aljibe.

BLÁZQUEZ, F . &• ALONSO, L. (2006). Aportaciones para la evalua-

ción on-line. Tarraconensis, Edició Especial, 207-228.

BIRNBAUM, B.W. (2001). Foundations and Practices in the Use of

Distance Education. Lewiston, NY: Mellen Press.

CAEERO, J . dr PRENDES, M . P . (2009). La videoconferencia. Apli-

caciones a los ámbitos educativo y empresarial. Sevilla: MAD.

CUBO, S., ALONSO, L., ARIAS, J., GUTIÉRREZ, P., REIS, A. 6- YUSTE,

R. (2009). Modelización didáctica-pedagógica, metodológica y tec-

nológica de las aulas virtuales: implantación en la Universidad de

Extremadura. In J. VALVERDE (Ed.). Buenas prácticas educativas

con TIC. a ce re s : SPUEX.

FoFSTER, M. &• WASHINGTON, E. (2000). A Model for Developing

and Managing Distance Education Programs Using Interactive Video

Technology. Journal of Social Work Education, 36(1), 147-59.

CIKANDI, J.W., MORROW, D. &- DAVIS. N . E . (2011). Online

Formative Assessment in Higher Education: A Review of the litera-

ture. Computers & Education 57, 2.333-2.351.MEHROTRA, C M . , HOLUSTER, CD. è- MCCAHEY, L. (2001).

Distance Learning: Principles for Effective Design, Delivery and

Evaluation. Thousand Oaks, CA; Sage Publications.

MOORE, M. , LOCKEE, B. 6- BURTON, J. (2002). Measuring Success:

Evaluation Strategies for Distance Education. Educause Quarterly,

25(1), 20-26.

OOSTERHOFF, A., CONRAD, R.M. 6- ELY, D.P. (2008). Assessing

Learners Online. Upper Saddle River, NJ: Pearson Prentice Hall.

PEÑALOSA, E. (2010). Evaluación de los aprendizajes y estudio de la

interactividad en entomos en línea: un modelo para la investiga-

ción./?/£D,/3 f/;, 17-38.

POTTS, M.K. &• HAGAN, C.B. (2000). Going the Distance: Using

Systems Theory to Design, Implement, and Evaluate a Distance Edu-

cation Program. Journal of Social Work Education, 36(1), 131-145

ROCKWELL, K., FURGASON, J. &• MARX, D.B. (2000). Research and

Evaluation Needs for Distance Education: A Delphi Study. Online

Journal of Distance Learning Administration, III.

RODRÍGUEZ, G. &• IBARRA, M.S. (2011). e-Evaluación orientada al

e-aprendizaje estratégico en educación superior. Madrid: Narcea.

RODRÍGUEZ, C , GIL, J . &• GARCÍA, E. (1999). Metodología de la

investigación cualitativa. Málaga: Aljibe.

SANCHO, J . (2011). Entrevista a Juana Man'a Sancho Gil. En Edu-

cación y Tecnologías. Las voces de los expertos. Buenos Aires: An-

ses.

SERRANO, J . &• CEBRÍÁN, M . (2011 ). Study of the Impact on Student

Leaming Using the eRubric Tool and Peer Assessment. In VARIOS:

Education in a Technological World: Communicating Current and

Emerging Research and technological efforts EDIT. Formatex

Research Center (In press).

SLOEP, P. &• BERLWGA, A. (2011). Redes de aprendizaje, aprendi-

zaje en red. Comunicar, 37, XIX, 55-64. (DOl: I0.39I6/C37-

2011-02-05).

SOLECTIG, A. (2000). La producción de materiales escritos en los

programas de educación a distancia: problemas y desafíos. In L.

LlTWIN (2000), La educación a distancia. Temas para el debate en

una nueva agenda educativa. España: Amorrortu.

STUFFLEBEAM, D.L. (2000). Guidelines for Developing Evaluation

Checklisti (www.wmich.edu/evalctr/checklists) (13-12-2011).

W E N T U N G , T . ¿-JOHNSON. S. (1999). The Design and Develop-

ment of an Evaluation System for Online Instruction, www.uni-

versia.pr/cultura/videoconferencia.jsp. (30-09-2011).

WESCHKE, B. &• CANIPE, S. (2010). The Faculty Evaluation Process:

The First Step in Fostering Professional Development in an Online

University. Journal of College Teaching & Learning, 7(1), 45-58.

© ISSN: 1134-3478 • e-ISSN: 1988-3293' Pigims 159-167

Copyright of Comunicar is the property of Grupo Comunicar and its content may not be copied or emailed to

multiple sites or posted to a listserv without the copyright holder's express written permission. However, users

may print, download, or email articles for individual use.