sábado, 24 de junio de 2017

La evaluación del y al profesor: un misterio no revelado. (primera parte)


Recientemente a los profesores de nuestra Carrera de Educación se nos indicó realizar la "Autoevaluación docente de nuestro trabajo, a través de un instrumento digital ubicado en el sitio Web de la Universidad. 

Es un formulario que se le obliga a responder a los profesores después de un período de tiempo, que no corresponde necesariamente al del curso escolar. En otras palabras es una evaluación individual no sistemática cuyo propósito como demuestro más adelante es más burocrático que docente.

La evaluación siempre es el Talón de Aquiles de todos los procesos formativos, tanto si es por objetivos o por las competencias que están de moda. En este último caso por lo general los profesores vuelven a evaluar en base a lo que “aprendió” el estudiante y no en virtud de las competencias alcanzadas. En otras palabras una cosa es la teoría y otra la realidad, en especial cuando se debe trabajar con 100 estudiantes en un grupo de primer año de una carrera universitaria. La inmadurez de los estudiantes, sumada a una base con muchos huecos en su formación, obliga a dejar de lado las modernas competencias.

Evaluar es un proceso complejo y lleno de elementos subjetivos y más si se refiere a la evaluación de actividades tan variadas como la de enseñar y aprender. La evaluación, requiere de indicadores que permitan medir o comparar sus resultados y en definitiva que sean útiles para la evaluación. No son estáticos, tampoco generales, no se puede evaluar de la misma manera al profesor que imparte una asignatura teórica en primer semestre, que al que imparte una materia práctica en octavo semestre. Para ser objetivo es preferible contar con diferentes instrumentos, que con uno solo. Cuando se pretende evaluar a todos mediante un único instrumento, ya no se evalúa, se responde a la burocracia.

La planilla de evaluación a la que hago referencia se divide en seis grandes indicadores, que van desde la imprecisión hasta el absurdo de la desactualización.

El primer grupo de estos se refiere a la planificación del curso. En la imagen se pueden apreciar todos los indicadores que son evaluados.

Considero que no es necesario el análisis detallado de cada una de las preguntas. Pero cabe preguntarse, sí en la Universidad la mayoría de los programas de estudio se elaboran por competencias, cuál es la razón de la pregunta seis. Es probable que más de la mitad de nuestros docentes respondan por la simple acción de responder. 

A lo anterior se suma la existencia de materias que no tienen examen final o periódicos, como es el caso de las asignaturas finales de grado. La pregunta cuatro es una contradicción total, se refiere a la nota final y a la calificación de la asignatura a lo largo del semestre. Entonces cómo puedo responder esa pregunta. Se cae en el error de evaluar a todos con los mismos indicadores.

Pero si en el primer grupo de indicadores reina la contradicción, esperemos revisar el segundo grupo, que indaga por el desarrollo del programa, pero solo en dos ítems que son insuficientes, en especial la pregunta 8. En esta pregunta cabe la posibilidad que no se realizó este tipo de reunión o se convocó en algún momento que chocaba con clases. No existe un espacio donde se pueda responder esta inquietud.


Llegando al tercer grupo alcanzamos a pensar que la auto evaluación es para seres de otro planeta y menos de una universidad. 

La pregunta nueve parece sacada de un cuento de ciencia ficción: cabe la posibilidad de realizar un examen de temas no tratados en clases? Todos los profesores de la Universidad alguna vez hicieron un Diplomado en Educación superior, donde uno de los módulos tiene que ver con la evaluación. Pero si aún así un profesor se le ocurre preguntar de otro tema diferente a su asignatura, los estudiantes de inmediato protestarían por tan absurdo proceder. En definitiva ellos protestan por baños sucios o la falta de ómnibus, nada raro que también lo hagan por esta razón.

La pregunta diez vuelve nuevamente al tema de la generalización, los que no toman exámenes prácticos, qué deben responder.

La pregunta once está sacada de un viejo y obsoleto manual de evaluación. ¿Por qué, el examen final tiene que evaluar todo el contenido? En otras palabras, teoría y práctica van lejos en esta y otras de las preguntas. 

Las preguntas 14 y 15 son el colmo del absurdo, no por lo que preguntan, sino por la frase (si corresponde). En nuestro idioma (si no estoy equivocado) significa que puede no responder, ya que no corresponde. Pero nos llevamos la sorpresa que si no la responde no puede cerrar la autoevalaución!!!. Esto no tiene otro objetivo que el de seguir respondiendo “por responder” a las demás preguntas.

Las preguntas 16, 17 y 18 no las voy a comentar, pues ellas por sí solas demuestran que el pensamiento de este instrumento está en un profundo enfoque conductista, lejos de los enfoques que la Universidad asume. Pero el mayor absurdo, si es que cabe esta palabra que no existe el ítem Ninguna, es decir sí no lo hago, debo obligatoriamente mentir y responder “pocas veces”

El cuarto grupo de indicadores si es de aquellos como dice la frase popular “apaga y vámonos”. Si antes parecía estar leyendo una novela de ciencia ficción, ahora no queda la menor duda que sí la estamos leyendo. 

La pregunta 20 se lleva la medalla de lo absurdo. ¿Transparencias?, en qué Universidad se ubican los creadores de esta encuesta. Una Universidad que ha empleado cientos de miles de dólares en dotar de medios modernos, como pizarras digitales interactivas y que le entregó a cada profesor una portátil de última generación. Como profesor de medios de enseñanza hace años que no uso, tampoco veo un proyector de transparencias. 

Igual sucede con el ítem multimedia, qué significa. Es el equipo o el sistema de medios.
Al igual que en la sección anterior el absurdo de no añadir un ítem que señale “no lo uso” por lo que todos tenemos que usarlos, aunque sea muy poco. En otras palabras mientes, ya que si no lo haces no puedes cerrar la autoevaluación.

Cuando llegué a la pregunta 20 decidí que las siguientes evaluaciones (una por cada grupo) la realizaría rompiendo el récord de velocidad, en todos marcaría el primer ítem. Comprendí que en mis años dictando Didáctica y los temas relacionados con la evaluación, estuve omitiendo tal vez la más importante de todas las funciones de esta categoría: la función burocrática.

Cuando la evaluación está vacía, con instrumentos fuera del momento y lugar que se desea evaluar, no cabe otra solución que entrar el juego de la burocracia: responde y deja lo demás pasar.

Espero que los que elaboran este instrumento antiquísimo, absurdo y general, lo revisen críticamente, se den cuenta que mide poco o nada y bajen desde el Olimpo a las facultades y carreras para comprender cómo se puede evaluar al profesor. Pero esperen me quedan por referirme a la evaluación de los estudiantes y de los directores de carrera, por lo que la novela continuará. 



miércoles, 21 de junio de 2017

CAAM: El libro digital interactivo a través de una aplicación móvil. Resultados finales

En las dos entradas anteriores comentamos que el CAAM (curso abierto a través de una aplicación móvil) estuvo enfocado a la creación de un libro digital distribuido mediante una App. En la primerade las entradas explicamos la organización del diseño instruccional, desde la detección de las características generales de los posibles matriculados, hasta la determinación de métodos, medios y la evaluación del curso.

El CAAM se inscribe dentro de un curso no formal, abierto, masivo, en línea y con el empleo de una aplicación móvil. La razón de este tipo de forma de organización es la de contribuir a la construcción y reconstrucción del sistema personal de aprendizaje de cada individuo.

En el segundo comentario nos detuvimos en el análisis de los medios y la evaluación del curso, para los interesados en obtener el certificado de participación que otorga nuestra Universidad.

En el comentario actual abordamos los resultados del curso, tomando en cuenta la valoración realizada en la encuesta de conclusión que forma parte de la metodología creada para el desarrollo del CAAM. A lo anterior unimos la evaluación a las Apps desarrolladas en el corto tiempo del curso.

Como mencionamos al finalizar el curso aplicamos una encuesta de valoración de la metodología empleada. Como en casi todos los cursos abiertos existe una diferencia entre los que terminan y los que ingresan. Esta diferencia también estuvo presente en nuestro curso. La inscripción inicial fue de 515 personas procedentes de unos 22 países. Es una cifra aceptable, tomando en cuenta que nuestra divulgación se realiza mediante redes sociales y de manera personal en espacios de trabajo universitario.

La cifra anterior proviene de la cantidad de personas que respondieron la encuesta indagatoria, datos que fueron discutidos en los dos comentarios anteriores. Una vez que se concluía con las preguntas, los encuestados tenían acceso a una página en la que se pedía su inscripción a un grupo de Facebook, que tuvo por objetivo servir de puente entre los contenidos tratados en la App y las interacciones con todos los participantes. En este caso nos percatamos que no todos leían esa página y por ende no se enteraban del grupo en Facebook. Nuestro equipo de trabajo llegó a la conclusión que es preferible colocar una pregunta donde se advierta de la necesidad de la inscripción a dicho grupo y no dejarlo en otra página de la encuesta.

Otra forma que empleamos para comunicar las instrucciones para iniciar el CAAM fue por medio de las direcciones de correo electrónico, a las que después enviamos un mensaje con las instrucciones. Algunas de estas personas me comunicaron que no recibieron el mensaje, lo que indica que esta forma no siempre resulta exitosa. Conocemos que algunos correos pasan directamente a la bandeja de spam y otros son olvidados en la bandeja de entrada. A esto se une que algunas veces las direcciones no son escritas correctamente. Estas dificultades pueden ser las causas por las que al grupo de Facebook accedieron 400 participantes, es decir casi 8 de cada diez de los respondieron la encuesta indagatoria.

Otro dato a tomar en cuenta es que la aplicación del CAAM, fue descargada por la mitad de los inscritos en el grupo de Facebook antes citado. La mayoría de las descargas se realizaron en la primera semana del curso. Tomando en cuenta estos datos la población que tomó parte del curso fue de alrededor de 200 personas, las que llamaré como participantes activos y será la referencia para las conclusiones del curso.

De la cifra anterior de los participantes activos recibimos 50 aplicaciones para ser evaluadas con el objetivo de obtener el certificado de participación en el CAAM. A este grupo lo consideramos como los que concluyeron el curso. Este valor representa la cuarta parte de los participantes activos en el curso. En los distintos Mooc y Wooc que antes realizamos la cifra de los concluyeron estuvo entre uno de cada diez participantes. Pero en el CAAM la cantidad de los que concluyeron se cuadriplica, es decir cuatro de cada diez. Este dato puede demostrar la importancia que los participantes le confieren al curso.

Los resultados de la encuesta de conclusión.

Un componente importante del diseño instruccional del CAAM es recoger las opiniones de los que concluyen el curso. En esta ocasión la indagación contó con siete preguntas, dos de ellas de carácter abierto. Las tres primeras dirigidas a la valoración personal de la aplicación creada.

En la primera de estas se destaca que la mayoría considera que su aplicación se evalúa entre buena y muy buena, tal y como muestra la gráfica.


La siguiente pregunta de la encuesta final estuvo dirigida a verificar si los participantes están dispuestos a mejorar su aplicación. Como se muestra en la siguiente imagen casi la mayoría manifestó su interés por mejorarla. Esto puede ser interpretado como la necesidad de perfeccionar su trabajo, crear otras aplicaciones y en sentido general ratifica la utilidad del curso. Varios profesores de nuestra Universidad manifestaron personalmente el interés en mejorar su aplicación y crear otras.


La tercera pregunta fue orientada a indagar de manera abierta sobre el empleo de su aplicación. La mayoría de las respuestas se refieren a un uso vinculado a la docencia, principalmente como libro de texto. 

La segunda parte de la encuesta se enfocó en la valoración del curso, desde los recursos empleados hasta la metodología desarrollada. En relación a los medios utilizados, se contó con la aplicación, que fue el centro del trabajo, las guías de estudio, los videos y el grupo de Facebook. Las respuestas ubicaron como el medio de mayor utilidad la aplicación y fueron en descenso hasta el grupo de Facebook, como se aprecia en la imagen.



La función del grupo en Facebook estuvo dirigida a convertirse en un espacio de discusión y comentarios. Esto con el objetivo de no crear en la aplicación, un chat que pudiera llegar a ser agotador para todos los participantes. De igual modo consideramos no necesario crear un grupo en WhatsApp, que se enfrentaría a los mismos problemas que en un chat en la App. No obstante debemos analizar detenidamente las formas de discusión en los siguientes CAAM.

La siguiente pregunta de la encuesta de conclusión se enfocó en la valoración de la metodología seguida en el CAAM. Los resultados se observan en la imagen a continuación.

Aún cuando la mayoría de las respuestas valora positivamente la metodología, consideramos que queda un camino por recorrer en la mejora y perfeccionamiento de la misma. 

La sexta pregunta evaluaba los elementos negativos de esta metodología 
 
Como se aprecia la mayoría no encontró elementos negativos en la metodología, mientras que una minoría se refirió a compleja, confusa, rígida y otros criterios que se pueden leer en la imagen. En sentido general nos satisface este tipo de valoración, pero eso no significa que no mejoremos la metodología para los siguientes cursos con aplicaciones.

La penúltima pregunta indagó por el grado de cumplimiento de los objetivos del curso. La imagen muestra el resultado. La totalidad estuvo de acuerdo con el cumplimiento de estos objetivos.


La última pregunta de carácter abierto solicitó a los participantes que dejaran algún comentario para el equipo de trabajo. La nube de palabras recoge las respuestas de dicha pregunta.

En general nuestro equipo de trabajo se siente muy agradecido por las opiniones expresadas tanto en la encuesta que analizamos, como en el grupo de Facebook, además de los comentarios personales de varios de los participantes.

Nuestro primer CAAM significó un arduo trabajo, pero en los siguientes mejoraremos el diseño, creando así una metodología propia para el desarrollo de cursos abiertos a través de una aplicación móvil. Los esperamos en los próximos cursos abiertos mediante aplicaciones móviles. 
Related Posts Plugin for WordPress, Blogger...