ANÁLISIS DE LA INFORMACIÓN

1. Estrategia de recopilación de la información.
Con el fin de interpretar y comprender cómo perciben los docentes la evaluación, y el impacto que esta ha tenido en el seguimiento y la mejora continua de los programas de posgrado evaluados se estableció una hipótesis multivariada, con una variable independiente: la concepción que los docentes tienen de la evaluación, mientras que las variables dependientes son dos: el seguimiento continuo de los procesos académicos y la mejora continua del programa. Estas variables implicaban conocer lo que piensan los coordinadores y docentes de los programas de posgrado evaluados con respecto a este proceso, por ello se pensó en realizar un estudio cualitativo, pero por otro lado se consideró seguir los criterios de rigor de la investigación cualitativa principalmente el de credibilidad, por tanto se determinó que para garantizar la calidad del trabajo y enriquecer el proceso de aprendizaje del sustentante, lo más conveniente, sería realizar un estudio mixto que permitiera permitirá realizar una triangulación de la información y dar mayor exactitud a los resultados obtenidos.

El análisis cuantitativo permitiría obtener información sobre las frecuencias con que los docentes pudieran opinar sobre la conceptualización, fines y funciones de la evaluación, así como la ejecución o no de acciones de seguimiento y mejora de los programas educativos, para ello se utilizó la técnica de la encuesta para recabar la información sobre las concepciones que los docentes tienen que se valoró con unidades de medida en grado de acuerdo y desacuerdo. La encuesta se aplicó a docentes que habían participado en la autoevaluación de los programas de posgrado que se evaluaron por el CONACyT en la Convocatoria 2009 del Programa Nacional de Posgrados de calidad: la Maestría en Ciencias Biológico Agropecuarias, la Maestría en Desarrollo Económico Local y la Especialidad en Ortodoncia, esta última cabe mencionar que no fue aprobada, sin embargo ha sido el programa que ha presentado mayores índices de mejora, dando atención a todas las recomendaciones del comité evaluador y nuevamente se está evaluando para atender la convocatoria 2011-2012. También en la Convocatoria 2009 se evaluó el programa académico de Doctorado Interinstitucional en Derecho, sin embargo por su carácter de interinstitucionalidad, los docentes que colaboran pertenecen a diversas instituciones de educación superior de la Región Centro Occidente de la ANUIES, lo que dificultaría la aplicación de las encuestas, por tal razón, para fines del presente estudio se omitió este programa.


Con el fin de obtener información más cualitativa, comprender mejor los procesos educativos y hacer una triangulación de la información, se realizaron dos entrevistas no estructuradas, una de ellas al Dr. Eduardo Meza Ramos, Coordinador del Programa de Maestría en Desarrollo Económico Local, responsable de presentar el programa en la evaluación plenaria del CONACyT ante pares académicos y quién también ha colaborado como evaluador de otros programas de posgrado a nivel nacional y la otra a la Dra. Alma Rosa Rojas García, ex Coordinadora de la Especialidad en Ortodoncia, ex Directora de Posgrado en el periodo 2004-2010 en la UAN, cargo que le permitió coordinar los trabajos de evaluación de los programas académicos a los que se hace referencia en este estudio, actualmente es docente y coordinadora del proceso de evaluación de la Especialidad en Ortodoncia.
Para el diseño y elaboración del cuestionario utilizado en la encuesta para la recopilación de información, se elaboró una matriz que facilitó la operacionalización de las categorías y núcleos temáticos de la evaluación.

2. Instrumentos para recopilar la información
La encuesta aplicada consta de cuatro partes, la primera corresponde a los datos de identificación, en esta el único dato solicitado corresponde al nombre del programa de posgrado al que pertenecen los docentes que la contestaron. Cada una de las partes restantes corresponden a las tres categorías establecidas en la matriz para la operacionalización de categorías, de tal forma que la segunda parte busca obtener información sobre la variable concepción de la evaluación y tiene como finalidad conocer la opinión de los docentes sobre cada uno de los siguientes indicadores: el concepto, función y finalidad de la evaluación.
En los tres preguntas de opción múltiple que integran la segunda parte de la encuesta se les solicitó que eligieran entre dos conceptos dados cuál era el más acorde a su opinión, uno de ellos hace referencia a la evaluación entendida como proceso de acreditación y otra que se refiere al proceso de evaluación como conocimiento y comprensión de los fenómenos o procesos; cabe mencionar que la redacción de las opciones que se les presentaron para elegir se basaron en el documento Evaluación educativa: una aproximación conceptual de Nydia Elola y Lilia Toranzos.

La tercera parte corresponde a la categoría de seguimiento continuo busca obtener información para explicar las acciones que se realizan con el fin de conocer los resultados o hechos que describen las causas de los logros o no logros de cada uno de los procesos académicos, los núcleos temáticos considerados para esta categoría son: estrategias de seguimiento y procesos académicos a los que se les da seguimiento.
Al final se incluyen tres preguntas de opción múltiple que corresponden a la categoría mejora del programa, que constituyen la cuarta parte de la encuesta y tiene como propósito conocer las consecuencias provocadas por la evaluación que se reflejen en la mejora del programa, es decir en los cambios o replanteamientos de cada uno de los factores que intervienen en el proceso educativo con el fin de superar las debilidades identificadas en la evaluación.
La entrevista a los coordinadores de programas de posgrado se pretende que sea semi-estructurada, por ello se plantean algunos cuestionamientos que pudieran ser considerados, pero se dará libertad para que puedan expresar opiniones o comentarios relacionados con la experiencia que vivieron en el proceso de evaluación.
• ¿Qué opina sobre la evaluación del programa?
• ¿Cuál considera que fue la principal finalidad de la evaluación?
• ¿Cuáles fueron las principales dificultades que enfrentaron en la evaluación?
• ¿Cuenta con un plan de acción para el seguimiento académico de los alumnos?
• A raíz de la evaluación ¿qué cambios ha tenido el programa?
• ¿en qué aspectos considera que se ha mejorado?

3. Resultados de la aplicación (cuadro-resumen)
Para la aplicación de las encuestas no fue necesario solicitar autorización, en virtud de que la autora de la presente investigación ha coordinado procesos de evaluación en los programas de posgrado que son objeto de estudio, por tanto sólo se les explicó a los docentes encuestados el propósito y finalidad de la investigación.
Para Sampieri (2001) los cuestionarios pueden ser aplicados de la siguiente forma: autoadministrado, por entrevista personal, por entrevista telefónica y enviado por correo electrónico o postal, para este caso la recolección de datos se hizo a través de un cuestionario autoadministrado que “se les proporciona directamente a los respondientes, quienes lo contestan. No hay intermediarios y las respuestas las marcan ellos”.
Para la aplicación de los cuestionarios, se visitó a cada uno de los docentes que colaboraron en la evaluación de los programas de posgrado objeto de estudio y se les dejó con el compromiso de regresarlo en los días posteriores, sin embargo, a pesar de que en el momento de solicitar su apoyo, todos expresaron su disposición para colaborar, no todos regresaron los cuestionarios a tiempo para realizar el análisis de la información, precisamente porque una de las dificultades que se presentaron fue no encontrarlos disponibles en los horarios en que se realizó la visita. (Ver anexo sobre trabajo de campo)
En total se aplicaron 11 encuestas, 4 corresponden a docentes del Programa de Maestría en Desarrollo Económico Local, 3 del programa de Maestría en Ciencias Biológico Agropecuarias y 4 de la Especialidad en Ortodoncia.
Para las entrevistas fue necesario solicitar con anticipación una cita para poder realizarlas, en virtud de las múltiples ocupaciones que las personas entrevistadas tienen, incluso para uno de ellos fue necesario posponer la primera fecha. Para la grabación se utilizó el equipo de cómputo, lo cual resultó favorable porque permitió detenerla cuando se presentaban ruidos y distractores durante la entrevista.
4. Análisis de la información
Con respecto al concepto de evaluación, se puede identificar que el 82% la conciben como un proceso que genera un conocimiento progresivo del programa con un carácter retro alimentador, esta concepción es coherente con un enfoque cualitativo de la evaluación, sin embargo su opinión con respecto a la función está dividida, un 55% opina que la función de la evaluación es instrumental y con relación a la finalidad de la evaluación un 45% considera que es la acreditación del programa y el 55% restante considera que el fin principal es proporcionar información con alto potencial anticipatorio y explicativo sobre los procesos académicos y administrativos, para su mejora continua. (Ver las siguientes gráficas)
El 100% de los docentes encuestados expresó que si ha participado en reuniones de seguimiento y evaluación del programa académico de posgrado en el que laboran, de los cuales el 91% está muy de acuerdo en que estas reuniones son necesarias para la evaluación.
Con referencia a la periodicidad con la que se realizan las reuniones de seguimiento, el 46% dijo que eran bimestrales, el 36% que cada semestre y sólo el 18% opinó que mensualmente.
También se cuestionó si contaban con instrumentos, técnicas y procedimientos para el seguimiento y el 55% contestó que no.
Según la opinión de los docentes encuestados, los procesos que se han evaluado o en los cuáles se han aplicado algunos instrumentos de seguimiento y evaluación son principalmente el aprendizaje, la práctica docente y el proceso de selección de aspirantes, según se puede observar en la siguiente gráfica.
El 82% de los docentes considera que la evaluación si
ha generado mejoras en el programa, principalmente en los procesos de titulación, el proceso de selección y la implantación del plan de estudios.
Con respecto a las entrevistas se hizo un comparativo entre los comentarios de uno y otro de acuerdo a la categoría de análisis.
5. Conclusiones
Los resultados obtenidos presentan una serie de inconsistencias en el proceso de evaluación, por un lado la mayoría de los docentes conciben la evaluación como un proceso que genera un conocimiento progresivo del programa con un carácter retro alimentador, es decir que pareciera que coinciden con darle un enfoque cualitativo, sin embargo, en cuanto a la función y finalidad que esta debe tener, la opinión está dividida, casi la mitad coinciden con que tiene una función meramente instrumental y que la principal finalidad es la acreditación, esto es un indicador de que no está claro el modelo de evaluación que se está siguiendo en la UAN. Esto es entendible si consideramos que hace apenas unos años “hablar de evaluación (…) era una palabra casi prohibida, nadie la quería decir porque ya sabían lo que implicaba, ahora el lenguaje de la evaluación está presente por lo menos en las personas que están metidas en estos procesos” según lo expresó la ex directora de posgrado de la UAN, quién también manifiesta en su discurso estas contrariedades, por un lado expone que la evaluación debe ser una actividad constante de la vida cotidiana pero por otro manifiesta su convicción de que “mientras no se tenga la acreditación del CONACyT, seguiremos intentando tener calidad”,
Elola y Toranzos (2000), exponen que el conjunto de significados que le son atribuidos a la evaluación, son los que originan esta disparidad de criterios, algunos de los significados que más frecuentemente se asocian con la evaluación son ideas relativas a el control externo, la función penalizadora, el cálculo del valor de una cosa, lo que se manifiesta en una fuerte tendencia a deteriorar el concepto de evaluación educativa como un sinónimo de calificación.

Por otro lado se pudo observar que existe entre los docentes la disposición y convicción de participar en las reuniones de evaluación y las consideran de utilidad para la mejora del programa, sin embargo la periodicidad con que se reúnen, de acuerdo a la opinión de la mayoría, es semestralmente, tal perece que “los procesos de evaluación transmiten la idea de finalización de una etapa o ciclo; se asocia con frecuencia la evaluación con la conclusión de un proceso”, (Elola y Toranzos, 2000) y no de un proceso permanente de comprensión de los procesos orientados hacia la mejora continua del programa.

Es también notorio que no está sistematizado el proceso de seguimiento y no se tienen instrumentos para el seguimiento de todos los procesos académicos y administrativos, en este sentido se ha dado prioridad al seguimiento y evaluación del aprendizaje, la práctica docente y la selección de aspirantes.

Con referencia a cómo ha contribuido la evaluación en la mejora del programa, el 82% de los docentes considera que la evaluación si ha generado algunas mejoras, principalmente en los procesos de titulación, el proceso de selección y la implantación del plan de estudios y exponen que esto ha contribuido a generar nuevas estrategias de seguimiento a los procesos educativos pero también consideran que estas no se aplican de forma permanente, también ha contribuido a mejorar los indicadores de calidad para lograr o mantener la acreditación de los programas como posgrados de calidad.
Al respecto Elola y Toranzos (2000) expresan que “la finalidad de acreditación es la que más se vincula con este valor social – simbólico que tiene la evaluación. En estos casos el énfasis está puesto en las consecuencias que los resultados de la evaluación tienen para el individuo o la institución objeto de evaluación” y esto es lo que orienta el proceso metodológico.

La evaluación debe concebirse según Stake (Casarini Ratto, 1999), como un concepto más amplio que incorpora antecedentes, proceso, normas y juicios, el proceso de evaluación debe reflejar la complejidad y particularidad de los programas educativos y no debe ser una simple comparación entre los resultados deseados y los observados.

Los resultados de esta investigación permiten responder la pregunta inicial que orientó este estudio: ¿Qué concepción tienen los docentes de posgrado de la UAN sobre la evaluación y cómo impacta esta concepción en el seguimiento y mejora continua de los programas de posgrado? La respuesta esta interrogante comprueba la hipótesis planteada y podemos decir de acuerdo a los resultados obtenidos que los docentes de los programas de posgrado de la UAN conciben a la evaluación como sinónimo de acreditación, situación que obstaculiza el seguimiento continuo de los procesos académicos y la mejora continua de los programas de posgrado, en virtud de que la finalidad principal de la evaluación en los programas de posgrado es “mantenerse en el CONACyT, no solamente que sea como un ejercicio, sino que (…)el programa se mantenga cumpliendo con los indicadores” que este organismo requiere, según lo manifiesta el propio coordinador de uno de los programas acreditados.
En estas circunstancias se considera que es necesario “considerar en términos generales quienes son los sujetos alcanzados de una y otra forma por las acciones evaluativas y generar entre ellos cierta base de consenso y aceptación”. Esto contribuye a evitar la resistencia propia que generan este tipo de acciones en parte debido a la endeble cultura evaluativa que en general se observa. (Elola yToranzos, 2000)