RESUMEN
Como resultado de las acciones de evaluación que la Universidad Autónoma de Nayarit ha realizado a sus programas de posgrado se ha identificado una serie de cuestiones con respecto a la evaluación, que más que ofrecer una constante reflexión acerca de la práctica profesional en la que inciden, pareciera que se concibe como un proceso aislado que sólo se requiere para obtener la acreditación. En este marco referencial, surge la necesidad de interpretar y comprender cómo perciben los docentes la evaluación, y el impacto que esta ha tenido en el seguimiento y la mejora continua de los programas de posgrado evaluados, a través de un estudio con un enfoque mixto que permitiera dar mayor exactitud a los resultados obtenidos a través de la aplicación de un cuestionario autoadministrado para obtener información cuantitativa y dos entrevistas no estructuradas con el fin de obtener información más cualitativa y hacer una triangulación de la información.
La información obtenida permitió confirmar la hipótesis y demostrar que efectivamente existe la tendencia a concebir la evaluación con una función meramente instrumental y con fines de acreditación, lo que contribuye a elevar la resistencia propia que generan este tipo de acciones en parte debido a la endeble cultura evaluativa que en general se observa.
INTRODUCCIÓN
Actualmente la educación se ve afectada por una serie de circunstancias contextuales que no son favorables, por ello resulta relevante que las instituciones educativas contribuyan a la formación integral y de calidad de los individuos de todos los niveles incluyendo los de educación superior, con el fin de formar profesionistas con excelente calidad moral, responsables y comprometidos con la mejora constante de la realidad en que viven.
Una de las misiones de la educación superior es contribuir a proteger y consolidar los valores de la sociedad por ello resulta fundamental incidir cada vez más en la calidad de la formación de los futuros profesionales, por ello se debe contemplar a la evaluación cómo un proceso indispensable para el éxito y la competencia social y profesional.
En este sentido, se hace necesario incidir en la evaluación curricular, considerar que la universidad no puede concebirla como un proceso aislado que sólo se requiere para obtener la acreditación, sino que requiere de mayor contacto con el contexto cultural, político, económico y social por tanto los planes de estudio deben ofrecer una constante reflexión acerca de la práctica profesional en la que inciden.
Es imprescindible la búsqueda de estrategias que permitan reflexionar sobre la congruencia de la práctica docente, la coherencia de los procesos administrativos, los conflictos de intereses, etc. con la concepción institucional de la evaluación, con el fin de reducir al mínimo el currículo “oculto” y contribuir al desarrollo reflexivo y juicioso de procesos evaluativos.
Al respecto Arana y Batista (s/f) expresan que en la sociedad de la información la facilidad de acceso y la rapidez del cambio del conocimiento provocan una saturación del conocimiento por ello se justifica el hecho de que “la transmisión de conocimientos no puede seguir siendo la función principal de las instituciones educativas, no sólo por el costo social que ello produce en el proceso de formación de los seres humanos, sino porque se impone un nuevo modelo de formación donde lo instructivo, lo capacitativo y lo educativo constituyan un todo, donde su función principal sea la valorativa para organizar, interpretar, seleccionar, estimar, criticar y asumir con criterios de por qué y para qué la información”.
La necesidad compartida por todos de que los programas funcionen más eficazmente ha provocado que la evaluación se visualice desde dos perspectivas:
• La opción de la evaluación de resultados,
• La evaluación como acreditación
Stake considerado el líder de una nueva escuela de evaluación, cuestiona la evaluación cómo una comparación entre los resultados deseados y los observados y la concibe como un concepto más amplio que incorpora antecedentes, proceso, normas y juicios, el proceso de evaluación debe reflejar la complejidad y particularidad de los programas educativos. (Casarini Ratto, 1999)
La evaluación es ya un proceso normal e inevitable en toda institución educativa, en este contexto, la Universidad Autónoma de Nayarit define, en el Plan de Desarrollo Institucional 2004-2010, las estrategias para fomentar la cultura de la evaluación para la mejora continua del desempeño docente así como la evaluación permanente de los programas académicos, esta última propone los objetivos siguientes:
• Diagnosticar la pertinencia de los programas
• Ampliar y diversificar las opciones terminales de los programas académicos y,
• Acreditar los programas académicos
Para dar cumplimiento a estos objetivos y como garantía de un futuro de calidad, la UAN ha impulsado la evaluación de los programas por organismos externos como CIEES y el CONACyT.
Actualmente existen en la UAN 24 programas de posgrado, de los cuales cuatro se sometieron en 2009 al proceso de evaluación externa por el Consejo Nacional de Ciencia y Tecnología, con el propósito de obtener el registro en el Programa Nacional de Posgrados de Calidad y los apoyos económicos que este organismo otorga.
No obstante que el Plan de Desarrollo Institucional considera los procesos de planeación y evaluación permanentes, “cómo directriz de todas las funciones y procesos universitarios”; en los lineamientos, mecanismos, estrategias y procesos metodológicos, generalmente se reproducen los mismos criterios de evaluación de los organismos acreditadores.
Los criterios de evaluación del CONACyT requieren de una vasta información sobre los resultados de los procesos, algunos de estos administrativos y fuera del alcance de los docentes que participan en la autoevaluación. Una constante en las debilidades detectadas en los programas evaluados fue la carencia de un sistema de seguimiento a las trayectorias escolares de estudiantes y egresados.
Una vez que se concluye el proceso de autoevaluación no existe la suficiente difusión de los resultados, dando por supuesto que la representatividad de los docentes en el proceso la garantiza.
La experiencia de quienes trabajamos en la UAN es uno de los aspectos más valiosos, de su análisis podemos obtener conclusiones que nos ayuden a reflexionar sobre el significado y función que debe tener la evaluación institucional.
La práctica profesional tiene vinculación con la evaluación de programas educativos de posgrado, generalmente con fines de acreditación y con los métodos y procedimientos de los organismos acreditadores correspondientes, sin embargo se ha detectado en algunas ocasiones que la operación de los programas educativos, responden a las características del modelo académico y la normatividad universitaria pero no a los indicadores de evaluación de las instituciones acreditadoras.
El diseño y la evaluación curricular de los programas académicos de posgrado ha permitido identificar algunas debilidades en la concepción de la evaluación, si bien los procesos de evaluación quedan manifiestos en el currículo, en la implementación del mismo no se les da la misma atención o importancia que al proceso educativo. Incluso existen programas que no incluyen en su plan de estudios un sistema de evaluación.
En las autoevaluaciones se han enfrentado algunas dificultades para obtener información, en muchas ocasiones debido a que no se documentan ni se sistematizan algunos procesos educativos. En este marco referencial, surge la pregunta que orienta la presente investigación: ¿Qué concepción tienen los docentes de posgrado de la UAN sobre la evaluación y cómo impacta esta concepción en el seguimiento y mejora continua de los programas de posgrado?
En este sentido se determinó establecer la siguiente hipótesis multivariada: los docentes conciben a la evaluación como sinónimo de acreditación, situación que obstaculiza el seguimiento continuo de los procesos académicos y la mejora continua de los programas de posgrado, donde la variable independiente es la concepción que los docentes tienen de la evaluación, mientras que las variables dependientes son dos:
• el seguimiento continuo de los procesos académicos
• la mejora continua del programa
METODOLOGÍA
1. CONTEXTO DE LA EVALUACIÓN
Según expone en su página web la Universidad Autónoma de Nayarit, es una institución de educación superior que tiene como misión formar profesionales de excelencia, impulsores del desarrollo integral, intercultural y multicultural de la sociedad, que contribuya a la solución de problemas a través de la generación del conocimiento científico, con un alto nivel de competitividad, compromiso social y una visión global, crítica y plural.
Por ello se ha planteado como visión ser una Institución de Educación Superior de calidad, acreditada y certificada, que forma integralmente profesionales en ambientes de aprendizaje centrados en la solución de problemas, comprometidos con los principios y valores institucionales y las necesidades del entorno.
Dentro de su estructura orgánica está la Secretaría de Investigación y Posgrado que desarrolla sus funciones a través de dos direcciones: la Dirección de Fortalecimiento a la Investigación y la Dirección de Posgrado. En esta última se encuentra la Coordinación de Diseño y Evaluación de Programas de Posgrado, que tiene como función principal apoyar los procesos de auto evaluación institucional y evaluación externa y es precisamente el ámbito desde el cual se desarrolla la presente investigación.
Según la información disponible en la página web de la Secretaría de Investigación y Posgrado de la UAN, en los últimos años la Universidad Autónoma de Nayarit ha redoblado esfuerzos con el propósito de evaluar todos sus programas académicos, en el 2009 se sometieron a evaluación por el Programa Nacional de Posgrados de Calidad, cuatro programas educativos de posgrado: un doctorado, dos maestrías y una especialidad, obteniendo la acreditación de los tres primeros.
Actualmente, existen aproximadamente seis programas educativos interesados en someterse a la evaluación de este organismo acreditador en el marco de la convocatoria 2011-2012. Si bien el interés por la evaluación de los programas de posgrado se va incrementando, también se ha observado que los programas acreditados aún tienen varias observaciones sin atención por parte de los docentes que colaboran en ellos y próximamente estarán evaluándose para renovar su acreditación en el Programa Nacional de Posgrados de Calidad.
2. ENFOQUE METODOLÓGICO.
Debido a lo anterior es importante interpretar y comprender cómo perciben los docentes la evaluación, y el impacto que esta ha tenido en el seguimiento y la mejora continua de los programas de posgrado evaluados, con este fin se realizó la investigación, tomando como base variables que implicaban conocer lo que piensan los coordinadores y docentes de los programas de posgrado evaluados con respecto a este proceso, por ello se pensó en realizar un estudio cualitativo, pero por otro lado se consideró seguir los criterios de rigor de la investigación cualitativa principalmente el de credibilidad, por tanto se determinó que para garantizar la calidad del trabajo y enriquecer el proceso de aprendizaje del sustentante, lo más conveniente, sería realizar un estudio mixto que permitiera realizar una triangulación de la información y dar mayor exactitud a los resultados obtenidos.
El análisis cuantitativo contribuiría a la obtención de información sobre las frecuencias con que los docentes pudieran opinar sobre la conceptualización, fines y funciones de la evaluación, así como la ejecución o no de acciones de seguimiento y mejora de los programas educativos, para ello se utilizó la técnica de la encuesta para recabar la información sobre las concepciones que los docentes tienen que se valoró con unidades de medida en grado de acuerdo y desacuerdo. La encuesta se aplicó a docentes que habían participado en la autoevaluación de los programas de posgrado que se evaluaron por el CONACyT en la Convocatoria 2009 del Programa Nacional de Posgrados de calidad: la Maestría en Ciencias Biológico Agropecuarias, la Maestría en Desarrollo Económico Local y la Especialidad en Ortodoncia, esta última cabe mencionar que no fue aprobada, sin embargo ha sido el programa que ha presentado mayores índices de mejora, dando atención a todas las recomendaciones del comité evaluador y nuevamente se está evaluando para atender la convocatoria 2011-2012. También en la Convocatoria 2009 se evaluó el programa académico de Doctorado Interinstitucional en Derecho, sin embargo por su carácter de interinstitucionalidad, los docentes que colaboran pertenecen a diversas instituciones de educación superior de la Región Centro Occidente de la ANUIES, lo que dificultaría la aplicación de las encuestas, por tal razón, para fines del presente estudio se omitió este programa.
Con el fin de obtener información más cualitativa, comprender mejor los procesos educativos y hacer una triangulación de la información, se realizaron dos entrevistas no estructuradas, una de ellas al Dr. Eduardo Meza Ramos, Coordinador del Programa de Maestría en Desarrollo Económico Local, responsable de presentar el programa en la evaluación plenaria del CONACyT ante pares académicos y quién también ha colaborado como evaluador de otros programas de posgrado a nivel nacional y la otra a la Dra. Alma Rosa Rojas García, ex Coordinadora de la Especialidad en Ortodoncia, ex Directora de Posgrado en el periodo 2004-2010 en la UAN, cargo que le permitió coordinar los trabajos de evaluación de los programas académicos a los que se hace referencia en este estudio, actualmente es docente y coordinadora del proceso de evaluación de la Especialidad en Ortodoncia.
Para el diseño y elaboración del cuestionario utilizado en la encuesta para la recopilación de información, se elaboró una matriz que facilitó la operacionalización de las categorías y núcleos temáticos de la evaluación (Anexo 1).
3. TÉCNICAS E INSTRUMENTOS PARA RECOPILAR LA INFORMACIÓN
La encuesta aplicada (Anexo 2), consta de cuatro partes, la primera corresponde a los datos de identificación, en esta el único dato solicitado corresponde al nombre del programa de posgrado al que pertenecen los docentes que la contestaron. Cada una de las partes restantes corresponden a las tres categorías establecidas en la matriz para la operacionalización de categorías, de tal forma que la segunda parte busca obtener información sobre la variable concepción de la evaluación y tiene como finalidad conocer la opinión de los docentes sobre cada uno de los siguientes indicadores: el concepto, función y finalidad de la evaluación.
En los tres preguntas de opción múltiple que integran la segunda parte de la encuesta se les solicitó que eligieran entre dos conceptos dados cuál era el más acorde a su opinión, uno de ellos hace referencia a la evaluación entendida como proceso de acreditación y otra que se refiere al proceso de evaluación como conocimiento y comprensión de los fenómenos o procesos; cabe mencionar que la redacción de las opciones que se les presentaron para elegir se basaron en el documento Evaluación educativa: una aproximación conceptual de Nydia Elola y Lilia Toranzos.
La tercera parte corresponde a la categoría de seguimiento continuo busca obtener información para explicar las acciones que se realizan con el fin de conocer los resultados o hechos que describen las causas de los logros o no logros de cada uno de los procesos académicos, los núcleos temáticos considerados para esta categoría son: estrategias de seguimiento y procesos académicos a los que se les da seguimiento.
Al final se incluyen tres preguntas de opción múltiple que corresponden a la categoría mejora del programa, que constituyen la cuarta parte de la encuesta y tiene como propósito conocer las consecuencias provocadas por la evaluación que se reflejen en la mejora del programa, es decir en los cambios o replanteamientos de cada uno de los factores que intervienen en el proceso educativo con el fin de superar las debilidades identificadas en la evaluación.
La entrevista a los coordinadores (Anexo 4) de programas de posgrado se pretende que sea semi-estructurada, por ello se plantean algunos cuestionamientos que pudieran ser considerados, pero se dará libertad para que puedan expresar opiniones o comentarios relacionados con la experiencia que vivieron en el proceso de evaluación.
• ¿Qué opina sobre la evaluación del programa?
• ¿Cuál considera que fue la principal finalidad de la evaluación?
• ¿Cuáles fueron las principales dificultades que enfrentaron en la evaluación?
• ¿Cuenta con un plan de acción para el seguimiento académico de los alumnos?
• A raíz de la evaluación ¿qué cambios ha tenido el programa?
• ¿en qué aspectos considera que se ha mejorado?
Para la aplicación de las encuestas no fue necesario solicitar autorización, en virtud de que la autora de la presente investigación ha coordinado procesos de evaluación en los programas de posgrado que son objeto de estudio, por tanto sólo se les explicó a los docentes encuestados el propósito y finalidad de la investigación.
Para Sampieri (2001) los cuestionarios pueden ser aplicados de la siguiente forma: autoadministrado, por entrevista personal, por entrevista telefónica y enviado por correo electrónico o postal, para este caso la recolección de datos se hizo a través de un cuestionario autoadministrado que “se les proporciona directamente a los respondientes, quienes lo contestan. No hay intermediarios y las respuestas las marcan ellos”.
Para la aplicación de los cuestionarios, se visitó a cada uno de los docentes que colaboraron en la evaluación de los programas de posgrado objeto de estudio y se les dejó con el compromiso de regresarlo en los días posteriores, sin embargo, a pesar de que en el momento de solicitar su apoyo, todos expresaron su disposición para colaborar, no todos regresaron los cuestionarios a tiempo para realizar el análisis de la información, precisamente porque una de las dificultades que se presentaron fue no encontrarlos disponibles en los horarios en que se realizó la visita. (Ver anexo 3, sobre trabajo de campo)
RESULTADOS Y CONCLUSIONES
1. RESULTADOS
En total se aplicaron 11 encuestas, 4 corresponden a docentes del Programa de Maestría en Desarrollo Económico Local, 3 del programa de Maestría en Ciencias Biológico Agropecuarias y 4 de la Especialidad en Ortodoncia.
Para las entrevistas fue necesario solicitar con anticipación una cita para poder realizarlas, en virtud de las múltiples ocupaciones que las personas entrevistadas tienen, incluso para uno de ellos fue necesario posponer la primera fecha. Para la grabación se utilizó el equipo de cómputo, lo cual resultó favorable porque permitió detenerla cuando se presentaban ruidos y distractores durante la entrevista.
Con respecto al concepto de evaluación, se puede identificar que el 82% la conciben como un proceso que genera un conocimiento progresivo del programa con un carácter retro alimentador, esta concepción es coherente con un enfoque cualitativo de la evaluación, sin embargo su opinión con respecto a la función está dividida, un 55% opina que la función de la evaluación es instrumental y con relación a la finalidad de la evaluación un 45% considera que es la acreditación del programa y el 55% restante considera que el fin principal es proporcionar información con alto potencial anticipatorio y explicativo sobre los procesos académicos y administrativos, para su mejora continua.
El 100% de los docentes encuestados expresó que si ha participado en reuniones de seguimiento y evaluación del programa académico de posgrado en el que laboran, de los cuales el 91% está muy de acuerdo en que estas reuniones son necesarias para la evaluación.
Con referencia a la periodicidad con la que se realizan las reuniones de seguimiento, el 46% dijo que eran bimestrales, el 36% que cada semestre y sólo el 18% opinó que mensualmente.
También se cuestionó si contaban con instrumentos, técnicas y procedimientos para el seguimiento y el 55% contestó que no.
Según la opinión de los docentes encuestados, los procesos que se han evaluado o en los cuáles se han aplicado algunos instrumentos de seguimiento y evaluación son principalmente el aprendizaje, la práctica docente y el proceso de selección de aspirantes
Con respecto a las contribuciones de la evaluación en la mejora de los programas de posgrado, la mayoría de los docentes están de acuerdo en que la evaluación ha generado nuevas estrategias de seguimiento a los procesos educativos pero creen que estas no se aplican de forma permanente, mientras que el 62% opina que se han mejorado los indicadores de calidad y un 55% cree que lo más relevante de la evaluación es lograr la acreditación de los programas como posgrados de calidad
Con respecto a las entrevistas se hizo un comparativo entre los comentarios de uno y otro de acuerdo a la categoría de análisis
2. CONCLUSIONES
Los resultados obtenidos presentan una serie de inconsistencias en el proceso de evaluación, por un lado la mayoría de los docentes conciben la evaluación como un proceso que genera un conocimiento progresivo del programa con un carácter retro alimentador, es decir que pareciera que coinciden con darle un enfoque cualitativo, sin embargo, en cuanto a la función y finalidad que esta debe tener, la opinión está dividida, casi la mitad coinciden con que tiene una función meramente instrumental y que la principal finalidad es la acreditación, esto es un indicador de que no está claro el modelo de evaluación que se está siguiendo en la UAN. Esto es entendible si consideramos que hace apenas unos años “hablar de evaluación (…) era una palabra casi prohibida, nadie la quería decir porque ya sabían lo que implicaba, ahora el lenguaje de la evaluación está presente por lo menos en las personas que están metidas en estos procesos” según lo expresó la ex directora de posgrado de la UAN, quién también manifiesta en su discurso estas contrariedades, por un lado expone que la evaluación debe ser una actividad constante de la vida cotidiana pero por otro manifiesta su convicción de que mientras no se tenga la acreditación del CONACyT, se seguirá intentando tener calidad.
Elola y Toranzos (2000), exponen que el conjunto de significados que le son atribuidos a la evaluación, son los que originan esta disparidad de criterios, algunos de los significados que más frecuentemente se asocian con la evaluación son ideas relativas a el control externo, la función penalizadora, el cálculo del valor de una cosa, lo que se manifiesta en una fuerte tendencia a deteriorar el concepto de evaluación educativa como un sinónimo de calificación.
Por otro lado se pudo observar que existe entre los docentes la disposición y convicción de participar en las reuniones de evaluación y las consideran de utilidad para la mejora del programa, sin embargo la periodicidad con que se reúnen, de acuerdo a la opinión de la mayoría, es semestralmente, tal perece que “los procesos de evaluación transmiten la idea de finalización de una etapa o ciclo; se asocia con frecuencia la evaluación con la conclusión de un proceso”, (Elola y Toranzos, 2000) y no de un proceso permanente de comprensión de los procesos orientados hacia la mejora continua del programa.
Es también notorio que no está sistematizado el proceso de seguimiento y no se tienen instrumentos para el seguimiento de todos los procesos académicos y administrativos, en este sentido se ha dado prioridad al seguimiento y evaluación del aprendizaje, la práctica docente y la selección de aspirantes.
Con referencia a cómo ha contribuido la evaluación en la mejora del programa, el 82% de los docentes considera que la evaluación si ha generado algunas mejoras, principalmente en los procesos de titulación, el proceso de selección y la implantación del plan de estudios y exponen que esto ha contribuido a generar nuevas estrategias de seguimiento a los procesos educativos pero también consideran que estas no se aplican de forma permanente, también ha contribuido a mejorar los indicadores de calidad para lograr o mantener la acreditación de los programas como posgrados de calidad.
Al respecto Elola y Toranzos (2000) expresan que “la finalidad de acreditación es la que más se vincula con este valor social – simbólico que tiene la evaluación. En estos casos el énfasis está puesto en las consecuencias que los resultados de la evaluación tienen para el individuo o la institución objeto de evaluación” y esto es lo que orienta el proceso metodológico.
La evaluación debe concebirse según Stake (Casarini Ratto, 1999), como un concepto más amplio que incorpora antecedentes, proceso, normas y juicios, el proceso de evaluación debe reflejar la complejidad y particularidad de los programas educativos y no debe ser una simple comparación entre los resultados deseados y los observados.
Los resultados de esta investigación permiten responder la pregunta inicial que orientó este estudio: ¿Qué concepción tienen los docentes de posgrado de la UAN sobre la evaluación y cómo impacta esta concepción en el seguimiento y mejora continua de los programas de posgrado? La respuesta esta interrogante comprueba la hipótesis planteada y podemos decir de acuerdo a los resultados obtenidos que los docentes de los programas de posgrado de la UAN conciben a la evaluación como sinónimo de acreditación, situación que obstaculiza el seguimiento continuo de los procesos académicos y la mejora continua de los programas de posgrado, en virtud de que la finalidad principal de la evaluación en los programas de posgrado es “mantenerse en el CONACyT, no solamente que sea como un ejercicio, sino que (…)el programa se mantenga cumpliendo con los indicadores” que este organismo requiere, según lo manifiesta el propio coordinador de uno de los programas acreditados.
En estas circunstancias se considera que es necesario “considerar en términos generales quienes son los sujetos alcanzados de una y otra forma por las acciones evaluativas y generar entre ellos cierta base de consenso y aceptación”. Esto contribuye a evitar la resistencia propia que generan este tipo de acciones en parte debido a la endeble cultura evaluativa que en general se observa. (Elola yToranzos, 2000)
FUENTES CONSULTADAS
Arana M. y Batista N. (s/f). La educación en Valores: una propuesta pedagógica para la formación profesional. Organización de Estados Iberoamericanos. Recuperado el 16 de Octubre de 2010 de http://www.oei.es/salactsi/ispajae.htm
Casarini, Rato M. (1999). Teoría y Diseño Curricular. 2ª. Edición, Editorial Trillas, Universidad Virtual ITESM, México.
CONACyT, (2011). Marco de referencia para la evaluación y seguimiento de programas de posgrado. Versión 3, México.
Elola N. y Toranzos L. (2000) Evaluación educativa: una aproximación conceptual. Buenos Aires.
Hernández Sampieri R. Fernández C. y Baptista P. (2001), Metodología de la Investigación. Mc Graw Hill. Canadá.
UAN. (2005). Plan de Desarrollo Institucional 2004-2010, México.
UAN (2011). Misión y Visión de la Universidad Autónoma de Nayarit. Recuperado el 20 de marzo de 2011, de www.uan.edu.mx
No hay comentarios:
Publicar un comentario