4.3 El concepto de evaluación educativa*

Evaluar una institución educativa es otorgar un valor a dicha institución y se califica el tipo de educación que imparte. El valor que se expresa en palabras como bueno, eficiente, de calidad, etc., depende tanto de las características objetivas de la educación que se ofrece en la institución, como de la idea que el sujeto que evalúa tiene acerca de lo que es o debe de ser una educación buena, eficiente o de calidad. La evaluación de la institución se hace al comparar la educación tal como se percibe que la imparte una institución respecto a un ideal educativo preconcebido. Dicho ideal se construye y se acepta por parte de los individuos y de la sociedad. Esta construcción responde a preguntas, entre otras, como las siguientes:

¿cómo debe ser la educación? ¿qué funciones debe cumplir? ¿qué tipo de formación debe dar?

Las respuestas a estas preguntas son múltiples y diversas y se han expresado de diferentes formas a lo largo de la historia. Las respuestas son ideas que se han desarrollado en forma gradual y que han requerido el consenso social para tener validez y aplicabilidad y así construir el ideal de la educación que más se ajusta a una sociedad o conjunto de sociedades. Las ideas están basadas en nociones acerca de lo que es la cultura, lo que debe ser la civilización y las cualidades que debe tener la mujer o el hombre educados, es decir, en los valores que tienen primacía en lugares y épocas específicos. Al mismo tiempo, las ideas dan respuesta a las necesidades, expectativas y aspiraciones que una sociedad en particular tiene respecto de la educación. De esta manera, la caracterización del ideal de la educación es una descripción de estos valores o cualidades que debe tener una “buena educación”. Por ejemplo, un ideal educativo puede ser que una institución forme personas competentes y emprendedoras en un mundo globalizado, y esto se considera una tarea cultivadora de buenas costumbres. En tanto

50

que otro ideal puede ser la formación integral de personas competentes y solidarias con el desarrollo de la comunidad y de la región que los vio nacer. Es la sociedad en su conjunto y los individuos los que en forma gradual y por consenso construyen y aceptan el ideal educativo. Una vez que el ideal educati vo se ha establecido, aunque sea un tanto subjetivo, sirve para valorar si una institución imparte la educación, tal como ha sido conceptualizado el ideal por la persona o por el grupo de personas interesadas en otorgar un valor al desempeño de la institución. La construcción del ideal de la educación es un proceso sumamente complejo y ante tal circunstancia los especialistas en evaluación educativa han construido a lo largo de los años algunos conceptos que permiten hacer objetivos, cuantificar y describir los elementos o atributos de la educación, que incluyen (implícita o explícitamente) las cualidades o valores de la misma. A estos conceptos se les denomina criterios, parámetros, normas de referencia, normas mínimas de operación, estándares de calidad, etc. El criterio de evaluación es la expresión de un atributo que debe de tener la educación que imparte una institución educativa. Su función es fundamentar el juicio o estimación acerca de la institución educativa o de alguno de sus componentes. Es una norma o regla de “buen” funcionamiento y expresa también el valor o cualidad que debe caracterizar a una buena educación. Se entiende que es una norma preestablecida utilizada por quien hace la evaluación y expresa un juicio de valor. En la educación se han llegado a ciertos acuerdos acerca de criterios de operación y el deber ser de las instituciones educativas. Estos criterios, en conjunto, son la expresión de los valores que dominan en una época específica las actividades de las instituciones educati vas. Entre ellos se encuentra: la eficiencia, la eficacia, la congruencia, la vigencia, la pertinencia, etc. En este sentido, se dice que una educación es de buena calidad cuando se le pueden aplicar dichos criterios y la valoración que se hace de ellos, respecto a un parámetro o norma de referencia, es positiva, desde el punto de vista del evaluador. Los parámetros o normas de referencia son construcciones empíricas que expresan de forma objetiva a los elementos de la educación (planes y programas de estudio, eficiencia terminal, relación de alumnos por profesor, horas de asesoría por alumno, perfil profesional de los profesores, etc.). Son

51

normas preestablecidas, generalmente cuantificadas, de lo que se considera una “buena” operación de las instituciones o de los procesos educativos. La función de los parámetros en el proceso técnico de la evaluación es proporcionar un marco de comparación que sustente la aplicación de un calificativo o juicio de valor. Con ello, se busca disminuir lo más posible la subjetividad propia de la valoración que hacen las personas. Algunos de los procedimientos que se pueden emplear para la construcción de los parámetros son los estudios comparativos entre diferentes sistemas educativos, la investigación de necesidades educati vas, el análisis de las variables del sistema educativo, el análisis del avance del conocimiento, etc. Puede haber parámetros autorreferidos, esto es, normas de la buena operación de una institución especificadas por los ideales educativos que se indican en sus decretos de creación, sus políticas institucionales, sus reglamentos, sus planes de desarrollo institucional, etc. También hay parámetros construidos por consenso en el ámbito internacional, como son los que recomienda la UNESCO, la OCDE o los utilizados para la acreditación de la educación superior en países como los Estados Unidos de América, Inglaterra o Canadá. Otro tipo de parámetros son los modelos educativos, curriculares, de enseñanza, etc., que son la base para la creación de instituciones con nuevas orientaciones educativas o las innovaciones educativas que se presentan en una época. Ejemplos de parámetros son: la proporción de 20 alumnos por cada profesor contratado, 20 alumnos por grupo, disponibilidad de un tutor para cada uno de los alumnos, la asesoría en todos los cursos, las normas de la Asociación de Bibliotecarios ABIESI para el número de títulos y de ejemplares por título de acuerdo al número de alumnos, el número de alumnos por computadora, etc. Las normas mínimas son elementos de referencia para establecer las comparaciones que resultan en la aplicación de calificativos o juicios de valor a la educación. Estas normas son las reglas o condiciones necesarias e indispensables sin los que no podría constituirse una buena institución educativa. Por ejemplo, las instituciones deben tener: una ley orgánica, la normatividad institucional aplicable a su operación, la acreditación oficial de

52

la Secretaría o Ministerio de Educación del país en que se ubica, órganos de dirección unipersonales y colegiados, etc. Los estándares de calidad son normas promedio, obtenidas de la suma del conjunto de variables educativas aplicables a una institución o sistema educativo. Por lo regular, estos promedios tienen un margen de libertad o tolerancia. Para conocer los elementos de la educación que imparte una institución, se han desarrollado procedimientos y técnicas que pueden clasificarse en experimentales, empíricos, etnográficos, etc. Los procedimientos están dirigidos a la obtención de información a fin de configurar las características de la educación que se imparte. Una práctica común para delimitar los elementos que se consideran en una evaluación es clasificarlos en categorías, variables e indicadores de evaluación. Una clasificación de las técnicas y procedimientos es dividirlos en cuantitativos y cualitativos. En los procedimientos cuantitativos la información que se desea obtener se clasifica mediante algún método numérico o estadístico, por lo que es posible aplicar diversas técnicas de la matemática para obtener información. Se consideran procedimientos cuantitativos de evaluación las encuestas dirigidas a conocer la opinión que sobre un tema tiene un sector de la sociedad, la aplicación de cuestionarios con preguntas preclasificadas, las listas de chequeo, la comparación entre variables cuantificadas (ingreso egreso, reprobados - aprobados, titulados - pasantes de los bachilleratos tecnológicos, etc.). Los procedimientos cualitativos se diseñan para obtener información basada en la experiencia, conocimientos o impresiones de expertos relacionados con la educación. Los análisis de expertos, la técnicas de dinámica de grupos (panel, mesa redonda, foro, etc.), las investigaciones de campo o las investigaciones participativas son algunos ejemplos de procedimientos cualitativos. Ambos tipos de procedimientos requieren de una base interpretativa que permita traducir la información obtenida a juicios de valor. Dicha base está

53

dada por la definición o concepto del ideal de la educación que sea aceptado. De esta forma, en la práctica de la evaluación de la educación, los procedimientos se eligen de acuerdo con la caracterización del deber ser de la educación, con las finalidades que se persiguen y con el contexto en que se da el proceso de evaluación (político, económico, social, de disponibilidad de personal, etc.). Por lo que se refiere al proceso de la evaluación de una institución educativa, en términos generales consiste en: 1. Establecer los objetivos de la evaluación. 2. Decidir la infor mación que es necesario obtener sobre los elementos y la operación de la institución. 3. Especificar los criterios que expresen lo que se considera una buena educación. En este sentido, es indispensable acordar una definición de cada criterio, con el fín de facilitar la comunicación entre los evaluadores y los responsables de obtener y procesar la información educativa de la institución. 4. Determinar los parámetros de comparación que expresan el ideal educativo. 5. Planear la implantación del proceso completo de evaluación. 6. Diseñar los procedimientos, instrumentos y métodos para realizar el proceso. 7. Informar, orientar y sensibilizar a los directivos de la institución a evaluar, con el fin de que participen en forma positiva en el proceso. 8. Capacitar a las personas que participarán en el proceso. 9. Obtener únicamente los datos e información necesarios a los objetivos de la evaluación, con el fin de no recabar datos que no se utilizarán. 10.

Comparar la información recabada con los parámetros establecidos.

11.

Expresar juicios de valor sobre cada uno de los elementos bajo evaluación.

54

12. 13.

Diseñar y editar el informe de resultados. En su caso, apoyar el proceso de toma de decisiones de las autoridades educativas.

Al evaluar una institución educativa se obtienen datos que se transforman en información sobre un conjunto de variables previamente definidas que, en primer lugar, permiten conocer desde un punto de vista cualitativo y cuantitativo el desempeño de la institución y tener mayor información sobre sus fortalezas y sus debilidades. En segundo lugar, esta información puede compararse con el conjunto de parámetros que representan al ideal educativo de quien evalúa, o con parámetros nacionales, internacionales o autorreferidos, lo que permitirá conocer qué tan cerca se encuentra el desempeño institucional del ideal mencionado. Lo antes mencionado coadyuvará a orientar la toma de decisiones en todos los niveles: individual (alumnos, profesores, personal, funcionarios de los tres niveles de gobierno, las madres y padres de familia y la sociedad en su conjunto), grupo, plantel, organismo educativo o sistema de organismos educativos. La comparación del estado de las variables de evaluación con los resultados, metas esperadas o parámetros de evaluación permitirá reflexionar sobre el por qué de haber alcanzado o no los resultados o metas; así como, de la razón de haberlos establecido. Esto es, puede ser que una meta bien planteada se logre o no y, también que, después de un proceso de evaluación se descubra que no había un sustento real para establecerla y que la meta no era necesaria o que no había sido bien planteada. Las conclusiones a las que se llegue en el proceso de evaluación orientará la decisión sobre mantener las metas a lograr o replantearlas; asimismo, estas conclusiones son la base para, una vez establecidas las metas, incorporar las actividades adicionales relacionadas con la planeación y programación institucionales para alcanzarlas.

55

En este proceso, la dirección y coordinación, el seguimiento y control son funciones que se apoyan en los resultados de la evaluación y en los elementos que aporta la planeación y programación de acciones. Cabe mencionar que las acciones y funciones mencionadas se llevan a cabo por personas, se hace énfasis en este hecho, personas con diferentes niveles de participación y de autoridad. Todas las personas son importantes para el logro de las metas, por lo que la labor de integración de todas ellas en un gran equipo colaborador es de vital importancia. Es desalentador para los responsables de los procesos de evaluación que los resultados adversos se repitan año tras año, que se altere a propósito el valor de las variables sin mejorar el proceso educativo o que simplemente nadie tome en cuenta los resultados en su debida dimensión. Por ejemplo, hay instituciones que a través de los años presentan altos índices de deserción, baja eficiencia terminal o muy limitada matrícula. Y a pesar de que esta situación la muestran en forma constante los resultados de los diferentes procesos de evaluación, la situación no mejora. En otros casos, los índices de reprobación disminuyen o mejoran las calificaciones promedio; sin embargo, la mejora es numérica y no necesariamente del proceso educativo ya que, en algunos casos, se debe a que algunos docentes aminoran el rigor de las evaluaciones a sus alumnos, dado que el índice de reprobación o el promedio de calificaciones pudiera convertirse en un indicador con el que es evaluado su trabajo como docente o se determina el desempeño del plantel en su conjunto. En este sentido, la Tecnología Educativa proporciona conocimientos relevantes para ordenar y sistematizar los procesos, hacerlos objetivos, darles seguimiento y evaluar los resultados parciales para lograr los fines establecidos; asimismo, promueve la participación ordenada de las personas. Por otro lado, la labor y la actitud de las autoridades es fundamental para llevar a cabo procesos de evaluación exitosos. Procesos de evaluación que no sean aislados o fuera de contexto, procesos de evaluación que lleguen a todas las personas que integran la comunidad educativa, las incorporen a ellos y se logre el fin último que se desea, mejorar en forma continua la calidad de la educación que se imparte a los jóvenes y contribuir a formarlos como personas que logren sus propias expectativas y vivan en armonía con su prójimo.

56

A continuación se presenta la definición de evaluación que fue aceptada por los participantes del Grupo Técnico de evaluación que dirigieron desde el punto de vista técnico los procesos que aquí se presentan:

“La evaluación educativa es un proceso sistemático, periódico y continuo, de carácter cuantitativo y cualitativo, en el que participan todos los miembros de una institución educativa; así como, es deseable intervengan personas e instituciones ajenos a ella. En este proceso, con base en el análisis de los resultados se proporcionan juicios de valor que apoyan la toma de decisiones personal e institucional, con el fin de alcanzar el fin, objetivos y metas institucionales”. Como se observará, en primer lugar se considera la evaluación como un proceso de apoyo a otro proceso, la educación, lo cual tiene una orientación más cercana al enfoque de L.J. Cronbach que al de Ralph Tayler, cuyo modelo se acerca más a la evaluación de productos educativos mediante el enunciado de juicios con base en la comparación de parámetros u objetivos preestablecidos. Asimismo, se coincide con Stufflebeam en el sentido de que el propósito más importante de la evaluación no es demostrar, sino perfeccionar. Es así, que se reafirma la orientación evaluativa hacia los procesos y no en forma exclusiva hacia los productos finales en la educación. En los procesos de evaluación se optó por la evaluación criterial acorde a un desempeño educativo deseable, más que comparar los resultados de los procesos de evaluación con parámetros externos, lo que acerca los procesos de evaluación en Hidalgo al enfoque de J.W. Popham. En realidad, la situación educativa general en los planteles pequeños y de nueva creación bajo evaluación era en muchas ocasiones evidente con una serie visitas, consultas a los actores principales de los procesos educativos que se daban en ellos y la información estadística básica, por lo que no era indispensable esperar los resultados de procesos de evaluación dilatados y que tuvieran parámetros nacionales o internacionales como referentes. Esto es, con la información básica se tenía la capacidad para tomar decisiones inmediatas que beneficiaran al proceso de enseñanza y aprendizaje del que se responsabilizaba cada plantel. Lo que se deseaba era conocer lo mejor posible el desempeño institucional como un proceso educativo de largo plazo y determinar las acciones más

57

adecuadas para mejorar en forma gradual y constante la educación que se impartía y lograr los objetivos educativos de cobertura, pertinencia y calidad. Los procesos de evaluación fueron participativos y no se concentraron en una sola dependencia que actuara como fiscal. En sí, la fase de planeación de los primeros procesos apoyaron la formación y actualización del personal participante, tanto de la dependencia coordinadora y normativa, esto es, el IHEMSYS, como de los planteles que participaron en la evaluación y de las Direcciones Generales a las que estaban adscritos. Asimismo, fue el personal de los planteles evaluados el que participó en la dirección de los procesos de evaluación en los planteles. La evaluación se concibió como un proceso sistemático, periódico y continuo, lo que reafirma la aportación de la Tecnología Educativa a los procesos que se llevaron a cabo. Asimismo, al ser periódico y continuo, se tuvo la intención de que se llevara a cabo en forma repetida y constante, con el fin de conocer el desempeño institucional como un proceso educativo en marcha y tomar de manera continua decisiones orientadas a mejorarlo en forma permanente, más allá de modas o gestiones pasajeras de funcionarios. Los procesos de evaluación fueron procesos de autoevaluación y de evaluación externa. Esto es, el IHEMSYS actuó como evaluador externo respecto a los subsistemas que coordinaba: el CECYTEH, el COBAEH y el Telebachillerato. En tanto que estas instituciones, al participar activamente en los procesos de evaluación le dieron el modo de autoevaluación. Por otro lado, al evaluarse a todo el sistema de bachillerato estatal, el propio IHEMSYS participó en un proceso de autoevaluación. Con base en lo que aquí se expone, se establece que no hubo ni personas ni instituciones ajenas al IHEMSYS y a los organismos de bachillerato estatales que participara en los procesos de evaluación, por lo que no existió la figura de un agente evaluador externo respecto a las instituciones mencionadas. El enfoque general de la evaluación fue de carácter social, por lo que el criterio general establecido fue la pertinencia con el entorno social y el impacto que tenía el proceso educativo en el entorno. En cuanto al fin y a las metas, cabe indicar que no se redactaron específicamente como el ideal a lograr, más que nada se impulsó ofrecer

58

igual oportunidad de acceso a la educación de buena calidad a todos los jóvenes, en el marco de los ideales de educación contenidos en la Constitución de los Estados Unidos Mexicanos y en la Constitución del Estado de Hidalgo.

*Esta sección se apoya en un documento que me hizo el favor de redactar en 1991 la Dra. Carmen Carreón para una publicación sobre la evaluación institucional de los currícula de ingeniería en el nivel licenciatura y que adapté a lo largo de los años de acuerdo con las necesidades del trabajo desarrollado en Hidalgo. 59