EL PAPEL CENTRAL DE LA EVALUACIÓN EN LA MEJORA DEL SISTEMA EDUCATIVO ESPAÑOL Francisco López Rupérez Asesor. Comunidad de Madrid 1. INTRODUCCIÓN En pleno auge de la sociedad del conocimiento y de la información, cuando las demandas que traslada la globalización a los sistemas de educación y formación no dejan de destacarse por los organismos internacionales especializados; en pleno impulso de la Unión Europea para la modernización de sus sistemas educativos y la mejora de su calidad, España se encuentra con una reforma reciente pero, en la práctica, non nata y otra ya anunciada y en gestación; con unas abultadas cifras de abandono escolar en la Educación Secundaria y unos resultados de rendimiento escolar preocupantes, a tenor de las evaluaciones internacionales, no sólo por su mediocridad sino por su nivel de estancamiento a lo largo de toda una década. En estas circunstancias, no se puede ni se debe negar que la educación española tiene un serio problema de resultados. No se puede negar porque los hechos son obstinados; tampoco se debe porque estaríamos haciendo un flaco servicio a los intereses del país, de su presente y de su futuro. En este informe se centra la atención sobre la evaluación y el pilotaje como factores críticos para la mejora de nuestro sistema, se analizan sus fundamentos racionales y empíricos, se avanza en un ejercicio de diagnóstico para, finalmente, concluir con algunas recomendaciones cuya aplicación puede contribuir a la mejora del rendimiento de los alumnos en el sistema educativo español. 2. LA EVALUACIÓN COMO ELEMENTO NUCLEAR DE LOS SISTEMAS EDUCATIVOS AVANZADOS La evaluación de los resultados del sistema educativo en los niveles macro -el sistema considerado globalmente en su dimensión nacional- meso -el sistema en su plasmación regional y micro -los centros y los alumnos en tanto que objeto de análisis-, junto con la investigación que dicha evaluación genera, constituye uno de los exponentes fundamentales del desarrollo de políticas basadas en conocimiento. Pero, además, o precisamente por ello, es considerada en entornos educativos y organizacionales, nacionales e internacionales, políticos y económicos como un pilar indiscutible de todo proceso de mejora que pretenda ser sostenible.

1

2.1 La evaluación en el paradigma de la gestión de calidad La gestión de calidad como paradigma de gestión de las organizaciones -que ha migrado hacia los entornos públicos para inspirar, en buena medida, la llamada nueva gestión pública- es uno de los ámbitos en los cuales el papel de la evaluación en los procesos de mejora ha sido destacado con más vigor. La gestión de calidad se considera total, es decir, global, lo cual supone incidir sobre las personas, sobre los recursos, sobre los procesos y sobre los resultados, promover sus acciones recíprocas y orientar la organización, en su conjunto, hacia la mejora continua. A pesar de ese enfoque sistémico, que constituye uno de los rasgos característicos de la gestión de calidad en el plano epistemológico (López Rupérez,2000), la evaluación de los resultados define uno de los elementos críticos del proceso de mejora. Como ha señalado Berry (1992) refiriéndose a un contexto organizacional “Si Vd. no puede definir la calidad tampoco podrá medirla, y si no puede medirla tampoco podrá lograrla. Y si no puede lograrla, el costo de la mala calidad continuará erosionando las posibilidades de tener un futuro rentable”. Desde el punto de vista metodológico, los procesos de mejora continua se suelen conceptuar en la literatura sobre organizaciones recurriendo al llamado ciclo de Deming o ciclo PDCA (Plan-Do-Check-Act) (Fig.1). La fase de verificar, en donde se confronta lo obtenido con lo planificado, comporta una evaluación tanto de los procesos como de los resultados a fin de completar una imagen causal fiable de los aciertos y de los errores que sea tomada en consideración en la etapa siguiente (López Rupérez,1994). Este comportamiento metodológicamente rico equivale, de hecho, a un comportamiento inteligente en el que los ciclos de mejora son, a la vez, ciclos de aprendizaje para la organización. Fig. 1 – Representación esquemática del ciclo de Deming o método PDCA para la mejora continua

Actuar

Planear

Verificar

Hacer

2

Interesa insistir en que los procedimientos de la mejora continua son claramente deudores de la metodología científica a cuya potencia como instrumento de aprendizaje humano y como herramienta de generación de conocimiento debemos, en buena medida, el nacimiento y espectacular progreso de la ciencia moderna (López Rupérez, 2000). 2.2 Evaluación y pilotaje de los sistemas educativos La conducción o pilotaje de los sistemas educativos es probablemente la aproximación más poderosa para el logro de su mejora; comprende un conjunto de operaciones que puede sintetizarse como sigue (De Landsheer,1996): - Recogida regular de información tan objetiva como sea posible sobre el estado del sistema educativo - Evaluación de esta información - Adopción de las decisiones institucionales más favorables para el sistema y desarrollo de las mismas A pesar de la complejidad de la educación como institución social, de la multiplicidad de factores que influyen sobre ella y de la riqueza de sus interacciones, de los condicionantes de tipo político y de las restricciones de carácter ideológico, buena parte de los países más avanzados han hecho suya la “valentía de la imperfección” y han establecido procedimientos de pilotaje que permiten conducir sus sistemas educativos por la senda de la calidad. Un sistema educativo sin procedimientos adecuados de pilotaje tiene la misma probabilidad de alcanzar metas de calidad -deseables para el futuro de los ciudadanos y de la sociedad- que tiene un conductor con los ojos vendados de llegar a su punto de destino. Nuevamente, se encuentra la evaluación en el núcleo mismo del pilotaje. Una evaluación basada en indicadores que resulten adecuados al ámbito macro, meso o micro al que aquél vaya dirigido. Una evaluación que indique a las instancias de decisión si el sistema avanza o no en la dirección deseada y revele la existencia de problemas que requieren una intervención a tiempo; una evaluación periódica que permita conocer la evolución del sistema, sus tendencias y el impacto de las políticas sobre la realidad educativa y social. Gilbert de Landsheere (1996) resume en una tabla (ver tabla 1), mediante un conjunto de preguntas pertinentes, el tipo de información que, con carácter general, debe proporcionar un buen sistema de pilotaje y señala hasta seis tipos de beneficios: - Una mayor racionalidad política - Una acción educativa, por lo general, más eficaz - Una mayor equidad para asegurar la cual hay que comenzar por identificar las desigualdades

3

- Una información democrática de todos los miembros de la comunidad educativa - Un desarrollo de la investigación evaluativa en educación - Una información sobre datos que resultan esenciales para la práctica de la enseñanza Tabla 1 – Ejemplo de los tipos de información que según De Landsheere (1996) deben proporcionar los sistemas de pilotaje Equidad ¿Están concebidos los programas para asegurar la igualdad de oportunidades, las discriminaciones positivas? ¿Corresponden ¿Es válido el ¿Qué prácticas se ¿Acaso la PRÁCTICAS enseñanza a currículo muestran más REALES EN no está sesgada los objetivos adoptado? eficaces que LAS CLASES en previstos? otras? ¿Qué lecciones extraer función del origen social o étnico, del de lo que sucede en sexo o de la implantación clase? geográfica? ¿Son suficientes ¿Cómo se sitúa el ¿Se observan LOGROS DE ¿Coincide el los perfil alumno medio y el importantes LOS ALUMNOS de competencias logros para alumno del grupo diferencias entre las obtenido con el asegurar superior con categorías deseado? la realización relación a otros más arriba personal y para países? citadas? ejercer una ¿Cuáles son las ciudadanía tasas de fracaso? responsable? ¿Evoluciona el ¿Desciende el nivel ¿Evoluciona el ¿Se percibe EVOLUCIÓN sistema hacia de rendimiento? sistema mejor o alguna más democracia? peor al respecto? que otros? OBJETIVOS DE LOS PROGRAMAS

Coherencia ¿Responde la enseñanza a las necesidades de los alumnos?

Calidad absoluta ¿Son los programas bastante, aunque no demasiado, exigentes?

Calidad relativa ¿Están los alumnos tan bien formados como en otros países?

2.3 Evaluación y benchmarking internacional A pesar de que la evaluación para la conducción de los sistemas educativos constituye una práctica relativamente extendida y consolidada en los países más avanzados, la OCDE, a través del proyecto INES de indicadores internacionales 4

en educación y del Proyecto PISA centrado en el rendimiento de los alumnos, está proporcionando un impulso adicional que permite a los países miembros profundizar en sus sistemas de pilotaje y facilita la comparación internacional con fines de mejora. Mediante esta forma de benchmarking los países pueden identificar su posición relativa en una perspectiva internacional, aprender de los mejores y desarrollar, con menor esfuerzo, sus propios sistemas de pilotaje en el ámbito nacional en el caso de que carecieran de ellos o no estuvieran operativos. Diferentes países miembros de la Organización han profundizado en la información proporcionada por el Proyecto PISA para identificar con mayor claridad sus puntos fuertes y sus áreas de mejora. Recientemente la OCDE, en colaboración con el Gobierno Federal Alemán, ha publicado un estudio que forma parte de las múltiples iniciativas emprendidas por Alemania ante el schock generado por los resultados de PISA 2000. Bajo el título What Makes School Systems Perform? Seeing School Systems Through the Prism of PISA (OCDE,2004a) se analiza el comportamiento de seis de los países occidentales que mejores resultados obtuvieron en la edición de PISA 2000 -Canadá, Finlandia, Francia, Inglaterra, Holanda y Suecia- con el fin de identificar buenas prácticas en materia de definición y de desarrollo de políticas educativas centradas en las escuelas. Una de las cuestiones más relevantes que emergen de los análisis comparados reside en la importancia que todos los países considerados conceden, sin excepción, a los resultados. Ello se refleja en dos rasgos comunes: - La definición y aplicación de estándares de rendimiento en tanto que instrumentos normativos y vinculantes que permiten establecer sin ambigüedad los logros que deben alcanzar los alumnos al finalizar determinados niveles educativos. - La definición de sistemas de seguimiento cuantitativo o de control (monitoring) para el pilotaje de los respectivos sistemas escolares. Según el citado estudio, aunque los enfoques particulares pueden diferir de unos países a otros, todos ellos consideran el seguimiento y la comparación de sus resultados, en términos tanto nacionales como internacionales, como una parte fundamental de su estrategia para asegurar el logro de rendimientos escolares elevados. 2.4 La evaluación como extensión de la democracia Las sociedades avanzadas poseen, por lo general, sistemas educativos avanzados. En esta perspectiva, la evaluación ordenada, coherente y sistemática de la Educación de un país no sólo hay que considerarla como una herramienta para la mejora de esa importante institución social -lo que contribuiría, por vía indirecta, a incrementar la calidad de la democracia- sino que, en sí misma, constituye un modo de hacer partícipe a la sociedad, en general, de los éxitos y de los fracasos de su sistema educativo, el cual concierne a todos y es financiado, en 5

gran medida, por todos los ciudadanos a través de sus impuestos. No resulta coherente defender la educación pública y, a la vez, no impulsar o no apoyar el desarrollo y la aplicación de procedimientos para la evaluación y el pilotaje del sistema educativo en sus ámbitos territoriales. La transparencia del sistema educativo requiere el desarrollo de evaluaciones significativas y periódicas y la difusión de sus resultados. En la reciente Reunión de Ministros de Educación de los países de la OCDE -que tuvo lugar los días 18 y 19 del pasado mes de Marzo en Dublín- los Ministros debatían sobre el papel de la evaluación en la mejora de los sistemas educativos. Todos estaban básicamente de acuerdo tanto en los principios como en la necesidad de su aplicación, pero las diferencias surgieron en la cuestión del grado de transparencia en la difusión de los resultados generados. Había que facilitarlos ¿agregados o desagregados?. ¿Cuál era el nivel de desagregación más idóneo? ¿Las regiones, las ciudades frente al medio rural, los centros....?. En plena discusión sobre los beneficios y los riesgos políticos de las distintas opciones, la voz de un ministro de un país con larga y profunda tradición democrática se elevó sobre todas las demás, para terciar en la discusión afirmando que, en su caso, la máxima transparencia de los datos obtenidos por las Administraciones públicas constituía un mandato constitucional. La transparencia, como un rasgo de calidad de las democracias maduras, se completa con otro vinculado, asimismo, a la evaluación, esto es, la responsabilidad de los poderes públicos y de sus instituciones ante los ciudadanos y ante la sociedad. Si no hay resultados suficientemente objetivos y fiables, sobre los cuales puedan efectuarse juicios fundados, no hay manera de profundizar en la responsabilidad; y sin responsabilidad, sin la asunción generalizada de la idea de dar cuentas de los resultados ante alguien, las mejoras colectivas no son posibles. Los avances de los sistemas educativos en materia de resultados son procesos lentos, difíciles y, con frecuencia, políticamente costosos para quien los promueve. Precisamente por ello, es preciso establecer alianzas con los ciudadanos y con la sociedad para el logro de esas metas de progreso desde una posición de confianza recíproca y de suficiente capital social. En este punto, tanto la transparencia como la responsabilidad se convierten en factores que alimentan ese impulso colectivo y proporcionan la energía necesaria para promover y sostener los procesos de cambio. 3. EL PROBLEMA DE LOS RESULTADOS EN EL SISTEMA EDUCATIVO ESPAÑOL Una consideración rigurosa de la información comparada disponible sobre el sistema educativo español indica con claridad que la educación en España tiene un grueso problema de resultados, que se centra, sobre todo, en torno a la educación secundaria (López Rupérez,2004).

6

3.1 Análisis de una década Esta problemática se había puesto ya sobre el tapete a principios de la década de los noventa tal y como quedó reflejado en las ediciones de entonces de los Indicadores de la OCDE en Educación (OECD,1992;1993). La tabla 2 resume lo esencial de la información facilitada en la edición de Education at a Glance de 1993 y relativa a resultados en lectura, matemáticas y ciencias obtenidos por alumnos de 14 años de edad, con ocasión de un estudio sobre competencias lectoras efectuado por la International Association for the Education (I.E.A.) en 1991 y sobre alumnos de 13 años de edad efectuado como parte del Second International Assesment of Educational Progress (I.A.E.P,II) para Matemáticas y Ciencias. Tabla 2 – Resultados relativos al rendimiento de los alumnos españoles en las materias de Lectura y Matemáticas y Ciencias según los estudios realizados en 1991 por la IEA y la IAEP II, respectivamente. IEA/IAEP II, 1991

Resultados

Lectura1

Posición de España 18/19

456

Matemáticas2 Ciencias2 Sobre alumnos de 14 años 2 Sobre alumnos de 13 años

1

Media países participantes 500

55,40

8/10

60,25

67,60

7/10

67,90

La tabla 3 nos facilita la imagen comparada de España una década después e incluye lo esencial de los datos disponibles a partir del proyecto PISA de la OCDE (OCDE,2001). Tabla 3 – Resultados obtenidos por España en los estudios PISA 2000 y PISA 2003 PISA Lectura

493

Posición España 18/27

Matemáticas

476

Ciencias Resolución de problemas de carácter transversal

2000

de

2003 481

Posición España 22/29

de Media países OCDE

21/27

485

23/29

500

491

19/27

487

21/29

500

---

---

482

23/29

500

500

Aunque, debido al uso de diferentes procedimientos de puntuación y a las respectivas edades de referencia, las cifras no son estrictamente comparables -

7

salvo quizás la relativa a las competencias lectoras- la imagen que emerge de una comparación gruesa es que teníamos un problema de resultados en 1991 y que seguimos teniendo un problema similar más de una década después. Si no fuera porque la conclusión es demasiado contundente, demasiado insoportable, cabría decir que la década de los noventa ha sido una década prácticamente perdida para la educación española vista desde la óptica del rendimiento de los alumnos y en una perspectiva internacional. No cabe ignorar los importantes avances producidos en el sistema educativo español en lo que respecta a condiciones de escolarización, acceso generalizado a la educación infantil, acceso de muy amplias capas de la población a la educación superior, número de profesores en el sistema, gasto por alumno, etc. (López Rupérez, 2004a) pero lo cierto es que los resultados de los alumnos de secundaria en materias básicas y nuestra posición relativa internacional apenas si han mejorado. En el año 1993 y tras un análisis crítico de algunas actuaciones que no suponían, precisamente, una apuesta decidida por los resultados en ese nivel micro propio de los centros educativos, el autor de este informe, escribía para otro lugar (López Rupérez,1994) lo siguiente: “Este alejamiento progresivo de la escuela pública respecto de una orientación dirigida hacia la obtención de resultados evaluables constituye, sin lugar a dudas, un importante factor de riesgo que pudiera muy bien propiciar una evolución de muchos centros y/o de muchas clases hacia un nivel próximo a lo que se ha dado en llamar calidad de supervivencia, esto es, la calidad mínima necesaria para conseguir una alta probabilidad de supervivencia física o social” Y proseguía: “Por este tipo de mecanismos, la consideración de los resultados y de su evolución, en tanto que instrumentos de mejora, ha desparecido, en términos generales, de la cultura de los centros públicos y su implantación no será, desde luego, una operación ni rápida ni sencilla” (pág. 153) 3.2 Dónde está el origen del problema Esa es la pregunta que el autor de este informe se ha planteado una y otra vez a lo largo de estos últimos años durante los cuales, por razones profesionales, ha estado muy cerca de la fuente más completa, respetada y fiable de información comparada en materia educativa, la OCDE. Pertrechado de la máxima objetividad, como opción epistemológica, de una actitud de modestia intelectual y política ante lo que pudiera surgir de los análisis y de la experiencia acumulada en su paso por puestos de responsabilidad en el Ministerio de Educación, ha ido una y otra vez en busca de factores que, plausiblemente, pudieran afectar a la calidad de nuestros resultados y explicar nuestro retraso con respecto a la media de los países de la 8

OCDE. No se reproducirán aquí todos los análisis detallados, pero sí lo esencial de los datos y de los razonamientos de un modo sintético. ¿Serán los recursos? En este peregrinaje intelectual nos encontramos, antes que nada, con los recursos en tanto que factor explicativo. Como primera providencia hay que destacar las limitaciones que presenta este enfoque a la luz de los resultados obtenidos en PISA 2000 y PISA 2003. En el primer caso, un análisis de correlación entre el rendimiento en lectura y el gasto acumulado por alumno a los 15 años indica que sólo el 17% de las diferencias entre países en cuanto a competencias lectoras de sus alumnos puede ser explicado por diferencias en los correspondientes gastos unitarios acumulados (OCDE,2001). La cifra se reduce al 15% cuando se refiere al rendimiento en matemáticas (OCDE,2004b) (Figura 2) lo que lleva a los autores de los correspondientes informes a concluir que, aun cuando un nivel suficiente de financiación condiciona la calidad de la enseñanza, no resulta suficiente para garantizar niveles elevados de rendimiento. Fig. 2 – Relación entre el rendimiento en Matemáticas y el gasto acumulado por alumno entre los 6 y los 15 años expresados en dólares USA convertidos usando las paridades del poder de compra Rendimiento en Matemáticas

Gasto acumulado por alumno a los 15 años ($ USA PPC) Fuente: PISA 2003 (OCDE,2004b, pág. 102)

9

Es cierto que cuando se compara el gasto en centros de enseñanza, en % del PIB, entre 1995 y 2000, por ejemplo, se advierte una reducción de 0,4 puntos porcentuales el pasar del 4,9 % a 4,5% lo que nos sitúa 0,4 puntos por debajo de la media de la OCDE pero no es menos cierto que esta reducción en términos relativos, es un fenómeno bastante común en aquellos países que más han crecido en ese periodo de tiempo tales como Reino Unido (-0,3 puntos), Irlanda (-0,7 puntos), Francia (-0,1 puntos) o Finlandia (-0,7 puntos). Es preciso a este respecto recordar que entre 1995 y 2000 el PIB español creció 39 puntos porcentuales en precios constantes y que el gasto público educativo creció más en términos porcentuales en ese periodo que el gasto público en general. Por otra parte, en lo que concierne a las cifras de 2000 a la que se refieren las fuentes (OCDE,2003) España se sitúa igual o por encima de países como Holanda (4,3 %) o Japón (4,0%) que están a la cabeza en la obtención de buenos resultados escolares (OCDE, 2004b). Cuando se analiza la evolución del gasto por alumno en los niveles de educación no universitaria se advierte entre 1995 y 2000 una moderada convergencia con la media de la OCDE siendo en la educación secundaria donde las diferencias son todavía importantes (5.185 $ vs. 5.957 $). Sin embargo, cuando se compara la riqueza relativa del país, es decir, su capacidad real para gastar y se hace en términos homogéneos -gasto per capita frente a riqueza per capita- España se sitúa entre los países cuyo gasto educativo por alumno ha progresado a un ritmo mayor que su PIB per capita entre 1995 y 2000, lo cual significa que la educación ha constituido, en su conjunto, dentro de nuestras posibilidades, una prioridad (OCDE,2003). No obstante lo anterior, en educación secundaria, al igual que ha sucedido en la media de los países de la OCDE, el incremento de este indicador ha sido nulo. Por otra parte, la mejora observada de un 31 % en ese intervalo en el gasto por alumno en los niveles no universitarios de enseñanza se ha producido por efecto no sólo de la reducción en el número de alumnos sino también por la aportación neta de recursos al sistema. Así, por ejemplo, en algo más de una década (1994/95-2004/2005) y según datos del MEC (2004) mientras que los alumnos se han reducido un 13% en la enseñanza pública no universitaria la plantilla de profesores ha crecido en un 18,7 %. Los anteriores razonamientos no excluyen la necesidad de aportar recursos al sistema para atender nuevas necesidades y promover actuaciones selectivas que resulten prioritarias para impulsar la mejora de los resultados, pero nos hacen dudar seriamente de que el origen básico de nuestros problemas estribe en una financiación deficiente de nuestro sistema educativo. La tabla 4, obtenida a partir de los resultados del estudio PISA2003 (OCDE, 2004b), amplía la información disponible, desde la óptica de los centros educativos, y apoya nuestro escepticismo.

10

Tabla 4 – Comportamiento del sistema escolar español en relación con la media de los paises de la OCDE en lo concerniente a tiempo y recursos invertidos en el ámbito de los centros educativos. Por encima de la media

En torno a la media Por debajo de la media

- Tiempo dedicado a deberes, clases particulares y otros estudios - Asistencia de más de un año a la educación infantil - Variedad de pruebas o evaluaciones del rendimiento de los alumnos - Calidad de las infraestructuras - Clases de recuperación - Pruebas de rendimiento efectuadas por los profesores - Tiempo de instrucción por semana - Semanas lectivas por año - Clases de ampliación - Escasez de profesores bien preparados - Seguimiento de las clases por directores, inspectores o personal externo al centro - Revisión de las tareas de los profesores por otros profesores - Impacto de los recursos invertidos en los centros sobre el rendimiento de los alumnos

¿Serán las condiciones de aprendizaje de los alumnos? La OCDE ha definido tres indicadores para caracterizar las condiciones de aprendizaje de los alumnos, a saber: - El número de horas lectivas en cómputo anual para alumnos entre 7 y 15 años - El número medio de alumnos por aula - El número de alumnos por profesor Para ninguno de esos indicadores los resultados son preocupantes ni proporcionan ningún indicio de que en ellos pueda residir el origen del problema. En los tres casos la situación es globalmente favorable o muy favorable a España. Sólo en lo que respecta al número de alumnos por aula en la ESO estamos 8 décimas por encima de la media de los países de la OCDE. ¿Serán las condiciones de trabajo de los docentes? Para caracterizar este factor clásico de calidad de las enseñanzas, la OCDE fijó su atención en la remuneración y en el tiempo de trabajo de los profesores. De nuevo nos encontramos con condiciones que son globalmente favorables o muy favorables para el sistema educativo español. Sólo el número de horas de enseñanza por año de los profesores de Primaria es mayor que el de la media de los países de la OCDE.

11

¿Será el clima escolar? La edición del 2000 del proyecto PISA arrojó alguna luz inicial sobre un comportamiento diferencial y negativo de los centros españoles con respecto a la media de la OCDE, en lo concerniente al clima escolar (OCDE,2001). El clima de disciplina en España se sitúa bastante por debajo de la media de la OCDE tanto en opinión de los alumnos como, particularmente, en opinión de los directores de los centros. Esos mismos resultados se reproducen en el estudio PISA 2003 destacándose, en opinión de los directores de los centros, las interrupciones de las clases por los alumnos y la frecuente falta de respeto a sus profesores (Ver tabla 5). En todo caso, ese factor sólo es capaz de explicar en una relativamente pequeña fracción las diferencias de resultados (OCDE,2004b). Tabla 5 – Comportamiento del sistema escolar español en relación con la media de los países de la OCDE en lo concerniente al entorno del aprendizaje y la organización escolar según PISA 2003 (OCDE,2004b) Por encima de la media En torno a la media Por debajo de la media

- Factores relativos a los alumnos que afectan negativamente al clima escolar (particularmente interrupción frecuente de las clases y falta de respeto al profesor) - Grado de apoyo que facilitan los profesores a los alumnos - Percepción de los alumnos del clima de disciplina en las clases - Moral y compromiso de los profesores con su tarea - Factores relativos a los profesores que afectan negativamente al clima escolar (particularmente malas relaciones profesor-alumno, falta de atención a las necesidades individuales de los estudiantes) - Moral y compromiso de los alumnos con la tarea de aprender (particularmente en lo que respecta al trabajo con entusiasmo) - Impacto del clima escolar sobre el rendimiento en matemáticas

¿Serán las políticas y las prácticas desarrolladas en el nivel de los centros? El reciente, y sin embargo profusamente citado, estudio de PISA 2003 nos proporciona algunas pistas que, por su interés, merece la pena traer a colación. La tabla 6 resume lo esencial del comportamiento de los centros españoles con relación a la media de los países de la OCDE. Tabla 6 – Comportamiento del sistema escolar español en relación con la media de los paises de la OCDE en lo concerniente a políticas y prácticas escolares Por encima de la media

- Variedad de procedimientos de evaluación de los alumnos - Traslado de la información de las evaluaciones a los padres - Empleo de la evaluación para identificar aspectos que deben de ser mejorados - Autonomía de los centros en su gestión presupuestaria - Definición por los centros de sus políticas de evaluación de los alumnos - Elección de libros de texto por los centros

12

En torno a la media

- Definición por los centros de sus políticas de disciplina - Implicación de las diferentes partes concernidas en las gestión de los centros

Por debajo de la media

- Políticas de admisión selectivas - Empleo de los resultados en pruebas para compararse con otras escuelas - Agrupamiento de los alumnos con finalidad instructiva en función de los resultados de las pruebas - Comparación del rendimiento de las escuelas con el correspondiente al del distrito o al del país - Control de los avances en el rendimiento de la escuela año a año - Valoraciones de la efectividad de los profesores a partir de los resultados de los alumnos - Competencias de los centros en materia de personal - Definición por los centros de sus políticas de admisión de alumnos - Determinación por los centros de los contenidos de los cursos - Capacidad de decisión de los centros sobre los cursos que se ofrecen - Impacto de las políticas y de las prácticas escolares sobre el rendimiento en matemáticas

3.3 De espaldas a los resultados A pesar de la relativa incertidumbre derivada de la búsqueda anterior, algunos indicios surgidos por el camino y los propios resultados, en apariencia modestos, de la búsqueda parecen indicar que nos encontramos ante rasgos generales del sistema que afectan de un modo relativamente homogéneo a todos los alumnos. Una respuesta inmediata, e incluso plausible, a la incógnita planteada en el epígrafe anterior consistiría en identificar la propia estructura del sistema educativo, incluida la ordenación de las enseñanzas, como responsable última de la situación. La coincidencia del ámbito temporal de referencia con el de aplicación de la Ley Orgánica de Ordenación General del Sistema Educativo, podría ser considerado como un argumento objetivo en favor de dicha hipótesis. En mi opinión, existe un factor explicativo aún más fundamental del estancamiento que en la década de los noventa ha sufrido, en cuanto a rendimiento de los alumnos, la educación española. Se trata el nuestro de un sistema educativo que ha evolucionado de espaldas a los resultados. Aun cuando tanto el artículo 61 de la LOGSE como el Título 3 de la LOPEG sientan, atinadamente, los principios generales que deben conformar la evaluación del sistema educativo español, su concreción ha sido francamente modesta. El desarrollo de las actuaciones establecidas en la anteriores Leyes para el Instituto Nacional de Calidad y Evaluación se han visto limitadas, entre otras circunstancias, por dificultades de articulación en torno suyo de los intereses, muchas veces contrapuestos, de las distintas Administraciones educativas en él representadas.

13

Otros factores más generales han influido, sin duda, en la situación; entre ellos cabe citar los siguientes: - Una antigua tradición intelectual en la que priman las aproximaciones literarias y “filosóficas” frente a las de fundamento empírico y científico, con el consiguiente impacto en el enfoque y desarrollo de las ciencias de la educación. - Una desconfianza de origen ideológico con respecto a las aproximaciones cuantitativas que son vistas como tecnocráticas y emparentadas con un economicismo ajeno a los fines superiores de la educación. - Una actitud política, bastante extendida entre las Administraciones educativas y los agentes sociales, de prevención ante la evaluación que es vista más como amenaza que como oportunidad. A ello se ha sumado el hecho de que el desarrollo normativo de la LOGSE y el paradigma educativo generado en torno a ella, hayan puesto el acento en la equidad, entendida como igualdad de resultados, junto con la aceptación en ocasiones explícita, en ocasiones tácita -y, en todo caso, acrítica- de que la rebaja de los estándares académicos era un tributo necesario que pagar para el logro de una educación de igual calidad que alcanzase a todos. Con tales antecedentes, el sistema educativo ha respondido, pura y simplemente, como se esperaba de él. Así, en relación con los resultados de los alumnos, el comportamiento de España es considerado por la OCDE (2001, 2004b), sobre bases empíricas, como representativo de países con sistemas de baja calidad (bajo rendimiento de los alumnos) y alta equidad (elevada homogeneidad de los resultados y baja influencia en ellos de las diferencias entre centros asociadas a factores de carácter socioeconómico). En relación con los centros educativos, el modelo español ha consolidado una posición de baja autonomía en cuanto a los procesos, con un modesto margen de actuación de sus equipos directivos, y una elevada autonomía en cuanto a los resultados, justo al revés de la orientación que predomina entre aquellos países que obtienen buenos resultados escolares (OCDE,2004a). Esta circunstancia queda bien reflejada en los resultados de la tabla 4. En relación con el profesorado y su formación, el esquema se repite por efecto de una desconexión frecuente entre las funciones de evaluación, supervisión e intervención de los poderes públicos así como de una burocratización de la formación, con una renuncia a la evaluación del impacto de ese importante esfuerzo institucional y personal sobre la mejora de los resultados escolares y a la consiguiente reorientación de las políticas, en el caso de que se revelara necesaria. En fin, muy pocas administraciones educativas han desarrollado sistemas mínimamente completos de pilotaje y tan sólo tres de diecisiete han solicitado, con ocasión del desarrollo de PISA 2003, una ampliación de la muestra en su territorio de modo que los resultados de dicho estudio fueran representativos de la 14

población, a ese nivel territorial, y pudieran derivarse de ellos conocimientos relevantes para la conducción del sistema en su ámbito de competencia. 4. LA EVALUACIÓN COMO FACTOR CRÍTICO DE MEJORA DEL SISTEMA EDUCATIVO ESPAÑOL. ALGUNAS RECOMENDACIONES A MODO DE CONCLUSIÓN El principio de Pareto -o regla 20/80- establece que en los sistemas sociales el veinte por ciento de las causas explican el ochenta por ciento de los efectos. De dicho principio, de naturaleza empírica, se infiere como primera derivada la importancia que tiene el diagnóstico de ese conjunto reducido de factores críticos y la priorización de las consiguientes medidas de intervención y de acción. La tesis fundamental del autor del presente informe es que la evaluación del sistema educativo, orientada hacia la mejora de los resultados, se sitúa en las posiciones de más alto nivel jerárquico -dentro de esa colección reducida pero crítica de causas a las que se refiere la regla 20/80- y subtiende un conjunto amplio de influencias benéficas sobre el sistema educativo. Las propias leyes, y mucho más sus desarrollos normativos, se verían igualmente alcanzadas por esa oleada de positivas influencias, el comportamiento del sistema se haría más inteligente y las reformas educativas dejarían de ser consideradas como acontecimientos excepcionales para transformarse en procesos continuos de ajuste, de corrección de disfunciones y de adaptación a las nuevas demandas. Este es, en lo esencial, el modo de proceder de los países más avanzados. Por su propia naturaleza y finalidad, las políticas de evaluación y pilotaje se sitúan más cerca de la esfera de las metapolíticas que de las políticas, es decir, de las políticas para elaboración de políticas. Del elevado rango de su estatuto deriva, en buena medida, su carácter crítico. El sistema educativo español presenta pues, a la luz de las evaluaciones internacionales, un problema de resultados escolares preocupante, particularmente en lo que respecta a la Educación Secundaria. Otros países han pasado en alguna etapa de su reciente historia educativa por momentos parecidos y han sabido reaccionar. Así, por ejemplo, la publicación en los EE.UU. en 1983 del célebre informe A Nation at Risk. The Imperative for Educational Reform constituyó la primera reacción de envergadura ante los malos resultados obtenidos por los EE.UU. en las evaluaciones internacionales de rendimiento escolar, impresionó a los sectores políticos y a la opinión pública en general e impulsó procesos de reforma. El Reino Unido, y en particular Inglaterra, acometió en la segunda mitad de los noventa el desafío que suponían los malos resultados de sus escuelas públicas apoyándose en un buen diagnóstico de las deficiencias, una poderosa visión estratégica y una voluntad política a la altura de los desafíos (Barber,2003). Al cabo de menos de una década, la mejora se ha producido y las autoridades británicas pueden difundir internacionalmente sus resultados como una 15

experiencia de éxito, como un ejemplo de buenas prácticas en las reformas de los sistemas educativos (Hopkins,2004). El caso más reciente de Alemania constituye otro ejemplo de una reacción nacional vigorosa como respuesta a los mediocres resultados obtenidos en evaluaciones internacionales -PISA 2000-. España no puede permitirse el lujo de administrar sosegadamente el status quo de su sistema educativo durante diez años más. Los retrasos producidos en la aplicación de reformas necesarias y orientadas explícitamente a los resultados, no es una buena respuesta a la inmediatez de la acción que el caso requiere. En este apartado final de conclusiones, cabe presentar cuatro recomendaciones de alto nivel de generalidad que pueden contribuir, desde la óptica del presente informe, a mejorar el rendimiento del sistema educativo español: a) Hacer de la mejora de los resultados el elemento central y explícito de las políticas educativas, al menos, durante los próximos diez años Se trata de reorientar, de un modo ordenado y sistemático, las estructuras, las enseñanzas y, en general, las políticas hacia los resultados y de efectuar los ajustes necesarios en todos los demás elementos -recursos, personas o procesos- para lograrlo. Como señala Michael Barber (2003): “ El nuevo desafío -un buen nivel de formación para todos- supone que los resultados se convierten en la constante, en cuyo caso los medios se transforman necesariamente en las variables. Si ciertos alumnos tienen necesidad de un tiempo de aprendizaje más largo para alcanzar buenos resultados, habrá que dárselo. Si otros tienen necesidad de clases individuales intensivas, habrá que garantizárselas. Si con la edad, ciertos alumnos aprenden mejor en un lugar de trabajo o en el seno de la sociedad que en la escuela, deberían tener estas posibilidades. Si diferentes enfoques de la enseñanza y del aprendizaje resultan más adecuados para unos alumnos que para otros, los profesores deberían adaptar su pedagogía. Para que todos los alumnos tengan éxito en su escolaridad, los medios deben ser modificados, tanto como sea necesario” (pág. 118). Una recomendación similar está contenida en el último y reciente informe PISA 2003 de la OCDE para países como España, con bajos niveles de calidad y altos niveles de equidad, según la terminología del estudio (OCDE,2004b, pág. 195). b) Reforzar la concepción y el desarrollo de la evaluación del sistema educativo con fines de pilotaje

16

Las tres últimas leyes orgánicas en materia educativa -LOGSE, LOPEG y LOCE- han aportado avances sucesivos en la definición de la evaluación como factor de calidad y en su orientación hacia el pilotaje del sistema educativo. Aunque la mejora es un proceso continuo, en este ámbito es tiempo ahora más de aplicar y de desarrollar lo legislado, que de legislar. En todo caso, las previsiones contenidas en las nuevas propuestas concretas del MEC (2004) en lo referente a la evaluación no sólo se centran únicamente en las evaluaciones de diagnóstico previstas en la LOCE para la Educación Primaria y la Educación Secundaria Obligatoria, sino que, además, les otorgan un carácter interno y son realizables por los propios centros. Ello no solo nos aleja de los procedimientos al uso en la zona OCDE sino que, además, comporta un retroceso con respecto a los planteamientos de la LOCE (2000) y se sitúa a una enorme distancia de las previsiones y alcance de la evaluación de los centros docentes contenidas en el Artículo 29 de la LOPEG (1995). c) Aprender de otros países Es éste un elemento esencial del llamado benchmarking, en tanto que instrumento de mejora, y puede considerarse como parte de la segunda de las tres fases del pilotaje descritas con anterioridad. El ya citado estudio conjunto OCDE-Gobierno Federal Alemán (OCDE,2004 a) sobre la comparación de los sistemas educativos de los países occidentales que mejores resultados obtuvieron en el estudio PISA 2000, plantea un índice de ámbitos relevantes sobre los que dirigir la mirada los cuales, por su interés, merece la pena mencionar: -

Estrategias para la innovación y la reforma del sistema escolar Devolución de las responsabilidades a las escuelas Sistemas de control (monitoring) Organización y sistemas de apoyo Comprensión y aplicación de estándares Organización de los procesos educativos en las escuelas Integración de los hijos de emigrantes Cómo se enfrentan los países a las diferencias entre los objetivos de rendimiento de los alumnos y sus logros Desarrollo profesional de los profesores

d) Implicar a las Administraciones educativas, al profesorado y a la sociedad en general La naturaleza del cambio que, a tenor de los resultados internacionales, requiere el sistema educativo español hace que éste no pueda lograr sus objetivos sin una implicación franca y leal de las Administraciones educativas, del profesorado y de la sociedad en general. Juega en contra de esa meta la intensificación del movimiento centrífugo del estado 17

autonómico, las profundas huellas de fatiga que las diferentes reformas han dejado en el profesorado y la escasa tradición de la sociedad española como impulsora y animadora de los procesos de mejora de la educación. No obstante, en ello reside, en buena medida, la clave del éxito. Es éste pues el desafío político de mayor envergadura. Hay fundamentos racionales suficientes como para predecir que la generalización de la educación infantil a partir de 3 años y las mejoras notables en el acceso de amplias capas de la población a los estudios superiores, tendrán un efecto positivo y significativo sobre los resultados de rendimiento escolar en la próxima generación. Pero aceptar estoicamente semejante situación es algo que ni nuestros ciudadanos, ni nuestra economía, ni nuestra sociedad pueden ni deben soportar. 5. REFERENCIAS - BARBER, M. (2003) – “Objectifs réalisables et défis stratégiques. Point de vue de l’Angleterre sur la reconceptualisation de l’enseignement public”. En Réseaux d’innovation. Vers de nouveaux modèles de gestion des écoles et des systèmes. OCDE, París. - BERRY, T.N. (1992) – Cómo gerenciar la transformación hacia la calidad total Mc.Graw-Hill. Santa Fe de Bogotá - HOPKINS, D. (2004) – “Quality Education for all, Shared by all”. En Seminario sobre objetivos de los sistemas educativos europeos para 2010. Las políticas nacionales. http://debateeducativo.mec.es - LANDSHEERE, G. de (1996) – El pilotaje de los sistemas educativos. Editorial La Muralla, Madrid. - LÓPEZ RUPÉREZ, F. (1994) – La Gestión de Calidad en Educación. Editorial La Muralla, Madrid. - LÓPEZ RUPÉREZ, F. (2000) – “Gestión de Calidad y mejora escolar. Contexto, fundamento y políticas”. En Hacia una educación de Calidad. Gestión, Instrumentos y Evaluación. VV.AA. Narcea SA de Ediciones, Madrid. - LÓPEZ RUPÉREZ, F. (2004)- “Los problemas del abandono del sistema reglado. Benchmarks europeos y políticas nacionales”. En Seminario sobre objetivos de los sistemas educativos europeos para 2010. Las políticas nacionales. http://debateeducativo.mec.es - M.E.C. (2004) – Una educación de calidad para todos y entre todos. Propuestas para el debate. Madrid. - OCDE (1992) - Education at a Glance OECD Indicators. París - OCDE (1993) - Education at a Glance OECD Indicators. París - OCDE (2001) – Connaissances et competences: des atouts pour la vie. Premiers resultants de PISA 2000. París - OCDE (2003) - Education at a Glance OECD Indicators. París - OCDE (2004a) – What Makes School Systems Perform?. Seeing school systems through the prism of PISA. París - OCDE (2004b) – Learning for Tomorrow’s World. First Results from PISA 2003. París 18