«Cada vez más las escuelas saben que se avanza desde ‘abajo’, sin esperar consignas.»
Escribir sobre esta propuesta es para mí un verdadero reto, porque no soy especialista en este campo de la evaluación y muy a menudo, en mi entorno, me encuentro con compañeros que rechazan pensar en evaluaciones del ‘sistema’, ya sea de las escuelas, del profesorado o del aprendizaje de los estudiantes. Todas las críticas sobre cómo se plantean habitualmente estas evaluaciones tienen su fundamento, pero también es cierto que no se proponen alternativas. Y estoy de acuerdo con Paulo Freire cuando decía: «Creo que hay entre nosotros un mito negativo sobre la evaluación. Pienso que no hay ninguna práctica que no se tenga que evaluar. La planificación de la práctica se debe revisar constantemente y sólo se puede revisar en la medida que se va evaluando». Pero es evidente que tal como se está ‘evaluando’ actualmente no conlleva revisar prácticas y tomar decisiones útiles y gratificantes.
Evaluar todo un sistema educativo es algo muy complejo y está fuera de lugar pensar que unas pruebas pasadas en diferentes etapas de la escolaridad nos darán suficiente información para tomar decisiones. Son muchos los posibles aspectos a considerar en un sistema y no es lo mismo evaluar los resultados académicos del sistema escolar de un país, que evaluar el funcionamiento de una escuela, o evaluar el ‘sistema político-organizativo’ cuya función sería la de consensuar socialmente unos objetivos educativos para toda la población y legislar sobre como alcanzarlos. Las tres evaluaciones están interrelacionadas y los datos pueden compartirse, pero la toma de decisiones, que es lo más importante en una evaluación, será muy distinta.
En la actualidad está sucediendo que se dedica mucho presupuesto y tiempo a la recogida de datos, principalmente a partir de pruebas estandarizadas, pero muy poco a su análisis para poder comprender el porqué de dichos resultados y, aun menos, a la toma de decisiones, por lo que el proceso es muy ineficiente. Diseñar y aplicar PISA, por ejemplo, es muy costoso, pero en cambio se dedica muy poco tiempo y dinero al análisis de los muchos datos que proporciona, y aun menos a poner en práctica lo que se pueda deducir de dicho análisis. Recoger muchos datos y no llegar a poder entender las posibles causas que los explican ni a tomar decisiones, es perder tiempo y dinero.
Un ejemplo: los resultados de las pruebas PISA en Cataluña pusieron de manifiesto que una de las correlaciones más altas se daba entre dichos resultados y el nivel de estudios de las madres (no de los padres). Ello permitía deducir que mandar deberes tradicionales para realizar en casa es un factor importante de inequidad social (las madres son las que habitualmente ayudan en la realización de estos deberes). Una decisión en el marco de las escuelas comportaría revisar esta práctica con los miembros de la comunidad educativa -docentes, familias e incluso los propios aprendices- y plantear alternativas. Y en el marco del sistema administrativo-político sería la de promover y legislar otras prácticas pedagógicas.
El gran problema es cambiar lo que se viene llamando “cultura de la evaluación”, es decir, para qué evaluar, con qué finalidad. En general, siempre se cae en la (calificación – clasificación, ordenación-), sea de alumnos, docentes, escuelas o países. Se trata de decir quién es el mejor y cuál el peor. Esta evaluación no sirve para nada (sólo para generar premios y castigos, titulares en los periódicos o fomentar la competitividad). Por eso genera tanto rechazo. Un cambio en la cultura evaluativa comportaría concebir la evaluación como la actividad que posibilita aprender (tanto a cada uno de los estudiantes como al sistema). Por eso toda evaluación debería pensarse desde la posibilidad de tomar decisiones que posibiliten avanzar (muy distintas de las de calificar) y ello requiere poder comprender las causas de las dificultades que se detectan.
Evaluación de los resultados ‘académicos’ de un sistema educativo
Desde hace unos años, en todo el mundo se ha generado un interés por tener datos sobre los aprendizajes de los estudiantes y en función de ello se han generado muchos tipos de pruebas estandarizadas, ya sean comunes a muchos países, ya sean aplicadas sólo en el marco de cada país o comunidad.
En principio responden a la necesidad de poder comprobar si realmente las escuelas promueven aprendizajes relevantes y, al menos en teoría, poder tomar decisiones para mejorar el “sistema”. El primer problema reside en la ‘visión’ de lo que es importante que la escuela ayude a aprender en la escuela, ya que muchas veces responde a la ideología de los diseñadores de pruebas y de currículos. En el caso de las pruebas PISA, las personas que las diseñaron son todas muy reconocidas en el campo de la didáctica de las disciplinas que se evalúan y, por tanto, no sería necesario inventarse otras. No son memorísticas y además de los ‘conocimientos’ que muestran lo estudiantes, PISA recoge muchos más datos sobre sus intereses, hábitos…, y también de sus familias y escuela, por lo que se obtiene mucha información, que es abierta y se puede utilizar para establecer posibles correlaciones.
En general, este tipo de pruebas sólo informan acerca de conocimientos que hasta hace poco se han considerado básicos en el aprendizaje escolar: leer, escribir y resolver problemas de matemáticas y de ciencias. Pero desde una mirada más actualizada, no tiene demasiado sentido que sólo se tengan datos de estos tipos de aprendizajes. Es cierto que PISA ya ha empezado a evaluar, por ejemplo, la capacidad de resolver problemas colaborativamente (y nos podríamos preguntar por qué de estos resultados prácticamente no se haya hablado ni en los periódicos ni en las escuelas). Pero hay muchos más campos del saber de los que sería deseable tener información para poder tomar decisiones de mejora como, por ejemplo, la creatividad, la autonomía, la gestión de las emociones, el pensamiento crítico…
Por tanto, el problema no es si PISA o las pruebas de competencias actuales son buenos sistemas de evaluación. Sólo son sistemas de recogida de unos datos, que en muchos casos podrían ser útiles, pero que sólo se refieren a unos pocos campos del saber. Sin embargo, evaluar es mucho más, es comprender qué es lo que nos dicen estos datos y llegar a tomar buenas decisiones para avanzar en la superación de los retos que plantea su análisis.
Si algo han demostrado los distintos sistemas de evaluación aplicados basados en pruebas estandarizadas es que, en general, hasta ahora no han conllevado una mejora de los sistemas educativos de cada país. Por ejemplo, los resultados han variado muy poco a lo largo de los 18 años de PISA. Aun así, la previsión es que cada vez aumentarán más este tipo de pruebas y nos podemos preguntar por qué se continúan proponiendo (en estos momentos, una primera respuesta es que es una fuente de negocio para las empresas que las promueven y diseñan).
Evaluación de las escuelas y en el marco de cada escuela
En nuestro país, la evaluación de las escuelas se relaciona básicamente con la que lleva a cabo la inspección y éste seguramente es uno de los problemas de partida, ya que la ‘imagen’ que se tiene de esta institución es la de control y no tanto la de ayuda en los procesos de mejora. Además, los procesos de evaluación están muy burocratizados – continuamente se han de proporcionar muchos datos a la administración y llenar muchos formularios-, cosa que conlleva mucho tiempo sin que se pueda reconocer su utilidad.
En general, se tienen pocos datos sobre el funcionamiento del sistema-escuela, cómo se organizan los equipos docentes, de qué hablan, el grado de acuerdo entre ellos, cómo se actualizan, cómo se utiliza el tiempo de las reuniones, cuáles son sus expectativas sobre el aprendizaje de sus alumnos, con qué finalidad, cómo y cuando se evalúa, etc. etc. Sorprende que sobre ello tengamos tan pocas evidencias, cuando es sabido que son las variables sobre las que es importante incidir.
De todas formas, ha habido y seguramente hay buenas experiencias que muestran que se pueden evaluar las escuelas de una forma gratificante. Por ejemplo, en los años 80 se desarrolló un cuestionario que abordaba algunas de las variables descritas anteriormente (QUAFE-80) y se comprobó que, en aquel momento, en Cataluña sólo un 5% de las escuelas tenían equipos cohesionados y se podían considerar ‘innovadoras’. Estos datos se contrastaron con los de participación en actividades de formación permanente (escuelas de verano, seminarios, equipos de trabajo, cursos de todo tipo…) que era del 35% de los docentes (muy alta si se tiene en cuenta que por aquel entonces no había ningún incentivo para ello). Este análisis permitió concluir que la formación permanente tenía que ser ‘institucional’ y llegar a los maestros que no se formaban por iniciativa personal. En función de ello se organizó un plan de “Formación Institucional (FOPI)” –en el que participaban todas las escuelas de una zona- y en el que no sólo se promovía una formación de los maestros, sino también en problemas relacionados con la ‘organización del sistema’ detectados, como el de la sustitución de los docentes cuando faltaban unos pocos días, o la falta de materiales didácticos. Es decir, la toma de decisiones incidió a muchos aspectos del ‘sistema’, aunque la formación de los maestros y de los equipos directivos fuera clave. Y este plan también se evaluó en su fase piloto para poder mejorarlo.
También muchas escuelas utilizan datos recogidos a partir de las pruebas estandarizadas para tomar decisiones de mejora. Por ejemplo, un instituto decidió pasar a sus alumnos preguntas PISA liberadas para poder valorar cuáles eran sus puntos fuertes y qué priorizar para avanzar. Pudieron comprobar que los resultados de sus alumnos eran mejores que las calificaciones que les daban los profesores y también posibilitó identificar que la escritura era un reto a plantearse. Estas valoraciones propiciaron un trabajo colectivo para mejorar la expresión escrita desde todas las áreas. En otro decidieron incidir, también desde todas las áreas, en el desarrollo de la competencia matemática, después de comprobar que los resultados en las pruebas estandarizadas no eran los deseables. Cabe destacar que una evaluación del ‘sistema escuela’ (aunque sea sólo de los resultados de un campo del conocimiento) comporta tomar decisiones que afectan a todos y no sólo a unos pocos. Fue una sorpresa comprobar la gran cantidad de ‘matemáticas’ que se aprendían en todas las áreas.
Tal como podemos deducir del estudio recogido por Hattie (2017), si la autoevaluación y las altas expectativas son las intervenciones didácticas que generan mayor impacto en el aprendizaje de los alumnos, también en el marco del sistema-escuela es importante que se den estas dos condiciones. Por un lado, autoevaluación, a partir de datos: cuestionarios, observaciones, pruebas…, que pueden ser estandarizadas o no. Y por otro, estar convencidos que si entre todo el equipo se consensuan decisiones para poner en práctica colectivamente, la escuela como tal puede avanzar.
Evaluación del sistema político-organizativo de un país
Pero uno de los problemas más importantes y difíciles de resolver en el campo de la educación es la evaluación del sistema político-organizativo. Una de las causas (ni mucho menos la única) es el cambio en los gobiernos que marcan las elecciones. Aplicar un proceso evaluativo del sistema con sentido requiere tiempo, primero, para consensuar el qué y el para qué, que en nuestro país está demostrado que es algo imposible. Y suponiendo que se llegara a un consenso, muchas veces la toma de decisiones la tendría que aplicar un nuevo gobierno y ya sabemos que siempre se vuelve a empezar. Por tanto, lo máximo que se evalúan son algunos programas.
En España tenemos el INEE (antes INCE) y en las distintas autonomías se han creado Institutos de Evaluación o instituciones similares, que generan muchos informes, pero sin que se lleguen a tomar decisiones que permitan avanzar colectivamente. Además, estos institutos recogen datos de estudiantes, maestros, escuelas o programas concretos, pero no conozco que evalúen al propio sistema. Por ejemplo, uno los temas que me parecería más interesante de evaluar es el de si la organización de los ministerios y consejerías es ‘eficaz’ y ‘eficiente’, y si toda la burocracia que se pide a las escuelas sirve para algo.
Reflexiones finales
Como señalaban Rodríguez Martínez, Gimeno Sacristán y Imbernón (2017) “Nadie debería oponerse a que se evaluara el sistema educativo como servicio público al que se demandan ambiciosas metas definidas socialmente y en el que se invierten muchos recursos. Las evaluaciones sirven para conocer su estado en el que se encuentra lo evaluado recogiendo evidencias y para que sus conclusiones informen sobre procedimientos democráticos de decisión y mejora. Su principal objetivo sería vigilar que no se relajen los principios rectores de un sistema educativo democrático: la responsabilidad educativa, el aprendizaje del alumnado, la solidaridad, la igualdad, la libertad de pensamiento, así como la inclusión y el fomento de la convivencia, entre otros valores propios de una sociedad democrática y se mejoren progresivamente”.
Si estamos de acuerdo en esta premisa, necesitamos imaginar nuevas formas de evaluar el sistema que nos permitan mejorar sin reducir ni limitar el aprendizaje de los alumnos” y, añadiría, de las escuelas y sus profesores, y en general, de todo el sistema. No es un reto fácil, y difícilmente vendrán propuestas interesantes desde ‘arriba’. Pero cada vez más las escuelas -y los miembros de la comunidad que las conforma-, saben que se avanza desde ‘abajo’, sin esperar consignas.
Bibliografía:
Darder, P., & López, J.A. (1984). El QUAFE 80. Su utilización y resultados de su aplicación en la escuela pública de Catalunya. Cuadernos de Pedagogía, 114, 36-40.
Neus Sanmartí: es doctora en Ciencias Químicas en la Universidad de Barcelona y se especializó en Didáctica de las Ciencias. Actualmente es catedrática y profesora emérita del Departamento de Didáctica de las Matemáticas y de las Ciencias Experimentales de la Facultad de Ciencias de la Educación de la Universidad Autónoma de Barcelona. De 2002 a 2008 dirigió el Institut de Ciències de l’Educació de la UAB.