El programa PISA de la OCDE

Fiorella García Hernández. Lic Primaria 2 C Teoría pedagógica

El programa PISA de la OCDE ¿Qué es y para que sirve?

El nombre PISA corresponde a las siglas de Programa para la Evaluación Internacional de Alumnos y se trata de un rpoyecto de la OCDE cuyo objetivo es evaluar la formación de los alumnos cuando llegan a la etapa final de enseñanza obligatoria. la evaluacion cubre las áreas de lectura, matemáticas y competencia científica. LOS EXÁMENES     Cada uno es una combinción de preguntas con una única respuesta correcta. PISA utiliza la herramienta de preguntas con opción múltiple, no todos los alumnos tienen el mismo examen, hay 13 cuadernillos diferentes. LA MUESTRA Se utilizan muestras respectivas entre 4, 500 y 10, 000 estudiantes por país, esto permite realizar inferencias en el país en su totalidad. LOS RESULTADOS Provee información sobre el contexto personal, familiar y escolar de los aprticipantes de la muestra. Permite tender indicadores sobre las tendencias de cada país y el conjunto de países involucrados en cada proyecto. Los datos arrojados por la prueba pretende constituirse en la base para la investigación y análisis de mejores políticas de educación. MÉXICO Y PISA Fue desarrollado entre 1997 y 1999 y aplicado por primera vez en el año 2000 apoyados por miembros de la OCDE. El primer ciclo de evaluaciones se aplicó en 2000 y 2002 en un total de 43 países. ¿QUÉ EVALÚA PISA? Esta diseñado para concocer las competencias, habilidades, pericia y aptitudes de los estudiantes para analizar y resolver problemas para manejar información y resolver problemas. Se oncentra en la evaluación de tres áreas: competencia lectora, matemática y científica. EVALUACIÓN CÍCLICA Se realiza cada tres años con el fin de permitir a los países supervisar adecuadamente el desempeño y valorar el alcance de las metas educativas propuestas LO QUE EVALÚA Y NO EVALÚA PISA Esta diseñada para evaluar los contenidos específicos fijados en los programas de la escuela. Se centra en el reconocimiento y valoración de las destrezas y conocimientos adquiridos por los alumnos. Los resultados describen el grado en que se presentan las competencias estudiadas y permiten observar la ubicación de los resultados de cada país. EVALUAR LAS COMPETENCIAS Busca identificar las capacidades, habilidades y actitudes que permiten a la persona resolver problemas y situaciones de la vida. El Instituto Nacional para la Evaluación de la educación define competencia como "un sistema de acción complejo que abarca habilidades intelectuales, actitudes y otros elementos no cognitivos como motivación, valores y emociones que son adquiridos y desarrollados por los individuos a lo largo de la vida. LAS TRES COMPETENCIAS EVALUADAS POR PISA Lectora Se entiende por competencia lectora la capacidad de un individuo para comprender, utilizar y re exionar sobre tex- tos escritos, con el propósito de alcanzar sus objetivos personales, desarrollar su conocimiento y sus capacidades, y participar en la sociedad. A la vez que se pone a prueba la capacidad del alumno para discernir los tipos de texto y entender sus respectivos lenguajes, se evalúan las competencias especificamente cognitivas frente al texto.. En resumen, se evalúa la capacidad para recuperar información, interpretar un texto y reflexionar sobre su contenido. Matemática Implica la capacidad de un individuo de identi car y entender el papel que las matemáticas tienen en el mundo, para hacer juicios bien fundamentados y poder usar e involucrarse con las matemáticas. Los procesos que el estudiante debe realizar corresponden con tres grados de complejidad. En los procesos que el PISA llama de reproducción se trabaja con operaciones comunes, cálculos simples y problemas propios del entorno inmediato y la rutina cotidiana. Los procesos de conexión involucran ideas y procedimientos matemáticos para la solución de problemas que ya no pueden de nirse como ordinarios pero que aún incluyen escenarios familiares; además involucran la elaboración de modelos para la solución de problemas. El tercer tipo de procesos, los de reflexión, implican la solución de problemas complejos y el desarrollo de una aproximación matemática original. Los niveles de competencia en matemáticas Para efectuar la evaluación en el área de matemáticas se han establecido seis niveles de competencia tanto en la escala combinada: Nivel 6 (más de 668 puntos). Los estudiantes que alcanzan este nivel son capaces de conceptualizar, generalizar y utilizar información basada en sus investigacio- nes y en su elaboración de modelos para resolver problemas complejos. Nivel 5 (de 607 a 668 puntos). En este nivel los estudiantes pueden desarrollar y trabajar con modelos para situaciones complejas. Nivel 4 (de 545 a 606 puntos). Los estudiantes son capaces de trabajar efecti- vamente con modelos explícitos para situaciones complejas concretas. Nivel 3 (de 483 a 544 puntos). Quienes se sitúan en este nivel son capaces de ejecutar procedimientos descritos claramente, incluyendo aquellos que requieren decisiones secuenciales. Nivel 2 (de 421 a 482 puntos). En el segundo nivel los alumnos pueden inter- pretar y reconocer situaciones en contextos que requieren únicamente de in- ferencias directas. Nivel 1 (de 358 a 420 puntos). Los estudiantes son capaces de contestar pre- guntas que impliquen contextos familiares donde toda la información rele- vante esté presente y las preguntas estén claramente de nidas. Ciencias Ser competente en el área de las ciencias implica, no sólo tener cierta información científica y la habilidad para manejarla, sino comprender también la naturaleza del conocimiento científico y de los poderes y las limitaciones que dicho conocimiento tiene. La competencia científica incluye los conocimientos científicos y el uso que de esos conocimientos haga un individuo para identificar preguntas, adquirir nuevos conocimientos, explicar los fenómenos científios y sacar conclusiones basadas en evidencias, sobre asuntos relacionados con la ciencia. Las tareas que los estudiantes deben realizar para la evaluación de su competencia en el área de ciencias consisten en describir y explicar fenómenos científicos, interpretar evidencias y conclusiones científicas y manifestar su comprensión del proceso de investigacioón científica. Los problemas planteados involucran contenidos y conceptos de la Física, la Química, las Ciencias biológicas y las Ciencias de la tierra y el espacio. UNA FORMA RICA Y COMPLEJA DE EVALUAR La riqueza de las pruebas escritas, cuyos reactivos y preguntas proponen una gran variedad de operaciones intelectuales que permiten al alumno mostrar sus conocimientos y habilidades. De entrada, la prueba PISA no está diseñada para responder a la preguntas como “Saben leer o no saben leer”. Se trata de indagar cuáles de las habilidades y destrezas necesarias para bene ciarse de la lectura, para comprender los textos y usarlos en la búsqueda de conocimiento, son ma- nejadas por los alumnos y en qué grado. PISA está pensado para proveer herramientas a los países en el diseño de políticas públicas que bene cien la educación. La de nición de los grados y tipos de competencia permite facilitar el diagnóstico de los aspectos que necesitan atención en un sistema educativo. EL CONTEXTO, DONDE LA PRUEBA COBRA SENTIDO Una pieza clave en la e cacia del proyecto PISA, es la aplicación de cuestionarios destinados a explorar los antecedentes y circunstancias de los alumnos que realizan la evaluación. Tanto los alumnos examinados como los directores de las escuelas reciben estos cuestionarios junto con la prueba. ¿QUÉ HACER CON LOS RESULTADOS DE PISA? Los resultados de PISA han sido inquietantes para muchos países. Algunos han celebrado y otros han lamentado esos resultados, pero pocos han permanecido indiferentes. El gran desafío está, sin duda alguna, en salir de las reacciones momentáneas y pasar a la más laboriosa pero prometedora tarea de analizar a fondo los resultados de las evaluaciones, y empezar a diseñar y poner en práctica políticas públicas adecuadas a la atención de los problemas descubiertos.  

La prueba ENLACE para la educación básica Una evaluación para el Instituto Nacional para la Evaluacion de la Educación

LA VALIDEZ La validez de criterio se evalúa al comparar los puntajes de la prueba con una o más variables externas –llamadas criterio, que pueden ser medidas al mismo tiempo o posteriormente– que se considera proveen una medición diferente de las conductas o caracteriísticas en cuestión. CONFIABILIDAD El concepto de con abilidad fue introducido por el psicólogo británico Charles Spearman, quien lo denominó como el coeficiente de correlación entre una mitad y la otra de varias mediciones de la misma cosa. ALINEACIÓN A LOS REFERENTES El documento incluye un análisis de las áreas del currículo que evaluará la prueba, que pre- cise los subdominios y contenidos, así como competencias y niveles de demanda cognitiva que se deberán cubrir. Un elemento clave para valorar el grado en que ENLACE deviene del contenido curricular y su marco teórico es la inestabilidad del currículum en México. Como referencia contextual, únicamente se señala que durante el periodo de diseño y desarrollo de la prueba el currículo varió en numerosas ocasiones, incluso presentando cambios que se anunciaron un día hábil antes del comienzo del año escolar. ALINEACIÓN DE LA PRUEBA CON EL CURRÍCULO Otro factor imprescindible que permite trabajar en favor de la consecución de la validez de contenido es el análisis del dominio educativo, tanto en su estructura (subdominios que lo integran), como en relación con las especificaciones de contenido que permiten orientar el diseño de reactivos. Esta estrategia es habitual en pruebas referidas al currículo. La composición de cualquier prueba referida a un diseño curricular se debe apoyar en criterios de selección de los contenidos, que reflejen la importancia diferencial de los mismos, como expresión de la relevancia de los aprendizajes logrados. Este aspecto, que comúnmente se identifica en la literatura como densidad diferencial del dominio curricular es difícil de llevar a la práctica. En el caso de las pruebas ENLACE, y al igual que se comentó en los dos puntos anteriores, se desconocen los procedimientos que siguieron o los criterios que utilizaron los especialistas de la DGDC para determinar la importancia relativa de contenidos o para decidir el dominio de contenido a evaluar en cada prueba. El tamaño de la prueba se justifica metodológicamente con base en dos dimensiones. La primera se re ere a los contenidos a cubrir en la evaluación. El tamaño según esta dimensión se justifica con base en los análisis de contenidos y curriculares que se llevan a cabo a fin de seleccionar los tópicos de la prueba y desarrollar los reactivos que la conformarán. En el caso de ENLACE no se cuenta con una justificación metodológica para el dimensiona- miento de la prueba (número de reactivos) y de sus partes, porque las tablas de especificaciones están de nidas en número de ítems y no de ponderaciones, ni se tiene un estimado del error teórico propuesto. Tampoco se presenta un estudio especíco sobre fatiga de los estudiantes que se relacione directamente con el tamañoo de la prueba. El Manual de ENLACE 2013, por ejemplo, dice: “La segunda dimensión explícita corresponde a los niveles de complejidad, de nidos por una taxonomía o por una clasificación de las demandas cognitivas. Esta dimensión es necesaria para definir la dosificación de reactivos con la cual construir el Banco Nacional de Reactivos y la organización de la prueba misma” ESPECIFICACIÓN GENERAL Y ESCRITURA DE ÍTEMS Otro elemento básico a tener en cuenta en el diseño de pruebas es la redacción de ítems. Cier- tamente los reactivos deben representar las unidades del dominio educativo (universo de medida) que se consideran relevantes en la evaluación como muestra del desempeño. Para que ese objetivo se cumpla es importante que se estructure el procedimiento de escritura de ítems, de manera que se atienda con rigor si los reactivos representan el contenido a evaluar y si éstos se adaptan al nivel de desempeño que se espera que pueda darse en la enseñanza como expresión de las oportunidades de aprendizaje que se brindan a los alumnos. En los manuales técnicos de ENLACE hay información básica sobre las clases de reactivos: individual, padres, hijos, pero no se cuenta con documentos citados en ellos y que se supone se entregan a los diseñadores y revisores de ítems, donde posiblemente se encuentra esta in- formación específica. ASPECTOS PSICOMÉTRICOS Los manuales técnicos detallan los criterios fundamentales para seleccionar los contenidos programáticos en Español y Matemáticas: 1) relevancia; 2) documentabilidad; 3) plausibilidad; 4) continuidad y; 5) abarcabilidad. Para Ciencias naturales se consideraron además estos factores: 6) esencialidad; 7) continuidad; 8) aplicabilidad; 9) actualidad; 10) interdisciplinariedad. No aparece ninguna mención a que haya este tipo de criterios utilizados para otras materias, con ello se pierde una evidencia que permita fundamentar el diseño de la prueba. En cuanto a la validez de criterio, se recibió información muy incompleta sobre un estudio que relacionó los resultados de ENLACE con los de una prueba de Australia (denominada SEP-ISA) que toma como criterio un conjunto de reactivos de la prueba PISA, lo cual no deja de ser un buen propósito si no se puede contar con la documentación de manera formal, ya que no vienen datos formalizando el estudio, solo algunas diapositivas en una presentación a la cual le faltan explicaciones y aclaraciones, lo cual hace suponer que se trata de información proporcionada por el autor durante su presentación verbal. ENLACE se propone con una periodicidad anual organizada en dos áreas sustantivas de competencias generales del currículum educativo (matemáticas y Español). Se alternan cuatro materias (Historia, Geografía, Ciencias, Educación Cívica y Ética) a lo largo de cuatro años. La justificación de esta periodicidad y elección de temas aparece enunciada en forma básica general, porque no se tiene evidencia de que haya habido un acuerdo de Consejo, o una instrucción secretarial, por ejemplo. Por las características de ENLACE que depende de la autoridad federal de educación, esto puede parecer su ciente para los fines del MT, pero pudo documentarse mejor para esta evaluación. CRITERIOS TÉCMICOS SOBRE LA CALIDAD DE LOS ÍTEMS Y DE LOS BANCOS DE REACTIVOS No se cuenta con una normativa para el mantenimiento de los bancos de reactivos. En el MT se menciona que hay criterios para ello, pero no se indican los valores de referencia en forma sistemática, deben localizarse dentro del texto. Si se considera la información disponible en el MT se puede considerar como no convincente. No se encontró una guía de interpretación general para la prueba, aunque hay materiales de apoyo en el portal de la SEP que pudieran considerarse como suplentes de esta necesidad. La guía de interpretación, disponible en el reporte impreso, ayuda al alumno y a los padres a identi car la respuesta correcta de cada reactivo, los errores en las respuestas incorrectas y la forma de interpretar la clasificación de los niveles y subniveles de logro. Guías semejantes a éstas se tienen en pruebas nacionales e internacionales, como en los informes de PISA. CRITERIOS TÉCNICOS SOBRE LA CALIFICACIÓN Y LOS NIVELES DE DESEMPEÑO Es una prueba de calificación criterial, relativa a las competencias descritas en las tablas de especificaciones y con el modelo de calificación y puntos de corte asociado a criterio de jueces. La calificación se realiza con el modelo clásico usando ITEMAN y con el software Bilog siguiendo el modelo de tres parámetros de la TRI que es un modelo descriptivo, no invariante (depende de cuántos y cuáles ítems se contestan por la persona) y posteriormente debe hacerse el cambio de escala para reportar la calificación en el intervalo 200-800. ATENCIÓN A LA DIVERSIDAD CULTURAL Se propusieron los siguientes criterios de validez cultural: 1) Marco conceptual de la prueba; 2) Especificación de las poblaciones; 3) Estrategia para considerar diversidad cultural, linguística y socioeconómica; 4) Especificación de ítems; 5) Profesionales involucrados en el desarrollo de los ítems; 6) Representación de poblaciones diversas en las muestras de estudiantes piloto; 7) Validación cognitivo-cultural; 8) Revisión; 9) Análisis de sesgo; 10) Estudios de generalizabilidad; 11) Tiempos y calendarios y; 12) Mecanismos de corrección. A petición del INEE, la DGEP proporcionó unos material adicionales que fueron también analizados. Este informe integra los resultados obtenidos a partir tanto de los documentos iniciales como de los documentos adicionales de acuerdo con cada uno de los doce criterios de validez cultural. ESPECIFICACIÓN DE ÍTEMS Al igual que con el marco conceptual, no se encontró en los documentos examinados una metodología rigurosa que permita el desarrollo sistemaático de los reactivos. Debido a la ausencia de esa metodología, no existe mención alguna de acciones que deben tomarse para asegurar que los formatos de los reactivos consideren la diversidad regional, de género, cultural, linguística y socioeconómica del país. Independientemente del descuido de estos aspectos, las especificaciones que se proporcionan para elaborar reactivos son extremadamente generales, lo que provoca que se les interprete de maneras muy distintas por los autores de los reactivos. La ausencia de especi caciones detalladas para la elaboración de reactivos provoca una variedad tremenda entre los reactivos que se consideran como del mismo tipo y contribuye sustancialmente a la varianza de error. APLICACIONES Durante la aplicación de las pruebas se busca que no haya irregularidades que puedan afectar las respuestas de los alumnos. Comprende, principalmente: motivar la respuesta de los alumnos; contar con procedimientos estandarizados para lidiar con la no respuesta y prevenir y enfrentar la copia o cualquier tipo de fraude; implementar mecanismos de control de calidad que permitan asegurar que las condiciones de administración de la prueba sean estandarizadas, que se realicen conforme a lo plani cado y se aseguren los materiales y las respuestas de los alumnos. La creciente participación de diversos países latinoamericanos en las principales evaluaciones estandarizadas internacionales ha posibilitado comparar las prácticas nacionales en la materia, compartir experiencias, adoptar criterios de calidad relativamente homogéneos e identificar oportunidades de mejora. El manual del coordinador de aplicación de la muestra controlada especifica que el coordinador de la aplicación de la muestra deberá verificar que las pruebas extra y las hojas de respuestas (prellenadas) coincidan con el folio asignado en ENLACE. Si la hoja no está prellenada, deberá llenarse ahí mismo con la información proporcionada por el director. Al nal de la aplicación se veri ca que las personas que llenaron las hojas y las están entregando coincidan con la lista contenida en el “Formato para el Control de la Aplicación en el Aula” (este formato es firmado por el coordinador de la aplicación y el docente aplicador en el aula). Hay previsiones de orden general sobre pasos de la aplicación y posibles contingencias. Se menciona un formato para consignar lo relativo a eventualidades o desviaciones del proceso, sin embargo, el registro de las irregularidades en el formato es abierto. Para analizar en detalle la aplicación se requiere una tipi cación de los casos presentados en una aplicación y su frecuen- cia, esto seguramente requerirá que en futuras aplicaciones los formatos incluyan categorías específicas de irregularidades que se buscan controlar y se mantenga la oportunidad para el registro abierto de otro tipo de irregularidades. USOS Y CONSECUENCIAS El grado en que ENLACE se usa en las formas previstas y produce los resultados esperados, por ejemplo, no se puede establecer directamente con análisis psicómetros, sino que requiere recolectar y sintetizar fuentes de información de distinto tipo (cuantitativo y cualitativo), origen (SEP, INEE, prensa, entrevistas, observación directa, y otros), y granularidad (de nivel individual, o agregados por aula, escuela o estado). El manual técnico detalla los propósitos, usos, y audiencias previstas de la prueba ENLACE. Aunque los usos previstos no se sintetizan explícitamente, el manual hace mención repetida de gran número y variedad de objetivos que busca la prueba y bene cios que ofrece a los diversos acto- res (alumnos, maestros, directores, autoridades, y sociedad en general). Sin embargo, tanto el manual, como los materiales que lo acompañan y otros disponibles en el portal web presentan evidencia teórica y empírica muy limitada para respaldar especí camente los usos propuestos y consecuencias previstas. Los documentos ofrecen argumentos generalmente super ciales y va- gos, y proponen bene cios del uso de la prueba que típicamente no se sustentan directamente en razonamientos o argumentos lógicos o teóricos, y menos aún en evidencia empírica. Esto probablemente es indicativo de limitaciones técnicas y materiales concretas enfrentadas al de nir y recolectar la evidencia, pero también re eja la falta de claridad inicial sobre los objeti- vos de la prueba y sobre la interdependencia entre usos propuestos y decisiones de diseño de la prueba. Los objetivos y usos propuestos se presentan de forma vaga, parcial, y un tanto for- tuita, y aunque muchas veces se pueden inferir de los contenidos del manual de forma indirecta o por eliminación (por ejemplo, al diferenciar usos sumativos que no se consideran adecuados), de ninguna manera constituyen el eje organizador del manual técnico como se esperaría. Padres y Alumnos El modelo lógico implícito en la prueba ENLACE incluye la participación de los padres de familia en los esfuerzos de mejora educativa, como actores que se involucran directamente tanto en el aprendizaje de sus hijos a nivel individual, como en la labor de sus maestros y escuelas en gene- ral. La encuesta de autoridades estatales realizada para este estudio (N=20) indica que tres de cada cuatro estados han implementado un programa para diseminar los resultados de la prueba directamente a padres de familia, incluyendo reuniones en persona (23%), portales de internet (46%), y difusion de materiales impresos (40%). Sin embargo, la encuesta también indica que solo una quinta parte de los estados considera el apoyo a padres como un objetivo prioritario de uso para ENLACE. Docentes y Directores El modelo lógico de mejora de ENLACE ubica explícitamente al maestro como el actor principal, su uso de los resultados para mejorar la práctica docente como el mecanismo central de im- pacto, y la escuela como el contexto próximo clave donde se promueve y facilita este esfuerzo de mejora. Una variedad de programas, políticas, y esfuerzos a nivel federal y estatal re ejan la importancia que se da al uso de los resultados de la prueba ENLACE por parte del docente. Es- tos se re ejan en una variedad de materiales de apoyo y orientación al docente de diverso tipo, profundidad, alcance, y calidad. Estos incluyen materiales que son parte de la documentación y material de apoyo creados por los propios desarrolladores de ENLACE, y otros muchos que se usan en la mayoría de los estados.

Revisiones de la OCDE sobre la evaluación de la educación