LA VALIDEZ

La validez de criterio se evalúa al comparar los puntajes de la prueba con una o más variables externas –llamadas criterio, que pueden ser medidas al mismo tiempo o posteriormente– que se considera proveen una medición diferente de las conductas o caracteriísticas en cuestión.

CONFIABILIDAD

El concepto de con abilidad fue introducido por el psicólogo británico Charles Spearman, quien lo denominó como el coeficiente de correlación entre una mitad y la otra de varias mediciones de la misma cosa.

ALINEACIÓN A LOS REFERENTES

El documento incluye un análisis de las áreas del currículo que evaluará la prueba, que pre- cise los subdominios y contenidos, así como competencias y niveles de demanda cognitiva que se deberán cubrir.

Un elemento clave para valorar el grado en que ENLACE deviene del contenido curricular y su marco teórico es la inestabilidad del currículum en México. Como referencia contextual, únicamente se señala que durante el periodo de diseño y desarrollo de la prueba el currículo varió en numerosas ocasiones, incluso presentando cambios que se anunciaron un día hábil antes del comienzo del año escolar.

ALINEACIÓN DE LA PRUEBA CON EL CURRÍCULO

Otro factor imprescindible que permite trabajar en favor de la consecución de la validez de contenido es el análisis del dominio educativo, tanto en su estructura (subdominios que lo integran), como en relación con las especificaciones de contenido que permiten orientar el diseño de reactivos. Esta estrategia es habitual en pruebas referidas al currículo.

La composición de cualquier prueba referida a un diseño curricular se debe apoyar en criterios de selección de los contenidos, que reflejen la importancia diferencial de los mismos, como expresión de la relevancia de los aprendizajes logrados. Este aspecto, que comúnmente se identifica en la literatura como densidad diferencial del dominio curricular es difícil de llevar a la práctica.

En el caso de las pruebas ENLACE, y al igual que se comentó en los dos puntos anteriores, se desconocen los procedimientos que siguieron o los criterios que utilizaron los especialistas de la DGDC para determinar la importancia relativa de contenidos o para decidir el dominio de contenido a evaluar en cada prueba.

El tamaño de la prueba se justifica metodológicamente con base en dos dimensiones. La primera se re ere a los contenidos a cubrir en la evaluación. El tamaño según esta dimensión se justifica con base en los análisis de contenidos y curriculares que se llevan a cabo a fin de seleccionar los tópicos de la prueba y desarrollar los reactivos que la conformarán.

En el caso de ENLACE no se cuenta con una justificación metodológica para el dimensiona- miento de la prueba (número de reactivos) y de sus partes, porque las tablas de especificaciones están de nidas en número de ítems y no de ponderaciones, ni se tiene un estimado del error teórico propuesto. Tampoco se presenta un estudio especíco sobre fatiga de los estudiantes que se relacione directamente con el tamañoo de la prueba.

El Manual de ENLACE 2013, por ejemplo, dice: “La segunda dimensión explícita corresponde a los niveles de complejidad, de nidos por una taxonomía o por una clasificación de las demandas cognitivas. Esta dimensión es necesaria para definir la dosificación de reactivos con la cual construir el Banco Nacional de Reactivos y la organización de la prueba misma”

ESPECIFICACIÓN GENERAL Y ESCRITURA DE ÍTEMS

Otro elemento básico a tener en cuenta en el diseño de pruebas es la redacción de ítems. Cier- tamente los reactivos deben representar las unidades del dominio educativo (universo de medida) que se consideran relevantes en la evaluación como muestra del desempeño. Para que ese objetivo se cumpla es importante que se estructure el procedimiento de escritura de ítems, de manera que se atienda con rigor si los reactivos representan el contenido a evaluar y si éstos se adaptan al nivel de desempeño que se espera que pueda darse en la enseñanza como expresión de las oportunidades de aprendizaje que se brindan a los alumnos.

En los manuales técnicos de ENLACE hay información básica sobre las clases de reactivos: individual, padres, hijos, pero no se cuenta con documentos citados en ellos y que se supone se entregan a los diseñadores y revisores de ítems, donde posiblemente se encuentra esta in- formación específica.

ASPECTOS PSICOMÉTRICOS

Los manuales técnicos detallan los criterios fundamentales para seleccionar los contenidos programáticos en Español y Matemáticas: 1) relevancia; 2) documentabilidad; 3) plausibilidad; 4) continuidad y; 5) abarcabilidad. Para Ciencias naturales se consideraron además estos factores: 6) esencialidad; 7) continuidad; 8) aplicabilidad; 9) actualidad; 10) interdisciplinariedad. No aparece ninguna mención a que haya este tipo de criterios utilizados para otras materias, con ello se pierde una evidencia que permita fundamentar el diseño de la prueba.

En cuanto a la validez de criterio, se recibió información muy incompleta sobre un estudio que relacionó los resultados de ENLACE con los de una prueba de Australia (denominada SEP-ISA) que toma como criterio un conjunto de reactivos de la prueba PISA, lo cual no deja de ser un buen propósito si no se puede contar con la documentación de manera formal, ya que no vienen datos formalizando el estudio, solo algunas diapositivas en una presentación a la cual le faltan explicaciones y aclaraciones, lo cual hace suponer que se trata de información proporcionada por el autor durante su presentación verbal.

ENLACE se propone con una periodicidad anual organizada en dos áreas sustantivas de competencias generales del currículum educativo (matemáticas y Español). Se alternan cuatro materias (Historia, Geografía, Ciencias, Educación Cívica y Ética) a lo largo de cuatro años. La justificación de esta periodicidad y elección de temas aparece enunciada en forma básica general, porque no se tiene evidencia de que haya habido un acuerdo de Consejo, o una instrucción secretarial, por ejemplo. Por las características de ENLACE que depende de la autoridad federal de educación, esto puede parecer su ciente para los fines del MT, pero pudo documentarse mejor para esta evaluación.

CRITERIOS TÉCMICOS SOBRE LA CALIDAD DE LOS ÍTEMS Y DE LOS BANCOS DE REACTIVOS

No se cuenta con una normativa para el mantenimiento de los bancos de reactivos. En el MT se menciona que hay criterios para ello, pero no se indican los valores de referencia en forma sistemática, deben localizarse dentro del texto. Si se considera la información disponible en el MT se puede considerar como no convincente.

No se encontró una guía de interpretación general para la prueba, aunque hay materiales de apoyo en el portal de la SEP que pudieran considerarse como suplentes de esta necesidad. La guía de interpretación, disponible en el reporte impreso, ayuda al alumno y a los padres a identi car la respuesta correcta de cada reactivo, los errores en las respuestas incorrectas y la forma de interpretar la clasificación de los niveles y subniveles de logro. Guías semejantes a éstas se tienen en pruebas nacionales e internacionales, como en los informes de PISA.

CRITERIOS TÉCNICOS SOBRE LA CALIFICACIÓN Y LOS NIVELES DE DESEMPEÑO

Es una prueba de calificación criterial, relativa a las competencias descritas en las tablas de especificaciones y con el modelo de calificación y puntos de corte asociado a criterio de jueces. La calificación se realiza con el modelo clásico usando ITEMAN y con el software Bilog siguiendo el modelo de tres parámetros de la TRI que es un modelo descriptivo, no invariante (depende de cuántos y cuáles ítems se contestan por la persona) y posteriormente debe hacerse el cambio de escala para reportar la calificación en el intervalo 200-800.

ATENCIÓN A LA DIVERSIDAD CULTURAL

Se propusieron los siguientes criterios de validez cultural: 1) Marco conceptual de la prueba; 2) Especificación de las poblaciones; 3) Estrategia para considerar diversidad cultural, linguística y socioeconómica; 4) Especificación de ítems; 5) Profesionales involucrados en el desarrollo de los ítems; 6) Representación de poblaciones diversas en las muestras de estudiantes piloto; 7) Validación cognitivo-cultural; 8) Revisión; 9) Análisis de sesgo; 10) Estudios de generalizabilidad; 11) Tiempos y calendarios y; 12) Mecanismos de corrección.

A petición del INEE, la DGEP proporcionó unos material adicionales que fueron también analizados. Este informe integra los resultados obtenidos a partir tanto de los documentos iniciales como de los documentos adicionales de acuerdo con cada uno de los doce criterios de validez cultural.

ESPECIFICACIÓN DE ÍTEMS

Al igual que con el marco conceptual, no se encontró en los documentos examinados una metodología rigurosa que permita el desarrollo sistemaático de los reactivos. Debido a la ausencia de esa metodología, no existe mención alguna de acciones que deben tomarse para asegurar que los formatos de los reactivos consideren la diversidad regional, de género, cultural, linguística y socioeconómica del país. Independientemente del descuido de estos aspectos, las especificaciones que se proporcionan para elaborar reactivos son extremadamente generales, lo que provoca que se les interprete de maneras muy distintas por los autores de los reactivos. La ausencia de especi caciones detalladas para la elaboración de reactivos provoca una variedad tremenda entre los reactivos que se consideran como del mismo tipo y contribuye sustancialmente a la varianza de error.

APLICACIONES

Durante la aplicación de las pruebas se busca que no haya irregularidades que puedan afectar las respuestas de los alumnos. Comprende, principalmente: motivar la respuesta de los alumnos; contar con procedimientos estandarizados para lidiar con la no respuesta y prevenir y enfrentar la copia o cualquier tipo de fraude; implementar mecanismos de control de calidad que permitan asegurar que las condiciones de administración de la prueba sean estandarizadas, que se realicen conforme a lo plani cado y se aseguren los materiales y las respuestas de los alumnos.

La creciente participación de diversos países latinoamericanos en las principales evaluaciones estandarizadas internacionales ha posibilitado comparar las prácticas nacionales en la materia, compartir experiencias, adoptar criterios de calidad relativamente homogéneos e identificar oportunidades de mejora.

El manual del coordinador de aplicación de la muestra controlada especifica que el coordinador de la aplicación de la muestra deberá verificar que las pruebas extra y las hojas de respuestas (prellenadas) coincidan con el folio asignado en ENLACE. Si la hoja no está prellenada, deberá llenarse ahí mismo con la información proporcionada por el director. Al nal de la aplicación se veri ca que las personas que llenaron las hojas y las están entregando coincidan con la lista contenida en el “Formato para el Control de la Aplicación en el Aula” (este formato es firmado por el coordinador de la aplicación y el docente aplicador en el aula).

Hay previsiones de orden general sobre pasos de la aplicación y posibles contingencias. Se menciona un formato para consignar lo relativo a eventualidades o desviaciones del proceso, sin embargo, el registro de las irregularidades en el formato es abierto. Para analizar en detalle la aplicación se requiere una tipi cación de los casos presentados en una aplicación y su frecuen- cia, esto seguramente requerirá que en futuras aplicaciones los formatos incluyan categorías específicas de irregularidades que se buscan controlar y se mantenga la oportunidad para el registro abierto de otro tipo de irregularidades.

USOS Y CONSECUENCIAS

El grado en que ENLACE se usa en las formas previstas y produce los resultados esperados, por ejemplo, no se puede establecer directamente con análisis psicómetros, sino que requiere recolectar y sintetizar fuentes de información de distinto tipo (cuantitativo y cualitativo), origen (SEP, INEE, prensa, entrevistas, observación directa, y otros), y granularidad (de nivel individual, o agregados por aula, escuela o estado).

El manual técnico detalla los propósitos, usos, y audiencias previstas de la prueba ENLACE. Aunque los usos previstos no se sintetizan explícitamente, el manual hace mención repetida de gran número y variedad de objetivos que busca la prueba y bene cios que ofrece a los diversos acto- res (alumnos, maestros, directores, autoridades, y sociedad en general). Sin embargo, tanto el manual, como los materiales que lo acompañan y otros disponibles en el portal web presentan evidencia teórica y empírica muy limitada para respaldar especí camente los usos propuestos y consecuencias previstas. Los documentos ofrecen argumentos generalmente super ciales y va- gos, y proponen bene cios del uso de la prueba que típicamente no se sustentan directamente en razonamientos o argumentos lógicos o teóricos, y menos aún en evidencia empírica.

Esto probablemente es indicativo de limitaciones técnicas y materiales concretas enfrentadas al de nir y recolectar la evidencia, pero también re eja la falta de claridad inicial sobre los objeti- vos de la prueba y sobre la interdependencia entre usos propuestos y decisiones de diseño de la prueba. Los objetivos y usos propuestos se presentan de forma vaga, parcial, y un tanto for- tuita, y aunque muchas veces se pueden inferir de los contenidos del manual de forma indirecta o por eliminación (por ejemplo, al diferenciar usos sumativos que no se consideran adecuados), de ninguna manera constituyen el eje organizador del manual técnico como se esperaría.

Padres y Alumnos

El modelo lógico implícito en la prueba ENLACE incluye la participación de los padres de familia en los esfuerzos de mejora educativa, como actores que se involucran directamente tanto en el aprendizaje de sus hijos a nivel individual, como en la labor de sus maestros y escuelas en gene- ral. La encuesta de autoridades estatales realizada para este estudio (N=20) indica que tres de cada cuatro estados han implementado un programa para diseminar los resultados de la prueba directamente a padres de familia, incluyendo reuniones en persona (23%), portales de internet (46%), y difusion de materiales impresos (40%). Sin embargo, la encuesta también indica que solo una quinta parte de los estados considera el apoyo a padres como un objetivo prioritario de uso para ENLACE.

Docentes y Directores

El modelo lógico de mejora de ENLACE ubica explícitamente al maestro como el actor principal, su uso de los resultados para mejorar la práctica docente como el mecanismo central de im- pacto, y la escuela como el contexto próximo clave donde se promueve y facilita este esfuerzo de mejora. Una variedad de programas, políticas, y esfuerzos a nivel federal y estatal re ejan la importancia que se da al uso de los resultados de la prueba ENLACE por parte del docente. Es- tos se re ejan en una variedad de materiales de apoyo y orientación al docente de diverso tipo, profundidad, alcance, y calidad. Estos incluyen materiales que son parte de la documentación y material de apoyo creados por los propios desarrolladores de ENLACE, y otros muchos que se usan en la mayoría de los estados.

	Creado por Fiorella Garcia hace más de 7 años

Resúmenes de los tres libros

El programa PISA de la OCDE