Módulo I: Evaluación de aprendizajes en Chile (SIMCE) - Centro ...

Evaluación nacional deestudiantesSIMCETaller para docentesDiciembre, 2012

Larga Historia de Evaluaciones en Chile:pioneros en América Latina1960Primera pruebaestandarizada1982-1984Programa de Evaluacióndel RendimientoEscolar (PER)1988-1997Sistema de Medición dela Calidad de laEducación (SIMCE)Etapa 12003 – a la fechaSIMCEEtapa 31970:PrimerTIMSS1999:2ºTIMSS2000:PrimerPISA2003:3ºTIMSS2006:2º PISA1968-1971Prueba Nacional8º básico1985-1986Sistema de Evaluaciónde la Calidad de laEducación (SECE)1997 -2002SIMCEEtapa 2

Etapa 1 SIMCE: 1988- 19971988: Comienza funcionamiento anual ininterrumpido.1988 y 1989: SIMCE a cargo de la PUC.1989: se administra en 8º Año Básico.1992: Tras la promulgación de la LOCE pasa a manosdel MINEDUC.1993: se aplica a 2º Año Medio.Hasta 1994 sólo se entregaba la información a losestablecimientos y otros organismos del sistema.1995: Resultados por unidad educativa se hacenpúblicos.1996: Se generan programas asociados a losresultados (SNED y P900)Deficiencias técnicas: Teoría Clásica

Etapa 1 SIMCE: 1988- 1997Teoría ClásicaPuntaje SIMCE1 respuesta correcta = 1punto(todas las preguntas valen lomismo)Puntaje Final = % de respuestascorrectasSi bien se incluyenpreguntas con distintosniveles de dificultad,ello no se ve reflejadoen los distintospuntajes finales.

Etapa 1 SIMCE: 1988- 1997Teoría Clásica• El nivel de dificultad variaba cada año en función de la diferencia deconocimientos entre la muestra experimental y la población general evaluada.• Los puntajes no eran comparables automáticamente de año en año.• Si bien existen técnicas para hacer los puntajes comparables, no se hacía.• Útil para comparar a las distintas escuelas.• Fácil de comunicar, para todos es entendible qué significa más o menos el % de logro.• Difícil de interpretar qué significan estos porcentajes. Niveles de dificultad disparesmezclan peras con manzanas. (No se conocen las preguntas o el nivel de dificultadde las preguntas)• Dos puntajes de 60%, no hablan del nivel de dificultad de las preguntascontestadas por cada uno.Pruebas no eran comparables entre establecimientos ni en eltiempo, sólo permitían hacer un ranking cada añoLimitados indicadores de resultados.

Etapa 2 SIMCE: 1997- 20021997: primera participación de Chile en una prueba internacional1998: se reubica en la UCE del MINEDUC.1998: se comienzan a liberar preguntas, con resultados específicos porestablecimiento.1998: se comienzan a liberar ejemplos de preguntas correspondiente a laevaluación futura.2000: se introduce la publicación de resultados por grupossocioeconómicos.ETAPA DE CONSOLIDACION TECNICASE TOMA DE CONCIENCIA DEL IMPACTO DE ESTE INSTRUMENTO

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al Item1997: se introduce la técnica de equating y se comienza utilizar una nueva teoríade medición Teoría de Respuesta al Ítem (IRT).IRT: método estadísticoque permiteindependizar lospuntajes obtenidos de ladificultad de laspreguntas.Equating: repetición dedeterminados ítems entredistintas prueba(correlacionar el puntaje entreestos ítemes y el resto de laspreguntas, para así estimaruna medida del nivel de unaprueba respecto de otra.)+ Se logracomparación delos resultados enel tiempoSe logra la identificación de aéreas mas débiles con el fin de servir de orientación para losprofesores y para los lineamientos de la política educativa.Se logra la comparación de los puntajes entre establecimientos.Se aprovecha mejor la información de cada ítem con lo cual se pueden asociar niveles dedesempeño a puntajes determinados. (Estos niveles se determinan en función del tipo de preguntas que puedenresponder los alumnos de cada nivel)GANANCIA EN UTILIDAD, VALIDEZ YCONFIABILIDAD

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al ÍtemEl puntaje obtenido por los alumnos en la prueba dependede tres factores:• El nivel de dificultad de las repuestas contestadascorrectamente (complejidad)• La probabilidad que los alumnos contesten correctamentelas preguntas sin saber cuál es realmente la respuestacorrecta (azar)• El grado en que las preguntas permiten diferenciar entrelos alumnos que tienen mayor o menor nivel deaprendizaje (discriminación)

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al ÍtemAumento ComplejidadP1 P2 P3 P4 P5 P6 P7 P8 P9 P10 Total PuntajeA 1 0 1 1 0 0 1 0 1 1 6 260B 1 1 1 1 0 1 1 0 0 0 6 220A pesar de que ambos tienen el mismo nº de preguntascorrectas, el alumno A tiene mayor puntaje porque contestacorrectamente un mayor porcentaje de las preguntas difíciles

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al Ítem

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al ÍtemTransformación puntaje SIMCE10100= 250= 50- 310-210-110100 110 210 310100 150 200 250 300 350 400 SimceNo existe puntaje mínimoni máximo

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al ÍtemLa primera prueba de cada nivel con curriculum renovado sirve deaño base para el cálculo del puntaje SIMCE (Media=250,Desvest=50).Luego, para futuras aplicaciones la distribución puede cambiar.En las evaluaciones posteriores, ambos parámetros se han calculado enfunción de su valor del año 1999, de modo tal que los cambios en susvalores reflejan cambios reales en la distribución de puntajes.

Etapa 2 SIMCE: 1997- 2002IRT: Teoría de Respuesta al ÍtemVentajas• Supera la dependencia de los parámetros de losítems a características de la muestra.• Aprovecha mejor la información de cada ítem.• Facilita la comparabilidad entre pruebas.• Se pueden asociar niveles de desempeño a puntajesdeterminados.• Estos niveles se determinan en función del tipo depreguntas que pueden responder los alumnos decada nivel.

Etapa 3 SIMCE: 2003 en adelante2003: Comisión para el Desarrollo y Uso del SIMCE (Bitar)Recomendaciones1. Recomendaciones sobre el Sistema de Medición delogros de aprendizaje a nivel nacional2. Recomendaciones para que el Sistema de Medicióncontribuya a mejorar la calidad de la educación3. Recomendaciones complementarias

Etapa 3 SIMCE: 2003 en adelante2003: Comisión para el Desarrollo y Uso del SIMCE (Bitar)Recomendaciones1. Recomendaciones sobre el Sistema de Medición de logros deaprendizaje a nivel nacional1.1 Mantener comparaciones periódicas confiables y rigurosas1.2 Ampliar la información que se reporta sobre los resultados del sistemaeducativo:• En controles muestrales incorporar: Subsectores como Arte, Educación Cívica Actitudes relacionadas con el aprendizaje• Entregar información acerca de los factores que se relacionan con losresultados de la medición: actitudes de los docentes, condicionessocioculturales, equipamiento de lo establecimientos, etc.Amplitud en periodicidad y contenido

Etapa 3 SIMCE: 2003 en adelante2003: Comisión para el Desarrollo y Uso del SIMCE (Bitar)Recomendaciones - Priorización2. Recomendaciones para que el Sistema de Medición contribuya amejorar la calidad de la educación2.1 Medición referida a estándares de desempeño para resultados conmayor significado. Permite conocer en qué medida se logran lasexpectativas nacionales de rendimiento.Aumento de utilidad formativa2.2 Apertura y comunicación efectiva para involucrar responsablementea docentes, padres y sostenedores (avance en el aprendizaje,frecuencia)Responsabilización2.3 Expansión y profundización de las mediciones para intensificar suimpacto en el sistema escolar• Intensificar la frecuencia de las mediciones, evaluando dos niveles escolarescada año.• Profundizar la evaluación de áreas curriculares e incorporar nuevas áreas a lamediciónAumento de poder diagnostico

Etapa 3 SIMCE: 2003 en adelante2003: Comisión para el Desarrollo y Uso del SIMCE (Bitar)Recomendaciones - Priorización3. Recomendaciones complementarias3.1 Indicadores e indicaciones justos y válidosNo administrarlos pero sí proporcionar información apropiada para que losincentivos sean adecuadamente asignados. Se recomienda:• Destacar el avance o aprendizaje de los alumnos de una misma cohorte entreuna medición y otra (valor agregado)• Entregar información sobre los límites de la medición y de las inferencias que esválido o no hacer sobre los resultados• Reportar, junto con los resultados por establecimiento, indicadores de exclusióny selectividad.3.2 Formar en una cultura evaluativaComplementar la información entregada con herramientas y medidas directamentedirigidas a los profesores.• Fortalecer la formación inicial docente sobre evaluación• Herramientas de evaluación para los subsectores y niveles no evaluados.• Apoyar la interpretación y uso de los resultados de las mediciones.

Etapa 3 SIMCE: 2003 en adelanteImplementando las sugerencias de la Comisión Simce• Desde el año 2005 se realiza en todas las escuelas del país la Jornada de Análisisde Resultados SIMCE.• A partir del año 2006, todos los años se evalúa a los alumnos de 4° Básico y sealternan 8° Básico y 2° Medio. (se duplica la aplicación)• A partir del SIMCE 2006:- Se genera documento de orientación a las políticas publicas: Informe Nacional.- Se entregan resultados de niveles de logro como apoyo del proceso educativoy como identificador de falencias.• Recoge información sobre profesores, estudiantes y padres y apoderados, a travésde cuestionarios, para contextualizar los resultados de los estudiantes en laspruebas, por ejemplo:- Se pregunta a los docentes sobre las materias que han enseñado a susestudiantes.- A los padres sobre su nivel educacional- A los estudiantes sobre sus hábitos de estudio.

Etapa 3 SIMCE: 2003 en adelanteNuevo Rol• Herramienta utilizada para categorizar los establecimientos según loestablecido por la Ley de Subvención Preferencial.Las escuelas que se incorporan al régimen de Subvención Escolar Preferencial son clasificadas de acuerdoa sus resultados y necesidades educativas que tienen. Según una metodología elaborada con indicadoresde calidad de la gestión escolar. Para estos efectos se definen 3 categorías de escuelas:Autónomas: Son aquellas que muestran sostenidamente buenos resultados y condiciones de aprendizajepara sus alumnos. Presenta menores necesidades educativas y mejores índices de calidad.Emergentes: Muestran potencial para lograr mejores niveles y condiciones de aprendizaje. Se observannecesidades educativas intermedias.En Recuperación: Presentan un historial de resultados de aprendizaje y condiciones institucionales quehacen necesario realizar transformaciones más profundas. Demandan mayores necesidades educativas.La diferenciación de Escuelas tendrá consecuencias en:- Libertad y autonomía en el uso de los recursos SEP- Relación con el Ministerio de Educación, pues se establecen compromisos y apoyos diferenciados segúnla categoría de clasificación.

¿Qué es el SIMCE hoy?MINEDUCUnidad deCurriculum yEvaluación (UCE)• El SIMCE es el sistemanacional de medición deresultados deaprendizaje delMinisterio de Educaciónde Chile.Sistema de Medición de la Calidad de laEducación (SIMCE)SIMCELLECECIVICATIMSSPISAEvaluaciones de carácter diagnosticoy formativo.

¿Cuál es el objetivo del SIMCE?Contribuir al mejoramiento de la calidad y equidad de la educación, informandosobre el desempeño de los estudiantes en algunas áreas del currículum nacional yrelacionándolos con el contexto escolar y social en que ellos aprenden.¿Qué mide el SIMCE?Las pruebas SIMCE evalúan el logro de los Objetivos Fundamentales y ContenidosMínimos Obligatorios (OF-CMO) de los Marcos Curriculares de Educación Básica(Decreto Nº 232/2002) y Educación Media (Decreto Nº 220/1998).¿Qué usos tiene el SIMCE?• Formativo y diagnostico a nivel de establecimiento.• Refuerzo a la implementación de la reforma curricular.• Orientación de la demanda.• Focalización de intervenciones y programas de apoyo.• Evaluación y diseño de políticas y programas específicos.• Metas públicas de aumento de puntajes a nivel nacional (LEM)• Incentivos para profesores

¿Quiénes son evaluados por el SIMCE?Evalúa a todos alumnos de todos los establecimientos reconocidos por el Ministeriode Educación. Dependiendo del nivel evaluado, se miden distintos subsectores:2° básicoComprensión de Lectura4° básicoLenguaje y ComunicaciónEducación MatemáticaComprensión del medio NaturalComprensión del medio Social y Cultural8° básicoLenguaje y ComunicaciónEducación MatemáticaComprensión del Medio NaturalComprensión del Medio SocialEl rendimiento alcanzado enlas pruebas SIMCE refleja losaprendizajes logrados por losestudiantes durante cada unode los ciclos (1º, 2º, EM) enlas aéreas evaluadas.8° básicoEducación Física2° medioLengua Castellana y ComunicaciónMatemática3° medioInglés (TOEIC Bridge)

¿Qué instrumentos usa el SIMCE para evaluary reportar resultados?• Prueba censal estandarizadaque se aplica una vez al año atodos los alumnos que cursanun cierto nivel.• Además, recoge informacióndel estudiante (cuestionarioestudiante) y su contexto(cuestionario para Profesoresy para Padres y Apoderados)para informar resultados deaprendizaje contextualizados.

Cuestionarios SIMCECuestionario para ProfesoresCuestionario para Padres y ApoderadosCuestionario para AlumnosEl Cuestionario para Alumnos es respondido por mismo estudiante evaluado. Indagasobre aspectos generales de la prueba SIMCE, procesos y estrategias de aprendizajedentro y fuera del aula, intereses y motivaciones, entre otros.Cuestionario para DirectoresEl Cuestionario para Directores es respondido por el director o directora de cadaestablecimiento evaluado y contiene preguntas relativas a características personales,formación profesional, gestión y administración, proyecto educativo, plan y programa deestudio, entre otros.

Cuestionario de Padres 2011Evaluación y percepción sobre elestablecimiento al que asiste el alumnoQuien contesta el Q

Cuestionario de Padres 2011Características de los padres (educación)Recursos del hogarEvaluación del establecimiento

Cuestionario de Padres 2011ExpectativasNivel educacional de lamadreIngresoEtniaAsistencia a Educaciónpreescolar.

Cuestionario de Profesores 2011Formación Resultados SIMCE Expectativas de losalumnos

LAS PRUEBAS SIMCE‣ Las pruebas SIMCE son aplicadas en todo el país demanera estándar y simultanea.‣ Su administración se realiza de manera externa alestablecimiento educacional, pero no al sistemamismo.‣ Las pruebas SIMCE incluyen todos aquellosconocimientos y aprendizajes susceptibles de serevaluados a través de una prueba de lápiz y papel.

LAS PRUEBAS SIMCE• Las pruebas están diseñadas para que puedan sercomparables entre años (IRT).• El tiempo máximo de respuesta para cada prueba esde 90 minutos.• Hay preguntas de selección múltiple y de desarrollo(prueba de escritura).

LAS PRUEBAS SIMCE• El Cuadernillo tiene varias formas (Entre 2 y 4).El total de preguntases el que incluye elmarco curricular.Dificultad informarresultadosindividuales poralumno.•Los cuadernillos de prueba que contestan losalumnos/as tienen alrededor de 38 preguntas en 4°Básico y alrededor de 40 en 8° Básico y 2º Medio.•Cada estudiante responde solo una parte del total depreguntas evaluadas.

¿Cómo se construye la prueba?2 añosDefinir lo que sequiere evaluar decurrículo.CorrecciónAplicaciónELABORACION PRUEBAEXPERIMENTAL• Elaboración de un banco depreguntas es realizada por un equipode profesionales del Ministerio deEducación, con el apoyo de facultadesde educación de diversasuniversidades.• Revisión de las preguntas porexpertos.(redacción, claridad, validezde contenido)• Combinando las preguntasdesarrolladas por este equipo conotras ya utilizadas en pruebasanteriores, se elabora una primeraversión de la prueba.APLICACIÓN PRUEBAEXPERIMENTALAplican las preguntasexperimentalmente a unamuestra de alumnosSe entrevista a los alumnospara conocer el proceso desus respuestas.Se determina el nivel dedificultad de las preguntas.Se determina cuálespreguntas evalúanefectivamente lo que sepretendía, se descartan lasque tienen sesgos o resultanambiguas.Se determina el conjuntodefinitivo de preguntas de laprueba.Construcción de las pruebas según el nivel de dificultad requerido por los evaluadores.Inclusión de preguntas para comparación entre pruebas.

Desde la corrección hasta los reportes…¿Cómo se corrige la prueba?‣ Las preguntas de selección múltiple se corrigen enforma automática, a través de un programacomputacional.‣ Las preguntas abiertas siguen un procedimiento decorrección más complejo: se encarga a distintosequipos de profesionales la elaboración de pautasde corrección y la corrección de las respuestas.‣ Computacionalmente se captura información de loscuestionarios.3 mesesbase de datos de respuestas correctas.+Base de datos de cuestionariosProcedimiento deCálculo del GSEProcedimiento deCálculo de puntajesaplicando IRTBase de datos de Puntajes a nivel de alumno+ Base de datos de CuestionariosProceso de determinación del punto de corteBase de datos de Puntajes a nivel de alumno + clasificación NL +Clasificación GSE + Base de datos de CuestionariosAnálisis de DatosReportes de ResultadosAplicación delPunto deCorteBase de datos de Puntajes a nivel de alumno +Base de datos de Cuestionarios + Punto de Corte

SIMCE: Reporte de Resultados.• Entrega Pública de puntajes promedio por subsector:- Individuales para cada establecimiento evaluado- Diversas agregaciones: región, provincia, comuna, grupo socioeconómico,dependencia administrativa- Promedio nacional.• A nivel de establecimiento también se reportan resultados por curso.• Resultados de Niveles de Logro: Inicial, Intermedio y Avanzado.• Características de los docentes y de los establecimientos a partir decuestionarios administrados.• Características de los alumnos y sus familias: nivel socioeconómico,educación de los padres, actitudes y percepciones relacionadas con laescuela.• La información a nivel de alumno NO es pública.

REPORTE DE RESULTADOS:PUNTAJES

Interpretación de ResultadosEl cálculo de los puntajes en el SIMCE, al ser una medición estadística queno mide las variables en forma exacta, sino que incluye un error demedición.- La asignación de puntajes en los extremos de la escala tiene mayorerror que los del centro de la escala.- También es relevante la cantidad de alumnos que conforman losgrupos de comparación: mientras más grande es el grupo (curso,colegio, comuna, región), más estable es la información en términosestadísticos.Una diferencia se entiende comosignificativa cuando la distanciaentre 2 grupos de comparaciónes lo suficientemente ampliacomo para poder afirmar que losresultados obtenidos sonefectivamente distintos y no sedeben a un error estadístico.

www.simce.cl: comparación de comunasLos datos se puedenordenar por puntaje depruebas, dep, área, etcSe puede consultar eldetalle por colegioSe pueden descargarlos resultados enformato excel o pdf

Equidad y ResultadosGrupo Socioeconómico (GSE)Existe una clasificacióndegruposocioeconómico paracada nivel delestablecimiento y nivelEl ano 2011 el GSE bajo, bajo y medio bajo aumentaron su puntajesignificativamente en Matemática

Equidad y ResultadosDEPENDENCIA

Equidad y ResultadosGéneroTanto niños como niñas de 4to básico aumentansignificativamente su puntaje en matemática

REPORTE DE RESULTADOS:NIVELES DE LOGRO

Estándares¿Qué deben saber losestudiantes como resultado desu asistencia a la escuela?Estándares decontenido¿Qué deben saber hacerlos estudiantes como resultadode su asistencia a la escuela?Estándares dedesempeño

¿Qué tenemos en Chile?

¿Qué son los Niveles de Logro?• Descripciones de los conocimientos y habilidades que deben demostraralumnos y alumnas al responder las pruebas SIMCE para que su desempeñosea ubicado en una de estas tres categorías: Avanzado, Intermedio o Inicial.– Cada nivel está asociado a un rango de puntajes en la prueba SIMCE(puntos de corte)– Para los niveles Avanzado e Intermedio se describen los conocimientosy habilidades que demuestran los alumnos que alcanzan estos niveles.– El Nivel Inicial es la categoría que agrupa a los alumnos y alumnas queaun no han logrado los aprendizajes descritos en el Nivel Intermedio.Por su varianza este nivel no está asociado a una descripción dehabilidades.• PUNTOS DE CORTE• Corresponden al puntaje mínimo que debe obtener un estudiante parapertenecer al Nivel Intermedio y al Nivel Avanzado.• Se fijan usando la metodología Bookmark

Niveles de Logro: Puntos de Corte

¿Para qué sirven los Niveles de Logro?• Usos a nivel de sistema educacional:– Permiten monitorear el aprendizaje de los estudiantes según uncriterio común para todos los establecimientos del país.• Usos a nivel de los establecimientos:– Contribuyen con una evaluación para el aprendizaje.– Permiten definir desafíos centrados en el logro de aprendizajesrelevantes.– Ofrecer clases más estimulantes y provechosas para alumnos condistintos Niveles de Logro. Por ejemplo, en clases los profesorespodrían armar grupos de alumnos del nivel avanzado, intermedio einicial; y dar a cada grupo actividades acordes con sus necesidadesde aprendizaje.– Ponerse metas: disminuir en X% la proporción de alumnos en el nivelinicial de los Niveles de Logro.Los Niveles de Logro enriquecen la información que cada año seentrega a las escuelas, pero NO reemplazan a los puntajes promedio.Van más allá del promedio.

Reporte de Niveles de LogroA partir del año 2006: Niveles de Logro para Lectura yEducación Matemática. (4to Básico)2006 resultados NL solo para establecimientosA partir del año 2007, se entregan resultados referidosa Niveles de Logro también en el subsector deComprensión del Medio Natural. (4to Básico)2007 resultados NL 100% públicos.En el año 2008 correspondio sumar la prueba deComprensión del Medio Social y Cultural. (4to Básico)Para el año 2008 se incorporan los NL para 8vo básico

¿Cómo usar esta información en los establecimientos?Usos del SIMCEprofesores, directivos y sostenedoresConocer cómo le fue a sus alumnos en comparación con los del mismocurso evaluados en años anteriores.Conocer si sus alumnos obtienen un puntaje promedio mejor, peor, osimilar que otros alumnos del país, de su comuna, o deestablecimientos que atienden a alumnos con similares característicassocioeconómicas.Evaluar si las iniciativas implementadas en la escuela tuvieron un efectopositivo en el nivel de desempeño de los alumnos.Conocer la proporción de alumnos de 4° Básico que se encuentra en elnivel avanzado, intermedio e inicial de los Niveles de Logro.

¿Cómo usar esta información en los establecimientos?Usos del SIMCEprofesores, directivos y sostenedoresConocer el tipo de problemas que se espera que los alumnos puedanresolver (niveles de logro)ooEs importante que esta pregunta se la hagan todos los profesores del ciclode enseñanza, y no solo los profesores del curso evaluado.También pueden revisar si el nivel de exigencia de sus evaluaciones de aulase adecua al nivel de exigencia señalado en el currículo oficial y en laspruebas SIMCE.Pensar cómo ofrecer clases más estimulantes y provechosas paraalumnos con distintos Niveles de Logro.Ponerse metas.