Aplicando la prueba PISA

Cumpliendo con la actividad de la unidad 5 del curso “Las preguntas de PISA y TIMSS: una práctica para el aula” organizado por el Instituto Nacional de Evaluación Educativa, del Gobierno de España, he realizado, lo que considero, un experimento con mis alumnos de IV ciclo de administración, aplicando preguntas de estadística de los ítems liberados de la prueba PISA para la evaluación matemática correspondiente a los años 2000-2012. 

Las preguntas elegidas lo encontramos en el enlace http://recursostic.educacion.es/inee/pisa/matematicas/estadistica.htm

Las características de los ítems escogidos están ordenadas en la siguiente tabla, obtenida de la publicación “PISA 2003 Pruebas de Matemáticas y de Solución de Problemas”, realizado por el Instituto Nacional de Evaluación y Calidad del Sistema Educativo (INECSE) 

Esta prueba lo he aplicado a 18 alumnos de IV ciclo de la carrera de Administración, estudiantes de Educación Superior Tecnológica, cuyas edades son de 18 a 36 años (promedio 21,58 años, desviación estándar 4, 19), dentro del curso de Investigación de Mercados. Precisamente por las características del curso elegí las preguntas PISA referida a Estadística Descriptiva, que son competencias que tiene que aplicar en la asignatura indicada. La prueba ha tenido una duración de 45 minutos y fue tabulada utilizando la codificación establecida, al respecto no ha habido dificultad en su aplicación. 

En cuanto a los resultados obtenidos, el porcentaje de aciertos es menor en todas las preguntas a las obtenidas en la OCDE y en España. En todo caso guarda correlación con la baja puntuación obtenida en el Perú. Ello obliga, al profesorado y al Estado peruano,  a redoblar esfuerzos para revertir esta situación; este esfuerzo implica replantear o mejorar los diseños curriculares y, principalmente, la aplicación de los conocimientos y destrezas matemáticas a situaciones reales de la vida cotidiana o de la actividad laboral.

Un MOOCafé en Lima hablando sobre evaluaciones

Mi primer MOOCafé en Lima, gracias a la convocatoria de Luis Hurtado, participante del curso "Preguntas PISA y TIMSS", fue una grata oportunidad para intercambiar ideas y vivencias sobre evaluaciones educativas y procesos de aprendizaje.

Con respecto a las MOOC valoramos la importancia de estos programas como Recurso Educativo Abierto, en la mayoría de los casos de calidad y que abren oportunidades u horizontes para ampliar las fronteras de aprendizaje próximo.

No fuimos ajenos a comparaciones de planificación y eficacia de sistemas educativos que en el caso de nuestros países marcan grandes brechas en los niveles de logro de competencias y que, obviamente, a nivel individual y de los docentes deben ser cubiertas, sin dejar de señalar la responsabilidad que le corresponde al Estado Peruano.

Luis Hurtado confiesa su interés en este MOOC en gran parte porque viene trabajando el tema de evaluaciones desde las investigaciones que ha realizado para sustentar su tesis para obtener el grado de Maestría.


Entre los muchos temas tratados tenemos:

1. Presentación.
2. Valoración del sistema educativo español.
3. Mis experiencias en diferentes MOOC.
4. Experiencia, hasta el momento, del curso "Preguntas PISA y TIMSS".
5. Sobre la enseñanza y aprendizaje de las matemáticas.
6. Motivación para participar en el MOOC PISA y TIMSS.
7. Comentarios sobre la participación de peruanos en el MOOC PISA y TIMSS.
8. Comentando la actividad 2 de la unidad 2.
9. La forma en que se aplican los cuadernillos a los diferentes grupos.
10. Formas en que se evaluaba las matemáticas.
11. Sobre el Aprendizaje Basado en Proyectos.
12. La valoración de los MOOCafés.
13. Como se organizan los MOOCafé Virtuales (Hangout)
14. Bondades de la metodología utilizada en los MOOC organizada por el INTEF y el INEE.
15. Aprendizaje fuera del aula.
16. La importancia de la comunicación y motivación en el aprendizaje.
17. Las limitaciones de nuestros alumnos.
18. Las virtudes de nuestros alumnos.
19. Conclusiones.
20. Despedida.

Espero que esta experiencia haya sido de su interés. Si desea escuchar algún tema en particular no dude en solicitarlo, con mucho gusto lo pondré a su disposición. Gracias.

Adaptando ítems liberados

Una de las formas de utilizar los ítems liberados de las Evaluaciones Externas Internacionales es adaptarlas al proceso de aprendizaje de nuestros alumnos. En este caso la elaboración está dirigida a estudiantes del tercer ciclo de Educación Superior Tecnológica para el curso de Estadística Aplicada, válido para todas las carreras, en especial para Administración de Empresas. El promedio de edad de estos estudiantes es de 21 años, los de turno mañana y 24 años, los de turno noche.

He elegido las competencias matemáticas para esta actividad, tomando como referente las preguntas TIMSS, tanto para Educación Primaria como para Educación Secundaria. En ambos casos he escogido estímulos que se centran en evaluar más el dominio cognitivo (habilidades y destrezas) que el dominio de contenido (hechos y conceptos).

TIMSS 2007 - 4º Primaria

La primera pregunta seleccionada es la que muestro a continuación:

Esta pregunta es considerada de dificultad alta, esta dirigida a alumnos de 4º grado de Primaria, cuyo promedio de edad es 9,5 años.

Adaptación 1

La adaptación que he realizado agrega más variables y más observaciones; sin embargo evalúa las mismas capacidades, que para los alumnos de primaria indudablemente sería de grado mayor de dificultad; pero para los alumnos de educación superior tecnológica el grado de dificultad sería menor (solo intermedio). Con respecto al curso de Estadística, los alumnos tienen que desarrollar la habilidad de recopilar, procesar, representar y analizar los datos; ello incluye la verificación de los procesos que si bien se pueden realizar con artefactos electrónicos-digitales, esto no excluye posibles errores que la vista y el razonamiento humano lo puede detectar.

Este estímulo puede ser aplicado a evaluar otros conocimientos, como frecuencia, muestreo o participación de mercado.

TIMSS 2011 - 8º grado

La segunda pregunta corresponde a la prueba TIMSS 2011 para 8º grado, equivalente en España al 2º curso de Educación Secundaria, para edades promedio de 14 años. En este caso el estímulo y la pregunta corresponde al dominio cognitivo de razonamiento y al nivel avanzado.

Adaptación 2

La siguiente adecuación también corresponde al mismo dominio cognitivo, aunque con un mayor grado de dificultad, teniendo en cuenta la exigencia de la educación superior y la edad de los alumnos, que tienen en promedio entre 21 y 24 años.

Este estímulo podría aplicarse tambien en otros contenidos, como frecuencia o correlación lineal; también en otras asignaturas como "Sociedad y Economía", "Marketing" o "Investigación de Mercados", con preguntas que incluyan la interpretación.

A grandes rasgos las similitudes y diferencias obtenidas en estas adaptaciones lo podemos leer en el siguiente cuadro:

Cualquier observación o sugerencia, por mi parte, siempre sera bien recibida por la opotunidad que me puedes brindar de mejorar. Gracias.

REFERENCIAS:
Foto (CC): http://pixabay.com/en/question-marks-punctuation-symbol-2215/

Beneficios de disponer de los ítems liberados

Las principales ventajas que encuentro al disponer de los ítems liberados de las Evaluaciones Externas Internacionales son:

• Analizar la estructura de las pruebas y la sustentación de los ítems; de forma tal que pueda aplicarlo, con el respaldo de la seriedad y validez que contiene su elaboración y selección.
• Adoptar la estructura de las pruebas PISA y consultarla como fuente de ideas de diferentes formas de elaborar pruebas escritas. 

Entre los muchos ítems que me resultan sumamente interesante señalo algunos:

PISA 2012 COMPETENCIA FINANCIERA – NUEVA OFERTA

PISA 2012 COMPETENCIA FINANCIERA – EN EL MERCADO

PISA 2012 RESOLUCIÓN DE PROBLEMAS - BILLETES

ICCS 2009 Estudio Internacional de Civismo y Ciudadanía – Ítem 1

TIMSS 2011 – Venta de bebidas gaseosas

  

Marcando el enlace puede profundizar sobre la naturaleza de las preguntas y los criterios de su calificación o codificación. Ahora me queda ensayar la aplicación de estos problemas.

El programa PISA puesto en el centro del debate

Como he indicado en el Twitter, por lo general cuando leía una noticia sobre la prueba PISA, me centraba más en el ranking que sobre el contenido del programa, su validez, sus limitaciones o la interpretación de los resultados. Por lo general una lectura rápida de la situación en que se encuentra los diversos países y en especial mi país, Perú.

Un ejemplo de publicaciones centrado en el ranking lo encontramos en el siguiente artículo “El Perú baja dos puestos en educación: del 63 al 65” realizado por el diario “La República”.  Se trata de explicar los resultados como un reflejo de inadecuadas políticas educativas o desgobierno del Estado, como también por el atraso económico que tiene el país.  

Otra publicación digital, “La educación peruana en el contexto de PISA”, explica en forma más detallada la aplicación del programa PISA en el Perú, el contexto de su aplicación, sus ventajas y limitaciones. Las autoras son Liliana Miranda y Andreas Schleicher, son responsables, respectivamente, de dicho programa a nivel de Perú y a nivel internacional. La difusión cuenta con el auspicio del Grupo Santillana y el Consejo Nacional de Educación.

Ahora he ojeado algunas páginas web que se refieren a PISA y me sorprende el artículo de la revista digital, “finanzas.com”, cuyo título es “Lo que oculta el informe Pisa”; en tanto cuestiona dicha evaluación internacional por el diseño técnico y estadístico, y por un interés de la empresa Pearson para lucrar con dicho tipo de pruebas.

Con respecto al diseño del cuestionario, señala que las preguntas que se aplican a los países participantes son diferentes, incluso en el grado de dificultad; en el aspecto estadístico-matemático crítica el método de evaluación de Rasch.  

Con referente al interés lucrativo, según finanzas.com, Pearson obtiene las siguientes ventajas:

1. Es contratado por los Gobiernos de los países participantes, siendo quien confecciona las preguntas. 
2. Identifica a los clientes destacados, estos es países y colegios, significando dicha distinción un premio interesado.
3. Elabora material didáctica según las necesidades detectadas, para ponerlo a disposición de los clientes potenciales, de forma tal que puedan superar en el futuro el programa PISA.

También existe opiniones a favor de la validez de la evaluación PISA, por una parte los medios de comunicación, generalmente para destacar lo pésimo que está la educación en el país y la necesidad que tiene el Estado de reformarla; obviamente la información oficial de la OCDE, como de los gobiernos de los países participantes, en su mayoría, opinan favorablemente. Entre ellas he escogido el artículo “El programa PISA: un instrumento para la mejora del proceso de enseñanza-aprendizaje” publicado en La Revista Iberoamericana de Educación de la OEI (Organización de Estados Iberoamericanos). El enfoque que adopta fundamentalmente es reconocer la necesidad y la posibilidad de mejorar la educación. Valora particularmente la evaluación de las competencias científicas, especialmente la objetividad en comparación con las evaluaciones que se aplican en sus mismos centros de estudios o con sus mismos profesores; estas últimas tienen bastante variabilidad, dando a entender que tiene un alto grado de subjetividad.

Las cuestiones planteadas, especialmente la crítica de la revista “finanzas.com” es motivo para ahondar el estudio y la investigación de las evaluaciones externas internacionales, y en el caso particular del programa PISA, además, comparar los resultados con otros estudios internacionales para inferir la confiabilidad confluyente y la concordancia con la validez.

En todo caso, lo recomendable es recurrir, en la medida de lo posible, a las fuentes originales. En el Twitter con la etiqueta #preguntasPISA podemos encontrar múltiples caminos a esas fuentes.

REFERENCIAS:

Foto (CC): http://www.iuvalladolid.org/IMG/jpg/Charla_Javier_Gutierrez.jpg

Conociendo las evaluaciones internacionales

Mi nombre es José Luis Loyola Zorrilla, trabajo como especialista en tecnología educativa y uno de los aspectos que me interesa fortalecer de mis conocimientos de educación es el referente a la evaluación, especialmente en cuanto a las herramientas que se pueden utilizar y la validez que pueden contener. Por ello este curso "Las preguntas de PISA y TIMSS: una práctica para el aula", organizado por INEE (Instituto Nacional de Evaluación Educativa) del Ministerio de Educación, Cultura y Deporte, del Gobierno Español, es una excelente oportunidad para aprender más sobre evaluación, no solo de aprendizaje, sino de sistemas educativos.

El curso también es una buena ocasión para abrir en este blog, un espacio para difundir o reflexionar sobre los diferentes aspectos de la evaluación.

Principales evaluaciones internacionales from José Luis Loyola Zorrilla

De todas estas evaluaciones tengo predilección por la prueba PIAAC, en tanto se relaciona más con mis actividades profesionales. Espero nuevos amigos cibernautas dispuestos a compartir experiencias y conocimientos.

REFERENCIAS:
Foto (CC): https://c2.staticflickr.com/8/7266/6948062934_deb45f92fe_b.jpg