Aplicando la prueba PISA

Cumpliendo con la actividad de la unidad 5 del curso “Las preguntas de PISA y TIMSS: una práctica para el aula” organizado por el Instituto Nacional de Evaluación Educativa, del Gobierno de España, he realizado, lo que considero, un experimento con mis alumnos de IV ciclo de administración, aplicando preguntas de estadística de los ítems liberados de la prueba PISA para la evaluación matemática correspondiente a los años 2000-2012. 

Las preguntas elegidas lo encontramos en el enlace http://recursostic.educacion.es/inee/pisa/matematicas/estadistica.htm

Las características de los ítems escogidos están ordenadas en la siguiente tabla, obtenida de la publicación “PISA 2003 Pruebas de Matemáticas y de Solución de Problemas”, realizado por el Instituto Nacional de Evaluación y Calidad del Sistema Educativo (INECSE) 

Esta prueba lo he aplicado a 18 alumnos de IV ciclo de la carrera de Administración, estudiantes de Educación Superior Tecnológica, cuyas edades son de 18 a 36 años (promedio 21,58 años, desviación estándar 4, 19), dentro del curso de Investigación de Mercados. Precisamente por las características del curso elegí las preguntas PISA referida a Estadística Descriptiva, que son competencias que tiene que aplicar en la asignatura indicada. La prueba ha tenido una duración de 45 minutos y fue tabulada utilizando la codificación establecida, al respecto no ha habido dificultad en su aplicación. 

En cuanto a los resultados obtenidos, el porcentaje de aciertos es menor en todas las preguntas a las obtenidas en la OCDE y en España. En todo caso guarda correlación con la baja puntuación obtenida en el Perú. Ello obliga, al profesorado y al Estado peruano,  a redoblar esfuerzos para revertir esta situación; este esfuerzo implica replantear o mejorar los diseños curriculares y, principalmente, la aplicación de los conocimientos y destrezas matemáticas a situaciones reales de la vida cotidiana o de la actividad laboral.

Elaborando nuestros propios ítems

El estímulo, las preguntas, las respuestas y los códigos elaborados corresponden a la asignatura de Matemática Financiera II e indudablemente desarrolla la competencia financiera; específicamente, el objetivo de la unidad didáctica es: “realizar, analizar e interpretar los diferentes cálculos referidos a las operaciones comerciales, económicas y financieras de la empresa o cliente, en función de su actividad de acuerdo al sistema de contabilidad general y a la legislación vigente”. Los alumnos cursan el tercer ciclo de la carrera de Administración o Contabilidad, en la modalidad de Educación Superior Tecnológica; la edad promedio es de 21 años, en el turno de la mañana y de 24 años, en el turno noche.

La propuesta es la siguiente:

Respuesta y características de la Pregunta 1

Código de corrección de la Pregunta 1:

Puntuación máxima

Código 1: Identifica que le conviene comprar al contado en la tienda Okioki porque paga menos.

• Conviene comprar en Okioki, el precio al contado es de 1,870 zeds que es menor a 1,900 zeds que es lo que hay que pagar en Repay.
• En Okioki, porque se paga 1,870 zeds que es menor que en Repay.
• En Okioki porque se paga menos.

Sin puntuación

Código 0: Otras

• Conviene comprar en la tienda Okioki (Sin explicación)
• Conviene en Repay porque se paga 2,000 zeds, que es menor a los 2,200 zeds de Okioki
• En Repay porque el precio es menor a Okioki.

Código 9: Sin respuesta.

Característica de la pregunta 1:

Se tiene que determinar el precio al contado, implica identificar, mediante el análisis, los elementos que intervienen en el fenómeno comercial y realizar un cálculo matemático. El nivel de dificultad es bajo.

CONTENIDO: Descuento comercial

PROCESO: Evaluar precios

CONTEXTO: Personal o empresarial

Respuesta y características de la Pregunta 2

Código de corrección de la Pregunta 2:

Puntuación máxima

Código 1:      A. 1,137 zeds.


Sin puntuación

Código 0:     Otras respuestas

Código 9:     Sin respuesta.

Característica de la pregunta 2:

Se determina el Valor Presente o el Capital Inicial de una serie de pagos aplicando los conceptos de renta vencida y renta adelantada, identificando la diferencia entre el capital que requiere para comprar al contado y el capital que desembolsa para adquirir el bien. El nivel de dificultad es medio.

CONTENIDO: Valor Presente de una serie de pagos.

PROCESO: Analizar un flujo de capital.

CONTEXTO: Personal o empresarial.

Respuesta y características de la Pregunta 3

Código de corrección de la Pregunta 3:

Puntuación máxima

Código 2: Indica que en la tienda Repay  el costo financiero es menor, identificando que el capital financiado es entre 1,200 a 1,400 zeds, y el costo financiero mensual entre el 4% al 17% en el caso de Repay, y entre el 18% al 30% en el caso de Okioki.

• En Repay, cuyo costo financiero es de 7% mensual, que es menor al 19% mensual de Okioki.
• En Repay, cuyo costo financiero es de 7% mensual, menor a Okioki.
• En Repay, cuyo costo financiero es de 113% anual, menor al 687% anual de Okioki.
• En Repay, cuyo costo financiero es de 113% anual, menor a Okioki.
• En Repay que al financiar un capital de 1,200 (a 1,400) zeds paga 4 cuotas de 400 significando una tasa de interés aproximadamente de 4% a 17%, menor al 18% a 30% de Okioki.

Puntuación parcial

Código 1: Indica que en la tienda Repay  el costo financiero es menor, identificando que el capital financiado es entre 1,200 a 1,400 zeds o que el costo financiero mensual entre el 4% al 17% en el caso de Repay o entre el 18% al 30% en el caso de Okioki.

• En Repay, que financia un capital de 1,200 a 1,400 zeds, se paga menos interés o se aplica una menor tasa de interés.
• En Repay se paga menos interés o se aplica una menor tasa de interés.
• En Repay, porque en Okioki se paga más interés o se aplica una mayor tasa de interés.

Sin puntuación

Código 0: Otras

• En Repay, se financia un capital de 2,000 a 2,200 zeds.
• En Repay, se financia un capital de 1,870 a 1,900 zeds.
• En Okioki el costo financiero es cero.
• En Okioki no se paga interés.
• En Okioki se paga menos interés o la tasa de interés es menor.

Código 9: Sin respuesta.

Característica de la pregunta 3:

Se identifica, mediante el análisis, los diferentes elementos que intervienen en la operación financiera, especialmente el valor del capital que va ser financiado y la serie de pagos, en función a ello estimar la tasa de interés o la Tasa Interna de Retorno (TIR). Se aplican conceptos financieros y fórmulas de matemáticas financieras. El nivel de dificultad es bastante alto.

CONTENIDO: Costo financiero o Tasa Interna de Retorno (TIR). 

PROCESO: Aplicar y Evaluar la TIR de un flujo de capital.

CONTEXTO: Personal o empresarial.

Espero que la lectura de esta propuesta haya sido de su interés y agradecería que en el espacio de comentarios me hiciera llegar su crítica y recomendaciones. 

Un MOOCafé en Lima hablando sobre evaluaciones

Mi primer MOOCafé en Lima, gracias a la convocatoria de Luis Hurtado, participante del curso "Preguntas PISA y TIMSS", fue una grata oportunidad para intercambiar ideas y vivencias sobre evaluaciones educativas y procesos de aprendizaje.

Con respecto a las MOOC valoramos la importancia de estos programas como Recurso Educativo Abierto, en la mayoría de los casos de calidad y que abren oportunidades u horizontes para ampliar las fronteras de aprendizaje próximo.

No fuimos ajenos a comparaciones de planificación y eficacia de sistemas educativos que en el caso de nuestros países marcan grandes brechas en los niveles de logro de competencias y que, obviamente, a nivel individual y de los docentes deben ser cubiertas, sin dejar de señalar la responsabilidad que le corresponde al Estado Peruano.

Luis Hurtado confiesa su interés en este MOOC en gran parte porque viene trabajando el tema de evaluaciones desde las investigaciones que ha realizado para sustentar su tesis para obtener el grado de Maestría.


Entre los muchos temas tratados tenemos:

1. Presentación.
2. Valoración del sistema educativo español.
3. Mis experiencias en diferentes MOOC.
4. Experiencia, hasta el momento, del curso "Preguntas PISA y TIMSS".
5. Sobre la enseñanza y aprendizaje de las matemáticas.
6. Motivación para participar en el MOOC PISA y TIMSS.
7. Comentarios sobre la participación de peruanos en el MOOC PISA y TIMSS.
8. Comentando la actividad 2 de la unidad 2.
9. La forma en que se aplican los cuadernillos a los diferentes grupos.
10. Formas en que se evaluaba las matemáticas.
11. Sobre el Aprendizaje Basado en Proyectos.
12. La valoración de los MOOCafés.
13. Como se organizan los MOOCafé Virtuales (Hangout)
14. Bondades de la metodología utilizada en los MOOC organizada por el INTEF y el INEE.
15. Aprendizaje fuera del aula.
16. La importancia de la comunicación y motivación en el aprendizaje.
17. Las limitaciones de nuestros alumnos.
18. Las virtudes de nuestros alumnos.
19. Conclusiones.
20. Despedida.

Espero que esta experiencia haya sido de su interés. Si desea escuchar algún tema en particular no dude en solicitarlo, con mucho gusto lo pondré a su disposición. Gracias.

¿Cómo corriges?

Mi justicia en las correcciones

Me considero justo y estricto para corregir exámenes escritos, especialmente estructurados. En las preguntas con opciones múltiples (respuestas cerradas), no hay mayor problema de equivocaciones o injusticias; en el aspecto del contenido guarda relación con las actividades de aprendizaje o con las lecturas obligatorias. En los casos que puedo ceder, ser más flexibles, son en las preguntas abiertas (respuestas elaboradas), en tanto no tengo la costumbre de establecer de manera explícita las posibles respuestas correctas (pre-codificación), en ese sentido, en algunos casos, puede denotar subjetivismo.

Procedimiento que sigo en las correcciones de pruebas

En las pruebas estructuradas (pruebas objetivas) es fácil la aplicación  de una plantilla de corrección y cuando se trata de preguntas abiertas, tal como indico líneas arriba, considero que los criterios está en mi mente, en tanto guarda relación con las clases y las lecturas obligatorias; pero, ciertamente, no deja de ser subjetivo, lo que el uso de un “diccionario de pre-codificación” permitiría ser más objetivo y justo. Por otro lado, en forma esporádica comparo resultados de aulas diferentes, no profundizando en el análisis de las causas particulares de dichos resultados.

Otras técnicas de evaluación

Las rúbricas y la lista de cotejos son procedimientos que me permite ser bastante justo o igualitario en la evaluación; además cuento con los argumentos, que me brinda el instrumento, para explicar y responder en forma adecuada a las inquietudes o disconformidades que puedan manifestar los alumnos. Ello no significa que hay aspectos en el desempeño de un estudiante que me parece brillante, como también me puede parecer bastante deficiente, y no está considerado en mis criterios de evaluación; por lo cual no lo tomo en cuenta.

Dependiendo del tipo de actividad o tarea realizada soy más o poco estricto. Cuando evalúo actividades, actuaciones y productos específicos, si tengo las rúbricas de evaluación soy bastante estricto, aunque los aspectos dinámicos e intervenciones orales se es menos preciso; a diferencia de los productos físicos, digitales o escritos, que son más fáciles de observar.

Si las actividades son muy dinámicas y múltiples, como los debates, soy más flexible y por lo general con una lista de cotejos registro uno o unos pocos atributos esperados, generalmente registrando la participación del estudiante.

En el caso de la co-evaluación, establecido los criterios de evaluación y la rúbricas respectivas son los alumnos quienes lo aplican y se respeta su calificación.

Si el desempeño no es el esperado suelo ser flexible en los plazos para la entrega de las tareas o trabajos. Pretendo no desanimar ni desmotivar a los alumnos, ahí es el momento que puedo ser más blando; pero si doy alguna oportunidad a algún alumno suelo generalizarlo para el resto del aula.

Ahora juzgue usted mi justicia, indicando en los comentarios su parecer. Gracias.

Adaptando ítems liberados

Una de las formas de utilizar los ítems liberados de las Evaluaciones Externas Internacionales es adaptarlas al proceso de aprendizaje de nuestros alumnos. En este caso la elaboración está dirigida a estudiantes del tercer ciclo de Educación Superior Tecnológica para el curso de Estadística Aplicada, válido para todas las carreras, en especial para Administración de Empresas. El promedio de edad de estos estudiantes es de 21 años, los de turno mañana y 24 años, los de turno noche.

He elegido las competencias matemáticas para esta actividad, tomando como referente las preguntas TIMSS, tanto para Educación Primaria como para Educación Secundaria. En ambos casos he escogido estímulos que se centran en evaluar más el dominio cognitivo (habilidades y destrezas) que el dominio de contenido (hechos y conceptos).

TIMSS 2007 - 4º Primaria

La primera pregunta seleccionada es la que muestro a continuación:

Esta pregunta es considerada de dificultad alta, esta dirigida a alumnos de 4º grado de Primaria, cuyo promedio de edad es 9,5 años.

Adaptación 1

La adaptación que he realizado agrega más variables y más observaciones; sin embargo evalúa las mismas capacidades, que para los alumnos de primaria indudablemente sería de grado mayor de dificultad; pero para los alumnos de educación superior tecnológica el grado de dificultad sería menor (solo intermedio). Con respecto al curso de Estadística, los alumnos tienen que desarrollar la habilidad de recopilar, procesar, representar y analizar los datos; ello incluye la verificación de los procesos que si bien se pueden realizar con artefactos electrónicos-digitales, esto no excluye posibles errores que la vista y el razonamiento humano lo puede detectar.

Este estímulo puede ser aplicado a evaluar otros conocimientos, como frecuencia, muestreo o participación de mercado.

TIMSS 2011 - 8º grado

La segunda pregunta corresponde a la prueba TIMSS 2011 para 8º grado, equivalente en España al 2º curso de Educación Secundaria, para edades promedio de 14 años. En este caso el estímulo y la pregunta corresponde al dominio cognitivo de razonamiento y al nivel avanzado.

Adaptación 2

La siguiente adecuación también corresponde al mismo dominio cognitivo, aunque con un mayor grado de dificultad, teniendo en cuenta la exigencia de la educación superior y la edad de los alumnos, que tienen en promedio entre 21 y 24 años.

Este estímulo podría aplicarse tambien en otros contenidos, como frecuencia o correlación lineal; también en otras asignaturas como "Sociedad y Economía", "Marketing" o "Investigación de Mercados", con preguntas que incluyan la interpretación.

A grandes rasgos las similitudes y diferencias obtenidas en estas adaptaciones lo podemos leer en el siguiente cuadro:

Cualquier observación o sugerencia, por mi parte, siempre sera bien recibida por la opotunidad que me puedes brindar de mejorar. Gracias.

REFERENCIAS:
Foto (CC): http://pixabay.com/en/question-marks-punctuation-symbol-2215/

Beneficios de disponer de los ítems liberados

Las principales ventajas que encuentro al disponer de los ítems liberados de las Evaluaciones Externas Internacionales son:

• Analizar la estructura de las pruebas y la sustentación de los ítems; de forma tal que pueda aplicarlo, con el respaldo de la seriedad y validez que contiene su elaboración y selección.
• Adoptar la estructura de las pruebas PISA y consultarla como fuente de ideas de diferentes formas de elaborar pruebas escritas. 

Entre los muchos ítems que me resultan sumamente interesante señalo algunos:

PISA 2012 COMPETENCIA FINANCIERA – NUEVA OFERTA

PISA 2012 COMPETENCIA FINANCIERA – EN EL MERCADO

PISA 2012 RESOLUCIÓN DE PROBLEMAS - BILLETES

ICCS 2009 Estudio Internacional de Civismo y Ciudadanía – Ítem 1

TIMSS 2011 – Venta de bebidas gaseosas

  

Marcando el enlace puede profundizar sobre la naturaleza de las preguntas y los criterios de su calificación o codificación. Ahora me queda ensayar la aplicación de estos problemas.

El programa PISA puesto en el centro del debate

Como he indicado en el Twitter, por lo general cuando leía una noticia sobre la prueba PISA, me centraba más en el ranking que sobre el contenido del programa, su validez, sus limitaciones o la interpretación de los resultados. Por lo general una lectura rápida de la situación en que se encuentra los diversos países y en especial mi país, Perú.

Un ejemplo de publicaciones centrado en el ranking lo encontramos en el siguiente artículo “El Perú baja dos puestos en educación: del 63 al 65” realizado por el diario “La República”.  Se trata de explicar los resultados como un reflejo de inadecuadas políticas educativas o desgobierno del Estado, como también por el atraso económico que tiene el país.  

Otra publicación digital, “La educación peruana en el contexto de PISA”, explica en forma más detallada la aplicación del programa PISA en el Perú, el contexto de su aplicación, sus ventajas y limitaciones. Las autoras son Liliana Miranda y Andreas Schleicher, son responsables, respectivamente, de dicho programa a nivel de Perú y a nivel internacional. La difusión cuenta con el auspicio del Grupo Santillana y el Consejo Nacional de Educación.

Ahora he ojeado algunas páginas web que se refieren a PISA y me sorprende el artículo de la revista digital, “finanzas.com”, cuyo título es “Lo que oculta el informe Pisa”; en tanto cuestiona dicha evaluación internacional por el diseño técnico y estadístico, y por un interés de la empresa Pearson para lucrar con dicho tipo de pruebas.

Con respecto al diseño del cuestionario, señala que las preguntas que se aplican a los países participantes son diferentes, incluso en el grado de dificultad; en el aspecto estadístico-matemático crítica el método de evaluación de Rasch.  

Con referente al interés lucrativo, según finanzas.com, Pearson obtiene las siguientes ventajas:

1. Es contratado por los Gobiernos de los países participantes, siendo quien confecciona las preguntas. 
2. Identifica a los clientes destacados, estos es países y colegios, significando dicha distinción un premio interesado.
3. Elabora material didáctica según las necesidades detectadas, para ponerlo a disposición de los clientes potenciales, de forma tal que puedan superar en el futuro el programa PISA.

También existe opiniones a favor de la validez de la evaluación PISA, por una parte los medios de comunicación, generalmente para destacar lo pésimo que está la educación en el país y la necesidad que tiene el Estado de reformarla; obviamente la información oficial de la OCDE, como de los gobiernos de los países participantes, en su mayoría, opinan favorablemente. Entre ellas he escogido el artículo “El programa PISA: un instrumento para la mejora del proceso de enseñanza-aprendizaje” publicado en La Revista Iberoamericana de Educación de la OEI (Organización de Estados Iberoamericanos). El enfoque que adopta fundamentalmente es reconocer la necesidad y la posibilidad de mejorar la educación. Valora particularmente la evaluación de las competencias científicas, especialmente la objetividad en comparación con las evaluaciones que se aplican en sus mismos centros de estudios o con sus mismos profesores; estas últimas tienen bastante variabilidad, dando a entender que tiene un alto grado de subjetividad.

Las cuestiones planteadas, especialmente la crítica de la revista “finanzas.com” es motivo para ahondar el estudio y la investigación de las evaluaciones externas internacionales, y en el caso particular del programa PISA, además, comparar los resultados con otros estudios internacionales para inferir la confiabilidad confluyente y la concordancia con la validez.

En todo caso, lo recomendable es recurrir, en la medida de lo posible, a las fuentes originales. En el Twitter con la etiqueta #preguntasPISA podemos encontrar múltiples caminos a esas fuentes.

REFERENCIAS:

Foto (CC): http://www.iuvalladolid.org/IMG/jpg/Charla_Javier_Gutierrez.jpg

Conociendo las evaluaciones internacionales

Mi nombre es José Luis Loyola Zorrilla, trabajo como especialista en tecnología educativa y uno de los aspectos que me interesa fortalecer de mis conocimientos de educación es el referente a la evaluación, especialmente en cuanto a las herramientas que se pueden utilizar y la validez que pueden contener. Por ello este curso "Las preguntas de PISA y TIMSS: una práctica para el aula", organizado por INEE (Instituto Nacional de Evaluación Educativa) del Ministerio de Educación, Cultura y Deporte, del Gobierno Español, es una excelente oportunidad para aprender más sobre evaluación, no solo de aprendizaje, sino de sistemas educativos.

El curso también es una buena ocasión para abrir en este blog, un espacio para difundir o reflexionar sobre los diferentes aspectos de la evaluación.

Principales evaluaciones internacionales from José Luis Loyola Zorrilla

De todas estas evaluaciones tengo predilección por la prueba PIAAC, en tanto se relaciona más con mis actividades profesionales. Espero nuevos amigos cibernautas dispuestos a compartir experiencias y conocimientos.

REFERENCIAS:
Foto (CC): https://c2.staticflickr.com/8/7266/6948062934_deb45f92fe_b.jpg