La versión 4 de GEXCAT incorpora la posibilidad de conocer las respuestas marcadas en cada pregunta, normalizadas al modelo de examen 1 (en el caso de que hayan varios modelos), lo que va a permitir mejorar de forma significativa la calidad del análisis de resultados.
Con anterioridad, se disponía únicamente de información de si la pregunta se había acertado, fallado o dejado en blanco.
La nueva característica añade información adicional sobre la respuesta contestada.
Este cambio permite una mejora significativa de la calidad de los análisis de las preguntas, ya que se puede detectar preguntas que los alumnos no entienden (mayoría de respuestas en blanco), sesgos (respuesta errónea contestada mayoritariamente), …
Para analizar la calidad de las preguntas, GEXCAT utiliza los siguientes indicadores:
Denominamos grupo fuerte al grupo de participantes con mejores notas en un examen y grupo débil, a los que tienen notas mas bajas. Con objeto de discriminar claramente ambos grupos, se ha de:
Una elección de consenso, es utilizar 1/4 o 1/3 del total de participantes para cada grupo. GEXCAT toma como base de formación de los grupos fuerte y débil el % mas utilizado ( 27%). Los cálculos se hacen en base a los alumnos de los grupos fuerte y débil, descartando a los situados en el grupo medio.
Es un índice que permite determinar en qué medida una pregunta es suficientemente selectiva para distinguir un grupo fuerte de un grupo débil. Es decir, si la pregunta permite discriminar a los mejores alumnos. Varía de -1 a +1.
Indice de discriminación = 2 x (GF – GD)/ N, donde:
Cuanto mayor sea el índice, mejor permitirá la pregunta diferenciar al grupo fuerte del débil.
Un test con preguntas con altos índices de discriminación, asegura una clasificación discriminativa de los participantes según su nivel de actuación. Dicho de otra manera, el test no concede ventajas a los débiles con respecto a los fuertes. Es decir, ayuda a reconocer a los mejores.
Es un índice muy util para mejorar un banco de preguntas. Los valores aceptados son:
Permite determinar en qué medida una pregunta es fácil o difícil. Varía de 0 a 100, siendo 100 muy fácil y 0 muy difícil. En principio, una pregunta que tenga un índice de facilidad comprendido entre 30 y 70 por 100 es aceptable.
Para su cálculo se utiliza la fórmula siguiente:
Indice de facilidad = (GF + GD) x 100/N donde:
Si utilizamos una prueba con un conjunto de preguntas que tengan índices repartidos entre el 30 y el 70 por 100, su índice medio se situará alrededor del 50 por 100.( También se aceptan valores comprendidos entre 35 y 85 por ciento).
Se ha demostrado que un test con índice medio de facilidad del 50 al 60 por 100 tiene grandes probabilidades de ser fiable en su consistencia interna u homogeneidad.
Es utilizado internamente por GEXCAT para asignar la dificultad a una pregunta.
Indice de dificultad = Redondear (M*10/A) donde:
Los valores van de 0 a 10, siendo la dificultad mayor cuanto mas alto es el número (8 ->80% de los participantes, la han fallado, 2, por el 20%)
Genera un informe detallado de auditoria a nivel de pregunta, haciendo un análisis de calidad de cada pregunta, al agrupar todos los indicadores de calidad:
VER MAS sobre herramienta
