El análisis de ítems es la evaluación estadística de las preguntas de la prueba para garantizar que sean de buena calidad y corregirlas si no lo son. Este es un paso clave en el ciclo de desarrollo de la prueba; después de que los ítems se han entregado a los examinados (ya sea como piloto o en uso completo), analizamos las estadísticas para determinar si hay problemas que afecten la validez y confiabilidad, como ser demasiado difíciles o sesgados.
El análisis de ítems se refiere al proceso de analizar estadísticamente los datos de evaluación para evaluar la calidad y el desempeño de los ítems de la prueba. Este es un paso importante en el ciclo de desarrollo de la prueba, no solo porque ayuda a mejorar la calidad de la prueba, sino porque proporciona documentación para la validez: evidencia de que la prueba funciona bien y que las interpretaciones de las puntuaciones significan lo que usted pretende.
Qué se analiza cuando se estudian los ítems
Es una de las aplicaciones más comunes de la psicometría, mediante el uso de estadísticas de ítems para marcar, diagnosticar y corregir los ítems de bajo rendimiento en una prueba. Cada ítem que tiene un bajo rendimiento está perjudicando potencialmente a los examinados.
El análisis de ítems se reduce a dos objetivos: Encontrar los ítems que no funcionan bien (dificultad y discriminación, por lo general) Descubrir POR QUÉ esos elementos no funcionan bien, para que podamos determinar si los revisamos o los retiramos
Existen diferentes formas de evaluar el desempeño, como por ejemplo si el ítem es demasiado difícil/fácil, demasiado confuso (no discriminatorio), mal codificado o tal vez incluso sesgado hacia un grupo minoritario.
Cuando el objetivo del instrumento es medir el comportamiento típico de los examinados, se suele utilizar items multipunto o tipo Likert, los cuales deben ser sometidos a una exhaustiva revisión cualitativa y cuantitativa para poder conformar la versión definitiva del instrumento psicométrico.
Se recomienda utilizar estadísticos que describan individualmente al item (media, desviación típica), que reporten su capacidad discriminativa (correlación interitem) y su nivel de homogeneidad (consistencia interna).
El lugar del análisis de ítems en el desarrollo de una prueba
Cuando se lleva a cabo la elaboración de un test, una primera tarea importante es la construcción de los ítems que lo conforman. Sin embargo, si se revisan los manuales de psicometría clásica y los más recientes de Teoría de Respuesta a los Ítems puede observarse que dedican muy poca atención a la tecnología para la construcción de los ítems en comparación con otros tópicos asimismo relevantes, como la fiabilidad del test, la validez o el análisis de los ítems.
La explicación a este hecho es la asunción de que la construcción de los ítems depende más del ingenio e inspiración del constructor que de la aplicación sistemática de una tecnología, confiándolo todo a que los análisis estadísticos a posteriori permitan detectar los ítems inapropiados.
Afortunadamente esta filosofía ha ido cambiando y en la actualidad disponemos de trabajos y programas de investigación centrados en la construcción rigurosa de los ítems, bien recogidos en manuales como los de Haladyna (1994) y Osterlind (1998).
El análisis factorial es un aspecto fundamental en el estudio de las propiedades psicométricas de los ítems de un test. El Análisis Factorial Exploratorio es una de las técnicas más usadas en el desarrollo, validación y adaptación de instrumentos de medida psicológicos.
El Análisis Factorial exploratorio (AFE) de ítems es una de las técnicas más frecuentemente aplicadas en estudios relacionados con el desarrollo y validación de tests, porque es la técnica por excelencia que se utiliza para explorar el conjunto de variables latentes o factores comunes que explican las respuestas a los ítems de un test.
Construcción inicial y revisión cualitativa
Los contenidos a recoger en los ítems de una prueba deben ser una muestra representativa de la aptitud, rendimiento o cualquier otro aspecto que se desee evaluar, el cual debería estar especificado previamente y sin solapamientos entre sus elementos en una tabla lo más exhaustiva posible.
Este es el marco general en el que se encuadra nuestro trabajo, cuyo objetivo central es ofrecer a los investigadores y profesionales directrices claras y precisas que les permitan mejorar la construcción de los ítems de elección múltiple, no dejando esta importante labor a la mera intuición e inspiración del momento.
Es necesario que, tras crear los ítems, estos sean sometidos a un juicio de expertos que garantice la pertinencia y relevancia que tiene el ítem dentro del constructo que se quiere medir.
En tanto se disponga de items de mayor calidad, el instrumento será mejor. El análisis cuantitativo de los items se realiza mediante la aplicación de estadísticos, y a partir del resultado obtenido en cada procedimiento, se propone un modelo de selección para aquellos items que se aproximen al valor ideal establecido teóricamente para cada estadístico, considerando el objetivo del instrumento, su población y la tabla de especificaciones.
Formatos de ítems y consecuencias para el análisis
Como es bien sabido, existen diferentes formatos para los ítems. Algunos exigen construir la respuesta, como las preguntas abiertas, en las que el sujeto debe elaborar totalmente lo que se le plantea; por ejemplo, «Enumere tres huesos del tórax humano», o «Describa la función clorofílica».
También son abiertos los ítems de completar frases, que piden al sujeto que añada uno o más elementos de una oración, como por ejemplo, «El …, la tibia y el … son … de las extremidades inferiores humanas».
Otros formatos en cambio ofrecen al sujeto diversas opciones de respuesta, pidiéndole elegir las que reconozca como correctas. El formato más usual es el de elección múltiple, consistente en un enunciado o pregunta que se completa con varias opciones de respuesta entre las que el sujeto debe identificar la única correcta.
El ítem es denominado de elección alternativa si presenta sólo dos opciones de respuesta, o de verdadero-falso si son esas las opciones ofrecidas. Una versión del anterior es el formato verdadero-falso múltiple que pide al sujeto valorar con esas alternativas varios enunciados referidos a un mismo contenido.
Otros formatos presentan dos conjuntos de opciones que han de utilizarse de determinados modos: el de emparejamiento pide al sujeto asociar los elementos de uno y otro conjunto, y el de elección múltiple complejo propone elegir la opción correcta de una serie referida a un conjunto previo de opciones.
Por último, ítems de algunos de los formatos de elección múltiple, especialmente el usual, el de elección alternativa y el verdadero-falso, son presentados a veces en grupos referidos a un mismo contexto o referente, dando lugar al formato conjunto dependiente de un contexto.
Los ítems de elección múltiple exigen a quien los elabora un mayor esfuerzo y pericia que aquellos más abiertos que sólo plantean la pregunta, aunque hoy por hoy tienen la ventaja de una evaluación más fiable.
Por ello, los de elección múltiple son un recurso muy adecuado para estudiar amplias poblaciones de sujetos. A pesar de tales ventajas, estos ítems son vistos con reticencia por cuanto sólo serían adecuados para evaluar tareas sencillas y resultados de procesos más que estos.
Aunque tales carencias pueden estar presentes en muchos ítems de este tipo, no son inherentes a ellos; con ítems de elección múltiple adecuadamente construidos resulta posible evaluar tareas cognitivamente complejas, así como todos los pasos que deseen evaluarse de un proceso, como se pone de manifiesto ampliamente en la práctica de la evaluación (Haladyna, 1994).
Directrices para redactar ítems de elección múltiple
Las preguntas de selección múltiple son ampliamente usadas, tanto en pruebas construidas por docentes como en pruebas estandarizadas y su calidad es un tema crucial en evaluación educativa.
Ya sea se trate de pruebas para la educación básica, media o superior, estas preguntas a veces presentan defectos de construcción, como encabezados con demasiada información, interrogantes no claras o preguntas con varias posibles respuestas.
Las posibilidades de los ítems de elección múltiple se desaprovecharán, sin embargo, en la medida en que la construcción se realice de manera intuitiva.
Se han ofrecido distintos conjuntos de directrices para aportar una mayor sistemática a esa tarea (Hoepfl, 1994; Marrelli, 1995; Osterlind, 1998; Roid y Haladyna, 1982).
Especial mención merece la de Haladyna y Downing (1989), que sintetiza más de cuarenta taxonomías aparecidas en los cincuenta y cuatro años anteriores.
En el primer grupo, las directrices procedimentales aconsejan un uso correcto de la gramática, una cantidad no excesiva de material a leer en el ítem, la colocación vertical de las opciones y que haya solo una correcta, así como evitar el formato de elección múltiple complejo.
Las referidas al contenido señalan el nivel y tipo de pensamiento que puede requerir el ítem, mientras que los dos grupos restantes recogen directrices específicas para cada una de las partes del ítem, enunciado y opciones.
Los propios autores señalan problemas en su taxonomía, tales como ambigüedad de algunas directrices, falta de independencia entre otras y ausencia de integraciones que pudieran aportar mayor parsimonia.
Por ello, y quizás también por las dificultades que suponía el elevado número de directrices ofrecidas, apareció una nueva versión (Haladyna, Downing y Rodríguez, 2002) compuesta por 31 que puede verse en la tabla 3.
Las variaciones comentadas no resultan suficientes, ya que la nueva versión sigue presentando similares problemas que su predecesora, incumpliendo características exigibles a toda taxonomía o clasificación.
Algunas de las directrices no son mutuamente excluyentes: ocurre con la 7 («Evite ítems con trampas») que en su definición incluye explícitamente aspectos de las directrices 2 («Evite contenidos triviales»), 5 («Evite contenidos muy específicos o muy generales»), 14 («Asegúrese de que el sentido del enunciado resulta muy claro»), 16 («Evite adornar el texto en exceso») y 19 («Asegúrese que sólo una de las opciones es la respuesta correcta»).
Otras directrices tienen un contenido similar, como la 13 («Minimice la cantidad de lectura en cada ítem») y la ya citada 16. Sin embargo, y a pesar de esta semejanza, ambas están clasificadas en distintos apartados.
Por último, las definiciones de algunas directrices son imprecisas, como la 5, referida sin mayor caracterización a ítems «muy específicos», o la 1 que menciona una «única conducta mental específica».
Estos problemas y el aún elevado número de directrices dificultan la utilización de la taxonomía de Haladyna, Downing y Rodríguez (2002).
Cómo organizar un banco de ítems
Se encuentran diferentes definiciones a la hora de responder a la pregunta “¿Qué son los bancos de ítems?”, un factor común encontrado es que estos son conjuntos de reactivos organizados diseñados para medir el nivel de rasgo o el dominio sobre un tema que tiene una persona.
Los bancos de ítems son una colección extensa de reactivos, que supera el número de ítems necesarios para una sola aplicación, permitiendo así seleccionar los que resulten más adecuados según las características particulares de cada aplicación (AERA et al., 2014).
Siguiendo lo dicho en os Standards for Educational and Psychological Testing (AERA et al., 2014) los bancos de ítems son conjuntos que integran la información detallada de cada ítem, dentro de estos se incluye el contenido del ítem, la información psicométrica y un indicador alfanumérico que permita encontrar el ítem fácilmente.
Esta información va a facilitar la revisión y selección de ítems, asegurando un proceso riguroso y seguro. Por otro lado, Attorresi et al. (2009) incluye la importancia de tener varios ítems correspondientes a los distintos niveles de habilidad o de rasgo del evaluado, esto para hacer el test más versátil a la hora de evaluar diferentes tipos de personas.
| Elemento del banco | Función |
|---|---|
| Contenido del ítem | Identifica el material o rasgo que se desea evaluar. |
| Información psicométrica | Permite revisar la calidad y el funcionamiento del ítem. |
| Indicador alfanumérico | Facilita encontrar el ítem fácilmente. |
| Respuesta correcta | Permite analizar y calificar los ítems objetivos. |
| Nivel de habilidad o rasgo | Ayuda a seleccionar ítems adecuados para distintos examinados. |
Los bancos de ítems representan un avance significativo en diversos tipos de evaluación. Algunos ejemplos de pruebas que se realizan a partir de bancos de ítems son los siguientes: en el ámbito educativo, se emplean en pruebas estandarizadas como la prueba Saber 11 aplicada por el ICFES (Instituto Colombiano para la Evaluación de la Educación).
En el sector organizacional son útiles para la selección de personal, con pruebas como el Cuestionario de Personalidad Ocupacional (OQP) de SHL. En el contexto clínico, se aplican en cuestionarios de diagnóstico como el Test Adaptativo Computarizado para la Salud Mental (CAT-MH) (Graham et al., 2019).
Ventajas de los bancos de ítems
Flexibilidad en la evaluación: se refiere a que permiten adecuar un test según características específicas de la aplicación, como el nivel de habilidad de los evaluados para evitar frustración por preguntas muy difíciles o aburrimiento por preguntas muy fáciles (Attorresi et al., 2009).
Los bancos de ítems también son muy útiles al permitir seleccionar un conjunto de ítems según la sub habilidad específica dentro de un atributo que se quiera medir (Barrios Araya et al., 2017).
Igualmente, gracias a los procesos de selección de los ítems, es posible modificar la extensión de un instrumento, sin afectar la validez de la medición.
Seguridad: En la mayoría de evaluaciones es fundamental que los ítems no hayan sido conocidos previamente por los evaluados, con el fin de asegurar la validez de los resultados, es por esto que los bancos de ítems, al ser dinámicos, generan que los evaluados no sepan las preguntas a las que se van a enfrentar, incrementando la seguridad al evitar respuestas preparadas (Barbero, 1996).
Optimización del tiempo: Una de las aplicaciones de los bancos de ítems son los Test Adaptativos Informatizados (TAI), mencionados en Uy et al. (2020), estos ajustan las preguntas en tiempo real según las respuestas del evaluado, reduciendo el tiempo necesario para obtener resultados fiables.
Sin embargo, para que se puedan utilizar los ítems de un banco en TAI, los ítems deben estar rigurosamente calibrados, lo que implica un proceso más exigente en comparación con pruebas más tradicionales.
Por otro lado, en cuanto a los test clásicos, los bancos de ítems serán útiles al facilitar la construcción de pruebas a partir de ítems previamente validados, lo que va a permitir adaptar los test con mayor velocidad a las diferentes necesidades de cada aplicación.
Generación de test paralelos: Debido a que en los bancos de ítems se agregan ítems que ya han sido calibrados, es posible crear pruebas diferentes con igual validez y confiabilidad para aplicarlas a dos muestras diferentes y que sus resultados puedan ser comparados (Attorresi et al., 2009).
Preparación de los datos
La mayoría del software psicométrico utiliza una matriz de persona x elemento. Es decir, un archivo de datos donde los examinados son filas y los elementos son columnas.
A veces, es una matriz dispersa donde faltan muchos datos, como en las pruebas lineales sobre la marcha. También deberá proporcionar metadatos al software, como los identificadores de los elementos, las respuestas correctas, los tipos de elementos, etc.
El formato para esto variará según el software.
La elección de los datos y de la matriz de asociación condiciona todo el análisis posterior. Los datos deben examinarse antes de seleccionar el método estadístico, porque el tipo de respuesta, el número de categorías, la distribución y la presencia de datos faltantes pueden afectar la solución factorial.
El proceso generalmente incluye diversas etapas, como la recopilación de datos, limpieza, preprocesamiento y análisis.
Examina los detalles de cerca. Identifica y corrige cualquier error, diferencia o información faltante en el conjunto de datos. Tu trabajo cuidadoso asegurará que los datos sean precisos, consistentes y estén listos para el análisis.
Puedes utilizar técnicas como la imputación y la normalización para mejorar la calidad de los datos.
Selección de la teoría psicométrica
Además, es importante tener claridad acerca de la teoría psicométrica que se empleará para analizar la prueba (Barbero, 1996).
La Teoría Clásica de los Test (TCT) ha sido utilizada para evaluar las propiedades generales de las pruebas que se aplican, suponiendo que el error de medición es constante en todos los niveles de habilidad, resultando útil en estudios exploratorios.
Sin embargo, cuando se requiere analizar la prueba con mayor precisión, podría ser de mayor utilidad la Teoría de Respuesta al Ítem (TRI) puesto que a partir de esta se podrá estimar el error de medición para cada ítem y según los diferentes niveles de habilidad de los evaluados, lo que permite una mayor exactitud en la interpretación de los resultados y tomar decisiones particulares para cada contexto con mayor seguridad.
Además de eso, los análisis pueden diferir en función de si el ítem es dicotómico (correcto/incorrecto) o politómico (2 o más puntos).
Debido a las posibles variaciones, el análisis de ítems es un tema complejo. Pero eso ni siquiera entra en la evaluación del desempeño en las pruebas.
Estadísticos descriptivos de los ítems
Ítems dicotómicos
La TCP cuantifica la dificultad del ítem para ítems dicotómicos como la proporción (valor P) de examinados que lo responden correctamente. Varía de 0,0 a 1,0.
Un valor alto significa que el ítem es fácil y un valor bajo significa que el ítem es difícil. No hay reglas estrictas porque la interpretación puede variar ampliamente para diferentes situaciones.
Por ejemplo, se esperaría que una prueba realizada al comienzo del año escolar tuviera estadísticas bajas ya que a los estudiantes aún no se les ha enseñado el material.
Por otro lado, un examen de certificación profesional, al que alguien ni siquiera puede presentarse a menos que tenga 3 años de experiencia y un título relevante, ¡puede hacer que todos los ítems parezcan fáciles a pesar de que son temas bastante avanzados!
| Valor P | Interpretación general |
|---|---|
| 0.95-1.0 | Demasiado fácil. |
| 0.60-0.95 | Típico. |
| 0.40-0.60 | Duro. |
| <0.40 | Demasiado difícil. |
0.95-1.0 = Demasiado fácil (no sirve de mucho para diferenciar a los examinados, que es realmente el propósito de la evaluación)
0.60-0.95 = Típico
0.40-0.60 = Duro
<0.40 = Demasiado difícil (considere que una pregunta de opción múltiple de 4 opciones tiene un 25 % de probabilidad de acertar)
El límite del valor P mínimo representa lo que considera el punto de corte para que un ítem sea demasiado difícil. Para una prueba relativamente fácil, puede especificar 0,50 como mínimo, lo que significa que el 50 % de los examinados han respondido correctamente al ítem.
Para una prueba en la que esperamos que los examinados tengan un desempeño deficiente, el mínimo puede reducirse a 0,4 o incluso a 0,3.
El mínimo debe tener en cuenta la posibilidad de adivinar; si el ítem es de opción múltiple con cuatro opciones, existe una probabilidad del 25 % de adivinar la respuesta al azar, por lo que el mínimo probablemente no debería ser 0,20.
El valor P máximo representa el punto de corte para lo que considera un ítem demasiado fácil. La consideración principal aquí es que si un ítem es tan fácil que casi todos lo responden correctamente, no está brindando mucha información sobre los examinados.
De hecho, los ítems con un P de 0,95 o más suelen tener correlaciones biseriales puntuales muy deficientes.
Tenga en cuenta que debido a que la escala está invertida (un valor más bajo significa una mayor dificultad), esto a veces se conoce como facilidad del ítem.
Ítems politómicos
La media del ítem (politómica) se refiere a un ítem que se califica con 2 o más niveles de puntos, como un ensayo calificado con una rúbrica de 0 a 4 puntos o un ítem tipo Likert que se califica en una escala de 1 a 5.
La media de los ítems es el promedio de las respuestas de los ítems convertidas a valores numéricos de todos los examinados.
El rango de la media de los ítems depende de la cantidad de categorías y de si las respuestas de los ítems comienzan en 0.
La interpretación de la media de los ítems depende del tipo de ítem (escala de calificación o crédito parcial).
Un buen ítem de escala de calificación tendrá una media de ítem cercana a la mitad del máximo, ya que esto significa que, en promedio, los examinados no respaldan categorías cercanas a los extremos del continuo.
Deberá realizar los ajustes necesarios para su propia situación, pero aquí se incluye un ejemplo para el ítem de estilo Likert de 5 puntos.
| Media en una escala Likert de 5 puntos | Interpretación |
|---|---|
| 1-2 | Muy bajo; la gente está bastante en desacuerdo en promedio. |
| 2-3 | Bajo a neutral; la gente tiende a estar en desacuerdo en promedio. |
| 3-4 | Neutral a alto; la gente tiende a estar de acuerdo en promedio. |
| 4-5 | Muy alto; la gente está bastante de acuerdo en promedio. |
Iteman también proporciona límites de señalización para esta estadística. El límite de la media mínima del ítem representa lo que usted considera el punto de corte para que la media del ítem sea demasiado baja.
El límite de la media máxima del ítem representa lo que usted considera el punto de corte para que la media del ítem sea demasiado alta.
Se debe tener en cuenta la cantidad de categorías para los ítems al establecer los límites de los valores mínimos/máximos. Esto es importante ya que todos los ítems de un tipo determinado (por ejemplo, 3 categorías) pueden estar marcados.
Discriminación de los ítems
Ítems dicotómicos
En psicometría, la discriminación es ALGO BUENO, aunque la palabra suele tener una connotación negativa en general.
El objetivo de un examen es discriminar entre los examinados; los estudiantes inteligentes deberían obtener una puntuación alta y los no tan inteligentes, una puntuación baja.
Si todos obtienen la misma puntuación, no hay discriminación y el examen no tiene sentido. La discriminación de ítems evalúa este concepto.
TCP utiliza la correlación biserial puntual entre ítem y total (Rpbis) como su estadística principal para esto.
La correlación biserial puntual de Pearson (r-pbis) es una medida de la discriminación o fuerza diferenciadora del ítem. Varía de −1,0 a 1,0 y es una correlación de las puntuaciones del ítem y las puntuaciones totales brutas.
Si considera una matriz de datos puntuada (ítems de opción múltiple convertidos a datos 0/1), esta sería la correlación entre la columna del ítem y una columna que es la suma de todas las columnas del ítem para cada fila (la puntuación de una persona).
Un buen ítem es capaz de diferenciar entre los examinados de alta y baja capacidad, pero tiene un biserial de puntos más alto, pero rara vez por encima de 0,50.
| Rpbis | Interpretación general |
|---|---|
| 0,20+ | Buen ítem. |
| 0,10-0,20 | Ítem aceptable; probablemente se revise. |
| 0.0-0.10 | Calidad marginal; probablemente se revise o reemplace. |
| <0.0 | Ítem terrible; reemplácelo. |
0,20+ = Buen ítem; los examinados más inteligentes tienden a responder el ítem correctamente
0,10-0,20 = Ítem aceptable; pero probablemente lo revise
0.0-0.10 = Calidad marginal del ítem; probablemente debería revisarse o reemplazarse
<0.0 = Ítem terrible; reemplácelo
Un biserial de puntos negativo es indicativo de un ítem muy malo porque significa que los examinados de alta capacidad están respondiendo incorrectamente, mientras que los examinados de baja capacidad lo están respondiendo correctamente, lo que por supuesto sería extraño y, por lo tanto, generalmente indica que la respuesta correcta especificada es en realidad incorrecta.
Un biserial de puntos de 0,0 no proporciona ninguna diferenciación entre los examinados de baja puntuación y los de alta puntuación, esencialmente “ruido” aleatorio.
Una señal de alerta importante es si la respuesta correcta tiene un Rpbis negativo y un distractor tiene un Rpbis positivo.
El límite mínimo de correlación ítem-total representa la discriminación más baja que está dispuesto a aceptar. Este suele ser un número positivo pequeño, como 0,10 o 0,20.
Si el tamaño de su muestra es pequeño, es posible que se pueda reducir.
El límite máximo de correlación ítem-total es casi siempre 1,0, porque normalmente se desea que el Rpbis sea lo más alto posible.
Correlación biserial
La correlación biserial también es una medida de la discriminación o fuerza diferenciadora del ítem. Varía de −1,0 a 1,0.
La correlación biserial se calcula entre el ítem y la puntuación total como si el ítem fuera una medida continua del rasgo.
Dado que la correlación biserial es una estimación de la r de Pearson, será mayor en magnitud absoluta que la correlación biserial puntual correspondiente.
La correlación biserial supone de manera más estricta que la distribución de la puntuación es normal.
La correlación biserial no se recomienda para rasgos en los que se sabe que la distribución de puntuaciones no es normal (por ejemplo, patología).
Ítems politómicos
La correlación r de Pearson es la correlación producto-momento entre las respuestas de los ítems (como valores numéricos) y la puntuación total. Varía de −1,0 a 1,0.
La correlación r indexa la relación lineal entre la puntuación de los ítems y la puntuación total y supone que las respuestas de los ítems forman una variable continua.
La correlación r y el Rpbis son equivalentes para un ítem de 2 categorías, por lo que las pautas para la interpretación permanecen inalteradas.
El límite mínimo de correlación ítem-total representa la discriminación más baja que está dispuesto a aceptar.
Dado que la correlación r típica (0,5) será mayor que la correlación Rpbis típica (0,3), es posible que desee establecer el límite inferior más alto para una prueba con ítems politómicos (0,2 a 0,3).
Si el tamaño de su muestra es pequeño, es posible que se pueda reducir.
El coeficiente eta es un índice adicional de discriminación calculado mediante un análisis de varianza con la respuesta al ítem como variable independiente y la puntuación total como variable dependiente.
El coeficiente eta es la relación entre la suma de cuadrados entre grupos y la suma total de cuadrados y tiene un rango de 0 a 1.
El coeficiente eta no supone que las respuestas al ítem sean continuas y tampoco supone una relación lineal entre la respuesta al ítem y la puntuación total.
Como resultado, el coeficiente eta siempre será igual o mayor que la r de Pearson.
Tenga en cuenta que se informará la correlación biserial si el ítem tiene solo 2 categorías.
Claves y distractores
Al estudiar el análisis de ítems de las pruebas objetivas, hay que tener en cuenta todo el contexto de estas pruebas (ventajas, inconvenientes, tipos de preguntas, etc.).
Es obvio por otra parte que las pruebas objetivas no son el único método de evaluación, ni el mejor necesariamente.
No sobra recordar que el término objetivo tiene connotaciones equívocas: en las pruebas objetivas la corrección sí es objetiva (una respuesta o está bien o está mal), pero tanto la formulación de la pregunta (qué y cómo se pregunta) como dónde se pone el mínimum para el apto son ya decisiones subjetivas del profesor.
Las pruebas objetivas (tipo-test) pueden ser muy cómodas para el profesor, sobre todo con clases numerosas.
El análisis de claves y distractores debe comprobar que la respuesta correcta esté bien codificada y que las opciones incorrectas cumplan su función sin introducir pistas indebidas.
Un distractor que nadie selecciona puede ser irrelevante, mientras que un distractor elegido con mayor frecuencia por examinados de alta puntuación puede indicar un problema en la clave, en el enunciado o en la alternativa considerada correcta.
Análisis factorial de los ítems
El objetivo del presente trabajo es dar unas pautas que permitan llevar a cabo el análisis factorial de los ítems de una forma rigurosa y sistemática.
Se llevó a cabo una revisión de la literatura reciente para identificar los pasos fundamentales que se han de seguir para llevar a cabo un análisis factorial adecuado de los ítems de un test.
Se identificaron diez recomendaciones principales para llevar a cabo el análisis factorial de los ítems de un test: adecuación de los datos y la muestra, estadísticos univariados, justificación del análisis, selección de los ítems analizables, tipo de modelo, solución más apropiada, estimación de los parámetros, adecuación de la solución factorial, coherencia sustantiva del modelo y versión final del test.
AFE, ACP y AFC no son intercambiables
El Análisis Factorial Exploratorio (AFE), el Análisis de Componentes Principales (ACP) y el Análisis Factorial Confirmatorio (AFC) son técnicas utilizadas con este propósito. Pero no son intercambiables.
Si el análisis pretende identificar el número y composición de los factores comunes (variables latentes) necesarios para explicar la varianza común del conjunto de ítems analizado, entonces lo apropiado es aplicar un AFE.
En cambio, si el objetivo es identificar el número y composición de componentes necesario para resumir las puntuaciones observadas en un conjunto grande de variables observadas, entonces lo apropiado es aplicar un ACP.
Este método explica el máximo porcentaje de varianza observada en cada ítem a partir de un número menor de componentes que resuma esa información.
Las diferencias entre la primera opción (AFE) y la segunda (ACP), son evidentes.
Las variables observadas (ítems) son las variables independientes en el ACP, pero las variables dependientes en el AFE. A nivel conceptual (y formal) la diferencia es enorme.
El ACP es consistente con la conceptualización de medidas formativas, en las que los indicadores se consideran causa de un posible constructo (Bollen y Lennox, 1991; Borsboom, Mellenbergh y van Heerden, 2003; Joliffe, 2002), aunque el modelo en sí no haga referencia explícita a variables latentes.
De hecho, ni los componentes son variables "latentes", ni los ítems son ninguna "medida" indirecta de ellos.
Los componentes son "compuestos" de las variables observadas que cumplen la misión de reproducir el máximo de varianza de cada variable observada con el mínimo número de compuestos.
El objetivo está, pues, en la diagonal de la matriz, en las varianzas de cada variable observada. Y como parte del procedimiento para alcanzar este objetivo está la condición de que estos componentes presenten correlaciones nulas entre ellos.
Los cuatro bloques de decisión del AFE
Esta revisión y la guía con las recomendaciones correspondientes se han articulado en cuatro grandes bloques: 1) el tipo de datos y la matriz de asociación, 2) el método de estimación de factores, 3) el número de factores a retener, y 4) el método de rotación y asignación de ítems.
El análisis factorial exploratorio es una de las técnicas más usadas en el desarrollo, validación y adaptación de instrumentos de medida psicológicos.
Su uso se extendió durante los años 60 y ha ido creciendo de forma exponencial al ritmo que el avance de la informática ha permitido.
Los criterios empleados en su uso, como es natural, también han evolucionado.
Pero los investigadores interesados en asuntos sustantivos que utilizan rutinariamente esta técnica permanecen en muchos casos ignorantes de todo ello.
En las últimas décadas numerosos trabajos han denunciado esta situación. La necesidad de actualizar los criterios clásicos para incorporar aquellos más adecuados es una necesidad urgente para hacer investigación de calidad.
En este trabajo se revisan los criterios clásicos y, según el caso, se sustituyen o se complementan con otros más actuales.
El objetivo es ofrecer al investigador aplicado interesado una guía actualizada acerca de cómo realizar un Análisis Factorial Exploratorio consonante con la psicometría post-Little Jiffy.
Determinación de la adecuación del análisis factorial
En Psicología, cuando hablamos de tests, hablamos en muchos casos de variables latentes o rasgos que causan las respuestas a los ítems de ese test.
El objetivo del test es evaluar el grado en que una persona queda caracterizada por un determinado rasgo o variable latente, llámese extraversión, factor "g", o estrés, a partir de las respuestas observadas a un conjunto particular y bien escogido de ítems -las variables observadas-.
Si el test es multidimensional, entonces tendremos múltiples rasgos o variables latentes.
La adecuación del análisis debe justificarse antes de ejecutarlo. No basta con seleccionar una opción del programa estadístico: es necesario explicar qué se pretende conocer, qué modelo representa mejor los datos y por qué los ítems son analizables.
La aplicación del AFE en los estudios revisados ofrecía un patrón de errores comunes que se debían evitar.
Recientemente, Izquierdo, Olea y Abad (2013) presentaron una comunicación que analizó el uso del AFE en los años 2011 y 2012 en las tres revistas españolas con mayor factor de impacto continuado en los últimos 5 años: International Journal of Health and Clinical Psychology, Psicothema y Spanish Journal of Psychology.
Sus resultados fueron una vez más similares: altas tasas de decisiones erróneas o injustificadas.
Selección del número de factores
Las fases por las que pasa el análisis factorial requieren la aplicación de criterios de decisión que, como casi todo, han ido cambiando a lo largo del tiempo, a mejor por supuesto.
Pero aunque han ido cambiando, en la actualidad coexisten los criterios tradicionales, algunos francamente caducos, con los más modernos.
El investigador, desconcertado en unos casos por el gran número de posibilidades que han aparecido entre las que debe decidir, o ignorante en otros casos porque desconoce esas nuevas posibilidades, va abriéndose paso tomando decisiones en cada una de las encrucijadas que se encuentra por el camino hasta llegar al final confiando en su experiencia, en lo que han hecho otros antes que él, o en una combinación de ambas, pero sin saber a ciencia cierta si la salida que finalmente encuentra es la principal o la de servicio.
La paradoja que se da en este contexto es la siguiente: los metodólogos buscan y encuentran mejores criterios para aplicar el AFE, mientras advierten con unanimidad que los clásicos son en muchos casos inadecuados y peligrosos.
Es decir, abren nuevos y mejores caminos para encontrar la salida del laberinto, y avisan de que otros son engañosos.
En cambio, los investigadores que hacen un uso instrumental del AFE parecen desconocer en gran medida que los nuevos caminos son mejores y que los antiguos son peligrosos, por lo que continúan recorriendo el laberinto, ajenos a las indicaciones que les avisan de por donde tienen que ir.
De un lado, es necesario dar la máxima difusión a estos nuevos criterios, porque hoy día ya se sabe cuándo y por qué funcionan mejor que los anteriores.
De otro lado, es también necesario exigir que se apliquen en las investigaciones actuales, por lo mismo, porque hoy día se sabe que funcionan mejor que los clásicos.
Claramente lo que está fallando, a nuestro juicio, es la comunicación, o la señalización, si pensamos en el laberinto.
Estimación, rotación y asignación de ítems
El método de estimación de factores debe ser coherente con el tipo de datos y con el modelo de respuesta que se intenta representar.
La solución más apropiada no se decide únicamente por el número de factores, sino también por la interpretación de las cargas, la relación entre los factores y la calidad de la asignación de los ítems.
La rotación y asignación de ítems deben facilitar una estructura interpretable, sin convertir las cargas factoriales en un criterio automático de eliminación.
La solución factorial debe evaluarse desde dos perspectivas: su adecuación estadística y su coherencia sustantiva.
El análisis factorial no reemplaza la teoría del constructo ni la revisión del contenido. Una solución numéricamente aceptable puede carecer de sentido psicológico, curricular o educativo.
Coherencia sustantiva y versión final
La coherencia sustantiva del modelo exige comprobar que los factores identificados representan dimensiones reconocibles del constructo y que los ítems asignados a cada dimensión tienen un contenido compatible.
La selección final no debe basarse en un único estadístico. Un ítem puede mostrar una dificultad adecuada y, sin embargo, presentar una redacción ambigua, una carga factorial problemática, un funcionamiento diferencial o una escasa relevancia de contenido.
Una vez comprobada la validez teórica y la coherencia de los ítems con el objetivo de la prueba, es necesario realizar un análisis psicométrico que permita ver el funcionamiento de los ítems en condiciones reales.
Para lograr esto, se calculan indicadores como la dificultad, la discriminación y el error de medición, buscando identificar la calidad de cada ítem.
Dependiendo de la teoría que se utilice, se van a aplicar diferentes estadísticos, el punto es lograr identificar qué ítems cumplen con los criterios establecidos, cuáles deben ser corregidos y cuáles eliminados.
Tras realizar el análisis psicométrico para cada ítem, se lleva a cabo esta etapa en la que se seleccionarán los ítems que cumplen con los criterios de calidad previamente establecidos y se eliminan o modifican los que no.
Junto con esto, se realiza un proceso de equiparación de los puntajes, especialmente cuando el banco se construye con varios conjuntos de ítems aplicados en muestras diferentes, para esto, se ponen todos los puntajes en una misma escala.
Realizar esto, va a permitir realizar combinaciones de los ítems para cada aplicación sin que el test pierda validez (Barbero, 1996).
Funcionamiento diferencial y sesgo
La construcción de bancos de ítems presenta diversos desafíos, estos son algunos elementos importantes que deben ser tenidos en cuenta para asegurarse que los ítems que se seleccionan sean los adecuados para cada situación.
En primer lugar, se debe evitar el sesgo en los ítems para garantizar que no se afecta injustamente a ciertos grupos examinados.
Attorresi et al. (2009) mencionan la importancia de garantizar que los ítems no tengan funcionamiento diferencial, es decir que la probabilidad de dar una respuesta no sea diferente para personas de grupos distintos, pero con el mismo nivel de rasgo.
Las revisiones incluyen el comportamiento diferenciado de las preguntas, por ejemplo, que no tengan algún sesgo en algunas poblaciones específicas.
“En todas estas revisiones lo que se busca es que no haya ningún problema. Y, sin embargo, siempre puede quedar algo.
Por eso, SARI va a significar una ayuda enorme para revisar, filtrar y chequear automáticamente para asegurarnos aún más de la calidad de las pruebas”, agrega.
Almacenamiento, calibración y trazabilidad
Finalmente, se debe asignar un indicador alfanumérico a cada ítem acorde con su contenido y sus características psicométricas, este debe permitir el acceso rápido a cada ítem cuando sea necesario (AERA et al., 2014).
Junto con cada ítem y su indicador, es útil almacenar también información como la respuesta correcta, el rasgo evaluado y sus características psicométricas (Barbero, 1996).
Se debe recordar que Lertap será útil, ya que genera estadísticos clave para evaluar la calidad de cada ítem, sin embargo, esto no es suficiente, es necesario encontrar otro programa que permita almacenar los ítems junto a su información relevante y organizarlos por tema, por dificultad u otra categoría relevante para tu banco de ítems, además de esto, se debe asignar un código que facilite su búsqueda.
La calibración debe conservar la relación entre el contenido del ítem, sus parámetros psicométricos, la población de referencia y las condiciones de aplicación.
Un banco debe permitir revisar la historia de cada ítem, desde su redacción y juicio de expertos hasta sus resultados estadísticos, modificaciones, aplicaciones y decisión final.
Herramientas para el análisis
Existen diferentes herramientas que permiten analizar y almacenar los ítems de tu evaluación junto a su contenido e información estadística, una de estas herramientas es FastTest que ofrece diferentes funciones muy útiles al querer crear un banco de ítems, sin embargo, estas suelen de paga.
Una alternativa gratuita es Lertap, que aunque no sirve para gestionar bancos de ítems, es útil para analizar las propiedades psicométricas de los ítems para luego organizar la información en otro programa que nos sirva para almacenar.
Cada quien puede seleccionar el método que mejor se ajuste a sus necesidades y posibilidades.
Para implementar el análisis de ítems, debe utilizar un software dedicado diseñado para este propósito.
Si utiliza una plataforma de evaluación en línea, le proporcionará resultados para el análisis de ítems, como valores P de distractores y biseriales puntuales.
En algunos casos, puede utilizar software independiente.
Iteman y Xcalibre son dos programas de software especialmente diseñados por ASC para este propósito, uno para TCP y otro para TRI.
Lertap
Este programa nos ayudará a procesar y analizar los resultados de las pruebas, lo que será útil dentro de los bancos de ítems para comprender cómo se están comportando los ítems.
Para realizar el análisis de los ítems se deben seguir los siguientes pasos:
- Abrir Lertap e iniciar una página en blanco, en donde se pondrá la base de datos.
- Se debe poner la base de datos en la hoja llamada “Data”.
- En la hoja llamada “CCs” es donde irán las instrucciones de la forma en que se analizarán los datos.
- Tras tener arreglada la base de datos y las tarjetas de control que se utilizarán, se debe ejecutar el análisis.
- Primero en la pestaña “interpret” se generará una hoja de nombre “Freqs”, en donde debemos verificar la frecuencia de respuesta de cada uno de los ítems.
- Tras verificar que esta información sea correcta, sigue la pestaña “Elmillon”, donde se desplegarán una serie de hojas con los análisis estadísticos.
La hoja “CCs” se utiliza para configurar un análisis. CCs son Tarjetas de control (Control Cards), en este caso se utilizan tres tarjetas principales:
- *col: Implica las columnas que se deben analizar.
- *sub: res= Indica el tipo de respuestas que contiene la base de datos, title= el nombre de la prueba
- *key: Es la respuesta correcta en cada uno de los ítems.
Primero en la pestaña “interpret” se generará una hoja de nombre “Freqs”, en donde debemos verificar la frecuencia de respuesta de cada uno de los ítems, allí aparece la cantidad de personas que respondieron cada opción y el porcentaje que estas personas representan.
Finalmente, podemos generar gráficas sobre el comportamiento de los ítems dentro de cada cuartil de los datos, esto nos va a ser muy útil en caso de querer dividir los ítems según el nivel de habilidad o rasgo de cada evaluado, pues nos dirá que ítems son más adecuados para niveles bajos, medios o altos (según la cantidad de cuartiles que decidamos).
Esto se podrá generar si a partir de la hoja Stats1ul (que contiene los análisis de las respuestas según los grupos) se da clic en la pestaña Res.charts.
Automatización de la revisión
Sin embargo, no existe ningún sistema automatizado de revisión de ítems de este tipo de pruebas.
Por ello, un equipo de investigadores del Centro ANID CIAE de la U. de Chile está desarrollando un sistema automatizado de revisión de ítems, en base a un algoritmo y usando el principio de machine learning, que detectará automáticamente las imperfecciones de ítems en las pruebas.
“Siempre hay imperfecciones. En pruebas estandarizadas, en general, son muy pocas; en pruebas elaboradas a mano, hay más. Pero las hay.
Hay procesos en la construcción de pruebas que han sido automatizados en el pasado, pero no existe ningún proceso para automatizar la revisión de ítems.
En la actualidad, estas revisiones se hacen a mano y demandan mucho tiempo”, explica Severin Lions, investigador postdoctoral del CIAE y subdirector del proyecto.
El trabajo de SARI se basa principalmente en el reconocimiento de propiedades del texto, tales como la presencia de ciertas palabras claves o el recuento de caracteres, y en el análisis semántico y sintáctico de los distractores por técnicas de Procesamiento de Lenguaje Natural.
“Estos algoritmos necesitan ser entrenados para aprender a reconocer las imperfecciones.
Para esto necesitamos tener acceso a un gran banco de preguntas y para lograr este fin trabajamos con dos instituciones asociadas que administran grandes pruebas: DEMRE, la Subsecretaría de Educación Superior y la Agencia de Calidad de la Educación (DIA).
Esperamos que, al final del proyecto, SARI pueda asistir a los constructores y revisores de ítems de ambas instituciones”, explica Dartnell.
La elaboración de ítems es un proceso complejo, que debe conjugar múltiples miradas (disciplinaria, curricular, de evaluación, de imparcialidad, psicométrica), explica Carla Barrios, profesional de la División de Evaluación de Logros de Aprendizaje de la Agencia de Calidad de la Educación.
Agrega que el proceso de construcción de pruebas DIA pasa por 4 etapas: diseño, ítems, pruebas y validación.
“Después de cada proceso de evaluación se hace un chequeo para hacer un análisis estadístico y volver a mirar las preguntas y mejorarlas.
Para el caso de las pruebas DIA, siempre nos aseguramos que cada pregunta entregue información relevante para los docentes.
Un sistema automatizado como SARI podría optimizar los tiempos para lograr la calidad requerida”, explica.
Secuencia operativa para seleccionar ítems
La selección de ítems debe realizarse como una secuencia de decisiones conectadas, no como una eliminación automática basada en un único punto de corte.
- Definir el constructo, el dominio o el contenido que se desea evaluar.
- Construir una tabla de especificaciones lo más exhaustiva posible.
- Redactar un conjunto inicial de ítems suficientemente amplio.
- Someter los ítems a una revisión cualitativa y a un juicio de expertos.
- Preparar la matriz de datos, las claves, los tipos de ítem y los metadatos.
- Comprobar la calidad de los datos, la muestra y las distribuciones.
- Calcular dificultad, medias, dispersión, discriminación y funcionamiento de distractores.
- Elegir la teoría psicométrica y el modelo de análisis de acuerdo con el propósito.
- Examinar la estructura factorial cuando sea necesario.
- Revisar el sesgo y el funcionamiento diferencial.
- Decidir si cada ítem se conserva, se modifica o se elimina.
- Calibrar, equiparar y documentar los ítems seleccionados.
- Almacenar cada ítem junto con su información de contenido y sus características psicométricas.
- Construir la versión final del test y comprobar nuevamente su calidad.
Si se siguen de forma sistemática las diez recomendaciones propuestas, se conseguirá optimizar la calidad de los test y la toma de decisiones basadas en las estimaciones de las puntuaciones obtenidas mediante los mismos.
Estas directrices son recomendables tanto en el ámbito de la investigación como en contextos más aplicados y profesionales.
