Puntaje EUNACOM ¿Cómo se calcula?
La forma de calcular el puntaje EUNACOM cambió a partir de 2019: adiós descuentos por respuestas incorrectas.
Hasta EUNACOM 2018, tus respuestas incorrectas descontaban puntaje, pero ya no. Desde EUNACOM julio 2019, en sintonía con el Informe EUNACOM realizado por la OMS/OPS, las respuestas incorrectas ya no descuentan puntaje (ASOFAMECh, 2019), por lo que la fórmula para calcular tu puntaje EUNACOM es mucho más sencilla.
Tu puntaje EUNACOM se calcula dividiendo el total de tus respuestas correctas entre el total de preguntas válidas (no eliminadas) del examen.
Una vez que rindas el EUNACOM, de las 180 preguntas utilizadas se eliminarán todas aquellas que no hayan cumplido con los criterios mínimos de validez (confiabilidad y poder de discriminación) utilizados por ASOFAMECh.
Preguntas EUNACOM Válidas
Las preguntas EUNACOM válidas son aquellas que sobreviven al “filtrado” que se aplica después de rendir el examen, con el que se busca eliminar aquellas preguntas EUNACOM que no hayan funcionado bien como instrumento de evaluación, según la teoría moderna del análisis de ítems de evaluaciones (Hambleton y otros, 1991).
Dado que el examen EUNACOM se aplica con preguntas que, si bien han sido validadas por equipos médicos dedicados, no han sido probadas, luego de aplicar el examen se elimina una importante e impredecible cantidad de preguntas. Esto puede afectar de forma importante en tu resultado EUNACOM, ya que entre las preguntas que se eliminen, podrían estar algunas de las que respondiste bien.
¿Cómo se determinará cuántas y cuáles preguntas EUNACOM se se eliminarán después de que rinda el examen?
El algoritmo de eliminación de preguntas post examen EUNACOM es sencillo, no te compliques (ver figura 1). A la hora del filtrado de preguntas post-examen EUNACOM, debes considerar que:
- Si la pregunta no discriminó entre los que sabían y los que no sabían la respuesta correcta, se elimina la pregunta.
- Si la pregunta discriminó pero fue muy difícil:
- Si la elevada dificultad se debió a la forma, se elimina la pregunta (pregunta mal construída).
- Si la elevada dificultad se debió al contenido, se mantiene la pregunta como válida.
Figura 1: Algoritmo de eliminación de preguntas EUNACOM (Elaboración propia, Equipo EunaMed 2019). ¿Cómo se calcula la dificultad y el poder de discriminación de las preguntas EUNACOM? Aquí tienes la explicación matemática:
La eliminación de las preguntas EUNACOM después de aplicar el examen, se basa en dos índices: poder de discriminación y dificultad. Ambos índices, que forman parte de la Teoría Moderna de Respuesta al Ítem (IRT), se calculan para cada una de las preguntas contenidas en el examen, una vez que este ya se aplicó. (Hambleton y cols, 1991)
El coeficiente de discriminación de las preguntas EUNACOM
El coeficiente de discriminación, o coeficiente de correlación biserial (rbis), es un parámetro que permite determinar si una pregunta discrimina (diferencia o selecciona) efectivamente a quienes saben la respuesta correcta, de quienes no la saben (Hambleton y cols, 1991).
Este coeficiente se calcula comparando al 27% de los examinados que obtuvo la mayor cantidad de respuestas correctas (Grupo A) de las 180 preguntas iniciales del examen, versus el 27% que obtuvo la menor cantidad de respuestas correctas (Grupo B) y determinando la medida en que cada una de las preguntas, refleja esta correlación (Backhoff, E et al, 2000).
Los valores del coeficiente de discriminación pueden fluctuar entre -1 y 1. Mientras más cerca de 1, se considera una mejor discriminación entre los que saben y los que no saben; valor 0 significa que la pregunta no discrimina, y hacia -1 significa que la pregunta discrimina de forma errada (Backhoff, E et al, 2000). Ver tabla 1:
Tabla 1: Poder de discriminación (D) de los reactivos (preguntas) de una evaluación y recomendaciones sobre su uso o eliminación (Backhoff, E. y cols, 1991). En palabras simples, si la versión de examen que rindas está bien diseñada, cada una de sus preguntas debería cumplir el objetivo general del examen EUNACOM: “determinar si un médico cuenta con los conocimientos mínimos requeridos para ejercer en el Sistema Público de Salud de Chile”, logrando discriminar a los que saben su respuesta correcta de los que no la saben; por lo tanto, un médico que tiene la mayoría de las respuestas correctas en EUNACOM, tendrá al mismo tiempo una alta probabilidad de responder bien cada pregunta, siempre y cuando se trate de preguntas que discriminan bien (para ASOFAMECh, esto es coeficiente de discriminación igual o superior a 0.15).Eliminación de las preguntas EUNACOM que no discriminaron
Aquellas preguntas que no discriminaron (por ejemplo las que fueron mal respondidas por el grupo de los mejores evaluados y bien respondidas por los mal evaluados), obteniendo un valor de rbis inferior a 0.15, serán eliminadas del examen y no se considerarán en el cálculo del puntaje.
Eliminación por elevada dificultad de las preguntas EUNACOM
El índice de dificultad de las preguntas EUNACOM, que se simboliza generalmente con la letra p, es el número de aciertos totales para una pregunta determinada, versus el total de respuestas que recibió la pregunta, sin considerar las omisiones (Backhoff, E et al, 2000). Mientras más alto sea este porcentaje, menor es la dificultad de la pregunta, como muestra la tabla número 2:
Tabla 2: Nivel de dificultad (p) y evaluación del reactivo (Backhoff, E., 1991). Entre todas aquellas preguntas EUNACOM con un índice de dificultad inferior a 0.20 (es decir muy difíciles o preguntas que obtuvieron menos del 20% de respuestas correctas), se determinan dos grupos: aquellas preguntas EUNACOM cuya mayor dificultad se atribuya a asuntos de forma por problemas en su confección (se eliminan) y aquellas preguntas cuya mayor dificultad se atribuya a los contenidos, pero no a la forma de la pregunta (se mantienen).Referencias:
- Sitio web oficial examen EUNACOM www.eunacom.cl – ASOFAMECh
- Hambleton, R. K.; H. Swaminathan, y H. J. Rogers. Fundamentals of Item Response Theory. Newbury: Sage, 1991.
- Backhoff, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2 (1). Consultado el día 12 de marzo de 2019 en: http://redie.uabc.mx/vol2no1/contenido-backhoff.html
Respuestas