Pronósticos de puntaje por cada carrera: ¿cómo usarlos?

Hace poco más de 5 años, en primer semestre de 2014, incorporé a las estadísticas de admisión del blog un puntaje pronóstico de referencia para cada carrera de la UN. La idea intuitiva era muy sencilla: a partir de los puntajes de corte pasados de cada carrera, pronosticar para cada una un puntaje que sirviera como guía a los aspirantes a la hora de seleccionar sus primeras y segundas opciones. En la entrada de hoy quiero evaluar qué tan buenos son hoy en día esos pronósticos y cómo deberían ser usados.

Inicio diciendo que al evaluar la calidad de los pronósticos el primer factor a tener en cuenta es considerar en qué contexto será usado y anticipar su uso practico, por tanto, la primera pregunta a realizar es cómo puede ser utilizado el pronóstico de puntaje. Antes de seguir, es importante precisar que los puntajes:

1. Dependen de los lineamientos del sistema de admisión establecido por la Universidad. Por ejemplo, en Bogotá hoy nadie puede obtener un cupo con un puntaje menor a 600, o en Palmira alguien puede ganar un cupo con un puntaje de 430. ¿Quién fija esos umbrales mínimos? La universidad.
2. Dependen de la cantidad de personas que presentan la prueba cada semestre. Hay un efecto de estacionalidad en los puntajes de tal forma que para las pruebas de ingreso a primer semestre de cada año, los puntajes suelen ser generalmente más altos por el simple hecho de que se presentan muchas más personas y hay un suerte de "más competencia".
3. Dependen de la dificultad de las preguntas de la prueba. Si en la prueba de admisión en promedio las preguntas son más difíciles, los puntajes totales tenderán a ser más bajos.
4. Dependen del método de calificación. Actualmente se usa el modelo de Rasch para obtener los puntajes por área y una suma ponderada estandarizada (llamémosla "la fórmula") para obtener el puntaje total estandarizado. Si cambia el modelo o cambia la fórmula cambian los puntajes totales.
5. Pueden ser influenciados por programas o políticas educativas de alto impacto. Si por ejemplo el Estado implementara en un año un programa nacional de refuerzo en matemáticas, es más probable que un aspirante promedio esté mejor preparado y tenga un mayor puntaje en dicha área y por extensión en el puntaje total.

Con esto en mente, convengamos que predecir el puntaje total estandarizado ("puntaje de corte") de una carrera es imposible y nadie puede decir con exactitud cuál será el puntaje del próximo semestre.

Sin embargo, tener una aproximación del puntaje sí puede ser útil para no tomar malas decisiones al momento de inscribir carrera.