Qué es un benchmark de IA (y por qué no deberías fiarte solo de ellos)

Cada vez que sale un modelo nuevo, el anuncio va lleno de porcentajes: «93,5% en GPQA», «88% en Terminal-Bench». Son benchmarks, y conviene saber qué te están contando exactamente.

Qué es un benchmark

Es un examen estandarizado: un conjunto fijo de preguntas o tareas con respuestas conocidas, que se pasa a todos los modelos para poder compararlos con la misma vara de medir. Hay benchmarks de razonamiento, de programación, de matemáticas, de uso de herramientas o de manejo del ordenador.

Por qué son útiles

Porque sin ellos solo tendríamos impresiones. Permiten ver progresos reales entre generaciones y detectar en qué destaca cada modelo: uno puede ir muy bien en código y regular en escritura, y eso se ve en los números.

Y por qué no bastan

Tres razones. Una: las empresas eligen qué benchmarks publican, y curiosamente suelen ser los que ganan. Dos: existe el riesgo de contaminación, es decir, que las preguntas del examen hayan acabado en los datos de entrenamiento. Y tres, la más importante: un examen no se parece a tu trabajo real, y un modelo puede puntuar altísimo y resultarte incómodo de usar.

Cómo interpretarlos bien

Míralos como una orientación, no como un veredicto. Fíjate en diferencias grandes, no en dos décimas. Prioriza el benchmark que se parezca a lo que tú haces. Y prueba el modelo con tu caso real antes de pagar: es la única medida que de verdad importa.