Tabla de contenido
Saturación de benchmarks: cuando un puntaje perfecto no dice nada
Saturación de benchmarks en IA: cuando varios modelos sacaron 42/42 en la Olimpiada 2026, el puntaje dejó de informar. Qué lo reemplaza y qué enseñar en casa.
La saturación de benchmarks es lo que pasa cuando una prueba deja de informar porque demasiadas cosas la aprueban a la perfección. No porque la prueba fuera mala. Porque se resolvió.
En la Olimpiada Internacional de Matemáticas 2026 en Shanghái, del 10 al 21 de julio, varios sistemas de IA fueron calificados oficialmente con 42/42 perfecto, incluidos Celia de Huawei y dots-note-3.0 de RedNote. Otros laboratorios reportaron 42/42 en condiciones autoadministradas. Un año antes, los mejores resultados de IA eran 35/42.
Aquí está lo que un papá debería notar: entre 666 concursantes humanos, exactamente 7 sacaron 42. La prueba siguió discriminando de maravilla entre humanos y dejó de discriminar por completo entre sistemas de IA de frontera. La misma prueba, dos contenidos de información muy distintos, en las mismas tres semanas.
Puntos clave
- Un benchmark saturado es uno donde varios sistemas tocan el techo, así que el puntaje ya no puede ordenarlos. La información se fue aunque el número se vea impresionante.
- En la IMO 2026, Celia de Huawei y dots-note-3.0 de RedNote fueron calificados oficialmente con 42/42, con varios laboratorios reportando 42/42 autoadministrado. Las fuentes difieren en el conteo exacto, así que “varios” es la palabra precisa.
- Entre humanos se entregaron 55 oros con un umbral de 29 puntos y 7 de 666 concursantes sacaron 42. La misma prueba siguió siendo muy informativa para personas.
- La saturación es señal de cambiar qué mides, no de celebrar. Un análisis de la IMO 2026 lo dijo directo: cuando varios modelos comparten el techo, “el puntaje en sí deja de cargar información”.
- Los reemplazos son más específicos: IMO-Bench, con 400 problemas de respuesta verificable, 60 problemas de demostración, 1.000 ejemplos de calificación y 60 problemas formalizados en Lean; más evaluaciones propias a nivel de tarea sobre trabajo real.
Por qué un puntaje perfecto dice menos que uno bueno
Empecemos por para qué sirve una prueba. Un benchmark existe para ordenar cosas: cuál modelo es mejor en esto y por cuánto. Ordenar requiere dispersión. Si todos los candidatos sacan 100%, la prueba te dijo que todos pasan una barra y nada sobre quién va adelante.
Es un problema familiar en la escuela. Si todos los estudiantes de un curso sacan 10, la calificación deja de predecir quién entendió mejor. El maestro no aprendió menos sobre los estudiantes en algún sentido cósmico; la calificación dejó de ser un resumen útil.
Un análisis detallado de los resultados de la IMO 2026 describe la saturación como algo que ocurre cuando hay “varios laboratorios, varios métodos, varios puntajes perfectos” en una evaluación estrella, provocando que “el puntaje en sí deje de cargar información”. Su formulación: “cuando varios modelos comparten el techo de una evaluación estrella, la decisión de compra se mueve a cuatro preguntas que el número del titular no puede responder”.
La contabilidad de ese análisis, que es el recuento público más cuidadoso que encontré:
Calificados oficialmente por la IMO con 42/42: Celia de Huawei y dots-note-3.0 de Xiaohongshu. Reclamos autoadministrados de 42/42, corridos bajo un arnés y calificados por un agente Claude: Claude Fable 5, GPT-5.6 Sol, Kimi K3 y AxiomProver de Axiom Math. El Nemotron 3 Ultra de NVIDIA sacó 30/42, calificado por el equipo de la IMO, por encima del umbral de oro.
Nota los dos niveles. Calificación oficial y calificación autoadministrada no son la misma afirmación. El reporte del South China Morning Post del 22 de julio se centró en dots-note-3.0 de RedNote como el primero en llegar a puntaje perfecto. Decir “varios sistemas” es honesto; dar un número exacto no lo es.
Qué muestran los números humanos por contraste
Los resultados oficiales de la IMO 2026 registran 666 concursantes de 117 países, 55 medallas de oro con un umbral de 29 puntos y 7 puntajes perfectos.
Haz la división. Cerca del 1% de los concursantes humanos llegó al máximo. Son los matemáticos jóvenes más fuertes de 117 países, trabajando a mano, con límite de tiempo, sin verificador y sin reintentos. La prueba discriminó con finura entre ellos: oros, platas, bronces y un puñado de puntajes perfectos en la cima.
Ese contraste es toda la lección, y es mejor que cualquiera de las dos versiones simplificadas (“la IA le ganó a los humanos” o “la prueba era fácil”). Los mismos seis problemas produjeron una distribución rica entre humanos y un techo plano entre sistemas de IA de frontera.
¿Qué se resolvió, específicamente? Producir soluciones correctas a problemas de competencia con respuestas verificables, con mucho tiempo de pensar. El mecanismo está documentado: Snell et al. (2024) mostraron que asignar cómputo de forma óptima al momento de responder puede superar al muestreo ingenuo por más de 4 veces. Nuestra guía sobre cómo piensa más tiempo la IA lo explica.
¿Qué no se resolvió? Plantear problemas que valgan la pena, reconocer qué pregunta abierta importa, la confiabilidad entre intentos repetidos y las matemáticas donde la respuesta no se puede verificar automáticamente. El panorama de Quanta del 3 de agosto de 2026 documenta cuánta verificación humana sigue rodeando cada resultado de titular.
Qué reemplaza a un benchmark saturado
Cuando una prueba se satura, el campo construye pruebas más difíciles o más específicas. Se ven tres direcciones ahora mismo.
Benchmarks más granulares en el mismo dominio. El análisis de la IMO 2026 nombra IMO-Bench, de Google DeepMind: 400 problemas de respuesta verificable, 60 de demostración, 1.000 ejemplos de calificación y 60 problemas formalizados en Lean. El diseño dice mucho. Separar los de respuesta verificable de los de demostración divide dos habilidades que un solo puntaje confundía.
Verificación formal. Lean convierte una demostración en código que compila o no, lo que transforma una cuestión de criterio experto en una comprobación de máquina; es la misma lógica que explicamos en recompensas verificables. Eso importa porque la alternativa es calificación humana, que es justo lo que recibieron los 666 concursantes de la IMO 2026.
Evaluaciones propias a nivel de tarea sobre trabajo real. La respuesta honesta a “qué modelo es mejor para mi trabajo” resulta ser: pruébalo en tu trabajo. El lanzamiento de Fable 5.1 del 1 de septiembre de 2026 reportó 52,6% en Terminal-Bench-Science 0.1 contra 24,7% de Fable 5 y 29,0% de Opus 5. Fíjate que esos números están lejos del techo. Un benchmark en su rango útil dispersa los resultados así, y un número de versión en el nombre (“0.1”) señala que los diseñadores esperan seguir subiendo la barra.
Hay también una advertencia: un puntaje puede estar inflado por contaminación, o sea que los problemas de la prueba aparecieron en algún lugar de los datos de entrenamiento. Es una preocupación viva con cualquier benchmark muy publicado, y una razón más para que una evaluación fresca y privada sobre tus propias tareas le gane a un número de titular.
¿Y en América Latina?
Este concepto tiene un paralelo directo con una discusión regional de la que se habla poco. Cuando la OCDE publicó PISA 2025 el 8 de septiembre de 2026, mostrando caídas en casi toda la región, la conversación pública se fue directo al ranking: qué país subió, qué país bajó. Pero un ranking es un benchmark, y tiene los mismos problemas: el número resume y también esconde.
El ejemplo más claro está del lado opuesto de la saturación. Las pruebas nacionales de la región (ICFES Saber 11 en Colombia, PAES en Chile, el examen de la UNAM en México, la prueba Aprender en Argentina) discriminan bien porque tienen un rango amplio de dificultad. Cuando una prueba es demasiado fácil para un grupo, deja de decir algo de ese grupo; cuando es demasiado difícil, tampoco. La habilidad de preguntar “¿a qué distancia del techo está este puntaje?” sirve exactamente igual para leer un resultado de PISA que para leer un anuncio de IA.
Y hay un dato de PISA 2025 que encaja bien aquí: los estudiantes colombianos están entre los que más usan chatbots de IA para aprender en la región. Si esos chicos van a convivir con anuncios de modelos, la alfabetización en medición les sirve más que la lista de modelos de este mes, porque la lista cambia y el método de lectura no.
Cómo enseñarle esto a tu hijo
Es una lección de alfabetización en medición, y se transfiere a calificaciones, estadísticas deportivas y reseñas de productos.
De 5 a 8 años: el examen demasiado fácil
Dale un examen de cinco preguntas que va a acertar seguro (de qué color es el cielo, cuántas patas tiene un perro). Saca 5 de 5. Después pregúntale: “Si tu amigo también sacó 5 de 5, ¿quién es mejor en este examen?”. Va a decir que no se puede saber. Exacto. Ponle nombre: “Cuando una prueba es demasiado fácil, todos sacan el puntaje máximo y deja de decirte algo. Entonces los grandes tienen que hacer una prueba más difícil”. Después que invente una pregunta lo bastante difícil para separarlo de un hermano.
De 9 a 12 años: hacer la prueba más difícil a propósito
Que tu hijo diseñe un examen de diez preguntas para la familia sobre algo que conoce bien. Háganlo. Miren los puntajes. Si todos sacaron 9 o 10, pídele que lo rediseñe para que los puntajes se dispersen. Es diseño de pruebas de verdad, y hacerlo una vez vuelve permanente el concepto. Después dale los números reales: 7 de 666 humanos sacaron puntaje perfecto en la IMO mientras varios sistemas de IA todos lo sacaron, y pregúntale para cuál grupo sigue funcionando la prueba.
De 13 en adelante: auditar una afirmación de benchmark
Que tu hijo elija cualquier anuncio de un modelo de IA y encuentre un número de benchmark. Después que responda cuatro preguntas: ¿cuál es el puntaje máximo posible?, ¿qué tan cerca está este del máximo?, ¿qué puntajes de otros sistemas se reportan al lado?, ¿el benchmark tiene número de versión y qué sugiere eso? Puntajes entre 20 y 60 en un benchmark con versión son informativos. Puntajes en el máximo o cerca no lo son. Es la habilidad que vuelve legible el resto de las noticias de IA.
La pregunta que debes hacer: “Si dos cosas sacan las dos un puntaje perfecto, ¿cómo averiguarías cuál es mejor?”
Estado de los benchmarks: qué sigue informando
| Benchmark | Qué mide | Estado a fines de 2026 | Por qué |
|---|---|---|---|
| IMO 2026 (calificación oficial) | Demostraciones de matemáticas de competencia | Saturado para IA de frontera | Varios sistemas en el techo de 42/42; 7 de 666 humanos |
| IMO 2026 (concursantes humanos) | Los mismos problemas, a mano, cronometrados | Muy informativo | Distribución completa: 55 oros con umbral de 29, 7 perfectos |
| IMO-Bench (DeepMind) | 400 de respuesta verificable, 60 de demostración, 60 en Lean | Diseñado post-saturación | Separa habilidades que un solo puntaje confundía |
| Terminal-Bench-Science 0.1 | Tareas científicas agénticas en terminal | En rango útil | 52,6% para Fable 5.1 contra 24,7% y 29,0%; dispersión amplia |
| Demostraciones verificadas en Lean | Si una demostración compila formalmente | Estructuralmente confiable | Binario y comprobable por máquina; sin criterio del calificador |
| Tu propio conjunto de tareas | Si funciona en tu trabajo real | Siempre informativo | Privado, sin contaminación, corresponde a lo que necesitas |
Si tu hijo todavía no tiene claro por qué el costo entra en la comparación, nuestra guía sobre qué son los tokens de IA lo explica. La última fila es la que importa para una familia que elige una herramienta. Nadie publica un benchmark para “ayuda a mi hija de 12 años a entender fracciones sin hacerle la tarea”, y esa es la única evaluación que responde tu pregunta.
Qué hacer en casa
Revisa la distancia al techo
Cada vez que tu hijo vea un puntaje de IA, pregunta cuál es el máximo. Un 96% en una prueba donde los mejores sistemas sacan entre 94 y 98 es ruido. Un 52,6% donde los competidores sacan 24,7% y 29,0% es una diferencia real. La distancia al techo es la forma más rápida de juzgar si un número significa algo.
Busca el número de versión
“Terminal-Bench-Science 0.1” te dice que los diseñadores esperan revisarlo. Los benchmarks con número de versión se mantienen activamente contra la saturación, lo que es una buena señal sobre la gente que los corre.
Arma tu propia prueba de tres tareas
Elige tres cosas para las que tu familia de verdad usa IA. Escríbelas. Cuando aparezca un modelo nuevo, corre esas tres. Toma quince minutos y le gana a todo benchmark publicado para tus fines. Si el costo entra en tu decisión, el precio por token publicado es un eje de comparación mucho mejor que cualquier puntaje, porque no se satura.
Separa “oficial” de “autorreportado”
En la IMO 2026 algunos resultados los calificó la competencia y otros fueron autoadministrados. Los dos pueden ser honestos y no son equivalentes. Enseñarle a un chico a preguntar “¿quién lo calificó?” aplica igual a benchmarks de IA, afirmaciones científicas y evaluaciones escolares.
Lo que no debes hacer
No leas la saturación como “la prueba no servía” o “la IA ya es mejor que los humanos en matemáticas”. La prueba siguió siendo muy informativa para 666 concursantes humanos el mismo mes. Y un puntaje al máximo en problemas de competencia verificables no dice nada sobre las partes de las matemáticas que consisten en elegir en qué trabajar.
Qué observar en los próximos 3 meses
- Semana 4: tu hijo puede explicar por qué que todos saquen puntaje perfecto vuelve menos útil una prueba, y puede nombrar la revisión de distancia al techo.
- Señales de alerta en el mes 2: repite números de benchmark sin saber el máximo. O concluyó que todos los benchmarks no significan nada, lo que descarta también los útiles.
- Autoevaluación del mes 3: dale dos afirmaciones de benchmark, una cerca del techo y otra de rango medio, y pregúntale cuál dice más. Respuesta correcta con una razón es aprobado.
Preguntas frecuentes
¿Qué significa saturación de benchmarks?
Que suficientes sistemas llegan al puntaje máximo como para que el puntaje ya no pueda ordenarlos. Un análisis de la IMO 2026 lo describió como varios laboratorios y métodos produciendo varios puntajes perfectos, punto en el cual “el puntaje en sí deja de cargar información”. La respuesta es construir una prueba que discrimine mejor.
¿Cuántos sistemas de IA sacaron puntaje perfecto en la IMO 2026?
Celia de Huawei y dots-note-3.0 de RedNote fueron calificados oficialmente con 42/42. Varios otros, incluidos Claude Fable 5, GPT-5.6 Sol, Kimi K3 y AxiomProver, reportaron 42/42 en condiciones autoadministradas. Las fuentes difieren en el conteo exacto, así que “varios” es la descripción precisa.
¿Esto significa que la IA es mejor en matemáticas que los humanos?
Significa que los sistemas de IA ahora puntúan en el techo en problemas de competencia con respuestas verificables, con mucho tiempo de pensar. Siete de 666 concursantes humanos también sacaron 42, trabajando a mano con límite de tiempo. Las matemáticas de competencia son una rebanada, y plantear buenos problemas sigue siendo actividad humana.
¿Qué reemplaza a un benchmark saturado?
Pruebas más granulares en el mismo dominio (IMO-Bench separa los de respuesta verificable de los de demostración e incluye 60 formalizados en Lean), verificación formal donde una demostración compila o no, y evaluaciones propias sobre el trabajo real que te importa.
¿Cómo juzgo un número de benchmark de IA como papá?
Tres preguntas, en orden: ¿cuál es el máximo?, ¿a qué distancia está este puntaje?, ¿qué puntúan los sistemas competidores en la misma prueba? Un puntaje lejos del techo con dispersión amplia entre competidores es informativo. Un grupo apretado cerca de la cima no lo es.
Sobre el autor
Ricky Flores es el fundador de HiWave Makers e ingeniero eléctrico con más de 15 años de experiencia desarrollando tecnología de consumo en Apple, Samsung y Texas Instruments. Escribe sobre cómo los niños aprenden a construir, pensar y crear en un mundo saturado de tecnología. Lee más en hiwavemakers.com.
Fuentes
- International Mathematical Olympiad. (2026). “IMO 2026, Shanghái, República Popular China.” https://www.imo-official.org/editions/2026/
- Digital Applied. (2026, 23 de julio). “IMO 2026 Perfect Scores and AI Benchmark Saturation.” https://www.digitalapplied.com/blog/imo-2026-perfect-scores-ai-benchmark-saturation
- South China Morning Post. (2026, 22 de julio). “World’s first AI model to earn perfect score in maths olympiad comes from China’s RedNote.” https://www.scmp.com/tech/article/3361482/worlds-first-ai-model-earn-perfect-score-maths-olympiad-comes-chinas-rednote
- MarkTechPost. (2026, 1 de septiembre). “Anthropic releases Claude Fable 5.1 and Claude Mythos 5.1.” https://www.marktechpost.com/2026/09/01/anthropic-releases-claude-fable-5-1-and-claude-mythos-5-1-52-6-on-terminal-bench-science-and-75-cheaper-cache-reads/
- Snell, C., Lee, J., Xu, K., y Kumar, A. (2024). “Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters.” arXiv:2408.03314. https://arxiv.org/abs/2408.03314
- Quanta Magazine. (2026, 3 de agosto). “Why the Legendary Erdős Problems Are Falling to AI.” https://www.quantamagazine.org/why-the-legendary-erdos-problems-are-falling-to-ai-20260803/
- OCDE. (2026, 8 de septiembre). “PISA 2025: Students’ reading and mathematics performance declined sharply across the OECD.” https://www.oecd.org/en/about/news/press-releases/2026/09/pisa-2025-students-reading-and-mathematics-performance-declined-sharply-across-the-oecd.html
