Tabla de contenido
Benchmarks de IA: cómo leer el anuncio de un modelo
Los benchmarks de IA se leen con seis preguntas. Qué mide un benchmark, por qué los puntajes suben solos y cómo enseñar a tu hijo a separar dato de anuncio.
El 30 de septiembre de 2026, Google lanzó Gemini 4 Argon y lo llamó su modelo más potente hasta la fecha. TechCrunch reportó que Google dijo que Argon “obtuvo puntajes significativamente más altos que GPT-6 Astra de OpenAI y que los modelos Fable y Opus de Anthropic en una variedad de benchmarks de IA”. Y luego vino la frase que enseña toda la lección: no se entregaron puntajes específicos.
Leer benchmarks de IA no es una habilidad técnica. Es comprensión de lectura con una lista corta de verificación. Un anuncio que no nombra prueba, ni número, ni quién evaluó, no es un resultado. Es una frase.
Puntos clave
- Un benchmark es una lista fija de preguntas más una regla de calificación. Cambia las preguntas, el formato de la indicación o cuántos intentos se permiten, y el puntaje cambia. Nada de eso es tramposo; es por eso que los puntajes solo se comparan cuando se dice el procedimiento.
- Los puntajes están subiendo rapidísimo. El AI Index de Stanford reportó aumentos de 18.8, 48.9 y 67.3 puntos porcentuales en un año en MMMU, GPQA y SWE-bench.
- Los modelos están convergiendo. El mismo reporte encontró que la diferencia entre el primero y el décimo cayó de 11.9% a 5.4% en un año, con los dos primeros separados por 0.7%. “El más potente” es una afirmación más chica de lo que suena.
- Un puntaje alto no se transfiere igual a todo. El AI Index señala que los modelos “destacan en tareas como los problemas de la Olimpiada Internacional de Matemáticas pero todavía tienen dificultades con benchmarks de razonamiento complejo como PlanBench”.
- El estándar bueno ya existe y casi nunca aparece en un anuncio: una tarjeta de modelo, propuesta por Mitchell y colegas en FAT* en 2019, que documenta uso previsto, procedimiento de evaluación y resultados por grupo.
Qué es un benchmark, mecánicamente
Un benchmark tiene cuatro partes, y las cuatro se pueden mover.
El conjunto de datos. Un grupo fijo de ítems. MMMU son preguntas multimodales de nivel universitario. GPQA son preguntas de ciencias de nivel de posgrado, escritas para que no se puedan buscar fácil. SWE-bench son problemas reales de repositorios reales de GitHub, donde el modelo tiene que producir un parche. Los ítems son específicos, finitos y públicos, y eso es a la vez su fuerza y su debilidad.
El formato de la tarea. Opción múltiple, texto libre, o un parche de código que pasa o no pasa una batería de pruebas. SWE-bench es el más estricto de los tres, porque el juez es la batería de pruebas, no una persona y no otro modelo.
El protocolo. Cómo se formula la pregunta, si el modelo tiene herramientas, cuántos intentos se le permiten, cuánto tiempo o cuántos tokens puede usar. Un intento contra diez cambia el puntaje de forma importante. Darle un intérprete de Python, también.
La función de calificación. Coincidencia exacta, una tasa de aprobación, una rúbrica, u otro modelo haciendo de juez. La última es la más frágil, porque un modelo calificando a otro hereda los puntos ciegos del que califica.
Ahora tres formas de fallar, cada una capaz de producir un número que se ve honesto y significa menos de lo que parece.
Contaminación. Si los ítems del benchmark aparecieron en los datos de entrenamiento, el modelo puede estar recordando en lugar de razonar. Es difícil de descartar en cualquier benchmark público, y por eso los más nuevos se diseñan para resistirlo o se guardan en privado.
Saturación. Cuando todos sacan 92% en una prueba, el 8% que queda son en buena medida ítems ambiguos o mal etiquetados, y las diferencias entre modelos dejan de significar algo. La prueba dejó de medir.
Selección. “En una variedad de benchmarks” es la señal. Un laboratorio corre decenas de evaluaciones y publica el subconjunto donde va adelante. Nada de eso es deshonesto, y de todas formas significa que el número no se puede comparar con el de la competencia.
La analogía, ahora que el mecanismo está puesto: un benchmark es un examen de años anteriores. Un estudiante que ya vio ese examen saca buena nota. Un examen que todos resuelven ya no ordena a nadie. Y un colegio que reporta solo su mejor materia está diciendo la verdad sobre algo muy angosto.
Los números que ponen los anuncios en perspectiva
El AI Index Report 2025 de Stanford es el documento gratuito más útil que un papá puede leer sobre esto, y su capítulo 2 hace dos cosas al mismo tiempo. Documenta un progreso enorme, y documenta por qué ese progreso es cada vez más difícil de interpretar.
El progreso: en un solo año los puntajes subieron 18.8 puntos porcentuales en MMMU, 48.9 en GPQA y 67.3 en SWE-bench. Eso no es incremental.
El problema de interpretación: la diferencia de puntaje entre el primero y el décimo cayó de 11.9% a 5.4% en un año, y los dos primeros quedaron separados por 0.7%. Cuando diez sistemas caben en una banda de seis puntos, cuál es “el más potente” depende casi por completo de qué pruebas elijas. El ranking es real y el ranking es frágil.
Y el problema de transferencia, en palabras del propio reporte: los modelos “destacan en tareas como los problemas de la Olimpiada Internacional de Matemáticas pero todavía tienen dificultades con benchmarks de razonamiento complejo como PlanBench”. Las matemáticas de olimpiada son una tarea cerrada y nítida. Planear bajo restricciones no lo es. Un papá leyendo un anuncio debería suponer que la capacidad anunciada es del tipo nítido.
Para contrastar, así se ve un resultado bien especificado. El 25 de julio de 2024, Google DeepMind reportó que AlphaProof y AlphaGeometry 2 juntos resolvieron cuatro de seis problemas de la Olimpiada Internacional de Matemáticas 2024, con 28 de 42 puntos, uno menos que el umbral de oro de 29. Las demostraciones se escribieron en Lean, un lenguaje formal que una computadora puede revisar. Las soluciones fueron calificadas por el profesor Sir Timothy Gowers y el doctor Joseph Myers según las reglas oficiales. Una solución salió en minutos; otras tomaron hasta tres días.
Compara los dos anuncios. Uno nombra la prueba, el puntaje, el umbral, el método de verificación, a los jueces con nombre y el tiempo. El otro dice “en una variedad de benchmarks de IA”. No necesitas formación técnica para saber cuál de los dos es evidencia.
Seis preguntas para cualquier anuncio con benchmarks de IA
| Pregunta | Respuesta débil | Respuesta fuerte |
|---|---|---|
| ¿Qué benchmark, con nombre? | “una variedad de benchmarks" | "SWE-bench Verified, 500 ítems” |
| ¿Cuál fue el puntaje exacto? | “significativamente mayor" | "64.2%, antes 49.1%“ |
| ¿Contra qué, y evaluado cuándo? | “le gana a la competencia" | "vs. el modelo X, misma fecha y mismo protocolo” |
| ¿Cuántos intentos se permitieron? | no se dice | ”un solo intento, sin reintentos, sin herramientas” |
| ¿Quién corrió la evaluación? | solo el fabricante | un laboratorio independiente, o un script reproducible |
| ¿Hay tarjeta de modelo? | sin documentación | uso previsto, límites y resultados por grupo publicados |
Imprime esto. Seis líneas. Funciona con un comunicado de prensa, con un video de reseña y con la presentación de venta de una herramienta de tutoría a un colegio.
Una pregunta más, porque es la que nadie hace: ¿en qué se equivocó el modelo? Un anuncio que describe un caso de falla es más creíble que uno que no, por la misma razón que un albañil que te menciona un problema es más creíble que uno que dice que todo está perfecto.
Cómo enseñarle esto a tu hijo
De 5 a 8 años: el dictado que se toma dos veces
Materiales: diez palabras en una hoja y un lápiz.
Hazle un dictado de diez palabras y anota el puntaje en la hoja. Mañana practiquen exactamente esas diez palabras y repitan el mismo dictado. El puntaje sube. Haz la pregunta: “¿eres mejor en ortografía, o mejor en estas diez palabras?”
Después dale diez palabras distintas de dificultad parecida. El puntaje normalmente baja. Esa diferencia, entre la prueba practicada y la prueba nueva, es la contaminación, y un niño de seis años la siente en la panza. Ponle nombre: “la prueba ya sabía qué respuestas venían”.
De 9 a 12 años: arma la prueba y después rómpela
Materiales: fichas de cartulina y dos voluntarios.
Tu hija escribe diez preguntas sobre un tema que domina. Les toma la prueba a dos: un hermano y, si lo permites, un chatbot. Anota los dos puntajes. Luego viene el trabajo de verdad: escribe diez preguntas nuevas del mismo tema, que nadie ve hasta el momento de la prueba, y repite.
Comparen los cuatro números. Casi siempre la prueba nueva es más difícil para todos, y a veces el orden se invierte. Pregunta cuál de los dos grupos de diez preguntas era “la prueba de verdad”. No hay respuesta limpia, y llegar a esa incomodidad es el objetivo. Cierren haciendo que escriba una frase describiendo su prueba como lo haría una científica: cuántas preguntas, qué tema, quién la tomó, cuántos intentos tuvo cada uno.
De 13 en adelante: reproducir un número
Escoge cualquier afirmación de benchmark de un lanzamiento reciente. La tarea no es correr la evaluación. Es averiguar si se podría correr: encontrar la página o el artículo del benchmark, anotar cuántos ítems tiene, cuál es la regla de calificación, y si el anuncio especifica el protocolo.
La mayoría de las veces va a encontrar un hueco. Documentar el hueco es el entregable. Un adolescente que puede decir “el anuncio dice un puntaje pero no dice cuántos intentos, así que no es comparable” tiene una habilidad que la mayoría de los adultos del sector no tiene.
La pregunta que debes hacer: “Si una empresa quisiera hacer una gráfica que se viera honesta pero exagerara su modelo, ¿qué cambiaría primero?”
¿Y en América Latina?
Dos cosas cambian aquí, y una de ellas casi nadie la dice.
La primera es el idioma. Casi todos los benchmarks que se citan en los anuncios están en inglés. MMMU, GPQA y SWE-bench se evalúan en inglés, y el desempeño de un mismo modelo en español suele ser menor, sobre todo en razonamiento largo y en variantes regionales. Los anuncios casi nunca reportan el puntaje en español por separado. Entonces la pregunta equivalente para una familia en Bogotá, Lima o Monterrey no es “¿cuál modelo es el más potente?” sino “¿alguien midió esto en español, y en el español que hablamos aquí?”. Si la respuesta no aparece, el número que leíste no describe la experiencia de tu hijo. Es un hueco concreto que los equipos regionales que siguen la IA en educación, como el observatorio de la UNESCO para América Latina y el Caribe, podrían exigir que se llene.
La segunda es que la región ya entiende los benchmarks mejor de lo que cree, porque vive con ellos. El Saber 11 del ICFES en Colombia, la PAES en Chile, el ENEM en Brasil, el examen de admisión en México: todo el mundo sabe que preparar específicamente para ese examen sube el puntaje sin subir necesariamente la capacidad. Esa es exactamente la contaminación y la saturación de las que habla este artículo. Si le dices a tu hijo “los benchmarks de IA son como el Saber 11 y hay academias que entrenan para el examen”, entendió el 80% en una frase.
Y una consecuencia práctica para los colegios. Cuando un proveedor llega a una escuela en Santiago o en Ciudad de México, la pregunta útil no es por el puntaje del modelo. Es por evidencia de aula, en español, con un grupo de comparación. Esa evidencia es mucho más rara de lo que sugieren las presentaciones.
Qué hacer en casa
Deja la lista donde se toman las decisiones
Las seis preguntas importan más cuando hay dinero o tiempo escolar en juego. Un colegio que compra una herramienta de tutoría, una suscripción que pide un adolescente, una computadora anunciada como “lista para IA”. Imprime la lista y déjala cerca del aparato donde la familia decide compras. Las listas de verificación le ganan a la memoria, y por eso las usan los pilotos.
Lean juntos una tarjeta de modelo
Mitchell y colegas propusieron las tarjetas de modelo en la conferencia FAT* de 2019, recomendando que los modelos liberados vengan con “documentación que detalle sus características de desempeño”, incluidos resultados desagregados por grupo y una declaración de uso previsto. Algunos laboratorios las publican. Leer una con un adolescente toma veinte minutos y cambia para siempre cómo lee un anuncio, porque ya vio cómo se ve la documentación completa.
Lee “el más potente” como una fecha, no como un ranking
Con 0.7% de diferencia entre los dos primeros, “el más potente” casi siempre quiere decir “el más recién lanzado”. Enseñarle a un chico a reescribir mentalmente la frase así le quita casi toda la exageración sin volverlo cínico. Y además es exacto.
Pregunta en voz alta en qué falló, siempre
Que se vuelva un tic de la casa. Sale un modelo nuevo, y alguien en la mesa pregunta “¿en qué falló?”. Si nadie encuentra la respuesta en el anuncio, eso ya es el hallazgo. El hábito sirve mucho más allá de la IA.
Lo que no debes hacer
No le enseñes a tu hijo que los benchmarks no valen nada. Esa es la conclusión perezosa y lo deja sin forma de comparar nada. Un benchmark es una medición con condiciones declaradas, como el rendimiento de combustible de un carro. La cifra sirve y las condiciones importan. Las dos mitades son ciertas, y la segunda es la que se salta la escuela.
Qué observar en los próximos 3 meses
- Semana 4: Revisa si Google ya publicó puntajes específicos de Argon y el protocolo detrás del anuncio del 30 de septiembre de 2026. Si aparecen números detallados, el anuncio original se fortalece de forma retroactiva. Si no aparecen, aprendiste algo sobre cómo reporta esa empresa.
- Mes 2, señales de alerta: Anuncios que se apoyan en un solo índice de terceros en lugar de nombrar benchmarks. Gráficas sin etiqueta en el eje vertical. Comparaciones contra el modelo viejo de la competencia. Cualquiera de las tres mueve un anuncio de “evidencia” a “publicidad” en tu cabeza.
- Mes 3, autoevaluación: Dale a tu hijo el anuncio de un modelo nuevo y pídele que responda las seis preguntas de la tabla sin ayuda. Si logra llenar cuatro de seis con el anuncio solo, el anuncio es inusualmente bueno. Si logra llenar una, identificó correctamente un documento de mercadeo.
Preguntas frecuentes
¿Un puntaje más alto significa que el modelo sirve más para la tarea de mi hijo?
No de forma confiable. El AI Index señala que modelos que resuelven problemas de olimpiada todavía tropiezan con benchmarks de planeación como PlanBench. Ayudar con tareas implica explicar al nivel correcto, admitir incertidumbre y no entregar la respuesta de una. Ningún benchmark grande mide eso directamente.
¿Por qué los laboratorios no publican todos sus puntajes?
Algunos sí, en tarjetas de modelo y reportes técnicos. Otros publican de forma selectiva porque un anuncio es un documento de mercadeo con un apéndice de ingeniería, y no al revés. Seleccionar no es inventar, pero vuelve la comparación entre empresas poco confiable si no hay un evaluador independiente con el mismo protocolo.
¿Qué es la contaminación de benchmarks en una frase?
Es cuando las preguntas de la prueba, o unas muy parecidas, aparecieron en los datos de entrenamiento del modelo, así que un puntaje alto puede reflejar memoria y no razonamiento. Es difícil de descartar en cualquier benchmark público, y por eso algunas evaluaciones nuevas se mantienen privadas o se regeneran.
¿Una empresa independiente de benchmarks es más confiable?
Más independiente, lo cual ayuda, pero sigues necesitando el protocolo. El anuncio de Argon citó un índice de una startup de evaluación llamada Vals. Los índices de terceros sirven, y también se pueden elegir porque favorecen. La pregunta sigue igual: qué prueba, qué puntaje, con qué condiciones.
¿Qué debería preguntar un colegio antes de comprar una herramienta de IA?
Las seis preguntas, más dos: qué pasa con los datos de los estudiantes, y qué evidencia existe de aula y no de benchmark. La tarjeta de modelo cubre lo primero. Un piloto en aula con grupo de comparación cubre lo segundo, y esa evidencia es mucho más escasa de lo que insinúan los proveedores.
¿Existe un número único que capture la calidad de un modelo?
No, y los datos de convergencia explican por qué. Con los diez primeros modelos dentro de una banda de 5.4 puntos, cualquier número único es una decisión sobre qué medir. Eso no es un defecto exclusivo de la IA. Es lo que le pasa a toda tecnología que madura cuando ya se tomaron las mejoras fáciles.
Sobre el autor
Ricky Flores es el fundador de HiWave Makers e ingeniero eléctrico con más de 15 años de experiencia desarrollando tecnología de consumo en Apple, Samsung y Texas Instruments. Escribe sobre cómo los niños aprenden a construir, pensar y crear en un mundo saturado de tecnología. Lee más en hiwavemakers.com.
Fuentes
- Ropek, L. (2026, 30 de septiembre). “Google releases Gemini 4 Argon, called its most powerful model yet.” TechCrunch. https://techcrunch.com/2026/09/30/google-releases-gemini-4-argon-called-its-most-powerful-model-yet/
- Stanford Institute for Human-Centered AI. (2025). AI Index Report 2025, capítulo 2: Technical Performance. https://hai.stanford.edu/ai-index/2025-ai-index-report
- Google DeepMind. (2024, 25 de julio). “AI achieves silver-medal standard solving International Mathematical Olympiad problems.” https://deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/
- Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., y Gebru, T. (2019). “Model Cards for Model Reporting.” FAT ‘19*. https://arxiv.org/abs/1810.03993
- UNESCO. (2024, 8 de agosto). “AI competency framework for students.” https://www.unesco.org/en/articles/ai-competency-framework-students
- National Institute of Standards and Technology. (2023, 2024). “AI Risk Management Framework 1.0” y “Generative AI Profile, NIST-AI-600-1.” https://www.nist.gov/itl/ai-risk-management-framework
- Wikipedia contributors. (2026). “2026 in artificial intelligence.” Wikipedia. https://en.wikipedia.org/wiki/2026_in_artificial_intelligence
Más en HiWave Makers: saturación de benchmarks, benchmarks de agentes de IA y cómo funciona ChatGPT.