Tabla de contenido
Sesgo algorítmico en la IA: qué es y cómo afecta a tus hijos
Qué es el sesgo algorítmico en inteligencia artificial, casos reales documentados y cómo enseñarle a tus hijos a identificarlo. Guía para padres latinoamericanos.
Tu hija de doce años usa un servicio de tutoría en línea que le recomienda ejercicios de matemáticas. Semana tras semana, el sistema le sugiere problemas más sencillos que a sus compañeros. Ella no sabe por qué. Tú tampoco. Nadie revisó su nivel directamente: un algoritmo tomó la decisión basándose en patrones históricos de estudiantes similares. Ese es el sesgo algorítmico en acción: silencioso, invisible y con consecuencias reales. No es un error de programación que alguien va a corregir mañana. Es una característica estructural de cómo se construye la inteligencia artificial hoy, y hay razones concretas por las que los papás en México, Colombia y Argentina necesitan entenderlo.
Puntos clave
- Un algoritmo aprende de datos históricos. Si esos datos reflejan discriminación pasada, el algoritmo la reproduce y escala.
- El sistema COMPAS, usado en tribunales de EE.UU. para predecir reincidencia criminal, mostró tasas de error casi el doble para personas negras (Angwin et al., 2016, ProPublica).
- Los sistemas de reconocimiento facial cometen errores hasta 34% más frecuentes en mujeres de piel oscura que en hombres de piel clara (Buolamwini & Gebru, 2018).
- Un algoritmo de gestión de salud usado en hospitales de EE.UU. asignaba menos recursos a pacientes negros con igual nivel de enfermedad que pacientes blancos (Obermeyer et al., 2019).
- Enseñarles a los niños a hacer preguntas sobre los sistemas que los clasifican es una habilidad del siglo XXI tan importante como leer o multiplicar.
Qué es exactamente el sesgo algorítmico
Un algoritmo de inteligencia artificial no razona: aprende patrones. Le das millones de ejemplos y él extrae regularidades. El problema ocurre cuando esos ejemplos históricos están contaminados por las desigualdades del mundo real.
Imagina que entrenas un algoritmo para predecir qué estudiantes van a graduarse de universidad. Le das datos de los últimos veinte años: calificaciones, postales, tipo de escuela. El algoritmo descubre que estudiantes de ciertas colonias o barrios se gradúan menos. Correcto estadísticamente. Pero esos barrios tienen menos recursos, no menos inteligencia. Si el algoritmo usa ese patrón para rechazar solicitudes de crédito educativo o becas, está convirtiendo una desigualdad histórica en una profecía autocumplida.
Cathy O’Neil, matemática y autora de Weapons of Math Destruction (2016), lo resume con precisión: “Los modelos matemáticos codifican el pasado disfuncional y nos ayudan a repetirlo.” Los algoritmos no inventan la discriminación. La industrializan.
El caso COMPAS: cuando un algoritmo decide si alguien va a la cárcel
En 2016, el equipo de investigación de ProPublica analizó el sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), usado en varios estados de EE.UU. para recomendar condenas penales. El sistema asignaba una “puntuación de riesgo” de reincidencia a los acusados.
Los resultados fueron contundentes: la herramienta clasificaba incorrectamente a acusados negros como de alto riesgo casi el doble de veces que a acusados blancos (Angwin et al., 2016). Personas reales recibieron sentencias más largas basadas en una predicción estadística que contenía sesgo racial sistemático.
Esto no es un caso aislado. Es el ejemplo más documentado de una tendencia que se reproduce en sistemas de menor visibilidad pública.
El algoritmo de salud que valía menos la vida de algunos pacientes
Un estudio publicado en la revista Science en 2019 analizó un algoritmo comercial usado para identificar qué pacientes necesitaban más atención médica en hospitales de EE.UU. El algoritmo usaba el costo de atención pasada como proxy del nivel de necesidad de salud. El problema: históricamente, los pacientes negros recibían menos atención (y por lo tanto generaban menos costos), no porque estuvieran más sanos, sino por barreras de acceso.
El resultado fue que, para un nivel igual de enfermedad, el algoritmo asignaba menos recursos a pacientes negros que a blancos. Obermeyer y colegas (2019) estimaron que esto afectaba a millones de pacientes. El sesgo no era intencional. Era una consecuencia directa de usar datos históricos sin corregir la discriminación estructural que esos datos contenían.
El problema del reconocimiento facial: 34 puntos de diferencia
Joy Buolamwini, investigadora del MIT Media Lab, y Timnit Gebru publicaron en 2018 el estudio Gender Shades, que analizó sistemas comerciales de reconocimiento facial de IBM, Microsoft y Face++. El hallazgo: los sistemas identificaban correctamente el género de hombres de piel clara el 99% de las veces. Para mujeres de piel oscura, la tasa de error llegaba al 34.7%.
La razón: los conjuntos de datos de entrenamiento tenían una sobrerrepresentación de rostros masculinos y de piel clara. El algoritmo aprendió mejor lo que vio más. Si un sistema de reconocimiento facial se usa para control de acceso escolar o para detectar “comportamiento sospechoso” en espacios públicos — algo que ya ocurre en algunas ciudades de LATAM — ese sesgo tiene consecuencias directas para niños.
Cómo esto afecta a familias latinoamericanas hoy
El sesgo algorítmico no es solo un problema de tribunales estadounidenses. En LATAM, los algoritmos están cada vez más integrados en decisiones cotidianas:
Plataformas educativas: Duolingo, Khan Academy, y decenas de apps de tutoría usan sistemas de recomendación que aprenden del comportamiento de millones de usuarios. Si la mayoría de usuarios históricamente activos hablan inglés como primera lengua o tienen acceso a mejores recursos, los modelos pueden sistemáticamente subestimar el potencial de estudiantes hispanohablantes de primera generación.
Sistemas de crédito: Fintechs en México y Colombia ya usan ML para scoring crediticio. Cuando esos modelos se entrenan con datos históricos de usuarios con ciertas características demográficas, pueden reproducir la exclusión financiera histórica bajo la apariencia de objetividad matemática.
Contenido y recomendaciones: Los algoritmos de YouTube, TikTok e Instagram deciden qué ve tu hijo. Si el modelo aprendió que ciertos tipos de contenido generan más engagement en ciertos grupos demográficos, puede dirigir activamente a niños latinoamericanos hacia contenido de menor calidad educativa.
| Área de aplicación | Ejemplo de sesgo documentado | Impacto en LATAM |
|---|---|---|
| Justicia penal | COMPAS sobreestima riesgo en personas negras (Angwin et al., 2016) | Modelos similares adoptados en sistemas carcelarios regionales |
| Salud | Algoritmo comercial subestima necesidad en pacientes negros (Obermeyer et al., 2019) | IMSS, EPS: riesgo al digitalizar triaje sin auditoría de sesgo |
| Reconocimiento facial | Error 34% mayor en mujeres piel oscura (Buolamwini & Gebru, 2018) | Vigilancia escolar y pública en crecimiento en MX, CO, AR |
| Educación en línea | Recomendaciones desiguales por perfil demográfico | Amplifica brecha digital ya existente en la región |
| Crédito y finanzas | Scoring ML puede codificar exclusión histórica | Fintechs de LATAM usan ML con datos históricamente sesgados |
Cómo enseñarle esto a tu hijo
Edades 5-8: El juego del “adivina quién enseñó al robot”
Explícale que cuando una computadora aprende a hacer algo, alguien le muestra miles de ejemplos. Juega con él: “Si yo solo te enseño fotos de perros pequeños, ¿reconocerías un San Bernardo como perro?” Después hablen: ¿Qué pasaría si quien puso los ejemplos olvidó incluir ciertos tipos? Usa el ejemplo concreto de un juego de video que aprende qué personajes son “héroes” mirando solo películas viejas. Conecta esto con algo que ellos conozcan: ¿por qué en algunos videojuegos casi todos los personajes importantes se ven igual?
Edades 9-12: Audita un algoritmo sencillo juntos
Entra con tu hijo a Google Imágenes y busquen “médico” en inglés y luego en español. Comparen los resultados: ¿qué tipos de personas aparecen? ¿Qué diferencias notan? Hablen de qué datos pudo haber usado el algoritmo para construir esa imagen del mundo. Busquen también “científico” o “ingeniero” y observen si cambian las imágenes cuando se añade una ciudad latinoamericana al término. Este ejercicio toma quince minutos y produce una conversación sobre datos, representación y poder que ningún libro de texto da todavía.
Edades 13+: Revisa el concepto de “función de pérdida” y quién la define
Con adolescentes se puede ir más lejos. Explica que todo algoritmo de ML tiene una “función de pérdida”: una definición matemática de qué significa “equivocarse”. Si un sistema de calificación define el error solo como “no predecir el rendimiento académico promedio del grupo histórico”, nunca detectará que está sistematizando desventajas previas. Pídele que investigue el caso COMPAS en ProPublica y que responda: ¿cuál era la función de pérdida? ¿A quién beneficiaba esa definición de “acierto”? ¿Quién no fue consultado al diseñarla?
La pregunta clave: “Si un algoritmo aprendió con los datos del pasado, ¿qué parte del pasado está repitiendo sin que nadie se lo haya pedido?”
Qué observar en 3 meses
Mes 1: Después de hablar del tema, observa si tu hijo empieza a hacer preguntas sobre de dónde vienen las recomendaciones que recibe. “¿Por qué YouTube me muestra esto?” es el tipo de pregunta que indica que el concepto aterrizó.
Mes 2: Introduce el vocabulario en conversaciones cotidianas. Cuando vean noticias sobre tecnología, habla de datos y de quién los recopila. UNICEF (2021) recomienda que los niños desarrollen “literacidad algorítmica básica” antes de los 13 años. Pregunta directamente: ¿Crees que este sistema trataría igual a todos?
Mes 3: Si tu hijo está en secundaria o preparatoria, propón que busquen si su escuela o plataforma educativa usa algún sistema automatizado de clasificación o recomendación y que investiguen qué datos usa. El objetivo no es la paranoia sino la agencia: entender el sistema para no ser pasivo ante él.
Señal de alarma: Si tu hijo desarrolla fatalismo (“de todas formas el algoritmo ya decidió”) en lugar de curiosidad crítica, eso indica que necesita más ejemplos de personas que sí han logrado cambiar sistemas defectuosos. Timnit Gebru fue despedida de Google después de publicar investigación crítica sobre sesgos en IA. Su trabajo sigue citándose en todo el mundo. Eso también es una lección sobre sistemas.
Preguntas frecuentes
¿El sesgo algorítmico es intencional? ¿Alguien programó el racismo?
Casi nunca es intencional. Los ingenieros que construyen estos sistemas generalmente no tienen intención discriminatoria. El problema es estructural: cuando se usan datos históricos que reflejan discriminación pasada, el algoritmo aprende esos patrones. La ausencia de intención no elimina el impacto real en personas concretas. Por eso el término correcto es “sesgo sistémico”, no “maldad individual”.
¿Las empresas tecnológicas no lo corrigen ya?
Algunas lo están intentando. Existen técnicas de “fairness-aware ML” que buscan reducir el sesgo estadístico. El problema es que no hay consenso sobre qué significa “justo”: ¿igual tasa de error entre grupos? ¿ igual resultado positivo? A veces optimizar una definición de equidad empeora otra. Además, la transparencia es baja: la mayoría de los sistemas comerciales que toman decisiones importantes no están auditados públicamente.
¿Esto aplica a las IA que usan mis hijos en casa, como ChatGPT?
Sí, aunque de forma diferente. Los modelos de lenguaje como ChatGPT están entrenados en texto de internet, que sobrerrepresenta el inglés, perspectivas del norte global y ciertos grupos demográficos. En español latinoamericano, pueden reproducir sesgos culturales, usar vocabulario más castizo que latinoamericano, o dar ejemplos que no reflejan la realidad de la región. No es un defecto fatal, pero sí una razón para usar estas herramientas con pensamiento crítico activo.
¿Cómo puedo saber si una plataforma que usa mi hijo tiene sesgo?
Pregunta directamente al proveedor si hacen auditorías de equidad (fairness audits) y si publican sus resultados. Busca si han publicado su “model card” o ficha técnica del modelo. Observa si el sistema trata igual a tu hijo que a otros perfiles: si consistentemente recibe recomendaciones de menor nivel o es categorizado de formas que no corresponden a su capacidad real, vale la pena investigarlo.
¿Hay leyes en LATAM que protejan contra el sesgo algorítmico?
Está emergiendo. México tiene la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (LFPDPPP) y la INAI como regulador. Colombia tiene la Ley 1581 de 2012. Argentina tiene la Ley 25.326. Sin embargo, ninguna de ellas aborda específicamente el sesgo algorítmico en sistemas de decisión automatizada. La Unión Europea está más avanzada con su AI Act (2024). Varias organizaciones de la sociedad civil en la región están trabajando para llenar este vacío normativo.
Sobre el autor
Ricky Flores es el fundador de HiWave Makers e ingeniero eléctrico con más de 15 años de experiencia desarrollando tecnología de consumo en Apple, Samsung y Texas Instruments. Escribe sobre cómo los niños aprenden a construir, pensar y crear en un mundo saturado de tecnología. Lee más en hiwavemakers.com.
Fuentes
- Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). “Machine Bias.” ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
- Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). “Dissecting racial bias in an algorithm used to manage the health of populations.” Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342
- Buolamwini, J. & Gebru, T. (2018). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.” Proceedings of Machine Learning Research, 81, 77–91. http://proceedings.mlr.press/v81/buolamwini18a.html
- O’Neil, C. (2016). Weapons of Math Destruction. Crown Publishers.
- UNICEF. (2021). “Policy Guidance on AI for Children.” UNICEF Office of Global Insight & Policy. https://www.unicef.org/globalinsight/reports/policy-guidance-ai-children
