Tabla de contenido
Sesgos algorítmicos: cómo la IA perpetúa injusticias y qué pueden hacer las familias LATAM
Los algoritmos de IA pueden reforzar el racismo, el clasismo y el sexismo. Guía para familias de México, Colombia y Argentina sobre cómo funciona el sesgo algorítmico y cómo protegerse.
En 2021, una startup mexicana de crédito basada en IA fue demandada por rechazar sistemáticamente solicitudes de mujeres en estados con apellidos indígenas, incluso cuando sus perfiles financieros eran similares a los de hombres aprobados. En Colombia, investigadores de la Universidad de los Andes publicaron un estudio mostrando que los sistemas de reconocimiento facial usados por algunas entidades privadas de seguridad tenían tasas de error hasta cinco veces más altas para personas afrodescendientes que para personas blancas. En Argentina, los algoritmos de plataformas de empleo tienden a mostrar ciertos avisos laborales de manera diferencial según el código postal del candidato, creando barreras invisibles para quienes viven en zonas históricamente marginadas. Estas no son anécdotas aisladas: son el resultado predecible de entrenar sistemas de IA con datos que reflejan siglos de desigualdad social.
Puntos clave
- Un sesgo algorítmico ocurre cuando un sistema de IA produce resultados discriminatorios porque fue entrenado con datos históricos que reflejan prejuicios humanos.
- En LATAM, los sesgos más documentados afectan a personas indígenas y afrodescendientes, a mujeres, y a personas de estratos socioeconómicos bajos.
- Los sistemas de reconocimiento facial tienen tasas de error significativamente más altas para pieles oscuras, lo que puede tener consecuencias graves en seguridad y acceso a servicios.
- Los algoritmos crediticios pueden perpetuar la exclusión financiera al usar proxies que correlacionan con raza o clase.
- Las familias pueden tomar medidas concretas: conocer sus derechos digitales, enseñar a sus hijos a cuestionar las decisiones de la IA, y exigir transparencia a las instituciones.
Qué es exactamente un sesgo algorítmico
La IA no “inventa” prejuicios: los hereda. Cuando se entrena un modelo de aprendizaje automático, se le alimentan datos históricos —registros de decisiones pasadas, comportamientos de usuarios, imágenes, textos. Si esos datos reflejan desigualdades sociales (y casi siempre lo hacen), el modelo aprende a replicarlas.
Hay tres fuentes principales de sesgo en los sistemas de IA:
Sesgo en los datos de entrenamiento: Si los datos históricos de aprobación de crédito reflejan que históricamente se otorgó menos crédito a mujeres o a personas de ciertos grupos étnicos, el modelo aprende que esas características predicen “mal pagador”, aunque la causalidad sea completamente inversa: se les negó el crédito por discriminación, no por riesgo real.
Sesgo en el diseño: Los ingenieros que construyen los sistemas llevan sus propios supuestos culturales. Si un equipo de desarrollo es mayoritariamente hombre, joven, blanco y de clase media alta, puede no anticipar cómo el sistema afectará a personas con experiencias muy distintas.
Sesgo en la retroalimentación: Cuando un sistema de IA toma decisiones y esas decisiones se usan para refinar el modelo, los sesgos se amplifican. Si un algoritmo policial decide patrullar más en ciertos barrios, se encontrarán más delitos ahí (no porque haya más, sino porque hay más vigilancia), lo que confirma el sesgo original del modelo.
Sesgo racial: reconocimiento facial en América Latina
El estudio más influyente sobre sesgo en reconocimiento facial es el de Joy Buolamwini y Timnit Gebru (MIT Media Lab, 2018): los sistemas comerciales de reconocimiento facial tenían tasas de error de hasta 34% para mujeres de piel oscura, comparadas con menos del 1% para hombres de piel clara. Aunque los fabricantes han mejorado sus sistemas desde entonces, la brecha persiste, especialmente en sistemas más económicos o desarrollados sin diversidad en los datos de entrenamiento.
En México, el INAI (Instituto Nacional de Transparencia, Acceso a la Información y Protección de Datos Personales) ha documentado el uso creciente de reconocimiento facial en transporte público, acceso a edificios y centros comerciales, sin regulación clara sobre exactitud mínima requerida ni sobre quién responde si el sistema comete errores. Para las comunidades indígenas de Oaxaca, Chiapas o Yucatán, cuya representación en los datos de entrenamiento de estos sistemas es casi nula, el riesgo de identificación errónea es especialmente alto.
En Colombia, la Defensoría del Pueblo ha señalado preocupaciones sobre el uso de reconocimiento facial en sistemas de transporte de ciudades como Bogotá y Medellín, subrayando que la población afrodescendiente —aproximadamente el 9% de la población según el DANE— puede estar sistemáticamente en desventaja.
Sesgo de clase: algoritmos crediticios y exclusión financiera
En América Latina, más del 50% de la población adulta aún no tiene acceso pleno al sistema financiero formal. Las fintechs y plataformas de crédito digital han prometido “democratizar” el acceso al crédito usando IA para evaluar a personas sin historial bancario. El problema: las variables alternativas que usan estos sistemas —comportamiento en redes sociales, tipo de celular, horarios de uso de la aplicación— pueden ser proxies encubiertos de clase socioeconómica o raza.
Un estudio del BID (Banco Interamericano de Desarrollo, 2022) analizó 12 fintechs en México y Colombia y encontró que las variables de “comportamiento digital” usadas como indicadores de solvencia correlacionaban fuertemente con el estrato socioeconómico y, en algunos casos, con el origen étnico —incluso cuando los modelos no usaban esas variables explícitamente. Este fenómeno se conoce como redlining algorítmico: la práctica de discriminación crediticia, ahora automatizada e invisible.
Sesgo de género: oportunidades digitales y educativas desiguales
Los algoritmos de plataformas de empleo y educación en línea también exhiben sesgos de género documentados. Un análisis de LinkedIn publicado en 2022 mostró que sus algoritmos de recomendación de empleos tendían a mostrar puestos de mayor remuneración con mayor frecuencia a perfiles masculinos que a perfiles femeninos con calificaciones similares. Plataformas similares en México y Argentina replican este patrón.
Para las familias, esto tiene implicaciones concretas: si tu hija busca empleo en línea, los algoritmos pueden estar reduciendo invisiblemente su campo de oportunidades. Si tu hijo usa una plataforma de aprendizaje adaptativo en la escuela, los contenidos que le recomienda pueden estar sesgados por supuestos de género sobre qué áreas le “gustarán más”.
| Tipo de sesgo | Área de impacto | Ejemplo documentado en LATAM | Consecuencia para familias |
|---|---|---|---|
| Racial (reconocimiento facial) | Seguridad y acceso | Sistemas con mayor error en pieles oscuras (México, Colombia) | Riesgo de identificación errónea de familiares |
| Clasista (crédito digital) | Acceso financiero | Proxies de clase en fintechs México y Colombia (BID, 2022) | Exclusión de crédito legítimo |
| Género (empleo y educación) | Oportunidades laborales | Menor visibilidad de empleos bien remunerados para mujeres | Reducción invisible de opciones de carrera |
| Lingüístico | Representación cultural | Menor precisión de IA en lenguas indígenas | Exclusión digital de comunidades originarias |
Qué pueden hacer las familias
Conocer sus derechos digitales
En México, la Ley Federal de Protección de Datos Personales otorga a los ciudadanos el derecho a conocer qué datos recaben de ellos las empresas y a solicitar su corrección o eliminación. En Colombia, la Ley 1581 de 2012 establece derechos similares, y la Superintendencia de Industria y Comercio (SIC) recibe quejas sobre uso indebido de datos personales. En Argentina, la Ley 25.326 de Protección de Datos Personales es aún más antigua y también contempla el derecho de acceso y rectificación.
Si una institución (banco, empleador, aseguradora) toma una decisión automatizada que te afecta negativamente, tienes el derecho de pedir una explicación sobre los criterios usados. Enseñar a los hijos adolescentes estos derechos es tan importante como enseñarles a usar las redes sociales de forma segura.
Enseñar a los hijos a cuestionar las decisiones de la IA
Cuando la IA toma una decisión, tiende a presentarse como objetiva y neutral. Enseñar a los hijos a preguntar “¿quién diseñó esto? ¿Con qué datos? ¿Quién se beneficia?” es una habilidad de pensamiento crítico fundamental.
Una conversación útil para niños de 10 en adelante: “El algoritmo de YouTube te recomienda videos. ¿Crees que te recomienda los mismos videos que le recomienda a alguien de otro país, otra edad o con un celular diferente? ¿Por qué podría haber diferencias? ¿Es eso justo?”
Exigir transparencia a las instituciones
Como padres y comunidad, pueden presionar a colegios, bancos y empleadores para que divulguen cuando usan sistemas de IA para tomar decisiones que afectan a las personas, y para que expliquen cómo previenen el sesgo. Organizaciones como Derechos Digitales (Chile) y Karisma (Colombia) hacen incidencia en este tema y publican recursos gratuitos.
Qué observar en los próximos 3 meses
Mes 1 — Identificar la IA en decisiones cotidianas: Durante una semana, lleven un diario familiar de decisiones donde podría haber un algoritmo involucrado: ¿el banco aprobó o negó algo? ¿Una plataforma de empleo mostró ciertos trabajos? ¿Un sistema de recomendación sugirió cierto contenido? Anoten quién tomó la “decisión” real: ¿un humano o una máquina?
Mes 2 — Investigar derechos: Visiten juntos el sitio web del INAI (México), la SIC (Colombia) o la Agencia de Acceso a la Información Pública (Argentina). Lean qué derechos tienen como usuarios de datos. Si el adolescente tiene cuentas en redes sociales, revisen juntos la configuración de privacidad y los términos de uso.
Mes 3 — Acción concreta: Si identificaron alguna situación donde sospecharon sesgo algorítmico (un rechazo inexplicado, una recomendación que pareció injusta), busquen cómo reportarlo. Puede ser a la empresa directamente, al regulador de datos de su país, o simplemente compartir la experiencia con la comunidad escolar para generar conciencia colectiva.
Preguntas frecuentes
¿Cómo sé si una decisión que me afectó fue tomada por IA o por un humano? Puedes preguntarlo directamente a la institución. En los países de LATAM con leyes de protección de datos, tienes derecho a saber si una decisión sobre ti fue completamente automatizada y, de ser así, solicitar una revisión humana. Si la institución se niega a responder o no sabe, eso en sí mismo es una señal de alerta sobre su nivel de transparencia.
¿Significa que debo desconfiar de todo algoritmo? No es desconfianza ciega, sino pensamiento crítico informado. Muchos algoritmos funcionan de forma razonablemente justa para muchas personas. El punto es que ningún sistema de IA es perfectamente neutro, y los grupos más vulnerables a los sesgos suelen ser quienes tienen menos poder para cuestionarlos. Enseñar a los hijos a preguntar “¿a quién puede perjudicar este sistema?” es la actitud correcta.
¿Puede la IA corregir sus propios sesgos? Técnicamente, existen métodos para reducir el sesgo en los modelos —como el “fairness-aware machine learning”. Sin embargo, requieren que los desarrolladores lo prioricen activamente, y muchos no lo hacen porque requiere tiempo, recursos y a veces reduce la precisión del modelo para el grupo mayoritario. La regulación y la presión pública son actualmente los mecanismos más efectivos para exigir esta corrección.
¿Por qué las lenguas indígenas son especialmente afectadas? Los modelos de lenguaje se entrenan principalmente con texto en internet, y los idiomas indígenas como el náhuatl, el quechua, el aymara o las lenguas mayas tienen muy poca presencia digital. Esto significa que los sistemas de traducción, asistentes de voz y correctores de texto funcionan de forma deficiente o nula para hablantes de estas lenguas, profundizando la brecha digital de las comunidades originarias.
Sobre el autor Ricky Flores es el fundador de HiWave Makers e ingeniero eléctrico con más de 15 años de experiencia desarrollando tecnología de consumo en Apple, Samsung y Texas Instruments. Escribe sobre cómo los niños aprenden a construir, pensar y crear en un mundo saturado de tecnología. Lee más en hiwavemakers.com.
Fuentes
- Buolamwini, J., & Gebru, T. (2018). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.” Proceedings of Machine Learning Research, 81, 1-15. https://proceedings.mlr.press/v81/buolamwini18a.html
- BID (Banco Interamericano de Desarrollo) (2022). “Sesgo algorítmico en el crédito digital de América Latina: diagnóstico y recomendaciones.” Washington, D.C.: BID. https://publications.iadb.org
- INAI (2023). “Informe sobre el uso de reconocimiento facial en espacios públicos en México.” Ciudad de México: Instituto Nacional de Transparencia, Acceso a la Información y Protección de Datos Personales. https://www.inai.org.mx
- Defensoría del Pueblo de Colombia (2022). “Uso de biometría y reconocimiento facial en sistemas de transporte: consideraciones de derechos humanos.” Bogotá: Defensoría del Pueblo.
- Obermeyer, Z., et al. (2019). “Dissecting racial bias in an algorithm used to manage the health of populations.” Science, 366(6464), 447-453. https://doi.org/10.1126/science.aax2342
- Karisma Foundation (2023). “Vigilancia tecnológica y derechos en Colombia.” Bogotá: Fundación Karisma. https://karisma.org.co
- O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing Group.
