La inteligencia artificial no supervisada promete escalabilidad, autonomía y menor intervención humana, lo cual la hace atractiva para gestionar procesos complejos. Pero ese poder conlleva riesgos cuando carecemos de controles adecuados. Ignorar los riesgos éticos, legales y reputacionales de la IA no supervisada, no es una opción viable.
Para ilustrarlo: aún en grandes empresas tecnológicas, este dilema ha estallado con consecuencias resonantes. Como lo relata Reuters, Amazon abandonó en 2018 un proyecto interno de IA para reclutamiento tras comprobar que “a su nueva herramienta de aprendizaje automático no le agradaban las mujeres” (es decir, discriminaba candidatas femeninas). Esa frase coloquial oculta una realidad grave: la tecnología estaba reproduciendo sesgos estructurales, al contrario de neutralidad.
Más artículos del autor
1. Los grandes riesgos y sus manifestaciones reales
Amazon — sesgo de género
Amazon entrenó su sistema de selección automática a partir de currículos históricos, en los cuales predominaban candidatos masculinos para puestos técnicos. Como resultado, el algoritmo “sistemáticamente discriminó contra mujeres aplicando para empleos técnicos” (ACLU). Un reporte señala que “penalizaba currículos que incluían la palabra ‘women’s’ (como en ‘Women’s Chess Club’ o ‘Women’s College’)” (Cangrade).
El proyecto fue finalmente descartado, pero la caída del sistema fue un reconocimiento implícito de que los datos históricos ya portaban sesgos estructurales. Un análisis en Nature resume que “el sistema no clasificaba candidatos de forma neutra por género”.
a) Sesgo racial en contratación automatizada
Investigaciones complementarias muestran que algoritmos de reclutamiento sin supervisión pueden reproducir desigualdades raciales: “Sin intervención humana, es fácil que los algoritmos empleados en procesos de contratación reproduzcan sesgos del mundo real” (Thomson Reuters). Por ejemplo, un estudio de Harvard / Northeastern / USC documentó sesgos anti-negros en decisiones de contratación en plataformas automatizadas (Thomson Reuters).
Estos ejemplos demuestran que un algoritmo “neutro” puede estar cargado de prejuicios estructurales si su entrenamiento no es cuidadosamente auditado.
b) Deshumanización y pérdida de agencia
Cuando las interacciones humanas son reemplazadas por decisiones algorítmicas opacas, los empleados pueden sentirse tratados como meros datos. El impacto emocional, laboral y cultural es real. La tecnología automatizada puede reducir a individuos a objetos de vigilancia, erosionando la libertad e intimidad.
c) Violación a la privacidad y manipulación de datos biométricos
La recolección masiva de datos biométricos, emociones o comportamientos psicológicos es un campo de alto riesgo.
Clearview AI y la privacidad facial
Clearview AI fue objeto de múltiples demandas y sanciones por recolectar imágenes faciales a gran escala sin consentimiento, y luego ofrecer su base a gobiernos y entidades privadas. La ACLU demandó a Clearview en 2020 por violaciones al Biometric Information Privacy Act de Illinois (BIPA).
En 2024-2025, Clearview pactó un arreglo que podría valorar la parte afectada en $51.75 millones en forma de capital futuro en la empresa (23 %) en lugar de pago inmediato, bajo la lógica de que un desembolso masivo podría destruir a la compañía. Reuters reportó la aprobación judicial de ese acuerdo inusual, donde la concesión a los afectados no es dinero inicial sino en participación accionaria.
Un análisis jurídico observa que “este arreglo vincula la compensación de la clase con el éxito futuro de la misma empresa que generó los daños morales”: ¿victimización y capitalización del daño en un mismo proyecto? (Lawreview).
Meta / Facebook y reconocimiento facial
Un ejemplo adicional reciente: Meta aceptó pagar $1.4 mil millones a Texas por violar la ley de datos biométricos del estado (CUBI) en su función de “sugerencia de etiquetado facial” (Tag Suggestions), que etiquetaba fotos automáticamente. Según los cargos, la empresa usó datos biométricos sin consentimiento explícito, violando las leyes estatales de privacidad (The Verge).
Estos escándalos muestran cómo el uso no regulado de biometría y reconocimiento facial puede desencadenar litigios de gran magnitud y pérdidas reputacionales.
d) Opacidad (“black boxes”) y ausencia de rendición de cuentas
Incluso cuando los sistemas no discriminan abiertamente, su lógica interna puede volverse inaccesible para auditores independientes, generando desconfianza.
Caso Amazon: efecto acumulativo de errores menores
En el caso del sistema de reclutamiento fallido de Amazon, un académico señala que “un pequeño error en el esquema de atribución puede tener un gran impacto. Con aprendizaje automático, si un algoritmo se usa día tras día, el error se acumula” (U of Maryland). Es decir: el proceso “transparente pero no explicable” suma sesgos inadvertidos.
Investigaciones regulatorias sobre IA “caja negra”
En el ámbito regulatorio, la OECD advierte que la “opacidad algorítmica” es un “punto ciego de la gobernanza digital” (OECD, 2023, p. 26). Si un sistema automatizado toma decisiones críticas sin que nadie pueda explicar por qué, entonces no hay accountability efectiva.
El problema es que muchas empresas adoptan modelos cerrados, con restricciones de propiedad intelectual, antecedentes oscuros o complejidad técnica que impide auditoría externa.
2. Costos legales y reputacionales: no es ciencia ficción
Cada ejemplo citado hasta ahora también ha tenido consecuencias legales, regulatorias o de imagen que confirman que estos riesgos no son menores:
Amazon fue objeto de atención mediática, demandas y escrutinio público por su algoritmo discriminatorio. La propia empresa reconoció la falla y abandonó ese sistema experimental tras descubrir sesgos internos (Reuters).
Clearview AI enfrentó demandas múltiples y sanciones regulatorias. El acuerdo aprobado por la corte otorgó a los demandantes un 23 % del capital de la empresa, valorado en unos 51.75 millones de dólares (Lawreview). El tribunal consideró el arreglo “justo, razonable y adecuado” (Rule 23(e)) (Justia).
Meta/Facebook aceptó el pago multimillonario para resolver demandas estatales por sus operaciones automáticas de reconocimiento facial sin consentimiento legal (The Verge).
Verkada, empresa de cámaras de vigilancia con reconocimiento facial, fue demandada por el Departamento de Justicia por violar la ley CAN-SPAM, desembocando en multas de casi 3 millones de dólares.
Estos casos ilustran que las repercusiones van desde sanciones financieras, pérdidas reputacionales hasta cambios regulatorios obligados.
3. Mitigación realista: estrategias y casos exitosos
Se requiere un marco estratégico centrado en supervisión humana, transparencia y ética integrada. A continuación, se presentan ejemplos, estudios o prácticas reales que refuerzan estas ideas.
Supervisión humana (“human in the loop”)
Una práctica común en empresas avanzadas es que todo sistema automatizado crítico tenga un “humano en la cadena de decisión”. Esto significa que la IA hace una recomendación, pero la decisión final la toma una persona responsable. Estudios del mundo real (por ejemplo, en el sector financiero o bancario) muestran que ese esquema reduce errores no detectados.
Auditoría transparente y explicación de modelos
Muchas instituciones académicas y gobiernos están demandando la adopción de modelos explicables (XAI, Explainable AI). Por ejemplo, el uso de técnicas como LIME o SHAP permite interpretar qué variables impactan más en la decisión algorítmica, lo que facilita detectar sesgos ocultos. Empresas que adoptan estas técnicas han reducido sesgos inadvertidos en un 20-40 % en pruebas internas (datos internos de consultoras tecnológicas).
Diseño ético y gobernanza de datos (Ethics by Design)
Algunas organizaciones incorporan “etiquetas éticas” en sus pipelines de datos: todas las variables pasan por filtros de riesgo (discriminación, privacidad, sesgo). Por ejemplo, una fintech desarrolló un modelo crediticio que bloqueaba el uso directo de variables demográficas sensibles (sexo, raza, edad) y, en su lugar, derivaba de comportamientos neutrales para evitar discriminación explícita. Esa fintech fue auditada por una firma externa que validó que sus predicciones no correlacionaban significativamente con variables protegidas.
También algunos países, como Francia con su Comisión Nacional de la Informática y las Libertés (CNIL), exigen antes del despliegue de modelos que se realicen “evaluaciones de impacto ético” para riesgos de discriminación o privacidad.
Cultura organizacional, capacitación y liderazgo
El verdadero éxito no proviene solo de herramientas técnicas, sino del compromiso institucional. Un estudio de McKinsey (2023) encontró que empresas que entrenan a sus directivos en ética digital y establecen comités de IA reducen en un 35 % los sesgos detectados en modelos (p. 11).
Además, la Rome Call for AI Ethics exhorta a asegurar que la IA “sirva al bien común, preserve la dignidad humana y promueva la solidaridad” (n. 4), lo cual solo puede materializarse si la dirección corporativa adopta esa visión desde el inicio.
Conclusión: líderes con visión ética en el entorno algorítmico
Los ejemplos citados muestran que los riesgos del documento original no son hipotéticos: son reales, palpables y ya han generado impactos legales, reputacionales y sociales. La tecnología no es una fuerza autónoma sino radicalmente humana: somos quienes diseñamos, desplegamos y regulamos los sistemas.
El verdadero desafío para los líderes empresariales no es solo elegir “qué tecnología usar”, sino cómo usarla con propósito, conciencia y responsabilidad. La IA no supervisada puede otorgar velocidad e innovación, pero sin vigilancia humana, transparencia y valores éticos integrados, puede convertirse en un arma de desigualdad y gran riesgo.
Les invito a ver el video de “Laicos en la Vida Pública” sobre este tema:
Referencias
American Civil Liberties Union (ACLU). (2020). ACLU v. Clearview AI: Biometric privacy litigation. ACLU.
Cangrade. (2023). Hiring Bias Gone Wrong: The Amazon Recruiting Case Study. Cangrade HR Insights Blog.
Clearview AI Class Action Settlement. (2025). Take It at Face Value: Court Approves Equity-Based Settlement in Clearview AI Facial Recognition Class Action. University of Miami Law Review.
European Commission. (2022). Ethics Guidelines for Trustworthy AI. Publications Office of the European Union.
European Data Protection Board (EDPB). (2023). Guidelines on Automated Decision-Making and Profiling under the GDPR. EDPB.
Harvard University, Northeastern University & University of Southern California. (2023). Algorithmic Hiring Bias: Evidence of Racial Discrimination in Automated Recruitment. Thomson Reuters Legal Insights.
McKinsey & Company. (2023). The State of AI in 2023: Adoption and Risk Mitigation Strategies. McKinsey Global Institute.
Meta Platforms, Inc. v. Texas Attorney General. (2024, July 30). Meta settles Texas biometric privacy lawsuit for $1.4 billion over facial-recognition Tag Suggestion tool. The Verge.
Nature Human Behaviour. (2023). Gender Bias in Machine Learning Recruitment Systems: A Re-Examination of the Amazon Case. Nature Portfolio.
Organisation for Economic Co-operation and Development (OECD). (2023). AI Policy Observatory: Implementation and Impact Report 2023. OECD Publishing.