La incorporación acelerada de sistemas de inteligencia artificial (IA) en ámbitos de seguridad nacional y uso legítimo de la fuerza introduce capacidades técnicas inéditas, pero también riesgos estructurales de despersonalización del juicio, opacidad decisional y dilución de la responsabilidad moral y jurídica.
Este ensayo propone un paralelismo analítico —no identitario— entre la banalidad del mal descrita por Hannah Arendt y una posible banalización del daño cuando decisiones de alto impacto son automatizadas y ejecutadas sin control humano significativo.
Más artículos del autor
A partir de los aportes de la gobernanza ética de la IA (UNESCO, OCDE), de la filosofía de la información (Luciano Floridi), de la crítica político-económica del capitalismo digital (Shoshana Zuboff, Yanis Varoufakis) y de una lectura normativa desde la Doctrina Social de la Iglesia, el artículo formula líneas rojas, criterios de control humano, trazabilidad y gobernanza civil, con una aplicación directa a contextos estatales de seguridad y defensa.
La IA como infraestructura decisional del poder
La inteligencia artificial ha dejado de ser una herramienta auxiliar para convertirse en infraestructura decisional en ámbitos críticos: análisis de amenazas, priorización de objetivos, vigilancia masiva, ciberdefensa, operaciones de información y apoyo táctico en escenarios armados. Este desplazamiento no es solo tecnológico; es profundamente político y moral.
La pregunta central ya no es únicamente qué puede hacer la IA, sino quién decide, bajo qué criterios y quién responde cuando la decisión se automatiza. La promesa de eficiencia, rapidez y neutralidad técnica corre el riesgo de ocultar un fenómeno bien conocido por la teoría política: la sustitución del juicio moral por el procedimiento.
Aquí emerge la pertinencia del diagnóstico arendtiano sobre la “regla de nadie”: un sistema en el que las decisiones dañinas se ejecutan sin que ningún agente se reconozca plenamente responsable. La automatización algorítmica, sin una gobernanza robusta, puede normalizar el daño como subproducto técnico, administrado y estadísticamente optimizado.
Hannah Arendt: banalidad, pensamiento y responsabilidad
En Eichmann en Jerusalén, Hannah Arendt mostró que el mal extremo no siempre procede del fanatismo ideológico o de la crueldad consciente, sino de algo más inquietante: la incapacidad de pensar, entendida como la renuncia al juicio personal en favor del cumplimiento automático de normas y órdenes.
Eichmann no era un monstruo excepcional; era un funcionario eficaz. Arendt describió así la banalidad del mal: actos moralmente atroces cometidos sin intención demoníaca, bajo la lógica del procedimiento, la obediencia y la fragmentación de la responsabilidad.
En Los orígenes del totalitarismo, Arendt añadió otro elemento decisivo: cuando se colapsa la distinción entre hecho y ficción, el juicio público se erosiona y la acción política pierde anclaje en la verdad. Esta intuición resulta especialmente relevante para comprender los riesgos contemporáneos de la guerra informacional algorítmica, donde sistemas automatizados producen, amplifican y segmentan narrativas sin deliberación humana consciente.
La lección arendtiana no es histórica, sino estructural: cuando el pensamiento es reemplazado por el procedimiento, el daño se vuelve normalizable.
Automatización algorítmica y responsabilidad moral
En contextos operativos, la IA suele presentarse como “sistema de apoyo a la decisión”. Sin embargo, en la práctica, la presión del tiempo, la complejidad técnica y la autoridad epistémica del algoritmo generan un fenómeno bien documentado: la deferencia automática.
Cuando el operador humano ya no comprende plenamente el sistema, ni puede cuestionarlo o detenerlo, el “apoyo” se transforma en delegación de facto. La responsabilidad se diluye entre diseñadores, proveedores, operadores y mandos políticos.
Por ello, los marcos internacionales convergen en dos exigencias mínimas:
- Responsabilidad humana última, identificable y exigible.
- Trazabilidad, que permita reconstruir cómo y por qué se tomó una decisión.
La Recomendación sobre Ética de la IA de la UNESCO y los Principios de IA de la Organisation for Economic Cooperation and Development establecen que, en usos de alto impacto, sin responsabilidad y trazabilidad no hay legitimidad democrática.
Aportes contemporáneos a la crítica del poder algorítmico
Floridi: explicabilidad y rendición de cuentas
Luciano Floridi sostiene que la explicabilidad no es un lujo técnico, sino una condición ética. En sistemas de alto riesgo, si una decisión no puede ser comprendida, evaluada y explicada, no puede ser moralmente atribuida.
La explicabilidad integra inteligibilidad, auditabilidad y responsabilidad. Sin ella, la automatización erosiona el principio básico del Estado de derecho: no hay poder sin responsabilidad.
Zuboff: extracción conductual como forma de poder
Shoshana Zuboff advierte que la economía de la vigilancia convierte los datos conductuales en instrumentos de predicción y modificación del comportamiento. En clave de seguridad, estas técnicas pueden transformarse en armas informacionales, capaces de influir en percepciones, decisiones políticas y cohesión social sin recurrir a la fuerza física.
Varoufakis: capital de nube y dependencia estratégica
Yanis Varoufakis describe la concentración de infraestructuras digitales como una forma de tecnofeudalismo, donde Estados y ejércitos dependen de plataformas privadas para funciones estratégicas. Esta dependencia compromete la soberanía, la autonomía decisional y la seguridad nacional.
IA como arma: información y fuerza física
Dominio informacional
Deepfakes, microsegmentación automatizada y operaciones psicológicas algorítmicas erosionan el terreno común de la verdad, condición indispensable para la deliberación democrática. Aquí se actualiza el riesgo señalado por Arendt: cuando ya no distinguimos entre realidad y fabricación técnica, el juicio político colapsa.
Dominio físico
En el ámbito de la fuerza letal, emerge un consenso político-moral: los sistemas capaces de seleccionar y atacar objetivos humanos sin control humano significativo son incompatibles con la responsabilidad y el derecho internacional humanitario. La objeción no es solo técnica, sino antropológica.
Doctrina Social de la Iglesia: límites reforzados en la era algorítmica
La DSI ofrece un marco normativo especialmente robusto para evaluar estos riesgos:
- Gaudium et spes condena toda forma de destrucción indiscriminada.
- El Catecismo exige condiciones estrictas para la legítima defensa.
- Fratelli tutti alerta sobre la manipulación informativa y la tecnocracia sin ética.
- Pacem in terris subraya la imprudencia moral de la guerra en la era de armas de poder desproporcionado.
Traducidos al lenguaje algorítmico, estos principios exigen prudencia reforzada, centralidad de la persona humana y prohibiciones claras frente a la automatización del daño.
Propuesta normativa operativa
Líneas rojas:
- Prohibición de sistemas letales autónomos sin control humano significativo.
- Prohibición de destrucción indiscriminada previsible por sistemas algorítmicos.
- Prohibición de manipulación informacional algorítmica encubierta.
- Restricción estricta de biometría masiva sin control judicial independiente.
Estándares mínimos:
- Control humano significativo: comprender, poder detener y documentar.
- Trazabilidad integral: registros auditables y responsabilidad ex post.
- Gobernanza civil independiente sobre usos militares y de seguridad.
- Compras públicas responsables y soberanía tecnológica.
Conclusión
Gobernar la IA en seguridad nacional no es un problema meramente técnico, es un desafío moral, político y antropológico. Evitar la “regla de nadie” exige responsabilidad humana identificable, control humano significativo, trazabilidad y prohibiciones claras.
La convergencia entre Hannah Arendt, la gobernanza internacional de la IA y la Doctrina Social de la Iglesia ofrece un fundamento sólido para una ética pública del uso de la fuerza en la era algorítmica, capaz de proteger la dignidad humana frente a la automatización del daño.
Les invito a ver el video de “Laicos en la Vida Pública” sobre este tema:
Referencias
Arendt, H. (1963). Eichmann in Jerusalem: A report on the banality of evil. Viking Press. Eichmann in Jerusalem by Hannah Arendt | Biblioteca Abierta
Arendt, H. (1973). The origins of totalitarianism (3rd ed.). Harcourt, Brace & Jovanovich. The origins of totalitarianism by Hannah Arendt | Biblioteca Abierta
Arendt, H. (1998). The human condition (2nd ed.). University of Chicago Press. La condición humana: Segunda edición - Hannah Arendt - Google Libros
Catecismo de la Iglesia Católica. (1997). Catecismo de la Iglesia Católica (nn. 2309–2314). Libreria Editrice Vaticana. Catecismo de la Iglesia Católica, Índice general
Concilio Vaticano II. (1965). Gaudium et spes. Libreria Editrice Vaticana. Gaudium et spes
Floridi, L. (2014). The fourth revolution: How the infosphere is reshaping human reality. Oxford University Press. La Cuarta Revolución: Cómo la Infosfera está Remodelando la Realidad Humana - Luciano Floridi - Google Libros
Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1). Un marco unificado de cinco principios para la IA en la sociedad · Número 1.1, verano 2019
Francisco. (2020). Fratelli tutti. Libreria Editrice Vaticana. Fratelli tutti (3 de octubre de 2020)
International Committee of the Red Cross. (2021). ICRC position on autonomous weapon systems. icrc_position_on_autonomous_weapon_systems.pdf
Juan XXIII. (1963). Pacem in terris. Libreria Editrice Vaticana. Pacem in terris (11 de abril de 1963)
Organisation for Economic Co-operation and Development. (2019). OECD AI principles. OECD. Principios de IA | OCDE
United Nations Office for Disarmament Affairs. (n.d.). Lethal autonomous weapon systems. United Nations. Sistemas de armas autónomos letales | Oficina de las Naciones Unidas para Asuntos de Desarme
UNESCO. (2021). Recommendation on the ethics of artificial intelligence. UNESCO. Recommendation on the Ethics of Artificial Intelligence - UNESCO Biblioteca Digital
Varoufakis, Y. (2022, February 23). Our new cloud-based ruling class. Project Syndicate. Una nueva clase nos gobierna desde la nube by Yanis Varoufakis - Project Syndicate
Varoufakis, Y. (2023). Technofeudalism: What killed capitalism. Melville House. Tecnofeudalismo: Lo que mató al capitalismo - Yanis Varoufakis - Google Libros
Zuboff, S. (2019). The age of surveillance capitalism: The fight for a human future at the new frontier of power. PublicAffairs. La era del capitalismo de vigilancia: Shoshana Zuboff - Google Libros