La tecnología para el bien no es un programa de protección de testigos

La tecnología para el bien no es un programa de protección de testigos. No es el lugar donde quienes diseñaron, dirigieron o vendieron a sabiendas sistemas de vigilancia persistente, jerarquización de amenazas, desarrollo de objetivos o aceleración del uso de la fuerza puedan canjear su cercanía al poder por autoridad moral.

Soy tecnóloga. Eso significa que sé exactamente cómo se fabrica la distancia moral.

Nadie dice que está construyendo una máquina capaz de observar, clasificar, marcar, rastrear y ayudar a convertir a seres humanos en blancos a escala industrial. Dicen que ofrecen ventaja en la toma de decisiones. No dicen vigilancia; dicen conciencia situacional. No dicen proceso de selección de objetivos; dicen fusión de datos. No dicen que están haciendo que la violencia organizada sea más rápida y fácil de ejecutar; dicen que están acelerando la misión.

Después llega la coartada ética: siempre hay una persona en el circuito.

Esa frase no es un argumento moral. Es solo una descripción de la interfaz de usuario, por mucho que la industria tecnológica prefiera fingir lo contrario. Un sistema no tiene que apretar el gatillo para determinar quién entra en el embudo de selección de objetivos, qué pruebas se priorizan, qué incertidumbre se oculta o cuánto tiempo tiene una persona para oponerse. Un clic humano al final de un proceso comprimido por una máquina no santifica todo lo anterior.

Cuando un trabajo así queda después oculto tras un vocabulario nuevo, como IA responsable, tecnología de interés público o liderazgo orientado a una misión, el cambio de lenguaje no demuestra nada. Un giro profesional no es una rendición de cuentas. La sinceridad no es reparación. Las personas pueden cambiar, pero ese cambio no les da derecho a la confianza, el trabajo, la plataforma, la red o la comunidad de nadie. Mucho menos a su respeto.

El arrepentimiento no equivale a la readmisión.

Nombra el trabajo por lo que hace posible

La tecnología de defensa no es una categoría moralmente uniforme. Una base de datos de nóminas no es un arma autónoma. Un optimizador logístico que lleva medicamentos a un hospital de campaña no es software que jerarquiza posibles objetivos. La ciberseguridad defensiva, la búsqueda y rescate y los sistemas administrativos no pueden reducirse honestamente a una cadena de ataque solo porque los compra la misma institución.

Esta es la línea que trazo. Rechazo categóricamente los sistemas cuyo propósito de diseño o cuya función material y previsible sea identificar o rastrear a personas de forma persistente sin su consentimiento; fusionar datos personales para inferir vínculos, intenciones o amenazas; proponer o jerarquizar a personas como objetivos; o acortar el camino entre la detección y el uso de la fuerza. Mejorar la exactitud de esos sistemas puede cambiar la eficiencia con la que operan. No hace aceptable su propósito.

La tecnología de alto riesgo que queda fuera de esa línea a veces puede justificar su despliegue mediante necesidad, proporcionalidad, pruebas y controles exigibles. Los sistemas que acabo de nombrar no. Para ellos, la salvaguarda pertinente es negarse.

La responsabilidad es proporcional a la función, el conocimiento, la autoridad para decidir, la cercanía y el uso previsible. Una persona que realiza trabajo administrativo no relacionado no es intercambiable con un ejecutivo que vende software para desarrollar blancos. Quien descubre un uso dañino y lo denuncia no es intercambiable con un dirigente que entiende ese uso y lo amplía. La afiliación a un empleador, por sí sola, demuestra muy poco. La cuestión es la participación consciente y material.

Pero «yo solo construí la plataforma» no es una defensa cuando la plataforma fue diseñada para la función condenada. La estrategia pública del propio aparato de defensa dice para qué sirven muchos sistemas militares de esta categoría. Su plan de IA de 2023 (se abre en una pestaña nueva) señaló como resultados deseados una «conciencia superior del espacio de batalla» y «cadenas de ataque rápidas, precisas y resilientes». Su estrategia de 2026 (se abre en una pestaña nueva) describe agentes de IA que operan desde la planificación de campañas hasta la «ejecución de la cadena de ataque», así como el uso de la IA para multiplicar la letalidad militar.

Toma a la institución al pie de la letra.

Un sistema de selección de objetivos no es solo la munición. Incluye los sensores, los contratos de datos, la resolución de identidades, el modelo, la función de ordenación, el panel del analista, la red y el software de mando que hacen que una persona sea legible como blanco y que una acción pueda ejecutarse con rapidez. C4ISR (mando, control, comunicaciones, computadoras, inteligencia, vigilancia y reconocimiento) es un «sistema de sistemas» en el que convergen las comunicaciones, los sensores y el software de mando, como explica el propio Ejército (se abre en una pestaña nueva). Los diagramas de arquitectura delimitan quién se ocupa de cada componente. No dividen la responsabilidad moral.

No existe una llamada a una API moralmente neutral dentro de una cadena de ataque.

El Código de Ética de la ACM (se abre en una pestaña nueva) indica a los profesionales de la informática que consideren la agregación de datos y el comportamiento emergente, evalúen los riesgos de forma integral, minimicen el daño y traten el bien público como la preocupación central. Afirma que, cuando el uso indebido o el daño es previsible o inevitable, la mejor opción puede ser no construir el sistema.

«Mi componente funcionó según las especificaciones» es lo que dice quien ejerce la ingeniería cuando se limita a reconocer la especificación como único objeto moral.

Una persona en el circuito puede reducir el daño. No puede conferir legitimidad.

El argumento más sólido a favor del apoyo a la toma de decisiones militares no es que la guerra sea buena ni que la infraestructura sea neutral. Es que, cuando ya se contempla el uso de la fuerza, una mejor detección y clasificación puede evitar errores de identificación, mejorar la capacidad de distinción y ayudar a una persona a abstenerse de usar la fuerza frente a lo que ocurriría con herramientas más rudimentarias. Esa posibilidad importa. Evitar daños a la población civil tiene importancia moral.

Pero la reducción del daño es una comparación empírica, no un cheque moral en blanco. Debe demostrarse frente a alternativas reales en todo el sistema: error, escala, ritmo, deferencia del operador, expansión de la misión y consecuencias de hacer que la acción coercitiva sea más rápida y fácil de repetir. Un sistema puede reducir una clase de error y, al mismo tiempo, ampliar la capacidad de causar daño. Incluso una reducción real de los errores de identificación no responde si la vigilancia era legítima, si la categoría de blancos era justa, si se cumple la proporcionalidad o si la misión debería ocurrir en absoluto.

La política oficial sobre armas exige «niveles adecuados de juicio humano (se abre en una pestaña nueva)» sobre el uso de la fuerza y pruebas en condiciones realistas. Esos requisitos son mejores que ninguno. No demuestran que exista un control significativo en un flujo de trabajo desplegado. La presencia de un operador no dice nada por sí sola sobre el tiempo, la información, la carga de trabajo, los incentivos, la autoridad o la capacidad de cuestionar a la máquina.

La supervisión humana puede fallar y, aun así, parecer perfectamente conforme en un diagrama de flujo. Las personas se anclan en recomendaciones automatizadas, ceden ante sistemas presentados como objetivos y dudan en anular una respuesta cuando la máquina parece haber visto más. Bajo presión de tiempo, la revisión puede reducirse a una confirmación.

En un experimento controlado de 2024 (se abre en una pestaña nueva), las personas participantes prefirieron un algoritmo a un asesor humano con la misma exactitud el 66 por ciento de las veces. Darles la facultad de supervisar y ajustar la recomendación del algoritmo aumentó esa preferencia, mientras que la condición con una persona en el circuito redujo, en promedio, la exactitud final. La tarea consistía en predecir el rendimiento estudiantil, no era una situación de combate; no permite establecer cómo se comportaría en batalla el personal operador capacitado. Sí refuta la suposición de que incorporar a una persona garantiza automáticamente la seguridad.

Un experimento prerregistrado de 2024 (se abre en una pestaña nueva) distinto pidió a 9.000 personas adultas de nueve países que identificaran aeronaves aliadas y adversarias. Un consejo equivalente etiquetado como IA hizo que las personas fueran más propensas a cambiar su respuesta que un consejo etiquetado como humano; las tareas difíciles y las afirmaciones de que el asesor había sido sometido a pruebas exhaustivas aumentaron la deferencia. De nuevo, eran civiles en un ejercicio hipotético, no operadores bajo fuego. El hallazgo es más limitado y aun así importante: las señales de la interfaz y la autoridad percibida cambian el juicio humano.

Un control significativo requiere suficiente información, tiempo, capacitación y autoridad para vincular el juicio con una consecuencia específica. El Comité Internacional de la Cruz Roja (se abre en una pestaña nueva) pide límites sobre los objetivos, la geografía, la duración y la escala, junto con supervisión efectiva e intervención o desactivación oportunas.

Si un sistema reduce mil posibilidades a tres, oculta las pruebas descartadas, proporciona una puntuación de confianza opaca y mide el éxito por la velocidad de decisión, entonces ya ha ejercido un poder enorme. La persona que interviene al final puede poseer autoridad formal mientras la máquina controla el marco.

La exactitud no es consentimiento

Los debates sobre tecnología de vigilancia suelen quedar atrapados en el rendimiento del modelo: reducir la tasa de falsos positivos, equilibrar los datos, mejorar la calibración y quizá el sistema se vuelva aceptable.

El rendimiento importa porque los errores dañan a personas reales. No es toda la cuestión moral.

Las pruebas del NIST sobre 189 algoritmos de reconocimiento facial encontraron una variación enorme, incluidas tasas de falsos positivos que, en muchos algoritmos, eran entre diez y cien veces mayores para rostros asiáticos y negros que para rostros blancos en comparaciones uno a uno. El NIST también encontró que algunos de los algoritmos con mayor exactitud estaban entre los más equitativos. La conclusión honesta no es que todos los sistemas fallen de la misma manera. Es que el rendimiento depende del contexto, las disparidades demográficas pueden ser graves y una coincidencia errónea de uno a muchos puede poner bajo sospecha a una persona inocente. Esos son los hallazgos del NIST. (se abre en una pestaña nueva)

El despliegue superó repetidamente a la gobernanza. Una auditoría federal de 2021 (se abre en una pestaña nueva) encontró que las 14 agencias encuestadas que utilizaban reconocimiento facial en investigaciones penales también usaban sistemas no federales, mientras que en ese momento solo una sabía qué sistemas externos utilizaba su personal. Un seguimiento de 2023 (se abre en una pestaña nueva) encontró que seis agencias federales encargadas de hacer cumplir la ley realizaron aproximadamente 60.000 búsquedas antes de exigir capacitación al personal. Algunas agencias reforzaron después sus controles. Eso no borra el orden de las operaciones: primero desplegar; después inventariar y gobernar.

Ahora imagina que el modelo se vuelve casi perfecto. La pregunta política permanece: ¿debería una institución poder identificar, correlacionar y rastrear personas entre espacios y bases de datos a esa escala? La exactitud no crea consentimiento. La precisión no establece legitimidad. Un sistema perfectamente exacto puede ser un instrumento de represión más eficiente que uno deficiente.

La oficina de derechos humanos de las Naciones Unidas (se abre en una pestaña nueva) ha documentado el impacto desproporcionado de la vigilancia en comunidades marginadas y su efecto inhibidor sobre la expresión y la reunión pacífica. Ese efecto inhibidor no es un error del modelo. La observación cambia el comportamiento cuando es persistente, tiene consecuencias y está respaldada por poder coercitivo.

La IA responsable sin poder de veto es puro marketing

El vocabulario habitual suena excelente: responsable, equitativo, trazable, fiable, gobernable. Métodos transparentes. Datos auditables. Usos definidos. Pruebas durante todo el ciclo de vida. Capacidad para desactivar sistemas que se comportan de forma inesperada.

El problema no son los sustantivos. Es lo que ocurre cuando esas palabras chocan con el dinero, el secretismo, la presión operativa y los plazos.

Esta preocupación no es mera intuición cínica. Una revisión sistemática de 130 registros publicada en 2024 (se abre en una pestaña nueva) describe el blanqueo ético digital como la brecha entre la comunicación ética y la práctica sustantiva, incluidos los principios simbólicos, el uso ornamental de especialistas corporativos en ética de la IA y el cabildeo contra normas más estrictas. Los autores subrayan que gran parte de la literatura es conceptual y requiere más comprobación empírica. Su revisión organiza los mecanismos descritos en la literatura; no establece qué tan comunes son ni emite un veredicto universal sobre todas las personas que trabajan en ética.

Un análisis conceptual distinto publicado en Nature Machine Intelligence sostiene que el desarrollo de IA carece de los deberes comunes, los métodos de implementación comprobados y los mecanismos sólidos de rendición de cuentas profesional que, en la medicina, ayudan a hacer operativos los principios. El consenso en torno a palabras atractivas puede ocultar desacuerdos políticos y debilidad institucional. Los principios por sí solos no pueden garantizar una IA ética. (se abre en una pestaña nueva) En conjunto, estos análisis identifican riesgos estructurales. No demuestran que todas las personas que trabajan en ética sean cínicas ni que todo giro profesional sea fraudulento. Mi conclusión es más limitada: un cargo nuevo, un panel o una afiliación institucional, por sí solos, no son prueba de reparación.

La brecha es visible en la gobernanza pública de la IA militar. El departamento describe su kit de herramientas de IA responsable como un «proceso voluntario (se abre en una pestaña nueva)». Eso describe el kit, no todas las obligaciones legales o normativas que rodean a los sistemas militares. En 2024, el inspector general encontró (se abre en una pestaña nueva) documentos de gobernanza atrasados, funciones poco claras y decenas de documentos normativos que todavía asignaban responsabilidades a oficinas predecesoras. Las directrices de implementación emitidas durante la auditoría cerraron una recomendación; otra recomendación de política seguía abierta cuando se publicó el informe.

Mientras tanto, la estrategia de 2026 (se abre en una pestaña nueva) declara que «la velocidad gana», trata la autorización, las pruebas, la certificación y la contratación como posibles obstáculos y afirma que los riesgos de avanzar con demasiada lentitud superan los riesgos de una «alineación imperfecta». Ordena un despliegue rápido y crea un mecanismo para conceder exenciones respecto de requisitos no establecidos por ley.

No hace falta especular sobre el conflicto. La estructura de incentivos lo declara.

La legalidad es un mínimo, no una ética. Un uso puede ser legal y aun así ser imprudente, desproporcionado, deshumanizante, políticamente corrosivo o moralmente grotesco. Un marco ético que no puede retrasar, limitar o prohibir el despliegue no es gobernanza. Es apenas una recomendación que el poder puede ignorar libremente.

El departamento afirma que mantiene un inventario interno (se abre en una pestaña nueva) de actividades de IA, y la supervisión de carácter reservado no equivale a la ausencia de supervisión. Pero el público no puede examinar el inventario completo ni evaluar, sistema por sistema, los usos previstos, la procedencia de los datos, las tasas de error operativo, las reglas de escalada, los hallazgos de auditoría, los incidentes y las personas responsables de las decisiones. «Confíen en nosotros» no es gobernanza pública. El secreto puede proteger operaciones legítimas; no disuelve la rendición de cuentas.

Lo que la gobernanza puede y no puede legitimar

Para los sistemas de alto riesgo que quedan fuera del límite categórico anterior, la tecnología responsable debe ser capaz de detener un proyecto. Como mínimo, la ética tiene poder de veto mediante:

• Mapeo del sistema y una evaluación de impacto independiente que conecte la recopilación de datos, los modelos, las interfaces, los operadores, las decisiones posteriores y los daños previsibles.
• Procedencia documentada, tasas contextuales de falsos positivos y falsos negativos, pruebas por subgrupos cuando se clasifique a personas y límites estrictos más allá de los cuales el sistema no pueda utilizarse.
• Control humano significativo: tiempo, pruebas en contrario, capacitación, anulaciones registradas y autoridad protegida para ralentizar o detener una acción insegura.
• Límites exigibles sobre el alcance, la geografía, la duración, la conservación y el uso secundario, con mecanismos de intervención y desactivación sometidos a pruebas.
• Supervisión adversarial, divulgación de incidentes, reparación para las personas perjudicadas y umbrales automáticos de suspensión del trabajo cuando el rendimiento o el uso se salgan de los límites aprobados.
• Una persona identificada y responsable de la decisión de despliegue, junto con derechos protegidos de negativa y denuncia para el personal técnico.

Estos controles pueden hacer que un sistema gobernable responda por sus actos. No pueden redimir un sistema cuya función prevista es, en sí misma, moralmente inaceptable.

El arrepentimiento no equivale a la readmisión

Cuando alguien pasa de la vigilancia o la selección de objetivos militares a la «tecnología para el bien», el cambio en sí no demuestra nada. Un vocabulario nuevo no es una rendición de cuentas. No corresponde a los demás tratar una biografía revisada como prueba de transformación.

El arrepentimiento, si la palabra va a significar algo, comienza con un relato específico y no forzado: qué construiste, qué hizo posible, a quién dañó o puso en riesgo, qué ignoraste, qué ganaste y por qué te equivocaste. La reparación exige conducta: revelar lo que pueda revelarse, colaborar con investigaciones legítimas, apoyar a las comunidades afectadas, renunciar al poder cuando corresponda, rechazar trabajos adyacentes y aceptar las consecuencias sin exigir aplausos.

Ni siquiera eso compra el acceso a la comunidad de otra persona.

Las personas pueden cambiar. Esa posibilidad no crea ninguna obligación para nadie más. La reparación no equivale al borrado, y el arrepentimiento no equivale a la readmisión. Ninguna transformación declarada crea un derecho a la confianza, el trabajo, la red, la plataforma, el financiamiento o la cercanía de otra persona.

Así que este es mi límite: no contrataré, recomendaré ni financiaré a personas que, a sabiendas y de manera sustancial, diseñaron, dirigieron o vendieron sistemas creados para la vigilancia persistente y no consentida a nivel individual, la jerarquización de amenazas, el desarrollo de objetivos, la selección de objetivos o la aceleración de la cadena de ataque. No les cederé una plataforma, no me asociaré con ellas, no compartiré escenario con ellas ni pondré mi credibilidad a su servicio. No son bienvenidas en los espacios que construyo.

Ni empleo. Ni recomendación. Ni plataforma. Ni contrato. Ni colaboración. Ni respeto.