globo_gris_transparente

Les voies de la gouvernance de l’intelligence artificielle dans les applications militaires

En octobre 2019, Brookings et l'Université de Tsinghua ont organisé un dialogue sur l'IA et la sécurité nationale entre les États-Unis et la Chine. Les dirigeants en développement de l'IA doivent prévenir l'utilisation militaire qui endommage les civils par
Schéma illustrant les phases de crise militaire liées à l'IA et les méthodes d'évaluation des risques.

Los avances rápidos en la sofisticación y funcionalidad de plataformas militares habilitadas por inteligencia artificial (IA) requieren medidas urgentes para minimizar la probabilidad de que los estados las utilicen de manera que cause daño a civiles. El potencial de capacidades militares de IA para causar daño a sociedades enteras y amenazar la supervivencia humana subraya la necesidad crítica de regímenes de gobernanza y preparación. China y los Estados Unidos, como líderes en el desarrollo y difusión de IA, tienen una responsabilidad especial de prevenir el uso indebido de IA en el dominio militar.

Regímenes de gobernanza buscan abordar causas técnicas y de uso de crisis militares de IA mediante la exigencia o prohibición de ciertos comportamientos. Los mecanismos pueden variar desde declaraciones mutuas hasta acuerdos vinculantes y medidas de confianza que mejoren la comunicación y la transparencia. Para que estos mecanismos de gobernanza sean duraderos y efectivos, deben basarse en un método analítico mutuamente aceptable para determinar qué gobernar. Esto implica crear una jerarquía para priorizar qué iniciadores y respuestas gobernar, considerando factores como riesgo, volumen y tiempo.

Una crisis militar de IA ocurre en cuatro fases: iniciación, acción, efecto y respuesta. La fase de iniciación puede involucrar fallas técnicas de aplicaciones militares de IA o decisiones gubernamentales de utilizar IA de manera provocativa o peligrosa. Las fallas técnicas pueden incluir errores identificables en modelos de IA, errores no identificables (problemas de caja negra) y distorsión de señal no intencional. Los usos gubernamentales pueden variar desde la interrupción o destrucción intencional de función hasta acciones no autorizadas o accidentales.

Desarrollo de plataformas militares con IA en el Departamento de Defensa de los EE. UU. y el Ejército Popular de Liberación de China. Estas plataformas pueden utilizarse para inteligencia, reconocimiento, vigilancia (ISR); procesamiento, análisis y visualización de datos; y la entrega de armas convencionales, cibernéticas y nucleares. Cada adición de una plataforma militar con IA aumenta el riesgo de una crisis militar de IA.

Los efectos de las acciones militares con IA pueden ser severos, incluyendo víctimas civiles, daño a la infraestructura, destrucción de capacidades militares y daño ambiental. Estos efectos pueden provocar acciones retaliatorias, lo que lleva a la escalada y a posibles espirales de crisis. Los gobiernos deben elegir mecanismos de cooperación para minimizar la probabilidad de tales crisis y su escalada.

Definir una jerarquía para priorizar qué iniciadores y respuestas gobernar es crucial. Los métodos para crear esta jerarquía incluyen la evaluación de riesgos (probabilidad x gravedad), el conteo de escenarios y las evaluaciones de madurez. Cada método tiene sus limitaciones, pero proporcionan un marco para priorizar esfuerzos de gobernanza. Los estados pueden elegir priorizar basándose en la gravedad de los efectos en civiles u otros criterios como la probabilidad, el número de escenarios previsibles o la preparación para el uso militar.

A pesar de los desafíos, los Estados Unidos y China deben buscar identificar medidas de mitigación y preparación de « no arrepentimientos » para riesgos. Estas podrían incluir el desarrollo de un taxonomía bilateral de fallas y incidentes, definir acciones militares con IA peligrosas, intercambiar principios de prueba y evaluación, acordar notificaciones mutuas de ejercicios militares con IA, y establecer procedimientos de comunicación estándar. Los compromisos mutuos para asegurar el control humano en tiempos de paz y encuentros rutinarios, y complementar compromisos sobre decisiones de uso de armas nucleares, son también esenciales.

Cooperación en escenarios catastróficos de pérdida de control emergentes de modelos de IA fronterizos es también crucial. Ambas superpotencias comparten un interés en prevenir que actores no estatales utilicen modelos de IA avanzados para desarrollar armas de destrucción masiva. Al acercarse a la inteligencia artificial general o la inteligencia artificial superinteligente, asegurar que estos sistemas se mantengan alineados con intereses y valores humanos es fundamental.

Competencia militar y de IA entre EE. UU. y China presenta desafíos, pero ejemplos históricos, como el Tratado de No Proliferación Nuclear, muestran que la cooperación es posible incluso durante rivalidades intensas. Los dos países deben explorar formas de cooperar en la gobernanza de IA, incluyendo el desarrollo de una base común de riesgos compartidos de IA, la mejora de la transparencia y el intercambio de información y mejores prácticas sobre la seguridad de IA.

Esfuerzos futuros en la gobernanza de crisis de IA deben centrarse en afinar mecanismos técnicos, someter a escrutinio métodos de jerarquía de riesgos y situarlos dentro de un contexto político-institucional. Los mecanismos técnicos deben distinguir entre errores comprensibles e incomprensibles y considerar patrones de interacción hombre-máquina. Los métodos de jerarquía de riesgos deben priorizar riesgos a corto plazo mientras mantienen la conciencia de tecnologías emergentes. Los mecanismos de gobernanza deben reconocer la infeasibilidad técnica de distinguir entre sistemas de entrega convencional y nuclear y centrarse en evaluaciones robustas y mecanismos de gestión de crisis.

Cooperación estatal en crisis de IA debe basarse en percepciones compartidas de riesgo, clasificadas por actores iniciadores y priorizadas por urgencia y daño potencial. Los métodos basados en escenarios y jerarquías de madurez también pueden guiar marcos de riesgo. Sin embargo, la racionalidad técnica sola no es suficiente; los arreglos de gobernanza deben estar integrados en un marco político e institucional más amplio.

El consenso de línea roja, la restricción de carrera armamentista y la confianza política y los marcos legales internacionales son esenciales para una gobernanza efectiva. Acordar categorías de aplicaciones militares de IA que están fuera de los límites, implementar medidas para restringir la carrera armamentista inteligentizada y apoyar medidas de confianza y instrumentos legales internacionales son pasos cruciales. La Organización de las Naciones Unidas y otras plataformas multilaterales pueden facilitar el desarrollo de principios básicos e incrementar el consenso.

La rivalidad estratégica en curso entre China y los Estados Unidos, caracterizada por la sospecha mutua y la incertidumbre, plantea desafíos significativos para la gobernanza de la inteligencia artificial (IA). Ambas partes deben liberarse del dilema de seguridad redefiniendo las percepciones, gestionando la competencia, estableciendo líneas rojas claras y fortaleciendo la colaboración en la seguridad de la IA. Iniciar un diálogo a través de discusiones académicas y técnicamente fundamentadas puede facilitar la comprensión mutua y reducir las malas percepciones.

Desafíos para la gobernanza de la IA

Para abordar los riesgos asociados con la IA general, incluyendo el uso malicioso, los fallos y los riesgos sistémicos, se requieren esfuerzos globales colectivos y coordinados. Alentadoramente, una comunidad creciente de científicos y expertos está dedicada a este esfuerzo compartido, ofreciendo vías prometedoras para la colaboración constructiva.

La responsabilidad compartida de China y los Estados Unidos

China y los Estados Unidos deben continuar promoviendo la gobernanza global de la IA bajo el marco de las Naciones Unidas y explorar la creación de un mecanismo internacional autoritativo para regular el comportamiento relacionado con la IA. Como potencias líderes en la tecnología y la innovación de la IA, comparten la responsabilidad de contribuir al desarrollo de la capacidad de la IA en los países en desarrollo y avanzar en los Objetivos de Desarrollo Sostenible de las Naciones Unidas. Iniciativas conjuntas en estas áreas fortalecerían la gobernanza global y demostrarían que el desarrollo responsable de la IA puede servir a intereses humanos comunes.

La importancia de la gobernanza de la IA en el dominio militar

En resumen, la integración de la IA en activos y operaciones militares plantea riesgos significativos para los civiles, lo que requiere regímenes de gobernanza robustos y preparativos. Los Estados Unidos y China, como líderes en el desarrollo de la IA, tienen una responsabilidad especial para prevenir el uso malicioso de la IA en el dominio militar. Al perseguir mecanismos para minimizar la probabilidad de crisis militares impulsadas por la IA y su escalada, y al fomentar la cooperación y la confianza, los dos países pueden sentar las bases para un camino hacia adelante en la gobernanza de la IA.

Cartes des États-Unis et de la Chine avec des icônes d'accord de coopération.