La Departamento de Defensa de los Estados Unidos (DOD) ha estado activamente comprometido en aprovechar los rápidos avances en inteligencia artificial (IA) para mejorar sus operaciones. Si bien mucha atención se ha centrado en el papel de la IA en los sistemas de guerra, las vastas operaciones comerciales del Pentágono, incluyendo finanzas, contratación, TI, atención médica, gestión de cadena de suministro y más, son igualmente críticas. El DOD es el empleador más grande del país, proporciona atención médica a 9,4 millones de personas, posee y/o gestiona más de 700.000 instalaciones en todo el mundo, es fiduciario de casi 1 billón de dólares de los contribuyentes y está encargado de comprar y disparar armas de manera legal, ética y efectiva. El uso efectivo de la IA para mejorar estos flujos de trabajo tiene implicaciones que se extienden mucho más allá del campo de batalla.
Este informe examina el desarrollo de GAMECHANGER, una aplicación basada en un modelo de lenguaje grande diseñada para mejorar el acceso a la vasta cantidad de autoridades, directivas y políticas del gobierno que rigen las operaciones administrativas y militares del DOD. GAMECHANGER se co-desarrolló en 2018 por el gobierno en colaboración con la empresa de tecnología avanzada privada Booz Allen y se implementó en 2020. Precede la liberación de GPT-3 y la fiebre de IA generativa desencadenada por su sucesor, ChatGPT. La emergencia de estas herramientas no degrada la utilidad de GAMECHANGER para los usuarios del DOD, ni disminuye la medida en que el desarrollo de la aplicación representa una verdadera innovación en el DOD.
El proyecto se inició con un empleado emprendedor con la visión, la convicción y la habilidad para desarrollar una aplicación de resolución de problemas con IA. El DOD demostró ser capaz y dispuesto a adaptar sus prácticas estándar para colaborar con empresas privadas, encontró formas de hacer concesiones para las necesidades particulares del equipo de desarrollo de GAMECHANGER, proporcionó financiamiento dedicado desde la concepción hasta la implementación, y finalmente entregó una herramienta de búsqueda que ha acelerado la tasa y mejorado la facilidad con la que los empleados acceden e interactúan con las políticas que guían las actividades del DOD.
Una revisión retrospectiva del desarrollo de GAMECHANGER revela prácticas y ofrece lecciones que el departamento puede aplicar útilmente a sus esfuerzos continuos para modernizar, simplificar y innovar su tecnología de la empresa. El equipo de desarrollo de GAMECHANGER enfrentó barreras sistémicas que el gobierno puede y debe abordar, incluyendo requisitos de seguridad de red demasiado rigidos, la falta de un camino de carrera dedicado del DOD para expertos técnicos y el cambio de liderazgo que causó ineficiencias y finalmente costó al programa a su defensor. Continuar haciendo concesiones para proyectos de desarrollo de software con IA habilitada de manera ad hoc, caso por caso, es insuficiente para satisfacer las necesidades tecnológicas a medio y largo plazo del DOD.
El DOD ha estado comprometido en el desarrollo y la aplicación de tecnologías de IA habilitadas desde la década de 1940. La extensión de la inversión y la actividad del DOD en IA ha fluctuado con la tasa de progreso técnico en los institutos de investigación y la industria, con las prioridades presupuestarias de las administraciones presidenciales y con la naturaleza y tipos de amenazas presentes en el entorno internacional. Estas influencias convergieron para crear un cambio sustancial en la década de 2010. Los avances técnicos, incluyendo la disponibilidad de datos y el aumento de la potencia computacional, junto con la emergencia de China como competidor geoestratégico, convencieron a altos oficiales militares de que el DOD necesitaba un enfoque intencional y sistemático para incorporar la IA en sus operaciones.
Durante la década subsiguiente, el peso de la atención dedicada a monitorear el progreso del departamento en la adquisición y adopción de tecnologías de IA habilitadas se ha determinado por la extensión a la que y las formas en que la IA se está integrando en las plataformas y tecnologías de guerra. Sin embargo, estas capacidades de guerra no emergen por sí mismas; son el resultado de las personas y los procesos que constituyen la vasta empresa de operaciones comerciales del DOD: cumplimiento, finanzas, contratación, TI, atención médica, gestión de cadena de suministro, gestión de talentos, gestión de propiedades y más. El DOD es el empleador más grande del país, proporciona atención médica a 9,4 millones de personas, posee y opera más de 700.000 instalaciones en todo el mundo, es fiduciario de casi 1 billón de dólares de los contribuyentes y está encargado de comprar y disparar armas de manera legal, ética y efectiva. Si bien y cómo bien el DOD utiliza la IA para mejorar el conjunto voluminoso de flujos de trabajo requeridos para des dispatchar estos deberes, por lo tanto, tiene implicaciones que se extienden mucho más allá de la capacidad del departamento para hacer la guerra.
Este informe proporciona una visión de cómo el DOD identifica las oportunidades y aborda los desafíos de integrar herramientas de IA modernas en sus operaciones de empresa de negocios. Describe las fuentes y resultados de GAMECHANGER, un motor de búsqueda construido entre 2018 y 2022 para “identificar, consolidar y automatizar la búsqueda y análisis de todas las directivas y directivas aplicables, regulaciones, emisiones del DOD, orientación de los departamentos militares y otras políticas relevantes del gobierno de los Estados Unidos” que definen los roles, responsabilidades y actividades de los muchos programas, oficinas y empleados civiles y militares del DOD. GAMECHANGER es una herramienta de software que los empleados del DOD pueden usar para buscar y acceder a las políticas -las propias y las de otras entidades gubernamentales autorizadas para hacerlo- que guían su conducta. Es, como uno de sus desarrolladores lo describió, un “Google para las políticas del DOD”.
El gobierno de los EE. UU. y Booz Allen, una empresa de tecnología avanzada privada, construyeron conjuntamente GAMECHANGER para su uso por parte del Departamento de Defensa; como tal, el equipo y el programa que lo desarrollaron tienen algunas características únicas. Sin embargo, un número de elementos de la historia de GAMECHANGER también son bastante familiares: comienza con un flujo de trabajo roto, tiene un fundador emprendedor y obsesivo, y cuenta con la suerte, la casualidad, la buena suerte, la resistencia burocrática, la patología organizativa, los desacuerdos internos y las shock externos. El programa atravesó todos estos obstáculos y emergió como un ejemplo de verdadera innovación. El Departamento de Defensa demostró ser capaz y dispuesto a responder a un empleado con la visión, la convicción y la habilidad para desarrollar una aplicación de resolución de problemas de inteligencia artificial. El DOD adaptó sus prácticas estándar para colaborar con empresas privadas, encontró formas de hacer concesiones para las necesidades particulares del equipo de desarrollo de GAMECHANGER, proporcionó financiamiento dedicado desde la concepción hasta la implementación, y finalmente entregó una herramienta de búsqueda que ha acelerado la tasa y mejorado la facilidad con la que los empleados acceden e interactúan con las políticas del gobierno. El hecho de que estos obstáculos requirieran resolución, sin embargo, señala la necesidad de que el departamento se vuelva mucho más capaz de desarrollar, adquirir y adoptar software. Continuar haciendo concesiones de manera ad hoc y caso por caso es insuficiente para satisfacer las necesidades tecnológicas a medio y largo plazo del departamento.
GAMECHANGER: Un origen en la frustración
GAMECHANGER tiene sus orígenes en la frustración. Durante varios años y en diferentes entornos, el fundador de GAMECHANGER había observado o experimentado muchas instancias en las que la acción del DOD estaba obstaculizada, distorsionada o impedida por una incapacidad para acceder, cruzar referencias y reconciliar sus propias autoridades y directrices. Esto ralentizó las funciones administrativas—la respuesta a los procesos de supervisión del Congreso, por ejemplo—y también tuvo implicaciones operativas directas. El fundador describió estar especialmente enojado cuando la planificación de misiones antiterroristas se vio afectada por una mala comprensión de las políticas aplicables y la confusión sobre cómo cumplirlas. Los operadores en el campo tenían que preguntar a los abogados sobre la conformidad, quienes trabajaban desde una distancia; los abogados desde una distancia no tenían el contexto necesario ni acceso fácil a todos los hechos relevantes, y así el ciclo de decisión era lento y los resultados a menudo insuficientemente directivos. Exposiciones repetidas a tales intercambios produjeron lo que el fundador describió como una obsesión con la idea de que si “las personas sabían qué políticas y directrices decían y cómo interactuaban entre sí, podríamos arreglar muchas cosas, en cualquier número de problemas”. Figurar cómo dar a las personas una herramienta, una aplicación, con la que pudieran acceder rápidamente a la política y recibir orientación sobre cómo aplicar la política del DOD “se convirtió en una misión personal”. Esto se desarrolló en una visión de habilitación de decisiones. El fundador quería que los operadores en el campo pudieran ingresar detalles de la misión y descripciones de las condiciones actuales y que una aplicación de inteligencia artificial analizará las políticas y autoridades del DOD y devuelva rápidamente una evaluación de qué acciones eran, y no eran, permisibles. Esta idea evolucionaba al mismo tiempo que el Departamento de Defensa comenzaba a trabajar en serio en la modernización digital con la intención de expandir su uso de la autonomía de inteligencia artificial para operaciones militares, y avanzar en su enfoque general para capturar, procesar y analizar datos.
Avances en la innovación
Estos esfuerzos produjeron algunos resultados visibles. En el dominio de la guerra, por ejemplo, el departamento comenzó a experimentar con plataformas no tripuladas más, diferentes y mejores, comúnmente llamadas drones, en el aire y en y en el océano. También inició el Proyecto Maven, que utilizó capacidades de reconocimiento de imágenes de inteligencia artificial—llamadas “visión computacional”—para identificar objetivos durante operaciones cinéticas. Este enfoque en la inteligencia artificial y la automatización también resultó en nuevos programas y otros cambios organizativos que permitirían al departamento aprovechar mucho mejor los volúmenes masivos de datos generados por, y potencialmente útiles para, sus operaciones de negocio—para convertirse, es decir, en una “organización impulsada por datos”. Consistente con este propósito, el DOD lanzó el programa “Avanzando en Análisis”, o Advana, en 2018. El objetivo de Advana es servir como un repositorio de datos—un “lago de datos”—sobre las actividades del departamento. Reúne y reconcilia datos de sistemas autorizados dispares y permite a los analistas utilizar lenguajes de programación y herramientas técnicas para analizar esos datos, y crear nuevos conjuntos de datos y visualizaciones de ellos que sean útiles para su trabajo. Está disponible para todos los empleados civiles, militares y contratistas con una tarjeta de acceso común, una forma de identificación emitida y administrada por el DOD. Aunque inicialmente diseñado para permitir que el contable del DOD siguiera y informara sobre las actividades financieras del departamento, durante la pandemia de COVID-19, los analistas utilizaron Advana para una serie de propósitos más allá de la gestión financiera. Estos usos demostraron el valor de dar a los empleados acceso a los datos del DOD, y así el mandato de Advana se amplió para incluir datos sobre un conjunto más amplio de actividades del DOD, incluyendo, por ejemplo, logística, personal, estado de preparación de equipo y activos, adquisiciones y operaciones médicas.
En 2018, el Departamento de Defensa (DOD) estableció una nueva oficina, el Centro de Inteligencia Artificial Conjunta (JAIC), bajo la oficina del jefe de información. La misión del JAIC era “mejorar la capacidad de los componentes del DoD para ejecutar nuevas iniciativas de IA, experimentar y aprender dentro de un marco común” con “el objetivo principal de acelerar la entrega de capacidades habilitadas por IA, escalar el impacto del Departamento en todo el mundo de IA y sincronizar las actividades de IA del DoD” para “introducir rápidamente nuevas capacidades y experimentar efectivamente con nuevos conceptos operativos en apoyo de las misiones de combate y funciones comerciales del DoD”. La persona encargada de dirigir el JAIC tenía una relación con el fundador de GAMECHANGER mientras lideraba el Proyecto Maven, y a fines de 2018, el fundador se acercó a esta persona con la idea de que el JAIC desarrollara una herramienta que resolvería los problemas de inaccesibilidad y incomprehensibilidad de la política que el fundador sabía que estaban obstaculizando las operaciones del DOD – una herramienta que el fundador le dijo al director que “ahorraría al Departamento miles de millones de dólares, y vidas, y está congresionalmente mandado”. El director y su director adjunto respondieron a este argumento no solo porque entendían los problemas que el fundador estaba proponiendo resolver, habiendo ellos mismos “experimentado como un punto de dolor”, sino también porque entendían el concepto técnico. El director hizo así los maniobras administrativas necesarias para establecer el trabajo en un prototipo de herramienta de política y lo designó como un proyecto insignia del JAIC. Entre 2019 y 2024, el programa GAMECHANGER recibió entre $8 millones y $15 millones en financiamiento.
Financiamiento del programa GAMECHANGER
Entre 2019 y 2024, el programa GAMECHANGER recibió entre $8 millones y $15 millones en financiamiento. Este apoyo financiero permitió al programa avanzar en su objetivo de desarrollar una herramienta que resolviera los problemas de inaccesibilidad y incomprehensibilidad de la política en el DOD.
El fundador de GAMECHANGER no era inicialmente un miembro de la JAIC, sino el cliente – la persona para quien y con quien el equipo de proyecto diseñaría y construiría la herramienta habilitada por inteligencia artificial. Durante gran parte del primer año de la JAIC, estaba muy estafada con personas en asignación temporal – empleados que rotaban desde otras oficinas donde tenían roles que no eran específicos de las actividades de la JAIC. Esto fue cierto para el subconjunto de personas asignadas para trabajar con el fundador en GAMECHANGER durante aproximadamente ocho meses, en el momento en que la JAIC contrató a un gerente de proyecto técnico experimentado de otra agencia de seguridad nacional. Fue en torno a la misma época que el director conoció al director de datos del DOD, quien había llegado al DOD en julio de 2018 después de trabajar en la transformación digital en el sector privado, y era parte del equipo interno del DOD que “conspiró para crear Advana”. El director de datos tenía en su equipo dos miembros con habilidades avanzadas en ciencia de datos y ingeniería de datos, a quienes había autorizado a interactuar con el equipo central de Advana para encontrar y resolver problemas de datos importantes para el departamento. Ambos miembros del equipo, por razones diferentes, identificaron la incapacidad de trabajar significativamente con el conjunto completo de políticas, autoridades y directrices del DOD como ese problema. El director, reconociendo la superposición, conectó al fundador con el director de datos y su equipo, y comenzaron una colaboración activa, convirtiéndose, en palabras del fundador, “en un pequeño equipo”. El trabajo inicial del equipo produjo un concepto de prueba en forma de código de computadora que identificaba interconexiones en un conjunto de documentos de política. Esto fue alentador pero no una causa para la optimista sobre la intención más grande. Como lo describió un miembro del equipo, estos resultados eran solo “cosas de juguete”; las restricciones del departamento y la tecnología impidieron que se desarrollaran más. Estas restricciones significaban que el equipo no tenía medios de mover código de una computadora individual a una red compartida que permitiría la colaboración directa, y no tenían acceso a las herramientas de desarrollo de software de código abierto y gratuitas que necesitarían para construir una aplicación completa y capaz. El equipo, entendiendo que estas reglas y regulaciones del departamento eran poco probables de cambiar, mucho menos en un plazo razonable, concluyó que la única forma factible de avanzar era empujar a la JAIC a contratar a una empresa privada. El fundador tenía una fuerte preferencia por qué empresa privada debería ser. El objetivo a corto plazo de GAMECHANGER era producir una herramienta de reconciliación de políticas, pero el fundador también quería retener la opción de aplicaciones adicionales posteriormente, incluyendo la posibilidad de una suite de capacidades que correlacionarían la política con todos los datos gubernamentales. Si la herramienta de política podía conectarse a datos sobre presupuesto y gastos, los usuarios podrían informar decisiones al ejecutar estimaciones de cómo afectarían los cambios de política los costos. Esto, para el fundador, significaba que GAMECHANGER necesitaba poder ejecutarse como una aplicación dentro o con acceso a Advana, y el socio del DOD en Advana era Booz Allen. El proyecto Advana ya había demostrado su capacidad para mover aplicaciones a producción rápidamente, y Booz Allen estaba dispuesto a desarrollar la aplicación utilizando herramientas de código abierto y no propietarias. Por lo tanto, la JAIC pudo negociar con éxito la adición del proyecto GAMECHANGER al contrato existente de Advana, con la condición de que los miembros del “pequeño equipo” del fundador retuvieran papeles de liderazgo. Esto significó que, a principios de 2020, Booz Allen asumió la responsabilidad del desarrollo de GAMECHANGER. Booz Allen construiría y gestionaría el desarrollo en su propia infraestructura y conectaría la aplicación a la red del gobierno al completarse. Hubo algunas discrepancias sobre si el equipo podría desarrollar la herramienta con éxito sin acceso directo a los documentos de política del DOD, que se encuentran en las redes del gobierno. La disponibilidad de grandes porciones de estos materiales en sistemas públicos abiertos resolvió este problema. También hubo fricciones inicialmente en la relación sobre qué personal del gobierno podía y no podía hacer en los entornos de desarrollo de Booz Allen. Los miembros del pequeño equipo insistieron en participar en la codificación de la aplicación de política. Esto requeriría que tuvieran acceso directo a la tecnología y la infraestructura de Booz Allen, lo que levantaría preocupaciones de riesgo y responsabilidad para la empresa. Ambos Booz Allen y el gobierno llegaron a una serie de ajustes no triviales en sus prácticas estándar para hacer que la relación y el proyecto funcionaran. Esto incluyó tolerar compromisos y llegar a acuerdos sobre contratación y personal, derechos de propiedad de código y el uso de software de código abierto para desarrollar GAMECHANGER. El código base de GAMECHANGER también se hizo código abierto.
GAMECHANGER y la colaboración con Booz Allen
La colaboración entre GAMECHANGER y Booz Allen fue un paso crucial para el éxito del proyecto. La experiencia de Booz Allen en la construcción de aplicaciones y su capacidad para moverlas a producción rápidamente fueron fundamentales para el desarrollo de GAMECHANGER. La decisión de Booz Allen de utilizar herramientas de código abierto y no propietarias también fue un factor importante, ya que permitió a GAMECHANGER mantener su independencia y flexibilidad. Aunque hubo algunas discrepancias inicialmente, la colaboración entre GAMECHANGER y Booz Allen se convirtió en un éxito, y el proyecto fue capaz de avanzar significativamente.
La colaboración entre GAMECHANGER y Booz Allen también permitió a GAMECHANGER acceder a recursos y habilidades que no habrían sido posibles de otra manera. La experiencia de Booz Allen en la construcción de aplicaciones y su capacidad para moverlas a producción rápidamente fueron fundamentales para el desarrollo de GAMECHANGER. La decisión de Booz Allen de utilizar herramientas de código abierto y no propietarias también fue un factor importante, ya que permitió a GAMECHANGER mantener su independencia y flexibilidad. Aunque hubo algunas discrepancias inicialmente, la colaboración entre GAMECHANGER y Booz Allen se convirtió en un éxito, y el proyecto fue capaz de avanzar significativamente.
La importancia de la colaboración
La colaboración entre GAMECHANGER y Booz Allen es un ejemplo importante de cómo la colaboración entre organizaciones y personas puede llevar a resultados significativos. La capacidad de trabajar juntos, compartir recursos y habilidades, y encontrar soluciones a problemas comunes fue fundamental para el éxito del proyecto. La colaboración también permitió a GAMECHANGER acceder a recursos y habilidades que no habrían sido posibles de otra manera, lo que llevó a un resultado más exitoso.
El software de código abierto es familiar a la mayoría de las personas como aplicaciones o programas utilizados para tareas de cómputo cotidianas. El código es el conjunto de instrucciones definidas escritas en lenguajes de computadora que le dicen a la hardware qué tareas realizar, cómo realizarlas y en qué secuencia. Históricamente, las empresas han protegido su código para generar beneficios vendiendo licencias. El software de código abierto, sin embargo, hace que el código esté disponible de forma gratuita para ver, utilizar, copiar, modificar y compartir. El volumen de código de código abierto es vasto, con repositorios como GitHub que contienen cientos de millones de bibliotecas de código contribuidas por empresas, centros de investigación, agencias gubernamentales y ciudadanos privados. Los contribuyentes pueden hacer que su código abierto sea tan restrictivo o no restrictivo como deseen, utilizando acuerdos de licencia para limitar el acceso. Esto no significa que los usuarios puedan alterar directamente el código detrás de un programa de software en uso, ya que esto crearía riesgos de rendimiento y vulnerabilidades de seguridad. El código abierto podría parecer contraintuitivo para las empresas que buscan ingresos, pero ofrece transparencia, acceso a una nueva piscina de talentos y la capacidad de evolucionar productos rápidamente. También fomenta la adopción por parte de otras organizaciones, lo que conduce a nuevas oportunidades de negocio o beneficios de reputación. El gobierno federal requiere que todos los códigos de fuente personalizados desarrollados por o para agencias federales sean reutilizables por otras agencias para prevenir esfuerzos duplicados y gastos innecesarios. Fomenta, pero no obliga, el código abierto.
El proyecto GAMECHANGER
El equipo combinado de gobierno-empresa, aproximadamente de 25 a 30 personas, comenzó a trabajar en marzo de 2020, convirtiendo a GAMECHANGER en un bebé de la COVID-19. Para el equipo de Booz Allen, la pandemia agregó un grado de dificultad a lo que era ya un proyecto desafiante. Los miembros del equipo se dispersaron geográficamente, cambiando los patrones de trabajo y requiriendo que el gerente del programa cultivara nuevas dinámicas del equipo. El proceso de contratación, que para los desarrolladores de software suele incluir una entrevista interactiva, también requirió ajustes. Estos cambios de personas y procesos vinieron junto con las dificultades de trabajar con el gobierno. Desplegar software en una red del DOD es notoriamente exigente, involucrando documentación, informes y escrutinio del producto intensivos en tiempo y trabajo. La insistencia del equipo del gobierno de que Booz Allen utilizara tecnologías de código abierto para desarrollar la aplicación y hiciera que su base de código estuviera disponible de código abierto al completarse, además, requirió que el equipo de Booz Allen implementara nuevos procesos internos. El proyecto también requirió el uso de una técnica de inteligencia artificial en evolución rápida llamada procesamiento de lenguaje natural (NLP). Históricamente, los sistemas de inteligencia artificial se basaban principalmente en datos estructurados—entradas que estaban estandarizadas y codificadas numéricamente. Los sistemas de NLP modernos, sin embargo, pueden procesar el lenguaje humano como entrada, a pesar de sus irregularidades, ambigüedades y significados variables. Al igual que los modelos tradicionales que utilizan datos estructurados, muchos modelos de NLP son específicos de tarea; utilizan un conjunto de datos definido y completan operaciones prescritas. Es importante destacar que esto difiere de los grandes modelos generativos lanzados después de que GAMECHANGER se desarrolló—como ChatGPT, Gemini o Claude—que pueden generar salidas innovadoras en una amplia gama de tareas. Las tareas funcionales básicas de GAMECHANGER—buscar y presentar documentos de lenguaje basados en la solicitud del usuario—no eran una aplicación innovadora de NLP. Al igual que otros motores de búsqueda, podría construirse en gran medida con dos programas operando detrás de una interfaz de usuario. Uno de los programas, el rastreador, escanearía los datos textuales de los documentos de política del DOD y recopilaría detalles de qué contienen. El otro programa utilizaría la información recopilada por el rastreador para construir un índice: un catálogo estructurado de los contenidos de lenguaje de cada documento que permite que se clasifiquen según su relevancia cuando un usuario ingresa una búsqueda. Hasta 2018, muchas empresas comerciales habían desarrollado programas de NLP, y el equipo combinado exploró la posibilidad de utilizar uno de ellos para GAMECHANGER. Ninguno, sin embargo, se evaluó—por el equipo combinado o por las empresas mismas—para ser una opción viable. El fundador explicó esta incompatibilidad como reflejando el hecho de que las políticas del DOD “no están escritas en inglés y, por lo tanto, no siguen el programa de NLP habitual.” Las políticas tienen sus propios patrones, convenciones y peculiaridades, lo suficientemente distintas del lenguaje común que requieren una herramienta construida a medida. La visión del fundador de una herramienta de ayuda para la toma de decisiones, una que pudiera descubrir y reconciliar relaciones entre políticas, requería capacidades que iban más allá de la búsqueda básica. Esto no significaba, sin embargo, que el equipo combinado necesitara escribir el conjunto completo de reglas y procedimientos necesarios para impulsar su capacidad de NLP deseada. De hecho, evitar esa carga era uno de los motivos por los cuales el JAIC había insistido durante las negociaciones del contrato que el proyecto GAMECHANGER incluyera el uso de software de código abierto. Como explicó un miembro del equipo del gobierno en una entrevista, “No necesitábamos un experto en aprendizaje automático de nivel de doctorado, necesitábamos software de fuera. Solo necesitábamos aplicar el mejor de la oferta gratuita en datos del gobierno.” La funcionalidad base del proyecto al completarse, por lo tanto, sería una interfaz de búsqueda de NLP impulsada por políticas DOD específicas, desarrollada utilizando herramientas de AI públicamente disponibles con documentos almacenados en Advana como su fuente de datos.
Software development es la organización iterativa, sistematización y coordinación de la creatividad y habilidad humanas canalizadas en código informático. Requiere que las personas trabajen independientemente, juntas; comuniquen verbalmente y a través de documentación; sean disciplinadas con control de versiones; participen en reuniones de planificación y revisiones posteriores a la acción; realicen pruebas rigurosas y garantía de calidad; reciban retroalimentación de usuarios; y luego comiencen el ciclo todo de nuevo. En otras palabras, es muy difícil hacerlo bien. El elemento más esencial para construir software efectivo es orientar toda esa ingeniosidad y labor humana hacia un objetivo funcional definido y bien comprendido. Los equipos de software deben mantener un enfoque obsesivo en qué debe ser capaz de hacer el producto final. Para GAMECHANGER, ese propósito singular cambió con el tiempo. La visión del fundador era crear una aplicación muy específica y constricta. Permitiría a un tomador de decisiones—en el campo o detrás de una mesa—ingresar información contextualizada y recibir una evaluación de qué acciones serían, o no serían, conformes con las autoridades aplicables, o si era necesario una revisión legal final para tomar una determinación final. Una herramienta así requeriría gran especificidad en la capacitación del modelo de NLP, junto con técnicas capaces de identificar e interpretar relaciones entre y entre políticas. Esta última característica tendría el beneficio accesorio de iluminar discrepancias correctibles en el cuerpo de políticas de DOD—suficiendo aquellas que están obsoletas, superadas por otras directivas o directamente en conflicto entre sí y necesitadas de remedios. Graficar las conexiones entre políticas de esta manera permitiría a DOD podar y curar su orientación. Era esta herramienta que el pequeño equipo había comenzado a construir en la JAIC, y que inicialmente se llevó a cabo en el trabajo del equipo combinado. El equipo combinado comenzó a desarrollar GAMECHANGER mientras también trabajaba para incorporar documentos de política no clasificados en Advana. Aunque GAMECHANGER se estaba desarrollando utilizando documentos de política disponibles en el dominio público, finalmente necesitaría correr en fuentes internas autorizadas. Advana es un lago de datos opt-in; el programa no tiene autoridad para exigir que ninguna parte de DOD proporcione ninguna de sus datos. Esto significa que los miembros del equipo combinado necesitaban persuadir a los programas y oficinas responsables de generar y actualizar la orientación de DOD para participar. El acceso a tales fuentes de datos autorizadas no se concede con facilidad dentro del departamento, pero GAMECHANGER tuvo éxito en obtener acceso a 53 de ellas. Si bien esto es un corpus sustancial de material, no obstante es incompleto; no incluye todas las políticas relevantes para las actividades y administración de DOD. En 2019, el fundador aceptó un puesto de mayor responsabilidad dentro de la JAIC, una transición que dejó menos tiempo y atención disponible para GAMECHANGER mismo. Esta reducción en la participación directa del fundador resultó en un cambio en el objetivo funcional del software. En lugar de seguir intentando construir una herramienta de ayuda para la toma de decisiones, el equipo combinado decidió en cambio construir “un Google de política de DOD.” Esta herramienta apoyaría la búsqueda y generarían un gráfico para representar los documentos de referencia asociados con una política, pero no utilizaría la inteligencia artificial para realizar análisis de reconciliación. Los usuarios podrían pedir a GAMECHANGER que encuentre y acceda a una política, y obtenga una visualización de otros documentos referenciados en esa política, pero eso sería el límite de su funcionalidad primaria. Esta funcionalidad sería apoyada por otras herramientas que recopilarían métricas de uso. Advana estaba equipada para capturar datos sobre cuántos usuarios “hicieron clic en” cada una de sus aplicaciones, pero no capturaba otros elementos de interés para el equipo de desarrollo de GAMECHANGER. Querían datos más granulares sobre quién estaba utilizando, durante cuánto tiempo lo estaba utilizando y para qué lo estaba utilizando, para informar sus esfuerzos para mejorar el rendimiento de GAMECHANGER y afinar y agregar a sus capacidades. Para hacer esto, el equipo decidió integrar la herramienta de software de código abierto Matomo; Matomo se adoptó posteriormente y se aplicó a lo largo de Advana. Con el tiempo, todos los miembros originales del pequeño equipo de la JAIC dejaron GAMECHANGER para otras oportunidades. Algunos estaban agotados, algunos buscaban un nuevo desafío y algunos perseguían el avance profesional. De la misma manera, se estaban haciendo cambios en la estructura institucional que rodea y dirige el desarrollo de GAMECHANGER. Había discusiones sobre si la JAIC debería seguir informando a través del jefe de información o ser directamente responsable del subsecretario de defensa. En 2021, esta pregunta se convirtió en irrelevante cuando el departamento liberó planes para reestructurar las relaciones entre y entre sus oficinas principales de tecnología de información, incluida la JAIC. A finales de 2021, se tomó la decisión de que la JAIC sería absorbida en la Oficina de Inteligencia Artificial y Digital, que en verano de 2022 asumió la responsabilidad de todos los programas de la JAIC, incluido GAMECHANGER.
GAMECHANGER: Un cambio de objetivo funcional
La transición del objetivo funcional de GAMECHANGER de una herramienta de ayuda para la toma de decisiones a una herramienta de búsqueda de política de DOD fue un cambio significativo. En lugar de utilizar la inteligencia artificial para realizar análisis de reconciliación, la herramienta se centraría en proporcionar una visualización de los documentos de referencia asociados con una política. Esto requeriría una reorientación del equipo de desarrollo y una redefinición de las capacidades de la herramienta. Aunque el cambio de objetivo funcional fue un desafío, el equipo de desarrollo de GAMECHANGER se adaptó y continuó trabajando para mejorar la herramienta y refinar sus capacidades.
Integración de Matomo
La integración de Matomo en Advana fue un paso importante para recopilar datos sobre el uso de la herramienta. Matomo permitió al equipo de desarrollo de GAMECHANGER recopilar datos sobre quién estaba utilizando la herramienta, durante cuánto tiempo lo estaba utilizando y para qué lo estaba utilizando. Esto les permitió informar sus esfuerzos para mejorar el rendimiento de la herramienta y refinar sus capacidades.
Cambio de estructura institucional
El cambio de estructura institucional que rodea y dirige el desarrollo de GAMECHANGER fue un desafío significativo. La absorción de la JAIC en la Oficina de Inteligencia Artificial y Digital requirió una reorientación del equipo de desarrollo y una redefinición de las capacidades de la herramienta. Aunque el cambio fue un desafío, el equipo de desarrollo de GAMECHANGER se adaptó y continuó trabajando para mejorar la herramienta y refinar sus capacidades.
La visión del equipo de desarrollo de GAMECHANGER cambió significativamente cuando decidieron hacer de GAMECHANGER una herramienta de búsqueda en lugar de un asistente de decisiones. El fundador había imaginado que los usuarios de GAMECHANGER operarían en el campo o en cualquier posición en la que se necesitaran decisiones rápidas y precisas sobre cómo aplicar la política. Esto habría hecho que GAMECHANGER fuera muy ampliamente aplicable – útil para cualquier persona en el DOD que necesitara determinar si una acción estaba o no en conformidad con la política. Estos no eran los usuarios que se habían imaginado para el “Google de la política del DOD”. En su lugar, el equipo delineó cinco “personas” distintas – tipos representativos de clientes que GAMECHANGER serviría. Todas las cinco personas eran civiles y trabajaban en posiciones responsables de la creación y gestión de políticas, con flujos de trabajo que incluían la redacción de nuevas políticas y la actualización, mantenimiento y interpretación de las existentes. La decisión de hacer que las características centrales de GAMECHANGER fueran la búsqueda y la asociación de documentos tuvo efectos transversales. Por un lado, las personas representativas del equipo combinado representaban un subconjunto de la población del DOD y sugirieron la intención de construir una herramienta que sirviera a sus necesidades específicas. Sin embargo, limitar la funcionalidad del herramienta a la localización de políticas e identificar conexiones entre ellas también limitó su utilidad para estas mismas personas. Cualquier tarea que incluyera la resumen, reconciliación o análisis de políticas seguiría requiriendo investigación de escritorio. Por otro lado, la atención de GAMECHANGER a la búsqueda la hizo valiosa para poblaciones más allá de especialistas en política. Todos los empleados del DOD, después de todo, ocasionalmente tienen razones para consultar una política del DOD, ya sea para su trabajo o para navegar sus propias carreras. En otras palabras, GAMECHANGER, tal como se desplegó, intercambió utilidad para especialistas en política por una adopción más amplia.
Usuarios y uso de GAMECHANGER
GAMECHANGER se lanzó en mayo de 2020 cuando apareció como una aplicación en Advana, lo que lo hizo accesible a cualquier empleado del DOD, contratista o usuario autorizado con una tarjeta de acceso común y acceso a la red de protocolo de Internet no clasificada (NIPRNet). Antes de su lanzamiento, el fundador había trabajado activamente para generar conciencia y entusiasmo entre personas con flujos de trabajo que GAMECHANGER apoyaría. Esta labor previa produjo un grupo de 20 personas que utilizaron y proporcionaron retroalimentación sobre la primera iteración de la aplicación, y que después “difundieron el mensaje” sobre la existencia y capacidades de GAMECHANGER. El lanzamiento de GAMECHANGER continuó principalmente a través de la palabra de mouth; el equipo combinado consideró pero no llevó a cabo una estrategia de alcance a oficinas en las que el personal ocupando roles similares a los de las personas de GAMECHANGER era probable que trabajara. El equipo complementó este modelo de bola de nieve con oportunidades para que los usuarios interactuaran directamente con GAMECHANGER y sus desarrolladores. El programa Advana regularmente organizaba demostraciones de los datos y herramientas que contenía, y GAMECHANGER a menudo participaba para destacar actualizaciones y nuevas características. El equipo combinado también organizó sesiones semanales de preguntas y respuestas y tutoriales (horas de oficina) y experimentó con un boletín de GAMECHANGER. El resultado fue que el crecimiento de la base de usuarios de GAMECHANGER no fue lineal, sino que ocurrió en auge y caída que el equipo combinado solo infrecuentemente podía correlacionar con un esfuerzo intencional para acceder a nuevas poblaciones. A pesar de este enfoque no estructurado e informal para el lanzamiento, el crecimiento de GAMECHANGER entre 2022 y 2025 fue sustancial, pasando de aproximadamente 20 usuarios únicos a 21,000.
Uso de GAMECHANGER
Sin embargo, el uso de GAMECHANGER en sí mismo no debería esperarse que se correlacione directamente con la adición de nuevos usuarios. Aunque es razonable anticipar que una mayor piscina de usuarios generará un mayor número de búsquedas, el tiempo y la frecuencia de las búsquedas de documentos en GAMECHANGER deberían variar con el tiempo, la frecuencia y la naturaleza del trabajo que se necesita completar, y con la ocurrencia de eventos inesperados. De hecho, esto es lo que reflejan los datos de Booz Allen y lo que informan los usuarios individuales. A medida que crecía la base de usuarios de GAMECHANGER, también crecía la actividad de búsqueda, aunque no de manera lineal, y no hay patrón en sus picos y valles. Sin embargo, hay evidencia clara de crecimiento en el uso de GAMECHANGER con el tiempo, con la actividad de búsqueda aumentando de manera constante entre 2022 y 2025. Los datos también sugieren que la aplicación ha mejorado su rendimiento. Si bien el número de documentos abiertos por búsqueda ha permanecido relativamente estable, con una tasa de apertura de entre aproximadamente el 20% y el 40%, el número de documentos devueltos por búsqueda ha disminuido notablemente – indicando que el software ha sido refinado para entregar resultados más precisos y relevantes.
One of the primary goals for users of AI—whether individuals, organizations, corporations, or governments—is to increase productivity: the amount of work output generated by a given amount of resource input. The relatively recent introduction of generative AI, software that can be used to summarize, synthesize, and combine all kinds of sensory, language, and mathematical data, has begun to show that it can have positive effects on productivity across a broad range of tasks and industries.
GAMECHANGER does not use generative AI, but recent research on the introduction of even non-generative AI-enabled software in the private sector suggests that it is reasonable to expect, if sometimes difficult to measure, productivity gains. In health care, for example, AI-enabled software can now review X-ray and other images very rapidly—much more rapidly than human radiologists—leading to faster results with the same number of machines and the same number of doctors.
Similarly, banks are using AI-enabled software to review loan applications, shrinking the period between when a request is received and when a decision is made without any increase in the number of loan officers. For GAMECHANGER, increasing productivity would mean enabling users to complete policy tasks faster and, therefore, to complete more of them during the same period of time. Indeed, this is what GAMECHANGER’s users report.
Positive effects on productivity
Prior to its introduction, policy workflows for tasks like policy development or revision, workforce analysis, and compliance review were dominated by knowledge acquired through experience, requests for information from counterparts in other DOD offices, and time-intensive, manual searches through multiple, disconnected systems. GAMECHANGER’s search capability has therefore had a dramatically positive effect on accessibility and timeliness, with users reporting that it has transformed previously hours-long research efforts into minutes-long tasks.
One GAMECHANGER user offered this illustration: “In my policy shop, I have five policy officers, and each focuses on one policy ‘account’—or subject, like human resources. We have 42 agency policies that have to do with HR—promotions, discipline, etc. She has to help research, draft, and maintain those 42 policies. In reality, she works four or five policies at a time. On average, each of those is about 22-25 pages long. In those policies, there’s a section for references. These are the references we based our policy on—public law, financial management regulations, DOD instructions, intelligence community directives, and so forth. … without GAMECHANGER, the officer has to go into the DOD policy portal to search for promotions, she has to search the Office of Personnel Management system, all the intelligence community systems, all manually. So, let’s say she just searches to confirm all those references, and it takes three hours. With GAMECHANGER, she probably can do the same thing in 10 minutes.”
A member of the combined team relayed this estimate of the difference GAMECHANGER makes: “The process before GAMECHANGER for a document review required manually searching for and reading all relevant documents. Because a policy generally requires seven hours of review and is frequently reviewed by 50+ organizations, approximately 1,400 hours are spent reviewing a single policy. There are 12 policies on average coordinated across DOD per month, representing 16,800 hours (700 days) of opportunity to save.”
Other benefits of AI-enabled software
Enhanced productivity is an important potential benefit of AI-enabled software, but there can be other benefits too. Good software can also improve consistency, accuracy, and completeness, attributes of great importance in most, if not all, industries and certainly for work done on and with DOD policy. Here again, GAMECHANGER user reports are positive.
All interviewees commented that GAMECHANGER lowers barriers to access, especially for non-policy specialists, and increases their confidence in the quality of their policy products by presenting a more comprehensive set of related and relevant documents than a manual search would have produced. One user explained it this way: “[GAMECHANGER] is a time and labor saver overall. Very helpful with quality control of the information that goes to the customer. We need to be right. We need to know it’s the best information we can be giving. … If you took GAMECHANGER away today, it would remove a layer of assurance that we’re answering the question properly. … It would remove a method that gets us to the right answer, and it would be a quality decrement.”
Limitations and future development
This is not to say that GAMECHANGER users have encountered no errors or omissions, or that they are fully satisfied with its performance. The GAMECHANGER team receives requests for assistance with bugs or other functionality issues, like non-responsiveness, through the Advana Service Desk. Users are also able to ask the team to add new documents—when, for example, a user identifies a policy that has not yet been ingested into GAMECHANGER’s dataset—and for new features, both via the service desk and at bimonthly “office hours” meetings. These can be suggestions for how to enhance the user interface or for the addition of features that supplement or refine search returns.
The base product—the core functionality of GAMECHANGER—is and will remain a search and association tool; it will not be advanced to include generative AI capabilities.
Much of the GAMECHANGER story bodes well for AI innovation at the DOD. It demonstrates that the department can develop, adopt, and scale AI to address defense-specific workflow problems and to meet business intelligence needs. Advana’s centrality to GAMECHANGER’s functionality is evidence that Advana is returning value to the department and that it has the potential to do even more.
GAMECHANGER’s impact on the DOD
The GAMECHANGER contracting relationship with Booz Allen confirms that the department can partner creatively with the private sector to mutual benefit. Its use of open-source tools and the decision not to make GAMECHANGER code proprietary are important government and corporate adjustments to modern software development practices.
Indeed, these choices have allowed the development team to generalize GAMECHANGER’s code base so that it can be used to meet other DOD needs—most notably enabling search on contract and budget documents—and for use by other government agencies; the Federal Bureau of Investigation and the National Geospatial Agency now have their own versions of a GAMECHANGER clone.
Aplicaciones de GAMECHANGER
Cada una de estas aplicaciones requiere su propio entrenamiento y ajuste, pero todas ellas heredaron su funcionalidad básica directamente de GAMECHANGER.
El proyecto GAMECHANGER, un ejemplo de innovación en inteligencia artificial, debe ser juzgado como un éxito. Produjo software funcional que aumentó la eficiencia en los flujos de trabajo y mejoró la satisfacción de los empleados. Rompió y reemplazó procesos obsoletos y cuestionó normas perjudiciales. Es prueba de que el DOD y un importante socio privado pueden evolucionar sus prácticas de contratación y desarrollo. Ilumina problemas en la gestión de talentos, la infraestructura de tecnología y las estrategias de adopción y difusión de AI que el DOD puede resolver. También sugiere un camino hacia adelante mientras el DOD trabaja para expandir su uso de tecnologías de AI modernas y poderosas.
Limitaciones del GAMECHANGER
El GAMECHANGER no es tan poderoso como podría haber sido. El objetivo del fundador era utilizar tecnologías de AI para crear un asistente de decisiones. La visión era equipar a los empleados del DOD con información que les ayudaría a tomar decisiones contextualizadas, oportunas y conformes a las políticas. Un herramienta así estaría ajustada al lenguaje arcano de las políticas y directrices del DOD, y programada para encontrar coincidencias, redundancias y inconsistencias en documentos. Este objetivo cambió durante el desarrollo, en gran medida como resultado de la transición del fundador a un rol diferente. Las rotaciones cortas y las promociones no son comunes en el departamento, y en muchos casos son beneficiosas para las oficinas del DOD y para el avance de la carrera individual. En el contexto del desarrollo de tecnología, sin embargo, el cambio frecuente puede obstaculizar el momentum—requiriendo a nuevos miembros del equipo que se familiaricen con el proyecto—y, en el caso de un cambio de liderazgo, puede afectar la dirección del desarrollo. Para el GAMECHANGER, la promoción del fundador significó que el proyecto perdió a su principal defensor. El resultado fue que el desarrollo se reorientó de tal manera que lo que emergió no fue una herramienta de decisión, sino una herramienta de búsqueda con algunas características adicionales. El GAMECHANGER puede encontrar documentos de política individuales y representar visualmente las políticas que el documento original incluye como referencia. Sin embargo, no analiza las políticas y autoridades del DOD y devuelve rápidamente una evaluación de qué acciones son y no son permisibles, o que merecen una evaluación legal adicional. Tampoco sintetiza ni resume documentos—capacidades que se han vuelto comunes en herramientas de AI generativa basadas en modelos de lenguaje grande.
Competencia con herramientas de AI generativa
La capacidad del GAMECHANGER ha sido eclipsada por herramientas de AI generativa públicamente disponibles y, cada vez más, por herramientas de AI generativa desarrolladas específicamente para el DOD y para el gobierno de los EE. UU. en general. Estas herramientas buscan documentos de política del DOD y, en ese sentido, compiten con el GAMECHANGER por usuarios. Algunas de ellas también incluyen chat—la capacidad de hacer preguntas y recibir respuestas en lenguaje común—, lo que el GAMECHANGER no hace. Sin embargo, no están ajustadas al lenguaje de política del DOD. Esto aumenta el riesgo de que los productos de política contengan omisiones y errores significativos, ya sea porque los materiales relevantes están faltando en la base de datos de la herramienta o porque el modelo no está entrenado para reconocer e interpretar correctamente. Ninguna de estas herramientas, incluyendo el GAMECHANGER, satisfará la necesidad original identificada por el fundador.
Lecciones del GAMECHANGER
El GAMECHANGER es una prueba de que el DOD y un importante socio privado pueden evolucionar sus prácticas de contratación y desarrollo. Ilumina problemas en la gestión de talentos, la infraestructura de tecnología y las estrategias de adopción y difusión de AI que el DOD puede resolver. También sugiere un camino hacia adelante mientras el DOD trabaja para expandir su uso de tecnologías de AI modernas y poderosas. La experiencia del GAMECHANGER sugiere que el Pentágono puede usar con provecho la estrategia de invertir en proyectos de desarrollo personalizados, hechos en colaboración con empresas de tecnología en la base de innovación de defensa, para producir herramientas que sirvan a los flujos de trabajo específicos del DOD de manera excepcional. Esta estrategia proporciona acceso a la funcionalidad de código abierto que todos quieren sin sacrificar las capacidades específicas de la misión que los profesionales de la defensa necesitan.
