globo_gris_transparente

Latam-GPT: The Quest for AI Sovereignty

The Latam-GPT team is refining its model with Spanish materials from Latin America, coordinated by Chile's National Center for Artificial Intelligence, to create local artificial intelligence that reflects the region's languages, cultures and histories. Despite obstacles such as talent
Latin America map with interconnected institutions and AI data flow.

Latam-GPT es una iniciativa regional de inteligencia artificial en América Latina diseñada para crear un gran modelo de lenguaje que refleje idiomas, culturas y historias locales. El proyecto, coordinado por el Centro Nacional de Inteligencia Artificial de Chile (CENIA), tiene como objetivo llevar a la región desde el consumo digital hasta la creación de AI. Latam-GPT se está construyendo con aproximadamente 50 mil millones de parámetros, comparable a GPT-3.5, y se basa en un corpus de más de 8 terabytes de texto recopilado de más de 30 instituciones en América Latina. Esta iniciativa plantea la pregunta de si América Latina puede pasar de ser un importador de tecnología a un arquitecto de tecnología.

La aproximación técnica de Latam-GPT implica un camino intermedio entre construir un modelo desde cero y afinar modelos existentes. El modelo de lenguaje multilingüe abierto de Suiza (LLM) demuestra la viabilidad de la soberanía AI, que se alinea con intereses estratégicos nacionales, normas legales y éticas, prioridades culturales y necesidades de seguridad. Sin embargo, este enfoque requiere una inversión pública sostenida, una coordinación institucional fuerte y una capacidad centralizada.

Afinar modelos existentes ofrece una alternativa más pragmática. Técnicas como “ajuste de cabeza” y Adaptación de Rango Bajo (LoRA) permiten modificaciones al capa final del modelo o la inserción de pequeños módulos entrenables en las capas internas del modelo, respectivamente. Estos métodos moldean el comportamiento sin reconstruir el sistema. Por ejemplo, un Latam-GPT base con adaptadores LoRA podría afinarse para dialectos regionales y rutinas país-específicas, adaptando un modelo abierto a contextos locales con menos potencia de cómputo y en un plazo más corto.

Sin embargo, el afinamiento hereda las suposiciones fundamentales del modelo base, incluyendo estrategias de tokenización, mecanismos de atención y sesgos culturales incorporados. Un modelo entrenado principalmente en texto en inglés puede tener dificultades con la complejidad morfológica del español o la riqueza contextual de los idiomas indígenas, independientemente de la sofisticación del afinamiento.

CENIA’s enfoque equilibra la cobertura global con especificidad regional al entrenar en datos regionales mientras aprovecha una arquitectura multilingüe. Construido en LlaMA 3, el modelo se basa en un corpus que abarca más de 1.500 idiomas. Este enfoque aborda la dimensión cultural de la AI, donde los modelos de lenguaje codifican valores y perspectivas del mundo.

El corpus de entrenamiento de Latam-GPT incluye no solo español y portugués sino también idiomas indígenas, cada uno con estructuras gramaticales distintas. Esto representa obstáculos computacionales más allá de la expansión del vocabulario. La lógica federada de Latam-GPT reconoce la diversidad institucional de la región, proporcionando una base compartida que se puede afinar para prioridades nacionales. Este modelo abierto estará disponible al público, reflejando tanto la necesidad como la elección estratégica.

A pesar de su ambición, Latam-GPT enfrenta obstáculos estructurales. La economía de la atención requiere actualizaciones y refinamientos constantes, lo que demanda una inversión sostenida. El problema de la fuga de talentos, donde investigadores de AI migran a oportunidades de pago más alto en el Norte Global, plantea un desafío significativo. La adopción del usuario también presenta un dilema clásico del huevo y la gallina, requiriendo apoyo institucional y un ecosistema regional.

Latam-GPT prueba si la AI puede funcionar como infraestructura pública, gestionada para beneficio colectivo en lugar de beneficio privado. Esto incluye aplicaciones en educación, salud y preservación cultural. Varias municipalidades chilenas están probando Latam-GPT para reducir las tasas de abandono escolar y mejorar los servicios de salud pública.

El camino adelante para Latam-GPT implica soberanía pragmática, asegurando una representación significativa de la plena diversidad de la región, incluyendo pueblos indígenas, comunidades migrantes y grupos marginados. El éxito del modelo se medirá no solo en parámetros o métricas de rendimiento sino en su contribución al desarrollo. Si Latam-GPT ayuda a maestros en Colombia rural o funcionarios en México urbano a hacer su trabajo mejor, habrá tenido éxito.

Finalmente, la soberanía AI de América Latina depende de la voluntad política de invertir en el desarrollo tecnológico a largo plazo y la capacidad institucional para sostenerlo. Latam-GPT ofrece un comienzo prometedor, pero la verdadera prueba está por delante. El objetivo es construir AI que sirva a las necesidades y contextos de América Latina, en lugar de simplemente igualar las capacidades de Silicon Valley.

A graph and charts illustrating regional AI project challenges.