Latam-GPT est une initiative régionale d’intelligence artificielle en Amérique latine conçue pour créer un grand modèle de langage qui reflète les langues, les cultures et les histoires locales. Le projet, coordonné par le Centre national d’intelligence artificielle du Chili (CENIA), vise à faire passer la région de la consommation numérique à la création d’IA. Latam-GPT est construit avec environ 50 milliards de paramètres, comparable à GPT-3,5, et s’appuie sur un corpus de plus de 8 téraoctets de texte récolté dans plus de 30 institutions en Amérique latine. Cette initiative soulève la question de savoir si l’Amérique latine peut passer d’être un importateur de technologie à un architecte de technologie.
L’approche technique de Latam-GPT implique un chemin de traverse entre la construction d’un modèle à partir de zéro et l’adaptation de modèles existants. Le modèle multilingue de grande taille (LLM) ouvert-source de la Suisse démontre la faisabilité de l’IA souveraine, qui correspond aux intérêts stratégiques nationaux, aux normes juridiques et éthiques, aux priorités culturelles et aux besoins de sécurité. Cependant, cette approche nécessite une investissement public durable, une coordination institutionnelle solide et une capacité centralisée.
L’adaptation de modèles existants offre une alternative plus pragmatique. Des techniques telles que « l’adaptation de tête » et l’adaptation de rang faible (LoRA) permettent des modifications à la couche finale du modèle ou l’insertion de petits modules entraînables dans les couches internes du modèle, respectivement. Ces méthodes façonnent le comportement sans reconstruire le système. Par exemple, un Latam-GPT de base avec des adaptateurs LoRA pourrait être adapté pour le langage régional et les routines spécifiques au pays, adaptant un modèle ouvert-source aux contextes locaux avec moins de puissance de calcul et dans un délai plus court.
Cependant, l’adaptation hérite des hypothèses fondamentales du modèle de base, y compris les stratégies de tokenisation, les mécanismes d’attention et les biais culturels intégrés. Un modèle entraîné principalement sur du texte anglais peut avoir du mal avec la complexité morphologique espagnole ou la richesse contextuelle des langues indigènes, quel que soit la sophistication de l’adaptation.
Une approche équilibrée
L’approche de CENIA équilibre la couverture mondiale avec la spécificité régionale en entraînant sur des données régionales tout en exploitant une architecture multilingue. Construit sur LlaMA 3, le modèle s’appuie sur un corpus qui englobe plus de 1 500 langues. Cette approche répond à la dimension culturelle de l’IA, où les modèles de langage codent des valeurs et des mondes-vues. Les modèles d’IA mondiaux ont souvent du mal dans les contextes locaux, comme on le voit dans les réponses décalées dans l’espagnol régional et la lecture erronée des acronymes locaux.
Le corpus d’entraînement de Latam-GPT comprend non seulement l’espagnol et le portugais, mais aussi les langues indigènes, chacune avec des structures grammaticales distinctes. Cela représente des obstacles computationnels au-delà de l’expansion du vocabulaire. La logique fédérée de Latam-GPT reconnaît la diversité institutionnelle de la région, fournissant une base partagée qui peut être adaptée pour les priorités nationales. Ce modèle ouvert-source sera disponible au public, reflétant à la fois la nécessité et le choix stratégique.
Des obstacles structurels
Malgré son ambition, Latam-GPT rencontre des obstacles structurels. L’économie de l’attention nécessite des mises à jour constantes et des raffinements, ce qui exige un investissement durable. Le problème de la fuite des talents, où les chercheurs en IA migrent vers des opportunités rémunératrices plus élevées dans le Nord global, constitue un défi significatif. L’adoption par les utilisateurs présente également un dilemme classique « poulet-ou-œuf », nécessitant un soutien institutionnel et un écosystème régional.
Un chemin à suivre
Latam-GPT test si l’IA peut fonctionner comme une infrastructure publique, gérée pour le bénéfice collectif plutôt que pour le profit privé. Cela inclut des applications dans l’éducation, la santé et la préservation culturelle. Plusieurs municipalités chiliennes testent Latam-GPT pour réduire les taux de décrochage scolaire et améliorer les services de santé publique. Les données d’entraînement régionales du modèle devraient le rendre plus efficace que les alternatives mondiales pour comprendre les contextes locaux.
Une souveraineté pragmatique
Le chemin à suivre pour Latam-GPT implique une souveraineté pragmatique, garantissant une représentation significative de la diversité complète de la région, y compris les peuples indigènes, les communautés migrantes et les groupes marginalisés. Le succès du modèle sera mesuré non seulement en paramètres ou en métriques de performance, mais en sa contribution au développement. Si Latam-GPT aide les enseignants dans les régions rurales du Colombie ou les fonctionnaires dans les villes du Mexique à faire leur travail mieux, il aura réussi.
Un défi à relever
Finalement, la souveraineté en IA de l’Amérique latine dépend de la volonté politique d’investir dans le développement technologique à long terme et de la capacité institutionnelle pour le soutenir. Latam-GPT offre un début prometteur, mais le véritable test est à venir. L’objectif est de construire une IA qui sert aux besoins et aux contextes de l’Amérique latine, plutôt que de simplement suivre les capacités de la Vallée de la Silicon.
