La inteligencia artificial (IA) ha experimentado una transición rápida desde un concepto especulativo a una realidad omnipresente, profundamente integrada en la vida diaria. Esta transformación ha alterado significativamente la forma en que trabajamos, comunicamos y tomamos decisiones importantes. La IA se utiliza ampliamente en diversas áreas, incluyendo la atención médica, la educación y las industrias creativas. Los líderes de la industria tecnológica han sugerido que la IA podría reemplazar pronto a los roles humanos, incluso aquellos que requieren especialización.
El concepto de alineación de la IA se refiere a garantizar que los sistemas de IA no solo realicen tareas correctamente, sino que también reflejen genuinamente las necesidades, prioridades y valores humanos, tanto en escenarios mundiales como en escenarios específicos. Esta alineación es crucial para que la IA sea segura y justa, particularmente en escenarios que involucran seguridad física y daños en línea. Los valores de alineación pueden variar dependiendo del caso de uso, como la tecnología asistiva en la educación o el apoyo a los pacientes en la atención médica. La alineación en seguridad abarca la probabilidad y el impacto del daño, ya sea físico, psicológico, económico o social. Los riesgos residuales deben entenderse, ser proporcionales y controlables.
Desafíos en la alineación de la IA
A medida que los formuladores de políticas en todo el mundo implementan regulaciones de IA, como el Acta de IA de la UE, el Acta básica de IA de Corea y el Acta de la fuerza laboral del futuro de 2024 en EE. UU., estos valores de alineación pueden variar. Asegurar la alineación de la IA para nuevos escenarios o requisitos específicos es un desafío. La IA general aprende de datos de entrenamiento, utilizando probabilidades estadísticas para informar sus decisiones. Sin embargo, estas probabilidades pueden no reflejar los niveles de alineación en seguridad requeridos en diferentes escenarios. El mundo real tiene innumerables escenarios posibles, lo que hace que sea razonable esperar que la IA aprenda las probabilidades perfectamente para operar en todos los entornos posibles.
Enfoque activo de aprendizaje
Un enfoque para abordar este desafío es el aprendizaje activo, que implica reentrenar selectivamente modelos de IA para manejar escenarios inciertos o subrepresentados. Este método puede dirigir a los sistemas de IA a corregir su comportamiento mostrando ejemplos donde la IA puede fallar. Al identificar y refinar repetidamente estos puntos inciertos en muchas partes de los datos, los modelos pueden reflejar gradualmente las diversas necesidades de las interacciones humanas-AI.
Estudios de caso de alineación de la IA
Se realizaron dos estudios de caso para explorar esta idea: uno en un entorno de seguridad doméstica con agentes corporales y otro para promover contenido respetuoso en línea. La intención no solo era mejorar el rendimiento del modelo, sino también evaluar si el enfoque podría conducir a alineaciones más seguras y justas para la IA. El proceso de aprendizaje activo reveló cómo las intervenciones dirigidas por datos pueden ser utilizadas tanto técnicamente como en políticas para fomentar un ecosistema de IA más saludable, más confiable y mejor alineado.
Desafíos en la distribución de datos
En la vida real, la distribución de datos a menudo es desconocida, lo que hace que sea fácil para una IA general enfrentar situaciones que no se entrenaron para y luego fallar de manera inesperada. Al desarrollar estos modelos de IA, es incierto qué debe priorizarse. Como tal, un método es necesario que pueda tomar un modelo de IA y cambiar sus probabilidades aprendidas para tener en cuenta escenarios nuevos o poco comunes para aplicaciones específicas. Una aproximación es cambiar el comportamiento del modelo mostrando muestras a la IA donde puede carecer de representación adecuada. Esto implica seleccionar un modelo de IA para mejorar, con el objetivo de alinearla en nuevos escenarios. El modelo entra en un ciclo continuo donde genera salida en instancias de diversas regiones de los datos. Un modelo auxiliar detecta instancias donde el modelo es probablemente fallando. Cuando surgen tales instancias, un modelo de lenguaje más poderoso externo se utiliza para ayudar a anotar estos ejemplos desafiantes. Estos ejemplos recién etiquetados se agregan luego a los datos de entrenamiento, permitiendo que el modelo actualice su conocimiento y mejore con el tiempo. Esta aproximación sigue los principios del aprendizaje activo basado en clustering.
Medición de la incertidumbre de un modelo de IA generativo
Medir la incertidumbre de un modelo de IA generativo es complejo, ya que puede generar muchos posibles resultados. Para abordar esto, un modelo auxiliar transforma la salida del modelo en una puntuación numérica dependiendo del comportamiento deseado. Esta aproximación puede ser útil para formuladores de políticas y otros interesados, quienes pueden ajustar esta puntuación para alinear la IA con valores y principios deseados.
Estudio de caso de seguridad física en entornos domésticos
La IA ya está cambiando la forma en que interactuamos con la tecnología, con taxis autónomos, drones para la entrega de comida y robots que entregan documentos en hospitales. La próxima frontera de la IA es la de agentes multimodales desplegados con agentes corporales. Es probable que en el futuro, los robots nos ayuden en la vida cotidiana con tareas domésticas como la cocina. Por ejemplo, un robot ayudando a personas mayores debe priorizar la seguridad del usuario, incluso si la persona mayor es reacia a ello. Equipar modelos de lenguaje grandes o multimodales con robots puede hacerlos muy capaces. Sin embargo, los modelos de lenguaje, cuando se despliegan con robots asistentes, pueden pasar por alto o no proporcionar respuestas adecuadas en escenarios críticos de seguridad.
To address this, a framework for a multimodal dialogue system, M-CoDAL, was presented. M-CoDAL is specifically designed for embodied agents to better understand and communicate in safety-critical situations. To train this system, potential safety violations from a given image were obtained. This was followed by turns of dialogues between the user and the system. During training, the concept of clustering-based active learning was utilized, employing an external large language model to identify informative instances. These instances were then used to train a smaller language model that holds conversations about the safety violation in the image. The results showed that when clustering-based active learning was used, the safety score increased significantly, while also improving the sentiment and resolution score.
Counter-narratives and social media
Harmful or offensive text, particularly on social media, has been a persistent concern. Such content includes hate speech, harassment or bullying directed at individuals, and misinformation with potentially severe psychosocial consequences. Exposure to these kinds of harmful content can significantly affect the psychological wellbeing of adolescents and young people, leading to anxiety, existential distress, or feelings of helplessness. Social media platforms have adopted numerous approaches to limit this harm, including human moderators, community notes, and paraphrasing text to remove offensiveness.
Generating counter-narratives
The task of generating “counter-narratives” was considered. Counter-narratives are statements that pose opposing views to offensive or hateful content. Previous studies have shown that counter-narratives have been effective in battling hateful content. To address the varied nature of social media platforms with different communities, an experiment aimed to equip a pre-trained language model to generate counter-narratives in diverse scenarios. The experiment combined a dataset from Reddit and a dataset compiled by NGO workers. This dataset contains offensive language targeting different groups. To generate counter-narratives for these offensive texts, Flan-T5, an instruction-tuned large language model with relatively small size, was fine-tuned. The results showed that the proposed method had a more uniform error distribution, with errors for low-frequency groups substantially reduced. This suggests that a general-purpose language model can be more effectively tuned for specific tasks with the proposed approach.
Legislative and policy developments
As AI systems become more deeply embedded in high-stakes scenarios, recent legislative and policy developments underscore the urgency of implementing concrete AI safety frameworks. At the federal level, the Take It Down Act, passed in April 2025, specifically addresses harms from AI-generated deepfakes and non-consensual imagery. It requires platforms to remove reported content within 48 hours, establishing accountability for AI misuse in digital spaces. Similarly, the Workforce of the Future Act of 2024 empowers agencies like the Department of Labor and the National Science Foundation to prepare the workforce for AI disruption. It supports programs that reskill workers and integrate AI literacy into early education, aligning with the proposed framework that adapts AI to specific, high-stakes domains.
State-level regulations
At the state level, the Colorado Artificial Intelligence Act will take effect in February 2026. It mandates disclosures when AI is used and prohibits discriminatory outcomes in automated decisions. Notably, it follows a risk-based model inspired by the EU’s AI Act, offering a pragmatic regulatory approach for broader adoption. In the state of New York, the Artificial Intelligence Bill of Rights proposes resident protections against opaque AI decision-making, reinforcing transparency and fairness in automated systems. Internationally, in May 2024, the EU approved its landmark AI Act, classifying AI systems by risk level and imposing strict requirements for “high-risk” applications in healthcare, transportation, and law enforcement. Enacted in August 2024, it establishes a central AI Safety Committee, mandates transparency around model architectures and training data, and sets penalties for safety lapses in consumer-facing AI products. South Korea passed the AI Basic Act in December 2024, with risk-based provisions for high-impact AI systems scheduled to take effect in January 2026. It also mandates that overseas AI providers exceeding revenue or user thresholds appoint a domestic representative to oversee safety assurance reports and ensure compliance with trust requirements. These efforts reflect a growing international consensus that AI alignment must be context-sensitive, transparent, adaptable, and aligned with local requirements. Taken together, national policies and technical research can foster an ecosystem in which AI is not only powerful but also demonstrably aligned with different human experiences.
