Artificial intelligence (AI), impulsado por avances en modelos de lenguaje grande, está pasando de ser un concepto de prueba a una industria multimilardaria. El mercado de la educación AI a nivel global se prevé que alcanzará aproximadamente 7 mil millones de dólares en 2025, con una tasa de crecimiento anual superior al 36% durante la próxima década. Esta evolución rápida presenta tanto oportunidades como desafíos para los sistemas escolares, que deben evaluar y desplegar estas tecnologías para maximizar los beneficios para los estudiantes y los maestros. Por lo tanto, la necesidad de la vigilancia humana de la AI en la educación ha vuelto a ser una prioridad urgente.
UNESCO’s first global guidance on generative AI aboga por la adopción “human-centered”, mientras que el informe del Departamento de Educación de los Estados Unidos sobre AI y el futuro de la enseñanza y el aprendizaje urga a los estados y distritos a diseñar iniciativas que aseguren el uso seguro y equitativo de la AI.
La evidencia experimental reciente resalta el potencial de la AI en la educación. Por ejemplo, un ensayo controlado aleatorio demostró que un tutor AI más que dobló los avances de aprendizaje en comparación con la instrucción colaborativa en clase. Otro estudio mostró que un asistente de lenguaje grande (LLM) significativamente mejoró el rendimiento en matemáticas de los estudiantes de secundaria, especialmente para los tutores humanos novatos.
Sin embargo, los efectos a largo plazo de la AI en el aprendizaje, la capacidad de pensamiento crítico, la creatividad y las relaciones con compañeros y maestros de los estudiantes permanecen inciertos. Un experimento de campo de 2024 involucrando casi 1.000 estudiantes de secundaria de Turquía encontró que el acceso no restringido a ChatGPT durante la práctica de matemáticas mejoró la precisión en la solución de problemas, pero redujo las puntuaciones en los exámenes posteriores en un 17%. Esto sugiere que las implementaciones de AI mal diseñadas pueden impedir en lugar de mejorar el aprendizaje. Los estudios también indican que la misma herramienta AI puede evocar reacciones diferentes según el usuario y la presentación del sistema. Por ejemplo, los estudiantes de secundaria eran menos propensos a aceptar recomendaciones de AI basadas en métricas duras, como las puntuaciones de exámenes, lo que indica una aversión al algoritmo cuando las estrategias están en juego. Por otro lado, los maestros a veces exhiben mayor confianza en los sistemas AI cuando son etiquetados como “complejos” y se les proporciona una explicación de su funcionamiento.
La vigilancia es un patrón de supervisión que refleja estas asimetrías de confianza. Un experimento aleatorio de evaluación reveló que los maestros eran más propensos a ignorar errores significativos de la AI que errores similares etiquetados como “human”, lo que resalta un punto ciego en la colaboración humano-AI.
Otro estudio encontró que los estudiantes universitarios valoraban la retroalimentación AI como altamente útil hasta que aprendieron su origen, en cuyo momento la percepción de “autenticidad” cayó bruscamente. Estos resultados resaltan un imperativo de diseño clave: Las políticas de desclasificación, las herramientas de explicación y la formación profesional deben fomentar una confianza crítica adecuada—confianza lo suficientemente fuerte como para aprovechar los beneficios de la AI, pero lo suficientemente esceptica como para detectar sus errores.
Un manual de integración responsable se puede resumir en cinco principios mutuamente reforzantes: transparencia, responsabilidad, diseño humano-en-el-bucle, equidad y monitoreo continuo. Estos principios proporcionan guardarrailes de alto nivel que los distritos escolares, los proveedores y los investigadores pueden incorporar en cada ciclo de despliegue.
La transparencia significa que los usuarios saben cuando están interactuando con un algoritmo y por qué alcanzó su recomendación. Por ejemplo, los estudiantes de secundaria fueron menos propensos a seguir la asesoría de consejo de admisiones de la AI cuando estaba basada en métricas duras, lo que muestra que la desclasificación influye en la confianza de manera subtil.
La responsabilidad requiere de rastros de auditoría que permitan a los humanos rastrear—y, si es necesario, anular—las decisiones algorítmicas. El experimento de evaluación de calificación mencionado anteriormente ilustra lo que puede ocurrir cuando la auditoría es débil.
El diseño humano-en-el-bucle mantiene el juicio profesional al centro. En cada paso crítico, como la señalización de un estudiante en riesgo, la emisión de una calificación o la recomendación de contenido, la AI se detiene hasta que un maestro o administrador revisa la salida, la ajusta si es necesario y da su aprobación explícita.
La equidad exige que los beneficios se acumulen en los menos atendidos, no solo en los más técnicamente avanzados. El monitoreo continuo convierte los programas piloto en sistemas vivos.
Para los distritos escolares y los departamentos de educación, una buena práctica es comenzar cada gran despliegue de AI con auditorías piloto que utilicen herramientas de evaluación rápida para evaluar los programas antes de que se autorice un sistema para su compra en escala más amplia. Estas auditorías necesitan una base de gobierno de datos sólida: Los departamentos podrían adoptar reglas claras de desclasificación, privacidad, supervisión humana y responsabilidad.
Los proveedores de tecnología educativa pueden reducir la fricción de adopción al publicar “cartas de modelo”—resúmenes succintos y estructurados de los datos de entrenamiento, conocidos sesgos y límites de rendimiento—y ofreciendo una interfaz de programación de aplicaciones (API) de arena de pruebas abierta donde las terceras partes calificadas pueden probar los algoritmos con casos de prueba y buscar problemas antes de su uso en la clase.
University schools of education podrían incorporar módulos obligatorios de literacía en AI y “uso crítico” a la carrera de pre-servicio. Los investigadores y los financiadores filantrópicos podrían unir recursos para crear una prueba permanente: Una red de distritos voluntarios donde se puedan realizar pruebas rápidas de control aleatorizado en cada trimestre. Una prueba compartida reduciría los costos de transacción de evidencia de alta calidad y aseguraría que las decisiones de escala se mantengan al paso con la tecnología misma.
Camino práctico
Un camino práctico comienza con pruebas de paso a paso que se ejecuten en clases de prueba de baja estrategia durante un semestre. Los equipos de gobierno de AI de los distritos, trabajando con ingenieros de la empresa, podrían documentar cada decisión y enviar registros semanales a un evaluador independiente—un centro de investigación universitaria o una tercera parte confiable, por ejemplo. Después de un auditoría de 8 a 12 semanas, las herramientas que cumplan con los criterios de ganancia de aprendizaje y equidad previos se moverían a un despliegue limitado (por ejemplo, el 5% de los estudiantes) durante el siguiente semestre, nuevamente bajo revisión de tercera parte. Solo después de dos evaluaciones consecutivas positivas se movería un sistema a la adopción en el distrito, en ese momento la responsabilidad pasaría al departamento de educación estatal para auditorías anuales de algoritmos y renovos de contratos de compra. Un cronograma típico sería de 30 meses desde la prueba de arena hasta la escala: Semestre 0 (preparación y capacitación de maestros), Semestres 1-2 (prueba y primera auditoría), Semestres 3-4 (despliegue limitado y segunda auditoría), Año 3 adelante (despliegue completo con monitoreo continuo). Este tipo de despliegue estructurado y generador de evidencia no solo protegería a los estudiantes y maestros sino también ayudaría al sector AI en la educación a moverse más allá de la hipótesis, sosteniendo la confianza de los inversionistas mostrando efectividad real en el mundo.
La velocidad con la que la AI generativa está entrando en las aulas deja poca margen para el error. La evidencia de los últimos experimentos muestra que los sistemas bien gobernados pueden aumentar el aprendizaje y reducir las brechas, mientras que las herramientas mal diseñadas pueden reforzar la prejuicio y erosionar la confianza. Los estakes, económicos y éticos, demandan la integración basada en la evidencia, centrada en la equidad: algoritmos transparentes, supervisión responsable, educadores capacitados y evaluación data-driven relentless. La oportunidad es enorme, pero solo si los líderes de la educación, las empresas, los financiadores y los investigadores actúen ahora y juntos para hacer que la AI responsable sea el predeterminado, no el afterthought, de la innovación digital en las aulas.
