Informe propone un marco de cuatro pilares para una "sociedad resiliente a la IA"

El informe, publicado como versión extendida de arXiv:1912.08786v1, sostiene que tres generaciones de software han transformado el rol de la inteligencia artificial en la sociedad: primero la lógica explícita escrita por programadores, luego las redes neuronales que aprenden programas a partir de datos, y finalmente los grandes modelos de lenguaje (LLM), que convierten el lenguaje natural en una interfaz de programación. Según el texto, estos cambios "reshaping how societies generate knowledge, make decisions, and govern themselves" (reconfiguran cómo las sociedades generan conocimiento, toman decisiones y se gobiernan a sí mismas).

Utilizando una metodología de perfilado propia de la psicología forense, el reporte caracteriza a la IA a partir de diez características documentadas: alucinaciones, sesgo y toxicidad, adulación y cámaras de eco, fabricación y credulidad, conocimiento sin comprensión, discontinuidad e incapacidad de aprender de la experiencia, inteligencia irregular y límites de escalado, atajos y representaciones fracturadas, atrofia cognitiva y mediocridad. El perfil resultante describe, en palabras del documento, una "entidad" que confabula con fluidez, amplifica los sesgos de sus usuarios, posee memoria enciclopédica sin comprensión causal y erosiona la competencia de quienes dependen de ella.

El informe repasa además la historia reciente de los LLM, señalando dos puntos de inflexión: el lanzamiento de ChatGPT a fines de 2022, precedido por el desarrollo de "InstructGPT" mediante aprendizaje por refuerzo con retroalimentación humana (RLHF), y la introducción en 2024 de Claude 3.5 Sonnet de Anthropic, que habilitó agentes de codificación autónomos mediante aprendizaje por refuerzo con recompensas verificables (RLVR). El texto cita el concepto de "alignment tax" de Ouyang et al. (2022), según el cual optimizar un modelo para la conversación agradable y la alineación con preferencias humanas puede reducir sus capacidades, y advierte que los modelos entrenados con RLHF son propensos a la adulación (sycophancy).

Frente a estos riesgos, que según el informe pueden erosionar instituciones en el derecho, la academia, el periodismo y la gobernanza democrática, se propone un marco de cuatro pilares para la resiliencia frente a la IA: soberanía cognitiva, que preserva la capacidad de juicio independiente; control medible, que traduce compromisos éticos en estándares y límites aplicables; autonomía parcial, que mantiene la agencia humana en puntos de decisión críticos; y apertura, para garantizar transparencia y accesibilidad mediante código abierto, acceso abierto y datos abiertos.