Un grupo de agentes de inteligencia artificial encargados de resolver problemas matemáticos se dividieron en facciones rivales. Cuando algunos hicieron trampa, otros intentaron detenerlos. Este comportamiento de denuncia, observado por primera vez en un experimento reciente de Google DeepMind, podría tener implicaciones para investigadores de alineación que intenta mantener enjambres de agentes autónomos bajo control.
Los investigadores de Google DeepMind pusieron 100 agentes Gemini 3.1 Pro a trabajar en 71 conjeturas matemáticas formales y observaron cómo el enjambre inventaba una exploración de calificación, luego se fracturaba en tramposos y denunciantes. Un agente encontró un agujero en un verificador de pruebas ligero, y soluciones falsas barrieron los problemas restantes en 27 minutos a través de una biblioteca de conocimiento compartida.
A pesar de compartir los mismos pesos base, el enjambre se dividió en cuatro grupos. El 9% hizo trampa activamente, el 5% cambió de comportamiento honesto a hacer trampa bajo presión, el 24% se convirtió en denunciantes, y el 62% nunca notó la exploración y continuó trabajando en pruebas legítimas.
Los investigadores de Google DeepMind sugieren otra opción: dar a los agentes de IA herramientas para gobernarse a sí mismos, un trabajo que aparentemente los humanos no se molestan en tomar en serio. Argumentan que aunque los canales de comunicación pueden permitir comportamientos que violen reglas, también proporcionan un medio de control basado en pares.
Los investigadores de DeepMind argumentaron que los sistemas de comunicación responsables y auditables podrían apoyar la supervisión humana y la auditoría descentralizada por los propios agentes. También sugirieron mecanismos como sanciones graduales y resolución de conflictos para ayudar a los enjambres autónomos a monitorear sus recursos compartidos.
