Sam Altman, de OpenAI, y Dario Amodei, de Anthropic, expusieron ante el Consejo de Seguridad. Pidieron cooperación internacional para supervisar los sistemas más avanzados y mantener las decisiones críticas en manos de las personas.
Los responsables de algunas de las principales empresas de inteligencia artificial advirtieron este miércoles ante el Consejo de Seguridad de la ONU sobre los riesgos que podrían surgir a medida que los sistemas ganaran capacidad y autonomía. Durante la reunión, Sam Altman, de OpenAI, y Dario Amodei, de Anthropic, reclamaron mecanismos de cooperación internacional para preservar el control humano de la tecnología. También participó Clément Delangue, de Hugging Face.
Altman alertó que la humanidad podría “perder el control del futuro ante la IA” y planteó que las decisiones más importantes sobre su desarrollo debían involucrar a gobiernos sometidos a control democrático. “Si la IA va a ser democrática, las decisiones más importantes no pueden ser tomadas únicamente por laboratorios de San Francisco”, sostuvo durante su intervención.
Amodei expresó una preocupación similar sobre los efectos de un desarrollo sin controles suficientes. “Si se gestiona mal, incluso creo que la IA podría ser un riesgo para la humanidad en su conjunto”, afirmó ante los representantes de los países miembros.
Un informe sobre agentes de IA
El científico Yoshua Bengio, copresidente del Panel Científico Internacional Independiente sobre IA de la ONU, también participó del debate. “Los peligros son reales e inminentes”, advirtió al referirse a riesgos que, según planteó, no podrían ser abordados por un solo país.
El panel difundió esta semana un informe sobre agentes de IA y posibles fallas en el control humano. El documento examinó un incidente detectado durante pruebas de seguridad y lo presentó como evidencia para estudiar cómo sistemas capaces pueden actuar de formas contrarias a las intenciones de quienes los supervisan.
La discusión también alcanzó al papel que la IA ya cumple en el desarrollo de nuevos modelos. Anthropic informó que, según su propia medición de agosto, Claude encabezaba bajo supervisión humana el 26% de sus tareas de investigación y desarrollo de IA y colaboraba en más del 90%. La empresa aclaró que no registró tareas medidas en las que el sistema operara con autonomía completa.
Cooperación entre países
Los participantes coincidieron en la necesidad de compartir información sobre incidentes y de establecer formas de supervisión que pudieran aplicarse más allá de las fronteras nacionales. El debate incluyó la preocupación por sistemas que escaparan al control humano y por una concentración excesiva de capacidades en pocas empresas o países.
“En nuestra historia hubo momentos en los que países que compiten y no siempre se agradan demasiado igualmente se unieron por intereses compartidos y por el bien colectivo frente a una nueva tecnología poderosa”, sostuvo Altman. Y concluyó: “Creemos que este debe ser uno de esos momentos”.
