Por AL* – Diario Red
Jacob Coxon acusa a las empresas de saber que existen riesgos extremos asociados al desarrollo de sistemas cada vez más capaces, pero, al mismo tiempo, no se detienen para no quedar en desventaja frente a sus competidores.
Jacob Coxon, un investigador especializado en preentrenamiento e interpretabilidad de modelos de inteligencia artificial, anunció este miércoles 9 de septiembre su dimisión de Anthropic. Tras haber trabajado durante tres años en OpenAI, Coxon sostiene que ninguna de las dos compañías está actuando de manera responsable ante los riesgos que plantea el desarrollo de sistemas cada vez más capaces.
«Se dirigen a toda velocidad hacia una superinteligencia capaz de mejorarse a sí misma y juegan con nuestras vidas», escribió Coxon al anunciar su dimisión. Su mensaje se centra en una crítica sobre las empresas a quienes acusa de saber que existen riesgos extremos asociados al desarrollo de sistemas cada vez más capaces, pero, al mismo tiempo, consideran que detenerse podría dejarlas en desventaja frente a sus competidores.
La importancia de su denuncia radica en que no es la de alguien que observe la industria desde fuera. El investigador trabajó durante tres años en OpenAI antes de incorporarse a Anthropic y tiene una trayectoria que incluye investigaciones relacionadas con la interpretabilidad de los modelos: una disciplina que busca comprender qué ocurre dentro de sistemas cuyo funcionamiento sigue siendo, en buena medida, una caja negra incluso para quienes los desarrollan.
Coxon, además, no usó eufemismos para describir la emergencia del momento. En sus palabras, «las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década». Parte del problema, explica, es que muchos de esos temores no se expresan públicamente con la misma intensidad con la que aparecen en conversaciones privadas entre investigadores y directivos.
Un riesgo estimado de «aniquilación» de la humanidad en más de 10%
La relevancia de la dimisión de Coxon aumenta por el respaldo público de Evan Hubinger, responsable del equipo de pruebas de resistencia en materia de alineación de Anthropic.
«Jacob tiene razón en esto: ¡creemos sinceramente que la IA bien podría aniquilar a toda la humanidad!», escribió Hubinger. El investigador añadió que, personalmente, considera que la probabilidad de ese escenario es superior al 10% durante la próxima década.
Hubinger señaló al mismo tiempo que considera que Anthropic está haciendo todo lo posible para afrontar el problema, pero reconoció que la empresa todavía no tiene un plan para resolver el desafío de la alineación de una eventual superinteligencia.
La cuestión de la alineación es central en este debate. Se refiere, de manera general, a conseguir que sistemas de inteligencia artificial extremadamente capaces persigan objetivos compatibles con los intereses y valores humanos. El problema se vuelve especialmente complejo si los sistemas adquieren capacidades para modificar, mejorar o replicar sus propias capacidades.
En esta línea, Coxon planteó la necesidad de establecer «acuerdos de sincronización» entre los principales laboratorios para evitar que la competencia impida adoptar medidas de seguridad. Entre las opciones que mencionó figura incluso una prohibición temporal de mejorar determinadas capacidades de los modelos. El investigador dijo ser «optimista» sobre las posibilidades de coordinación, aunque reconoció que no existe todavía un mecanismo capaz de detener una eventual carrera mundial por desarrollar sistemas cada vez más avanzados.
Amodei y las advertencias sobre la aceleración
Las declaraciones de Coxon se producen después de otras advertencias realizadas desde Anthropic sobre el ritmo de evolución de la IA. Su director ejecutivo, Dario Amodei, planteó a comienzos de año, en un ensayo de unas cincuenta páginas, titulado: «La adolescencia de la tecnología», que los sistemas de IA podrían contribuir cada vez más al desarrollo de nuevas generaciones de inteligencia artificial. Según ese escenario, en uno o dos años podría alcanzarse una fase en la que una IA fuera capaz de contribuir de manera autónoma a la construcción de sistemas futuros.
Como respuesta a estos riesgos, el ejecutivo propuso avanzar en la investigación sobre alineación, desarrollar técnicas de interpretabilidad que permitan comprender mejor el funcionamiento interno de los modelos, supervisar los sistemas mientras están en funcionamiento y reforzar la cooperación entre empresas y gobiernos.
Las declaraciones de Coxon y Hubinger reflejan una preocupación que también ha aparecido en otros sectores de la industria. En febrero, un responsable del área de seguridad de Anthropic abandonó la empresa después de advertir que «el mundo está en peligro». OpenAI, por su parte, disolvió su equipo de mission alignment, creado en 2024 para trabajar en cuestiones relacionadas con la seguridad y la alineación de sus sistemas. Ese mismo mes, OpenAI anunció un acuerdo con el Pentágono que provocó críticas y la salida de algunos investigadores de la compañía.
En julio, más de 1.100 empleados de laboratorios de IA de vanguardia firmaron una carta en la que reclamaron al Gobierno estadounidense respaldar un mecanismo internacional que permitiera detener o ralentizar el desarrollo de estos sistemas cuando fuera necesario.
La discusión plantea un problema que trasciende a las compañías individuales: cómo establecer reglas comunes para una tecnología cuyo desarrollo está marcado por la competencia entre empresas y países. Para Coxon, la alternativa pasa por coordinar los ritmos de desarrollo antes de que la competencia entre laboratorios haga más difícil adoptar medidas de seguridad. «Ninguna otra actividad humana presenta un nivel de peligro semejante», afirmó el investigador en su mensaje de despedida de Anthropic.
*Equipa de redacción de Diario Red América Latina.