Alarma por la IA: OpenAI y Anthropic piden frenar la carrera

Los líderes de OpenAI y Anthropic coincidieron en que es necesario desacelerar el desarrollo de los modelos de inteligencia artificial más avanzados y reforzar los controles externos. Elon Musk respaldó la advertencia.


Internacionales

Fuente: Reuters

La discusión tomó fuerza luego de las advertencias de Jacob Coxon, un investigador que trabajó en OpenAI y Anthropic y que recientemente dejó esta última compañía con fuertes cuestionamientos sobre la velocidad y las condiciones en las que avanza el desarrollo de la IA.

Coxon advirtió sobre los riesgos de que un grupo reducido de empresas privadas compita por construir sistemas cada vez más capaces sin contar con mecanismos suficientes de supervisión y control.

El planteo adquiere especial relevancia ante la posibilidad de que los modelos alcancen capacidades superiores a las humanas en un número creciente de tareas, lo que obliga a revisar los mecanismos de seguridad a medida que aumenta su autonomía.

Anthropic pidió desacelerar el desarrollo de la IA

El CEO de Anthropic, Dario Amodei, publicó un ensayo titulado “We Must Pace the Frontier”, en el que planteó que la industria debería reducir la velocidad de la carrera por los modelos de frontera para permitir que los sistemas de seguridad puedan acompañar el crecimiento de sus capacidades.

“Escribí un nuevo ensayo sobre por qué la industria de la IA debería desacelerar, con un plan de tres partes para hacerlo”, explicó Amodei.

Anthropic acompañó la advertencia con una medida concreta: permitirá que evaluadores externos tengan acceso permanente a sus sistemas, bajo condiciones similares a las de sus propios empleados.

El objetivo será verificar el cumplimiento de las medidas de seguridad, reportar incidentes y evaluar el comportamiento y alineamiento de los modelos durante su entrenamiento.

OpenAI también respaldó la propuesta

La iniciativa recibió rápidamente el respaldo de Sam Altman, CEO de OpenAI y uno de los principales competidores de Anthropic en la carrera por desarrollar los modelos de IA más avanzados.

“Estoy de acuerdo con Dario en que necesitamos moderar el avance de la frontera”, afirmó Altman, quien señaló que la cuestión también estuvo entre los principales temas de discusión dentro de OpenAI durante las últimas semanas.

El empresario anunció además que OpenAI dará a evaluadores independientes un nivel de acceso similar al de sus empleados para controlar sus sistemas.

“Es una gran idea y nosotros haremos lo mismo”, sostuvo Altman.

Elon Musk se sumó a la advertencia

A la coincidencia entre los máximos responsables de Anthropic y OpenAI se sumó Elon Musk, propietario de SpaceX y fundador de xAI, otra de las compañías que participa de la competencia internacional por desarrollar modelos cada vez más avanzados.

“Dario tiene razón”, escribió Musk en respaldo de la posición expresada por Amodei.

La coincidencia entre tres de las figuras más relevantes de la industria amplificó una discusión que hasta ahora estaba concentrada principalmente entre investigadores y especialistas en seguridad de inteligencia artificial: cómo controlar una tecnología cuyo desarrollo se acelera por la propia competencia entre las empresas que buscan liderarla.

El dilema de la carrera por la inteligencia artificial

El principal desafío radica en que cada compañía tiene fuertes incentivos comerciales y tecnológicos para desarrollar y lanzar modelos más capaces antes que sus competidores.

Al mismo tiempo, los mecanismos de evaluación, regulación y supervisión necesitan tiempo para determinar cuáles son los nuevos riesgos que aparecen a medida que aumentan la autonomía y las capacidades de estos sistemas.

La situación expone una de las principales paradojas de la actual carrera por la IA: las empresas que compiten por llevar la tecnología hasta sus límites comienzan a reconocer que la velocidad de esa competencia también puede convertirse en uno de sus mayores riesgos.

Las advertencias de Coxon y las posteriores posiciones de Amodei, Altman y Musk ponen así en el centro del debate la necesidad de encontrar un equilibrio entre innovación, competencia y seguridad en el desarrollo de los modelos de inteligencia artificial.