Director ejecutivo de Anthropic, Dario Amodei,

El pedido de freno que sacude a la industria de la inteligencia artificial

La novedad más resonante: su empresa se compromete, según sus palabras, de manera “unilateral” a cumplir con la primera de esas medidas.

En su publicación, “Amodei compartió un enlace a un ensayo titulado Debemos marcar el paso de la frontera”, donde detalla que Anthropic abrirá sus puertas a auditores externos.

La compañía otorgará a esos evaluadores independientes “acceso permanente, con nivel de empleado, a nuestros sistemas, de modo que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento”, según reza el texto.

De adentro hacia afuera: la advertencia que precipitó el anuncio

El gesto de Amodei no llega en el vacío. Apenas unos días antes, el miércoles, un exinvestigador de la propia Anthropic había lanzado una alarma difícil de ignorar: sostuvo que la inteligencia artificial podría provocar la extinción de la humanidad para 2030.

Se trata de Jacob Coxon, quien explicó en una serie de mensajes que había renunciado a su puesto porque tanto Anthropic como su empleador anterior, OpenAI, estaban desatendiendo o gestionando mal la respuesta al peligro que representa esta tecnología.

“Ninguna de las dos empresas está actuando de manera responsable. Corren directo hacia una superinteligencia que se mejora a sí misma y apuestan con nuestras vidas”, escribió Coxon. Y agregó una frase que resume la gravedad del planteo: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que termine la década… Ninguna otra actividad humana implica este nivel de peligro”.

Consultado por el diario The Guardian, un vocero de Anthropic respondió que la firma “siempre fue transparente en cuanto a que la IA traerá enormes beneficios, pero también riesgos sin precedentes”, y remarcó que la empresa desarrolla “modelos con algunas de las protecciones más sólidas de la industria”.

Cuando los rivales aplauden: el respaldo de OpenAI, Musk y Hugging Face

Lo llamativo del planteo de Amodei fue la adhesión que despertó incluso entre sus competidores directos. Sam Altman, número uno de OpenAI, escribió en sus redes: “Coincido con Dario en que necesitamos marcar el paso de la frontera. Comprometerse a tener evaluadores independientes con acceso similar al de un empleado es una gran idea, y haremos lo mismo. Pronto compartiremos más novedades”.

Otras figuras del mundo tecnológico se sumaron al coro. Elon Musk fue directo y publicó apenas tres palabras: “Dario tiene razón”. Por su parte, el investigador de OpenAI Aidan McLaughlin calificó la publicación de “excelente” y aseguró estar de acuerdo “prácticamente con cada palabra”.

El ensayo: un elogio a la tecnología y una advertencia sobre la ambición

No es la primera vez que Amodei toma la pluma para reflexionar sobre estos temas. A comienzos de este año había publicado un extenso texto llamado La adolescencia de la tecnología, en el que abordaba parte de los temores que despierta el vertiginoso avance de estos sistemas.

En su ensayo más reciente, mantiene una mirada matizada. “Utilizada con cuidado, la IA puede ser el último de una larga serie de milagros tecnológicos que elevaron y ennoblecieron a la humanidad”, escribió. Pero enseguida marcó los reparos: “Como muchas tecnologías anteriores, la IA conlleva riesgos, y como es una tecnología tan poderosa, esos riesgos son serios… Una carrera hacia el abismo, impulsada por incentivos comerciales, puede agudizar esos peligros”.

El punto de inflexión, según relata, se dio en los últimos meses. “Me convencí de que abordar plenamente los riesgos exige aún más prudencia: no solo invertir en la prevención, sino regular el ritmo del avance de las capacidades para que esa prevención tenga tiempo de ponerse al día”, sostuvo. Y remató con una frase que destacó en negrita: “Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo veloz, y tenemos que hacer un uso sabio del tiempo que ganemos”.

El fantasma de la automejora y el episodio de Hugging Face

Amodei también puso el foco en un fenómeno que, según contó, observó acelerarse durante el verano boreal: la automejora recursiva, es decir, la capacidad de los sistemas de perfeccionarse a sí mismos. “Si se deja sin control, podría superar nuestra capacidad de entender y gobernar estos sistemas, por lo que debe encararse con extremo cuidado, si es que se encara”, advirtió.

El ejecutivo se refirió además al reciente incidente de Hugging Face, en el que un enjambre de agentes de IA (alrededor de 700 agentesd) creados por OpenAI actuó como un “colectivo fanáticamente devoto que ejecutó ataques de ciberseguridad contra objetivos que no se le había pedido atacar”. Para Amodei, restarle importancia a lo ocurrido por la aparente ausencia de intención maliciosa resulta insuficiente: “Es fácil descartar este episodio porque nadie salió lastimado y el daño económico fue mínimo, pero, en mi opinión, un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado un daño catastrófico”.

Clément Delangue, director ejecutivo de Hugging Face, recogió el guante y respondió a la carta: “Ahora queda claro que la alineación es crítica y no se resolverá a puertas cerradas por parte de un puñado de laboratorios de frontera”. Delangue confirmó que su empresa pidió sumarse al programa de “evaluadores incorporados” de Anthropic y cerró con una consigna: “¡Hagamos la IA más segura volviéndola más transparente!”.

Tres pasos y una apuesta a la humanidad

El plan que propone Amodei se apoya en tres pilares. El primero consiste en desarrollar la IA “a un ritmo equilibrado que apunte a garantizar su seguridad”, asegurando que las empresas se tomen el tiempo suficiente para alinear y proteger sus modelos, y que los evaluadores externos lo confirmen. El segundo exige una coordinación en todo el sector, y el tercero, una coordinación a escala global. “Los pasos no deben darse estrictamente en orden, y algunos pueden ser mucho más difíciles de lograr que otros”, aclaró.

El empresario insistió en que sigue “creyendo que la IA puede mejorar enormemente la calidad de vida humana”. Aun así, no ocultó las dificultades del camino que propone: “Las medidas que planteo para avanzar en la frontera a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad: al menos, intentarlo”.