Los Angeles.- Nuevas advertencias desde dentro de la industria de la inteligencia artificial han reavivado un antiguo debate sobre si una IA avanzada podría escapar al control humano y, en última instancia, amenazar la supervivencia de la humanidad, y sobre si las empresas que desarrollan la tecnología están haciendo lo suficiente para evitar esa situación.

El director ejecutivo de Anthropic, la empresa de San Francisco responsable de Claude, afirmó que creía que la industria necesitaba reducir la velocidad de su trabajo, y advirtió el sábado que un enjambre de agentes de IA podría tener la capacidad de apoderarse de internet en un plazo de seis meses a un año, a menos que las compañías dedicaran más tiempo a implementar salvaguardas.

Dario Amodei expuso un plan para que empresas como la suya y gobiernos de todo el mundo garanticen que los modelos de IA, cada vez más capaces, sigan alineados con las órdenes y los valores de personas responsables, días después de que dos exinvestigadores de seguridad de Anthropic expresaran públicamente su preocupación de que las amenazas existenciales que la IA podría representar para la humanidad estaban recibiendo muy poca atención.

Esto es lo que hay que saber sobre las recientes predicciones alarmantes y sobre si podría ponerse algún freno al avance de la IA:

Los modelos de IA se están volviendo más potentes

La preocupación por los riesgos potenciales de la tecnología está aumentando a medida que los nuevos modelos de IA se vuelven más potentes, lo que incrementa tanto el potencial de uso indebido por parte de personas con fines delictivos —como crear y propagar una enfermedad que mate a la mayor parte de la población mundial— como el riesgo de que los sistemas de IA se descontrolen de manera peligrosa.

Anthropic reveló la semana pasada que bloqueó intentos de actores malintencionados de usar sus modelos de IA para actividades dañinas, como ciberataques, vigilancia e investigaciones que podrían haber derivado en armas biológicas.

La empresa indicó que incorporó salvaguardas más fuertes en sus modelos más recientes para restringir la investigación biológica que podría utilizarse para fabricar armas, pero señaló que “a medida que los modelos se vuelvan cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros”.

El año pasado, Anthropic informó que piratas informáticos utilizaron la IA de la empresa en un ciberataque dirigido contra unas 30 compañías y agencias gubernamentales de todo el mundo. Señaló que era muy probable que los hackers pertenecieran a un grupo patrocinado por el estado chino.

Cuando un agente de IA “se descontrola”, significa que la IA ha realizado una acción más allá de la tarea que se le pidió. Tanto Anthropic como OpenAI, el creador de ChatGPT, informaron en julio que sus modelos de IA habían logrado actuar por su cuenta.

Anthropic dio a conocer que tres modelos de IA —Claude Opus 4.7, Claude Mythos 5 y un modelo interno de prueba de investigación— hackearon a otras tres organizaciones durante pruebas, apenas unos días después de que OpenAI revelara que su sistema de IA hackeó los servidores de la startup de IA Hugging Face.

OpenAI describió la intrusión por una combinación de modelos, incluidos su recién lanzado GPT‑5.6 Sol y un modelo “aún más capaz” que todavía se estaba probando internamente, como un “incidente de seguridad significativo”.

Meta tuvo otro incidente a principios de agosto con un caso similar de un modelo de IA que encontró maneras de eludir la seguridad digital de otra empresa.

Aunque algunos observadores señalaron que en los casos de OpenAI y Anthropic algunas barreras de protección habían sido desactivadas por personas, los episodios parecieron reflejar uno de los mayores temores en torno a la IA: que, si los modelos alcanzan la inteligencia artificial general, o IAG, un término definido de manera imprecisa para referirse a una IA que puede igualar o superar las capacidades humanas en una amplia gama de tareas intelectuales, la tecnología podría provocar un evento catastrófico irreversible o someter a la raza humana.

Se debate cómo o cuándo podría la IA causar una catástrofe

Los escenarios apocalípticos suelen encajar en dos categorías: una IA que alcanza una superinteligencia capaz de mejorarse a sí misma y controla a las personas en lugar de lo contrario, o una IA utilizada por un estado rebelde o por actores siniestros.

Las preocupaciones de que la inteligencia artificial pudiera superar los límites humanos sobre su alcance o sus acciones no son nuevas.

Alan Turing, matemático británico ampliamente considerado como una de las primeras autoridades en inteligencia artificial, predijo en 1951 que la IA acabaría arrebatando el control a los humanos. Menos de una década después, Norbert Wiener, otro matemático, advirtió que las máquinas inteligentes buscarían cumplir sus propios objetivos y que los humanos no podrían detenerlas.

En 2026, ¿qué tan razonables son los temores de que la IA, ya sea por escapar al control humano o por el uso indebido de personas sin escrúpulos, pueda causar un evento cataclísmico o la caída de la civilización?

Nadie lo sabe.

Expertos en informática, filosofía y otros campos han imaginado numerosas vías por las que un futuro sistema de IA podría causar una catástrofe global, ya sea al escapar al control humano o en manos de personas sin escrúpulos. Van desde desplegar armas e identificar un patógeno letal hasta manipular a gobiernos para llevarlos al conflicto o interrumpir las redes de alimentos, energía y comunicaciones de las que dependen las sociedades para funcionar.

No existe una estimación ampliamente aceptada sobre cuán pronto podría ocurrir cualquiera de estos escenarios, ni hay consenso sobre su probabilidad.

En 2023, la organización sin fines de lucro Center for AI Safety emitió una declaración respaldada por más de 350 investigadores y ejecutivos tecnológicos, incluidos Amodei, de Anthropic, y el director ejecutivo de OpenAI, Sam Altman, en la que afirmaban que “mitigar el riesgo de extinción por la IA debería ser una prioridad global junto con las pandemias y la guerra nuclear”.

El Informe Internacional de Seguridad de la IA 2026, redactado con la orientación de más de 100 expertos independientes, señala que los sistemas actuales muestran señales tempranas de algunas capacidades relevantes, pero no en niveles que pudieran permitir una pérdida de control, y describe la probabilidad, la naturaleza y el momento del riesgo como “inusualmente ambiguos”.

Algunos subrayan la necesidad de salvaguardas de IA antes de que sea demasiado tarde

Un investigador de Anthropic dijo la semana pasada que renunciaba a la empresa por la preocupación de que ni la compañía ni sus competidores estaban actuando de manera responsable en el desarrollo de la tecnología. En publicaciones en redes sociales, Jacob Coxon estimó una probabilidad del 10% de que la IA cause la extinción humana en la próxima década y sostuvo que tanto Anthropic como OpenAI “están compitiendo de frente hacia una superinteligencia que se mejora a sí misma y apostando nuestras vidas”.

Algunos investigadores han pedido desacelerar el desarrollo de la IA y han advertido durante años que la tecnología podría plantear riesgos existenciales para la humanidad.

Tras los incidentes recientes, expertos reclamaron mejores pruebas por parte de las empresas de IA y más diálogo entre Estados Unidos y China para elaborar soluciones compartidas.

Pero la IA está creciendo tan rápido que los gobiernos y los sistemas de evaluación tienen dificultades para seguirle el ritmo a la tecnología. Los países están armando sus propias leyes, algunas de ellas contradictorias.

El líder chino Xi Jinping advirtió en una conferencia en julio sobre la necesidad de evitar que la IA eluda el control humano. El gobierno de Trump mostró inicialmente reticencia a regular la IA, pero se ha mostrado más dispuesto a reducir los riesgos de ciberseguridad.

El presidente Trump minimizó el domingo la necesidad de que su gobierno supervise el desarrollo de la IA, pero reconoció la necesidad de cierta regulación.