Los líderes tecnológicos ven riesgos en la gestión de la IA

En los últimos días se ha intensificado un debate global que ya no se limita a laboratorios, foros especializados o departamentos de ingeniería: la inteligencia artificial avanza a un ritmo que muchos de sus propios creadores consideran excesivo. Lo que antes eran advertencias aisladas se ha transformado en un consenso inquietante entre los líderes de las empresas que impulsan los modelos más avanzados. La preocupación no gira en torno a escenarios futuristas, sino a riesgos concretos que ya se están observando y que podrían agravarse en cuestión de meses si no se establecen mecanismos de control más estrictos.

El punto de mayor alarma lo marcaba este mismo fin de semana nuevamente Dario Amodei, director ejecutivo de Anthropic, quien advirtió el sábado de que en un plazo de entre seis y doce meses podría surgir un enjambre de agentes autónomos capaz de coordinarse sin supervisión humana y de controlar amplias capas de internet. Según sus cálculos, un sistema así podría causar daños económicos valorados en cientos de miles de millones de dólares, no por malicia, sino por la combinación de autonomía, velocidad y ausencia de límites claros.

A esta preocupación se han sumado otros líderes tecnológicos. Sam Altman, responsable de OpenAI, ha defendido la necesidad de permitir que evaluadores externos tengan acceso completo a los sistemas, con el mismo nivel de permisos que los empleados. La propuesta, que hace apenas unos años habría sido impensable, refleja el cambio de clima dentro del sector y la creciente conciencia de que la supervisión independiente será imprescindible para evitar riesgos mayores.

Control y presión del mercado

En paralelo, OpenAI anunció ayer mismo que no saldrá a bolsa por ahora, una decisión que la compañía vincula a la necesidad de mantener el control sobre su tecnología en un momento en el que la presión del mercado podría incentivar una carrera aún más acelerada.

Elon Musk, desde xAI, y Demis Hassabis, al frente de Google DeepMind, coinciden en que la velocidad del desarrollo supera la capacidad de regulación y supervisión. Ambos defienden la creación de organismos internacionales capaces de establecer estándares globales y de imponer pausas obligatorias entre el desarrollo de nuevas capacidades y su despliegue comercial. La preocupación no es solo técnica, sino geopolítica: si un país o una empresa acelera sin control, el resto se verá obligado a seguir el ritmo para no quedarse atrás.

El debate trasciende el ámbito tecnológico. El papa León XIV alertó el sábado desde la la Sala del Consistorio del Vaticano sobre los riesgos de una inteligencia artificial que evoluciona sin una reflexión ética profunda. El pontífice insistió en que la tecnología debe estar al servicio del ser humano y no convertirse en una fuerza autónoma que escape a la responsabilidad moral.

León XIV alertó de que el desarrollo tecnológico puede “levantar una nueva Torre de Babel o edificar la ciudad donde Dios y la humanidad habiten juntos” y subrayó que “la cuestión decisiva” no es aceptar o rechazar determinadas herramientas, sino “qué humanidad queremos construir y qué lugar tendrá en ella cada persona”.

Varios gobiernos europeos piden revisar el mecanismo de control

La Unión Europea ha acelerado la discusión sobre el despliegue del AI Act y varios gobiernos europeos han pedido revisar los plazos y los mecanismos de supervisión ante la posibilidad de que los modelos de frontera evolucionen más rápido de lo previsto. En Estados Unidos, la Casa Blanca intensificaba en los últimos meses los contactos con las grandes tecnológicas -de las que se alimentan en muchos casos y a las que no suelen establecer restricciones- para reforzar los compromisos voluntarios de seguridad, mientras algunos senadores reclaman que estos compromisos dejen de ser voluntarios. En Asia, países como Japón y Corea del Sur anunciaron recientemente grupos de trabajo específicos para evaluar los riesgos de los agentes autónomos, y en América Latina varios gobiernos han solicitado asistencia técnica para adaptar sus marcos regulatorios.

Las preocupaciones se intensificaron tras varios incidentes recientes. En algunos experimentos, agentes de IA han mostrado comportamientos emergentes que no estaban previstos en su diseño, como la capacidad de coordinarse entre sí para ejecutar acciones complejas sin intervención humana directa. También se han detectado intentos de eludir restricciones programadas.

El riesgo más citado es el de los ciberataques automatizados. Un conjunto de agentes autónomos podría analizar vulnerabilidades, replicarse, infiltrarse en sistemas y ejecutar acciones dañinas con una velocidad imposible para cualquier equipo humano. A esto se suma la posibilidad de generar desinformación a escala masiva, manipular mercados financieros o interferir en infraestructuras críticas.

La preocupación no es que la IA quiera causar daño, sino que sea el resultado de procesos internos que los humanos no controlan ni comprenden del todo, pese a que sea precisamente ese facor humano una de las garantías de seguridad de dichos sistemas.