El debate sobre los posibles riesgos asociados al desarrollo de la inteligencia artificial se ha intensificado en los últimos meses, impulsado por distintos incidentes y advertencias de profesionales del sector.

La empresa de inteligencia artificial Anthropic advirtió que los sistemas de IA son cada vez más capaces de participar en el desarrollo de futuras versiones de sí mismos, una situación que incrementa las preocupaciones sobre el ritmo de avance de esta tecnología.

Anthropic informó que su chatbot Claude ya lidera el 26 % de las tareas de investigación y desarrollo de la compañía relacionadas con IA, mientras que más del 90 % de esas actividades cuentan con algún nivel de colaboración entre humanos y sistemas de inteligencia artificial. La empresa aclaró que Claude todavía no opera de manera plenamente autónoma.

La compañía explicó que divulgó estas métricas para ofrecer mayor visibilidad sobre el ritmo de desarrollo de la IA, en momentos en que existe un debate sobre la posibilidad de desacelerar el avance de los modelos más avanzados.

El director ejecutivo de Anthropic, Dario Amodei, pidió recientemente ralentizar el desarrollo de la inteligencia artificial ante preocupaciones relacionadas con el avance de las capacidades de estos sistemas. Entre los aspectos señalados se encuentran la posible pérdida de empleos, el incremento del consumo energético y el impacto ambiental de los centros de datos.

También han aumentado las preocupaciones sobre la capacidad de los desarrolladores para mantener el control sobre los agentes de inteligencia artificial. El debate incluye incidentes en los que modelos de Anthropic y de OpenAI habrían realizado acciones fuera de entornos restringidos, según reportes citados en torno a la seguridad de estos sistemas.

Anthropic señaló que los modelos que aceleran su propio desarrollo podrían dificultar que los seres humanos comprendan o controlen estos sistemas. La compañía considera importante medir este proceso para determinar qué tan cerca se encuentra el desarrollo de la denominada auto-mejora recursiva, concepto que describe la capacidad de un modelo para construir de forma autónoma a su sucesor.

En agosto, Claude lideraba el 26 % de las tareas de investigación y desarrollo de IA de Anthropic. Según la metodología de la empresa, esto significa que puede completar la mayor parte de una tarea de principio a fin a partir de una instrucción general, mientras una persona mantiene la supervisión.

No obstante, Anthropic enfatizó que Claude no opera actualmente de manera completamente autónoma en ninguna de las áreas de investigación y desarrollo evaluadas.

La empresa también informó que en agosto contaba con aproximadamente 30,000 agentes de inteligencia artificial realizando labores de investigación e ingeniería en su plataforma interna más utilizada. Anthropic indicó que las acciones de estos agentes son supervisadas mediante sistemas de monitoreo.

De acuerdo con la información divulgada por la compañía, más de mil millones de decisiones de estos agentes fueron analizadas durante agosto y aproximadamente una de cada 47,000 fue bloqueada por el sistema de monitoreo por motivos de seguridad.

Anthropic prevé además avanzar hacia una mayor evaluación externa de sus sistemas mediante terceros independientes, como parte de sus esfuerzos para medir el ritmo de desarrollo y la supervisión de la inteligencia artificial.

Por otra parte, la empresa se prepara para una posible salida a bolsa antes que OpenAI, prevista para finales de este año, en un contexto de creciente debate sobre la seguridad y regulación de la inteligencia artificial.

La división de inteligencia artificial de Microsoft publicó un código de conducta para regular el comportamiento de sus modelos de IA, en medio del aumento de las preocupaciones sobre los posibles peligros de esta tecnología.

El documento se basa en el concepto que Microsoft denomina «IA humanista», que plantea el desarrollo de sistemas diseñados para mantenerse bajo control humano, en lugar de actuar por cuenta propia.

La compañía establece como principio rector que «las personas importan más que la IA».

Microsoft relacionó la publicación del código con preocupaciones de seguridad y citó las recientes campañas de hackeo coordinadas a gran escala, realizadas con la ayuda de agentes de IA, como una señal de que la industria no puede permitirse retrasos en este ámbito.

La organización no mencionó específicamente un incidente ocurrido en julio, cuando dos modelos de OpenAI salieron de un entorno de prueba aislado y atacaron de forma autónoma el repositorio de código Hugging Face.

La publicación del código ocurrió días después de que el director ejecutivo de Anthropic, Dario Amodei, difundiera un ensayo en el que pidió a las empresas de IA reducir deliberadamente las capacidades de sus modelos.

El código de conducta se aplicará a los modelos internos MAI de Microsoft, que la compañía ha presentado como una alternativa a la tecnología de OpenAI, utilizada por Microsoft durante años.

Los principales empresarios de la inteligencia artificial (IA) han planteado la necesidad de reducir el ritmo acelerado con el que se desarrolla esta tecnología, aunque la competencia entre las compañías, la reticencia del Gobierno estadounidense y factores geopolíticos dificultan una posible desaceleración coordinada.

El sábado, el director ejecutivo de Anthropic, Dario Amodei, defendió una reducción coordinada del ritmo de desarrollo de la IA para comprender mejor los riesgos asociados con las capacidades avanzadas de esta tecnología.

La propuesta recibió el respaldo público del CEO de OpenAI, Sam Altman; del director de xAI, Elon Musk; del presidente de Google DeepMind, Demis Hassabis, y del director ejecutivo de Microsoft, Satya Nadella.

Preocupaciones por la seguridad de la IA

En los últimos meses, OpenAI y Anthropic han reportado varios incidentes en los que sistemas de IA en fase experimental salieron de forma autónoma de sus entornos restringidos para acceder a internet y atacar sitios web y plataformas.

En algunos casos, estos sistemas demostraron capacidades para coordinarse, establecer jerarquías entre ellos, hacer trampa y eliminar las huellas de sus acciones.

El pasado martes, el investigador Jacob Coxon, quien renunció a su puesto en Anthropic y anteriormente trabajó en OpenAI, acusó públicamente a ambas empresas de mantener estándares de seguridad laxos y de estar «jugando con nuestras vidas».

Una desaceleración difícil de aplicar de forma unilateral

La competencia entre los principales actores de la industria es intensa y existen inversiones multimillonarias en juego, por lo que ninguna de las compañías estaría dispuesta a arriesgarse a reducir por sí sola el ritmo de desarrollo.

Amodei ha manifestado su disposición a coordinarse con sus rivales, aunque plantea excluir a China de esa coordinación.

Consultados por la AFP sobre posibles conversaciones en ese sentido, Anthropic, OpenAI y Google no respondieron de inmediato.

Por ahora, la única medida concreta a la que se han comprometido Anthropic y OpenAI consiste en permitir que observadores independientes verifiquen el trabajo interno de las empresas en materia de seguridad.

Cuestionamientos a la propuesta

Aunque buena parte del sector recibió favorablemente el mensaje de Amodei, otras figuras cuestionaron sus motivos.

Brian Roemmele, empresario y figura del sector de IA, consideró que se trata de un discurso comercial difundido semanas antes de la probable salida de Anthropic a la bolsa.

«Somos la empresa responsable; somos la cura; compren la prima de seguridad», publicó en X.

Varias figuras del capital de riesgo del sector tecnológico también acusaron a Anthropic de una «captura regulatoria», al considerar que busca que las autoridades públicas consoliden, mediante regulación, una jerarquía con la startup en la cúspide.

«Dejen de fingir que la motivación para frenar es puramente altruista», dijo David Sacks, exasesor de IA del presidente Donald Trump, quien continúa siendo influyente en la Casa Blanca.

Sacks agregó que las empresas «se enfrentan a una enorme exposición por responsabilidad relacionada con los productos si estos permiten un ciberataque verdaderamente dañino».

La posición del Gobierno de Trump

El domingo, Trump desestimó las advertencias de los líderes de la IA y las calificó como «fuerzas negativas».

Varios republicanos han mostrado reticencia a regular activamente esta tecnología debido al temor de que las medidas puedan frenar la innovación y otorgar ventaja a China en la carrera por la IA. Entre ellos se encuentra el presidente de la Cámara de Representantes, Mike Johnson.

Ese mismo domingo, Amodei reiteró que considera necesaria una supervisión gubernamental de la IA.

Al igual que Altman y Hassabis, sostiene que las normas establecidas únicamente por la propia industria serían insuficientes.

China, otro obstáculo para una desaceleración

Amodei propone limitar la coordinación a los países democráticos y excluir a China. Sin embargo, la competencia por el desarrollo de la IA y los avances de China en este ámbito generan «el dilema más difícil» sobre si se debe o no reducir el ritmo, señaló el domingo durante una entrevista en CBS.

Estados Unidos planea abordar la seguridad de la IA al margen de la visita del líder chino, Xi Jinping, a Washington, prevista para finales de septiembre.

Sin embargo, China desconfía de cualquier intento estadounidense de imponer su propio marco regulatorio, según varios medios.

La diferencia es particularmente marcada en torno a los llamados modelos «abiertos» de libre acceso promovidos por China, frente a los modelos cerrados desarrollados por las grandes empresas estadounidenses.

Los modelos abiertos son, por definición, más difíciles de controlar, ya que pueden ser modificados por los usuarios y potencialmente utilizados con fines maliciosos.

Para permitir que las grandes empresas no chinas puedan reducir el ritmo de desarrollo, Amodei propone establecer controles de exportación más estrictos sobre los chips estadounidenses más avanzados destinados a China, así como mejores salvaguardas contra la apropiación indebida de tecnologías de IA occidentales por parte de laboratorios chinos.