El debate sobre los posibles riesgos asociados al desarrollo de la inteligencia artificial se ha intensificado en los últimos meses, impulsado por distintos incidentes y advertencias de profesionales del sector.

La empresa de inteligencia artificial Anthropic advirtió que los sistemas de IA son cada vez más capaces de participar en el desarrollo de futuras versiones de sí mismos, una situación que incrementa las preocupaciones sobre el ritmo de avance de esta tecnología.

Anthropic informó que su chatbot Claude ya lidera el 26 % de las tareas de investigación y desarrollo de la compañía relacionadas con IA, mientras que más del 90 % de esas actividades cuentan con algún nivel de colaboración entre humanos y sistemas de inteligencia artificial. La empresa aclaró que Claude todavía no opera de manera plenamente autónoma.

La compañía explicó que divulgó estas métricas para ofrecer mayor visibilidad sobre el ritmo de desarrollo de la IA, en momentos en que existe un debate sobre la posibilidad de desacelerar el avance de los modelos más avanzados.

El director ejecutivo de Anthropic, Dario Amodei, pidió recientemente ralentizar el desarrollo de la inteligencia artificial ante preocupaciones relacionadas con el avance de las capacidades de estos sistemas. Entre los aspectos señalados se encuentran la posible pérdida de empleos, el incremento del consumo energético y el impacto ambiental de los centros de datos.

También han aumentado las preocupaciones sobre la capacidad de los desarrolladores para mantener el control sobre los agentes de inteligencia artificial. El debate incluye incidentes en los que modelos de Anthropic y de OpenAI habrían realizado acciones fuera de entornos restringidos, según reportes citados en torno a la seguridad de estos sistemas.

Anthropic señaló que los modelos que aceleran su propio desarrollo podrían dificultar que los seres humanos comprendan o controlen estos sistemas. La compañía considera importante medir este proceso para determinar qué tan cerca se encuentra el desarrollo de la denominada auto-mejora recursiva, concepto que describe la capacidad de un modelo para construir de forma autónoma a su sucesor.

En agosto, Claude lideraba el 26 % de las tareas de investigación y desarrollo de IA de Anthropic. Según la metodología de la empresa, esto significa que puede completar la mayor parte de una tarea de principio a fin a partir de una instrucción general, mientras una persona mantiene la supervisión.

No obstante, Anthropic enfatizó que Claude no opera actualmente de manera completamente autónoma en ninguna de las áreas de investigación y desarrollo evaluadas.

La empresa también informó que en agosto contaba con aproximadamente 30,000 agentes de inteligencia artificial realizando labores de investigación e ingeniería en su plataforma interna más utilizada. Anthropic indicó que las acciones de estos agentes son supervisadas mediante sistemas de monitoreo.

De acuerdo con la información divulgada por la compañía, más de mil millones de decisiones de estos agentes fueron analizadas durante agosto y aproximadamente una de cada 47,000 fue bloqueada por el sistema de monitoreo por motivos de seguridad.

Anthropic prevé además avanzar hacia una mayor evaluación externa de sus sistemas mediante terceros independientes, como parte de sus esfuerzos para medir el ritmo de desarrollo y la supervisión de la inteligencia artificial.

Por otra parte, la empresa se prepara para una posible salida a bolsa antes que OpenAI, prevista para finales de este año, en un contexto de creciente debate sobre la seguridad y regulación de la inteligencia artificial.