Por: Chris Wright, director de tecnología y vicepresidente sénior, Ingeniero Global, Red Hat

“Cualquier carga de trabajo, cualquier aplicación, en cualquier lugar” fue el mantra del Red Hat Summit 2023. Es cierto que, en los últimos dos años, hemos visto algunos cambios en TI. Pero la visión de Red Hat no ha cambiado, ha evolucionado.

“Cualquier modelo, acelerador o nube”.

Ese es el mensaje de la nube híbrida para la era de la IA. Y la mejor parte es que, al igual que la “antigua” nube híbrida, la innovación open source es la que impulsa todo. En el Red Hat Summit mostramos cómo los ecosistemas de IA estructurados en torno al open source y a modelos abiertos pueden generar nuevas opciones para las empresas.

La apertura trae consigo la posibilidad de elegir y esta libertad da paso a una mayor flexibilidad: desde el modelo que mejor responde a las necesidades de la empresa hasta el acelerador subyacente y el lugar donde se ejecutará efectivamente la carga de trabajo. Las estrategias de IA exitosas seguirán a los datos, dondequiera que se encuentren en la nube híbrida.

¿Y qué impulsa a la nube híbrida? El open source.

La inferencia potencia la IA

En mi opinión, debemos empezar a mirar más allá de los modelos. Sí, es verdad que los modelos son muy importantes para las estrategias de IA. Pero sin la inferencia, la faceta «práctica» de la IA, los modelos son simplemente conjuntos de datos que no «hacen» nada. La inferencia se refiere a la rapidez con la que un modelo responde a la información ingresada por el usuario y a la eficiencia con la que se pueden tomar decisiones en recursos informáticos acelerados. En última instancia, las respuestas lentas y la poca eficiencia cuestan dinero y generan desconfianza en el cliente.

Es por eso que me entusiasma mucho que Red Hat priorice la inferencia en nuestro trabajo con la IA open source, comenzando con el lanzamiento de Red Hat AI Inference Server. Esta solución, que surge a partir del proyecto open source vLLM líder y está optimizada con tecnologías Neural Magic, ofrece a las implementaciones de IA un servidor de inferencia con soporte, ciclo de vida completo y listo para producción. Lo mejor de todo es que puede rastrear tus datos dondequiera que se encuentren, ya que la solución funcionará con cualquier plataforma de Linux, cualquier distribución de Kubernetes, Red Hat o de cualquier otro modo.

¿Qué es mejor que la IA empresarial? La IA empresarial a gran escala

La aplicación estrella de la TI empresarial no es una única carga de trabajo unificada ni un nuevo servicio en la nube: es la capacidad de escalar de forma rápida y eficiente. Esto también se aplica a la IA. Sin embargo, la IA presenta una particularidad: los recursos informáticos acelerados que sustentan las cargas de trabajo de IA también deben escalarse. Esta no es una tarea fácil, en vista de los gastos y las habilidades necesarias para implementar este hardware en la forma debida.

Lo que necesitamos no es solo la capacidad de escalar la IA, sino también de distribuir cargas de trabajo masivas de IA entre múltiples clústeres de computación acelerada. Esto se ve agravado por el escalado del tiempo de inferencia que requieren los modelos de razonamiento y la IA agéntica. Al compartir la carga, se pueden reducir los problemas de rendimiento, mejorar la eficiencia y, en última instancia, la experiencia del usuario. Con el proyecto llm-d de código abierto, Red Hat ha tomado medidas para hacer frente a este problema.

El proyecto llm-d, dirigido por Red Hat y respaldado por líderes del sector de la IA en aceleración de hardware, desarrollo de modelos y cloud computing, combina el poder comprobado de la orquestación de Kubernetes con vLLM, uniendo dos referentes del open source para responder a una necesidad muy real. Junto con tecnologías como el enrutamiento de redes con IA y la descarga de caché KV, entre otras, llm-d descentraliza y democratiza la inferencia de IA y, de ese modo, ayuda a las empresas a optimizar sus recursos informáticos y disponer de cargas de trabajo de IA más efectivas y de menor costo.

Abierto a lo que se viene en IA, no solo al código

Llm-d y vLLM, incluidos en Red Hat AI Inference Server, son tecnologías open source preparadas para responder a los desafíos de la IA empresarial de hoy. Sin embargo, las comunidades de desarrollo no se limitan a analizar lo que se necesita hacer ahora. Las tecnologías de IA tienen una forma particular de acortar los plazos: el vértigo de la innovación implica que algo que se creía que no plantearía un desafío en años, de repente debe afrontarse de lleno.

Por ese motivo es que Red Hat está destinando recursos a la fase de desarrollo inicial de Llama Stack, el proyecto liderado por Meta que ofrece componentes básicos y API estandarizados para los ciclos de vida de las aplicaciones de IA generativa. Además, Llama Stack es ideal para crear aplicaciones de IA agénticas, que representan una nueva evolución de las potentes cargas de trabajo de IA generativa que vemos hoy en día. Más allá de su desarrollo inicial, Llama Stack está disponible como versión preliminar para desarrolladores dentro de Red Hat AI, para aquellas empresas que hoy quieran comprometerse con el futuro.

En lo que respecta a los agentes de IA, aún no contamos con un protocolo común para el modo en que otras aplicaciones les proporcionan contexto e información. Aquí es donde entra en juego el protocolo de contexto de modelo (MCP). Desarrollado y convertido en open source por Anthropic a fines de 2024, se trata de un protocolo estandarizado para las interacciones entre agente y aplicación, similar a los protocolos cliente-servidor de la informática tradicional. Pero lo más importante es que las actuales aplicaciones pueden, de improviso, valerse de la IA sin necesidad de una reimplementación a gran escala. Esto es importantísimo y no sería posible si no fuera por el poder del open source. Al igual que Llama Stack, MCP está disponible como versión preliminar para desarrolladores en la plataforma de Red Hat AI.

Los modelos propietarios de IA pueden haber logrado una ventaja inicial, pero no hay duda de que los ecosistemas abiertos los han superado, en especial en cuanto al software que sustenta estos modelos de IA de próxima generación. Gracias a vLLM y llm-d, junto con productos empresariales open source con seguridad reforzada, el futuro de la IA es prometedor, independientemente del modelo, el acelerador o la nube, y está impulsado por el open source y por Red Hat.