Red Hat, Inc., el proveedor mundial de soluciones open source, anunció la firma de un acuerdo definitivo para adquirir Neural Magic, una empresa pionera en software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (gen AI). La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat de lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de uso y datos específicos del cliente en cualquier lugar de la nube híbrida.
Si bien la promesa de la IA generativa domina gran parte del panorama tecnológico actual, el volumen de los modelos de lenguaje de gran tamaño (LLM) que sustentan estos sistemas sigue en aumento. Como resultado, crear servicios de LLM rentables y confiables requiere una gran potencia informática, recursos energéticos y habilidades operativas especializadas. Para la mayoría de las empresas, estos problemas hacen que los beneficios de una IA personalizada, con mayor enfoque en la seguridad y lista para implementar, queden efectivamente fuera de su alcance.
El objetivo de Red Hat es abordar estos problemas y hacer que la IA generativa sea más accesible para más organizaciones a través de la innovación abierta de vLLM, desarrollada por UC Berkeley. vLLM es un proyecto open source impulsado por la comunidad para el servicio de modelos abiertos (la forma en que los modelos de IA generativa infieren y resuelven problemas), que admite todas las familias de modelos clave, la investigación avanzada de aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86. El liderazgo de Neural Magic en el proyecto vLLM combinado con el sólido portfolio de tecnologías de IA en la nube híbrida de Red Hat ofrecerá a las organizaciones una opción abierta para desarrollar estrategias de IA que satisfagan sus necesidades particulares, donde sea que se encuentren sus datos.
Red Hat + Neural Magic: el futuro de la IA generativa lista para la nube híbrida
Neural Magic surgió del MIT en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Con la tecnología y la experiencia en ingeniería de rendimiento de Neural Magic, Red Hat pretende acelerar su visión del futuro de la IA, impulsada por el portfolio de tecnologías de Red Hat AI. Red Hat aprovecha la innovación open source, diseñada para superar los desafíos de la IA empresarial a gran escala, para democratizar aún más el acceso al poder transformador de la IA a través de:
● modelos con licencia open source, desde la escala de parámetros 1 B hasta 405 B, que se pueden ejecutar en cualquier lugar de la nube híbrida: en centros de datos de las empresas, en múltiples nubes y en el edge;
● capacidades de ajuste fino que permiten a las organizaciones personalizar más fácilmente los LLM según sus datos privados y casos de uso con una postura de seguridad más firme;
● experiencia en ingeniería de rendimiento de inferencia, que da como resultado una mayor eficiencia operativa y de infraestructura; y
● un partner, un ecosistema open source y estructuras de soporte que brindan al cliente mayor libertad de elección, desde LLM y herramientas hasta hardware de servidor certificado y arquitecturas de chips subyacentes.
Liderazgo en vLLM para optimizar Red Hat AI
Neural Magic aprovecha su experiencia y sus conocimientos de vLLM para crear una pila de inferencia de nivel empresarial que permite a los clientes optimizar, implementar y escalar cargas de trabajo de LLM en entornos de nube híbrida con pleno control sobre la elección de la infraestructura, las políticas de seguridad y el ciclo de vida del modelo. Neural Magic también se dedica a la investigación de optimización de modelos, crea LLM Compressor (una biblioteca unificada para optimizar LLM mediante algoritmos de cuantificación y dispersión de vanguardia) y mantiene un repositorio de modelos preoptimizados listos para implementar con vLLM.
Red Hat AI tiene como objetivo ayudar a que los clientes reduzcan los costos de IA y el déficit de habilidades mediante tecnologías poderosas, que incluyen:
● Red Hat Enterprise Linux AI (RHEL AI), una plataforma de modelos base para desarrollar, probar y ejecutar de manera más fluida la familia de LLM Granite de IBM con licencia open source para aplicaciones empresariales en implementaciones de servidores Linux;
● Red Hat OpenShift AI, una plataforma de IA que proporciona herramientas para desarrollar, entrenar, entregar y monitorear modelos de aprendizaje automático con rapidez en entornos distribuidos de Kubernetes en las instalaciones, en la nube pública o en el edge; e
● InstructLab, un proyecto accesible de la comunidad de IA de código abierto creado por Red Hat e IBM, que permite a cualquier persona definir el futuro de la IA generativa a través de la mejora colaborativa de los LLM Granite con licencia de código abierto mediante el uso de la tecnología de ajuste fino de InstructLab.