DataStax ofrecerá una solución RAG de alto rendimiento con incrustaciones e indexación 20 veces más rápidas, a un coste un 80% inferior, utilizando microservicios NVIDIA
18 de marzo 2024 a las 23:00
Comparte
DataStax ha anunciado que está apoyando los casos de uso empresariales de la generación aumentada por recuperación (RAG) mediante la integración de los nuevos microservicios de inferencia NIM y NeMo Retriever de NVIDIA con Astra DB para ofrecer soluciones de datos RAG de alto rendimiento que proporcionen una experiencia superior a los clientes. Con esta integración, los usuarios podrán crear incrustaciones vectoriales instantáneas 20 veces más rápido que otros populares servicios de incrustación en la nube y beneficiarse de una reducción del 80% en el coste de los servicios. Las organizaciones que crean aplicaciones de IA generativa se enfrentan a las desalentadoras barreras tecnológicas, de seguridad y de costes asociadas a la vectorización de datos no estructurados, tanto existentes como recién adquiridos, para su perfecta integración en grandes modelos lingüísticos (LLM).
La urgencia de generar incrustaciones en tiempo casi real y de indexar eficazmente los datos dentro de una base de datos vectorial en hardware estándar agrava aún más estos retos. DataStax colabora con NVIDIA para ayudar a resolver este problema. NVIDIA NeMo Retriever genera más de 800 incrustaciones por segundo por GPU y se combina perfectamente con DataStax Astra DB, que es capaz de ingerir nuevas incrustaciones a más de 4000 transacciones por segundo con latencias de milisegundos de un solo dígito, en soluciones de almacenamiento/discos básicos de bajo coste.
Este modelo de implantación reduce enormemente el coste total de propiedad para los usuarios y realiza la generación de incrustaciones y la indexación a la velocidad del rayo. Cuando se combinan con NVIDIA NeMo Retriever, Astra DB y DataStax Enterprise (la oferta local de DataStax) proporcionan una rápida solución RAG de base de datos vectorial construida sobre una base de datos NoSQL escalable que puede ejecutarse en cualquier medio de almacenamiento. La integración inmediata con RAGStack (impulsada por LangChain y LlamaIndex) facilita a los desarrolladores la sustitución de su actual modelo de incrustación por NIM.
Además, mediante el probador de matrices de compatibilidad de RAGStack, las empresas pueden validar la disponibilidad y el rendimiento de varias combinaciones de modelos de incrustación y LLM para las canalizaciones comunes de RAG. DataStax también lanza, en versión preliminar para desarrolladores, una nueva función denominada Vectorize. Vectorize realiza generaciones de incrustación en el nivel de base de datos, lo que permite a los clientes aprovechar Astra DB para generar fácilmente incrustaciones utilizando su propia instancia de microservicios NeMo, en lugar de la suya propia, trasladando el ahorro de costes directamente al cliente.
Comparte
Acceder al artículo original.
Aviso legal
Aviso legal
Póngase en contacto con nosotros para cualquier solicitud de corrección
NVIDIA Corporation es líder mundial en diseño, desarrollo y comercialización de procesadores gráficos programables. El grupo también desarrolla software asociado. Las ventas netas se desglosan por familias de productos de la siguiente forma: - soluciones de computación y redes (55,9%): plataformas e infraestructura para centros de datos, soluciones de interconexión Ethernet, soluciones de computación de alto rendimiento, plataformas y soluciones para vehículos autónomos e inteligentes, soluciones para infraestructura de inteligencia artificial empresarial, procesadores para minería de criptomonedas, placas de ordenadores integrados para robótica, enseñanza, aprendizaje y desarrollo de inteligencia artificial, etc; - procesadores gráficos (44,1%): para PC, videoconsolas, plataformas de streaming de videojuegos, estaciones de trabajo, etc. (marcas GeForce, NVIDIA RTX, Quadro, etc.). El grupo también ofrece portátiles, ordenadores de sobremesa, ordenadores para juegos, periféricos informáticos (monitores, ratones, joysticks, mandos a distancia, etc.), software para informática visual y virtual, plataformas para sistemas de infoentretenimiento para automóviles y plataformas de colaboración en la nube. Las ventas netas se desglosan por sectores entre almacenamiento de datos (55,6%), juegos (33,6%), visualización profesional (5,7%), automoción (3,4%) y otros (1,7%). Las ventas netas se distribuyen geográficamente del siguiente modo: Estados Unidos (30,7%), Taiwán (25,9%), China (21,5%) y otros (21,9%).
DataStax ofrecerá una solución RAG de alto rendimiento con incrustaciones e indexación 20 veces más rápidas, a un coste un 80% inferior, utilizando microservicios NVIDIA