DataStax ha anunciado que está apoyando los casos de uso empresariales de la generación aumentada por recuperación (RAG) mediante la integración de los nuevos microservicios de inferencia NIM y NeMo Retriever de NVIDIA con Astra DB para ofrecer soluciones de datos RAG de alto rendimiento que proporcionen una experiencia superior a los clientes. Con esta integración, los usuarios podrán crear incrustaciones vectoriales instantáneas 20 veces más rápido que otros populares servicios de incrustación en la nube y beneficiarse de una reducción del 80% en el coste de los servicios. Las organizaciones que crean aplicaciones de IA generativa se enfrentan a las desalentadoras barreras tecnológicas, de seguridad y de costes asociadas a la vectorización de datos no estructurados, tanto existentes como recién adquiridos, para su perfecta integración en grandes modelos lingüísticos (LLM).

La urgencia de generar incrustaciones en tiempo casi real y de indexar eficazmente los datos dentro de una base de datos vectorial en hardware estándar agrava aún más estos retos. DataStax colabora con NVIDIA para ayudar a resolver este problema. NVIDIA NeMo Retriever genera más de 800 incrustaciones por segundo por GPU y se combina perfectamente con DataStax Astra DB, que es capaz de ingerir nuevas incrustaciones a más de 4000 transacciones por segundo con latencias de milisegundos de un solo dígito, en soluciones de almacenamiento/discos básicos de bajo coste.

Este modelo de implantación reduce enormemente el coste total de propiedad para los usuarios y realiza la generación de incrustaciones y la indexación a la velocidad del rayo. Cuando se combinan con NVIDIA NeMo Retriever, Astra DB y DataStax Enterprise (la oferta local de DataStax) proporcionan una rápida solución RAG de base de datos vectorial construida sobre una base de datos NoSQL escalable que puede ejecutarse en cualquier medio de almacenamiento. La integración inmediata con RAGStack (impulsada por LangChain y LlamaIndex) facilita a los desarrolladores la sustitución de su actual modelo de incrustación por NIM.

Además, mediante el probador de matrices de compatibilidad de RAGStack, las empresas pueden validar la disponibilidad y el rendimiento de varias combinaciones de modelos de incrustación y LLM para las canalizaciones comunes de RAG. DataStax también lanza, en versión preliminar para desarrolladores, una nueva función denominada Vectorize. Vectorize realiza generaciones de incrustación en el nivel de base de datos, lo que permite a los clientes aprovechar Astra DB para generar fácilmente incrustaciones utilizando su propia instancia de microservicios NeMo, en lugar de la suya propia, trasladando el ahorro de costes directamente al cliente.