New Relic anunció que la monitorización de IA de New Relic (AIM), una de las primeras soluciones APM de la industria para aplicaciones impulsadas por IA, está ahora integrada con Amazon Bedrock, un servicio totalmente gestionado de Amazon Web Services, Inc. (AWS)?s que hace que los modelos de base (FM) de las principales empresas de IA sean accesibles a través de una API para construir y escalar aplicaciones de IA generativa. Los clientes de AWS ahora pueden utilizar New Relic para obtener una mayor visibilidad y conocimientos en toda la pila de IA, lo que facilita la resolución de problemas y la optimización de sus aplicaciones en cuanto a rendimiento, calidad y coste. Aunque la IA está revolucionando las aplicaciones modernas, introduce nuevos desafíos y complejidad en las pilas tecnológicas de las organizaciones. Las pilas tecnológicas de IA incluyen nuevos componentes, como los grandes modelos de lenguaje (LLM) y los almacenes de datos vectoriales, y generan telemetría adicional a la que realizar un seguimiento, como la calidad y el coste. AIM resuelve estos nuevos retos aportando APM a la pila de IA. De forma similar a cómo los ingenieros supervisan su pila de aplicaciones con New Relic APM, AIM proporciona a los ingenieros una visibilidad completa de todos los componentes de la pila de IA. AIM proporciona una vista única y sencilla para solucionar problemas, comparar y optimizar diferentes peticiones y respuestas de LLM en cuanto a rendimiento, costo y tokens, y problemas de calidad, incluidas alucinaciones, sesgo, toxicidad y equidad en todos los modelos soportados por Amazon Bedrock. AIM se integra con Amazon Bedrock para proporcionar una observabilidad exhaustiva de extremo a extremo. Gracias a las integraciones incorporadas de AIM, como Langchain, los clientes de Amazon Bedrock pueden obtener métricas y realizar un seguimiento durante todo el ciclo de vida de la solicitud y la respuesta de LLM, desde las solicitudes sin procesar hasta las respuestas reparadas y conformes con el negocio. Las características clave y los casos de uso incluyen Instrumentación automática: Los agentes de New Relic vienen equipados con todas las capacidades de AIM, incluida la visibilidad completa de la pila de IA, el rastreo de respuestas, la comparación de modelos y mucho más para una configuración rápida y sencilla. Visibilidad completa de la pila de IA: Visión holística a través de la aplicación, la infraestructura y la capa de IA, incluyendo métricas de IA como calidad de respuesta y tokens junto con señales doradas de APM. Perspectivas de rastreo profundas para cada respuesta LLM: Rastree el ciclo de vida de las respuestas LLM complejas construidas con herramientas como LangChain para solucionar los problemas de rendimiento y de calidad como el sesgo, la toxicidad y la alucinación. Compare el rendimiento y los costes: Realice un seguimiento del uso, el rendimiento, la calidad y el coste de todos los modelos en una única vista; optimice el uso con información sobre las preguntas más frecuentes, la cadena de pensamiento y las plantillas y cachés de preguntas. Permitir un uso responsable de la IA: Garantice un uso seguro y responsable de la IA verificando que las respuestas están debidamente etiquetadas para indicar que han sido generadas por la IA y que están libres de sesgos, toxicidad y alucinaciones, utilizando información sobre el rastreo de las respuestas. Supervise al instante su ecosistema de IA: La solución más completa para supervisar toda la pila de cualquier ecosistema de IA con más de 50 integraciones e inicios rápidos, entre los que se incluyen: Marco de orquestación: Langchain. Bases de datos vectoriales: Pinecone, Weaviate, Milvus, FAISS, Zilliz.
LLM: Amazon Bedrock (modelos de AI21 Labs, Amazon, Anthropic y Cohere). Infraestructura de IA: Amazon SageMaker. New Relic AIM se basa en la profunda relación de New Relic con AWS y se suma a sus más de 95 integraciones de AWS existentes. AIM ya está disponible en acceso anticipado para los usuarios de New Relic y AWS de todo el mundo. Los usuarios pueden registrarse aquí para solicitar el acceso anticipado, que se incluye como parte de los precios simplificados y basados en el consumo de New Relic.