NVIDIA CORPORATION 
Los dos nuevos puntos de referencia añadidos por MLCommons miden la velocidad a la que los chips y sistemas de IA pueden generar respuestas a partir de los potentes modelos de IA repletos de datos. Los resultados demuestran a grandes rasgos la rapidez con la que una aplicación de IA como ChatGPT puede ofrecer una respuesta a la consulta de un usuario.
Uno de los nuevos puntos de referencia añade la capacidad de medir la rapidez de un escenario de preguntas y respuestas para grandes modelos lingüísticos. Denominado Llama 2, incluye 70.000 millones de parámetros y fue desarrollado por Meta Platforms.
Los responsables de MLCommons también añadieron un segundo generador de texto a imagen al conjunto de herramientas de evaluación comparativa, llamado MLPerf, basado en el modelo Stable Diffusion XL de Stability AI.
Los servidores equipados con los chips H100 de Nvidia construidos por empresas de la talla de Google de Alphabet, Supermicro y la propia Nvidia ganaron ampliamente las dos nuevas pruebas comparativas en rendimiento bruto. Varios constructores de servidores presentaron diseños basados en el chip L40S de la compañía, menos potente.
El fabricante de servidores Krai presentó un diseño para la prueba comparativa de generación de imágenes con un chip de IA de Qualcomm que consume mucha menos energía que los procesadores de vanguardia de Nvidia.
Intel también presentó un diseño basado en sus chips aceleradores Gaudi2. La empresa describió los resultados como "sólidos".
El rendimiento bruto no es la única medida crítica a la hora de desplegar aplicaciones de IA. Los chips avanzados de IA consumen enormes cantidades de energía y uno de los retos más importantes para las empresas de IA es desplegar chips que ofrezcan una cantidad óptima de rendimiento por una cantidad mínima de energía.
MLCommons tiene una categoría de referencia separada para medir el consumo de energía. (Reportaje de Max A. Cherney en San Francisco; Edición de Jamie Freed)
