Advantech ha anunciado una solución de servidor Edge AI para IA generativa que incorpora la tecnología patentada aiDAPTIV+ de Phison. El servidor AIR-520 Edge AI, impulsado por un procesador AMD EPYC serie 7003, integra unidades SSD SQ ai100 AI, tarjetas GPU NVIDIA RTX, un SDK Edge AI y NVIDIA AI Enterprise para proporcionar una solución lista para implantar. Las herramientas de IA generativa, como los grandes modelos de lenguaje (LLM), están transformando la gestión del conocimiento empresarial al automatizar la organización, la recuperación y el análisis de los datos, lo que impulsa la productividad y mejora la toma de decisiones.

Los LLM personalizados mejoran la precisión, mientras que el entrenamiento de borde aumenta la privacidad de los datos, aunque puede resultar más costoso. Esta solución admite el ajuste fino de los LLM con tarjetas GPU 1-4 y unidades SSD SQ ai100 AI, lo que permite a las empresas entrenar los LLM de forma rentable a la vez que mantienen la seguridad de los datos sensibles en el borde. Advantech ofrece cuatro opciones: AIR-520-L13B/L33B/L70B, y L70B-Plus, adaptadas a diferentes escalas y aplicaciones.

El L13B es ideal para aplicaciones en tiempo real como chatbots y traducción de idiomas. La L33B es adecuada para tareas más complejas, mejorando la productividad y la innovación en la creación de contenidos. La L70B destaca en el análisis sofisticado de datos y la toma de decisiones para dominios especializados.

Además, la L70B-Plus, equipada con NVIDIA AI Enterprise, ofrece SDK de IA completos, fiables y optimizados con soporte a largo plazo y servicios de consultoría de expertos. Todas las soluciones AIR-520 incluyen las unidades SSD SQ ai100 AI, que aprovechan la tecnología aiDAPTIV+ de Phison. Estas SSD actúan como una extensión de la GPU vRAM, lo que permite al sistema afinar los LLM con un mínimo de tarjetas GPU.

Este enfoque no sólo alivia la barrera del presupuesto, sino que también hace que el servidor de IA Edge sea más compacto en comparación con los grandes servidores tradicionales de montaje en bastidor. Su tamaño es comparable al de un PC de sobremesa y puede montarse en bastidor con los accesorios adecuados, lo que elimina las preocupaciones por el espacio y el mantenimiento. Además de las capacidades de ajuste de LLM, Advantech proporciona un SDK de IA Edge con el GenAI Training Studio, precargado con modelos Llama-2 para aplicaciones como chatbots y análisis de datos.

Esto simplifica y acelera el entrenamiento de modelos LLM específicos del cliente y la evaluación de la inferencia en la AIR-520. Además, DeviceOn de Advantech proporciona actualizaciones OTA de software/contenedor y gestión remota, facilitando una orquestación eficiente de la IA y el mantenimiento a largo plazo.