Datadog, Inc. ha anunciado la disponibilidad general de Data Jobs Monitoring, un nuevo producto que ayuda a los equipos de plataformas de datos y a los ingenieros de datos a detectar trabajos Spark y Databricks problemáticos en cualquier punto de sus canalizaciones de datos, remediar más rápidamente los trabajos fallidos y de larga ejecución y optimizar los recursos informáticos sobreaprovisionados para reducir costes. Data Jobs Monitoring saca a la luz inmediatamente los trabajos específicos que necesitan optimización y mejoras de fiabilidad, al tiempo que permite a los equipos profundizar en las trazas de ejecución de los trabajos para que puedan correlacionar la telemetría de sus trabajos con su infraestructura en la nube para una depuración rápida. Data Jobs Monitoring ayuda a los equipos a: Detectar fallos en los trabajos y picos de latencia: Las alertas listas para usar notifican inmediatamente a los equipos cuando los trabajos han fallado o se están ejecutando por encima de las líneas de base detectadas automáticamente, de modo que puedan abordarse antes de que se produzcan impactos negativos en la experiencia del usuario final.

Los filtros recomendados sacan a la superficie los problemas más importantes que están afectando a la salud de los trabajos y del clúster, para que puedan priorizarse. Localice y resuelva más rápidamente los trabajos erróneos: Las vistas de rastreo detalladas muestran a los equipos exactamente en qué punto del flujo de ejecución falló un trabajo, de modo que disponen del contexto completo para una resolución de problemas más rápida. Las ejecuciones de varios trabajos pueden compararse entre sí para agilizar el análisis de la causa raíz e identificar tendencias y cambios en la duración de la ejecución, las métricas de rendimiento de Spark, la utilización del clúster y la configuración.

Identifique oportunidades de ahorro de costes: La utilización de los recursos y las métricas de aplicación de Spark ayudan a los equipos a identificar formas de reducir los costes informáticos de los clústeres sobreaprovisionados y optimizar las ejecuciones de trabajos ineficientes. Data Jobs Monitoring ya está disponible de forma general.