
 
 
 
 
 
 
 
 
 Authors: (1) Ben Cohen (ben.cohen@datadoghq.com); (2) Emaad Khwaja (emaad@datadoghq.com); (3) Kan Wang (kan.wang@datadoghq.com) (4) Charles Masson (charles.masson@datadoghq.com); (5) Elise Rame (elise.rame@datadoghq.com); (6) Youssef Doubli (youssef.doubli@datadoghq.com); (7) Othmane Abou-Amal (othmane@datadoghq.com) Authors: (1) Ben Cohen (ben.cohen@datadoghq.com); (2) Emaad Khwaja (emaad@datadoghq.com); (3) Kan Wang (kan.wang@datadoghq.com); (4) Charles Masson (charles.masson@datadoghq.com) (5) Elise Rame (elise.rame@datadoghq.com); (6) Youssef Doubli (youssef.doubli@datadoghq.com); (7) Othmane Abou-Amal (othmane@datadoghq.com) Mesa de la izquierda 
 
 
 
 
 
 
 
 
 
 
 El fondo Problem statement Modelo arquitectónico Datos de entrenamiento Resultados Conclusiones Declaración de Impacto Futuras direcciones Contribuciones Reconocimientos y referencias Anexo This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state-ofthe-art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Toto fue entrenado en un conjunto de datos de un billón de puntos de datos de serie de tiempo - el mayor de todos los modelos de fundación de serie de tiempo publicados actualmente. Junto a los conjuntos de datos de serie de tiempo disponibles públicamente, el 75% de los datos utilizados para entrenar Toto consisten en puntos de datos numéricos totalmente anónimos de la plataforma Datadog. En nuestros experimentos, Toto supera los modelos de fundación de series de tiempo existentes en los datos de observabilidad, mientras que también excede en tareas de predicción de propósito general, logrando un rendimiento cero-shot de última generación en múltiples conjuntos de datos de referencia abiertos. En este informe detallamos las siguientes contribuciones clave: Introducimos un mecanismo de atención avanzado que permite agrupar eficientemente las características de serie de tiempo multivariada, reduciendo la sobrecarga computacional mientras se mantiene la alta precisión. • Proportional factorized space-time attention Este nuevo uso de un modelo probabilístico que generaliza robustamente los modelos de mezcla de Gauss permite a Toto capturar con mayor precisión la compleja dinámica de los datos de serie de tiempo y proporciona un rendimiento superior a los enfoques tradicionales. • Student-T mixture model head : Además de los datos generales de serie de tiempo multi-domain, Toto está específicamente pre-treinado en un conjunto de datos a gran escala de métricas de observabilidad de Datadog, que abarca características únicas que no están presentes en los conjuntos de datos de código abierto. • Domain-specific training data 1 Antecedentes Presentamos Toto, un innovador modelo de base de predicción de series de tiempo desarrollado por Datadog. Toto está diseñado específicamente para manejar la complejidad de los datos de observabilidad, aprovechando una arquitectura de transformadores de última generación para ofrecer una precisión y rendimiento sin precedentes. Toto está entrenado en un conjunto de datos masivo de datos de series de tiempo diversas, lo que le permite excelerse en las predicciones de tiro cero. Este modelo está diseñado para satisfacer los requerimientos exigentes de análisis en tiempo real, así como la escalabilidad computacional y de memoria eficiente a volúmenes de datos muy grandes, proporcionando soluciones robustas para datos de alta frecuencia y de alta dimensión comúnmente encontrados en las métricas de observabilidad. 1.1 Observability data La plataforma de observabilidad de Datadog recopila una amplia gama de métricas en múltiples subdominios, cruciales para monitorear y optimizar la infraestructura y las aplicaciones modernas.Estas métricas incluyen datos de infraestructura como el uso de la memoria, la carga de la CPU, la entrada / salida del disco y la capacidad de transmisión de la red, así como indicadores de rendimiento de las aplicaciones como el número de golpes, las tasas de error, y latency [1]. Additionally, Datadog integrates specific metrics from numerous SaaS products, cloud services, open-source frameworks, and other third-party tools. The platform allows users to apply various time series models to proactively alert on anomalous behavior, leading to a reduction in time to detection (TTD) and time to resolution (TTR) of production incidents [2]. La complejidad y diversidad de estas métricas presentan desafíos significativos para la predicción de las series de tiempo. Los datos de observación a menudo requieren una alta resolución de tiempo, hasta segundos o minutos, y suelen ser escasos con muchas métricas de inflación cero. Además, estas métricas pueden mostrar intervalos dinámicos extremos y distribuciones de esquina derecha. La naturaleza dinámica y no estacional de los sistemas que se monitorean complica aún más la tarea de predicción, requiriendo modelos avanzados que puedan adaptarse y funcionar bajo estas condiciones. 1.2 Traditional models Históricamente, la predicción de las series de tiempo se ha basado en modelos clásicos como ARIMA, suavización exponencial y técnicas básicas de aprendizaje automático [3]. Mientras fundamentales, estos modelos requieren entrenamiento individual para cada métrica, presentando varias limitaciones [4]. La necesidad de desarrollar y mantener modelos separados para cada métrica impide la escalabilidad, especialmente dado el amplio rango de métricas en los datos de observación. Además, estos modelos a menudo no generalizan a través de diferentes tipos de métricas, lo que conduce a un rendimiento suboptimal en diversos conjuntos de datos [5, 6]. El retraining continuo y el ajuste para adaptarse a patrones de datos en evolución aumentan aún más la carga operativa. Esta limitación de la escala ha impedido la adopción de métodos basados en el aprendizaje profundo 1.3 Foundation models Los grandes modelos generativos basados en redes neuronales, a menudo referidos como “modelos de fundación”, han revolucionado la predicción de las series de tiempo al permitir predicciones precisas sobre nuevos datos no vistos durante el entrenamiento, conocidos como predicción de disparo cero [8]. Esta capacidad reduce significativamente la necesidad de re-entrenamiento constante en cada métrica específica, ahorrando así un considerable tiempo y recursos computacionales. A través de la pre-entrenamiento en diversos conjuntos de datos, los modelos generativos muestran una fuerte generalización a través de diferentes tipos de datos de series de tiempo. Esto aumenta su robustez y versatilidad, lo que los convierte en adecuados para una amplia gama de aplicaciones. Las predicciones de disparo cero son particularmente atractivas en el dominio de la observabilidad, donde las limitaciones de los métodos tradicionales se sienten muy agudamente. Los casos de uso más comunes para modelos de series de tiempo dentro de una plataforma de observación como Datadog incluyen la detección automática de anomalías y la alerta predictiva. Es difícil escalar los métodos de predicción clásicos para manejar las aplicaciones basadas en la nube que pueden estar compuestas por muchos componentes efímeros y dinámicamente escalables como contenedores, VM • En primer lugar, la alta cardinalidad y el volumen de datos pueden hacer que ajustar modelos individuales a cada serie de veces sea computacionalmente caro o incluso intractable.La capacidad de entrenar un único modelo y realizar inferencias en una amplia gama de dominios tiene el potencial de mejorar dramáticamente la eficiencia, y por lo tanto la cobertura, de un sistema de monitoreo autónomo. • En la práctica, los sistemas de alerta algorítmicos a menudo requieren un período de adaptación de días o semanas antes de que puedan monitorear de manera útil una nueva métrica. Sin embargo, si el objeto que se monitorea es un contenedor con una vida útil medida en minutos o horas, estos modelos clásicos no pueden adaptarse lo suficientemente rápido como para ser útiles. Los sistemas del mundo real a menudo caen de nuevo en heurísticas crudas, como las alertas basadas en umbrales, que dependen del conocimiento del dominio de los usuarios. La integración de modelos basados en transformadores [11] como Toto en el análisis de datos de observación promete, por lo tanto, mejoras significativas en la precisión y la eficiencia de la predicción. Estos modelos ofrecen una solución robusta para la gestión de datos diversos y de alta frecuencia y la entrega de predicciones de cero disparos.Con sus capacidades avanzadas, los modelos basados en transformadores representan un salto significativo hacia adelante en el campo de la observabilidad y el análisis de series temporales [12-14]. 1.4 Recent work Los últimos años han visto el auge de los modelos basados en transformadores como poderosas herramientas para la predicción de las series de tiempo.Estos modelos aprovechan los mecanismos de autoatención de múltiples cabezas para capturar dependencias de largo alcance y patrones complicados en los datos. Para abordar los desafíos únicos de los datos de series temporales, los avances recientes han introducido varias modificaciones al mecanismo de la atención. Por ejemplo, Moirai [15] utiliza una atención “de todas las variedades” a las dependencias de modelos en diferentes series simultáneamente. Se han desarrollado mecanismos de atención factorizados [16] para capturar por separado las interacciones temporales y espaciales (cross-series), mejorando la capacidad de comprender interdependencias complejas. Otros modelos [17, 18] han utilizado la atención de canales cruzados en combinación con redes de feed-forward para mezclar en la dimensión del tiempo. Además, el enmascaramiento causal [19] y la codificación jerárquica [16] pueden mejorar la eficiencia y la precisión de las predicciones en contextos de series temporales. Estos innovadores modelos basados en transformadores han demostrado un rendimiento de última generación en los conjuntos de datos de referencia [14], a menudo superando a los modelos tradicionales tanto en precisión como en robustez. Su capacidad para procesar datos de alta dimensión de manera eficiente [20] los convierte en ideales para aplicaciones que involucran numerosas métricas de serie temporal con características variables, como la observabilidad. Even more recently, a number of time series “foundation models” have been released [15, 19, 21–24]. By pre-training on extensive, multi-domain datasets, these large models achieve impressive zero-shot prediction capabilities, significantly reducing the need for constant retraining. This paradigm is appealing for the observability context, where we constantly have new time series to process and frequent retraining is impractical. 2 Problem statement En Datadog, nuestros datos de serie temporal abarcan una variedad de métricas de observabilidad de numerosos subdominios. Estas métricas presentan varios desafíos para los modelos de predicción existentes: Los usuarios a menudo requieren datos en incrementos de segundos o minutos, a diferencia de muchos conjuntos de datos de serie temporal disponibles públicamente que están a una frecuencia horaria o superior. • High time resolution • El : Metrics such as error counts often track rare events, resulting in sparse and zero-inflated time series. Sparsity • El Las mediciones de latencia en los sistemas distribuidos muestran distribuciones positivas, pesadas, con valores extremos en porcentajes altos. Extreme right skew : The behavior of monitored systems changes frequently due to code deployments, infrastructure scaling, feature flag management, and other configuration changes, as well as external factors like seasonality and user-behavior-driven trends. Some time series, such as those monitoring fleet deployments, can also have a very low variance, exhibiting a piecewise-constant shape. • Dynamic, nonstationary systems : Monitoring large fleets of ephemeral cloud infrastructure such as virtual machines (VMs), containers, serverless functions, etc. leads to high cardinality data, with hundreds or thousands of individual time series variates, often with limited historical data for each group. • High-cardinality multivariate data Los datos históricos a menudo contienen desviaciones y anomalías causadas por regresiones de rendimiento o incidentes de producción. • Historical anomalies Los modelos de fundación pre-entrenados en otros dominios tienen dificultades para generalizar de manera efectiva a los datos de observabilidad debido a estas características. Para superar esto, desarrollamos Toto, un modelo de fundación de última generación que sobresale en la predicción de la observabilidad al mismo tiempo que alcanza el mejor rendimiento en los parámetros abiertos estándar. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este artículo está disponible en archivo bajo la licencia CC BY 4.0. available on arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

LanguageModels.TECH

Read My Stories

undefined's blog

Este audio es producido en el idioma original de la historia!

El transformador optimizado de la serie del tiempo establece nuevos estándares en la observabilidad

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps