
 
 
 
 
 
 
 
 
 Автори : (1) Бен Коен (ben.cohen@datadoghq.com); (2) Емаад Хваджа (emaad@datadoghq.com); (3) Кан Ван (kan.wang@datadoghq.com) (4) Чарльз Масон (charles.masson@datadoghq.com); (5) Еліза Раме (elise.rame@datadoghq.com); (6) Юсеф Дублі (youssef.doubli@datadoghq.com); (7) Отман Абу-Амал (othmane@datadoghq.com) Authors: (1) Бен Коен (ben.cohen@datadoghq.com); (2) Емаад Хваджа (emaad@datadoghq.com); (3) Кан Ван (kan.wang@datadoghq.com) (4) Чарльз Масон (charles.masson@datadoghq.com); (5) Еліза Раме (elise.rame@datadoghq.com); (6) Юсеф Дублі (youssef.doubli@datadoghq.com); (7) Отман Абу-Амал (othmane@datadoghq.com) Лівий стіл 
 
 
 
 
 
 
 
 
 
 
 фону Проблемова заява Модель архітектури Тренувальні дані Результати Conclusions Декларація про вплив Майбутні напрямки Внесків Визнання та посилання Додаток Цей технічний звіт описує Time Series Optimized Transformer for Observability (Toto), нову найсучаснішу модель фундаменту для прогнозування часових серій, розроблену Datadog.На додаток до просування найсучасніших еталонів загальної часової серії в таких областях, як електроенергія та погода, ця модель є першою загальноприйнятою моделлю фундаменту для прогнозування часових серій, який буде спеціально налаштований для метрики спостережності. Поруч з загальнодоступними наборами даних часу, 75% даних, які використовуються для навчання Toto, складаються з повністю анонімних чисельних метричних точок даних з платформи Datadog. У наших експериментах Toto перевершує існуючі моделі фундаменту часової серії за даними спостережуваності. У цій доповіді ми детально описуємо наступні ключові внески: : Ми вводимо передовий механізм уваги, який дозволяє ефективно групувати функції мультивариантної часової серії, зменшуючи обчислювальні надлишки при збереженні високої точності. • Proportional factorized space-time attention Це нове використання імовірнісної моделі, яка міцно узагальнює гаусійські моделі змішування, дозволяє Toto більш точно захоплювати складну динаміку даних часового ряду і забезпечує перевагу над традиційними підходами. • Student-T mixture model head : На додаток до загальних даних багатодоменної часової серії, Toto спеціально підготовлений до великого набору даних з метрики спостережуваності Datadog, що охоплює унікальні характеристики, які не присутні в наборах даних з відкритим джерелом. • Domain-specific training data 1 Фундамент We present Toto, a groundbreaking time series forecasting foundation model developed by Datadog. Toto is specifically designed to handle the complexities of observability data, leveraging a state-of-the-art transformer architecture to deliver unparalleled accuracy and performance. Toto is trained on a massive dataset of diverse time series data, enabling it to excel in zero-shot predictions. This model is tailored to meet the demanding requirements of real-time analysis as well as compute and memory-efficient scalability to very large data volumes, providing robust solutions for high-frequency and high-dimensional data commonly encountered in observability metrics. 1.1 Observability data Платформа спостережуваності Datadog збирає широкий спектр метричних даних по декількох піддоменах, які мають вирішальне значення для моніторингу та оптимізації сучасної інфраструктури та додатків.Ці метричні дані включають дані про інфраструктуру, такі як використання пам'яті, навантаження процесора, введення диска та пропускна здатність мережі, а також показники продуктивності додатків, такі як кількість ударів, рівень помилок та ін. Крім того, Datadog інтегрує специфічні метрики з численних продуктів SaaS, хмарних послуг, рамків відкритого коду та інших інструментів третіх сторін.Платформа дозволяє користувачам застосовувати різні моделі часових серій для проактивного попередження аномальної поведінки, що призводить до скорочення часу виявлення (TTD) та часу вирішення (TTR) виробничих інцидентів [2]. Складність і різноманітність цих показників представляють значні виклики для прогнозування часових серій. Дані спостережуваності часто вимагають високого розрізнення часу, до секунд або хвилин, і зазвичай рідкісні з багатьма нульовими надувними показниками. Крім того, ці показники можуть відображати екстремальні динамічні діапазони та правопорядковані розподіли. Динамічний і нестаціонарний характер систем, що контролюються, ще більше ускладнює завдання прогнозування, вимагаючи передових моделей, які можуть адаптуватися і виконувати в цих умовах. 1.2 Traditional models Історично прогнозування часових рядів спиралося на класичні моделі, такі як ARIMA, експоненціальне згладжування та базові методи машинного навчання [3]. Хоча ці моделі є фундаментальними, вони вимагають індивідуального навчання для кожної метрики, що представляє кілька обмежень [4]. Необхідність розробки та підтримки окремих моделей для кожної метрики перешкоджає масштабуванню, особливо зважаючи на широкий спектр метрики в даних спостережуваності. Крім того, ці моделі часто не узагальнюються між різними типами метрики, що призводить до недооптимальної продуктивності на різних наборах даних [5, 6]. Постійне перепідготовлення та налаштування для адаптації до еволюційних моделей даних ще більше збільшує операційне 1.3 Foundation models Великі генеративні моделі, засновані на нейронних мережах, часто називаються «фундаментальними моделями», революціонували прогнозування часових серій, дозволяючи робити точні прогнози на нові дані, не побачені під час навчання, відомі як нульове прогнозування [8]. Ця здатність значно зменшує необхідність постійного перепідготовки на кожній конкретній метриці, заощаджуючи значний час і обчислювальні ресурси. Through pretraining on diverse datasets, generative models exhibit strong generalization across various types of time series data. This enhances their robustness and versatility, making them suitable for a wide range of applications. Zero-shot predictions are particularly attractive in the observability domain, where the limitations of traditional methods are felt very acutely. The most common use cases for time series models within an observability platform like Datadog include automated anomaly detection and predictive alerting. It is challenging to scale classical forecasting methods to handle cloud-based applications that can be composed of many ephemeral, dynamically scaling components such as containers, VMs, serverless functions, etc. These entities tend to be both high in cardinality and short-lived in time. This limits the practicality of traditional time series models in two ways: • First, the high cardinality and volume of data can make fitting individual models to each time series computationally expensive or even intractable. The ability to train a single model and perform inference across a wide range of domains has the potential to dramatically improve the efficiency, and thus the coverage, of an autonomous monitoring system. • По-друге, ефімерних елементів інфраструктури часто не вистачає достатньо історичних даних, щоб впевнено вписатися в модель. На практиці, алгоритмічні системи попередження часто вимагають періоду адаптації днів або тижнів, перш ніж вони можуть корисно контролювати нову метрику. Однак, якщо об'єкт, що контролюється, є контейнером з тривалістю життя, вимірюваною в хвилинах або годинах, ці класичні моделі не можуть адаптуватися досить швидко, щоб бути корисними. Системи реального світу, таким чином, часто повертаються до грубих евристики, таких як попередження на основі порогу, які спираються на знання домену користувачів. Інтеграція моделей, заснованих на трансформаторах [11], таких як Toto, в аналіз даних спостережуваності, таким чином, обіцяє значні поліпшення в точності та ефективності прогнозування. Ці моделі пропонують надійне рішення для управління різноманітними, високочастотними даними та надання нульових прогнозів. 1.4 Recent work Протягом останніх декількох років спостерігається зростання моделей, заснованих на трансформаторах, як потужних інструментів для прогнозування часових серій.Ці моделі використовують багатоголовні механізми самооцінки для захоплення довгострокових залежностей і складних моделей у даних. Щоб вирішити унікальні виклики даних часового ряду, останні досягнення ввели різні модифікації механізму уваги. Наприклад, Moirai [15] використовує «різноманітну» увагу до модельних залежностей між різними серіями одночасно. Факторизовані механізми уваги [16] були розроблені для окремого захоплення тимчасових та просторових (пересічних) взаємодій, підвищуючи здатність розуміти складні взаємозалежності. Інші моделі [17, 18] використовували крос-канал уваги у поєднанні з мережами для змішування у часовому вимірі. Крім того, причинне маскування [19] та ієрархічне кодування [16] можуть поліпшити ефективність та точність прогнозів у контекстах часового ряду. These innovative transformer-based models have demonstrated state-of-the-art performance on benchmark datasets [14], frequently surpassing traditional models in both accuracy and robustness. Their capacity to process high-dimensional data efficiently [20] makes them ideal for applications involving numerous time series metrics with varying characteristics, such as observability. Ще останнім часом було випущено ряд часових серійних «фундаментальних моделей» [15, 19, 21–24]. За допомогою попередньої підготовки на обширних, багатодоменних наборах даних ці великі моделі досягають вражаючих можливостей нульового прогнозування, значно зменшуючи необхідність постійного перепідготовки. 2 Проблемні заяви У Datadog наші дані часового ряду охоплюють різноманітні метрики спостережуваності з численних піддоменів. Ці метрики представляють кілька проблем для існуючих моделей прогнозування: Користувачі часто вимагають дані в індексах секунд або хвилин, на відміну від багатьох загальнодоступних наборів даних часового ряду, які знаходяться на годинній частоті або вище. • High time resolution • Метрики, такі як підрахунки помилок, часто відстежують рідкісні події, що призводить до рідкісних і нульових надувних часових рядків. Sparsity • Вимірювання затримки в розподілених системах показують позитивні, важкі хвостові розподіли з екстремальними значеннями на високих відсотках. Extreme right skew Поведінка контролюваних систем часто змінюється через розгортання коду, масштабування інфраструктури, управління флагом функцій та інші зміни конфігурації, а також зовнішні фактори, такі як сезонність та тенденції, спрямовані на поведінку користувача. • Dynamic, nonstationary systems Моніторинг великих флотів ефімерної хмарної інфраструктури, таких як віртуальні машини (VM), контейнери, безсерверні функції тощо призводить до високої кардинальності даних, з сотнями або тисячами індивідуальних часових серій, що варіюються, часто з обмеженими історичними даними для кожної групи. • High-cardinality multivariate data Історичні дані часто містять відхилення і аномалії, викликані регресіями продуктивності або інцидентами виробництва. • Historical anomalies Для подолання цього, ми розробили Toto, найсучаснішу модель фундаменту, яка відрізняється в прогнозуванні спостережуваності, а також досягає найвищої продуктивності на стандартних відкритих еталонах. 
 
 Цей документ доступний під ліцензією CC BY 4.0. Цей документ доступний під ліцензією CC BY 4.0. Доступно в архіві

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

LanguageModels.TECH

Read My Stories

undefined's blog

Це аудіо створено мовою оригіналу історії!

Оптимізований трансформер Time Series встановлює нові стандарти в області спостережуваності

About Author

КОМЕНТАРІ

ПОВІСИТИ БИРКИ

ЦЯ СТАТТЯ БУЛА ПРЕДСТАВЛЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps