
 
 
 
 
 
 
 
 
 ang mga author: (1) Ben Cohen (ben.cohen@datadoghq.com) (2) Emaad Khwaja (emaad@datadoghq.com) (3) Kan Wang (kan.wang@datadoghq.com) (4) si Charles Masson (charles.masson@datadoghq.com) (5) Elise Rame (elise.rame@datadoghq.com) (6) Si Youssef Doubli (youssef.doubli@datadoghq.com) (7) Othmane Abou-Amal (othmane@datadoghq.com) Authors: (1) Ben Cohen (ben.cohen@datadoghq.com) (2) Emaad Khwaja (emaad@datadoghq.com) (3) Kan Wang (kan.wang@datadoghq.com) (4) si Charles Masson (charles.masson@datadoghq.com) (5) Elise Rame (elise.rame@datadoghq.com) (6) Youssef Doubli (youssef.doubli@datadoghq.com); (7) Othmane Abou-Amal (othmane@datadoghq.com) Table ng mga Links 
 
 
 
 
 
 
 
 
 
 
 ang background Problema ng Deklarasyon Mga Modelo ng Arkitektura Mga data training Results mga konklusyon Pahayagan ng Impact Mga future directions Mga kontribusyon Recognitions at mga reference ang appendix Ang teknikal na ulat na ito ay naglalaman ng Time Series Optimized Transformer for Observability (Toto), isang bagong state-of-the-art foundation model para sa time series forecasting na binuo ng Datadog. Bukod sa pag-unlad ng state-of-the-art sa generalized time series benchmarks sa mga domain tulad ng electricity at weather, ang modelo na ito ay ang unang generic-purpose time series forecasting foundation model na isasagawa para sa mga metrikong observability. Ang Toto ay nagtrabaho sa isang dataset ng isang trillion data points ng serye ng oras - ang pinakamalaking sa lahat ng kasalukuyang inilathala na mga modelo ng base ng serye ng oras. Karamihan sa mga dataset ng serye ng oras na magagamit sa publiko, 75% ng data na ginagamit sa pagsasanay ng Toto ay binubuo ng ganap na anonim na numerical metric data points mula sa datadog platform. Sa aming mga eksperimento, ang Toto ay gumagawa ng higit sa mga kasalukuyang mga modelo ng pangunahing serye ng panahon sa data ng observability. Ito ay gumagawa ito habang nagkakahalaga din sa mga pangunahing mga trabaho ng pag-aaralan, pagkuha ng state-of-the-art zero-shot performance sa maraming open benchmark datasets. Sa report na ito, detalyahan namin ang mga sumusunod na mga pangunahing kontribusyon: : I-introduce ang isang advanced attention mechanism na nagbibigay-daan para sa efficient grouping ng multivariate time series mga tampok, pagkuha ng computing overhead habang nagtataguyod ng mataas na katunayan. • Proportional factorized space-time attention : This novel use of a probabilistic model that robustly generalizes Gaussian mixture models enables Toto to more accurately capture the complex dynamics of time series data and provides superior performance over traditional approaches. • Student-T mixture model head : Karamihan sa pangkalahatan multi-domain time series data, Toto ay espesyal na pre-trained sa isang malaking dataset ng Datadog observability metric, na naglalaman ng mga natatanging katangian na hindi nasa open-source datasets. • Domain-specific training data 1 Paglalakbay Ipinapakita namin ang Toto, isang pandaigdigang modelo ng pag-aaralan ng serye ng panahon na binuo ng Datadog. Ang Toto ay dinisenyo para sa mga kompleksidad ng mga data ng observability, na gumagamit ng isang state-of-the-art transformer architecture upang magbigay ng walang partikular na katunayan at pagganap. Ang Toto ay nagtrabaho sa isang malakas na dataset ng iba't-ibang data ng serye ng panahon, na nagbibigay sa kanya ng pag-excellence sa zero-shot predictions. Ang modelo na ito ay itinatag upang matugunan ang karaniwang mga kinakailangan ng real-time analytics, pati na rin ang computing at memory-efficient scalability sa mga mataas na volumes ng data, na nagbibigay ng malakas na mga solusyon 1.1 Observability data Ang Datadog observability platform ay nagkolekta ng isang malalaking array ng mga metrikong sa iba't-ibang subdomain, na mahalaga para sa monitoring at optimization ng modernong infrastructure at mga application. Ang mga metrikong ito ay naglalaman ng mga data ng infrastructure tulad ng paggamit ng memory, CPU load, disk I/O, at network throughput, pati na rin ang mga indicator ng pagganap ng application tulad ng hits count, error rates, at Ang platform ay nagbibigay-daan sa mga gumagamit upang mag-apply ng iba't-ibang mga modelo ng serye ng oras upang proactively i-alert ang mga anomalyal behavior, na nangangahulugan sa isang reduction sa time to detection (TTD) at time to resolution (TTR) ng produksyon incidents [2]. Ang kompleksidad at diversity ng mga metrikong ito ay nagpapakita ng mga pangunahing mga problema para sa pag-aaralan ng serye ng panahon. Ang mga data ng observability ay karaniwang nangangailangan ng mataas na resolusyon ng oras, hanggang sa sekundo o minuto, at ay karaniwang malaki sa maraming zero-inflated metrikos. Sa karagdagang, ang mga metrikos na ito ay maaaring ipakita ang mga karaniwang dynamic range at right-skived distribution. Ang dynamic at non-stable na karanasan ng mga sistema na tinatanggap ay higit pa ang pag-aaralan ng trabaho, na nangangailangan ng mga advanced na mga modelo na maaaring mag-adapt at gawin sa mga kondisyon na ito. 1.2 Traditional models Historically, time series prediction has relied on classical models such as ARIMA, exponential smoothing, and basic machine learning techniques [3]. Habang pangunahing, ang mga modelo na ito ay nangangailangan ng individual training para sa bawat metric, na nagpapakita ng ilang mga limitasyon [4]. Ang kinakailangan upang bumuo at panatilihin ang mga patakaran para sa bawat metric ay nagbabago sa scalability, lalo na dahil ang malakas na range ng metric sa mga data ng observability. Sa karamihan, ang mga modelo na ito ay karaniwang hindi upang generalize sa pagitan ng iba't-ibang mga uri ng metric, na nangangahulugan sa suboptimal na pagganap sa iba't-ibang datasets [5, 6]. Continuous retraining and tuning to adapt to evolving data patterns further increases the operational bur 1.3 Foundation models Large neural network-based generative models, often referred to as “foundation models,” have revolutionized time series forecasting by enabling accurate predictions on new data not seen during training, known as zero-shot prediction [8]. This capability significantly reduces the need for constant retraining on each specific metric, thus saving considerable time and computational resources. Their architecture supports the parallel processing of vast data volumes, facilitating timely insights essential for maintaining system performance and reliability [9, 10]. Sa pamamagitan ng pre-training sa iba't-ibang datasets, generative models exhibit strong generalization sa iba't-ibang uri ng mga data ng serye ng oras. Ang mga ito ay nagbabago ang kanilang mga solidity at versatility, na nagpapahintulot sa mga ito para sa isang iba't-ibang iba't-ibang mga application. Zero-shot predictions ay lalo na atraksyon sa observability domain, kung saan ang mga limitasyon ng mga tradisyonal na paraan ay natagpuan na napaka-acute. Ang pinaka-karaniwang mga kaso ng paggamit para sa mga modelo ng serye ng oras sa isang platform ng observability tulad ng Datadog ay kabilang ang automatic anomaly detection at predictive warning. Ito ay napaka-scale classical prediction methods upang i-manage cloud-based application na maaaring maging • Iba, ang mataas na cardinality at volume ng data ay maaaring gumawa ng pag-atake ng mga individual na mga modelo sa bawat pagkakataon series computably mahal o kahit na intractable. Ang kakayahan sa pagsasanay ng isang single model at paggawa ng inference sa iba't ibang mga domain ay may potensyal na mapabuti dramatically ang efficiency, at sa gayon ang coverage, ng isang autonomous monitoring system. • Ang ikalawang, ang mga elemento ng ephemeral infrastructure ay karaniwang walang sapat na data ng kasaysayan upang matugunan ang isang modelo. Sa kasaysayan, ang mga sistema ng algorithmic alerts ay karaniwang nangangailangan ng isang panahon ng pag-adaptasyon ng araw o linggo bago ang mga ito ay maaaring mabuti-monitor ng isang bagong metric. Gayunpaman, kung ang object na tinuruan ay isang container na may isang panahon ng buhay na inilathala sa mga minuto o oras, ang mga klasikong modelo na ito ay hindi makakapasok upang i-adapt ang mabilis na sapat upang maging magagamit. Ang mga sistema ng real-world ay kaya karaniwang bumalik sa raw heuristics, tulad ng threshold-based alerts, na tumutulong sa kaalaman ng domain ng mga gumagamit. Ang mga modelo ng zero-shot Ang pag-integrasyon ng mga transformer-based modelo [11] tulad ng Toto sa observability data analysis ay nag-aalok ng malubhang pagbabago sa prediction accuracy at efficiency. Ang mga modelo na ito ay nag-aalok ng isang malakas na solusyon para sa pag-manage diversified, high-frequency data at paghahatid ng zero-shot predictions. 1.4 Recent work Ang mga nakaraang ilang taon ay nakikita ang pag-unlad ng mga modelo na batay sa transformer bilang isang malakas na mga tool para sa timing series prediction. Ang mga modelo na ito ay gumagamit ng multi-head self-attention mechanisms upang i-capture long-range dependencies at intricate patterns sa data. Upang tumugon sa mga natatanging mga problema ng mga data ng serye ng panahon, ang mga nakaraang pag-unlad ay inilathala ng iba't ibang mga pagbabago sa mekanismo ng pag-atake. Halimbawa, ang Moirai [15] ay gumagamit ng "any-variant" pangangasiwa sa dependencies ng modelo sa pagitan ng iba't ibang serye sa parehong oras. Ang mga mekanismo ng pag-atake ng factorized [16] ay binuo upang i-capture temporal at spatial (cross-series) interactions separately, pagbutihin ang kakayahan upang malaman ang mga kompleksong interdependencies. Ang iba't ibang mga modelo [17, 18] ay gumagamit ng cross-channel pangangasiwa sa pagitan ng feed-forward networks para sa pag-mixing sa Ang mga inovasyon na mga modelo na batay sa transformer ay nagpapakita ng state-of-the-art na pagganap sa benchmark datasets [14], karaniwang humihinto sa mga tradisyonal na mga modelo sa parehong katunayan at katunayan. Ang kanilang kakayahan sa pagproseso ng high-dimensyonal na data na mahigpit [20] ay gumagawa ng mga ito para sa mga application na naglalaman ng maraming mga metrikong serye ng oras na may iba't ibang mga tampok, tulad ng observability. Gayunpaman, higit pa sa nakaraang taon, ang isang bilang ng mga serye ng panahon "pagsimula ng mga modelo" ay inilabas [15, 19, 21-24]. Sa pamamagitan ng pre-training sa extensive, multi-domain datasets, ang mga malaking mga modelo na ito ay nakikipag-ugnayan ng impressive zero-shot prediction mga kakayahan, nangangahulugan na masiguro ang pangangailangan para sa pangkalahatang re-training. Ang paradigma na ito ay mapagkukunan para sa konteksto ng observability, kung saan kami ay constantly may mga bagong serye ng oras upang pagproseso at karaniwang re-training ay hindi praktikal. 2 Mga Problema Sa Datadog, ang aming data sa serye ng panahon ay naglalaman ng isang iba't ibang mga metrikong observability mula sa maraming subdomains. Ang mga metrikong ito ay nag-aalok ng ilang mga problema para sa mga kasalukuyang mga modelo ng prediction: Ang mga gumagamit ay karaniwang nangangailangan ng data sa mga incentive ng segundo o minuto, hindi tulad ng maraming publicly-available time series datasets na ay sa oras na frequency o higit sa. • High time resolution • ang : Ang mga metrikong tulad ng mga count ng error ay karaniwang nag-track ng mga karaniwang mga kaganapan, na nagpapakita ng mga rarest at zero-inflated time series. Sparsity • ang : Latency measurements sa distributed systems exhibit positive, heavily tailed distribution with extreme values sa mataas na percentiles. Extreme right skew : The behavior of monitored systems changes frequently due to code deployments, infrastructure scaling, feature flag management, and other configuration changes, as well as external factors like seasonality and user-behavior-driven trends. Some time series, such as those monitoring fleet deployments, can also have a very low variance, exhibiting a piecewise-constant shape. • Dynamic, nonstationary systems Ang pananaliksik ng mga malaking flote ng ephemeral cloud infrastructure tulad ng virtual machines (VMs), containers, serverless function, atbp. ay nagdadala sa mataas na cardinality ng data, na may hundreds o libu-libong mga individual na series ng oras, karaniwang may limitadong historical data para sa bawat grupo. • High-cardinality multivariate data Ang mga istorya ng data ay karaniwang naglalaman ng mga outliers at anomalias na sanhi ng mga regresyon ng pagganap o mga incidente ng produksyon. • Historical anomalies Ang mga modelo ng foundation na pre-trained sa iba pang mga domain ay nagkakahalaga upang generalize effectively sa mga data ng observability dahil sa mga katangian na ito. Para sa pagganap ito, natuklasan namin ang Toto, isang state-of-the-art na modelo ng foundation na nagkakahalaga sa prediction ng observability habang nagkakahalaga rin ang pinakamataas na pagganap sa mga standard na open benchmarks. 
 
 Ang artikulong ito ay magagamit sa archiv sa ilalim ng lisensya ng CC BY 4.0. Ang artikulong ito ay magagamit sa archiv sa ilalim ng lisensya ng CC BY 4.0. available on arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

LanguageModels.TECH

Read My Stories

undefined's blog

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Ang Time Series Optimized Transformer Ipasok ng Mga Bagong Pandaigdig sa Observability

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

COVID-19: We Need More Than Data, We Need Insights!

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

State of the Noonion: The Year of Profitability and Product Renaissance

Encrypted Instant Messaging Recommendations January 2017

COVID-19: We Need More Than Data, We Need Insights!

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

State of the Noonion: The Year of Profitability and Product Renaissance

Encrypted Instant Messaging Recommendations January 2017

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps