Автори на: Remi Lam (Google DeepMind) Alvaro Sanchez-Gonzalez (Google DeepMind) Matthew Willson (Google DeepMind) Peter Wirnsberger (Google DeepMind) Meire Fortunato (Google DeepMind) Ferran Alet (Google DeepMind) Suman Ravuri (Google DeepMind) Timo Ewalds (Google DeepMind) Zach Eaton-Rosen (Google DeepMind) Weihua Hu (Google DeepMind) Alexander Merose (Google Research) Stephan Hoyer (Google Research) George Holland (Google DeepMind) Oriol Vinyals (Google DeepMind) Jacklynn Stott (Google DeepMind) Alexander Pritzel (Google DeepMind) Shakir Mohamed (Google DeepMind) Peter Battaglia (Google DeepMind) Автори на: Реми Лам (Google DeepMind) Алваро Санчес-Гонзалес (Google DeepMind) Метју Вилсон (Google DeepMind) Петар Вирнсбергер (Google DeepMind) Меир Фортунато (Google DeepMind) Ферран Алет (Google DeepMind) Суман Равури (Google DeepMind) Тимо Евалдс (Google DeepMind) Зак Ејтон Росен (Google DeepMind) Вајхуа Ху (Google DeepMind) Александар Мерозе (Гугл истражување) Стефан Хојер (Гугл истражување) Џорџ Холанд (Google DeepMind) Ориол Винијалс (Google DeepMind) Џеклин Стот (Google DeepMind) Александар Прицел (Google DeepMind) Шакир Мохамед (Google DeepMind) Петар Батаџија (Google DeepMind) Традиционалните нумерички временски предвидувања користат зголемени компјутерски ресурси за да ја подобрат точноста на предвидувањата, но не можат директно да ги користат историските временски податоци за да го подобрат основниот модел. Ние воведуваме метод базиран на машинско учење наречен „GraphCast“, кој може да се обучи директно од податоците за повторна анализа. Тој предвидува стотици временски варијабли, повеќе од 10 дена со резолуција од 0,25° глобално, за помалку од една минута. Ние покажуваме дека GraphCast значително ги надминува најточните оперативни детерминистички системи на 90% од 1380-те цели за верификација, а неговите предвидувања подобро ги поддржуваат сериозните предвидувања на настаните, вклучувајќи тропски циклони Клучни зборови: Временска прогноза, ECMWF, ERA5, HRES, симулација на учење, графички невронски мрежи Воведување Тоа е 05:45 UTC во средината на октомври, 2022 година, во Болоња, Италија, и Европскиот центар за среден дострел метеоролошки предвидувања (ECMWF) новиот високо перформансен компјутерски објект само што започна со работа. Во изминатите неколку часа на Интегриран систем за предвидување (IFS) работи со софистицирани пресметки за да се предвиди времето на Земјата во наредните денови и недели, а првите предвидувања само што почнаа да се шират на корисниците. Динамиката на временските системи се меѓу најкомплексните физички феномени на Земјата, и секој ден, безброј одлуки донесени од поединци, индустрии и креатори на политики зависи од точни временски предвидувања, од одлучувањето дали да се носат јакна или да избега од опасна бура. Доминантен пристап за временски предвидувања денес е "нумерички временски предвидувања" (NWP), која вклучува решавање на равенките за управување со времето со користење на суперкомпјутери. Успехот на NWP лежи во ригорозни и континуирани истражувачки практики кои обезбедуваат се повеќе детални описи на временските феномени, и колку добро NWP скали до поголема точност со поголеми пресметки ресурси [3, 2]. Како резултат, точноста на Постојат огромни архиви на временски и климатски податоци, како што е MARS на ECMWF [17], но до неодамна имало малку практични средства за користење на такви податоци за директно подобрување на квалитетот на прогнозни модели. Machine learning-based weather prediction (MLWP) offers an alternative to traditional NWP, where forecast models are trained directly from historical data. This has potential to improve forecast accuracy by capturing patterns and scales in the data which are not easily represented in explicit equations. MLWP also offers opportunities for greater efficiency by exploiting modern deep learning hardware, rather than supercomputers, and striking more favorable speed-accuracy trade-offs. Recently MLWP has helped improve on NWP-based forecasting in regimes where traditional NWP is relatively weak, for example sub-seasonal heat wave prediction [16] and precipitation nowcasting from radar images [32, 33, 29, 8], where accurate equations and robust numerical methods are not as available. Во средниот опсег на временските предвидувања, т.е. предвидување на атмосферски променливи до 10 дена напред, NWP-базирани системи како IFS се уште се најпрецизни. Највисокиот детерминистички оперативен систем во светот е ECMWF's High Resolution Forecast (HRES), компонента на IFS која произведува глобални 10-дневни предвидувања со резолуција од 0,1° ширина/должина, за околу еден час [27]. Сепак, во текот на изминатите неколку години, MLWP методите за предвидување на средниот опсег постојано се унапредуваат, олеснувани од бенчмарки како што е WeatherBench [27]. Архитектури за длабоко учење врз основа на конволуционални невронски мрежи [35, 36, 28] и Транс Графички Тука го воведуваме новиот пристап на MLWP за глобално предвидување на времето на среден обем наречен "GraphCast", кој произведува точна 10-дневна прогноза за помалку од една минута на еден Google Cloud TPU v4 уред и поддржува апликации вклучувајќи предвидување тропски циклони, атмосферски реки и екстремни температури. GraphCast ги зема како внес двете најнови состојби на времето на Земјата – тековното време и шест часа порано – и ја предвидува следната состојба на времето шест часа напред. Една временска состојба е претставена со мрежа од 0,25° ширина / должина (721 × 1440), што одговара на приближно 28 × 28 километри резолуција на екваторот (Слика 1a), каде што секоја точка на мрежата претставува збир на површински и атмосферски променливи (наведени во Табела 1). GraphCast се имплементира како архитектура на невронски мрежи, врз основа на GNNs во конфигурација "кодирање-процес-декодирање" [1], со вкупно 36,7 милиони параметри. Кодерот (Слика 1d) користи еден GNN слој за да ги мапира променливите (нормализирани до нула-средна единица-варијанса) претставени како атрибути на јазли на влезната мрежа до атрибути на научени јазли на внатрешна мулти-меша репрезентација. Мулти-меша (Слика 1g) е графикон кој е просторно хомогена, со висока просторна резолуција низ целиот свет. Тоа е дефинирано со рафинирање на редовна икосахедрон (12 јазли, 20 лица, 30 рабови) итеративно шест пати, каде што секој рафинирање го дели секој триаголник во четири помали (водејќи до четири пати повеќе лица и рабови), и репродукција на јазли на сферата. Мулти-меша содржи 40962 јазли од највисоката резолуција мрежа, и унијата на сите рабови создадени во средните графикони, формирајќи рамна хиерархија на рабови со варирачки должини. Процесорот (Слика 1e) користи 16 несподелени слоеви на GNN за да изврши учено пренесување на пораки на мулти-меша, овозможувајќи ефикасна локална и далечина на информации за ширење со неколку чекори за пренесување пораки. Декодерот (Слика 1f) ги мапира научените карактеристики на конечниот слој на процесорот од мулти-меша репрезентацијата назад во мрежата на ширина-должина. Тој користи еден слој на GNN и го предвидува излезот како остаток на ажурирање на најновата состојба на влез (со нормализација на излезот за да се постигне единица-варијанса на остатокот на целта). За време на развојот на моделот, користевме 39 години (1979-2017) на историски податоци од архивата за повторно анализирање на ERA5 [10] на ECMWF. Како цел за обука, ја просечивме просечната квадратна грешка (MSE) тежена по вертикално ниво. Грешката беше пресметана помеѓу предвидената состојба на GraphCast и кореспондирачката состојба на ERA5 преку N авторегресивни чекори. Вредноста на N се зголеми постепено од 1 до 12 (т.е. шест часа до три дена) во текот на обуката. GraphCast беше обучен да ја минимизира целта за обука користејќи градиентно спуштање и репродукција. Обуката GraphCast траеше околу четири недели на уредите Cloud 32 TPU v4 користејќи Во согласност со реалните сценарија за имплементација, каде што идните информации не се достапни за развој на модели, го оценувавме GraphCast на податоците од 2018 година (види Додатоци оддел 5.1). Методи за проверка Ние ги проверуваме вештините за предвидување на GraphCast на сеопфатна основа со споредување на нејзината точност со HRES на голем број варијабли, нивоа и време на водење. Ние ги квантифицираме соодветните вештини на GraphCast, HRES и ML базилни линии со две вештини метрики: коренот просечна грешка квадрат (RMSE) и коефициентот на корелација на аномалијата (ACC). Од 227 променливи и комбинации на ниво предвидени од страна на GraphCast на секоја точка на мрежата, ја оценијаме неговата вештина во однос на HRES на 69 од нив, што одговара на 13 нивоа на WeatherBench[27] и променливи од ECMWF Scorecard [9]; видете смели променливи и нивоа во Табела 1 и Додатоци Секција 1.2 за кои HRES циклусот беше во функција за време на периодот на оценување. Забелешка, ние ги исклучуваме вкупните врнежи од оценката, бидејќи податоците за врнежи на ERA5 имаат познати предрасуди [15]. Во прилог на вкупните перформанси пријавени во главниот текст, Додатоците Секција 7 обезбедува понатамошни детални проценки, вклучувајќи При спроведувањето на овие споредби, два клучни избори се темели на тоа како вештината е воспоставена: (1) изборот на основна вистина за споредба, и (2) внимателно пресметување на прозорците за асимилација на податоците што се користат за заземјување на податоците со набљудувањата. Ние користиме ERA5 како основна вистина за оценување на GraphCast, бидејќи беше обучен да ги земе податоците од ERA5 како влез и да ги предвиди податоците од ERA5 како излез. Сепак, оценувањето на HRES предвидувањата во однос на ERA5 би резултирало со не-нула грешка на почетниот чекор на предвидувањето. Наместо тоа, изградивме „HRES прогноза на чекор 0“ (HRES Поради природата на податоците за временските предвидувања, ова бара внимателна контрола на разликите помеѓу ERA5 и HRES прозорците за асимилација на податоците. Секој ден, HRES ги асимилира набљудувањата користејќи четири +/-3h прозорци центрирани на 00z, 06z, 12z и 18z (каде што 18z значи 18:00 UTC), додека ERA5 користи два +9h/-3h прозорци центрирани на 00z и 12z, или еквивалентно два +3h/-9h прозорци центрирани на 06z и 18z. Избравме да ги процениме предвидувањата на GraphCast од 06z и 18z иницијализации, осигурувајќи дека нејзините влезови носат информации од +3h на идните набљудувања Прогнозите на HRES иницијализирани на 06z и 18z се изведуваат само за хоризонт од 3,75 дена (иницијализациите на HRES 00z и 12z се изведуваат за 10 дена). Затоа, нашите бројки ќе укажуваат на транзиција со пресечена линија, каде што 3,5 дена пред линијата се споредби со HRES иницијализирани на 06z и 18z, а по линијата се споредби со иницијализации на 00z и 12z. Резултати од прогнозата за верификација Ние откриваме дека GraphCast има поголема вештина за предвидување на времето од HRES кога се оценува на 10-дневни предвидувања со хоризонтална резолуција од 0,25° за широчина / должина и на 13 вертикални нивоа. Фигура 2а-в покажува како GraphCast (сини линии) ги надминува HRES (црни линии) на полето z500 (геопотенцијално на 500 hPa) "главна линија" во однос на вештината RMSE, RMSE вештина резултат (т.е. нормализираната разлика RMSE помеѓу моделот А и основна линија Б дефинирана како (RMSEA − RMSEB)/RMSEB), и вештината ACC. Користењето на z500, кој го кодира дистрибуцијата на притисокот на синоптичката скала, е вообичаено во литературата, бидејќи има силна метеоролошка важност [27]. Заплетот покажува дека GraphCast има подобри вештини резултати во сите водечки времиња, со подобрување на вештината резултат од околу 7 Фигура 2d ги сумира резултатите од вештината на RMSE за сите 1380 оценети варијабли и нивоа на притисок, во текот на 10-дневните предвидувања, во формат сличен на ECMWF Scorecard. Целните бои се пропорционални на вештината, каде што синото укажува на GraphCast имаше подобра вештина, а црвеното укажува на HRES имаше повисока вештина. GraphCast го надмина HRES на 90.3% од целите на 1380 и значително (p ≤ 0.05, номинална големина на примерокот n ∈ {729, 730}) го надмина HRES на 89.9% од целите. Регионите на атмосферата во кои HRES имал подобри перформанси од GraphCast (горните редови во црвено во резултатните картички), биле непропорционално локализирани во стратосферата и имале најниска тежина за губење на обуката (види Додатоци Дел 7.2.2). Кога се исклучува нивото на 50 hPa, GraphCast значително го надминува HRES на 96,9% од преостанатите 1280 цели. Кога се исклучува нивото на 50 и 100 hPa, GraphCast значително го надминува HRES на 99,7% од преостанатите 1180 цели. Откривме дека зголемувањето на бројот на авторегресивни чекори во загубата на MSE ги подобрува перформансите на GraphCast со подолго време на водење (види Дел 7.3.2 од Додатоците) и го охрабрува да ја изрази својата несигурност со предвидување на просторно изгладени излези, што доведува до поблиски предвидувања со подолго време на водење (види Дел 7.5.3 од Додатоците). Физичките равенки на HRES, сепак, не доведуваат до замаглување на предвидувањата. За да се процени дали релативната предност на GraphCast над HRES во RMSE вештина се одржува ако HRES исто така е дозволено да ги замагли своите предвидувања, ние ги прилагодуваме филтри Исто така, ги споредивме перформансите на GraphCast со најдобриот конкурентен ML-базиран временски модел, Pangu-Weather [4], и откривме дека GraphCast го надминува на 99,2% од 252 цели што ги презентирале (види Додатоци дел 6 за детали). Тешки настани прогнозирање резултати Покрај оценувањето на вештината за предвидување на GraphCast во однос на HRES во широк спектар на варијабли и времеви, ние исто така оценуваме како неговите предвидувања поддржуваат предвидување на тешки настани, вклучувајќи тропски циклони, атмосферски реки и екстремни температури. Тропски циклони Подобрувањето на точноста на прогнозите за тропските циклони може да помогне да се избегнат повреди и загуби на живот, како и да се намали економската штета [21]. Постоењето, силата и траекторијата на циклонот се предвидуваат со примена на алгоритам за следење на предвидувањата за геопотенцијалните (z), хоризонталниот ветер (10 U/10 v, U/v) и просечниот притисок на морското ниво (MsL). Ние имплементиравме алгоритам за следење врз основа на истите објавени протоколи на ECMWF [20] и ги применивме на предвидувањата на GraphCast, за да произведеме предвидувања за траекторијата на циклонот (види Додатоци, Дел 8.1). Како база за според Фигура 3а покажува дека GraphCast има пониска медиумска грешка во трекот од HRES во текот на 2018-2021. Како што грешките по трек за HRES и GraphCast се корелира, ние, исто така, ја измеривме разликата за грешка парена по трек помеѓу двата модела и откривме дека GraphCast е значително подобар од HRES за време на водење од 18 часа до 4,75 дена, како што е прикажано во Фигура 3б. Атмосферски реки Атмосферските реки се тесни региони на атмосферата кои се одговорни за поголемиот дел од транспортот на водена пареа низ средните ширини и генерираат 30%-65% од годишните врнежи на западниот брег на САД [6]. Нивната сила може да се карактеризира со вертикално интегрираниот транспорт на водна пареа IvT [23, 22], укажувајќи дали настан ќе обезбеди корисни врнежи или да биде поврзан со катастрофални штети [7]. IvT може да се пресмета од нелинеарната комбинација на хоризонталната брзина на ветрот (U и v) и специфичната влажност (Q), што го предвидува GraphCast. Ние ги оценуваме предвидувањата на GraphCast за крајбрежната Северна Америка и Источниот Пацифик за време на сту Екстремна топлина и студ Екстремната топлина и студот се карактеризираат со големи аномалии во однос на типичната климатологија [19, 16, 18], кои можат да бидат опасни и да ја нарушат човечката активност. Ние ја оценуваме вештината на HRES и GraphCast во предвидувањето на настаните над топ 2% климатологија во текот на локацијата, времето на денот и месецот од годината, за 2 T во 12-часовно, 5-дневно и 10-дневно време, за копнени региони низ северната и јужната хемисфера во текот на летните месеци. Ние ги испланираме кривите за прецизно потсетување [30] за да ги одразуваме можните различни компромиси помеѓу намалување на лажните позитиви (висока прецизност) и намалување на лажните негативи (висо Сликата 3d покажува дека кривите за прецизно враќање на GraphCast се над HRES за време на водење од 5 и 10 дена, што укажува на тоа дека предвидувањата на GraphCast генерално се повисоки од HRES при екстремна класификација на подолги хоризонти. За разлика од тоа, HRES има подобро прецизно враќање на 12-часовното време на водење, што е во согласност со 2 T вештина резултат на GraphCast над HRES што е близу до нула, како што е прикажано на сликата 2d. Ефект на обука на податоци за неодамна GraphCast може периодично да се обучува со најновите податоци, што во принцип му овозможува да ги фати временските модели кои се менуваат со текот на времето, како што се ENSO циклусот и другите осцилации, како и ефектите од климатските промени. Ние обучивме четири варијанти на GraphCast со податоци кои секогаш почнаа во 1979 година, но завршија во 2017, 2018, 2019 и 2020 година, респективно (ние ја означивме варијантата која завршува во 2017 година како "GraphCast:<2018", итн). Фигура 4 ги прикажува резултатите од вештината (нормализирани со GraphCast:<2018) на четирите варијанти и HRES, за z500. Откривме дека додека перформансите на GraphCast кога се обучени до пред 2018 година се уште се конкурентни со HRES во 2021 година, обуката до пред 2021 година дополнително ги подобрува резултатите од вештината (види Додатоци Дел 7.1.3). Заклучоци Вештината и ефикасноста на предвидувањето на GraphCast во споредба со HRES покажуваат дека методите MLWP сега се конкурентни со традиционалните методи за предвидување на времето. Покрај тоа, перформансите на GraphCast за предвидување на тешки настани, за кои не е директно обучен, ја демонстрираат својата робушност и потенцијал за надополнување на вредноста. Веруваме дека ова претставува пресвртна точка во предвидувањето на времето, што помага да се отворат нови патишта за зајакнување на ширината на донесувањето одлуки зависни од времето од страна на поединци и индустрии, со тоа што евтината прогноза е попрецизна, попристапна и погодна за специфични апликации. Со 36,7 милиони параметри, GraphCast е релативно мал модел според современите МЛ стандарди, избран за да го задржи трагичниот отпечаток на меморијата. И додека HRES е објавен на 0,1° резолуција, 137 нивоа и до 1 час временски чекори, GraphCast работеше на 0,25° резолуција на ширина-должина, 37 вертикални нивоа и 6 часа временски чекори, поради 0.25° резолуција на податоците за обука на ERA5 и инженерските предизвици во прилагодувањето на податоците со повисока резолуција на хардверот. Еден од клучните ограничувања на нашиот пристап е во начинот на кој се управува со неизвесноста. Ние се фокусиравме на детерминистичките предвидувања и во споредба со HRES, но другиот столб на IFS на ECMWF, системот за предскажување на ансамблот, ENS, е особено важен за 10+ денови предвидувања. Нелинеарноста на временската динамика значи дека постои зголемена неизвесност во подолги води, што не е добро зафатено од страна на една детерминистичка прогноза. ENS го решава ова со генерирање на повеќе, стохастички предвидувања, кои ја моделираат емпириската дистрибуција на идните временски услови, но генерирањето на повеќе предвидувања е скапо. За разлика, целта за обука на Gra Важно е да се нагласи дека MLWP базиран на податоци зависи критички од големи количини на висококвалитетни податоци, асимилирани преку NWP, и дека богатите извори на податоци како архивите на ECMWF MARS се непроценливи. Затоа, нашиот пристап не треба да се смета за замена за традиционалните методи за прогнозирање на времето, кои се развиени со децении, строго тестирани во многу реални контексти и нудат многу карактеристики што сè уште не ги истражуваме. Покрај временските предвидувања, GraphCast може да отвори нови насоки за други важни гео-просторно-временски проблеми за предвидување, вклучувајќи ги климата и екологијата, енергијата, земјоделството и човечката и биолошката активност, како и други комплексни динамички системи. Достапност на податоци и материјали Кодот на GraphCast и обучените тегови се јавно достапни на github https://github.com/ deepmind/graphcast. Оваа работа користи јавно достапни податоци од Европскиот центар за прогнозирање на среден опсег (ECMWF). Ние ги користиме ECMWF архивите (исполнети во реално време) производи за ERA5, HRES и TIGGE производи, чие користење е регулирано со Creative Commons Attribution 4.0 International (CC BY 4.0). Ние користиме IBTrACS верзија 4 од https://www.ncei.noaa.gov/ products/international-best-track-archive and reference [13, 12] како што е потребно. Земјата текстура во слика 1 се користи под CC BY 4.0 од https://www.solarsystemscope.com/ textures/. Признанија Во азбучен ред, им се заблагодаруваме на Kelsey Allen, Charles Blundell, Matt Botvinick, Zied Ben Bouallegue, Michael Brenner, Rob Carver, Matthew Chantry, Marc Deisenroth, Peter Deuben, Marta Garnelo, Ryan Keisler, Dmitrii Kochkov, Christopher Mattern, Piotr Mirowski, Peter Norgaard, Ilan Price, Chongli Qin, Sébastien Racanière, Stephan Rasp, Yulia Rubanova, Kunal Shah, Jamie Smith, Daniel Worrall и безброј други во Alphabet и ECMWF за советите и повратните информации за нашата работа. Исто така, им се заблагодаруваме на ECMWF за обезбедувањето непроценливи збирки на податоци за истражувачката заедница. Стилот на отворањето беше инспи Референци [1] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Релативни индуктивни предрасуди, длабоко учење и графички мрежи. arXiv preprint arXiv:1806.01261, 2018. [2] П. Бауер, А. Торп и Г. Брунет. Тивката револуција на нумеричката временска прогноза. Природа, 525, 2015. [3] Стенли Г Бенџамин, Џон М Браун, Гилберт Брунет, Петер Линч, Казуо Саито и Томас В Шлатер. 100 години напредок во предвидувањето и апликациите за НВП. [4] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu и Qi Tian. Pangu-Weather: 3D модел со висока резолуција за брза и точна глобална временска прогноза. [5] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. The THORPEX interactive grand global ensemble. Bulletin of the American Meteorological Society, 91(8):1059–1072, 2010. [6] WE Chapman, AC Subramanian, L Delle Monache, SP Xie и FM Ralph. Подобрување на атмосферските речни предвидувања со машинско учење. [7] Томас В Corringham, Ф Мартин Ralph, Александар Gershunov, Даниел R Cayan, и Кари A Talbot. Атмосферски реки се движат штети од поплави во западниот дел на САД. Науката напредува, 5(12):eaax4631, 2019. [8] Lasse Espeholt, Shreya Agrawal, Casper Sønderby, Manoj Kumar, Jonathan Heek, Carla Bromberg, Cenk Gazen, Rob Carver, Marcin Andrychowicz, Jason Hickey, et al. Deep learning for twelve hour precipitation forecasts. Nature communications, 13(1):1–10, 2022. [9] T Haiden, Martin Janousek, J Bidlot, R Buizza, Laura Ferranti, F Prates, и F Vitart. Евалуација на прогнозите на ECMWF, вклучувајќи го и надградбата за 2018 година. [10] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers, et al. Глобалната реанализа на ERA5. Квартален весник на Кралското метеоролошко друштво, 146(730):1999–2049, 2020. [11] Рајан Кејслер. Прогнозирање на глобалното време со графички невронски мрежи. arXiv preprint arXiv:2202.07575, 2022. [12] Kenneth R Knapp, Howard J Diamond, James P Kossin, Michael C Kruk, Carl J Schreck, et al. Меѓународен најдобар архив за управување со климата (IBTrACS) проект, верзија 4. https: //doi.org/10.25921/82ty-9e16, 2018 година [13] Kenneth R Knapp, Michael C Kruk, David H Levinson, Howard J Diamond и Charles J Neumann. Меѓународниот најдобар архив за управување со климата (IBTrACS) обединува тропски циклони податоци. [14] Thorsten Kurth, Shashank Subramanian, Peter Harrington, Jaideep Pathak, Morteza Mardani, David Hall, Andrea Miele, Karthik Kashinath, и Animashree Anandkumar. FourCastNet: Забрзување на глобалната временска прогноза со висока резолуција со користење на адаптивни четворни невронски оператори. arXiv preprint arXiv:2208.05419, 2022. [15] Дејвид А Лаверс, Адријан Симонс, Фреја Вамборг и Марк Џеј Родвел. Евалуација на ЕРА5 врнежи за мониторинг на климата. Квартален весник на Кралското метеоролошко друштво, 148(748):3152–3165, 2022. [16] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal и Jason Hickey. Глобална екстремна топлина предвидување со користење на невронски временски модели. Вештачка интелигенција за Земјините системи, страници 1-41, 2022. [17] Карстен Маас и Есперанца Куатеро. MARS корисничка документација. https://confluence. ecmwf.int/display/UDOC/MARS+user+documentation, 2022. [18] Линус Магнусон. 202208 - топлотен бран - гр. https://confluence.ecmwf.int/display/ FCST/202208+-+Топлотен бран+-+Велика Британија, 2022. [19] Линус Магнусон, Томас Хајден и Дејвид Ричардсон. Верификација на екстремни временски настани: Дискретни предвидувања. [20] Linus Magnusson, Sharanya Majumdar, Rebecca Emerton, David Richardson, Magdalena Alonso-Balmaseda, Calum Baugh, Peter Bechtold, Jean Bidlot, Antonino Bonanni, Massimo Bonavita, et al. Тропски активности циклони на ECMWF. ECMWF Технички меморандум, 2021. [21] Андреј Б Мартинез. Прецизноста на предвидувањето е важна за оштетувањето од ураганот. Економетрија, 8(2):18, 2020. [22] Бенџамин Џеј Мур, Пол Џеј Нејман, Ф Мартин Ралф и Фај Е Бартолд. Физички процеси поврзани со силните поплави во Нашвил, Тенеси, и околината за време на 1–2 мај 2010: Улогата на атмосферската река и конвективните системи во мезоскала. Месечен временски преглед, 140(2):358–378, 2012. [23] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist, и Michael D Dettinger. метеоролошки карактеристики и надземни врнежи влијанија на атмосферски реки кои влијаат на западниот брег на Северна Америка врз основа на осум години на ssm / i сателитски набљудувања. [24] Tung Nguyen, Johannes Brandstetter, Ashish Kapoor, Jayesh K Gupta, и Aditya Grover. ClimaX: Основен модел за времето и климата. arXiv препринт arXiv:2301.10343, 2023. [25] Jaideep Pathak, Shashank Subramanian, Peter Harrington, Sanjeev Raja, Ashesh Chattopad-hyay, Morteza Mardani, Thorsten Kurth, David Hall, Zongyi Li, Kamyar Azizzadenesheli, et al. Fourcastnet: Глобален временски модел со висока резолуција управуван од податоци со користење на адаптивни четворица невронски оператори. arXiv preprint arXiv:2202.11214, 2022. [26] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez, и Peter Battaglia. Учење мрежа базирана симулација со графички мрежи. во Меѓународната конференција за учење претставувања, 2021. [27] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid, и Nils Thuerey. WeatherBench: сет на референтни податоци за временски предвидувања базирани на податоци. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [28] Stephan Rasp и Nils Thuerey. податоци водени среден опсег временска прогноза со resnet преттренирани на климатски симулации: Нов модел за метеоролошкиот стол. [29] Суман Равури, Карел Ленц, Метју Вилсон, Дмитриј Кангин, Реми Лам, Пјотр Мировски, Меган Фицсимонс, Марија Атанасиадоу, Шелеем Кашем, Сам Маџ, итн. Уметни врнежи сегакастување со користење на длабоки генеративни модели на радар. Природа, 597(7878):672–677, 2021. [30] Takaya Saito и Марк Rehmsmeier. прецизно-сеќавање заговор е повеќе информативни од ROC заговор при оценување на бинарни класификатори на нерамнотежен сетови на податоци. PloS еден, 10(3):e0118432, 2015. [31] Алваро Санчез-Гонзалес, Џонатан Годвин, Тобиас Пфаф, Рекс Јинг, Јуре Лесковец и Петер Батаља. Учење да се симулира комплексна физика со графички мрежи. Во Меѓународната конференција за машинско учење, страници 8459-8468. PMLR, 2020. [32] Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong, и Wang-chun Woo. Длабоко учење за опаѓање сегаcasting: бенчмарк и нов модел. Напредности во системите за обработка на невронски информации, 30, 2017. [33] Casper Kaae Sønderby, Lasse Espeholt, Jonathan Heek, Mostafa Dehghani, Avital Oliver, Tim Salimans, Shreya Agrawal, Jason Hickey, и Nal Kalchbrenner. Metnet: Невронски временски модел за предвидување на врнежите. arXiv претпријатие arXiv:2003.12140, 2020. [34] Ричард Свинбанк, Масајуки Киуда, Пиерс Буканан, Лиззи Фруде, Томас М. Хамил, Тим Д. Хјусон, Јулија Х. Келер, Мио Мацуеда, Џон Метвен, Флоријан Папенбергер, Мајкл Шеуер, Хелен А. Титли, Лоренс Вилсон и Минехико Јамагучи. Проектот TIGGE и неговите достигнувања. Бултен на Американското метеоролошко друштво, 97(1):49 – 67, 2016. [35] Џонатан А Вејн, Дејл Дурран и Рич Каруана. Може ли машините да научат да го предвидат времето? Користење на длабокото учење за да се предвиди геопотенцијалната висина на мрежата од 500 hPa од историските временски податоци. [36] Џонатан А Вејн, Дејл Дурран и Рич Каруана. Подобрување на глобалната временска прогноза заснована на податоци со користење на длабоки конволуционални невронски мрежи на кубична сфера. 1 Податоци Во овој дел, ние даваме преглед на податоците што ги користиме за обука и евалуација на GraphCast (Секција за додатоци 1.1), податоците кои ги дефинираат предвидувањата на NWP baseline HRES, како и HRES-fc0, кои ги користиме како основна вистина за HRES (Секција за додатоци 1.2). Ние изградивме повеќе сетови на податоци за обука и евалуација, кои се состојат од подсетови на архивите на ECMWF и IBTrACS [29, 28]. Ние генерално ги разликуваме изворните податоци, кои ги нарекуваме „архив“ или „архивирани податоци“, во однос на сетовите на податоци што ги изградивме од овие архиви, кои ги нарекуваме „даточни сетови“. 1.1 Ера 5 За обука и евалуација на GraphCast, го изградивме нашиот сет на податоци од подсет на ERA5 [24]1 архивата на ECMWF, кој е голем корпус на податоци кои го претставуваат глобалното време од 1959 до сегашноста, со резолуција од 0,25° ширина/должина, и 1 час зголемувања, за стотици статички, површински и атмосферски варијабли. Архивот ERA5 се базира на повторна анализа, која го користи моделот HRES на ECMWF (циклус 42r1) кој беше оперативен за поголемиот дел од 2016 година (види Табела 3), во рамките на системот за асимилација на податоци ECMWF 4D-Var. Нашата ERA5 база на податоци содржи поднабор на достапни променливи во ECMWF ERA5 архивата (Табела 2), на 37 нивоа на притисок: 1, 2, 3, 5, 7, 10, 20, 30, 50, 70, 100, 125, 150, 175, 200, 225, 250, 300, 350, 400, 450, 500, 550, 600, 650, 700, 775, 800, 825, 850, 875, 900, 925, 950, 975, 1000 hPa. Опсегот на години вклучени беше 1979-01-01 до 2022-01-10, кои беа намалени во временски интервали од 6 часа (што одговара на 00z, 06z, 12z и 18z секој ден). 1.2 Загриженост Евалуацијата на основата на моделот на ХРЕС бара два одделни сетови на податоци, имено податоци за прогнози и податоци за вистината на теренот, кои се сумираат во следните подсекции. HRES генерално се смета за најточниот детерминистички NWP-базиран временски модел во светот, па за да ја процениме базата на HRES, изградивме сет на податоци од архивираните историски предвидувања на HRES. HRES редовно се ажурира од ECMWF, така што овие предвидувања го претставуваат најновиот модел на HRES во времето кога беа направени предвидувањата. HRES operational forecasts Потоа просторно ги намаливме предвидувањата до мрежа од 0,25° ширина / должина (за да се усогласат со резолуцијата на ERA5) користејќи ја библиотеката Metview на ECMWF, со параметри за регресија по претпоставка. Ние ги намаливме на временски интервали од 6 часа. Постојат две групи на HRES предвидувања: оние иницијализирани на 00z/12z кои се ослободуваат за 10 дневни хоризонти, и оние иницијализирани на 06z/18z кои се ослободуваат за 3,75 дневни хоризонти. За да ја процениме вештината на оперативните предвидувања на HRES, изградивме база на податоци „HRES-fc0“, базирана на архивите за оперативни предвидувања на HRES на ECMWF. Овој сет на податоци го вклучува почетниот временски чекор на секоја HRES прогноза, во време на иницијализација 00z, 06z, 12z и 18z (види слика 5). HRES-fc0 податоците се слични на податоците на ERA5, но се асимилира со користење на најновиот ECMWF NWP модел во времето на предвидувањето и ги асимилира набљудувањата од ± 3 часа околу соодветниот датум и време. Забелешка, ECMWF исто така обезбедува архива на податоци за „Анализа на HRES“ кои HRES-fc0 Многу мал дел од вредностите од архивата на ECMWF HRES за променливите геопотенцијали на 850hPa (z850) и 925hPa (z925) не се броеви (NaN). Овие NaN се чини дека се распоредени еднакво низ опсегот од 2016-2021 година и во текот на предвидените времиња. Ова претставува околу 0,00001% од пикселите за z850 (1 пиксел на секои десет 1440 x 721 рамки на должина на ширина), 0,00000001% од пикселите за z925 (1 пиксел на секои десет илјади 1440 x 721 рамки на должина на ширина на ширина) и нема мерливо влијание врз перформансите. За полесна споредба, ги пополнивме овие недостапни вредности со тежок просек HRES NaN handling 1.3 Тропски циклони За нашата анализа на тропските циклони предвидување, ние го користевме IBTrACS [28, 29, 31, 30] архив за да се изгради базата на податоци на земјата вистина. Ова вклучува историски циклони траги од околу десетина авторитетни извори. Секоја трага е временска серија, на интервали од 6 часа (00z, 06z, 12z, 18z), каде што секој временски период го претставува окото на циклонот во координати ширина / должина, заедно со соодветната Saffir-Simpson категорија и други релевантни метеоролошки карактеристики во тој момент во времето. За почетната линија на HRES, го користевме TIGGE архивот, кој обезбедува циклони кои се проценуваат со оперативниот тракер, од HRES предвидувањата на 0,1° резолуција [8, 46]. Податоците се чуваат како XML датотеки достапни за преземање под https://confluence.ecmwf.int/display/TIGGE/Tools. За да ги конвертираме податоците во формат погоден за понатамошна пост-обработка и анализа, имплементиравме аналитичар кој ги извлекува циклонските траги за годините на интерес. Релевантните секции (tags) во XML датотеките се оние од типот „forecast“, кои обично содржат повеќе траги кои одговараат на различни почетни предвидувања. Со овие Види Дел 8.1 за детали за алгоритам за следење и резултати. Нотација и изјава за проблем Во овој дел, ние дефинираме корисни временски нотации за употреба во целиот документ (секција 2.1), формализираме општ проблем за прогнозирање што го решаваме (секција 2.2), и детално како го моделираме состојбата на времето (секција 2.3). 2.1 Временска нотација Временската нотација што се користи во предвидувањето може да биде збунувачка, вклучувајќи голем број различни временски симболи, на пример, за да се означи почетното време за предвидување, време на валидност, хоризонт за предвидување итн. Затоа, ние воведуваме некои стандардизирани термини и нотација за јасност и едноставност. Ние се однесуваме на одредена точка во времето како „дата-време“, означено со календарски датум и UTC време. На пример, 2018-06-21_18:00:00 значи 21 јуни 2018, во 18:00 UTC. За кратко, ние исто така понекогаш ја користиме Конвенцијата на Зулу, односно 00z, 06z, 12z, 18z значи 00:00, 06:00, 12:00, 18:00 UTC, респективно. t: Индекс на чекори за време на прогнозата, кој го индексира бројот на чекори откако беше иницијализирана прогнозата. T: Хоризонт за прогнозирање, кој го претставува вкупниот број на чекори во прогнозата. d: Време на валидност, што укажува на датумот-времето на одредена временска состојба. d0: Време на иницијализација на прогнозата, што укажува на времето на валидност на почетните влезови на прогнозата. Δd: Прогнозирање на времетраењето на чекорот, укажувајќи колку време поминува во текот на еден чекор на прогнозирање. τ: Прогнозно време на водење, кое го претставува изминатото време во прогнозата (т.е. τ = tΔd). 2.2 Општа прогноза за проблематичноста Временската еволуција на вистинската временска динамика може да се претставува со основна дискретна временска функција, Φ, која ја генерира состојбата на следниот временски чекор (Δd во иднина) врз основа на тековниот, односно Zd+Δd = Φ(Zd). Нашата цел е да најдеме точен и ефикасен модел, φ, на вистинската динамичка функција, Φ, која ефикасно може да ја предвиди состојбата на времето во текот на некој прогнозен хоризонт, TΔd. Ние претпоставуваме дека не можеме директно да го набљудуваме Zd, но наместо тоа имаме само некои делумно набљудување Xd, што е нецелосно претставување на информациите за состојбата потребни за совршено да се предвиди времето. Xd−Δd , Xd−2Δd , ..., покрај Xd. Моделот потоа, во принцип, може да ги искористи овие дополнителни контекстни информации за да го приближи Zd попрецизно. Аналогно на равенката (1), предвидувањето X ̈d+Δd може да се врати во φ за авторегресивно да произведе целосна прогноза, Ние го оценуваме квалитетот на предвидувањето, или вештината, на φ со квантификување на тоа колку добро предвидената траекторија, X ̈d+Δd:d+T Δd , одговара на траекторијата на основната вистина, Xd+Δd:d+TΔd . Сепак, важно е повторно да се нагласи дека Xd+Δd:d+TΔd ги содржи само нашите набљудувања на Zd+Δd:d+TΔd , кои самиот не се набљудува. што е експлицитно опишано во Дел 5. Во нашата работа, временската резолуција на податоците и предвидувањата секогаш била Δd = 6 часа со максимален хоризонт за предвидување од 10 дена, што одговара на вкупно T = 40 чекори. Бидејќи Δd е константа во текот на овој документ, можеме да ја поедноставиме нотацијата користејќи (Xt, Xt+1, . . . , Xt+T ) наместо (Xd, Xd+Δd , . . , Xd+TΔd ), за да го индексираме времето со цели броеви наместо со специфичен датум-време. Моделирање на временските податоци на ECMWF For training and evaluating models, we treat our ERA5 dataset as the ground truth representation of the surface and atmospheric weather state. As described in Section 1.2, we used the HRES-fc0 dataset as ground truth for evaluating the skill of HRES. Во нашиот сет на податоци, временската состојба на ERA5 Xt ги содржи сите променливи во Табела 2, со резолуција од 0,25° хоризонтална ширина-должина со вкупно 721 × 1440 = 1, 038, 240 точки на мрежата и 37 вертикални нивоа на притисок. Атмосферските променливи се дефинирани на сите нивоа на притисок, а сетот на (хоризонталните) точки на мрежата е даден со G0.25◦ = {−90.0, −89.75, . . . . , 90.0} × {−179.75, −179.5, . . . , 180.0}. Овие променливи се единствено идентификувани со нивното кратко име (и нивото на притисок, за атмосферските променливи). На пример, површинската променлива „2 мет Од сите овие променливи, нашиот модел предвидува 5 површински променливи и 6 атмосферски променливи за вкупно 227 целни променливи. Неколку други статички и/или надворешни променливи исто така беа обезбедени како внес контекст за нашиот модел. Овие променливи се прикажани во Табела 1 и Табела 2. Ние се однесуваме на поднаборот на променливи во Xt кои одговараат на одредена точка на мрежата i (1,038,240 вкупно) како xt, и на секоја променлива j од 227 целни променливи како xt. Целосната состојба претставување Xtii, j затоа содржи вкупно 721 × 1440 × (5 + 6 × 37) = 235, 680, 480 вредности. GraphCast модел Овој дел обезбедува детален опис на GraphCast, почнувајќи со авторегресивна генерација на прогноза (секција 3.1), преглед на архитектурата во обичен јазик (секција 3.2), по што следува технички опис на сите графикони кои го дефинираат GraphCast (секција 3.3), нејзиниот енкодер (секција 3.4), процесор (секција 3.5), и декодер (секција 3.6), како и сите детали за нормализација и параметеризација (секција 3.7). 3.1 Создавање на прогноза Our GraphCast model is defined as a one-step learned simulator that takes the role of 𝜙 in Equation (2) and predicts the next step based on two consecutive input states, Како и во еднаквоста (3), можеме да го примениме GraphCast итеративно за да произведеме прогноза. Ова е илустрирано на сликата 1б,в. Во раните експерименти откривме дека две состојби на влез давале подобри перформанси од една, и дека три не помогнале доволно за да го оправдаат зголемениот мемориски отпечаток. 3.2 Архитектонски преглед Основната архитектура на GraphCast користи GNNs во „кодирање-процес-декодирање“ конфигурација [6], како што е прикажано на сликата 1d,e,f. GNN-базирани научени симулатори се многу ефикасни во учењето на комплексна физичка динамика на течности и други материјали [43, 39], бидејќи структурата на нивните претставувања и пресметки се аналогни на научените решетели на конечни елементи [1]. Кључна предност на GNNs е тоа што структурата на влезниот графикон одредува кои делови од претставувањето комуницираат едни со други преку учење на пораки, овозможувајќи произволни модели на просторни интеракции во било кој опсег. Наспроти тоа, конволуционалната невронска мрежа (CNN) е ограничена Начинот на кој ја искористуваме способноста на GNN за моделирање на произволни ретки интеракции е со воведување на внатрешната „мулти-меша“ репрезентација на GraphCast, која овозможува долгорочни интеракции во рамките на неколку пораки-пренесување чекори и генерално има хомогена просторна резолуција низ целиот свет. Our multi-mesh is constructed by first dividing a regular icosahedron (12 nodes and 20 faces) iteratively 6 times to obtain a hierarchy of icosahedral meshes with a total of 40,962 nodes and 81,920 faces on the highest resolution. We leveraged the fact that the coarse-mesh nodes are subsets of the fine-mesh nodes, which allowed us to superimpose edges from all levels of the mesh hierarchy onto the finest-resolution mesh. This procedure yields a multi-scale set of meshes, with coarse edges bridging long distances at multiple scales, and fine edges capturing local interactions. Figure 1g shows each individual refined mesh, and Figure 1e shows the full multi-mesh. Екодерот на GraphCast (Слика 1d) прво ги мапира податоците за влез, од оригиналната ширина-должина мрежа, во научени карактеристики на мулти-меша, користејќи ГНН со насочени рабови од точките на мрежата до мулти-меша. Процесорот (Слика 1e) потоа користи 16 слоеви длабок ГНН за да изврши учено пренесување на пораки на мулти-меша, овозможувајќи ефикасно ширење на информации низ просторот поради работните рабови. Декодерот (Слика 1f) потоа ја мапира конечната мулти-меша репрезентација назад во ширина-должина мрежата користејќи ГННН со насочени рабови, и ја комбинира оваа мрежа репрезентација, Ytk+, со влезната состојба, X The encoder and decoder do not require the raw data to be arranged in a regular rectilinear grid, and can also be applied to arbitrary mesh-like state discretizations [1]. The general architecture builds on various GNN-based learned simulators which have been successful in many complex fluid systems and other physical domains [43, 39, 15]. Similar approaches were used in weather forecasting [26], with promising results. На еден Cloud TPU v4 уред, GraphCast може да генерира 0,25° резолуција, 10-дневна прогноза (на 6-часовни чекори) за помалку од 60 секунди. За споредба, IFS системот на ECMWF работи на 11.664-core кластер, и генерира 0,1° резолуција, 10-дневна прогноза (издадена на 1-часовни чекори за првите 90 часа, 3-часовни чекори за часовите 93-144, и 6-часовни чекори од 150-240 часа, за околу еден час компјутерско време [41]. Видете детали за издавањето на HRES тука: https://www.ecmwf.int/en/forecasts/ datasets/set-i. 3.3. GraphCast’s graph GraphCast се имплементира со користење на GNNs во "кодирање-процес-декодирање" конфигурација, каде што енкодер мапи (површина и атмосфера) карактеристики на влезната ширина-должина мрежа на мулти-меша, процесорот врши многу кругови на порака-пренесување на мулти-меша, а декодерот ги мапира мулти-меша карактеристики назад на излезната ширина-должина мрежа (види слика 1). Моделот работи на графикон G (VG, VM, EM, EG2M, EM2G), дефиниран во детали во следните параграфи. VG претставува сет кој содржи секој од мрежните јазли vG. Секој мрежен јазол претставува вертикален дел од атмосферата на дадената широчина-должина точка, i. карактеристиките поврзани со секој мрежен јазол vG се vG,функции = [xt−1, xt, ft−1, ft, ft+1, ci], каде xt е временската состојба Xt што одговара на мрежниот јазол vG и ги вклучува сите предвидени променливи на податоци за сите 37 атмосферски нивоа, како и површински променливи. Термините на принуда ft се состојат од временски зависни карактеристики кои можат да се пресметаат аналитички, и не треба да се предвидат со GraphCast. Тие го вклучуваат вкупното инцидентно сончево зрачење на врвот на Grid nodes VM претставува сет кој содржи секој од мрежните јазли vM. Мешаните јазли се поставени еднакво низ целиот свет во R-рафинирана icosahedral мрежа MR. M0 одговара на единен радиус icosahedron (12 јазли и 20 триаголни лица) со лица паралелни со полните (види Слика 1g). Мешата е итеративно рафинирана Mr → Mr+1 со делење на секое триаголно лице на 4 помали лица, што резултира со дополнителен јазол во средината на секој раб, и ре-проектирање на новите јазли назад на единицата сфера.4 Функции vM,Функции поврзани со секој мрежен јазол vM вклучуваат козината на ширината, и ihe sineh и козината на дол Mesh nodes EM се двонасочни рабови кои се додаваат помеѓу мрежните јазли кои се поврзани во мрежата. Во суштина, мрежните рабови се додаваат на EM за сите нивоа на рафинирање, т.е. за најфината мрежа, M6, како и за M5, M4, M3, M2, M1 и M0. Ова е едноставно поради начинот на кој функционира процесот на рафинирање: јазлите на Mr−1 се секогаш поднабор на јазли во Mr. Затоа, јазлите воведени на пониските нивоа на рафинирање служат како јазли за подолг опсег на комуникација, независно од максималното ниво на рафинирање. Резултатната графика која го содржи заедничкиот сет на рабови од сите нивоа на рафинирање е она што ние го нарекуваме Mesh edges За секој крај eM поврзување на предавател мрежа јазол vM на приемник мрежа јазол vM, ние се изгради vM→vM крај карактеристики eM, карактеристики со користење на позицијата на единицата сфера на мрежа јазол. Ова вклучува vM→vM s r должина на работ, и векторската разлика помеѓу 3d позиции на предавачот јазол и примачот јазол пресметан во локален координатен систем на примачот. Локалниот координатен систем на примачот се пресметува со примена на ротација која го менува азимуталниот агол додека тој приемник јазол се наоѓа на должина 0, по што следи ротација која го менува поларниот агол додека примачот исто така се наоѓа на ширина 0. Ова резултира со вкупно 327,660 EG2M се еднонасочни рабови кои ги поврзуваат јазлите на мрежата на испраќачот со јазлите на мрежата на примачот. Едге eG2M vG→vM се додава ако растојанието помеѓу јазлот на мрежата и јазлот на мрежата е помало од s r или е еднакво на 0,6 пати5 од должината на рабовите во мрежата M6 (види Слика 1) што обезбедува секој јазол на мрежата да биде поврзан со најмалку еден јазол на мрежата. Grid2Mesh edges EM2G се еднонасочни ивици кои ги поврзуваат јазлите на мрежата на испраќачот со јазлите на мрежата на примачот. За секоја точка на мрежата, го наоѓаме триаголното лице во мрежата M6 што го содржи и додаваме три Mesh2Grid ивици на формата eM2G vM→vG, за да го поврземе јазлот на мрежата со трите јазли на мрежата кои се соочуваат со тоа лице (види Слика 1). Карактеристики eM2G,карактеристиките се изградени на ист начин како и за маската vM→vG s r ивици. Ова резултира со вкупно 3,114,720 Mesh2Grid ивици (3 јазли на мрежата поврзани со секоја од 721 × 1440 точките на Mesh2Grid edges 3.4. Encoder The purpose of the encoder is to prepare data into latent representations for the processor, which will run exclusively on the multi-mesh. As part of the encoder, we first embed the features of each of the grid nodes, mesh nodes, mesh edges, grid to mesh edges, and mesh to grid edges into a latent space of fixed size using five multi-layer perceptrons (MLP), Embedding the input features Потоа, со цел да ги пренесеме информациите за состојбата на атмосферата од мрежните јазли на мрежните јазли, вршиме еден чекор на порака преку подграфата Grid2Mesh GG2M (VG, VM, EG2M) поврзувајќи ги мрежните јазли со мрежните јазли. Оваа ажурирање се врши со користење на интерактивна мрежа [5, 6], зголемена за да може да работи со повеќе типови на јазли [2]. Grid2Mesh GNN Then each of the mesh nodes is updated by aggregating information from all of the edges arriving at that mesh node: Секој од мрежните јазли исто така се ажурира, но без агрегација, бидејќи мрежните јазли не се примачи на никакви рабови во подграфата Grid2Mesh, After updating all three elements, the model includes a residual connection, and for simplicity of the notation, reassigns the variables, 3.5. Processor Процесорот е длабок GNN кој работи на подграфот Mesh GM (VM, EM) кој ги содржи само јазлите Mesh и и границите Mesh. Забележете дека границите Mesh го содржат целосниот мулти-mesh, со не само границите на M6, туку и сите граници на M5, M4, M3, M2, M1 и M0, што ќе овозможи комуникација на далечина. Еден слој на Mesh GNN е стандардна мрежа за интеракција [5, 6], која прво ги ажурира секој од рабовите на мрежата користејќи информации од соседните јазли: Multi-mesh GNN Потоа го ажурира секој од мрежните јазли, агрегирајќи информации од сите работници кои пристигнуваат на тој мрежен јазол: И по ажурирањето на двете, претставувањата се ажурираат со преостаната врска и за едноставност на нотацијата, исто така се пренасочуваат на влезните променливи: The previous paragraph describes a single layer of message passing, but following a similar approach to [43, 39], we applied this layer iteratively 16 times, using unshared neural network weights for the MLPs in each layer. 3.6 Декодирање The role of the decoder is to bring back information to the grid, and extract an output. Analogous to the Grid2Mesh GNN, the Mesh2Grid GNN performs a single message passing over the Mesh2Grid bipartite subgraph GM2G(VG, VM, EM2G). The Grid2Mesh GNN is functionally equivalent to the Mesh2Grid GNN, but using the Mesh2Grid edges to send information in the opposite direction. The GNN first updates each of the Grid2Mesh edges using information of the adjacent nodes: Mesh2Grid GNN Потоа го ажурира секој од мрежните јазли, агрегирајќи информации од сите краеви кои пристигнуваат на тој мрежен јазол: Во овој случај, ние не ги ажурираме мрежните јазли, бидејќи тие нема да играат никаква улога од овој момент. Here again we add a residual connection, and for simplicity of the notation, reassign the variables, this time only for the grid nodes, which are the only ones required from this point on: Конечно, предвидувањето yi за секој од мрежните јазли се произведува со користење на друг MLP, Output function која ги содржи сите 227 предвидени променливи за тој мрежен јазол. Слично на [43, 39], следната временска состојба, X ̈t + 1, се пресметува со додавање на прогнозата за секој јазол, Y ̈t , на влезната состојба за сите мрежни јазоли, 3.7. Normalization and network parameterization Слично на [43, 39], ги нормализиравме сите влезови. За секоја физичка променлива, го пресметувавме просекот на ниво на притисок и стандардното отстапување во текот на 1979-2015, и го користиме тоа за да ги нормализираме до нула просекот и единицата на варијанта. За релативните растојанија и должини на работ, ги нормализиравме карактеристиките до должината на најдолгиот раб. За едноставност, ја исклучуваме оваа нормализација на излезот од нотацијата. Input normalization Бидејќи нашиот модел изведува разлика, Y ̈t , која за време на заклучокот се додава на Xt за да се произведе X ̈t + 1, го нормализиравме излезот на моделот со пресметување на статистиката за стандардното отстапување на ниво на притисок за временската разлика Yt = Xt+1 − Xt на секоја променлива6. Output normalization Невронските мрежи во GraphCast се сите MLPs, со еден скриен слој, и скриени и излезни слоеви со големина од 512 (освен за крајниот слој на MLP на Decoder, чија излезна големина е 227, што одговара на бројот на предвидени променливи за секој мрежен јазол). Neural network parameterizations Детали за обуката This section provides details pertaining to the training of GraphCast, including the data split used to develop the model (Section 4.1), the full definition of the objective function with the weight associated with each variable and vertical level (Section 4.2), the autoregressive training approach (Section 4.3), optimization settings (Section 4.4), curriculum training used to reduce training cost (Section 4.5), technical details used to reduce the memory footprint of GraphCast (Section 4.6), training time (Section 4.7) and the software stacked we used (Section 4.8). 4.1. Training split За да ги имитираме реалните услови за имплементација, во кои прогнозата не може да зависи од информации од иднината, ги поделивме податоците што се користат за да се развие GraphCast и податоците што се користат за да се тестираат неговите перформанси „каузално“, во тоа што „наборот за развој“ содржи само датуми порано од оние во „тестовиот сет“. Наборот за развој го опфаќа периодот 1979–2017, а наборот за тестирање ги содржи годините 2018–2021. Ниту истражувачите, ниту софтверот за обука на моделите, не им беше дозволено да ги видат податоците од тестот додека не ја завршиме фазата на развој. Within our development set, we further split the data into a training set comprising the years 1979–2015, and a validation set that includes 2016–2017. We used the training set as training data for our models and the validation set for hyperparameter optimization and model selection, i.e., to decide on the best-performing model architecture. We then froze the model architecture and all the training choices and moved to the test phase. In preliminary work, we also explored training on earlier data from 1959–1978, but found it had little benefit on performance, so in the final phases of our work we excluded 1959–1978 for simplicity. 4.2 Цели на обуката GraphCast е обучен да ја минимизира објективната функција во текот на 12-степените предвидувања (3 дена) во однос на целите на ERA5, користејќи градиентен пад. Каде 𝜏 ∈ 1 : 𝑇train are the lead times that correspond to the 𝑇train autoregressive steps. d0 ∈ Dbatch претставува датум-време за иницијализација на прогнозата во сет на прогнози во сет на обуки, j ∈ J ја индексира променливата, а за атмосферските променливи нивото на притисок. на пример J ={z1000, z850, . . . , 2 T, MsL}, i ∈ G0.25◦ се локацијата (латитуда и должина) координати во мрежата, x ̈d0+τ и xd0+τ се предвидени и целни вредности за некои променливи-ниво, локација и време на водење,j,i j,i 𝑠 𝑗 is the per-variable-level inverse variance of time differences, wj е губење на тежината на променливо ниво, 𝑎𝑖 is the area of the latitude-longitude grid cell, which varies with latitude, and is normalized to unit mean over the grid. Со цел да се изгради една скаларна загуба, го зедовме просекот низ ширината-должина, нивото на притисок, променливите, времето на водење и големината на партијата. Ние просекоа низ ширината-должината оски, со тежина пропорционална на ширината-должината на големината на клетката (нормализирана да значи 1). Квантитетитетите s = V hxt+1 − xt i −1 се променливи-ниво пропорционални пропорционални проценки на временските разлики, кои имаат за цел да се стандардизираат целите (преку последователни чекори) на единица варијанта. Овие се проценуваат од податоците за обука. Потоа се применуваат променливи-ниво губење тежини, т.е. За атмосферски променливи, ние просечно во текот на нивоа, со тежина пропорционална на притисокот на ниво (нормализирана на просечна единица), како што е прикажано во Слика 6а. Ние го користиме притисокот тука како прокси за губење на густина [26]. Забележете дека губењето тежина се применува на ниво Обука за авторегресивна цел За да ја подобриме способноста на нашиот модел да прави прецизни предвидувања во текот на повеќе од еден чекор, користевме авторегресивен тренинг режим, каде што предвидениот следен чекор на моделот беше вратен назад како влез за предвидување на следниот чекор. Конечната верзија на GraphCast беше обучена на 12 авторегресивни чекори, по наставниот план за обука опишан подолу. 4.4 Оптимизација Функцијата на обука објектив беше минимизирана со користење на градиент надолу, со мини-барови. Ние испробавме траектории на почвата вистината од нашата ERA5 обука сет на податоци, со замена, за барови со големина 32. Ние го користевме AdamW оптимизатор [33, 27] со параметри (бета1 = 0,9, бета2 = 0,95). Ние користевме деградација на тежината од 0,1 на матриците на тежината. Ние користевме градиент (норма) клип со максимална норма вредност од 32. 5.4 Распоред на обука Тренингот на моделот беше спроведен со користење на наставна програма од три фази, која ги разликуваше стапките на учење и бројот на авторегресивни чекори. Првата фаза се состоеше од 1000 градиентни надолу ажурирања, со еден авторегресивен чекор, и распоред на стапка на учење која се зголеми линеарно од 0 до 1e−3 (Слика 7а). Втората фаза се состоеше од 299.000 градиентни надолу ажурирања, повторно со еден авторегресивен чекор, и распоред на стапка на учење која се намали назад на 0 со функција на полу-козинско распаѓање (Слика 7б). Третата фаза се состоеше од 11.000 градиентни надолу ажурирања, каде што бројот на авто 4.6 Намалување на меморискиот отпечаток За да се вклопат долги траектории (12 авторегресивни чекори) во 32GB на облак TPU v4 уред, ние користиме неколку стратегии за да го намалиме меморискиот отпечаток на нашиот модел. Прво, ние користиме парче паралелизам за да ги дистрибуираме податоците низ 32 TPU уреди (т.е. една точка на податоци по уред). Второ, ние ја користиме прецизноста на пловечката точка bfloat16 за да ја намалиме меморијата што ја земаат активациите (забелешка, ние користиме целосно прецизни нумерики (т.е. float32) за да ги пресметаме метрите за перформансите во времето на оценувањето). 4.7 Време на обука По распоредот за обука кој го зголемува бројот на авторегресивни чекори, како што е детално наведено погоре, обуката GraphCast траеше околу четири недели на 32 TPU уреди. 4.8. софтвер и хардвер стак We use JAX [9], Haiku [23], Jraph [17], Optax, Jaxline [4] and xarray [25] to build and train our models. 5 Методи на проверка Овој дел дава детали за нашиот протокол за евалуација. Дел 5.1 го опишува нашиот пристап кон делење на податоците на каузален начин, обезбедување на нашите тестови за евалуација за значајна генерализација, т.е. без искористување на информации од иднината. Дел 5.2 ги објаснува во понатамошни детали нашите избори за оценување на HRES вештина и да го споредиме со GraphCast, почнувајќи од потребата за вистинска основа специфична за HRES за да се избегне казнување на тоа во кратки време (Дел 5.2.1), влијанието на ERA5 и HRES со користење на различни прозорци за асимилација на lookahead секоја држава ги вклучува (Дел 5.2.2), резултирачкиот избор на иницијализација за време GraphCast 5.1 Обука, валидација и тестирање поделби Во фазата на тестирање, користејќи протокол замрзнат на крајот на фазата на развој (секција 4.1), обучивме четири верзии на GraphCast, секоја од нив за различен период. 2018–2021, 2019–2021, 2020–2021 и 2021 соодветно. Повторно, овие поделби одржаа каузална поделба помеѓу податоците што се користат за обука на верзија на моделот и податоците што се користат за проценка на нејзината изведба (види Слика 8). Повеќето од нашите резултати беа оценети во 2018 (т.е. со моделот обучен во 1979–2017), со неколку исклучоци. За експериментите за следење на циклони, ги известуваме резултатите за 2018–2021 бидејќи циклоните не се толку вообичаени, така што вклучувањето на повеќе години го зголемува големината на примерокот. Ние ја користиме најновата верзија на GraphCast за да направиме прогноза за дадена година: GraphCast <2018 за 5.2. Comparing GraphCast to HRES 5.2.1 Избор на базата на податоци за вистината GraphCast was trained to predict ERA5 data, and to take ERA5 data as input; we also use ERA5 as ground truth for evaluating our model. HRES forecasts, however, are initialized based on HRES analysis. Generally, verifying a model against its own analysis gives the best skill estimates [45]. So rather than evaluating HRES forecasts against ERA5 ground truth, which would mean that even the zeroth step of HRES forecasts would have non-zero error, we constructed an “HRES forecast at step 0” (HRES-fc0) dataset, which contains the initial time step of HRES forecasts at future initializations (see Table 3). We use HRES-fc0 as ground truth for evaluating HRES forecasts. 5.2.2 Обезбедување на еднаков поглед во прозорците за асимилација Кога ги споредувавме вештините на GraphCast и HRES, направивме неколку избори за да ги контролираме разликите помеѓу прозорецот за асимилација на податоците ERA5 и HRES-fc0. Како што е опишано во Дел 1, секој ден HRES асимилира набљудувања со користење на четири +/-3h прозорци центрирани на 00z, 06z, 12z и 18z (каде што 18z значи 18:00 UTC во конвенцијата Zulu), додека ERA5 користи два +9h/-3h прозорци центрирани на 00z и 12z, или еквивалентно два +3h/-9h прозорци центрирани на 06z и 18z. Види слика 9 за илустрација. Избравме да ги процениме предвидувањата на GraphCast од 06z На сликата 10 се прикажува перформансите на GraphCast инициализирани од 06z/18z и 00z/12z. Кога се инициализираат од состојба со поголем lookahead, GraphCast добива видливо подобрување кое трае подолго време, поддржувајќи го нашиот избор за инициализирана евалуација од 06z/18z. Ние ја применивме истата логика при изборот на целта на која треба да се оцени: ние само ги оценуваме целите кои вклучуваат 3h lookahead за HRES и ERA5. Со оглед на нашиот избор на иницијализација atz 06 и 18z, ова одговара на оценување на секои 12h, на идните 06z и 18z аналитички времиња. Како практичен пример, ако би ги оценувале GraphCast и HRES и 5.2.3 Усогласување на иницијализацијата и времетраењето на денот Како што е наведено погоре, фер споредба со HRES бара од нас да се процени GraphCast со користење на 06z и 18z иницијализации, и со време на lead кои се множители на 12h, што значи дека времињата на валидност се исто така 06z и 18z. За време на водење до 3,75 дена постојат архивирани HRES прогнози достапни со користење на 06z и 18z иницијализација и време на валидност, и ние ги користиме овие за да извршиме слична споредба со GraphCast на овие време на водење. За lead време од 4 дена и понатаму, архивирани HRES прогнози се достапни само на 00z и 12z иницијализации, што со оглед на нашите 12-часовни повеќе lead време значи 00z и 12z време валидност. Во овие споредби на глобално дефинирани RMSEs, очекуваме разликата во времето на денот да им даде на HRES мала предност. На сликата 11, можеме да видиме дека до 3.5 дена lead times, HRES RMSEs имаат тенденција да бидат помали во просек над 00z и 12z initialization/validity times отколку што се на 06z и 18z пати на кои GraphCast е оценет. Можеме исто така да видиме дека разликата се намалува како lead time се зголемува, и дека 06z/18z RMSEs генерално се чини дека имаат тенденција кон асимптота над 00z/12z RMSE, но во рамките на 2% од тоа. Очекуваме овие разлики да продолжат да ги фаворизираат HRES во подолги lead times, и покрај тоа што остануваат мали, и затоа не веруваме дека Секогаш кога ги нацртаме RMSE и другите метрики за евалуација како функција на времето за водење, со точка линија ја означуваме 3.5-дневната точка на промена каде што се префрламе од евалуација на HRES на 06z/18z на евалуација на 00z/12z. 5.2 Период на оценување Повеќето од нашите главни резултати се пријавени за 2018 година (од нашиот тест сет), за која првото време за иницијализација на прогнозата беше 2018-01_06:00:00 UTC и последното 2018-12-31_18:00:00, или кога се оценува ХРЕС со подолго време на водење, 2018-01_00:00:00 и 2018-12-31_12:00:00. 5.3 Евалуација на метриката We quantify the skillfulness of GraphCast, other ML models, and HRES using the root mean square error (RMSE) and the anomaly correlation coefficient (ACC), which are both computed against the models’ respective ground truth data. The RMSE measures the magnitude of the differences between forecasts and ground truth for a given variable indexed by 𝑗 and a given lead time 𝜏 (see Equation (20)). The ACC, L𝑗,𝜏 , is defined in Equation (29) and measures how well forecasts’ differences from climatology, i.e., the average weather for a location and date, correlate with the ground truth’s differences from climatology. For skill scores we use the normalized RMSE difference between model 𝐴 and baseline 𝐵 as (RMSE𝐴 − RMSE𝐵)/RMSE𝐵, and the normalized ACC difference as (ACC𝐴 − ACC𝐵)/(1 − ACC𝐵). Сите метрики се пресметуваат со користење на прецизноста на float32 и се пресметуваат со користење на природниот динамички опсег на променливите, без нормализација. Ние квантификувавме вештина за предвидување за дадена променлива, x j, и време на водење, τ = tΔd, користејќи ширина-тежок корен просечна грешка квадрат (RMSE) дадена од Root mean square error (RMSE) Каде • d0 ∈ Deval претставува датум-време за прогнозирање на иницијализација во збир на податоци за оценување, • 𝑗 ∈ 𝐽 index variables and levels, e.g., 𝐽 = {z1000, z850, . . . , 2 T, MsL}, • i ∈ G0.25◦ се локацијата (латитуда и должина) координати во мрежата, • x ̈d0+τ и xd0+τ се предвидени и целни вредности за некои нивоа на променливи, локација и време на водење, Ј Ј Ј Ј Ј Ј • ai е површината на ширината-должината на мрежата ќелија (нормализирана на единица на просек над мрежата) која се менува со ширината. By taking the square root inside the mean over forecast initializations we follow the convention of WeatherBench [41]. However we note that this differs from how RMSE is defined in many other contexts, where the square root is only applied to the final mean, that is, Во сите споредби кои вклучуваат предвидувања кои се филтрирани, скршени или распаѓаат во сферичната хармонична област, за погодност ги пресметуваме RMSEs директно во сферичната хармонична област, со сите средства земени во квадратниот корен, Root mean square error (RMSE), spherical harmonic domain. Овде f0+τ и f d0+τ се предвидени и целни коефициенти на сферични хармоници со вкупни броеви на бранови j,l,m j,l,m 𝑙 and longitudinal wavenumber 𝑚. We compute these coefficients from grid-based data using a discrete spherical harmonic transform [13] with triangular truncation at wavenumber 719, which was chosen to resolve the 0.25° (28km) resolution of our grid at the equator. This means that 𝑙 ranges from 0 to 𝑙𝑚𝑎𝑥 = 719 and 𝑚 from −𝑙 to 𝑙. Оваа RMSE се приближува на решетката базирана дефиниција на RMSE дадена во Еквација (21), но тоа не е точно споредено, делумно затоа што триаголната тронка на брановиот број 719 не ја решава дополнителната резолуција на правоаголната решетка во близина на полите. This is computed following the RMSE definition of Equation (21), but for a single location: Root mean square error (RMSE), per location. Ние исто така ги разбиваме RMSE по ширина само: каде што G0.25◦ G0=1440 е бројот на различни должини во нашата редовна 0,25° мрежа. This is computed following the RMSE definition of Equation (21) but restricted to a particular range of surface elevations, given by bounds 𝑧𝑙 ≤ 𝑧surface < 𝑧𝑢 on the surface geopotential: Root mean square error (RMSE), by surface elevation. каде ll ја означува функцијата индикатор. Оваа количина е дефинирана како Mean bias error (MBE), per location. Ова ја квантификува просечната величина на предрасудите по локација од Еквацијата (26) и е дадена од Root-mean-square per-location mean bias error (RMS-MBE). Ова ја квантификува корелацијата помеѓу предрасудите по локација (Еквација (26)) на два различни модели А и Б. Ние користиме нецентриран коефициент на корелација поради значењето на потеклото нула во мерењата на предрасудите, и ја пресметуваме оваа количина според Correlation of per-location mean bias errors. Коефициентот на корелација на аномалијата (ACC) Ние исто така го пресметавме коефициентот на корелација на аномалијата за дадена променлива, x j, и времето на водење, τ = tΔd, според каде што Cd0+τ е климатолошкиот просек за дадена променлива, ниво, широчина и должина, а за денот од годината кој го содржи времето на валидност d0 + τ. Климатолошкиот просек беше пресметан користејќи податоци од ERA5 помеѓу 1993 и 2016 година. 5.4 Статистичка методологија 5.4.1 Тестирање на значењето на разликата во средствата For each lead time 𝜏 and variable-level 𝑗, we test for a difference in means between per-initialization-time RMSEs (defined in Equation (30)) for GraphCast and HRES. We use a paired two-sided 𝑡-test with correction for auto-correlation, following the methodology of [16]. This test assumes that time series of differences in forecast scores are adequately modelled as stationary Gaussian AR(2) processes. This assumption does not hold exactly for us, but is motivated as adequate for verification of medium range weather forecasts by the ECMWF in [16]. Номиналната големина на примерокот за нашите тестови е n = 730 при време на lead под 4 дена, што се состои од две прогнозни иницијализации дневно во текот на 365 дена од 2018 година (за време на lead имаме n = 729, видете Дел 5.4.2). Меѓутоа, овие податоци (разлики во време на lead RMSEs) се авто-корелирани во времето. По [16] ние проценуваме коефициент на инфлација k за стандардната грешка која се коригира за ова. Вредностите на k се движат помеѓу 1.21 и 6.75, со највисоки вредности кои генерално се гледаат на кратки време на lead и на најниските нивоа на притисок. See Table 5 for detailed results of our significance tests, including 𝑝-values, values of the 𝑡 test statistic and of 𝑛eff. 5.4.2 Прогнозна усогласеност За време на водење τ помалку од 4 дена, имаме предвидувања достапни на 06z и 18z време на иницијализација и валидност секој ден за двете GraphCast и HRES, и можеме да ги тестираме за разлики во RMSEs помеѓу овие паровирани предвидувања. Ние ги пресметуваме разликите која ја користиме за да ја тестираме нул хипотезата дека E[diff-RMSE( j, τ, d0)] = 0 против двостраната alterna-tive. Имајте на ум дека со нашата претпоставка за стационарност ова очекување не зависи од d0. As discussed in Section 5.2.3, at lead times of 4 days or more we only have HRES forecasts available at 00z and 12z initialization and validity times, while for the fairest comparison (Section 5.2.2) GraphCast forecasts must be evaluated using 06z and 18z initialization and validity times. In order to perform a paired test, we compare the RMSE of a GraphCast forecast with an interpolated RMSE of the two HRES forecasts either side of it: one initialized and valid 6 hours earlier, and the other initialized and valid 6 hours later, all with the same lead time. Specifically we compute differences: We can use these to test the null hypothesis 𝔼[diff-RMSEinterp( 𝑗, 𝜏, 𝑑0)] = 0, which again doesn’t depend on 𝑑0 by the stationarity assumption on the differences. If we further assume that the HRES RMSE time series itself is stationary (or at least close enough to stationary over a 6 hour window) then 𝔼[diff-RMSEinterp( 𝑗, 𝜏, 𝑑0)] = 𝔼[diff-RMSE( 𝑗, 𝜏, 𝑑0)] and the interpolated differences can also be used to test deviations from the original null hypothesis that 𝔼[diff-RMSE( 𝑗, 𝜏, 𝑑0)] = 0. This stronger stationarity assumption for HRES RMSEs is violated by diurnal periodicity, and in Section 5.2.3 we do see some systematic differences in HRES RMSEs between 00z/12z and 06z/18z validity times. However as discussed there, these systematic differences reduce substantially as lead time grows and they tend to favour HRES, and so we believe that a test of 𝔼[diff-RMSE( 𝑗, 𝜏, 𝑑0)] = 0 based on diff-RMSEinterp will be conservative in cases where GraphCast appears to have greater skill than HRES. 5.4.3 Интервали на доверба за RMSEs The error bars in our RMSE skill plots correspond to separate confidence intervals for 𝔼[RMSE𝐺𝐶] and 𝔼[RMSE𝐻𝑅𝐸𝑆] (eliding or now the arguments 𝑗, 𝜏, 𝑑0). These are derived from the two-sided 𝑡-test with correction for autocorrelation that is described above, applied separately to GraphCast and HRES RMSE time-series. Овие интервали на доверба прават претпоставка за стационарност за одделни временски серии на GraphCast и HRES RMSE, што, како што е наведено погоре, е посилна претпоставка дека стационарноста на разликите е малку нарушена. 5.4.4. Confidence intervals for RMSE skill scores From the 𝑡-test described in Section 5.4.1 we can also derive in the standard way confidence intervals for the true difference in RMSEs, however in our skill score plots we would like to show confidence intervals for the true RMSE skill score, in which the true difference is normalized by the true RMSE of HRES: Интервалот на доверба за оваа количина треба да ја земе предвид неизвесноста на нашата проценка на вистинскиот HRES RMSE. Нека [ldiff, udiff] биде нашиот 1 − α/2 интервал на доверба за нумеризаторот (разликата во RMSEs), а [lHRES, uHRES] нашиот 1 − α/2 интервал на доверба за деноминаторот (HRES RMSE). Имајќи предвид дека 0 < lHRES во секој случај за нас, со користење на интервалот аритметика и сојузот врзани добиваме конзервативен 1 − α интервал на доверба За RMSE-SStrue. Ние ги нацртаме овие интервали на доверба заедно со нашите проценки за оценката на вештината на RMSE, но имајте на ум дека не се потпираме на нив за тестирање на значењето. 6. Comparison with previous machine learning baselines За да се утврди како перформансите на GraphCast се споредуваат со другите ML методи, ние се фокусираме на Pangu-Weather [7], силна MLWP база која работи на 0,25° резолуција. За да се направи најдиректна споредба, ние се повлече од нашиот протокол за евалуација, и го користат оној опишан во [7]. Бидејќи објавените резултати од Pangu-Weather се добиени од 00z/12z иницијализации, ние ги користиме истите иницијализации за GraphCast, наместо 06z/18z, како во остатокот од овој документ. Ова им овозможува на двата модела да бидат иницијализирани на истите влезови, кои вклучуваат ист износ на lookahead (+9 часа, видете Дел 5.2.2 и 5.2). Како што HRES Како што е прикажано на сликата 12, GraphCast (сини линии) го надминува Pangu-Weather [7] (црвени линии) на 99.2% од целите. За површинските променливи (2 T, 10 U, 10 v, MsL), грешката на GraphCast во првите неколку дена е околу 10-20% пониска, а во текот на подолгите времеви плоштади до околу 7-10% пониска грешка. Единствените две (од вкупно 252) метрики на кои Pangu-Weather го надмина GraphCast беа z500, на времеви на 6 и 12 часа, каде што GraphCast имал 1.7% повисок просечен RMSE (Слика 12a,e). Дополнителни резултати од верификацијата на прогнозите Овој дел обезбедува дополнителна анализа на перформансите на GraphCast, давајќи пополна слика за своите предности и ограничувања. Делот 7.1 ги надополнува главните резултати на документот за дополнителни варијабли и нивоа надвор од z500. Делот 7.2 дополнително ги анализира перформансите на GraphCast поделени по региони, ширина и притисок (особено разликување на перформансите под и над тропопаузата), ги илустрира предрасудите и RMSE по ширина и надморска височина. Делот 7.3 покажува дека и мулти-меша и авторегресивната загуба играат важна улога во перформансите на GraphCast. Делот 7.4 го опишува пристапот на оптимално замаглување што се применува на HRES и GraphCast 7.1 Детални резултати за дополнителни променливи 7.1.1. RMSE and ACC Слика 13 ја надополнува Слика 2а-б и ја прикажува разликата во RMSE и нормализираната RMSE во однос на HRES за GraphCast и HRES на комбинација од 12 истакнувачки променливи. Слика 14 ја прикажува разликата во ACC и нормализираната ACC во однос на HRES за GraphCast и HRES на иста комбинација од 12 променливи и ја надополнува Слика 2в. 7.1.2 Детални резултати од тестот за значајност за RMSE споредби Table 5 provides further information about the statistical significance claims made in the main section about differences in RMSE between GraphCast and HRES. Details of the methodology are in Section 5.4. Here we give 𝑝-values, test statistics and effective sample sizes for all variables. For reasons of space we limit ourselves to three key lead times (12 hours, 2 days and 10 days) and a subset of 7 pressure levels chosen to include all cases where 𝑝 > 0.05 at these lead times. 7.1.3 Ефект на редовност на податоците на GraphCast An important feature of MLWP methods is they can be retrained periodically with the most recent data. This, in principle, allows them to model recent weather patterns that change over time, such as the ENSO cycle and other oscillations, as well as the effects of climate change. To explore how the recency of the training data influences GraphCast’s test performance, we trained four variants of GraphCast, with training data that always began in 1979, but ended in 2017, 2018, 2019, and 2020, respectively (we label the variant ending in 2017 as “GraphCast:<2018”, etc). We evaluated the variants, and HRES, on 2021 test data. Фигура 15 ги прикажува резултатите од вештината и вештината (во однос на HRES) на четирите варијанти на GraphCast, за неколку варијабли и ги надополнува Фигура 4a. Постои општ тренд каде што варијантите обучени на години поблиску до тестовата година генерално имаат подобрено резултат од вештината во однос на HRES. Причината за ова подобрување не е целосно разбрана, иако шпекулираме дека е аналогна на долгорочната корекција на предрасуди, каде што неодамнешните статистички предрасуди во времето се искористуваат за да се подобри точноста. Исто така, важно е да се напомене дека HRES не е еден NWP во текот на годините: има тенденција да се надградува еднаш или два пати годишно, со Ова, исто така, може да придонесе за тоа зошто GraphCast:<2018 и GraphCast:<2019, особено, имаат пониски оценки на вештини во однос на HRES во раните водечки времиња за оценувањето на тестот од 2021 година. Ние забележуваме дека за другите променливи, GraphCast:<2018 и GraphCast:<2019 се уште имаат тенденција да ги надминат HRES. Овие резултати ја истакнуваат клучната карактеристика на GraphCast, во овозможувањето на автоматско подобрување на перформансите преку ре-тренирање на неодамнешните податоци. 7.2 Деагрегирани резултати 7.2.1 РМСЕ по региони Проценка по региони на вештини за прогнозирање е дадена на сликите 17 и 18, користејќи ги истите региони и конвенција за именување како во ECMWF картички за резултат (https://sites.ecmwf.int/ifs/scorecards/ scorecards-47r3HRES.html). Ние додадовме некои дополнителни региони за подобро покривање на целата планета. Овие региони се прикажани на сликата 16. 7.2.2. RMSE skill score by latitude and pressure level Во Слика 19, ние нацртаме нормализирани RMSE разлики помеѓу GraphCast и HRES, како функција на двете нивоа на притисок и ширина. Ние нацртаме само 13 нивоа на притисок од WeatherBench [41] на кои сме ги оцениле HRES. На овие парцели, ние укажуваме на секоја географска ширина на просечниот притисок на тропопаузата, кој ја одвојува тропосферата од стратосферата. Ние ги користиме вредностите пресметани за ЕРА-15 сет на податоци (1979-1993), дадени во Слика 1 од [44]. Овие не ќе бидат сосема исти како за ЕРА5, но се наменети само како груба помош за интерпретација. Можеме да видиме од табелата во Слика 2 дека GraphCast изведува полошо од HRES на најниските нивоа на притисок оценети (50hPa). Слика 19 покажува дека нивото на притисок при кое GraphCast почнува да се влошува е често и зависно од ширината, во некои случаи приближно по просечното ниво на тропопау Причините за намалената вештина на GraphCast во стратосферата во моментов се слабо разбрани. користиме пониска тежина за губење за пониски нивоа на притисок и ова може да игра некоја улога; исто така е можно дека може да има разлики помеѓу ERA5 и HRES-fc0 збир на податоци во предвидливоста на променливите во стратосферата. 7.2.3 Предрасуди по широчина и должина Во сликите од 20 до 22, ние ја нацртаме просечната грешка на пристрасност (MBE, или само "пристрасност", дефинирана во Еквацијата (26)) на GraphCast како функција на широчина и должина, на три lead times: 12 часа, 2 дена и 10 дена. Во парцелите за променливите дадени на нивоата на притисок, ние ги маскиравме регионите чија површинска надморска висина е доволно висока за нивото на притисок да биде под земјата во просек. За да ја квантификуваме просечната големина на предрасудите по локација прикажани на сликите 20 до 22, го пресметавме коренот-средниот квадрат на грешките за просечни предрасуди по локација (RMS-MBE, дефинирани во Еквација (26)). Овие се нацртани на сликата 23 за GraphCast и HRES како функција на времето на предрасудите. Можеме да видиме дека предрасудите на GraphCast се помали во просек од HRES за повеќето променливи до 6 дена. Ние, исто така, се пресмета коефициентот на корелација помеѓу GraphCast и HRES просечни грешки предрасуди по локација (дефинирани во Еквација (27)), која е нацртана како функција на време на предрасуди во Слика 24. Можеме да видиме дека предрасудите на GraphCast и HRES не се корелира или слабо корелира на најкраткиот време на предрасуди, но коефициентот на корелација генерално расте со времето на предрасуди, достигнувајќи вредности како високи како 0.6 на 10 дена. 7.2.4. RMSE вештина резултат по широчина и должина На сликите од 25 до 27 ја нацртаме нормализираната разлика на RMSE помеѓу GraphCast и HRES по ширина и должина. Како и во Дел 7.2.3, за променливите дадени на нивоата на притисок, ги маскиравме регионите чија површина е доволно висока за нивото на притисокот да биде под земјата во просек. Значајни области каде што HRES го надминува GraphCast вклучуваат специфична влажност во близина на полните (особено на јужниот пол); геопотенцијални во близина на полните; 2m температура во близина на полните и во многу земјишни области; и голем број површински или близу површински променливи во регионите со висока површина (види исто така Дел 7.2.5). На 12 часа и 2 дена lead време и GraphCast и HRES се оценуваат на 06z/18z иницијализација и време на валидност, но на 10 ден lead време ние мора да се спореди GraphCast на 06z/18z со HRES на 00z/12z (види Дел 5). 7.2.5. RMSE вештина резултат по површина надморска височина In Figure 25, we can see that GraphCast appears to have reduced skill in high-elevation regions for many variables at 12 hour lead time. To investigate this further we divided the earth surface into 32 bins by surface elevation (given in terms of geopotential height) and computed RMSEs within each bin according to Equation (24). These are plotted in Figure 28. Во кратки времеви и особено на 6 часа, вештината на GraphCast во однос на HRES има тенденција да се намалува со поголема висина на површината, во повеќето случаи паѓа под вештината на HRES на доволно високи висини. We note that GraphCast is trained on variables defined using a mix of pressure-level coordinates (for atmospheric variables) and height above surface coordinates (for surface-level variables like 2m temperature or 10m wind). The relationship between these two coordinates systems depends on surface elevation. Despite GraphCast conditioning on surface elevation we conjecture that it may struggle to learn this relationship, and to extrapolate it well to the highest surface elevations. In further work we would propose to try training the model on a subset of ERA5’s native model levels instead of pressure levels; these use a hybrid coordinate system [14] which follows the land surface at the lowest levels, and this may make the relationship between surface and atmospheric variables easier to learn, especially at high surface elevations. Variables using pressure-level coordinates are interpolated below ground when the pressure level exceeds surface pressure. GraphCast is not given any explicit indication that this has happened and this may add to the challenge of learning to forecast at high surface elevations. In further work using pressure-level coordinates we propose to provide additional signal to the model indicating when this has happened. Конечно, нашата тежина за губење е пониска за атмосферските променливи на пониски нивоа на притисок, а ова може да влијае на вештината на места со повисока висина. 7.3. GraphCast ablations 7.3.1 Мулти-меша аблација За подобро да се разбере како мулти-меша претставувањето влијае на перформансите на GraphCast, ние ги споредуваме перформансите на GraphCast со верзија на моделот обучен без мулти-меша претставувањето. Архитектурата на вториот модел е идентична со GraphCast (вклучувајќи го и истиот кодер и декодер, и истиот број на јазли), освен дека во процесниот блок, графиконот ги содржи само работите од најдобриот icosahedron мрежа M6 (245,760 работите, наместо 327,660 за GraphCast). Како резултат на тоа, ablated моделот може да пропагира информации само со кратки рабови, додека GraphCast содржи дополнителни долги рабови. На сликата 29 (левиот панел) е прикажана табелата на резултатите која го споредува GraphCast со моделот со аплат. GraphCast ја користи мулти-меша структурата за сите предвидени променливи, освен за време на водење над 5 дена на 50 hPa. Подобрувањето е особено изразено за геопотенцијалот на сите нивоа на притисок и за просечниот притисок на морското ниво за време на водење под 5 дена. На средниот панел е прикажана табелата на резултатите која го споредува моделот со аплат со HRES, додека десниот панел го споредува GraphCast со HRES, покажувајќи дека мулти-меша е од суштинско значење за GraphCast да ги надмине HRES на геопотенцијалот на 7.3.2 Ефект на авторегресивното обука We analyzed the performance of variants of GraphCast that were trained with fewer autoregressive (AR) steps7, which should encourage them to improve their short lead time performance at the expense of longer lead time performance. As shown in Figure 30 (with the lighter blue lines corresponding to training with fewer AR steps) we found that models trained with fewer AR steps tended to trade longer for shorter lead time accuracy. These results suggest potential for combining multiple models with varying numbers of AR steps, e.g., for short, medium and long lead times, to capitalize on their respective advantages across the entire forecast horizon. The connection between number of autoregressive steps and blurring is discussed in Supplements Section 7.4.4. 7.4 Оптимално мелење 7.4.1.Влијание врз споредбата на вештините помеѓу GraphCast и HRES На сликите 31 и 32 го споредуваме RMSE на HRES со GraphCast пред и по примена на оптимално замаглување на двата модела. 7.4.2 Методологија на филтрирање Избравме филтри кои го минимизираат RMSE во рамките на класата на линеарни, хомогени (локација непроменливи), изотропни (насока непроменливи) филтри на сферата.Овие филтри можат лесно да се применуваат во сферичната хармонична област, каде што одговараат на мултиплицирачки филтер тежини кои зависат од вкупниот број на бранови, но не и на должината на брановиот број [12]. For each initialization 𝑑0, lead time 𝜏, variable and level 𝑗, we applied a discrete spherical harmonic transform [13] to predictions 𝑥ˆ𝑑0+𝜏 and targets 𝑥𝑑0+𝜏, obtaining spherical harmonic coefficients 𝑓ˆ𝑑0+𝜏 𝑗 𝑗 𝑗,𝑙,𝑚 and 𝑓 𝑑0+𝜏 for each pair of total wavenumber 𝑙 and longitudinal wavenumber 𝑚. To resolve the 0.25° (28km) resolution of our grid at the equator, we use a triangular truncation at total wavenumber 719, which means that 𝑙 ranges from 0 to 𝑙𝑚𝑎𝑥 = 719, and for each 𝑙 the value of 𝑚 ranges from −𝑙 to 𝑙. Потоа го множивме секој предвиден коефициент f ̈d0+τ со тежина на филтерот bτ , која е независна од j,l,m j,l на должината на брановиот број m. Тежините на филтерот беа поставени со користење на најмалите квадрати за да се минимизира просечната квадратна грешка, како што се пресметува во сферичната хармонична област: Ние ги користевме податоците од 2017 година за да ги усогласиме овие тегови, кои не се преклопуваат со тестот за 2018 година.Кога ги оценувавме филтрираните предвидувања, го пресметувавме MSE во сферичниот хармоничен домен, како што е детално опишано во Еквација (22). Со поставување на различни филтри за секое време на водење, степенот на замаглување беше слободен да се зголеми со зголемување на неизвесноста при подолги времиња на водење. While this method is fairly general, it also has limitations. Because the filters are homogeneous, they are unable to take into account location-specific features, such as orography or land-sea boundaries, and so they must choose between over-blurring predictable high-resolution details in these locations, or under-blurring unpredictable high-resolution details more generally. This makes them less effective for some surface variables like 2 T, which contain many such predictable details. Future work may consider more complex post-processing schemes. An alternative way to approximate a conditional expectation (and so improve RMSE) for our ECMWF forecast baseline would be to evaluate the ensemble mean of the ENS ensemble forecast system, instead of the deterministic HRES forecast. However the ENS ensemble is run at lower resolution than HRES, and because of this, it is unclear to us whether its ensemble mean will improve on the RMSE of a post-processed version of HRES. We leave an exploration of this for future work. 7.4.3. Transfer functions of the optimal filters Тежината на филтерот е визуелизирана на сликата 33, која го покажува односот на излезната моќност кон влезната моќност за филтерот, на скалата на логаритамски децибели, како функција на должината на бранот. Еквација (35), ова е еднакво на 20 log10(bτ ) за должината на бранот Ce/l што одговара на вкупниот број на бранови l.) For both HRES and GraphCast, we see that it is optimal for MSE to attenuate power over some short-to-mid wavelengths. As lead times increase, the amount of attenuation increases, as does the wavelength at which it is greatest. In optimizing for MSE, we seek to approximate a conditional expectation which averages over predictive uncertainty. Over longer lead times this predictive uncertainty increases, as does the spatial scale of uncertainty about the location of weather phenomena. We believe that this largely explains these changes in optimal filter response as a function of lead time. We can see that HRES generally requires more blurring than GraphCast, because GraphCast’s predictions already blur to some extent (see Section 7.5.3), whereas HRES’ do not. Оптималните филтри, исто така, се способни да ги компензираат, до одреден степен, спектралните предрасуди во предвидувањата на GraphCast и HRES. На пример, за многу променливи во нашиот регресивен ERA5 сет на податоци, спектрот ненадејно се намалува за бранови должини под 62km кои се нерешени на 0.28125◦ native резолуција на ERA5. We also note that there are noticeable peaks in the GraphCast filter response around 100km wavelength for z500, which are not present for HRES. We believe these are filtering out small, spurious artifacts which are introduced by GraphCast around these wavelengths as a side-effect of the grid-to-mesh and mesh-to-grid transformations performed inside the model. 7.4.4. Relationship between autoregressive training horizon and blurring In Figure 34 we use the results of optimal blurring to investigate the connection between autoregressive training and the blurring of GraphCast’s predictions at longer lead times. Во првиот ред на фигура 34, гледаме дека моделите обучени со подолги авторегресивни хоризонти за обука имаат помалку корист од оптимално замаглување, и дека придобивките од оптимално замаглување генерално почнуваат да се акумулираат само по предното време што одговара на хоризонтот до кој беа обучени. Би било погодно ако можеме да го замениме обуката за подолг хоризонт со едноставна стратегија за пост-обработка како што е оптималното замаглување, но ова не изгледа да биде случај: во вториот ред на фигура 34 гледаме дека авторегресивното обука за подолг хоризонт сè уште резултира со пониски RMSEs, дури и откако е применето оптималното замаглување. If one desires predictions which are in some sense minimally blurry, one could use a model trained to a small number of autoregressive steps. This would of course result in higher RMSEs at longer lead times, and our results here suggest that these higher RMSEs would not only be due to the lack of blurring; one would be compromising on other aspects of skill at longer lead times too. In some applications this may still be a worthwhile trade-off, however. 7.5. Spectral analysis 7.5.1 Спектрална декомпозиција на просечната квадратна грешка In Figures 35 and 36 we compare the skill of GraphCast with HRES over a range of spatial scales, before and after optimal filtering (see details in Section 7.4). The MSE, via its spectral formulation (Equation (22)) can be decomposed as a sum of mean error powers at different total wavenumbers: каде lmax = 719 како во еднаквоста (22). секој вкупен број на бранови l приближно одговара на бранова должина Ce/l, каде Ce е обемот на Земјата. We plot power density histograms, where the area of each bar corresponds to 𝑆 𝑗,𝜏(𝑙), and the bars center around log10(1 + 𝑙) (since a log frequency scale allows for easier visual inspection, but we must also include wavenumber 𝑙 = 0). In these plots, the total area under the curve is the MSE. Во време на lead од 2 дена или повеќе, за поголемиот дел од променливите GraphCast ја подобрува вештината на HRES еднакво на сите бранови должини. (2m температура е значаен исклучок). На пократки предни времиња од 12 часа до 1 ден, за голем број на променливи (вклучувајќи z500, T500, T850 и U500) HRES има поголема вештина од GraphCast на скали во приближниот опсег од 200-2000km, со GraphCast генерално имаат поголема вештина надвор од овој опсег. 7.5.2 RMSE како функција на хоризонтална резолуција На сликата 37, ние ја споредуваме вештината на GraphCast со HRES кога се оценува на низа просторни резолуции. Конкретно, на секој вкупен број на бранови ltrunc, ние ги испланираме RMSEs помеѓу предвидувањата и целите кои се и троцирани на тој вкупен број на бранови. RMSEs помеѓу скршени предвидувања и цели може да се добијат преку кумулативни суми на просечните грешки сили S j,τ (l) дефинирани во Еквација (37), според: Сликата 37 покажува дека во повеќето случаи GraphCast има понизок RMSE од HRES на сите резолуции кои обично се користат за проверка на прогнози. Ова се однесува на пред и по оптимално филтрирање (види Дел 7.4). Исклучоци вклучуваат температура од 2 метри при голем број на lead times и резолуции, T 500 на 12 h lead times, и U 500 на 12 h lead times, каде што GraphCast работи подобро на 0,25 ° резолуција, но HRES прави подобро на резолуции околу 0.5◦ до 2.5◦ (користејќи на најкратки бранови должини од околу 100 до 500 km). Особено, забележуваме дека матичната резолуција на ERA5 е 0.28125◦ што одговара на најкратка бранова должина од 62km, што е означено со вертикална линија во парцелите. HRES-fc0 цели содржат некои сигнал на бранови должини пократки од 62km, но ERA5 цели кои се користат за да се оцени GraphCast не, барем природно (види Дел 7.5.3). 7.5.3 Спектар на предвидувања и цели Сликата 38 ги споредува спектрите на моќта на предвидувањата на GraphCast, целите на ERA5 против кои беа обучени, и HRES-fc0. Постојат забележливи разлики во спектрите на ERA5 и HRES-fc0, особено на кратки бранови должини. Овие разлики може да бидат делумно предизвикани од методите кои се користат за да ги регресираат од нивните родни IFS резолуции на TL639 (0.28125◦) и TCo1279 (приближно 0.1◦, [36]) до 0,25° правоаголна мрежа. Сепак, дури и пред ова регресирање е направено, постојат разлики во верзиите на IFS, поставувањата, резолуцијата и методологијата за асимилација на податоците што се користат за HRES и ERA5, и овие разлики исто така може да влијаат на спектрите. Differences between HRES and ERA5 Ние гледаме намалена моќ на кратки до средни бранови должини во предвидувањата на GraphCast што се намалува понатаму со времето на водење.Ние веруваме дека ова одговара на замаглување што GraphCast научи да го изврши во оптимизација за MSE. Blurring in GraphCast These peaks are particularly visible for z500; they appear to increase with lead time. We believe they correspond to small, spurious artifacts introduced by the internal grid-to-mesh and mesh-to-grid transformations performed by GraphCast at each autoregressive step. In future work we hope to eliminate or reduce the effect of these artifacts, which were also observed by [26]. Peaks for GraphCast around 100km wavelengths Конечно, забележуваме дека, додека овие разлики во моќта на кратки бранови должини се многу забележливи во скалата и релативните парцели, овие кратки бранови должини малку придонесуваат за вкупната моќност на сигналот. Дополнителни резултати од предвидувањето на сериозни настани Во овој дел, обезбедуваме дополнителни детали за нашата тешка анализа на прогнозирање на настани. Забележуваме дека GraphCast не е специјално обучен за тие надолу-долу задачи, што покажува дека, покрај подобрените вештини, GraphCast обезбедува корисна прогноза за задачи со реално влијание, како што се следење на циклони (секција 8.1), карактеризирајќи атмосферски реки (секција 8.2), и класифицирање на екстремни температури (секција 8.3). 8.1. Tropical cyclone track forecasting Во овој дел, детално ги опишуваме протоколите за евалуација што ги користиме за следење на циклони (Секција 8.1.1 за додатоци) и анализирање на статистичката значајност (Секција 8.1.2 за додатоци), обезбедување на дополнителни резултати (Секција 8.1.3 за додатоци) и опишување на нашиот трекер и неговите разлики со оној од ECMWF (Секција 8.1.4 за додатоци). 8.1.1 Протокол за оценување Како што е детално опишано во Дополнителен дел 5.2.2, GraphCast е иницијализиран од 06z и 18z, наместо од 00z и 12z, за да се избегне да му се даде предност на погледот над HRES. Сепак, HRES циклоните траги во TIGGE архивата [8] се иницијализирани само на 00z и 12z. Оваа разлика нè спречува да избереме настани каде што иницијализацијата и временската мапа доведуваат до исто време на валидност за двата метода, бидејќи секогаш постои 6h несогласување. Наместо тоа, за да ги споредиме HRES и GraphCast на сет слични настани, продолжуваме како што следи. Ние ги вклучуваме сите датуми и времиња за кои нашите основни податоци за HRACS [29, 28] Бидејќи ние ја пресметуваме грешката во однос на истата основна вистина (т.е. IBTrACS), оценката не е предмет на истите ограничувања опишани во Дел 5.2.2, т.е. целите за двата модела вклучуваат ист износ на прегледи. Ова е во контраст со повеќето наши проценки во овој документ, каде што целите за HRES (т.е. HRES-fc0) вклучуваат +3h прегледи, а оние за GraphCast (од ERA5) вклучуваат +3h или +9h, што нѐ доведува да ги пријавуваме резултатите за водечките времиња само со соодветна прегледи (множенија од 12h). For a given forecast, the error between the predicted center of the cyclone and the true center is computed using the geodesic distance. 8.1.2. Statistical methodology Компјутеризираната статистичка доверба во следењето на циклоните бара посебно внимание во два аспекта: 1.Постојат два начини да се дефинира бројот на примероци. Првиот е бројот на тропски циклони настани, кои може да се претпостави дека се главно независни настани. Вториот е бројот на податоци поени за време на водење се користи, што е поголемо, но се однесува на корелираните поени (за секој тропски циклони настани се прават повеќе предвидувања на интервал од 6h). Избравме да ја користиме првата дефиниција која обезбедува повеќе конзервативни проценки на статистичко значење. И двете броеви се прикажани за време на водење од 1 до 5 дена на x-осната на Додатоците Слика 39. 2. The per-example tracking errors of HRES and GraphCast are correlated. Therefore statistical variance in their difference is much smaller than their joint variance. Thus, we report the confidence that GraphCast is better than HRES (see Supplements Figure 39b) in addition to the per-model confidence (see Supplements Figure 39a). Имајќи ги предвид двата горенаведени размислувања, правиме bootstrapping со 95% доверба интервали на ниво на циклони. За дадено време на водење, ги разгледуваме сите соодветни парови на време на иницијализација / време на водење и одржуваме листа на кој циклон доаѓаат од (без дуплирање). За проценката на bootstrap, извлекуваме примероци од оваа листа на циклони (со замена) и го применуваме медијанот (или просекот) на соодветните парови на време на иницијализација / време на водење. Имајте на ум дека ова ни дава многу повеќе конзервативни граници на доверба отколку што правиме bootstrapping на ниво на време на иницијализација / време на водење парови, бидејќи тоа е еквивалентно на претпо For instance, assume for a given lead time we have errors of (50, 100, 150) for cyclone A, (300, 200) for cyclone B and (100, 100) for cyclone C, with A having more samples. A bootstrapping sample at the level of cyclones first samples uniformly at random 3 cyclones with replacement (for instance A,A,B) and then computes the mean on top of the corresponding samples with multiplicity: mean(50,100,150,50,100,150,200,300)=137.5. 8.1.3. Results Во додатоците Фигура 3а-б, ние избравме да ја покажеме медиумската грешка наместо просечната. Оваа одлука беше донесена пред да се пресметаат резултатите на тест сет, врз основа на перформансите на сетот за валидација. Во годините 2016–2017, користејќи ја верзијата на GraphCast обучени во 1979–2015, забележавме дека користејќи ги раните верзии на нашиот трекер, просечната грешка на трек беше доминирана од многу малку outliers и не беше репрезентативна за целата популација. Покрај тоа, значителен дел од овие outliers се должи на грешки во алгоритмот за следење наместо самите предвидувања, што сугерира дека трекерот е субоптимал за употреба со GraphCast. Бидејќи нашата цел Supplements Figure 39 complements Figure 3a-b by showing the mean track error and the corresponding paired analysis. We note that using the final version of our tracker (Supplements Sec-tion 8.1.4), GraphCast mean results are similar to the median one, with GraphCast significantly outperforming HRES for lead time between 2 and 5 days. Поради познатите ефекти на замаглување, кои имаат тенденција да ги изгладат екстремитетите кои се користат од страна на тракерот за да се открие присуството на циклон, методите на ML може да ги фрлаат постоечките циклони почесто од NWPs. фрлањето на циклонот е многу поврзано со тоа што има голема позиционална грешка. За да се избегне овој проблем, ние провериме дека нашиот супер-параметар-барани тракер (види Додатоци Дел 8.1.4) пропушта сличен број на циклони како HRES. Додатоци Фигура 41 покажува дека на тест сет (2018-2021), GraphCast и HRES паѓа сличен број на циклони, обезбедување на нашите споредби се што е можно фер. Додатоците Фигури 42 и 43 ја покажуваат медиумската грешка и парената анализа како функција на времето на водење, поделено по категорија на циклони, каде што категоријата е дефинирана на Скалата за ураган на Сафир-Симпсон [47], со категорија 5 која ги претставува најсилните и најштетните бури (забелешка, користиме категорија 0 за да ги претставуваме тропските бури). Откривме дека GraphCast има еднаков или подобар перформанс од HRES во сите категории. За категорија 2, а особено за категорија 5 (најинтензивните настани), GraphCast е значително подобар од HRES, како што покажува парената анализа по трака. 8.1.4 Детали за тракерот The tracker we used for GraphCast is based on our reimplementation of ECMWF’s tracker [35]. Because it is designed for 0.1° HRES, we found it helpful to add several modifications to reduce the amount of mistracked cyclones when applied to GraphCast predictions. However, tracking errors still occur, which is expected from tracking cyclone from 0.25° predictions instead of 0.1°. We note that we do not use our tracker for the HRES baseline, as its tracks are directly recovered from the TIGGE archives [8]. Прво даваме резиме на високо ниво на стандардниот тракер од ECMWF, пред да ги објасниме модификациите што ги направивме и нашиот процес на одлучување. Given a model’s predictions of the variables 10 U, 10 v, MsL as well as U, v and z at pressure levels 200, 500, 700, 850 and 1000 hPa over multiple time steps, the ECMWF tracker [35] sequentially processes each time step to iteratively predict the location of a cyclone over an entire trajectory. Each 6h prediction of the tracker has two main steps. In the first step, based on the current location of the cyclone, the tracker computes an estimate of the next location, 6h ahead. The second step consists in looking in the vicinity of that new estimate for locations that satisfy several conditions that are characteristic of cyclone centers. ECMWF tracker За да се пресмета проценката за локацијата на следниот циклон, тракерот ја поместува тековната проценка користејќи изместување пресместено како просек од два вектора: 1) изместувањето помеѓу последните две локации на патеката (т.е. линеарна екстраполација) и 2) проценка на насоката на ветрот, просекувајќи ја брзината на ветрот U и v на претходната позиција на патеката при нивоа на притисок 200, 500, 700 и 850 hPa. Откако ќе се пресмета локацијата на следниот циклон, тракерот ги гледа сите локални минимуми на просечниот притисок на нивото на морето (MsL) во рамките на 445 km од оваа проценка. 1. Vorticity check: the maximum vorticity at 850 hPa within 278 km of the local minima is larger than 5 · 10−5 s−1 for the Northern Hemisphere, or is smaller than −5 · 10−5s−1 for the Southern Hemisphere. Vorticity can be derived from horizontal wind (U and v). Проверка на брзината на ветрот: ако кандидатот е на копно, максималната брзина на ветрот од 10 m во рамките на 278 km е поголема од 8 m/s. Проверка на дебелината: ако циклонот е екстратропски, постои максимална дебелина помеѓу 850 hPa и 200 hPa во радиус од 278 km, каде дебелината е дефинирана како z850-z200. If no minima satisfies all those conditions, the tracker considers that there is no cyclone. ECMWF’s tracker allows cyclones to briefly disappear under some corner-case conditions before reappearing. In our experiment with GraphCast, however, when a cyclone disappear, we stop the tracking. Ние ги анализиравме грешките на циклоните од нашите години на валидација (2016-2017), користејќи верзија на GraphCast обучена на 1979-2015 година, и ја модифициравме реимплементацијата на ECMWF трекерот како што е опишано подолу. Our modified tracker 1. The current step vicinity radius determines how far away from the estimate a new center candidate can be. We found this parameter to be critical and searched a better value among the following options: 445 × 𝑓 for f in 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (original value). 2. The next step vicinity radius determines how strict multiple checks are. We also found this parameter to be critical and searched a better value among the following options: 278 × 𝑓 for f in 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (original value). Следниот чекор проценка на ECMWF користи 50-50 тежење помеѓу линеарната екстраполација и векторите за управување со ветерот. Во нашиот случај, каде што ветерот се предвидува на 0,25 ° резолуција, најдовме ветерот за управување со понекогаш пречки проценки. Ова не е изненадувачки, бидејќи ветерот не е просторно рамно поле, а тракерот е веројатно прилагоден за да ги искористи 0,1 ° резолуција предвидувања. Значи, ние ги разгледуваме само кандидатите кои создаваат агол помеѓу претходниот и новиот правец под d степени, каде d е пребаран меѓу овие вредности: 90, 135, 150, 165, 175, 180 (т.е. нема филтер, оригинална вредност). Забележавме дека неколку грешки направиле големи скокови, поради комбинација на бучно возење на ветерот и карактеристики кои се тешко да се разликуваат за слаби циклони. Така, ги истражувавме пресметувањето на проценката за движење над x километри (со менување на делтата со последниот центар), барајќи ги следните вредности за x: 445 × f за f во 0.25, 0.5, 1.0, 2.0, 4.0, ∞ (т.е. без клипување, оригинална вредност). За време на пребарувањето за хипер-параметри, исто така, проверивме на податоците за валидација дека тракерот кој се применува на GraphCast фрли сличен број на циклони како HRES. 8.2 Атмосферски реки Вертикално интегрираниот транспорт на водена пареа (IvT) обично се користи за да се карактеризира интензитетот на атмосферските реки [38, 37]. Иако GraphCast не го предвидува директно IvT и не е специјално обучен да ги предвиди атмосферските реки, можеме да ја изведеме оваа количина од предвидените атмосферски варијабли специфични за влажност, Q и хоризонтален ветер, (U, v), преку односот [38]: каде g = 9,80665 m/s2 е забрзувањето поради гравитацијата на површината на Земјата, pb = 1000 hPa е дното притисок, а pt = 300 hPa е врвот притисок. Евалуацијата на IvT со користење на горенаведената врска бара нумеричка интеграција и резултатот зависи од вертикалната резолуција на предвидувањето. GraphCast има вертикална резолуција од 37 нивоа на притисок што е повисока од резолуцијата на достапните HRES траектории со само 25 нивоа на притисок. За конзистентна и фер споредба на двата модела, затоа користиме само заеднички поднабор на нивоа на притисок, кои исто така се вклучени во референтната точка WeatherBench, кога се оценува IvT 8, односно [300, 400, 500, 600, 700, 850, 925, 1000] hPa. За GraphCast, ние го пресметуваме IvT врз основа на неговите предвидувања и го споредуваме со IvT пресметан аналогно од ERA5. Слично на тоа, ние ги користиме HRES предвидувањата за пресметување на IvT за HRES и го споредуваме со IvT пресметан од HRES-fc0. Similarly to previous work [10], Figure 44 reports RMSE skill and skill score averaged over coastal North America and the Eastern Pacific (from 180°W to 110°W longitude, and 10°N to 60°N latitude) during the cold season (Jan-April and Oct-Dec 2018), which corresponds to a region and a period with frequent atmospheric rivers. 8.3 Екстремна топлина и студ Ние ги проучуваме екстремната топлина и студот предвидување како бинарна класификација проблем [35, 32] со споредување дали даден модел предвидување може правилно да се предвиди дали вредноста за одредена променлива ќе биде над (или под) одреден процентил на дистрибуција на референтна историска климатологија (на пример, над 98% процентил за екстремна топлина, и под 2% процентил за екстремна студ). По претходната работа [35], референтната климатологија се добива одделно за (1) секоја променлива (2) секој месец од годината, (3) секое време од денот, (4) секоја географска ширина / должина координати, и (5) секое ниво на притисок (ако е применливо). Ова го прави откривањето на екстремитети повеќе контрастира со отстранување на ефектот на Бидејќи екстремната прогноза по дефиниција е проблем со нерамнотежена класификација, нашата анализа се базира на прецизни спомени кои се добро прилагодени за овој случај [42]. Кривата за прецизно потсетување се добива со менување на слободниот параметар „добиток“ кој се состои од скалирање фактор во однос на медиумската вредност на климатологијата, т.е. скалирана прогноза = добивка × (прогноза − медиумска климатологија) + медиумска климатологија. Ова има ефект на поместување на границата на одлуката и овозможува да се проучат различните трговски отстапувања помеѓу лажните негативни и лажните позитивни. Интуитивно, 0 добивка ќе произведе нула позитивни прогнози (на пример, ну Ние ја фокусираме нашата анализа на варијабли кои се релевантни за екстремните температурни услови, особено 2 T [35, 32], а исто така и T 850, z500 кои често се користат од страна на ECMWF за да се карактеризираат топлотните бранови [34]. По претходната работа[32], за екстремната топлина ги просекуваме во текот на јуни, јули и август на копно во северната хемисфера (латитуда > 20◦) и во текот на декември, јануари и февруари на копно во јужната хемисфера (латитуда < -20◦). За екстремната студ, ги разменивме месеците за северната и јужната хемисфера. Види целосни резултати во Слика 45. 9.Предвидување на визуелизации Во овој завршен дел, ние даваме неколку примери за визуелизација на предвидувањата направени од GraphCast за променливите 2 T (Слика 47), 10 U (Слика 48), MsL (Слика 49), z500 (Слика 50), T 850 (Слика 51), v 500 (Слика 52), Q 700 (Слика 53). Референци [1] Ferran Alet, Adarsh Keshav Jeewajee, Maria Bauza Villalonga, Alberto Rodriguez, Tomas Lozano-Perez, и Leslie Kaelbling. Граф елементи мрежи: адаптивни, структурирани пресметки и меморија. во Меѓународната конференција за машинско учење, страници 212-222 PMLR, 2019. [2] Kelsey R Allen, Yulia Rubanova, Tatiana Lopez-Guevara, William Whitney, Alvaro Sanchez-Gonzalez, Peter Battaglia, и Tobias Pfaff. Учење на ригидна динамика со мрежите за интеракција на лицето. arXiv preprint arXiv:2212.03574, 2022. [3] Џими Леј Ба, Џејми Рајан Кирос и Џефри Хинтон. слој нормализација. arXiv, 2016. [4] Игор Бабушкин, Кејт Баумли, Алисон Бел, Сурија Бхупатирау, Џејк Брус, Петер Бухловски, Дејвид Буден, Тревор Каи, Ајдан Кларк, Иво Даниелка, Клаудио Фантачи, Џонатан Годуин, Крис Џонс, Рос Хемсли, Том Хенниган, Матео Хесел, Шаобо Хоу, Стивен Каптуровски, Томас Кек, Јуриј Кемаев, Мајкл Кинг, Маркус Кунеш, Лена Мартенс, Хамза Мерзиќ, Владимир Микулик, Тамара Норман, Џон Куан, Џорџ Папамакариос, Романскиот прстен, Франсиско Руис, Алваро Санчез, Ро // github.com/deepmind во 2020 година. [5] Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al. Мрежи за интеракција за учење за објекти, односи и физика. [6] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Релативни индуктивни предрасуди, длабоко учење и графички мрежи. arXiv preprint arXiv:1806.01261, 2018. [7] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu и Qi Tian. Pangu-Weather: 3D модел со висока резолуција за брза и точна глобална временска прогноза. [8] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. The THORPEX interactive grand global ensemble. Bulletin of the American Meteorological Society, 91(8):1059–1072, 2010. [9] Џејмс Бредбери, Рој Фростиг, Петер Хокинс, Метју Џејмс Џонсон, Крис Лири, Дугал Маклаурин, Џорџ Некула, Адам Паске, Џејк Вандерплас, Скај Вандерман-Милни и Кјао Зханг. JAX: компостируеми трансформации на програмите Python+NumPy. http://github. com/google/jax, 2018. [10] WE Chapman, AC Subramanian, L Delle Monache, SP Xie и FM Ralph. Подобрување на атмосферските речни предвидувања со машинско учење. Geophysical Research Letters, 46(17-18):10627-10635, 2019. [11] Tianqi Chen, Bing Xu, Chiyuan Zhang, и Карлос Guestrin. Обука длабоки мрежи со сублинеарна меморија трошоци. arXiv препечатување arXiv:1604.06174, 2016. [12] Balaji Devaraju. Разбирање филтрирање на сферата: Искуства од филтрирање на GRACE податоци. докторска дисертација, Универзитетот во Штутгарт, 2015. [13] J R Driscoll и D M Healy. Computing fourier трансформации и конволуции на 2-сферата. Матеј, 15(2):202–250, јуни 1994 година. IFS документација CY41R2 - Дел III: Динамика и нумерички процедури. https: //www.ecmwf.int/node/16647, 2016 година. [15] Меир Фортунато, Тобиас Пфаф, Петер Вирнсбергер, Александар Прицел и Петер Батаглија. Мулти-скала межграфнети. arXiv препечати arXiv:2210.00612, 2022. [16] Alan J Geer. Значењето на промените во резултатите за прогнозирање на средниот опсег. Tellus A: Динамичка метеорологија и океанографија, 68(1):30229, 2016. [17] Џонатан Годвин, Томас Кек, Петер Батаглија, Виктор Бапст, Томас Кип, Јуџија Ли, Кимберли Стахенфелд, Петар Величковиќ и Алваро Санчес-Гонзалес. Jraph: Библиотека за графички невронски мрежи во JAX. http://github.com/deepmind/jraph, 2020. [18] T. Haiden, Martin Janousek, Jean-Raymond Bidlot, R. Buizza, L. Ferranti, F. Prates, и Frédéric Vitart. Евалуација на предвидувањата на ECMWF, вклучувајќи го и надградбата за 2018 година. https://www.ecmwf. int/node/18746, 10/2018 2018. [19] Томас Хајден, Мартин Јанусек, Фредерик Витар, Зид Бен-Буаллегуе, Лаура Ферранти, Кристина Пратес и Дејвид Ричардсон. Евалуација на прогнозите на ЕЦМВФ, вклучувајќи и надградба за 2020 година. https://www.ecmwf.int/node/19879, 01/2021 2021. [20] Томас Хајден, Мартин Јанусек, Фредерик Витар, Зиед Бен-Буаллегуе, Лаура Ферранти и Фернандо Пратес. Евалуација на предвидувањата на ECMWF, вклучувајќи го и надградбата од 2021 година. https://www. ecmwf.int/node/20142, 09/2021 2021. [21] Томас Хајден, Мартин Јанусек, Фредерик Витар, Зид Бен-Буаллегуе, Лаура Ферранти, Фернандо Пратес и Дејвид Ричардсон. Евалуација на предвидувањата на ECMWF, вклучувајќи го и надградбата од 2021 година. https://www.ecmwf.int/node/20469, 09/2022 2022. [22] Томас Хајден, Мартин Јанусек, Фредерик Витар, Лаура Феранти и Фернандо Пратес. Евалуација на предвидувањата на ECMWF, вклучувајќи го и надградбата за 2019 година. https://www.ecmwf.int/node/ 19277, 11/2019 2019. [23] Том Хенниган, Тревор Каи, Тамара Норман и Игор Бабушкин. http://github.com/deepmind/dm-haiku, 2020. [24] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers, et al. Глобалната реанализа на ERA5. Квартален весник на Кралското метеоролошко друштво, 146(730):1999–2049, 2020. [25] S. Hoyer and J. Hamman. xarray: N-D labeled arrays and datasets in Python. Journal of Open Research Software, 5(1), 2017. [26] Рајан Кејслер. Прогнозирање на глобалното време со графички невронски мрежи. arXiv preprint arXiv:2202.07575, 2022. [27] Дидерик П. Кингма и Џими Ба. Адам: Метод за стохастичка оптимизација. arXiv preprint arXiv:1412.6980, 2014. [28] Kenneth R Knapp, Howard J Diamond, James P Kossin, Michael C Kruk, Carl J Schreck, et al. Меѓународен најдобар архив за управување со климата (IBTrACS) проект, верзија 4. https://doi.org/10.25921/82ty-9e16, 2018. [29] Kenneth R Knapp, Michael C Kruk, David H Levinson, Howard J Diamond и Charles J Neumann. Меѓународниот најдобар архив за управување со климата (IBTrACS) обединува тропски циклони податоци. [30] Michael C Kruk, Kenneth R Knapp, и Дејвид H Levinson. Техника за комбинирање на глобалните тропски циклони најдобри податоци за следење. [31] David H Levinson, Howard J Diamond, Kenneth R Knapp, Michael C Kruk, и Ethan J Gibney. кон хомогена глобална тропски циклон најдобар трак сет на податоци. [32] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal, и Jason Hickey. Глобална екстремна топлина предвидување со користење на невронски временски модели. Вештачка интелигенција за Земјините системи, страници 1-41, 2022. [33] Илија Лошилов и Френк Хаттер. Декопулирана регулација на губење на тежината. arXiv препринт arXiv:1711.05101, 2017. [34] Линус Магнусон. 202208 - топлотен бран - гр. https://confluence.ecmwf.int/display/ FCST/202208+-+Топлотен бран+-+Велика Британија, 2022. [35] Линус Магнусон, Томас Хајден и Дејвид Ричардсон. Верификација на екстремни временски настани: Дискретни предвидувања. [36] С. Малардел, Нилс Веди, Вилем Деконинк, Михаил Дијамантакис, Кристијан Куенлин, G. Mozdzynski, M. Hamrud, и Piotr Smolarkiewicz. Нова мрежа за IFS. https: //www.ecmwf.int/node/17262, 2016 година [37] Бенџамин Џеј Мур, Пол Џеј Нејман, Ф Мартин Ралф и Фај Е Бартолд. Физички процеси поврзани со тешки поплави во Нашвил, Тенеси, и околината за време на 1–2 мај 2010 година: Улогата на атмосферската река и конвективните системи на мезоскала. Месечен временски преглед, 140(2):358-378 во 2012 година. Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist, и Michael D Dettinger. метеоролошки карактеристики и надземни врнежи влијанија на атмосферски реки кои влијаат на западниот брег на Северна Америка врз основа на осум години на ssm / i сателитски набљудувања. [39] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez, и Peter Battaglia. Учење мрежа базирана симулација со графички мрежи. во Меѓународната конференција за учење претставувања, 2021. [40] Prajit Ramachandran, Barret Zoph, и Quoc V Le. Пребарување на активациски функции. arXiv preprint arXiv:1710.05941, 2017. [41] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid, и Nils Thuerey. WeatherBench: сет на референтни податоци за временски предвидувања базирани на податоци. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [42] Takaya Saito и Марк Rehmsmeier. прецизно-сеќавање заговор е повеќе информативни од ROC заговор при оценување на бинарни класификатори на нерамнотежен сетови на податоци. PloS еден, 10(3):e0118432, 2015. Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec, и Peter Battaglia. Учење да се симулира комплексна физика со графички мрежи. во Меѓународната конференција за машинско учење, страници 8459-8468. [44] B. D. Santer, R. Sausen, T. M. L. Wigley, J. S. Boyle, K. AchutaRao, C. Doutriaux, J. E. Hansen, G. A. Meehl, E. Roeckner, R. Ruedy, G. Schmidt, и K. E. Taylor. однесување на тропопауза висина и атмосферска температура во модели, повторно анализи, и набљудувања: Декадални промени. Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M Hamill, Tim D Hewson, Julia H Keller, Mio Matsueda, John Methven, Florian Pappenberger, et al. Проектот TIGGE и неговите достигнувања. [46] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson и Munehiko Yamaguchi. Проектот TIGGE и неговите достигнувања. Булетен на Американското метеоролошко друштво, 97(1):49 – 67, 2016. [47] Харви Торм Тејлор, Бил Вард, Марк Вилис и Волт Залески. Скалата на ураганот Сафир-Симпсон. Атмосферска администрација: Вашингтон, DC, САД, 2010. [48] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser и Illia Polosukhin. Внимание е сè што ви треба. Напредности во системите за обработка на невронски информации, 30, 2017. [49] Петар Величковиќ, Гијлем Кукурул, Арантка Казанова, Адријана Ромеро, Пиетро Лио, и Јошуа Бенгио. Графички мрежи на внимание. arXiv препринт arXiv:1710.10903, 2017. This paper is под лиценца CC by 4.0 Deed (Attribution 4.0 International). available on arxiv Овој документ е под лиценца CC by 4.0 Deed (Attribution 4.0 International). Достапни за архивирање
