A szerzők: Remi Lam (Google DeepMind) Alvaro Sanchez-Gonzalez (Google DeepMind) Matthew Willson (Google DeepMind) Peter Wirnsberger (Google DeepMind) Meire Fortunato (Google DeepMind) Ferran Alet (Google DeepMind) Suman Ravuri (Google DeepMind) Timo Ewalds (Google DeepMind) Zach Eaton-Rosen (Google DeepMind) Weihua Hu (Google DeepMind) Alexander Merose (Google Research) Stephan Hoyer (Google Research) George Holland (Google DeepMind) Oriol Vinyals (Google DeepMind) Jacklynn Stott (Google DeepMind) Alexander Pritzel (Google DeepMind) Shakir Mohamed (Google DeepMind) Peter Battaglia (Google DeepMind) A szerzők: Remi Lam (Google DeepMind szolgáltatás) Alvaro Sanchez-Gonzalez (a Google DeepMind segítségével) Matthew Willson (a Google DeepMind segítségével) Peter Wirnsberger (a Google DeepMind segítségével) Meire Fortunato (a Google DeepMind segítségével) Ferran Alet (Google DeepMind szolgáltatás) Suman Ravuri (a Google DeepMind segítségével) Tim Ewalds (a Google DeepMind segítségével) Zach Eaton-Rosen (a Google DeepMind segítségével) Weihua Hu (a Google DeepMind segítségével) Alexander Merose (Google kutatás) Stephan Hoyer (Google kutatás) George Holland (a Google DeepMind segítségével) Oriol Vinyals (Google DeepMind szolgáltatás) Jacklynn Stott (Google DeepMind) Alexander Pritzel (a Google DeepMind segítségével) Shakir Mohamed (a Google DeepMind segítségével) Peter Battaglia (a Google DeepMind segítségével) A globális középtávú időjárás-előrejelzés elengedhetetlen a döntéshozatalhoz számos társadalmi és gazdasági területen. A hagyományos numerikus időjárás-előrejelzés a megnövekedett számítási erőforrásokat használja az előrejelzés pontosságának javítására, de nem tudja közvetlenül felhasználni a történelmi időjárási adatokat a mögöttes modell javítására. Bevezetünk egy gépi tanuláson alapuló módszert, a „GraphCast”-t, amelyet közvetlenül az újraelemzési adatokból lehet képezni. Több száz időjárási változót megjósol 10 nap alatt globálisan 0,25°-os felbontásban, egy perc alatt. Megmutatjuk, hogy a GraphCast jelentősen felülmúlja a legpontosabb működési determinisztikus rendszereket az 1380-as ellenőrz Kulcsszavak: időjárás előrejelzés, ECMWF, ERA5, HRES, tanulási szimuláció, grafikus ideghálózatok Bevezetés 2022 október közepén 5 óra 45 perckor, Bolognában, Olaszországban, az Európai Középtávú Időjárás-előrejelző Központ (ECMWF) új, nagy teljesítményű számítástechnikai létesítménye éppen megkezdte működését.Az elmúlt néhány órában az Integrált Előrejelző Rendszer (IFS) kifinomult számításokat hajtott végre a Föld időjárásának a következő napokban és hetekben történő előrejelzésére, és az első előrejelzéseit csak most kezdik terjeszteni a felhasználóknak. Az IFS és a modern időjárás-előrejelzések általában a tudomány és a mérnöki tudomány győzelmei. Az időjárási rendszerek dinamikája a Föld legösszetettebb fizikai jelenségei közé tartozik, és minden nap számtalan döntést hoznak magánszemélyek, iparágak és politikai döntéshozók a pontos időjárás-előrejelzéseken, a kabát viselésének vagy a veszélyes vihar elkerülésének eldöntésénél. A mai időjárás-előrejelzés domináns megközelítése a „számszerű időjárás-előrejelzés” (NWP), amely magában foglalja az időjárás uralkodó egyenleteinek szuperszámítógépek segítségével történő megoldását. Az NWP sikere az időjárás-előrejelzések évről évre De míg a hagyományos NWP jól skálázható a számítással, pontossága nem javul a növekvő mennyiségű történelmi adatokkal.Vannak hatalmas archívumok időjárási és klimatológiai adatok, például az ECMWF MARS [17], de a közelmúltig kevés gyakorlati módja volt az ilyen adatoknak az előrejelzési modellek minőségének közvetlen javítására.Ehelyett az NWP módszereket magasan képzett szakértők fejlesztették ki, jobb modelleket, algoritmusokat és közelítéseket innovációval, ami időigényes és költséges folyamat lehet. Machine learning-based weather prediction (MLWP) offers an alternative to traditional NWP, where forecast models are trained directly from historical data. This has potential to improve forecast accuracy by capturing patterns and scales in the data which are not easily represented in explicit equations. MLWP also offers opportunities for greater efficiency by exploiting modern deep learning hardware, rather than supercomputers, and striking more favorable speed-accuracy trade-offs. Recently MLWP has helped improve on NWP-based forecasting in regimes where traditional NWP is relatively weak, for example sub-seasonal heat wave prediction [16] and precipitation nowcasting from radar images [32, 33, 29, 8], where accurate equations and robust numerical methods are not as available. A középtávú időjárás-előrejelzésben, azaz a légköri változók előrejelzésében akár 10 napig, az IFS-hez hasonló NWP-alapú rendszerek még mindig a legpontosabbak. A világ legfontosabb determinisztikus operációs rendszere az ECMWF High Resolution Forecast (HRES), az IFS egyik összetevője, amely globális 10 napos előrejelzéseket állít elő 0,1° szélesség/hosszúság felbontásban, körülbelül egy órán belül [27]. Az elmúlt néhány évben azonban az MLWP-módszerek a középtávú előrejelzéshez folyamatosan fejlődtek, az olyan referenciaértékek segítségével, mint a WeatherBench [27]. A konvolucionális neurális hálózatokon alapuló mélytanulás architektúrái [35, 36, 28] és a grafikus Itt bemutatunk egy új MLWP megközelítést a globális közepes hatótávolságú időjárás-előrejelzéshez, az úgynevezett „GraphCast”, amely egy perc alatt pontos 10 napos előrejelzést készít egyetlen Google Cloud TPU v4 eszközön, és támogatja az alkalmazásokat, beleértve a trópusi ciklonok, a légköri folyók és a szélsőséges hőmérsékletek előrejelzését. A GraphCast a Föld időjárásának két legfrissebb állapotát – a jelenlegi időt és hat órával korábban – veszi be, és előrejelzi a következő időjárási állapotot hat órával előre. Egyetlen időjárási állapotot egy 0,25°-os szélességi/hosszúsági rács (721 × 1440), amely megközelítőleg 28 × 28 kilométeres felbontásnak felel meg az egyenlítőn (1. ábra), ahol minden rácspont egy sor felszíni és légköri változót képvisel (az 1. táblázatban felsorolt). A GraphCast neurális hálózati architektúrájaként valósul meg, a GNN-eken alapulva egy „kód-folyamat-dekód” konfigurációban [1], összesen 36,7 millió paraméterrel. A kódoló (1.d. ábra) egyetlen GNN réteget használ a bemeneti rácson csomópont-attribútumként ábrázolt változók (nulla-médium egység-variánsra normalizálva) feltérképezésére a belső „multi-mesh” ábrázoláson megtanult csomópont-attribútumokra. A multi-mesh (1g ábra) egy térbeli homogén grafikon, nagy térbeli felbontással világszerte. Ezt úgy határozzák meg, hogy egy rendszeres icosahedron (12 csomópont, 20 arc, 30 szél) hatszor ismétlődik, ahol minden finomítás négy kisebb háromszögre osztja a háromszöget (amely négyszer több arcot és szélességet eredményez), és a csomópontokat a gömbre vetíti vissza. A multi-mesh a legmagasabb felbontású hálóról származó 40,962 csomópontot tartalmaz, és a közbenső grafikonokban létrehozott összes szélesség egyesülése, amely a szélességek lapos hierarchiáját képezi. A processzor (1. ábra) 16 megosztatlan GNN réteget használ a megtanult üzenetátvitel végrehajtására a multi-meshben, lehetővé téve a hatékony helyi és hosszú távú információterjesztést néhány üzenetátvitel lépésével. A dekódoló (1.f. ábra) feltérképezi a végső processzorréteg megtanult jellemzőit a többhálós ábrázolástól a szélességi-hosszúsági rácsig. Egyetlen GNN réteget használ, és a kimenetet a legutóbbi bemeneti állapot maradéktalan frissítéseként megjósolja (a kimeneti normalizációval a célmaradvány egységváltozásának elérése érdekében). további építészeti részletekért lásd a 3. kiegészítést. A modellfejlesztés során 39 évet (1979–2017) használtunk az ECMWF ERA5 [10] újrafeldolgozási archívumából származó történelmi adatokból. Képzési célként a függőleges szinten súlyozott átlagos négyzethibát (MSE) számoltunk ki. A hiba kiszámításra került a GraphCast előrejelzett állapotának és az ERA5 korrespondens állapotának között az N autoregresszív lépések között. Az N értéke fokozatosan emelkedett az 1-12-ről (azaz hat órától három napig) a képzés során. A GraphCast-ot a képzési cél minimalizálására képezték a gradiens lejtés és a visszafelé terjesztés segítségével. A képzés körülbelül négy hétig tartott a Cloud 32 TPU v4 készülékeken A valós telepítési forgatókönyvekkel összhangban, ahol a jövőbeni információk nem állnak rendelkezésre a modellfejlesztéshez, a 2018-as évekből származó adatok alapján értékeltük a GraphCast-t (lásd a kiegészítések 5.1 pontját). Verification methods A GraphCast előrejelzési képességét átfogóan ellenőrizzük, összehasonlítva annak pontosságát a HRES-ekkel számos változón, szinten és lead-időben. Kvantitatívak vagyunk a GraphCast, HRES és ML kiindulási készségek két készségmérővel: a gyökér átlagos négyzethibával (RMSE) és az anomália korrelációs együtthatóval (ACC). A GraphCast által előre megjósolt 227 változó és szintkombináció közül mindegyik hálózati ponton a HRES-hez képest 69-en értékeltük a készségeket, amelyek megfelelnek a WeatherBench[27] 13 szintjének, valamint az ECMWF eredménytáblából származó változóknak [9]; lásd az 1. táblázatban és a kiegészítések 1.2. szakaszában szereplő boldface változókat és szinteket, amelyekre a HRES-ciklus az értékelési időszak alatt működött. Megjegyzés: kizárjuk az összes csapadékot az értékelésből, mivel az ERA5 csapadékadatok ismert előítéleteket [15] mutatnak. Ezekben az összehasonlításokban két kulcsfontosságú választás rejlik abban, hogy a készség hogyan alakul ki: (1) az összehasonlításhoz szükséges alapvető igazság kiválasztása, és (2) az adatok megfigyelésekkel történő földeléséhez használt adatasszimilációs ablakok gondos elszámolása. A GraphCast értékeléséhez az ERA5-t alapvető igazságként használjuk, mivel az ERA5-adatok bemenetként való felhasználására és az ERA5-adatok kimenetként történő előrejelzésére volt képzett. Mindazonáltal a HRES-előrejelzések ERA5-höz viszonyítva történő értékelése a kezdeti előrejelzési lépésben nem nulla hibát eredményezne. Ehelyett egy „HRES-előrejelzés a 0. lépésben” (HRES-f Az időjárás-előrejelzés adatainak jellege miatt ez megköveteli az ERA5 és a HRES adatasszimilációs ablakok közötti különbségek gondos ellenőrzését. Minden nap a HRES négy +/-3h ablakot használ a 00z, 06z, 12z és 18z középpontjában (ahol 18z 18:00 UTC-t jelent), míg az ERA5 két +9h/-3h ablakot használ 00z és 12z középpontjában, vagy azzal egyenértékűen két +3h/-9h ablakot 06z és 18z középpontjában. Mi úgy döntöttünk, hogy a GraphCast előrejelzéseit a 06z és 18z initializációkból értékeljük, biztosítva, hogy bemenetei a jövőbeli megfigyelések +3h információit hordozzák, ugyanazokkal a HRES A HRES 06z-on és 18z-on kezdetlegesített előrejelzései csak 3,75 napos horizontra futnak (a HRES 00z és 12z-es kezdetlegesítései 10 napig futnak). Ezért a számunk jelzi az átmenetet a csúszós vonallal, ahol a vonal előtti 3,5 nap a 06z és 18z-on kezdetlegesített HRES-ekkel való összehasonlítás, és a vonal után a 00z és 12z-en kezdetlegesített összehasonlítások. Az előrejelzések ellenőrzési eredményei Megállapítottuk, hogy a GraphCast nagyobb időjárás-előrejelzési képességgel rendelkezik, mint a HRES, ha a 10 napos előrejelzéseket 0,25°-os vízszintes felbontásban, szélesség/hosszúság tekintetében és 13 függőleges szinten értékelik. A 2a–c ábra azt mutatja, hogy a GraphCast (kék vonalak) az RMSE készség, az RMSE készség pontszám (azaz a normalizált RMSE különbség a modell A és a bázis B között (RMSEA − RMSEB)/RMSEB) és az ACC készség tekintetében a z500 (geopotenciálisan 500 hPa) „fejléc” mezőben a HRES (fekete vonalak) teljesítményét felülmúlja. a z500 használatát, amely a szinoptikus skálán lévő nyomáseloszlást kódolja, gyakori az irodalomban, mivel erős meteorológiai jelentőséggel bír [27]. A telkek azt mutatják, hogy a GraphCast minden vezető időben jobb készség pontszámmal rendelkezik, a készség pontszámának javulása körülbelül 7 A 2d ábra az ECMWF eredménytáblához hasonló formátumban összefoglalja az összes 1380 értékelett változó és nyomásszint RMSE képességének pontszámát a 10 napos előrejelzések során. A cellakék színei arányosak a képesség pontszámával, ahol a kék azt jelzi, hogy a GraphCast jobb képességgel rendelkezett, a piros pedig azt jelzi, hogy a HRES magasabb képességgel rendelkezett. A GraphCast az 1380-as célértékek 90.3%-án felülmúlta a HRES-t, és jelentősen (p ≤ 0.05, névleges minta mérete n ∈ {729, 730}) felülmúlta a HRES-t a célértékek 89.9%-án. Lásd a kiegészítések 5.4. szakaszát a módszert A légkör azon területei, ahol a HRES jobb teljesítményt mutatott, mint a GraphCast (a pontszámok piros felső sorai), aránytalanul lokalizálódtak a sztratoszférában, és a legkisebb képzési veszteség súlya volt (lásd a kiegészítések 7.2. szakaszát). Amikor az 50 hPa szintet kizárta, a GraphCast jelentősen meghaladta a HRES teljesítményét a fennmaradó 1280 célkitűzés 96,9%-án. Amikor az 50 és 100 hPa szintet kizárta, a GraphCast jelentősen meghaladta a HRES teljesítményét az 1180 fennmaradó célkitűzés 99,7%-án. Megállapítottuk, hogy az MSE-veszteség automatikus regresszív lépéseinek számának növelése javítja a GraphCast teljesítményét hosszabb lead idő alatt (lásd a 7.3.2. szakaszt), és arra ösztönzi, hogy a térbeli kiegyensúlyozott kimenetek előrejelzésével kifejezzék bizonytalanságát, ami a hosszabb lead idő alatt homályosabb előrejelzéseket eredményez (lásd a 7.5.3. szakaszt). A HRES alapvető fizikai egyenletei azonban nem vezetnek homályos előrejelzéshez. Annak értékelése érdekében, hogy a GraphCast relatív előnye az RMSE-hez képest fennmarad-e, ha a HRES-nek is megengedett az előrejelzései homályosítása, a homályos szűrőket a GraphCast Összehasonlítottuk a GraphCast teljesítményét a legmagasabb versenytárs ML-alapú időjárási modellel, a Pangu-Weather-el [4], és megállapítottuk, hogy a GraphCast a bemutatott 252 célkitűzés 99,2% -ánál jobban teljesített (a részletekért lásd a kiegészítések 6. szakaszát). Súlyos események előrejelzése Amellett, hogy értékeljük a GraphCast előrejelzési képességét a HRES-ekkel szemben a változók és a lead idők széles skáláján, azt is értékeljük, hogy előrejelzései hogyan támogatják a súlyos események előrejelzését, beleértve a trópusi ciklonokat, a légköri folyókat és a szélsőséges hőmérsékletet. Trópusi ciklonok A trópusi ciklon előrejelzések pontosságának javítása segíthet elkerülni a sérüléseket és az életveszteségeket, valamint csökkenti a gazdasági károkat [21]. A ciklon létezését, erejét és pályáját a geopotenciális (z), a vízszintes szél (10 U/10 v, U/v) és az átlagos tengerszintű nyomás (MsL) előrejelzéseire vonatkozó követési algoritmus alkalmazásával lehet megjósolni. Az ECMWF ugyanezen közzétett protokollokon [20] alapuló követési algoritmust hajtottunk végre, és alkalmaztuk a GraphCast előrejelzéseire, hogy a ciklon nyomvonal előrejelzéseit készítsük (lásd a 8.1. függeléket). Az összehasonlítás alapjául a HRES 0.1° A 3a. ábra azt mutatja, hogy a GraphCast alacsonyabb medián nyomkövetési hibával rendelkezik, mint a HRES a 2018–2021 közötti időszakban.Mivel a HRES és a GraphCast nyomkövetési hibái korrelálnak, a két modell közötti párosított hibakülönbséget is mérjük, és megállapítottuk, hogy a GraphCast jelentősen jobb, mint a HRES a lead idő 18 óra és 4,75 nap között, amint azt a 3b. ábra mutatja. légköri folyók A légköri folyók a légkör szűk régiói, amelyek a középső szélességi körökben a vízgőz szállításának többségéért felelősek, és az Egyesült Államok nyugati partján az éves csapadék 30%-65% -át generálják [6]. Erősségüket a vertikálisan integrált vízgőz szállítás IvT [23, 22] jellemezheti, jelezve, hogy egy esemény előnyös csapadékot eredményez-e, vagy katasztrofális károkozással társul-e [7]. Az IvT kiszámítható a vízszintes szélsebesség (U és v) és a specifikus páratartalom (Q) nem lineáris kombinációjából, amit a GraphCast előrejelez. Értékeljük a GraphCast előrejelzését Észak-Amerika partvidéki part szélsőséges hőség és hideg A szélsőséges hőséget és hideget a tipikus éghajlatváltozással összefüggésben nagy anomáliák jellemzik [19, 16, 18], amelyek veszélyesek lehetnek és megzavarhatják az emberi tevékenységeket. A HRES és a GraphCast szakértelmét értékeljük a legmagasabb 2% -os éghajlatváltozás feletti események előrejelzésében az év helye, ideje és hónapja között, 2 T 12 órás, 5 napos és 10 napos vezetési időben, az északi és a déli féltekén átívelő szárazföldi régiókban a nyári hónapokban. Pontossági visszahívási görbék [30] készítünk, hogy tükrözzék a hamis pozitívok (magas pontosság) csökkentése és a hamis negatívok (magas visszahívás) csökkentése A 3d. ábra azt mutatja, hogy a GraphCast precíziós visszahívási görbéi az 5 és 10 napos lead időkre a HRES-nél magasabbak, ami azt sugallja, hogy a GraphCast előrejelzései általában jobbak, mint a HRES a szélsőséges osztályozásnál hosszabb horizontokon. Ezzel ellentétben a HRES a 12 órás lead időnél jobb precíziós visszahívással rendelkezik, ami összhangban van a GraphCast 2 T készségpontjával a HRES-nél, amely közel nulla, amint azt a 2d. ábra mutatja. A képzési adatok közelmúltbeli hatása A GraphCast rendszeresen átképezhető a legfrissebb adatokkal, ami elvileg lehetővé teszi az idővel változó időjárási minták rögzítését, mint például az ENSO ciklus és más ingadozások, valamint az éghajlatváltozás hatásai.A GraphCast négy változatát olyan adatokkal képeztük, amelyek mindig 1979-ben kezdődtek, de 2017-ben, 2018-ban, 2019-ben és 2020-ban végződtek (a 2017-ben végződő változatot „GraphCast:<2018”, stb.) A 4. ábra a z500 négy változatának és a HRES-nek a készségértékét mutatja (a GraphCast:<2018) normalizálja.Azt találtuk, hogy míg a GraphCast teljesítménye 2018-ig képzett edzésekor még 2021-ben is versenyképes a HRES-rel, a 2021-ig képzett edzések tovább javítják a készségértékeket (lásd a kiegészítések 7.1.3. szakaszát).Azt gondoljuk, hogy ez a közelmúltbeli hatás lehetővé teszi a legutóbbi időjárási trendek rögzítését a pontosság javítása érdekében. következtetések A GraphCast előrejelzési készsége és hatékonysága a HRES-hez képest azt mutatja, hogy az MLWP módszerek mostantól versenyképesek a hagyományos időjárás-előrejelzési módszerekkel. Ezenkívül a GraphCast teljesítménye a súlyos események előrejelzésénél, amelyre nem volt közvetlenül képzett, bizonyítja a robusztust és a downstream értékre vonatkozó potenciált. 36,7 millió paraméterrel a GraphCast egy viszonylag kicsi modell a modern ML szabványok szerint, amelyet úgy választottak, hogy a memória lábnyomát megfigyelhető legyen. És miközben a HRES-t 0,1°-os felbontásban, 137 szinten és akár 1 órás időtávon is kiadják, a GraphCast 0,25°-os szélességi-hosszúsági felbontásban, 37 függőleges szinten és 6 órás időtávon működött az ERA5 képzési adatok natív 0,25°-os felbontása és a hardver magasabb felbontású adatainak illesztésében jelentkező mérnöki kihívások miatt. Megközelítésünk egyik kulcsfontosságú korlátozása, hogy a bizonytalanságot hogyan kezeljük. A determinista előrejelzésekre összpontosítottunk, és összehasonlítottuk a HRES-ekkel, de az ECMWF IFS másik pillére, az ensemble előrejelzési rendszer, az ENS, különösen fontos a 10+ napos előrejelzések esetében. Az időjárás dinamikájának nem lineáris jellege azt jelenti, hogy a hosszabb vezetési időkben egyre nagyobb a bizonytalanság, amit egyetlen determinista előrejelzés sem fog el jól. Az ENS ezt úgy kezeli, hogy többszörös, sztochasztikus előrejelzéseket hoz létre, amelyek modellezik a jövőbeni időjárás empirikus eloszlását, de a többszörös előrejelzések generálása It is important to emphasize that data-driven MLWP depends critically on large quantities of high-quality data, assimilated via NWP, and that rich data sources like ECMWF’s MARS archive are invaluable. Therefore, our approach should not be regarded as a replacement for traditional weather forecasting methods, which have been developed for decades, rigorously tested in many real-world contexts, and offer many features we have not yet explored. Rather our work should be interpreted as evidence that MLWP is able to meet the challenges of real-world forecasting problems, and has potential to complement and improve the current best methods. Az időjárás-előrejelzésen túl a GraphCast új irányokat nyithat más fontos geospatiotemporal előrejelzési problémákhoz, beleértve az éghajlatot és az ökológiát, az energiát, a mezőgazdaságot és az emberi és biológiai tevékenységet, valamint más összetett dinamikus rendszereket. Adatok és anyagok rendelkezésre állása A GraphCast kódja és a képzett mérlegek nyilvánosan elérhetők a github https://github.com/ deepmind/graphcast weboldalon. Ez a munka az Európai Középtávú Előrejelző Központ (ECMWF) nyilvánosan elérhető adatait használja. Az ERA5, HRES és TIGGE termékek ECMWF archívumát használjuk, amelynek használatát a Creative Commons Attribution szabályozza. 4.0 Nemzetközi (CC BY 4.0). Használjuk IBTrACS 4. verzió a https://www.ncei.noaa.gov/ products/international-best-track-archive and reference [13, 12] szükség szerint. A Föld textúra a 1. ábra alatt CC BY 4.0 a https://www.solarsystemscope.com/ textures/. elismerések Alfabetikus sorrendben köszönjük Kelsey Allen, Charles Blundell, Matt Botvinick, Zied Ben Bouallegue, Michael Brenner, Rob Carver, Matthew Chantry, Marc Deisenroth, Peter Deuben, Marta Garnelo, Ryan Keisler, Dmitrii Kochkov, Christopher Mattern, Piotr Mirowski, Peter Norgaard, Ilan Price, Chongli Qin, Sébastien Racanière, Stephan Rasp, Yulia Rubanova, Kunal Shah, Jamie Smith, Daniel Worrall és számtalan más az Alphabet és az ECMWF-nél a munkánkkal kapcsolatos tanácsért és visszajelzésért. Emellett köszönjük az ECMWF-nek, hogy felbecsülhetetlen adatkészleteket biztosított a kutatási közösségnek. A megnyitó bekezdés stíl Referenciák [1] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Relációs induktív előítéletek, mélytanulás és grafikus hálózatok. arXiv preprint arXiv:1806.01261, 2018. [2] P. Bauer, A. Thorpe és G. Brunet. A numerikus időjárás-előrejelzés csendes forradalma. természet, 525, 2015. [3] Stanley G Benjamin, John M Brown, Gilbert Brunet, Peter Lynch, Kazuo Saito és Thomas W Schlatter. 100 éves előrehaladás az előrejelzések és az NWP alkalmazások terén. [4] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu és Qi Tian. Pangu-Weather: Egy 3D-s nagy felbontású modell a gyors és pontos globális időjárás-előrejelzéshez. arXiv preprint arXiv:2211.02556, 2022. [5] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. A THORPEX interaktív nagy globális együttes. [6] WE Chapman, AC Subramanian, L Delle Monache, SP Xie, és FM Ralph. A légköri folyó előrejelzéseinek javítása gépi tanulással. Geophysical Research Letters, 46(17-18):10627–10635, 2019. [7] Thomas W. Corringham, F. Martin Ralph, Alexander Gershunov, Daniel R. Cayan és Cary A. Talbot. A légköri folyók az Egyesült Államok nyugati részén árvízi károkat okoznak. Tudományos haladás, 5(12):eaax4631, 2019. [8] Lasse Espeholt, Shreya Agrawal, Casper Sønderby, Manoj Kumar, Jonathan Heek, Carla Bromberg, Cenk Gazen, Rob Carver, Marcin Andrychowicz, Jason Hickey és társai. Mély tanulás tizenkét órás csapadék előrejelzésekhez. Természetkommunikációk, 13(1):1–10, 2022. [9] T Haiden, Martin Janousek, J Bidlot, R Buizza, Laura Ferranti, F Prates és F Vitart. Az ECMWF előrejelzéseinek értékelése, beleértve a 2018-as frissítést. [10] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers és társai. Az ERA5 globális újraelemzése. A Royal Meteorological Society negyedéves folyóirata, 146(730):1999–2049, 2020. [11] Ryan Keisler. A globális időjárás előrejelzése grafikus ideghálózatokkal. arXiv preprint arXiv:2202.07575, 2022. [12] Kenneth R. Knapp, Howard J. Diamond, James P. Kossin, Michael C. Kruk, Carl J. Schreck és társai: International best track archive for climate stewardship (IBTrACS) project, version 4. https: //doi.org/10.25921/82ty-9e16, 2018. [13] Kenneth R. Knapp, Michael C. Kruk, David H. Levinson, Howard J. Diamond és Charles J. Neumann. A trópusi ciklon adatokat egyesítő nemzetközi legjobb nyomkövetési archívum (IBTrACS).Bulletin of the American Meteorological Society, 91(3):363–376, 2010. [14] Thorsten Kurth, Shashank Subramanian, Peter Harrington, Jaideep Pathak, Morteza Mardani, David Hall, Andrea Miele, Karthik Kashinath és Animashree Anandkumar. FourCastNet: A globális nagy felbontású időjárás-előrejelzés felgyorsítása adaptív négyes neurális operátorokkal. arXiv preprint arXiv:2208.05419, 2022. [15] David A. Lavers, Adrian Simmons, Freja Vamborg és Mark J. Rodwell. Az ERA5 csapadékvizsgálatának értékelése az éghajlat megfigyelésére. A Royal Meteorological Society negyedéves folyóirata, 148(748):3152–3165, 2022. [16] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal és Jason Hickey. A globális szélsőséges hő előrejelzése idegjárási modellek segítségével. mesterséges intelligencia a Föld rendszerek számára, 1–41. oldal, 2022. [17] Carsten Maass és Esperanza Cuartero. MARS felhasználói dokumentáció. https://confluence. ecmwf.int/display/UDOC/MARS+user+documentation, 2022. [18] Linus Magnusson. 202208 - hőhullám - uk. https://confluence.ecmwf.int/display/ FCST/202208+-+Hőhullám+-+UK, 2022. [19] Linus Magnusson, Thomas Haiden és David Richardson: Extreme Weather Events Verification: Discrete Predictands. European Centre for Medium-Range Weather Forecasts, 2014. [20] Linus Magnusson, Sharanya Majumdar, Rebecca Emerton, David Richardson, Magdalena Alonso-Balmaseda, Calum Baugh, Peter Bechtold, Jean Bidlot, Antonino Bonanni, Massimo Bonavita és társai. trópusi ciklon tevékenységek az ECMWF-en. [21] Andrew B. Martinez. Az előrejelzés pontossága a hurrikánkárosodás szempontjából fontos. Econometrics, 8(2):18, 2020. [22] Benjamin J. Moore, Paul J. Neiman, F. Martin Ralph és Faye E. Barthold. A Nashville-ben, Tennessee-ben és környékén a nagy árvizekkel kapcsolatos fizikai folyamatok 2010. május 1-2. között: A légköri folyó és a mezoszkálós konvekciós rendszerek szerepe. [23] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist és Michael D Dettinger. Meteorológiai jellemzők és a légköri folyók földfelszíni csapadék hatásai Észak-Amerika nyugati partján nyolc éves ssm/i műholdas megfigyelések alapján. [24] Tung Nguyen, Johannes Brandstetter, Ashish Kapoor, Jayesh K Gupta és Aditya Grover. ClimaX: Az időjárás és az éghajlat alapmodellje. arXiv preprint arXiv:2301.10343, 2023. [25] Jaideep Pathak, Shashank Subramanian, Peter Harrington, Sanjeev Raja, Ashesh Chattopad-hyay, Morteza Mardani, Thorsten Kurth, David Hall, Zongyi Li, Kamyar Azizzadenesheli és társai Fourcastnet: Globális adatvezérelt, nagy felbontású időjárási modell adaptív négyes neurális operátorokkal. arXiv preprint arXiv:2202.11214, 2022. [26] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez és Peter Battaglia. Tanulás hálózati szimuláció grafikus hálózatokkal. [27] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid és Nils Thuerey. WeatherBench: az adatvezérelt időjárás-előrejelzésre vonatkozó referenciaadatkészlet. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [28] Stephan Rasp és Nils Thuerey. adatvezérelt közepes hatótávolságú időjárás-előrejelzés az éghajlati szimulációk előkészítésével: egy új modell az időjárás-előrejelzéshez. [29] Suman Ravuri, Karel Lenc, Matthew Willson, Dmitry Kangin, Remi Lam, Piotr Mirowski, Megan Fitzsimons, Maria Athanassiadou, Sheleem Kashem, Sam Madge, et al. Skilful precipitation nowcasting using deep generative models of radar. Nature, 597(7878):672–677, 2021. [30] Takaya Saito és Marc Rehmsmeier. A precíziós emlékeztető telek informatívabb, mint a ROC telek a kiegyensúlyozatlan adatkészletek bináris osztályozói értékelésekor. PloS egy, 10(3):e0118432, 2015. [31] Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec és Peter Battaglia. Tanulás a komplex fizika grafikus hálózatokkal történő szimulálására. [32] Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong és Wang-chun Woo. Mély tanulás a csapadék mostcasting: A referenciamutató és egy új modell. Előrelépések a neurális információfeldolgozó rendszerek, 30, 2017. [33] Casper Kaae Sønderby, Lasse Espeholt, Jonathan Heek, Mostafa Dehghani, Avital Oliver, Tim Salimans, Shreya Agrawal, Jason Hickey és Nal Kalchbrenner. Metnet: Neural időjárási modell csapadék előrejelzésére. arXiv előnyben arXiv:2003.12140, 2020. [34] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson és Munehiko Yamaguchi. A TIGGE projekt és annak eredményei. Az American Meteorological Society közleménye, 97(1):49 – 67, 2016. [35] Jonathan A Weyn, Dale R Durran és Rich Caruana. A gépek megtanulhatják az időjárás előrejelzését? A mély tanulás segítségével történelmi időjárási adatokból előre jelezhetjük az 500 hPa-os geopotenciális magasságot. Journal of Advances in Modeling Earth Systems, 11(8):2680–2693, 2019. [36] Jonathan A Weyn, Dale R Durran, and Rich Caruana. Improving data-driven global weather prediction using deep convolutional neural networks on a cubed sphere. Journal of Advances in Modeling Earth Systems, 12(9):e2020MS002109, 2020. 1. Adatbázis Ebben a szakaszban áttekintést adunk a GraphCast képzéséhez és értékeléséhez használt adatokról (Kiegészítők 1.1. szakasz), az NWP kiindulási HRES előrejelzéseit meghatározó adatokról, valamint a HRES-fc0-ról, amelyet a HRES földi igazságaként használunk (Kiegészítők 1.2. szakasz). Több adatkészletet építettünk fel képzés és értékelés céljából, amelyek az ECMWF adatarchívumai és az IBTrACS alkészleteiből állnak [29, 28]. Általában megkülönböztetjük a forrásadatok, amelyeket „archívumnak” vagy „archivált adatoknak” nevezünk, és az ezekből az archívumokból épített adatkészletek, amelyeket „adatkészleteknek” nevezünk. 1.1 Az ötödik A GraphCast képzéséhez és értékeléséhez adatkészletünket az ECMWF ERA5 [24]1 archívumának egy alösszetételéből építettük, amely nagy mennyiségű adat, amely az 1959-től napjainkig tartó globális időjárást képviseli 0,25°-os szélességi/hosszúsági felbontásban és 1 órás növekedésekkel több száz statikus, felszíni és légköri változót tartalmaz.Az ERA5 archívum újraelemzésen alapul, amely az ECMWF HRES modelljét (ciklus 42r1) használja, amely 2016 nagy részében működött (lásd 3. táblázat), az ECMWF 4D-Var adatasszimilációs rendszerében. ERA5 adatkészletünk tartalmazza az ECMWF ERA5 archívumában (2. táblázat) rendelkezésre álló változók egy alcsoportját, 37 nyomásszinten: 1, 2, 3, 5, 7, 10, 20, 30, 50, 70, 100, 125, 150, 175, 200, 225, 250, 300, 350, 400, 450, 500, 550, 600, 650, 700, 775, 800, 825, 850, 875, 900, 925, 950, 975, 1000 hPa. A felvett évek tartománya 1979-01-01 és 2022-01-10 között volt, amelyeket 6 órás időközönként (minden nap 00z, 06z, 12z és 18z-nek felel meg) mintavételeztek. 1.2 Részletek A HRES modell kiindulópontjának értékeléséhez két külön adatkészletre van szükség, nevezetesen az előrejelzési adatokra és a valós adatokra, amelyeket a következő alszakaszokban összegezünk. A HRES-t általában a világ legpontosabb determinisztikus NWP-alapú időjárási modelljének tekintik, így a HRES kiindulópontjának értékelése érdekében a HRES archivált történelmi előrejelzéseinek adatkészletét építettük fel. A HRES-t rendszeresen frissíti az ECMWF, így ezek az előrejelzések a legújabb HRES-modellt képviselik az előrejelzések elkészítésének időpontjában. Az előrejelzéseket natív képviseletükben töltötték le (amely gömbharmonikát és egy oktázisosan csökkentett Gaussian rácsot használ, TCo1279 [36]), és nagyjából megfelel a 0,1° szélesség/hosszúság felbontásnak. HRES operational forecasts Ezután térbeli mintavételezéssel 0,25°-os szélességi/hosszúsági rácsra csökkentettük az előrejelzéseket (az ERA5 felbontásának megfelelően) az ECMWF Metview könyvtárával, az alapértelmezett regrid paraméterekkel. Időbeli mintavételezéssel 6 órás intervallumra csökkentettük őket.Két csoport HRES előrejelzés létezik: a 00z/12z-on kezdetlegesítettek, amelyek 10 napos horizontra kerülnek kiadásra, és a 06z/18z-on kezdetlegesítettek, amelyek 3,75 napos horizontra kerülnek kiadásra. A HRES operatív előrejelzések készségének értékelése érdekében létrehoztunk egy alapvető igazság adatkészletet, az ECMWF HRES operatív előrejelzési archívumán alapuló „HRES-fc0” adatkészletet. Ez az adatkészlet magában foglalja az egyes HRES előrejelzések kezdeti szakaszát, a kezdeti időkben 00z, 06z, 12z és 18z (lásd az 5. ábrát). A HRES-fc0 adatkészlet hasonló az ERA5 adatkészlethez, de a legújabb ECMWF NWP modellt használja az előrejelzés idején, és a megfelelő dátum és idő körül ±3 órás megfigyeléseket alkalmazza. Megjegyzés: Az ECMWF a „HRES elemzés” adatkészletet is biztosítja, amely különbözik HRES-fc0 Az ECMWF HRES archívumából származó, 850 hPa (z850) és 925 hPa (z925) változó geopotenciális értékek nagyon kis alösszege nem szám (NaN). Ezek a NaN-ek a 2016–2021 közötti időszakra és az előrejelzések időszakaira egyenletesen oszlanak el. Ez a z850 képpontjainak körülbelül 0,00001%-át teszi ki (1 képpont tíz 1440 x 721 szélességi képkocka után), a z925 képpontjainak 0,00000001%-át (1 képpont tízezer 1440 x 721 szélességi képkocka után), és nincs mérhető hatása a teljesítményre. Könnyebb összehasonlítás céljából a hiányzó ritka értékeket a közvetlen szomszédos képp HRES NaN handling 1.3 Trópusi ciklon adatkészletek A trópusi ciklon-előrejelzések elemzéséhez az IBTrACS [28, 29, 31, 30] archívumot használtuk a földi igazság adatkészletének megalkotásához. Ez magában foglalja a történelmi ciklon nyomokat mintegy tucat hiteles forrásból. Minden nyomvonal egy idősorozat, 6 órás időközönként (00z, 06z, 12z, 18z), ahol minden időszaka a ciklon szemét képviseli a szélességi/hosszúsági koordinátákban, a megfelelő Saffir-Simpson kategóriával és más releváns meteorológiai jellemzőkkel együtt az adott időpontban. A HRES kiindulási sorrendjére a TIGGE archívumot használtuk, amely a HRES 0,1°-os felbontású előrejelzéseiből származó, az operatív nyomkövetővel becsült ciklon nyomvonalakat biztosítja. Az adatokat a https://confluence.ecmwf.int/display/TIGGE/Tools alatt letölthető XML fájlként tároljuk. Az adatok további utólagos feldolgozásra és elemzésre alkalmas formátumra való átalakításához olyan elemzőt vezettünk be, amely az érdeklődési évekre vonatkozó ciklon nyomvonalakat kiterjeszti. Az XML fájlokban található releváns szakaszok (tagok) a „forecast” típusúak, amelyek általában különböző kezdeti előrejelzési időknek megfelelő több Lásd a 8.1 szakaszt a nyomkövető algoritmusának és eredményeinek részleteiről. 2. Jelentés és problémamegállapítás Ebben a szakaszban meghatározzuk a hasznos időmegjelölések használatát a papíron (2.1 szakasz), formalizáljuk az általunk kezelt általános előrejelzési problémát (2.2 szakasz), és részletezzük, hogyan modellezzük az időjárás állapotát (2.3 szakasz). 2.1 Időszámítás Az előrejelzésben használt időmegjelölés zavart okozhat, több különböző időszimbólumot is magában foglalva, pl. az eredeti előrejelzés idejét, érvényességi idejét, előrejelzési horizontot stb. Ezért bevezetünk néhány szabványosított kifejezést és megjelölést az egyértelműség és az egyszerűség érdekében. Az idő egy bizonyos pontjára „dátum-idő”-ként utalunk, amelyet naptári dátum és UTC-idő jelez. Például 2018-06-21_18:00:00 június 21-ét jelenti, 2018 18:00 UTC-t. Röviden, néha a Zulu konvenciót is használjuk, azaz 00z, 06z, 12z, 18z 00:00, 06:00, 12:00, 18:00 UTC-t jelent. Tovább definiáljuk a következő szimbólumokat: t: Az előrejelzési idő lépésindex, amely az előrejelzés kezdeményezése óta megtett lépések számát mutatja be. T: Az előrejelzés horizontja, amely az előrejelzés lépéseinek teljes számát mutatja. d: érvényességi idő, amely egy adott időjárási állapot dátum-időpontját jelzi. d0: Az előrejelzés beindítási ideje, amely az előrejelzés kezdeti adatainak érvényességi idejét jelzi. Δd: Az előrejelzési lépés időtartama, amely azt jelzi, hogy egy előrejelzési lépés során mennyi idő telik el. τ: Az előrejelzés időtartama, amely az előrejelzésben eltelt időt képviseli (azaz τ = tΔd). 2.2 Általános előrejelzési problémamegállapítás A tényleges időjárás időbeli evolúcióját a mögöttes diszkrét idődinamikai funkció, Φ képviselheti, amely a következő időállapotot generálja (Δd a jövőben) a jelenlegi állapot alapján, azaz Zd+Δd = Φ(Zd). Célunk, hogy megtaláljunk egy pontos és hatékony modellt, φ, a valódi dinamikai funkciót, Φ, amely hatékonyan megjósolhatja az időjárás állapotát bizonyos előrejelzési horizonton, TΔd. Feltételezzük, hogy nem tudjuk közvetlenül megfigyelni Zd, hanem csak néhány részleges megfigyelés Xd, ami az időjárás tökéletesen megjósolásához szükséges állapotinformáció hiányos ábrázolása. Xd−Δd , Xd−2Δd , ..., az Xd mellett a modell ezután elvben kihasználhatja ezt a további kontextus információt, hogy a Zd-t pontosabban megközelítse. Az egyenlethez (1) hasonlóan az X ̈d+Δd előrejelzést vissza lehet adni φ-ba, hogy teljes előrejelzést készítsen, Az előrejelzés minőségét vagy készségét úgy értékeljük, hogy mennyire megfelel az előrejelzett pályának, az X ̈d+Δd:d+T Δd-nek az alapvető igazság pályájának, az Xd+Δd:d+TΔd-nek. Fontos azonban még egyszer kiemelni, hogy az Xd+Δd:d+TΔd csak a Zd+Δd:d+TΔd megfigyeléseit foglalja magában, amely önmagában nem figyelhető meg. 5 pontban kifejezetten leírtak. A munkánkban az adatok és előrejelzések időbeli felbontása mindig Δd = 6 óra volt 10 napos maximális előrejelzési horizonton, ami T = 40 lépés összességének felel meg. Mivel a Δd ebben a papíron egy állandó, egyszerűsíthetjük a megjelölést (Xt, Xt+1, . . . , Xt+T ) helyett (Xd, Xd+Δd , . . , Xd+TΔd ), hogy az időt egy egész számmal indexeljük egy adott dátumidő helyett. Az ECMWF időjárási adatai A modellek képzéséhez és értékeléséhez az ERA5 adatkészletünket a felszíni és a légköri időjárási állapot földi igazság-képviseleteként kezeljük.A 1.2 szakaszban leírtak szerint a HRES-fc0 adatkészletet használtuk fel a HRES képességeinek értékeléséhez. In our dataset, an ERA5 weather state 𝑋𝑡 comprises all variables in Table 2, at a 0.25° horizontal latitude-longitude resolution with a total of 721 × 1440 = 1, 038, 240 grid points and 37 vertical pressure levels. The atmospheric variables are defined at all pressure levels and the set of (horizontal) grid points is given by 𝐺0.25◦ = {−90.0, −89.75, . . . , 90.0} × {−179.75, −179.5, . . . , 180.0}. These variables are uniquely identified by their short name (and the pressure level, for atmospheric variables). For example, the surface variable “2 metre temperature” is denoted 2 T; the atmospheric variable “Geopotential” at pressure level 500 hPa is denoted z500. Note, only the “predicted” variables are output by our model, because the “input”-only variables are forcings that are known apriori, and simply appended to the state on each time-step. We ignore them in the description for simplicity, so in total there are 5 surface variables and 6 atmospheric variables. Mindezekből a változókból a modellünk 5 felszíni változót és 6 légköri változót jósol összesen 227 célváltozónak. Számos más statikus és/vagy külső változót a modellünk bemeneti kontextusaként is biztosítottunk.Ezek a változók az 1. táblázatban és a 2. táblázatban láthatók.A statikus/külső változók olyan információkat tartalmaznak, mint a rács/háló geometria, az orográfia (felszíni geopotenciál), a szárazföldi-tengeri maszk és a légkör tetején lévő sugárzás. Az Xt-ben szereplő változók azon alcsoportjára utalunk, amelyek egy adott rácspontnak i (1,038,240 összesen) felelnek meg xt-ként, és a 227 célváltozók minden egyes változójára j-ként xt-ként.Az Xtii, j teljes állami reprezentációja tehát összesen 721 × 1440 × (5 + 6 × 37) = 235, 680, 480 értéket tartalmaz. Megjegyzés: a pólusokon a 1440 hosszúságpont egyenlő, így a külön rácspontok tényleges száma valamivel kisebb. 3. GraphCast modell Ez a szakasz részletes leírást ad a GraphCast-ról, kezdve egy előrejelzés (3.1. szakasz) önregresszív generációjával, áttekintve az építészetet egyszerű nyelven (3.2. szakasz), majd egy műszaki leírást ad a GraphCast-t (3.3.3. szakasz), annak kódolóját (3.4. szakasz), a processzort (3.5. szakasz) és a dekódolót (3.6. szakasz), valamint az összes normalizálási és paraméterezési részletet (3.7. szakasz). 3.1. Generating a forecast A GraphCast modellt egy olyan, egy lépésben tanult szimulátorként definiáljuk, amely a φ szerepét veszi át az egyenletben (2) és két egymást követő bemeneti állapot alapján megjósolja a következő lépést. As in Equation (3), we can apply GraphCast iteratively to produce a forecast Ez az 1b,c. ábrán látható.A korai kísérletekben megállapítottuk, hogy két bemeneti állapot jobb teljesítményt nyújtott, mint egy, és hogy három nem segített eléggé a megnövekedett memória lábnyom igazolásához. 3.2. Architecture overview The core architecture of GraphCast uses GNNs in an “encode-process-decode” configuration [6], as depicted in Figure 1d,e,f. GNN-based learned simulators are very effective at learning complex physical dynamics of fluids and other materials [43, 39], as the structure of their representations and computations are analogous to learned finite element solvers [1]. A key advantage of GNNs is that the input graph’s structure determines what parts of the representation interact with one another via learned message-passing, allowing arbitrary patterns of spatial interactions over any range. By contrast, a convolutional neural network (CNN) is restricted to computing interactions within local patches (or, in the case of dilated convolution, over regularly strided longer ranges). And while Transformers [48] can also compute arbitrarily long-range computations, they do not scale well with very large inputs (e.g., the 1 million-plus grid points in GraphCast’s global inputs) because of the quadratic memory complexity induced by computing all-to-all interactions. Contemporary extensions of Transformers often sparsify possible interactions to reduce the complexity, which in effect makes them analogous to GNNs (e.g., graph attention networks [49]). A GNN-nek az önkényes ritka kölcsönhatások modellezésére való képességét a GraphCast belső „multi-mesh” képviseletének bevezetésével használjuk fel, amely lehetővé teszi a hosszú távú kölcsönhatásokat néhány üzenetküldő lépésben, és általában homogén térbeli felbontással rendelkezik a világ minden tájáról. Ez ellentétben van egy szélesség-hosszúságú rácssal, amely a rácspontok egyenetlen eloszlását idézi elő. A multi-mesh-t úgy építettük fel, hogy először egy rendszeres icosahedront (12 csomópont és 20 arc) 6 alkalommal osztottuk fel, hogy az icosahedrális hálók hierarchiáját összesen 40,962 csomópontból és 81,920 arcból a legmagasabb felbontásban szerezzük be. Kihasználtuk azt a tényt, hogy a durva-mesh csomópontok a finom-mesh csomópontok alcsoportjai, ami lehetővé tette számunkra, hogy a mesh hierarchiájának minden szintjéről a legmagasabb felbontású meshre felülbíráljuk a széleket. Ez az eljárás többszintű hálókészletet eredményez, durva széleket hídolva hosszú távolságokat több skál A GraphCast kódolója (1. ábra) először az eredeti szélességi-hosszúsági rácsból származó bemeneti adatokat ábrázolja a multi-meshben megtanult funkciókba, a rácspontoktól a multi-meshig irányított élvonalú GNN-t használva. A processzor (1. ábra) ezután 16 réteg mély GNN-t használ a multi-meshben megtanult üzenet átvitelének elvégzésére, lehetővé téve az információk hatékony terjesztését a téren a hosszú hatótávolságú élvonal miatt. A dekódoló (1. ábra) ezután a végső multi-mesh reprezentációt a szélességi-hosszúsági rácsra térképezi vissza egy irányított élvonalú GNN-t használva, és ezt a r A kódoló és a dekódoló nem igényli, hogy a nyers adatokat egy rendes téglalapú rácsban rendezzék, és alkalmazható az önkényes rácsszerű állami diszkretizálásokra is [1].Az általános architektúra különböző GNN-alapú tanult szimulátorokra épül, amelyek sok komplex folyadékrendszerben és más fizikai területen sikeresek voltak [43, 39, 15]. Hasonló megközelítéseket alkalmaztak az időjárás-előrejelzésben [26], ígéretes eredményekkel. Egyetlen Cloud TPU v4 eszközön a GraphCast 0,25°-os felbontást, 10 napos előrejelzést (hat órás lépésekkel) 60 másodpercen belül képes előállítani. Összehasonlításképpen, az ECMWF IFS rendszere 11,664 magos klaszterre fut, és 0,1°-os felbontást, 10 napos előrejelzést (az első 90 óra 1-órás lépésein, a 93-144. óra 3-órás lépésein és a 150-240 óra 6-órás lépésein keresztül, körülbelül egy óra számítógépes idő alatt [41]. Lásd a HRES kiadásának részleteit itt: https://www.ecmwf.int/en/forecasts/ datasets/set-i. 3.3 GraphCast grafikonok A GraphCast a GNN-k használatával valósul meg egy „kódolási folyamat-dekódolási” konfigurációban, ahol a kódoló térképek (felület és légkör) a bemeneti szélességi-hosszúsági rácson egy multi-meshre jellemzők, a processzor sok körű üzenetátadást végez a multi-meshre, és a dekódoló a multi-mesh funkciókat térképezi vissza a kimeneti szélességi-hosszúsági rácsra (lásd 1. ábrát). A modell a következő bekezdésekben részletesen meghatározott G (VG, VM, EM, EG2M, EM2G) grafikonon működik. VG képviseli az egyes rács csomópontjait tartalmazó készletet vG. Minden rács csomópontja egy adott szélességi-hosszúsági ponton a légkör függő szeletét képviseli, azaz az egyes rács csomópontjaihoz kapcsolódó jellemzők vG,funkciók = [xt−1, xt, ft−1, ft, ft+1, ci], ahol xt az időfüggő időállapot Xt, amely megfelel a rács csomópontjának vG-nek, és magában foglalja az összes előrejelzett adatváltozót mind a 37 légköri szinten, valamint a felszíni változókat. A kényszerítő kifejezések ft olyan időfüggő jellemzőkből állnak, amelyeket analitikusan lehet kiszámítani, és nem kell a GraphCast által megjósolni. Ezek közé Grid nodes A Mesh csomópontok egyenletesen helyezkednek el az egész világon egy R-finomított icosahedral mesh MR-ben. Az M0 egy egységsugárú icosahedronnak felel meg (12 csomópont és 20 háromszög alakú) arccal párhuzamosan a pólusokkal (lásd az 1g ábrát). A hálót iteratív módon finomítják Mr → Mr+1 azáltal, hogy minden háromszög alakot 4 kisebb alakra osztanak, ami egy extra csomópontot eredményez minden szélesség közepén, és az új csomópontokat újra vetíti vissza az egységes szférába.4 A vM funkciók, az egyes mesh csomópontokhoz kapcsolódó funkciók magukban foglalják a szélesség koszínját, és a hosszúság sinhe Mesh nodes EM kétirányú széleket adnak hozzá a hálózati csomópontok között, amelyek összekapcsolódnak a hálózatban. Alapvetően, a hálózati széleket hozzáadják az EM-hez minden finomítási szinten, azaz a legfinomabb hálózat, M6, valamint az M5, M4, M3, M2, M1 és M0. Ez egyszerűen azért, mert a finomítási folyamat működik: a Mr−1 csomópontjai mindig a csomópontok alcsoportja Mr. Ezért az alacsonyabb finomítási szinten bevezetett csomópontok a hosszabb tartományú kommunikáció csomópontjaként szolgálnak, függetlenül a maximális finomítási szinttől. A kapott grafikon, amely az összes finomítási szinttől származó közös széleket tartalmazza, az, amit Mesh edges Minden edge eM-hez, amely egy vM küldőhálós csomópontot csatlakoztat egy vM fogadóhálós csomóponthoz, a vM→vM edge funkciók eM-t építünk, amely a hálócsomópontok egységes szféráján található pozíciót használja. Ez magában foglalja a vM→vM s r szélességét, valamint a vektorkülönbséget a küldő csomópont és a fogadó csomópont 3d pozíciói között, amelyet a fogadó helyi koordinátarendszerében számítanak ki. A fogadó helyi koordinátarendszere egy olyan forgást alkalmazva számít, amely megváltoztatja az azimuth szöget, amíg a fogadó csomópont 0, majd egy forgást, amely megváltoztatja a poláris szöget Az EG2M egyirányú szélek, amelyek a küldőhálózati csomópontokat a vevőhálózati csomópontokhoz csatlakoztatják. Az eG2M vG→vM széle akkor kerül hozzáadásra, ha a hálózati csomópont és a hálózati csomópont közötti távolság kisebb, mint az s r vagy egyenlő 0,6 alkalommal5 az M6 (lásd 1. ábrát), amely biztosítja, hogy minden hálózati csomópont legalább egy hálózati csomóponthoz csatlakozik. Grid2Mesh edges EM2G egyirányú szélei, amelyek összekapcsolják a küldő hálózati csomópontokat a vevőhálózati csomópontokhoz. Minden hálózati ponthoz megtaláljuk a háromszög alakját a M6 hálózatban, amely azt tartalmazza, és hozzáadjuk az eM2G vM→vG formájának három Mesh2G Grid széleit, hogy összekapcsolják a hálózati csomópontot a három hálózati csomóponthoz, amelyek szomszédosak az adott archoz (lásd 1. ábrát). eM2G funkciók, a funkciók ugyanúgy épülnek fel, mint a hálózati vM→vG r széle. Ez összesen 3,114,720 Mesh2Grid széle (3 hálózati csomópont csatlakozik mindegyikhez a 7 Mesh2Grid edges 3.4. Encoder A kódoló célja, hogy az adatokat a processzor számára rejtett reprezentációkká készítse, amelyek kizárólag a multi-mesh-en futnak. A kódoló részeként először az egyes rácscsomópontok, rácscsomópontok, rácscsomópontok, rácscsomópontok és rácscsomópontok jellemzőit rögzített méretű rejtett térbe építjük be öt többrétegű perceptronnal (MLP), Embedding the input features Next, in order to transfer information of the state of atmosphere from the grid nodes to the mesh nodes, we perform a single message passing step over the Grid2Mesh bipartite subgraph GG2M(VG, VM, EG2M) connecting grid nodes to mesh nodes. This update is performed using an interaction network [5, 6], augmented to be able to work with multiple node types [2]. First, each of the Grid2Mesh edges are updated using information from the adjacent nodes, Grid2Mesh GNN Then each of the mesh nodes is updated by aggregating information from all of the edges arriving at that mesh node: A hálózati csomópontok mindegyike szintén frissül, de aggregáció nélkül, mivel a hálózati csomópontok nem fogadják el a Grid2Mesh altérkép bármely szegélyét, A három elem frissítése után a modell tartalmaz egy maradék kapcsolatot, és az egyszerűség érdekében a változók újraelosztása, 5. A feldolgozó A processzor egy mély GNN, amely a Mesh GM (VM, EM) szubgrafon működik, amely csak a Mesh csomópontokat és a Mesh széleket tartalmazza. Megjegyzendő, hogy a Mesh széle a teljes multi-mesh-t tartalmazza, nemcsak az M6 széleivel, hanem az M5, M4, M3, M2, M1 és M0 összes széleivel, amelyek lehetővé teszik a távközlést. A Mesh GNN egyetlen rétege egy szabványos interakciós hálózat [5, 6], amely először a szomszédos csomópontok adatait használva frissíti az egyes háló szélét: Multi-mesh GNN Ezután frissíti az egyes hálócsomópontokat, összegyűjtve az információkat az adott hálócsomóponthoz érkező összes élről: And after updating both, the representations are updated with a residual connection and for simplicity of the notation, also reassigned to the input variables: Az előző bekezdés leírja az üzenet átadásának egyetlen rétegét, de hasonló megközelítést követve [43, 39], ezt a réteget iteratívan alkalmaztuk 16 alkalommal, az egyes rétegek MLP-jeinek oszthatatlan neurális hálózati súlyait használva. 3.6. Decoder A dekódoló szerepe az, hogy információt hozzon vissza a hálózatba, és kivonjon egy kimenetet. Analogous to the Grid2Mesh GNN, the Mesh2Grid GNN performs a single message passing over the Mesh2Grid bipartite subgraph GM2G(VG, VM, EM2G). The Grid2Mesh GNN is functionally equivalent to the Mesh2Grid GNN, but using the Mesh2Grid edges to send information in the opposite direction. The GNN first updates each of the Grid2Mesh edges using information of the adjacent nodes: Mesh2Grid GNN Ezután frissíti az egyes hálózati csomópontokat, összegyűjtve az információkat az adott hálózati csomóponthoz érkező összes élről: Ebben az esetben nem frissítjük a hálócsomópontokat, mivel ettől kezdve nem fognak szerepet játszani. Itt ismét hozzáadunk egy maradék kapcsolatot, és a megjelölés egyszerűségéért a változók újraelosztása, ezúttal csak a rács csomópontokhoz, amelyek az egyetlenek, amelyek erre a pontra szükségesek: Végül az egyes hálózati csomópontok előrejelzését egy másik MLP segítségével állítják elő. Output function amely tartalmazza az adott hálózati csomópont összes 227 előrejelzett változóját. [43, 39]-hoz hasonlóan a következő időjárási állapotot, X ̈t + 1, az összes hálózati csomópont bemeneti állapotához a csomópontonkénti előrejelzés, Y ̈t hozzáadásával számítjuk ki, Normalizálás és hálózati parameterizálás A [43, 39]-hoz hasonlóan minden bemenetet normalizáltunk. minden egyes fizikai változó esetében a nyomásszint átlagát és a standard eltérést számítottuk ki az 1979–2015 közötti időszakban, és ezt használtuk, hogy normalizáljuk őket a nulla átlagra és az egységes eltérésre. A relatív szélességek és hosszúságok esetében a jellemzőket a leghosszabb szél hosszára normalizáltuk. Input normalization Because our model outputs a difference, 𝑌ˆ𝑡 , which, during inference, is added to 𝑋𝑡 to produce 𝑋ˆ𝑡+1, we normalized the output of the model by computing per-pressure level standard deviation statistics for the time difference 𝑌𝑡 = 𝑋𝑡+1 − 𝑋𝑡 of each variable6. When the GNN produces an output, we multiply this output by this standard deviation to obtain 𝑌ˆ𝑡 before computing 𝑋ˆ𝑡+1, as in Equation (18). For simplicity, we omit this output normalization from the notation. Output normalization A GraphCast-on belüli ideghálózatok mind MLP-k, egy rejtett réteggel, és 512 rejtett és kimeneti réteg méretűek (kivéve a Decoder MLP végső rétegét, amelynek kimeneti mérete 227, ami megfelel az egyes rácscsomópontok előrejelzett változóinak számának). Az összes MLP-re a „swish” [40] aktiválási funkciót választottuk. Neural network parameterizations 4. A képzés részletei This section provides details pertaining to the training of GraphCast, including the data split used to develop the model (Section 4.1), the full definition of the objective function with the weight associated with each variable and vertical level (Section 4.2), the autoregressive training approach (Section 4.3), optimization settings (Section 4.4), curriculum training used to reduce training cost (Section 4.5), technical details used to reduce the memory footprint of GraphCast (Section 4.6), training time (Section 4.7) and the software stacked we used (Section 4.8). 4.1 Megosztott képzés To mimic real deployment conditions, in which the forecast cannot depend on information from the future, we split the data used to develop GraphCast and data used to test its performance “causally”, in that the “development set” only contained dates earlier than those in the “test set”. The development set comprises the period 1979–2017, and the test set contains the years 2018–2021. Neither the researchers, nor the model training software, were allowed to view data from the test set until we had finished the development phase. This prevented our choices of model architecture and training protocol from being able to exploit any information from the future. Fejlesztési készletünkben tovább osztottuk fel az adatokat egy képzési készletre, amely magában foglalja az 1979–2015-es éveket, és egy érvényesítési készletre, amely magában foglalja a 2016–2017-es éveket. A képzési készletet modelljeink képzési adataiként és a hiperparaméter optimalizálásra és modellválasztásra szolgáló érvényesítési készletként használtuk fel, azaz a legjobban teljesítő modellarchitektúrát döntöttük el. Ezután befagyasztottuk a modellarchitektúrát és az összes képzési lehetőséget, és áttértünk a tesztfázisba. 4.2 A képzés célja A GraphCast-ot arra képezték, hogy minimalizálja az objektív funkciót a 12 lépéses (3 napos) előrejelzések során az ERA5 célokhoz képest, a gradiens lejtő használatával. Ahol τ ∈ 1 : A Ttrain a Ttrain autoregresszív lépéseinek megfelelő lead idők. 𝑑0 ∈ 𝐷batch represent forecast initialization date-times in a batch of forecasts in the training set, j ∈ J indexeli a változót, és a légköri változók esetében a nyomásszintet. pl J ={z1000, z850, . . . , 2 T, MsL}, i ∈ G0.25◦ a hely (szélesség és hosszúság) koordinátái a rácsban, x ̈d0+τ és xd0+τ előrejelzett és célértékek egyes változók szintjére, helyére és vezetési idejére,j,i j,i 𝑠 𝑗 is the per-variable-level inverse variance of time differences, wj = a változó szintű veszteség súlya, 𝑎𝑖 is the area of the latitude-longitude grid cell, which varies with latitude, and is normalized to unit mean over the grid. Annak érdekében, hogy egyetlen skálázott veszteséget hozzunk létre, a szélesség-hosszúság, a nyomásszintek, a változók, az áramlási idők és a tételméret átlagait vettük figyelembe. a szélesség-hosszúság tengelyein át átlagoltunk, a szélesség-hosszúság sejtméretével arányos tömeggel (normalizálva 1 értelemben). The quantities 𝑠 = 𝕍 h𝑥𝑡+1 − 𝑥𝑡 i −1 are per-variable-level inverse variance estimates of the time differences, which aim to standardize the targets (over consecutive steps) to unit variance. These were estimated from the training data. We then applied per-variable-level loss weights, 𝑤𝑗. For atmospheric variables, we averaged across levels, with a weight proportional to the pressure of the level (normalized to unit mean), as shown in Figure 6a. We use pressure here as a proxy for the density [26]. Note that the loss weight applied to pressure levels at or below 50 hPa, where HRES tends to perform better than GraphCast, is only 0.66% of the total loss weight across all variables and levels. We tuned the loss weights for the surface variables during model development, so as to produce roughly comparable validation performance across all variables: the weight on 2 T was 1.0, and the weights on 10 U, 10 v, MsL, and TP were each 0.1, as shown in Figure 6b. The loss weights across all variables sum to 7.4, i.e., (6 × 1.0 for the atmospheric variables, plus (1.0 + 0.1 + 0.1 + 0.1 + 0.1) for the surface variables listed above, respectively). 4.3 Képzés az autoregresszív céllal kapcsolatban In order to improve our model’s ability to make accurate forecasts over more than one step, we used an autoregressive training regime, where the model’s predicted next step was fed back in as input for predicting the next step. The final GraphCast version was trained on 12 autoregressive steps, following a curriculum training schedule described below. The optimization procedure computed the loss on each step of the forecast, with respect to the corresponding ground truth step, error gradients with respect to the model parameters were backpropagated through the full unrolled sequence of model iterations (i.e., using backpropagation-through-time). 4.4 Optimalizálás A képzési objektív funkciót minimalizálták a gradiens lejtéssel, mini-csomagokkal. Az ERA5 képzési adatkészletünkből a helyettesítéssel mintavételt végeztünk a 32-es méretű tételekhez. Az AdamW optimalizálót [33, 27] paraméterekkel (beta1 = 0,9, beta2 = 0,95) használtuk. a tömegmátrixokon 0,1 tömegveszteséget használtunk. a gradiens (norm) vágást 32 maximális normálértékkel használtuk. 4.5. Curriculum training schedule Az első fázis 1000 gradiens lefelé frissítésből állt, egy autoregresszív lépéssel, és egy lineárisan 0-ról 1e−3-re emelkedő tanulási ütemtervből (7. ábra). A második fázis 299 000 gradiens lefelé frissítésből állt, ismét egy autoregresszív lépéssel, és egy tanulási ütemtervből, amely 0-ra csökkent a fél-cosine lefelé lebomlási funkcióval (7. b ábra). A harmadik fázis 11 000 gradiens lefelé frissítésből állt, ahol az autoregresszív lépések száma 2-12-ről 1 ezer frissítésre emelkedett, és rögzített tanulási sebességgel 3e−7 (7. c ábra). 4.6 A memória lábnyomának csökkentése Ahhoz, hogy hosszú pályákat (12 autoregresszív lépést) illeszthessünk egy Cloud TPU v4 készülék 32 GB-jába, több stratégiát használunk modellünk memóriakártyájának csökkentésére. Először is a tételes párhuzamosságot használjuk az adatok 32 TPU készülékre (azaz egy adatpontra) történő elosztására. Másodszor, a bfloat16 lebegőpont pontosságát használjuk az aktiválásokból származó memória mennyiségének csökkentésére (megjegyzendő, hogy teljes pontosságú számokat (azaz float32-et) használunk a teljesítménymérések kiszámításához az értékelés idején). Végül pedig a gradiens ellenőrzőpontosítást [11] használjuk a memóriakártyánk további csökkentésére az alacsonyabb képzési sebesség költsége 4.7 Képzési idő A képzési ütemtervet követve, amely növeli az autoregresszív lépések számát, amint azt fentebb részleteztük, a GraphCast képzés körülbelül négy hétig tartott 32 TPU eszközön. 4.8 Szoftver és hardver stack JAX [9], Haiku [23], Jraph [17], Optax, Jaxline [4] és xarray [25] használatával modelleinket építjük és képezzük. 5. Verification methods Ez a szakasz részletesen ismerteti az értékelési protokollunkat. az 5.1 szakasz részletezi az adatok ok-okozati megosztásának megközelítését, biztosítva az értékelési teszteket értelmes általánosításra, azaz anélkül, hogy kihasználnánk a jövőbeli információkat. az 5.2 szakasz részletesebben elmagyarázza a HRES készségek értékelésére és a GraphCast-hoz való összehasonlítására vonatkozó választásainkat, kezdve a HRES-specifikus alapvető igazság szükségességétől, hogy elkerüljük a rövid lead-időben való büntetést (az 5.2.1. szakasz), az ERA5 és a HRES hatását a különböző asszimilációs ablakokon, amelyeket minden állam magában foglal (az 5.2.2. szakasz), az ebből eredő kezdeti 5.1 Képzés, érvényesítés és tesztelések In the test phase, using protocol frozen at the end of the development phase (Section 4.1), we trained four versions of GraphCast, each of them on a different period. The models were trained on data from 1979–2017, 1979–2018, 1979–2019 and 1979–2020 for evaluation on the periods 2018–2021, 2019–2021, 2020–2021 és 2021 között. Ismét ezek a szétválasztások ok-okozati szétválasztást tartottak fenn a modell verziójának képzésére használt adatok és a teljesítményének értékelésére használt adatok között (lásd a 8. ábrát). Az eredmények többségét 2018-ban értékeltük (azaz az 1979–2017-ben képzett modellkel), több kivétellel. A ciklon-követési kísérletek esetében 2018–2021-ben jelentjük az eredményeket, mert a ciklonok nem olyan gyakoriak, így több év is növeli a minta méretét. A GraphCast legújabb verzióját használjuk egy adott évre vonatkozó előrejelzéshez: GraphCast <2018 a 2018-as előrejelzéshez, GraphCast <2019 a 2019-es előrejelzés 5.2. Comparing GraphCast to HRES 5.2.1 A földi igazság adathalmazok kiválasztása GraphCast was trained to predict ERA5 data, and to take ERA5 data as input; we also use ERA5 as ground truth for evaluating our model. HRES forecasts, however, are initialized based on HRES analysis. Generally, verifying a model against its own analysis gives the best skill estimates [45]. So rather than evaluating HRES forecasts against ERA5 ground truth, which would mean that even the zeroth step of HRES forecasts would have non-zero error, we constructed an “HRES forecast at step 0” (HRES-fc0) dataset, which contains the initial time step of HRES forecasts at future initializations (see Table 3). We use HRES-fc0 as ground truth for evaluating HRES forecasts. 5.2.2 Egyenlő nézőpont biztosítása az asszimilációs ablakokban Amikor összehasonlítottuk a GraphCast és a HRES képességeit, több döntést hoztunk, hogy ellenőrizzük az ERA5 és a HRES-fc0 adatasszimilációs ablakok közötti különbségeket. Az 1. szakaszban leírtak szerint a HRES minden nap négy +/-3h ablakot használ, amelyek középpontjában 00z, 06z, 12z és 18z áll (ahol 18z a Zulu konvencióban 18:00 UTC), míg az ERA5 két +9h/-3h ablakot használ, amelyek középpontjában 00z és 12z állnak, vagy egyenértékűen két +3h/-9h ablakot, amelyek középpontjában 06z és 18z áll. Lásd a 9. ábrát egy illusztrációért. A GraphCast előrejelzéseit a 06z A 10. ábra a GraphCast hatékonyságát mutatja a 06z/18z és a 00z/12z között kezdeményezett teljesítményét. Amikor egy nagyobb nézőpontú állapotból kezdeményeztük, a GraphCast látható javulást ér el, amely hosszabb lead-időben marad fenn, támogatva a 06z/18z és a 06z/18z közötti kezdeményezett értékelés választását. Ugyanezt a logikát alkalmaztuk az értékelés céljának kiválasztásakor: csak olyan célokat értékelünk, amelyek mind a HRES, mind az ERA5 számára 3h lookaheadot tartalmaznak. Tekintettel a kezdeményezés 06z és 18z közötti választásunkra, ez megfelel a jövőbeli 06z és 18z elemzési időnként 12 óránként történő értékelésnek. Gyakorlati példaként, ha 06z 5.2.3 Az initializáció és az érvényességi idők összehangolása Amint fentebb említettük, a HRES-szel való méltányos összehasonlítás megköveteli, hogy a GraphCast-ot 06z és 18z initializációkkal értékeljük, és a lead idővel, amely 12h többszöröse, ami azt jelenti, hogy az érvényességi idő is 06z és 18z. A legfeljebb 3,75 napos lead-időre archivált HRES-előrejelzések állnak rendelkezésre a 06z és a 18z-es inicializációs és érvényességi idők használatával, és ezeket használjuk egy hasonló összehasonlítás elvégzésére a GraphCast-szel ezekben a lead-időkben. A 4 napos vagy annál hosszabb lead-idő esetén az archivált HRES-előrejelzések csak 00z és 12z inicializációkban érhetők el, ami a 12 órás többszörös lead-időnknek köszönhetően 00z és 12z érvényességi időt jelent. A globálisan meghatározott RMSE-k összehasonlításaiban a nappali időkülönbség kis előnyt ad a HRES-nek. A 11. ábrán láthatjuk, hogy 3,5 napos lead-időig a HRES RMSE-k átlagosan kisebbek a 00z és a 12z initializációs / érvényességi idők felett, mint azok a 06z és 18z idők, amelyeken a GraphCast-t értékelik. Azt is láthatjuk, hogy a különbség csökken a lead-idő növekedésével, és hogy a 06z/18z RMSE-k általában úgy tűnik, hogy a 00z/12z RMSE feletti aszimptota felé hajlamosak, de 2% -on belül. Minden alkalommal, amikor az RMSE-t és más értékelési mutatókat a lead-idő függvényeként ábrázoljuk, egy pontos vonallal jelezzük a 3.5 napos átváltási pontot, ahol a HRES 06z/18z-on történő értékelésétől a 00z/12z-en történő értékelésig váltunk át. 5.2 Értékelési időszak Fő eredményeink többségét a 2018-as évre (tesztkészletünkből) jelentjük, amelyre az első előrejelzés-kezdeményezési idő 2018-01-01_06:00:00 UTC volt, és az utolsó 2018-12-31_18:00:00, vagy a HRES hosszabb vezetési idejű értékelésekor 2018-01-01_00:00:00 és 2018-12-31_12:00:00. 5.3 Értékelési metrikák A GraphCast, más ML modellek és a HRES szakértelmét a gyökérváltás (RMSE) és az anomália-korrelációs együttható (ACC) segítségével számoljuk ki, amelyeket mindkettő a modellek megfelelő földi igazság adataival összehasonlítva számít. Az RMSE egy adott változó j és egy adott vezetési idő τ által indexált előrejelzései és földi igazságai közötti különbségek nagyságát méri (lásd az egyenletet (20)). Az ACC, Lj,τ , az egyenletben van meghatározva (29) és azt méri, hogy az előrejelzések mennyire különböznek a klímától, azaz a hely és a dátum átlagos időjárása összefügg a földi igazságoktól az klímától. A készségértékekhez az A és a B alapmod Az összes mutatót float32 pontossággal számították ki, és a változók natív dinamikus tartományát használták normalizálás nélkül. Az adott változó, x j, és a lead idő, τ = tΔd előrejelzési képességét a szélességi súlyozott gyökérváltás (RMSE) alapján számolták ki. Root mean square error (RMSE) Ahol • d0 ∈ A Deval az előrejelzés kezdeti dátum-időit jelöli az értékelési adatkészletben, • j ∈ J index változók és szintek, pl. J = {z1000, z850, . . . , 2 T, MsL}, • i ∈ G0.25◦ a hely (szélesség és hosszúság) koordinátái a rácsban, • 𝑥ˆ𝑑0+𝜏 and 𝑥𝑑0+𝜏 are predicted and target values for some variable-level, location, and lead time, J, I J, I • ai a szélességi-hosszúságú rács cellájának területe (normalizálva a rács feletti egység átlagára), amely a szélességgel változik. Azáltal, hogy a négyzetgyökeret az átlagon belül veszi át az előrejelzés-kezdeményezéseknél, követjük a WeatherBench konvencióját [41]. Megjegyezzük azonban, hogy ez eltér az RMSE meghatározásától sok más kontextusban, ahol a négyzetgyökeret csak a végső átlagra alkalmazzák, azaz Minden olyan összehasonlításban, amely olyan előrejelzéseket tartalmaz, amelyeket a gömbharmonikus tartományban szűrünk, szakítunk vagy lebontunk, a kényelem érdekében az RMSEs-t közvetlenül a gömbharmonikus tartományban számítjuk ki, minden eszközzel a négyzetgyökéren belül, Root mean square error (RMSE), spherical harmonic domain. Itt fd0+τ és f d0+τ előrejelzik és célkoefficiensek a gömb harmóniák teljes hullámszám j,l,m j,l,m Ezeket az együtthatókat a rács alapú adatokból egy diszkrét gömbharmonikus átalakulás [13] használatával számoljuk ki hármas truncációval a hullámszámon 719-ben, amelyet az egyenlítőn lévő rácsunk 0,25° (28km) felbontásának megoldására választottak ki. Ez az RMSE szorosan megközelíti az RMSE egyenletben (21) adott rácsalapú meghatározását, de nem pontosan összehasonlítható, részben azért, mert a 719-es hullámszámú háromszög nem oldja meg a pólusok közelében lévő egyenlítői rács további felbontását. Ezt az RMSE egyenlet meghatározása szerint számítjuk ki (21), de egyetlen helyre: Root mean square error (RMSE), per location. Az RMSE-t csak szélesség szerint osztjuk fel: ahol G0.25◦ G0.25◦ G0=1440 a 0,25°-os rendes rácsunkban lévő különböző hosszúságok száma. Ezt az RMSE egyenlet (21) meghatározása alapján számítják ki, de a felszíni magasságok egy bizonyos tartományára korlátozódnak, amelyet a felszíni geopotenciálnál a zl ≤ zsurface < zu határok adnak meg: Root mean square error (RMSE), by surface elevation. ahol ll jelöli az indikátor funkciót. Ezt a mennyiséget úgy határozzák meg, hogy Mean bias error (MBE), per location. Ez számszerűsíti az egyenletből (26) származó helymeghatározási előítéletek átlagos magnitúdóját, és Root-mean-square per-location mean bias error (RMS-MBE). This quantifies the correlation between per-location biases (Equation (26)) of two different models A and B. We use an uncentered correlation coefficient because of the significance of the origin zero in measurements of bias, and compute this quantity according to Correlation of per-location mean bias errors. Anomaly correlation coefficient (ACC). We also computed the anomaly correlation coefficient for a given variable, 𝑥 𝑗, and lead time, 𝜏 = 𝑡Δ𝑑, according to ahol Cd0+τ egy adott változó, szint, szélesség és hosszúság éghajlati átlagát jelenti, valamint a d0 + τ érvényességi időt tartalmazó évfordulót. 4. Statisztikai módszertan 5.4.1. Significance tests for difference in means Minden egyes lead-idő τ és változó-szint j esetében teszteljük a per-initialization-time RMSEs (az egyenletben (30) meghatározott) közötti átlagkülönbségeket a GraphCast és a HRES számára. Egy párosított kétoldalas t-tesztet használunk az auto-korreláció korrekciójával, a [16] módszertan szerint. Ez a teszt feltételezi, hogy az előrejelzési pontszámok közötti különbségek idősorozata megfelelően modellezve van a Gaussian AR(2) folyamatokhoz. Vizsgálataink névleges mintavételi mérete n = 730 a 4 nap alatti lead-időben, amely a 2018-as 365 nap alatt naponta két előrejelzés-kezdeményezésből áll (a 4 napot meghaladó lead-idő esetén n = 729, lásd 5.4.2. szakaszt). mindazonáltal ezek az adatok (az előrejelzett RMSE-k közötti különbségek) időben automatikusan korrelálnak. [16] után az inflációs tényezőt k-t becsüljük meg a standard hiba esetében, amely erre a célra helyes. k-értékek az 1.21 és a 6.75 közötti tartományban, a legmagasabb értékek általában rövid lead-időben és a legalacsonyabb nyomásszinteknél láthatók. Lásd az 5. táblázatot a jelentőségvizsgálatok részletes eredményeihez, beleértve a p-értékeket, a t-vizsgálati statisztika értékeit és a neff értékeit. 5.4.2. Forecast alignment For lead times 𝜏 less than 4 days, we have forecasts available at 06z and 18z initialization and validity times each day for both GraphCast and HRES, and we can test for differences in RMSEs between these paired forecasts. Defining the per-initialization-time RMSE as: Számítjuk a különbségeket which we use to test the null hypothesis that 𝔼[diff-RMSE( 𝑗, 𝜏, 𝑑0)] = 0 against the two-sided alterna-tive. Note that by our stationarity assumption this expectation does not depend on 𝑑0. Ahogyan az 5.2.3. szakaszban megvitattuk, 4 napos vagy annál hosszabb lead időkönként csak a 00z és a 12z kezdeti és érvényességi időkön elérhető HRES-előrejelzések állnak rendelkezésre, míg a legtisztességesebb összehasonlításhoz (5.2.2. szakasz) a GraphCast-előrejelzéseket 06z és 18z kezdeti és érvényességi időkön keresztül kell értékelni. Ezeket használhatjuk a null hipotézis E[diff-RMSEinterp( j, τ, d0)] = 0 tesztelésére, amely ismét nem függ a d0-tól a különbségek állandóságának feltételezésével. Ha továbbra is feltételezzük, hogy a HRES RMSE idősorozat maga állandó (vagy legalább elég közel áll a 6 órás ablakban lévő állandóhoz), akkor E[diff-RMSEinterp( j, τ, d0)] = E[diff-RMSE( j, τ, d0)] és az interpolált különbségek is felhasználhatók az eredeti nullhipotézis eltéréseinek tesztelésére, hogy E[diff-RMSE( j, τ, d0)] = 0. A HRES RMSE-k erősebb stagnálási feltételezését megsérti a nappali periódusosság, és az 5.2.3. szakaszban a HRES RMSE-k között a 00z/12z és a 06z/18z érvényességi idők közötti néhány szisztematikus különbséget látunk. mindazonáltal, amint azt ott megvitattuk, ezek a szisztematikus különbségek jelentősen csökkennek a lead idő növekedésével, és hajlamosak a HRES-t előnyben részesíteni, ezért úgy véljük, hogy az E[diff-RMSE( j, τ, d0)] = 0 teszt diff-RMSEinterp alapján konzervatív lesz azokban az esetekben, amikor a GraphCast úgy tűnik, hogy nagyobb készséggel rendelkezik, mint a HRES. 5.4.3 Bizalmi intervallumok az RMSE-k esetében Az RMSE készségterületünkben található hiba sávok az E[RMSEGC] és az E[RMSEHRES] különálló bizalmi intervallumainak felelnek meg (a j, τ, d0 argumentumok elidegenítése vagy jelenléte). Ezek a fentiekben leírt kétoldalas t-tesztből származnak az önkorrelációs korrekcióval, amelyet külön-külön alkalmaznak a GraphCast és a HRES RMSE idősorozatokra. Ezek a bizalmi intervallumok állandóságot feltételeznek a különálló GraphCast és HRES RMSE idősorozatok számára, ami a fentiek szerint erősebb feltételezés, hogy a különbségek állandósága és valamelyest megsérti. 5.4.4 Az RMSE készségpontszámok bizalmi intervalluma Az 5.4.1. szakaszban leírt t-tesztből az RMSE-k valódi különbségére vonatkozó szabványos bizalmi intervallumokat is levonhatjuk, de a készségpontszám-tervekben szeretnénk megmutatni a valódi RMSE készségpontszámra vonatkozó bizalmi intervallumokat, amelyben a valódi különbséget a HRES valódi RMSE normalizálja: Egy ilyen mennyiségre vonatkozó bizalmi intervallumnak figyelembe kell vennie a valódi HRES RMSE becslésünk bizonytalanságát. A [ldiff, udiff] legyen a számláló 1 − α/2 bizalmi intervalluma (különbség RMSEs-ben), és a [lHRES, uHRES] a nevezőre vonatkozó 1 − α/2 bizalmi intervallumunk (HRES RMSE). Tekintettel arra, hogy 0 < lHRES minden esetben számunkra, az intervallum aritmetikájával és az egyesülés kötésével konzervatív 1 − α bizalmi intervallumot kapunk for RMSE-SStrue. We plot these confidence intervals alongside our estimates of the RMSE skill score, however note that we don’t rely on them for significance testing. 6. Összehasonlítás a korábbi gépi tanulási alapvonalakkal Annak megállapításához, hogy a GraphCast teljesítménye hogyan hasonlít más ML módszerekkel, a Pangu-Weather [7]-re összpontosítunk, egy erős MLWP alapvonalra, amely 0,25°-os felbontásban működik. A legközvetlenebb összehasonlítás érdekében elhagyjuk az értékelési protokollt, és a [7]-ban leírtakat használjuk. Mivel a közzétett Pangu-Weather eredményeket a 00z/12z inicializációkból kapjuk, ugyanolyan inicializációkat használunk a GraphCast számára, nem pedig a 06z/18z helyett, mint a papír többi részében. Ez lehetővé teszi mindkét modellt, hogy ugyanazon bemenetekre kezdjünk, amelyek ugyanolyan mennyiségű lookaheadot tartalmaznak (+9 óra, lásd As shown in Figure 12, GraphCast (blue lines) outperforms Pangu-Weather [7] (red lines) on 99.2% of targets. For the surface variables (2 T, 10 U, 10 v, MsL), GraphCast’s error in the first several days is around 10-20% lower, and over the longer lead times plateaus to around 7-10% lower error. The only two (of the 252 total) metrics on which Pangu-Weather outperformed GraphCast was z500, at lead times 6 and 12 hours, where GraphCast had 1.7% higher average RMSE (Figure 12a,e). 7. További előrejelzési ellenőrzési eredmények Ez a szakasz további elemzést nyújt a GraphCast teljesítményéről, amely teljesebb képet ad az erősségeiről és korlátairól. A 7.1 szakasz kiegészíti a papír főbb eredményeit a további változókról és a z500-on túli szintekről. A 7.2 szakasz tovább elemzi a GraphCast teljesítményét régiók, szélességek és nyomásszintek szerint (különösen a tropopause alatt és felett alkalmazott teljesítmény megkülönböztetése), illusztrálja az előítéleteket és az RMSE-t a szélesség hosszúságával és magasságával. A 7.3 szakasz azt mutatja, hogy mind a multi-mesh, mind az autoregresszív veszteség fontos szerepet játszik a GraphCast teljesítményében. A 7.4 szakasz részletezi a HRES- 7.1. Detailed results for additional variables 7.1.1. RMSE and ACC A 13. ábra kiegészíti a 2a–b ábrát, és az RMSE és a normalizált RMSE különbséget mutatja a GraphCast és a HRES HRES-hez képest 12 kiemelkedő változó kombinációján. a 14. ábrán az ACC és a normalizált ACC különbség a GraphCast és a HRES HRES-hez képest ugyanazon a 12 változó kombinációján, és kiegészíti a 2c ábrát. 7.1.2. Részletes jelentőségvizsgálati eredmények az RMSE összehasonlításokhoz Az 5. táblázat további információkat nyújt a statisztikai jelentőségre vonatkozó állításokról a GraphCast és a HRES közötti RMSE-különbségekről szóló fő szakaszban. A módszertan részletei az 5.4. szakaszban találhatók. Itt p-értékeket, tesztstatisztikákat és hatékony mintavételi méreteket adunk az összes változónak. térbeli okokból három kulcsfontosságú lead időre (12 óra, 2 nap és 10 nap) korlátozzuk magunkat, és egy 7 nyomásszint alcsoportot választunk, amely tartalmazza az összes esetet, ahol p > 0,05 ezekben a lead időkben. 7.1.3 Az adatok aktualitásának hatása a GraphCast-ra An important feature of MLWP methods is they can be retrained periodically with the most recent data. This, in principle, allows them to model recent weather patterns that change over time, such as the ENSO cycle and other oscillations, as well as the effects of climate change. To explore how the recency of the training data influences GraphCast’s test performance, we trained four variants of GraphCast, with training data that always began in 1979, but ended in 2017, 2018, 2019, and 2020, respectively (we label the variant ending in 2017 as “GraphCast:<2018”, etc). We evaluated the variants, and HRES, on 2021 test data. A 15. ábra a GraphCast négy változatának készség- és készségpontjait mutatja (a HRES-hez képest), több változót és kiegészíti a 4. ábrát. Van egy általános tendencia, ahol a tesztévhez közelebb képzett változatok általában javították a HRES-hez képest. Ennek a fejlesztésnek az oka nem teljesen érthető, bár azt feltételezzük, hogy analóg a hosszú távú előítéletek korrekciójával, ahol a legutóbbi időjárási statisztikai előítéleteket kihasználják a pontosság javítása érdekében. Fontos megjegyezni azt is, hogy a HRES nem egy NWP az évek során: évente egyszer vagy kétszer frissül, és általában növekszik a z500 és más területeken [18, 22, 19, 20, 21]. Ez hozzájárulhat ahhoz is, hogy a GraphCast:<2018 és a GraphCast:<2019, különösen a HRES-hez képest alacsonyabb képzettségi pontszámot érjen el a 2021-es tesztértékelés korai szakaszában. Megjegyezzük, hogy más változók esetében a GraphCast:<2018 és a GraphCast:<2019 továbbra is a HRES-t felülmúlja. 7.2 Eltérő eredmények 7.2.1. RMSE by region Az előrejelzési készségek régiónkénti értékelése a 17. és 18. ábrán található, ugyanazokat a régiókat és megnevezési konvenciókat használva, mint az ECMWF eredménytáblákban (https://sites.ecmwf.int/ifs/scorecards/ scorecards-47r3HRES.html). Hozzáadtunk néhány további régiót az egész bolygó jobb lefedettségéhez. 7.2.2 RMSE készség pontszám szélességi és nyomásszint szerint A 19. ábrán a GraphCast és a HRES közötti normalizált RMSE-különbségeket ábrázoljuk mind a nyomásszint, mind a szélesség függvényeként. Csak a WeatherBench [41] 13 nyomásszintjét ábrázoljuk, amelyeken a HRES-t értékeljük. Ezeken a területeken minden egyes szélességben megjelöljük a troposzférát a stratoszférától elválasztó troposzféra átlagnyomását. Az ERA-15 adatkészletre (1979-1993) vonatkozóan számított értékeket használjuk, amelyeket a [44] 1. ábrán találunk. Ezek nem lesznek teljesen ugyanazok, mint az ERA5 esetében, de csak durva értelmezési segédeszközként szolgálnak. A 2. ábrán látható eredménytáblából láthatjuk, hogy a GraphCast rosszabbul teljesít, mint a HRES az értékelett legalacsonyabb nyomásszintnél (50hPa). A 19. ábrán látható, hogy a nyomásszint, amelyen a GraphCast elkezd romlani, gyakran szélességfüggő is, egyes esetekben körülbelül a Az alacsonyabb nyomásszintekhez alacsonyabb veszteség súlyozását használjuk, és ez szerepet játszhat; lehetséges, hogy az ERA5 és a HRES-fc0 adatkészletek között különbségek lehetnek a stratoszférában lévő változók kiszámíthatóságában. 7.2.3 A szélesség és a hosszúság előítéletei A 20–22. ábrán a GraphCast által a szélesség és a hosszúság függvényeként meghatározott átlagos előítélethiba (MBE, vagy egyszerűen „előítélet”, az egyenletben (26) meghatározva) három vezetési időben van megfogalmazva: 12 óra, 2 nap és 10 nap. In the plots for variables given on pressure levels, we have masked out regions whose surface elevation is high enough that the pressure level is below ground on average. We determine this to be the case when the surface geopotential exceeds a climatological mean geopotential at the same location and pressure level. In these regions the variable will typically have been interpolated below ground and will not represent a true atmospheric value. A 20–22. ábrán látható helyenkénti előítéletek átlagos nagyságának számszerűsítéséhez kiszámítottuk a helyenkénti átlagos előítélet hibák (RMS-MBE, meghatározva az egyenletben (26)). Ezeket a 23. ábrán a GraphCast és a HRES számára a lead idő függvényeként vázolják fel. láthatjuk, hogy a GraphCast előítéletek átlagosan 6 napig kisebbek, mint a legtöbb változó esetében. A GraphCast és a HRES helyenkénti átlagos előítélet-hiba közötti korrelációs együtthatót is kiszámítottuk (amelyet az egyenletben (27) határoztunk meg), amelyet a lead-idő függvényeként vázolunk fel a 24. ábrán. láthatjuk, hogy a GraphCast és a HRES előítéletek nem korreláltak vagy gyengén korreláltak a legrövidebb lead-időben, de a korrelációs együttható általában növekszik a lead-idővel, 10 nap alatt elérve a 0,6 értékeket. 7.2.4. RMSE skill score by latitude and longitude A 25–27. ábrán a GraphCast és a HRES közötti, szélességi és hosszúság szerinti normalizált RMSE-különbséget ábrázoljuk. Mint a 7.2.3. szakaszban, a nyomásszintekre adott változók esetében, olyan régiókat rejtettünk el, amelyek felszíni magassága elég magas ahhoz, hogy a nyomásszintek átlagosan a föld alatt legyenek. Figyelemre méltó területek, ahol a HRES meghaladja a GraphCast teljesítményét, közé tartozik a pólusok (különösen a déli pólus) közelében lévő specifikus páratartalom; geopotenciális a pólusok közelében; 2 m-es hőmérséklet a pólusok közelében és számos szárazföldi területen; és számos felszíni vagy közelfelszíni változó a magas felszíni magasságú régiókban (lásd még a 7.2.5 szakaszt). 12 órás és 2 napos lead időkben mind a GraphCast, mind a HRES a 06z/18z kezdeti és érvényességi időkben kerül értékelésre, de a 10 napos lead időkben össze kell hasonlítanunk a GraphCast-t a 06z/18z-on a HRES-vel a 00z/12z-en (lásd 5. szakaszt). 7.2.5. RMSE skill score by surface elevation A 25. ábrán láthatjuk, hogy a GraphCast úgy tűnik, hogy 12 órás vezetési idő alatt sok változó magas magasságú régiójában csökkentett képességgel rendelkezik.Ebben a további vizsgálatban a Föld felszínét a felszíni magasság (a geopotenciális magasság szempontjából adva) 32 binnre osztottuk, és az egyenlet (24). Rövid vezetési időkben és különösen 6 órán belül a GraphCast HRES-hez viszonyított képessége a felszín magasabb magasságával csökken, a legtöbb esetben elég magas magasságban a HRES képessége alatt esik. We note that GraphCast is trained on variables defined using a mix of pressure-level coordinates (for atmospheric variables) and height above surface coordinates (for surface-level variables like 2m temperature or 10m wind). The relationship between these two coordinates systems depends on surface elevation. Despite GraphCast conditioning on surface elevation we conjecture that it may struggle to learn this relationship, and to extrapolate it well to the highest surface elevations. In further work we would propose to try training the model on a subset of ERA5’s native model levels instead of pressure levels; these use a hybrid coordinate system [14] which follows the land surface at the lowest levels, and this may make the relationship between surface and atmospheric variables easier to learn, especially at high surface elevations. Variables using pressure-level coordinates are interpolated below ground when the pressure level exceeds surface pressure. GraphCast is not given any explicit indication that this has happened and this may add to the challenge of learning to forecast at high surface elevations. In further work using pressure-level coordinates we propose to provide additional signal to the model indicating when this has happened. Finally, our loss weighting is lower for atmospheric variables at lower pressure levels, and this may affect skill at higher-elevation locations. Future work might consider taking surface elevation into account in this weighting. 7.3. GraphCast ablations 7.3.1 Multi-mesh abláció Ahhoz, hogy jobban megértsük, hogyan befolyásolja a multi-mesh képviselet a GraphCast teljesítményét, összehasonlítjuk a GraphCast teljesítményét a multi-mesh képviselet nélkül képzett modell egy verziójával. Az utóbbi modell architektúrája megegyezik a GraphCast-val (beleértve ugyanazt a kódolót és dekódolót, és ugyanazt a számot a csomópontok), kivéve, hogy a folyamatblokkban a grafikon csak a legfinomabb icosahedron mesh M6 (245,760 széle, helyett 327,660 a GraphCast esetében). Ennek eredményeként az ablated modell csak rövid hatótávolságú széleket képes terjeszteni az információt, míg a GraphCast további hosszú hatótáv A 29. ábra (bal oldali panel) a GraphCast és az ablated modell összehasonlításának eredménytábláját mutatja.A GraphCast minden előrejelzett változó esetében előnyös a multi-mesh szerkezetétől, kivéve az 5 napot meghaladó lead időt 50 hPa-on.A javulás különösen a geopotenciális minden nyomásszinten és az átlagos tengerszintű nyomás 5 nap alatti lead idő alatt.A középső panel azt mutatja, hogy a scorecard összehasonlítja az ablated modellt a HRES-ekkel, míg a jobb oldali panel összehasonlítja a GraphCast-t a HRES-ekkel, bizonyítva, hogy a multi-mesh elengedhetetlen ahhoz, hogy a GraphCast a geopotenciális 7.3.2 Az autoregresszív képzés hatása Elemeztük a GraphCast olyan változatainak teljesítményét, amelyeket kevesebb autoregresszív (AR) lépésekkel7 képeztek, ami arra ösztönözné őket, hogy javítsák rövid lead-idő teljesítményüket a hosszabb lead-idő teljesítményének rovására. Amint a 30. ábrán látható (a könnyebb kék vonalakkal, amelyek kevesebb AR-lépéssel felelnek meg a képzésnek), megállapítottuk, hogy a kevesebb AR-lépésekkel képzett modellek hosszabb ideig kereskednek a rövidebb lead-idő pontosság érdekében. Ezek az eredmények azt sugallják, hogy lehetőség van több modell kombinálására az AR-lépések különböző számával, például rövid, közepes és hosszú lead-idővel, hogy kihasználják a megfelelő előnyöket az egész előrejelzési horizonton. 7.4. Optimal blurring 7.4.1. Effect on the comparison of skill between GraphCast and HRES A 31. és 32. ábrán összehasonlítjuk a HRES RMSE-jét a GraphCast-val, mielőtt és miután az optimális elmosódást mindkét modellre alkalmazzák. 4.2 Filterezési módszerek Olyan szűrőket választottunk, amelyek minimalizálják az RMSE-t a lineáris, homogén (helymeghatározás invariáns), izotrop (irány invariáns) szűrők osztályán belül a gömbön.Ezek a szűrők könnyen alkalmazhatók a gömb harmonikus tartományban, ahol azok megfelelnek a teljes hullámszámtól függő szűrő súlyainak, de nem a hosszirányú hullámszámnak [12]. Minden kezdeményezés esetében d0, lead idő τ, változó és j szint, alkalmaztuk a diszkrét gömb harmonikus átalakulás [13] előrejelzések x ̈d0+τ és cél xd0+τ, így a gömb harmonikus együtthatók f ̈d0+τ j j j j,l,m és f d0+τ minden pár teljes hullámszám l és hosszúságos hullámszám m. Annak érdekében, hogy megoldja a 0,25° (28km) felbontás a mi rács az egyenlítőn, használunk egy háromszöri vágás a teljes hullámszám 719, ami azt jelenti, hogy l tartományban 0 max l = 719, és minden l értéke m tartományban −l l. We then multiplied each predicted coefficient 𝑓ˆ𝑑0+𝜏 by a filter weight 𝑏𝜏 , which is independent of 𝑗,𝑙,𝑚 𝑗,𝑙 the longitudinal wavenumber 𝑚. The filter weights were fitted using least-squares to minimize mean squared error, as computed in the spherical harmonic domain: A 2017-ből származó adatokat arra használtuk, hogy megfeleljünk ezeknek a mérlegeknek, amelyek nem átfedik magukat a 2018-as tesztkészletben.A szűrt előrejelzések értékelésekor az MSE-t a gömbharmonikus tartományban számítottuk ki, ahogyan az egyenletben részletezik (22). By fitting different filters for each lead time, the degree of blurring was free to increase with increasing uncertainty at longer lead times. While this method is fairly general, it also has limitations. Because the filters are homogeneous, they are unable to take into account location-specific features, such as orography or land-sea boundaries, and so they must choose between over-blurring predictable high-resolution details in these locations, or under-blurring unpredictable high-resolution details more generally. This makes them less effective for some surface variables like 2 T, which contain many such predictable details. Future work may consider more complex post-processing schemes. Az ECMWF-előrejelzésünkre vonatkozó feltételezett várakozás (és így az RMSE javítása) közelítésének egy alternatív módja az lenne, ha az ENS ensemble előrejelzési rendszer összesített átlagát értékelnénk, nem pedig a determinisztikus HRES-előrejelzést. 7.4.3 Az optimális szűrők átviteli funkciói A szűrő súlyait a 33. ábra ábrázolja, amely a szűrő kimeneti teljesítményének és bemeneti teljesítményének arányát mutatja, a logaritmikus decibel skálán, a hullámhossz függvényeként. Egyenlet (35), ez egyenlő 20 log10(bτ ) a Ce/l hullámhossz, amely megfelel a teljes hullámszám l.) Mind a HRES, mind a GraphCast esetében azt látjuk, hogy az MSE számára optimális a rövid és közepes hullámhosszon átnyúló teljesítménycsökkenés. Ahogy a lead idő növekszik, a gyengülés mennyisége növekszik, valamint a legnagyobb hullámhossz. Az MSE optimalizálásakor arra törekszünk, hogy megközelítsük a feltételes várakozást, amely átlagos a prediktív bizonytalanság felett. Hosszabb lead idő alatt ez a prediktív bizonytalanság növekszik, valamint az időjárási jelenségek elhelyezkedésével kapcsolatos térbeli bizonytalansági skála. Úgy véljük, hogy ez nagymértékben megmagyarázza ezeket a változásokat az optimális szűrőválaszban, mint a lead idő funkció Látjuk, hogy a HRES-nek általában több elmosódásra van szüksége, mint a GraphCast-nak, mivel a GraphCast előrejelzései bizonyos mértékig már elmosódnak (lásd a 7.5.3. szakaszt), míg a HRES-nek nincs. The optimal filters are also able to compensate, to some extent, for spectral biases in the predictions of GraphCast and HRES. For example, for many variables in our regridded ERA5 dataset, the spectrum cuts off abruptly for wavelengths below 62km that are unresolved at ERA5’s native 0.28125◦ resolution. GraphCast has not learned to replicate this cutoff exactly, but the optimal filters are able to implement it. Azt is megjegyezzük, hogy a GraphCast szűrő válaszának észrevehető csúcsai körülbelül 100 km-es hullámhosszon vannak a z500-hoz, amelyek nincsenek jelen a HRES-hez. Úgy véljük, hogy ezek kis, rosszindulatú tárgyakat szűrnek ki, amelyeket a GraphCast bevezet ezeken a hullámhosszokon a modellben végrehajtott rács-háló és rács-háló transzformációk mellékhatásaként. 7.4.4 Az autoregresszív képzési horizont és a homályosodás közötti kapcsolat In Figure 34 we use the results of optimal blurring to investigate the connection between autoregressive training and the blurring of GraphCast’s predictions at longer lead times. In the first row of Figure 34, we see that models trained with longer autoregressive training horizons benefit less from optimal blurring, and that the benefits of optimal blurring generally start to accrue only after the lead time corresponding to the horizon they were trained up to. This suggests that autoregressive training is effective in teaching the model to blur optimally up to the training horizon, but beyond this further blurring is required to minimize RMSE. Kényelmes lenne, ha a hosszabb horizontú képzést egyszerű utólagos feldolgozási stratégiával helyettesíthetnénk, mint például az optimális elmosódás, de ez nem tűnik így: a 34. ábra második sorában látjuk, hogy a hosszabb horizontú autoregresszív képzés még mindig alacsonyabb RMSE-ket eredményez, még az optimális elmosódás alkalmazása után is. If one desires predictions which are in some sense minimally blurry, one could use a model trained to a small number of autoregressive steps. This would of course result in higher RMSEs at longer lead times, and our results here suggest that these higher RMSEs would not only be due to the lack of blurring; one would be compromising on other aspects of skill at longer lead times too. In some applications this may still be a worthwhile trade-off, however. 5. Spektrális elemzés 7.5.1. Spectral decomposition of mean squared error A 35. és 36. ábrán összehasonlítjuk a GraphCast készségét a HRES-ekkel a térbeli skálák széles skáláján, az optimális szűrés előtt és után (lásd a részleteket a 7.4. szakaszban). ahol lmax = 719 az egyenletben (22). Minden teljes hullámszám l megközelítőleg egy Ce/l hullámhossznak felel meg, ahol Ce a Föld körforgása. A teljesítménysűrűségi hisztogramokat vázoljuk, ahol az egyes sávok területe S j,τ(l), és a sávok középpontjában log10(1 + l) (mivel a log frekvencia skála lehetővé teszi a könnyebb vizuális ellenőrzést, de a hullámszámot is bele kell foglalnunk l = 0). 2 nap vagy annál hosszabb vezetési idő esetén a legtöbb változó esetében a GraphCast minden hullámhosszon egyenletesen javítja a HRES képességét (2m hőmérséklet a figyelemre méltó kivétel). A rövidebb lead idők 12 órától 1 napig, számos változó (beleértve a z500, T500, T850 és U500) HRES nagyobb képességgel rendelkezik, mint a GraphCast méretekben a hozzávetőleges tartományban 200-2000km, a GraphCast általában nagyobb képességet ezen a tartományon kívül. 7.5.2 Az RMSE mint a horizontális felbontás funkciója A 37. ábrán összehasonlítjuk a GraphCast képességét a HRES-ekkel, amikor a térbeli felbontások széles skáláján értékeljük. Pontosabban, minden egyes teljes hullámszámlálón, az RMSE-ket az előrejelzések és a célok között vázoljuk, amelyek mind a teljes hullámszámlálón vannak vágva. Ez hozzávetőlegesen egyenértékű a Ce/ltrunc hullámhosszával, ahol Ce a Föld kerülete. A vágott előrejelzések és a célok közötti RMSEs-ek az egyenletben (37) meghatározott S j,τ(l) átlagos hibaerő kumulatív összegeként érhetők el, a következők szerint: A 37. ábra azt mutatja, hogy a legtöbb esetben a GraphCast-nak alacsonyabb RMSE-je van, mint a HRES-nek az előrejelzés-ellenőrzéshez általában használt valamennyi felbontásban. Ez az optimális szűrés előtt és után is érvényes (lásd a 7.4 pontot).A kivételek közé tartozik a 2 méteres hőmérséklet számos lead időben és felbontásban, a T 500 12 órás lead időben és az U 500 12 órás lead időben, ahol a GraphCast jobban teljesít 0,25°-os felbontásban, de a HRES jobban teljesít körülbelül 0,5◦ és 2,5◦ közötti felbontásban (ami a legrövidebb 100 és 500 km közötti hullámhossznak felel meg). In particular we note that the native resolution of ERA5 is 0.28125◦ corresponding to a shortest wavelength of 62km, indicated by a vertical line in the plots. HRES-fc0 targets contain some signal at wavelengths shorter than 62km, but the ERA5 targets used to evaluate GraphCast do not, natively at least (see Section 7.5.3). In Figure 37 we can see that evaluating at 0.28125◦ resolution instead of 0.25° does not significantly affect the comparison of skill between GraphCast and HRES. 7.5.3 Előrejelzések és célok spektruma A 38. ábra összehasonlítja a GraphCast előrejelzéseinek teljesítményspektrumát, az ellenük képzett ERA5 célpontokat és a HRES-fc0 jelenséget. Az ERA5 és a HRES-fc0 spektrumában észrevehetőek a különbségek, különösen rövid hullámhosszúakban. Ezek a különbségek részben az általuk alkalmazott módszerek következményei lehetnek, amelyek a TL639 (0.28125◦) és a TCo1279 (körülbelül 0.1◦, [36]) natív IFS felbontásaitól a 0,25°-os egyenlítőleges rácsra szabályozzák. Azonban még mielőtt ezt a regressziót elvégezzük, különbségek vannak a HRES és az ERA5 esetében használt IFS verziókban, beállításokban, felbontásban és adatasszimilációs módszerekben, és ezek a különbségek szintén befolyásolhatják a spektrumot. Mivel a GraphCast-t az ERA Differences between HRES and ERA5 A GraphCast előrejelzéseiben a rövid és közepes hullámhosszon csökkentett teljesítményt látunk, ami tovább csökken a lead idővel. Úgy véljük, hogy ez megfelel az elmosódásnak, amelyet a GraphCast megtanult az MSE optimalizálásában. Blurring in GraphCast These peaks are particularly visible for z500; they appear to increase with lead time. We believe they correspond to small, spurious artifacts introduced by the internal grid-to-mesh and mesh-to-grid transformations performed by GraphCast at each autoregressive step. In future work we hope to eliminate or reduce the effect of these artifacts, which were also observed by [26]. Peaks for GraphCast around 100km wavelengths Finally we note that, while these differences in power at short wavelengths are very noticeable in log scale and relative plots, these short wavelengths contribute little to the total power of the signal. 8. Additional severe event forecasting results Megjegyezzük, hogy a GraphCast nem speciálisan képzett ezekhez a lefelé irányuló feladatokhoz, ami azt mutatja, hogy a továbbfejlesztett készségek mellett a GraphCast hasznos előrejelzést nyújt a valós hatású feladatokhoz, például a ciklonok nyomon követéséhez (8.1. szakasz), a légköri folyók jellemzéséhez (8.2. szakasz), valamint a szélsőséges hőmérséklet besorolásához (8.3. szakasz). 8.1 Trópusi ciklon nyomvonal előrejelzés Ebben a szakaszban részletezi az általunk használt értékelési protokollokat a ciklonok nyomon követésére (Kiegészítők 8.1.1. szakasza) és a statisztikai jelentőség elemzésére (Kiegészítők 8.1.2. szakasza), további eredményeket nyújt (Kiegészítők 8.1.3. szakasza), és leírja a nyomkövetőt és annak különbségét az ECMWF-től (Kiegészítők 8.1.4. szakasza). 8.1.1 Értékelési jegyzőkönyv A két trópusi ciklon-előrejelző rendszert összehasonlítva a Graphic Graphic Initiative a két trópusi ciklon-előrejelző rendszert olyan eseményekre korlátozza, ahol mindkét modell előrejelzi a ciklon létezését. A kiegészítések 5.2.2. szakaszában részletezett módon a GraphCast a 06z és 18z helyett 00z és 12z helyett kezdődik, hogy elkerülje, hogy a HRES-hez képest mindig előnyhöz jusson. Azonban a HRES ciklon-pályák a TIGGE archívumban [8] csak 00z és 12z között kezdődnek el. Ez az eltérés megakadályozza bennünket abban, hogy olyan eseményeket válasszunk, ahol a kezdeményezés és az időtérkép ugyanolyan Mivel ugyanazon alapvető igazság (azaz IBTrACS) tekintetében számítunk hibát, az értékelés nem tartozik a Kiegészítők 5.2.2. szakaszában leírt korlátozások hatálya alá, azaz mindkét modell célkitűzései ugyanolyan mennyiségű kilátást tartalmaznak. Ez ellentétben áll a jelen dokumentumban szereplő legtöbb értékelésünkkel, ahol a HRES célkitűzései (azaz HRES-fc0) +3h kilátást tartalmaznak, és a GraphCast célkitűzései (az ERA5-ből) +3h vagy +9h kilátást tartalmaznak, ami azt eredményezi, hogy az eredményeket csak a megfelelő kilátásidővel (többszörös 12h) jelentjük. Egy adott előrejelzéshez a ciklon előrejelzett középpontja és a valódi középpont közötti hibát a geodéziai távolság segítségével számítjuk ki. 8.1 Statisztikai módszertan Computing statistical confidence in cyclone tracking requires particular attention in two aspects: 1. Kétféleképpen lehet meghatározni a minták számát. Az első a trópusi ciklon események száma, amelyek többnyire független események lehetnek. A második a használt adatpontok száma vezetési időre, ami nagyobb, de összefüggő pontokat jelent (minden trópusi ciklon eseményre 6 órás intervallumban többszörös előrejelzés készül). Az első meghatározást választottuk, amely konzervatívabb statisztikai jelentőségű becsléseket nyújt. Mindkét számot az 1 és 5 nap közötti vezetési időkre mutatjuk a 39. ábrán. 2. The per-example tracking errors of HRES and GraphCast are correlated. Therefore statistical variance in their difference is much smaller than their joint variance. Thus, we report the confidence that GraphCast is better than HRES (see Supplements Figure 39b) in addition to the per-model confidence (see Supplements Figure 39a). Figyelembe véve a fenti két megfontolást, 95% -os bizalmi intervallummal hajtjuk végre a hajtást a ciklonok szintjén. Egy adott vezetési időre tekintetbe vesszük az összes megfelelő kezdeményezési idő/vezetési időpárat, és megtartjuk annak listáját, hogy melyik ciklonból származnak (kettősítés nélkül). A bootstrap becsléshez mintákat húzunk ebből a ciklonlistából (helyettesítéssel) és alkalmazzuk a mediánt (vagy az átlagot) a megfelelő kezdeményezési idő/vezetési időpárra. Vegye figyelembe, hogy ez sokkal konzervatívabb bizalmi határokat ad nekünk, mint a hajtás a kezdeményezési idő/vezetési időpár szintjén, mivel ez egyenértékű azzal, hogy Tegyük fel például, hogy egy adott vezetési időben hibák (50, 100, 150) vannak a ciklon A esetében, (300, 200) a ciklon B esetében és (100, 100) a ciklon C esetében, ahol az A-nak több mintája van. 8.1.3. Results In Supplements Figure 3a-b, we chose to show the median error rather than the mean. This decision was made before computing the results on the test set, based on the performance on the validation set. On the years 2016–2017, using the version of GraphCast trained on 1979–2015, we observed that, using early versions of our tracker, the mean track error was dominated by very few outliers and was not representative of the overall population. Furthermore, a sizable fraction of these outliers were due to errors in the tracking algorithm rather than the predictions themselves, suggesting that the tracker was suboptimal for use with GraphCast. Because our goal is to assess the value of GraphCast forecast, rather than a specific tracker, we show median values, which are also affected by tracking errors, but to a lesser extent. In figure Figure 40 we show how that the distribution of both HRES and GraphCast track errors for the test years 2018–2021 are non-gaussian with many outliers. This suggests the median is a better summary statistic than the mean. A 39. ábra kiegészíti a 3a-b ábrát azáltal, hogy megmutatja az átlagos nyomkövetési hibát és a megfelelő párosított elemzést. Megjegyezzük, hogy a nyomkövető végleges verzióját használva (Kiegészítők 8.1.4 szakasz), a GraphCast átlagos eredményei hasonlóak a mediánhoz, a GraphCast jelentősen felülmúlja a HRES-t 2 és 5 nap közötti lead idő alatt. Because of well-known blurring effects, which tend to smooth the extrema used by a tracker to detect the presence of a cyclone, ML methods can drop existing cyclones more often than NWPs. Dropping a cyclone is very correlated with having a large positional error. Therefore, removing from the evaluation such predictions, where a ML model would have performed particularly poorly, could give it an unfair advantage. A probléma elkerülése érdekében ellenőrizzük, hogy a hiperparaméter-keresett nyomkövető (lásd a kiegészítések 8.1.4. szakaszát) hiányzik hasonló számú ciklonok HRES. kiegészítések 41. ábra azt mutatja, hogy a tesztkészlet (2018–2021), GraphCast és HRES csökken hasonló számú ciklonok, biztosítva, hogy az összehasonlítások a lehető legtisztességesebb. A kiegészítők 42. és 43. ábra mutatja a medián hibát és a párosított elemzést, mint a vezetési idő funkcióját, a ciklon kategóriával lebontva, ahol a kategóriát a Saffir-Simpson hurrikán szélskála [47] határozza meg, az 5. kategóriával a legerősebb és leginkább káros viharokat képviseli (megjegyzendő, a 0 kategóriát használjuk a trópusi viharok képviseletére). Megállapítottuk, hogy a GraphCast egyenlő vagy jobb teljesítményt nyújt, mint a HRES minden kategóriában. 8.1.4 A nyomkövető részletei A GraphCast-hoz használt nyomkövető az ECMWF nyomkövetőjének újbóli megvalósításán alapul [35]. Mivel a 0.1° HRES-re van tervezve, hasznosnak találtuk, hogy több módosítást adjunk hozzá a hibás ciklonok számának csökkentése érdekében, amikor a GraphCast-előrejelzésekre alkalmazzuk. We first give a high-level summary of the default tracker from ECMWF, before explaining the modifications we made and our decision process. Given a model’s predictions of the variables 10 U, 10 v, MsL as well as U, v and z at pressure levels 200, 500, 700, 850 and 1000 hPa over multiple time steps, the ECMWF tracker [35] sequentially processes each time step to iteratively predict the location of a cyclone over an entire trajectory. Each 6h prediction of the tracker has two main steps. In the first step, based on the current location of the cyclone, the tracker computes an estimate of the next location, 6h ahead. The second step consists in looking in the vicinity of that new estimate for locations that satisfy several conditions that are characteristic of cyclone centers. ECMWF tracker To compute the estimate of the next cyclone location, the tracker moves the current estimate using a displacement computed as the average of two vectors: 1) the displacement between the last two track locations (i.e., linear extrapolation) and 2) an estimate of the wind steering, averaging the wind speed U and v at the previous track position at pressure levels 200, 500, 700 and 850 hPa. Once the estimate of the next cyclone location is computed, the tracker looks at all local minima of mean sea-level pressure (MsL) within 445 km of this estimate. It then searches for the candidate minima closest to the current estimate that satisfies the following three conditions: 1. Vorticity ellenőrzés: a maximális vorticity 850 hPa belül 278 km a helyi minimum nagyobb, mint 5 · 10−5 s−1 az északi féltekén, vagy kisebb, mint −5 · 10−5s−1 a déli féltekén. 2. Szélsebesség-ellenőrzés: ha a jelölt szárazföldön tartózkodik, a 278 km-en belül a maximális 10 m-es szélsebesség meghaladja a 8 m/s-t. 3. Sűrűségellenőrzés: ha a ciklon extratropikus, akkor a maximális vastagság 850 hPa és 200 hPa között van 278 km-es sugárban, ahol a vastagság z850-z200. Ha a minimumok nem felelnek meg az összes feltételnek, a nyomkövető úgy véli, hogy nincs ciklon. Az ECMWF nyomkövetője lehetővé teszi, hogy a ciklonok rövid időn belül eltűnjenek bizonyos sarokkörülmények között, mielőtt újra megjelennek. Elemeztük a hibákat a ciklonokon a validálási évektől (2016–2017), az 1979–2015-ben képzett GraphCast-verziót használva, és módosítottuk az ECMWF tracker alapértelmezett újratelepítését az alábbiak szerint. Our modified tracker Ezt a paramétert kritikusnak találtuk, és a következő opciók közül jobb értéket kerestünk: 445 × f a 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (eredeti érték). Ezt a paramétert kritikusnak találtuk, és a következő opciók között jobb értéket kerestünk: 278 × f f a 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (eredeti érték). 3. Az ECMWF következő lépésének becslése 50-50 súlyt használ a lineáris extrapoláció és a szélirányító vektorok között. A mi esetünkben, ahol a szél 0,25 ° -os felbontásban van előrejelezve, a szélirányítást néha akadálymentes becslésekre találtuk. Ez nem meglepő, mert a szél nem térben sima mező, és a nyomkövető valószínűleg a 0,1 ° -os felbontás előrejelzéseinek kihasználására van kialakítva. Így a hiperparaméterek a következő lehetőségek között keresték a súlyt: 0,0, 0,1, 0,33, 0,5 (eredeti érték). 4. Megfigyeltük, hogy több tévedés történt, amikor a pálya élesen megfordította az irányt, ellentétben az előző irányával. Így csak olyan jelölteket veszünk figyelembe, amelyek az előző és az új irány közötti szöget hoznak létre a d fok alatt, ahol a d-t ezek között az értékek között keresték: 90, 135, 150, 165, 175, 180 (azaz nincs szűrő, eredeti érték). 5. Megfigyeltük, hogy a többszörös tévedések nagy ugrásokat tettek a zajos szélvezetés és a gyenge ciklonok számára nehéz megkülönböztethető tulajdonságok kombinációja miatt. Így felfedeztük a x kilométereken túli mozgatás becslését (az utolsó középponthoz igazítva a deltát), és az alábbi x értékeket kerestük: 445 × f f a 0.25, 0.5, 1.0, 2.0, 4.0, ∞ (azaz nincs vágás, eredeti érték). A hiperparaméteres keresés során a validálási adatok alapján azt is ellenőriztük, hogy a GraphCast-ra alkalmazott nyomkövető hasonló számú ciklont dobott le, mint a HRES. 8.2 A folyók légköre Bár a GraphCast nem előrejelzi közvetlenül az IvT-t, és nem speciálisan képzett a légköri folyók előrejelzésére, ezt a mennyiséget az előrejelzett légköri változók specifikus páratartalmából, Q-ból és vízszintes szélből (U, v) származhatjuk a kapcsolaton keresztül [38]: ahol g = 9,80665 m/s2 a Föld felszínén a gravitáció által okozott gyorsulás, pb = 1000 hPa az alsó nyomás, és pt = 300 hPa a felső nyomás. Az IvT-nek a fenti arány alapján történő értékelése numerikus integrációt igényel, ezért az eredmény függ az előrejelzés függőleges felbontásától.A GraphCast 37 nyomásszinttel rendelkezik, ami magasabb, mint a rendelkezésre álló HRES pályák felbontása mindössze 25 nyomásszinttel.A két modell következetes és méltányos összehasonlításához tehát csak a nyomásszintek közös alösszegét használjuk, amely szintén szerepel a WeatherBench referenciaértékben, amikor az IvT 8-at értékeljük, nevezetesen a [300, 400, 500, 600, 700, 850, 925, 1000] hPa-t. Az értékelési protokollunk többi részével összhangban minden modellt saját „elemzésével” értékelünk.A GraphCast esetében az IvT-t előrejelzései alapján számítjuk ki, és összehasonlítjuk az ERA-ból analóg módon számított IvT-vel. Az előző munkához hasonlóan [10] a 44. ábra az RMSE készség- és készségpontszámát mutatja a part menti Észak-Amerikában és a Kelet-csendes-óceáni térségben (a 180° W-tól 110° W-ig terjedő hosszúságig és a 10° N-től 60° N-ig terjedő szélességig) a hideg évszakban (január-április és október-december 2018), ami egy olyan régiónak és időszaknak felel meg, ahol gyakoriak a légköri folyók. 8.3 Szélsőséges hőség és hideg A szélsőséges hő és hideg előrejelzését bináris osztályozási problémaként [35, 32] vizsgáljuk összehasonlítva, hogy egy adott előrejelzési modell helyesen megjósolhatja-e, hogy egy adott változó értéke a referencia-történeti klimatológia eloszlása (például a szélsőséges hő 98% -os percentil felett és a szélsőséges hideg 2% -os percentil alatt) felett (vagy alatt) lesz-e (például). Az előző munkát [35] követően a referencia-klimatológiát külön-külön kapjuk meg (1) minden változó (2) az év minden hónapjában, (3) minden nap, (4) minden szélességi/hosszúsági koordináta, és (5) minden nyomásszint (ha alkalmazható). Ez teszi a szélsőségek észlelését kontraszt Mivel a szélsőséges előrejelzés definíció szerint egy kiegyensúlyozatlan osztályozási probléma, elemzésünket a precíziós emlékeztető telekre alapozzuk, amelyek erre az esetre is alkalmasak [42]. A precíziós emlékeztető görbe egy olyan szabad paraméter „nyereség” változásával érhető el, amely az időjárás médiumához viszonyítva skálázási tényezőből áll, azaz skálázott előrejelzés = nyereség × (előrejelzés − medián időjárás) + medián időjárás. Ez a hatás a döntéshatár elmozdítását eredményezi, és lehetővé teszi a hamis negatívok és a hamis pozitívok közötti különböző kereskedési kedvezmények tanulmányozását. Intuitív módon a 0 nyereség nulla pozitív Elemzésünket a szélsőséges hőmérsékleti viszonyok szempontjából releváns változókra összpontosítottuk, különösen a 2 T [35, 32], valamint a T 850, z500, amelyeket az ECMWF gyakran használ a hőhullámok jellemzésére [34]. Korábbi munkát követően[32], a szélsőséges hő esetén az északi féltekén (szélesség > 20◦) és a déli féltekén (szélesség < -20◦) a decemberben, januárban és februárban a szárazföldön (szélesség < -20◦). A szélsőséges hideg esetén az északi és a déli féltekére kicseréltük a hónapokat. Lásd a 45. ábrán látható teljes eredményeket. 9. Előrejelző vizualizációk Ebben az utolsó szakaszban a GraphCast által a 2 T (4. ábra), a 10 U (4. ábra), az MsL ( 49. ábra), a z500 (50. ábra), a T 850 ( 51. ábra), a v 500 ( 52. ábra), a Q 700 ( 53. ábra) változókra vonatkozóan készített előrejelzések néhány vizualizációs példáját adjuk meg. Referenciák [1] Ferran Alet, Adarsh Keshav Jeewajee, Maria Bauza Villalonga, Alberto Rodriguez, Tomas Lozano-Perez és Leslie Kaelbling. Grafikus elemek hálózata: adaptív, strukturált számítás és memória. [2] Kelsey R. Allen, Yulia Rubanova, Tatiana Lopez-Guevara, William Whitney, Alvaro Sanchez-Gonzalez, Peter Battaglia és Tobias Pfaff. Az arc interakciós grafikus hálózatokkal való merev dinamika megtanulása. arXiv preprint arXiv:2212.03574, 2022. [3] Jimmy Lei Ba, Jamie Ryan Kiros és Geoffrey E. Hinton. réteg normalizáció. arXiv, 2016. [4] Igor Babuschkin, Kate Baumli, Alison Bell, Surya Bhupatiraju, Jake Bruce, Peter Buchlovsky, David Budden, Trevor Cai, Aidan Clark, Ivo Danihelka, Claudio Fantacci, Jonathan Godwin, Chris Jones, Ross Hemsley, Tom Hennigan, Matteo Hessel, Shaobo Hou, Steven Kapturowski, Thomas Keck, Iurii Kemaev, Michael King, Markus Kunesch, Lena Martens, Hamza Merzic, Vladimir Mikulik, Tamara Norman, John Quan, George Papamakarios, Roman Ring, Francisco Ruiz, Alvaro Sanchez, Rosalia Schneider, Eren Sezener, Stephen Spencer, Srivatsan Srinivasan, Luyu Wang, Wojciech Stokowiec, and Fabio Viola. The DeepMind JAX Ecosystem. http: // github.com/deepmind a következő oldalon. [5] Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al. Interakciós hálózatok tárgyak, kapcsolatok és fizika tanulásához. [6] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Relational inductive biases, deep learning, and graph networks. arXiv preprint arXiv:1806.01261, 2018. [7] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu és Qi Tian. Pangu-Weather: Egy 3D-s nagy felbontású modell a gyors és pontos globális időjárás-előrejelzéshez. arXiv preprint arXiv:2211.02556, 2022. [8] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. A THORPEX interaktív nagy globális együttes. [9] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne és Qiao Zhang. JAX: a Python+NumPy programok komponálható átalakításai. http://github. com/google/jax, 2018. [10] WE Chapman, AC Subramanian, L Delle Monache, SP Xie és FM Ralph. A légköri folyó előrejelzéseinek javítása gépi tanulással. Geophysical Research Letters, 46(17-18):10627–10635, 2019. [11] Tianqi Chen, Bing Xu, Chiyuan Zhang és Carlos Guestrin. Képzési mélyhálózatok szublineáris memóriaköltséggel. arXiv előnyben arXiv:1604.06174, 2016. [12] Balaji Devaraju. A szűrés megértése a gömbön: tapasztalatok a GRACE adatok szűrése során. doktori értekezés, Stuttgarti Egyetem, 2015. [13] J. R. Driscoll és D. M. Healy. A számítástechnika négyes átalakításokat és konvolúciókat végez a 2-szférában. Máté 15(2):202–250, 1994 június [14] ECMWF. IFS dokumentáció CY41R2 - III. rész: Dinamika és numerikus eljárások. //www.ecmwf.int/node/16647, 2016 és 2016 között [15] Meire Fortunato, Tobias Pfaff, Peter Wirnsberger, Alexander Pritzel és Peter Battaglia. Multi-scale meshgraphnets. arXiv preprint arXiv:2210.00612, 2022. [16] Alan J Geer. A középtávú előrejelzési pontszámok változásainak jelentősége. Tellus A: Dynamic Meteorology and Oceanography, 68(1):30229, 2016. [17] Jonathan Godwin, Thomas Keck, Peter Battaglia, Victor Bapst, Thomas Kipf, Yujia Li, Kimberly Stachenfeld, Petar Veličković, and Alvaro Sanchez-Gonzalez. Jraph: A library for graph neural networks in JAX. http://github.com/deepmind/jraph, 2020. [18] T. Haiden, Martin Janousek, Jean-Raymond Bidlot, R. Buizza, L. Ferranti, F. Prates és Frédéric Vitart. Az ECMWF előrejelzéseinek értékelése, beleértve a 2018-as frissítést is. https://www.ecmwf. int/node/18746, 10/2018 2018. [19] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti, Crtistina Prates és David Richardson. Az ECMWF előrejelzéseinek értékelése, beleértve a 2020-as frissítést is. https://www.ecmwf.int/node/19879, 01/2021 2021. [20] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti és Fernando Prates. Az ECMWF előrejelzéseinek értékelése, beleértve a 2021-es frissítést is. https://www. ecmwf.int/node/20142, 09/2021 2021. [21] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti, Fernando Prates és David Richardson. Az ECMWF előrejelzéseinek értékelése, beleértve a 2021-es frissítést is. https://www.ecmwf.int/node/20469, 09/2022 2022. [22] Thomas Haiden, Martin Janousek, Frédéric Vitart, Laura Ferranti és Fernando Prates. Az ECMWF előrejelzéseinek értékelése, beleértve a 2019-es frissítést is. https://www.ecmwf.int/node/ 19277, 11/2019 2019. [23] Tom Hennigan, Trevor Cai, Tamara Norman és Igor Babuschkin. Haiku: Sonnet for JAX. http://github.com/deepmind/dm-haiku, 2020. [24] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers, et al. The ERA5 global reanalysis. Quarterly Journal of the Royal Meteorological Society, 146(730):1999–2049, 2020. [25] S. Hoyer és J. Hamman. xarray: N-D címkézett sorozatok és adatkészletek Python. [26] Ryan Keisler. A globális időjárás előrejelzése grafikus ideghálózatokkal. arXiv preprint arXiv:2202.07575, 2022. [27] Diederik P. Kingma és Jimmy Ba. Adam: A sztochasztikus optimalizálás módszere. arXiv előnyben arXiv:1412.6980, 2014. [28] Kenneth R Knapp, Howard J Diamond, James P Kossin, Michael C Kruk, Carl J Schreck, et al. International best track archive for climate stewardship (IBTrACS) project, version 4. https://doi.org/10.25921/82ty-9e16, 2018. [29] Kenneth R Knapp, Michael C Kruk, David H Levinson, Howard J Diamond, and Charles J Neumann. The international best track archive for climate stewardship (IBTrACS) unifying tropical cyclone data. Bulletin of the American Meteorological Society, 91(3):363–376, 2010. [30] Michael C. Kruk, Kenneth R. Knapp és David H. Levinson. A globális trópusi ciklonok legjobb nyomkövetési adatainak kombinálására szolgáló technika. [31] David H. Levinson, Howard J. Diamond, Kenneth R. Knapp, Michael C. Kruk és Ethan J. Gibney. Egy homogén globális trópusi ciklon legjobb nyomkövető adatkészlet felé. [32] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal és Jason Hickey. A globális szélsőséges hő előrejelzése idegjárási modellek segítségével. mesterséges intelligencia a Föld rendszerek számára, 1–41. oldal, 2022. [33] Ilya Loshchilov és Frank Hutter. Elválasztott súlycsökkenés szabályozása. arXiv előnyben arXiv:1711.05101, 2017. [34] Linus Magnusson. 202208 - hőhullám - uk. https://confluence.ecmwf.int/display/ FCST/202208+-+Hőhullám+-+UK, 2022. [3] Linus Magnusson, Thomas Haiden és David Richardson: A szélsőséges időjárási események ellenőrzése: diszkrét előrejelzések. [36] S. Malardel, Nils Wedi, Willem Deconinck, Michail Diamantakis, Christian Kuehnlein, G. Mozdzynski, M. Hamrud és Piotr Smolarkiewicz. Az IFS új hálózata. https: //www.ecmwf.int/node/17262, 2016 2016. [37] Benjamin J Moore, Paul J Neiman, F Martin Ralph, and Faye E Barthold. Physical processes associated with heavy flooding rainfall in Nashville, Tennessee, and vicinity during 1–2 May 2010: The role of an atmospheric river and mesoscale convective systems. Monthly Weather Review, 140(2):358–378, 2012. [38] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist és Michael D Dettinger. Meteorológiai jellemzők és a légköri folyók földfelszíni csapadék hatásai Észak-Amerika nyugati partján nyolc éves ssm/i műholdas megfigyelések alapján. [39] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez és Peter Battaglia. Tanulás hálózati szimuláció grafikus hálózatokkal. [40] Prajit Ramachandran, Barret Zoph és Quoc V Le. Az aktiválási funkciók keresése. arXiv preprint arXiv:1710.05941, 2017. [41] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid és Nils Thuerey. WeatherBench: az adatvezérelt időjárás-előrejelzésre vonatkozó referenciaadatkészlet. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [42] Takaya Saito és Marc Rehmsmeier. A precíziós emlékeztető telek informatívabb, mint a ROC telek a kiegyensúlyozatlan adatkészletek bináris osztályozói értékelésekor. PloS egy, 10(3):e0118432, 2015. [43] Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec és Peter Battaglia. Tanulás a komplex fizika grafikus hálózatokkal történő szimulálására. [44] B. D. Santer, R. Sausen, T. M. L. Wigley, J. S. Boyle, K. AchutaRao, C. Doutriaux, J. E. Hansen, G. A. Meehl, E. Roeckner, R. Ruedy, G. Schmidt és K. E. Taylor. A tropopauzális magasság és a légköri hőmérséklet viselkedése a modellekben, újbóli elemzésekben és megfigyelésekben: évtizedes változások. [45] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M Hamill, Tim D Hewson, Julia H Keller, Mio Matsueda, John Methven, Florian Pappenberger és társai. [46] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson és Munehiko Yamaguchi. A TIGGE projekt és annak eredményei. Az American Meteorological Society közleménye, 97(1):49 – 67, 2016. [47] Harvey Thurm Taylor, Bill Ward, Mark Willis és Walt Zaleski. A Saffir-Simpson hurrikán szél skála. Atmospheric Administration: Washington, DC, USA, 2010. [48] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser és Illia Polosukhin. A figyelem minden, amire szükséged van. [49] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio és Yoshua Bengio. grafikus figyelem hálózatok. arXiv preprint arXiv:1710.10903, 2017. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt érhető el. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt érhető el.
