A szerzők: Remi Lam (Google DeepMind) Alvaro Sanchez-Gonzalez (Google DeepMind) Matthew Willson (Google DeepMind) Peter Wirnsberger (Google DeepMind) Meire Fortunato (Google DeepMind) Ferran Alet (Google DeepMind) Suman Ravuri (Google DeepMind) Timo Ewalds (Google DeepMind) Zach Eaton-Rosen (Google DeepMind) Weihua Hu (Google DeepMind) Alexander Merose (Google Research) Stephan Hoyer (Google Research) George Holland (Google DeepMind) Oriol Vinyals (Google DeepMind) Jacklynn Stott (Google DeepMind) Alexander Pritzel (Google DeepMind) Shakir Mohamed (Google DeepMind) Peter Battaglia (Google DeepMind) A szerzők: Remi Lam (Google DeepMind szolgáltatás) Alvaro Sanchez-Gonzalez (a Google DeepMind segítségével) Matthew Willson (a Google DeepMind segítségével) Peter Wirnsberger (a Google DeepMind segítségével) Meire Fortunato (a Google DeepMind segítségével) Ferran Alet (Google DeepMind szolgáltatás) Suman Ravuri (a Google DeepMind segítségével) Timo Ewalds (Google DeepMind) Zach Eaton-Rosen (a Google DeepMind segítségével) Weihua Hu (a Google DeepMind segítségével) Alexander Merose (Google kutatás) Stephan Hoyer (Google kutatás) George Holland (a Google DeepMind segítségével) Oriol Vinyals (Google DeepMind szolgáltatás) Jacklynn Stott (a Google DeepMind segítségével) Alexander Pritzel (a Google DeepMind segítségével) Shakir Mohamed (a Google DeepMind segítségével) Peter Battaglia (a Google DeepMind segítségével) A globális középtávú időjárás-előrejelzés elengedhetetlen a döntéshozatalhoz számos társadalmi és gazdasági területen. A hagyományos numerikus időjárás-előrejelzés a megnövekedett számítási erőforrásokat használja az előrejelzés pontosságának javítására, de nem tudja közvetlenül felhasználni a történelmi időjárási adatokat a mögöttes modell javítására. Bevezetünk egy gépi tanuláson alapuló módszert, a „GraphCast”-t, amelyet közvetlenül az újraelemzési adatokból lehet képezni. Több száz időjárási változót megjósol 10 nap alatt globálisan 0,25°-os felbontásban, egy perc alatt. Megmutatjuk, hogy a GraphCast jelentősen felülmúlja a legpontosabb működési determinisztikus rendszereket az 1380-as ellenőrz Kulcsszavak: időjárás előrejelzés, ECMWF, ERA5, HRES, tanulási szimuláció, grafikus ideghálózatok Bevezetés 2022 október közepén 5 óra 45 perckor, Bolognában, Olaszországban, az Európai Középtávú Időjárás-előrejelző Központ (ECMWF) új, nagy teljesítményű számítástechnikai létesítménye éppen megkezdte működését.Az elmúlt néhány órában az Integrált Előrejelző Rendszer (IFS) kifinomult számításokat hajtott végre a Föld időjárásának a következő napokban és hetekben történő előrejelzésére, és az első előrejelzéseit csak most kezdik terjeszteni a felhasználóknak. Az IFS és a modern időjárás-előrejelzések általában a tudomány és a mérnöki tudomány győzelmei. Az időjárási rendszerek dinamikája a Föld legösszetettebb fizikai jelenségei közé tartozik, és minden nap számtalan döntést hoznak magánszemélyek, iparágak és politikai döntéshozók a pontos időjárás-előrejelzéseken, a kabát viselésének vagy a veszélyes vihar elkerülésének eldöntésénél. A mai időjárás-előrejelzés domináns megközelítése a „számszerű időjárás-előrejelzés” (NWP), amely magában foglalja az időjárás uralkodó egyenleteinek szuperszámítógépek segítségével történő megoldását. Az NWP sikere az időjárás-előrejelzések évről évre De míg a hagyományos NWP jól skálázható a számítással, pontossága nem javul a növekvő mennyiségű történelmi adatokkal.Vannak hatalmas archívumok időjárási és klimatológiai adatok, például az ECMWF MARS [17], de a közelmúltig kevés gyakorlati módja volt az ilyen adatoknak az előrejelzési modellek minőségének közvetlen javítására.Ehelyett az NWP módszereket magasan képzett szakértők fejlesztették ki, jobb modelleket, algoritmusokat és közelítéseket innovációval, ami időigényes és költséges folyamat lehet. A gépi tanuláson alapuló időjárás-előrejelzés (MLWP) alternatívát kínál a hagyományos NWP-hez, ahol az előrejelzési modelleket közvetlenül a történelmi adatokból képezik. Ennek lehetősége van az előrejelzés pontosságának javítására azáltal, hogy az adatokban olyan mintákat és skálákat rögzítenek, amelyek nem könnyen képviselhetők explicit egyenletekben. Az MLWP lehetőségeket is kínál a nagyobb hatékonyságra a modern mélytanulási hardverek kihasználásával, nem pedig szuperszámítógépekkel, és kedvezőbb sebesség-pontosságú kompromisszumokat eredményez. A közelmúltban az MLWP segített javítani az NWP-alapú előrejelzéseket olyan rendszerekben, ahol a hagyományos NWP viszonylag gyenge, A középtávú időjárás-előrejelzésben, azaz a légköri változók előrejelzésében akár 10 napig, az IFS-hez hasonló NWP-alapú rendszerek még mindig a legpontosabbak. A világ legfontosabb determinisztikus operációs rendszere az ECMWF High Resolution Forecast (HRES), az IFS egyik összetevője, amely globális 10 napos előrejelzéseket állít elő 0,1° szélesség/hosszúság felbontásban, körülbelül egy órán belül [27]. Az elmúlt néhány évben azonban az MLWP-módszerek a középtávú előrejelzéshez folyamatosan fejlődtek, az olyan referenciaértékek segítségével, mint a WeatherBench [27]. A konvolucionális neurális hálózatokon alapuló mélytanulás architektúrái [35, 36, 28] és a grafikus Itt bemutatunk egy új MLWP megközelítést a globális közepes hatótávolságú időjárás-előrejelzéshez, az úgynevezett „GraphCast”, amely egy perc alatt pontos 10 napos előrejelzést készít egyetlen Google Cloud TPU v4 eszközön, és támogatja az alkalmazásokat, beleértve a trópusi ciklonok, a légköri folyók és a szélsőséges hőmérsékletek előrejelzését. GraphCast takes as input the two most recent states of Earth’s weather—the current time and six hours earlier—and predicts the next state of the weather six hours ahead. A single weather state is represented by a 0.25° latitude/longitude grid (721 × 1440), which corresponds to roughly 28 × 28 kilometer resolution at the equator (Figure 1a), where each grid point represents a set of surface and atmospheric variables (listed in Table 1). Like traditional NWP systems, GraphCast is autoregressive: it can be “rolled out” by feeding its own predictions back in as input, to generate an arbitrarily long trajectory of weather states (Figure 1b–c). A GraphCast neurális hálózati architektúrájaként valósul meg, a GNN-eken alapulva egy „kód-folyamat-dekód” konfigurációban [1], összesen 36,7 millió paraméterrel. A kódoló (1.d. ábra) egyetlen GNN réteget használ a bemeneti rácson csomópont-attribútumként ábrázolt változók (nulla-médium egység-variánsra normalizálva) feltérképezésére a belső „multi-mesh” ábrázoláson megtanult csomópont-attribútumokra. A multi-mesh (1g ábra) egy térbeli homogén grafikon, nagy térbeli felbontással világszerte. Ezt úgy határozzák meg, hogy egy rendszeres icosahedron (12 csomópont, 20 arc, 30 szél) hatszor ismétlődik, ahol minden finomítás négy kisebb háromszögre osztja a háromszöget (amely négyszer több arcot és szélességet eredményez), és a csomópontokat a gömbre vetíti vissza. A multi-mesh a legmagasabb felbontású hálóról származó 40,962 csomópontot tartalmaz, és a közbenső grafikonokban létrehozott összes szélesség egyesülése, amely a szélességek lapos hierarchiáját képezi. A processzor (1. ábra) 16 megosztatlan GNN réteget használ a megtanult üzenetátvitel végrehajtására a multi-meshben, lehetővé téve a hatékony helyi és hosszú távú információterjesztést néhány üzenetátvitel lépésével. A dekódoló (1.f. ábra) feltérképezi a végső processzorréteg megtanult jellemzőit a többhálós ábrázolástól a szélességi-hosszúsági rácsig. Egyetlen GNN réteget használ, és a kimenetet a legutóbbi bemeneti állapot maradéktalan frissítéseként megjósolja (a kimeneti normalizációval a célmaradvány egységváltozásának elérése érdekében). további építészeti részletekért lásd a 3. kiegészítést. A modellfejlesztés során 39 évet (1979–2017) használtunk az ECMWF ERA5 [10] újrafeldolgozási archívumából származó történelmi adatokból. Képzési célként a függőleges szinten súlyozott átlagos négyzethibát (MSE) számoltunk ki. A hiba kiszámításra került a GraphCast előrejelzett állapotának és az ERA5 korrespondens állapotának között az N autoregresszív lépések között. Az N értéke fokozatosan emelkedett az 1-12-ről (azaz hat órától három napig) a képzés során. A GraphCast-ot a képzési cél minimalizálására képezték a gradiens lejtés és a visszafelé terjesztés segítségével. A képzés körülbelül négy hétig tartott a Cloud 32 TPU v4 készülékeken A valós telepítési forgatókönyvekkel összhangban, ahol a jövőbeni információk nem állnak rendelkezésre a modellfejlesztéshez, a 2018-as évekből származó adatok alapján értékeltük a GraphCast-t (lásd a kiegészítések 5.1 pontját). Ellenőrzési módszerek A GraphCast előrejelzési képességét átfogóan ellenőrizzük, összehasonlítva annak pontosságát a HRES-ekkel számos változón, szinten és lead-időben. Kvantitatívak vagyunk a GraphCast, HRES és ML kiindulási készségek két készségmérővel: a gyökér átlagos négyzethibával (RMSE) és az anomália korrelációs együtthatóval (ACC). A GraphCast által előre megjósolt 227 változó és szintkombináció közül mindegyik hálózati ponton a HRES-hez képest 69-en értékeltük a készségeket, amelyek megfelelnek a WeatherBench[27] 13 szintjének, valamint az ECMWF eredménytáblából származó változóknak [9]; lásd az 1. táblázatban és a kiegészítések 1.2. szakaszában szereplő boldface változókat és szinteket, amelyekre a HRES-ciklus az értékelési időszak alatt működött. Megjegyzés: kizárjuk az összes csapadékot az értékelésből, mivel az ERA5 csapadékadatok ismert előítéleteket [15] mutatnak. Ezekben az összehasonlításokban két kulcsfontosságú választás rejlik abban, hogy a készség hogyan alakul ki: (1) az összehasonlításhoz szükséges alapvető igazság kiválasztása, és (2) az adatok megfigyelésekkel történő földeléséhez használt adatasszimilációs ablakok gondos elszámolása. A GraphCast értékeléséhez az ERA5-t alapvető igazságként használjuk, mivel az ERA5-adatok bemenetként való felhasználására és az ERA5-adatok kimenetként történő előrejelzésére volt képzett. Mindazonáltal a HRES-előrejelzések ERA5-höz viszonyítva történő értékelése a kezdeti előrejelzési lépésben nem nulla hibát eredményezne. Ehelyett egy „HRES-előrejelzés a 0. lépésben” (HRES-f Az időjárás-előrejelzés adatainak jellege miatt ez megköveteli az ERA5 és a HRES adatasszimilációs ablakok közötti különbségek gondos ellenőrzését. Minden nap a HRES négy +/-3h ablakot használ a 00z, 06z, 12z és 18z középpontjában (ahol 18z 18:00 UTC-t jelent), míg az ERA5 két +9h/-3h ablakot használ 00z és 12z középpontjában, vagy azzal egyenértékűen két +3h/-9h ablakot 06z és 18z középpontjában. Mi úgy döntöttünk, hogy a GraphCast előrejelzéseit a 06z és 18z initializációkból értékeljük, biztosítva, hogy bemenetei a jövőbeli megfigyelések +3h információit hordozzák, ugyanazokkal a HRES A HRES 06z-on és 18z-on kezdetlegesített előrejelzései csak 3,75 napos horizontra futnak (a HRES 00z és 12z-es kezdetlegesítései 10 napig futnak). Ezért a számunk jelzi az átmenetet a csúszós vonallal, ahol a vonal előtti 3,5 nap a 06z és 18z-on kezdetlegesített HRES-ekkel való összehasonlítás, és a vonal után a 00z és 12z-en kezdetlegesített összehasonlítások. Az előrejelzések ellenőrzési eredményei Megállapítottuk, hogy a GraphCast nagyobb időjárás-előrejelzési képességgel rendelkezik, mint a HRES, ha a 10 napos előrejelzéseket 0,25°-os vízszintes felbontásban, szélesség/hosszúság tekintetében és 13 függőleges szinten értékelik. A 2a–c ábra azt mutatja, hogy a GraphCast (kék vonalak) az RMSE készség, az RMSE készség pontszám (azaz a normalizált RMSE különbség a modell A és a bázis B között (RMSEA − RMSEB)/RMSEB) és az ACC készség tekintetében a z500 (geopotenciálisan 500 hPa) „fejléc” mezőben a HRES (fekete vonalak) teljesítményét felülmúlja. a z500 használatát, amely a szinoptikus skálán lévő nyomáseloszlást kódolja, gyakori az irodalomban, mivel erős meteorológiai jelentőséggel bír [27]. A telkek azt mutatják, hogy a GraphCast minden vezető időben jobb készség pontszámmal rendelkezik, a készség pontszámának javulása körülbelül 7 A 2d ábra az ECMWF eredménytáblához hasonló formátumban összefoglalja az összes 1380 értékelett változó és nyomásszint RMSE képességének pontszámát a 10 napos előrejelzések során. A cellakék színei arányosak a képesség pontszámával, ahol a kék azt jelzi, hogy a GraphCast jobb képességgel rendelkezett, a piros pedig azt jelzi, hogy a HRES magasabb képességgel rendelkezett. A GraphCast az 1380-as célértékek 90.3%-án felülmúlta a HRES-t, és jelentősen (p ≤ 0.05, névleges minta mérete n ∈ {729, 730}) felülmúlta a HRES-t a célértékek 89.9%-án. Lásd a kiegészítések 5.4. szakaszát a módszert A légkör azon területei, ahol a HRES jobb teljesítményt mutatott, mint a GraphCast (a pontszámok piros felső sorai), aránytalanul lokalizálódtak a sztratoszférában, és a legkisebb képzési veszteség súlya volt (lásd a kiegészítések 7.2. szakaszát). Amikor az 50 hPa szintet kizárta, a GraphCast jelentősen meghaladta a HRES teljesítményét a fennmaradó 1280 célkitűzés 96,9%-án. Amikor az 50 és 100 hPa szintet kizárta, a GraphCast jelentősen meghaladta a HRES teljesítményét az 1180 fennmaradó célkitűzés 99,7%-án. Megállapítottuk, hogy az MSE-veszteség automatikus regresszív lépéseinek számának növelése javítja a GraphCast teljesítményét hosszabb lead idő alatt (lásd a 7.3.2. szakaszt), és arra ösztönzi, hogy a térbeli kiegyensúlyozott kimenetek előrejelzésével kifejezzék bizonytalanságát, ami a hosszabb lead idő alatt homályosabb előrejelzéseket eredményez (lásd a 7.5.3. szakaszt). A HRES alapvető fizikai egyenletei azonban nem vezetnek homályos előrejelzéshez. Annak értékelése érdekében, hogy a GraphCast relatív előnye az RMSE-hez képest fennmarad-e, ha a HRES-nek is megengedett az előrejelzései homályosítása, a homályos szűrőket a GraphCast Összehasonlítottuk a GraphCast teljesítményét a legmagasabb versenytárs ML-alapú időjárási modellel, a Pangu-Weather-el [4], és megállapítottuk, hogy a GraphCast a bemutatott 252 célkitűzés 99,2% -ánál jobban teljesített (a részletekért lásd a kiegészítések 6. szakaszát). Súlyos események előrejelzése Amellett, hogy értékeljük a GraphCast előrejelzési képességét a HRES-ekkel szemben a változók és a lead idők széles skáláján, azt is értékeljük, hogy előrejelzései hogyan támogatják a súlyos események előrejelzését, beleértve a trópusi ciklonokat, a légköri folyókat és a szélsőséges hőmérsékletet. Trópusi ciklonok A trópusi ciklon előrejelzések pontosságának javítása segíthet elkerülni a sérüléseket és az életveszteségeket, valamint csökkenti a gazdasági károkat [21]. A ciklon létezését, erejét és pályáját a geopotenciális (z), a vízszintes szél (10 U/10 v, U/v) és az átlagos tengerszintű nyomás (MsL) előrejelzéseire vonatkozó követési algoritmus alkalmazásával lehet megjósolni. Az ECMWF ugyanezen közzétett protokollokon [20] alapuló követési algoritmust hajtottunk végre, és alkalmaztuk a GraphCast előrejelzéseire, hogy a ciklon nyomvonal előrejelzéseit készítsük (lásd a 8.1. függeléket). Az összehasonlítás alapjául a HRES 0.1° A 3a. ábra azt mutatja, hogy a GraphCast alacsonyabb medián nyomkövetési hibával rendelkezik, mint a HRES a 2018–2021 közötti időszakban.Mivel a HRES és a GraphCast nyomkövetési hibái korrelálnak, a két modell közötti párosított hibakülönbséget is mérjük, és megállapítottuk, hogy a GraphCast jelentősen jobb, mint a HRES a lead idő 18 óra és 4,75 nap között, amint azt a 3b. ábra mutatja. légköri folyók Atmospheric rivers are narrow regions of the atmosphere which are responsible for the majority of the poleward water vapor transport across the mid-latitudes, and generate 30%-65% of annual precipitation on the U.S. West Coast [6]. Their strength can be characterized by the vertically integrated water vapor transport IvT [23, 22], indicating whether an event will provide beneficial precipitation or be associated with catastrophic damage [7]. IvT can be computed from the non-linear combination of the horizontal wind speed (U and v) and specific humidity (Q), which GraphCast predicts. We evaluate GraphCast forecasts over coastal North America and the Eastern Pacific during cold months (Oct–Apr), when atmospheric rivers are most frequent. Despite not being specifically trained to characterize atmospheric rivers, Figure 3c shows that GraphCast improves the prediction of IvT compared to HRES, from 25% at short lead time, to 10% at longer horizons (see Supplements Section 8.2 for details). szélsőséges hőség és hideg A szélsőséges hőséget és hideget a tipikus éghajlatváltozással összefüggésben nagy anomáliák jellemzik [19, 16, 18], amelyek veszélyesek lehetnek és megzavarhatják az emberi tevékenységeket. A HRES és a GraphCast szakértelmét értékeljük a legmagasabb 2% -os éghajlatváltozás feletti események előrejelzésében az év helye, ideje és hónapja között, 2 T 12 órás, 5 napos és 10 napos vezetési időben, az északi és a déli féltekén átívelő szárazföldi régiókban a nyári hónapokban. Pontossági visszahívási görbék [30] készítünk, hogy tükrözzék a hamis pozitívok (magas pontosság) csökkentése és a hamis negatívok (magas visszahívás) csökkentése A 3d. ábra azt mutatja, hogy a GraphCast precíziós visszahívási görbéi az 5 és 10 napos lead időkre a HRES-nél magasabbak, ami azt sugallja, hogy a GraphCast előrejelzései általában jobbak, mint a HRES a szélsőséges osztályozásnál hosszabb horizontokon. Ezzel ellentétben a HRES a 12 órás lead időnél jobb precíziós visszahívással rendelkezik, ami összhangban van a GraphCast 2 T készségpontjával a HRES-nél, amely közel nulla, amint azt a 2d. ábra mutatja. A képzési adatok közelmúltbeli hatása A GraphCast rendszeresen átképezhető a legfrissebb adatokkal, ami elvileg lehetővé teszi az idővel változó időjárási minták rögzítését, mint például az ENSO ciklus és más ingadozások, valamint az éghajlatváltozás hatásai.A GraphCast négy változatát olyan adatokkal képeztük, amelyek mindig 1979-ben kezdődtek, de 2017-ben, 2018-ban, 2019-ben és 2020-ban végződtek (a 2017-ben végződő változatot „GraphCast:<2018”, stb.) A 4. ábra a z500 négy változatának és a HRES-nek a készségértékét mutatja (a GraphCast:<2018) normalizálja.Azt találtuk, hogy míg a GraphCast teljesítménye 2018-ig képzett edzésekor még 2021-ben is versenyképes a HRES-rel, a 2021-ig képzett edzések tovább javítják a készségértékeket (lásd a kiegészítések 7.1.3. szakaszát).Azt gondoljuk, hogy ez a közelmúltbeli hatás lehetővé teszi a legutóbbi időjárási trendek rögzítését a pontosság javítása érdekében. következtetések A GraphCast előrejelzési készsége és hatékonysága a HRES-hez képest azt mutatja, hogy az MLWP módszerek mostantól versenyképesek a hagyományos időjárás-előrejelzési módszerekkel. Ezenkívül a GraphCast teljesítménye a súlyos események előrejelzésénél, amelyre nem volt közvetlenül képzett, bizonyítja a robusztust és a downstream értékre vonatkozó potenciált. 36,7 millió paraméterrel a GraphCast egy viszonylag kicsi modell a modern ML szabványok szerint, amelyet úgy választottak, hogy a memória lábnyomát megfigyelhető legyen. És miközben a HRES-t 0,1°-os felbontásban, 137 szinten és akár 1 órás időtávon is kiadják, a GraphCast 0,25°-os szélességi-hosszúsági felbontásban, 37 függőleges szinten és 6 órás időtávon működött az ERA5 képzési adatok natív 0,25°-os felbontása és a hardver magasabb felbontású adatainak illesztésében jelentkező mérnöki kihívások miatt. Megközelítésünk egyik kulcsfontosságú korlátozása, hogy a bizonytalanságot hogyan kezeljük. A determinista előrejelzésekre összpontosítottunk, és összehasonlítottuk a HRES-ekkel, de az ECMWF IFS másik pillére, az ensemble előrejelzési rendszer, az ENS, különösen fontos a 10+ napos előrejelzések esetében. Az időjárás dinamikájának nem lineáris jellege azt jelenti, hogy a hosszabb vezetési időkben egyre nagyobb a bizonytalanság, amit egyetlen determinista előrejelzés sem fog el jól. Az ENS ezt úgy kezeli, hogy többszörös, sztochasztikus előrejelzéseket hoz létre, amelyek modellezik a jövőbeni időjárás empirikus eloszlását, de a többszörös előrejelzések generálása Fontos hangsúlyozni, hogy az adatvezérelt MLWP kritikus mértékben függ a nagy mennyiségű, magas színvonalú adattól, amelyet az NWP-n keresztül asszimilálnak, és hogy az olyan gazdag adatforrások, mint az ECMWF MARS archívuma, felbecsülhetetlen értékűek. ezért a megközelítésünket nem szabad a hagyományos időjárás-előrejelzési módszerek helyettesítésének tekinteni, amelyeket évtizedek óta fejlesztettek ki, szigorúan teszteltek sok valós környezetben, és sok olyan funkciót kínálnak, amelyeket még nem fedeztünk fel. Az időjárás-előrejelzésen túl a GraphCast új irányokat nyithat más fontos geospatiotemporal előrejelzési problémákhoz, beleértve az éghajlatot és az ökológiát, az energiát, a mezőgazdaságot és az emberi és biológiai tevékenységet, valamint más összetett dinamikus rendszereket. Adatok és anyagok rendelkezésre állása A GraphCast kódja és a képzett mérlegek nyilvánosan elérhetők a github https://github.com/ deepmind/graphcast weboldalon. Ez a munka az Európai Középtávú Előrejelző Központ (ECMWF) nyilvánosan elérhető adatait használja. Az ERA5, HRES és TIGGE termékek ECMWF archívumát használjuk, amelynek használatát a Creative Commons Attribution szabályozza. 4.0 Nemzetközi (CC BY 4.0). Használjuk IBTrACS 4. verzió a https://www.ncei.noaa.gov/ products/international-best-track-archive and reference [13, 12] szükség szerint. A Föld textúra a 1. ábra alatt CC BY 4.0 a https://www.solarsystemscope.com/ textures/. elismerések Alfabetikus sorrendben köszönjük Kelsey Allen, Charles Blundell, Matt Botvinick, Zied Ben Bouallegue, Michael Brenner, Rob Carver, Matthew Chantry, Marc Deisenroth, Peter Deuben, Marta Garnelo, Ryan Keisler, Dmitrii Kochkov, Christopher Mattern, Piotr Mirowski, Peter Norgaard, Ilan Price, Chongli Qin, Sébastien Racanière, Stephan Rasp, Yulia Rubanova, Kunal Shah, Jamie Smith, Daniel Worrall és számtalan más az Alphabet és az ECMWF-nél a munkánkkal kapcsolatos tanácsért és visszajelzésért. Emellett köszönjük az ECMWF-nek, hogy felbecsülhetetlen adatkészleteket biztosított a kutatási közösségnek. A megnyitó bekezdés stíl Referenciák [1] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Relációs induktív előítéletek, mélytanulás és grafikus hálózatok. arXiv preprint arXiv:1806.01261, 2018. [2] P. Bauer, A. Thorpe és G. Brunet. A numerikus időjárás-előrejelzés csendes forradalma. természet, 525, 2015. [3] Stanley G Benjamin, John M Brown, Gilbert Brunet, Peter Lynch, Kazuo Saito és Thomas W Schlatter. 100 éves előrehaladás az előrejelzések és az NWP alkalmazások terén. [4] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu és Qi Tian. Pangu-Weather: Egy 3D-s nagy felbontású modell a gyors és pontos globális időjárás-előrejelzéshez. arXiv preprint arXiv:2211.02556, 2022. [5] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. A THORPEX interaktív nagy globális együttes. [6] WE Chapman, AC Subramanian, L Delle Monache, SP Xie, és FM Ralph. A légköri folyó előrejelzéseinek javítása gépi tanulással. Geophysical Research Letters, 46(17-18):10627–10635, 2019. [7] Thomas W. Corringham, F. Martin Ralph, Alexander Gershunov, Daniel R. Cayan és Cary A. Talbot. A légköri folyók az Egyesült Államok nyugati részén árvízi károkat okoznak. Tudományos haladás, 5(12):eaax4631, 2019. [8] Lasse Espeholt, Shreya Agrawal, Casper Sønderby, Manoj Kumar, Jonathan Heek, Carla Bromberg, Cenk Gazen, Rob Carver, Marcin Andrychowicz, Jason Hickey és társai. Mély tanulás tizenkét órás csapadék előrejelzésekhez. Természetkommunikációk, 13(1):1–10, 2022. [9] T Haiden, Martin Janousek, J Bidlot, R Buizza, Laura Ferranti, F Prates és F Vitart. Az ECMWF előrejelzéseinek értékelése, beleértve a 2018-as frissítést. [10] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers és társai. Az ERA5 globális újraelemzése. A Royal Meteorological Society negyedéves folyóirata, 146(730):1999–2049, 2020. [11] Ryan Keisler. A globális időjárás előrejelzése grafikus ideghálózatokkal. arXiv preprint arXiv:2202.07575, 2022. [12] Kenneth R. Knapp, Howard J. Diamond, James P. Kossin, Michael C. Kruk, Carl J. Schreck és társai: International best track archive for climate stewardship (IBTrACS) project, version 4. https: //doi.org/10.25921/82ty-9e16, 2018. [13] Kenneth R. Knapp, Michael C. Kruk, David H. Levinson, Howard J. Diamond és Charles J. Neumann. A trópusi ciklon adatokat egyesítő nemzetközi legjobb nyomkövetési archívum (IBTrACS).Bulletin of the American Meteorological Society, 91(3):363–376, 2010. [14] Thorsten Kurth, Shashank Subramanian, Peter Harrington, Jaideep Pathak, Morteza Mardani, David Hall, Andrea Miele, Karthik Kashinath és Animashree Anandkumar. FourCastNet: A globális nagy felbontású időjárás-előrejelzés felgyorsítása adaptív négyes neurális operátorokkal. arXiv preprint arXiv:2208.05419, 2022. [15] David A. Lavers, Adrian Simmons, Freja Vamborg és Mark J. Rodwell. Az ERA5 csapadékvizsgálatának értékelése az éghajlat megfigyelésére. A Royal Meteorological Society negyedéves folyóirata, 148(748):3152–3165, 2022. [16] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal és Jason Hickey. A globális szélsőséges hő előrejelzése idegjárási modellek segítségével. mesterséges intelligencia a Föld rendszerek számára, 1–41. oldal, 2022. [17] Carsten Maass és Esperanza Cuartero. MARS felhasználói dokumentáció. https://confluence. ecmwf.int/display/UDOC/MARS+user+documentation, 2022. [18] Linus Magnusson. 202208 - heatwave - uk. https://confluence.ecmwf.int/display/ FCST/202208+-+Heatwave+-+UK, 2022. [19] Linus Magnusson, Thomas Haiden és David Richardson: Extreme Weather Events Verification: Discrete Predictands. European Centre for Medium-Range Weather Forecasts, 2014. [20] Linus Magnusson, Sharanya Majumdar, Rebecca Emerton, David Richardson, Magdalena Alonso-Balmaseda, Calum Baugh, Peter Bechtold, Jean Bidlot, Antonino Bonanni, Massimo Bonavita és társai. trópusi ciklon tevékenységek az ECMWF-en. [21] Andrew B. Martinez. Az előrejelzés pontossága a hurrikánkárosodás szempontjából fontos. Econometrics, 8(2):18, 2020. [22] Benjamin J. Moore, Paul J. Neiman, F. Martin Ralph és Faye E. Barthold. A Nashville-ben, Tennessee-ben és környékén a nagy árvizekkel kapcsolatos fizikai folyamatok 2010. május 1-2. között: A légköri folyó és a mezoszkálós konvekciós rendszerek szerepe. [23] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist és Michael D Dettinger. Meteorológiai jellemzők és a légköri folyók földfelszíni csapadék hatásai Észak-Amerika nyugati partján nyolc éves ssm/i műholdas megfigyelések alapján. [24] Tung Nguyen, Johannes Brandstetter, Ashish Kapoor, Jayesh K Gupta és Aditya Grover. ClimaX: Az időjárás és az éghajlat alapmodellje. arXiv preprint arXiv:2301.10343, 2023. [25] Jaideep Pathak, Shashank Subramanian, Peter Harrington, Sanjeev Raja, Ashesh Chattopad-hyay, Morteza Mardani, Thorsten Kurth, David Hall, Zongyi Li, Kamyar Azizzadenesheli és társai Fourcastnet: Globális adatvezérelt, nagy felbontású időjárási modell adaptív négyes neurális operátorokkal. arXiv preprint arXiv:2202.11214, 2022. [26] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez és Peter Battaglia. Tanulás hálózati szimuláció grafikus hálózatokkal. [27] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid, and Nils Thuerey. WeatherBench: a benchmark data set for data-driven weather forecasting. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [28] Stephan Rasp és Nils Thuerey. adatvezérelt közepes hatótávolságú időjárás-előrejelzés az éghajlati szimulációk előkészítésével: egy új modell az időjárás-előrejelzéshez. [29] Suman Ravuri, Karel Lenc, Matthew Willson, Dmitry Kangin, Remi Lam, Piotr Mirowski, Megan Fitzsimons, Maria Athanassiadou, Sheleem Kashem, Sam Madge és társai. Képes esőzések a radar mély generatív modelljeinek felhasználásával. Természet, 597(7878):672–677, 2021. [30] Takaya Saito és Marc Rehmsmeier. A precíziós emlékeztető telek informatívabb, mint a ROC telek a kiegyensúlyozatlan adatkészletek bináris osztályozói értékelésekor. PloS egy, 10(3):e0118432, 2015. [31] Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec és Peter Battaglia. Tanulás a komplex fizika grafikus hálózatokkal történő szimulálására. [32] Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong és Wang-chun Woo. Mély tanulás a csapadék mostcasting: A referenciamutató és egy új modell. Előrelépések a neurális információfeldolgozó rendszerek, 30, 2017. [33] Casper Kaae Sønderby, Lasse Espeholt, Jonathan Heek, Mostafa Dehghani, Avital Oliver, Tim Salimans, Shreya Agrawal, Jason Hickey és Nal Kalchbrenner. Metnet: Neural időjárási modell csapadék előrejelzésére. arXiv előnyben arXiv:2003.12140, 2020. [34] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson és Munehiko Yamaguchi. A TIGGE projekt és annak eredményei. Az American Meteorological Society közleménye, 97(1):49 – 67, 2016. [35] Jonathan A Weyn, Dale R Durran és Rich Caruana. A gépek megtanulhatják az időjárás előrejelzését? A mély tanulás segítségével történelmi időjárási adatokból előre jelezhetjük az 500 hPa-os geopotenciális magasságot. Journal of Advances in Modeling Earth Systems, 11(8):2680–2693, 2019. [36] Jonathan A Weyn, Dale R Durran, és Rich Caruana. Az adatvezérelt globális időjárás-előrejelzés javítása mély konvolucionális ideghálózatok használatával egy kockás gömbön. 1. Adatbázis Ebben a szakaszban áttekintést adunk a GraphCast képzéséhez és értékeléséhez használt adatokról (Kiegészítők 1.1. szakasz), az NWP kiindulási HRES előrejelzéseit meghatározó adatokról, valamint a HRES-fc0-ról, amelyet a HRES földi igazságaként használunk (Kiegészítők 1.2. szakasz). Több adatkészletet építettünk fel képzés és értékelés céljából, amelyek az ECMWF adatarchívumai és az IBTrACS alkészleteiből állnak [29, 28]. Általában megkülönböztetjük a forrásadatok, amelyeket „archívumnak” vagy „archivált adatoknak” nevezünk, és az ezekből az archívumokból épített adatkészletek, amelyeket „adatkészleteknek” nevezünk. 1.1 Az ötödik A GraphCast képzéséhez és értékeléséhez adatkészletünket az ECMWF ERA5 [24]1 archívumának egy alösszetételéből építettük, amely nagy mennyiségű adat, amely az 1959-től napjainkig tartó globális időjárást képviseli 0,25°-os szélességi/hosszúsági felbontásban és 1 órás növekedésekkel több száz statikus, felszíni és légköri változót tartalmaz.Az ERA5 archívum újraelemzésen alapul, amely az ECMWF HRES modelljét (ciklus 42r1) használja, amely 2016 nagy részében működött (lásd 3. táblázat), az ECMWF 4D-Var adatasszimilációs rendszerében. ERA5 adatkészletünk tartalmazza az ECMWF ERA5 archívumában (2. táblázat) rendelkezésre álló változók egy alcsoportját, 37 nyomásszinten: 1, 2, 3, 5, 7, 10, 20, 30, 50, 70, 100, 125, 150, 175, 200, 225, 250, 300, 350, 400, 450, 500, 550, 600, 650, 700, 775, 800, 825, 850, 875, 900, 925, 950, 975, 1000 hPa. A felvett évek tartománya 1979-01-01 és 2022-01-10 között volt, amelyeket 6 órás időközönként (minden nap 00z, 06z, 12z és 18z-nek felel meg) mintavételeztek. 1.2 Részletek A HRES modell kiindulópontjának értékeléséhez két külön adatkészletre van szükség, nevezetesen az előrejelzési adatokra és a valós adatokra, amelyeket a következő alszakaszokban összegezünk. A HRES-t általában a világ legpontosabb determinisztikus NWP-alapú időjárási modelljének tekintik, így a HRES kiindulópontjának értékelése érdekében a HRES archivált történelmi előrejelzéseinek adatkészletét építettük fel. A HRES-t rendszeresen frissíti az ECMWF, így ezek az előrejelzések a legújabb HRES-modellt képviselik az előrejelzések elkészítésének időpontjában. Az előrejelzéseket natív képviseletükben töltötték le (amely gömbharmonikát és egy oktázisosan csökkentett Gaussian rácsot használ, TCo1279 [36]), és nagyjából megfelel a 0,1° szélesség/hosszúság felbontásnak. HRES operational forecasts Ezután térbeli mintavételezéssel 0,25°-os szélességi/hosszúsági rácsra csökkentettük az előrejelzéseket (az ERA5 felbontásának megfelelően) az ECMWF Metview könyvtárával, az alapértelmezett regrid paraméterekkel. Időbeli mintavételezéssel 6 órás intervallumra csökkentettük őket.Két csoport HRES előrejelzés létezik: a 00z/12z-on kezdetlegesítettek, amelyek 10 napos horizontra kerülnek kiadásra, és a 06z/18z-on kezdetlegesítettek, amelyek 3,75 napos horizontra kerülnek kiadásra. For evaluating the skill of the HRES operational forecasts, we constructed a ground truth dataset, “HRES-fc0”, based on ECMWF’s HRES operational forecast archive. This dataset comprises the initial time step of each HRES forecast, at initialization times 00z, 06z, 12z, and 18z (see Figure 5). The HRES-fc0 data is similar to the ERA5 data, but it is assimilated using the latest ECMWF NWP model at the forecast time, and assimilates observations from ±3 hours around the corresponding date and time. Note, ECMWF also provides an archive of “HRES Analysis” data, which is distinct from our HRES-fc0 dataset. The HRES Analysis dataset includes both atmospheric and land surface analyses, but is not the input which is provided to the HRES forecasts, therefore we do not use it as ground truth because it would introduce discrepancies between HRES forecasts and ground truth, simply due to HRES using different inputs, which would be especially prominent at short lead times. HRES-fc0 Az ECMWF HRES archívumából származó, 850 hPa (z850) és 925 hPa (z925) változó geopotenciális értékek nagyon kis alösszege nem szám (NaN). Ezek a NaN-ek a 2016–2021 közötti időszakra és az előrejelzések időszakaira egyenletesen oszlanak el. Ez a z850 képpontjainak körülbelül 0,00001%-át teszi ki (1 képpont tíz 1440 x 721 szélességi képkocka után), a z925 képpontjainak 0,00000001%-át (1 képpont tízezer 1440 x 721 szélességi képkocka után), és nincs mérhető hatása a teljesítményre. Könnyebb összehasonlítás céljából a hiányzó ritka értékeket a közvetlen szomszédos képp HRES NaN handling 1.3. Tropical cyclone datasets A trópusi ciklon-előrejelzések elemzéséhez az IBTrACS [28, 29, 31, 30] archívumot használtuk a földi igazság adatkészletének megalkotásához. Ez magában foglalja a történelmi ciklon nyomokat mintegy tucat hiteles forrásból. Minden nyomvonal egy idősorozat, 6 órás időközönként (00z, 06z, 12z, 18z), ahol minden időszaka a ciklon szemét képviseli a szélességi/hosszúsági koordinátákban, a megfelelő Saffir-Simpson kategóriával és más releváns meteorológiai jellemzőkkel együtt az adott időpontban. A HRES kiindulási sorrendjére a TIGGE archívumot használtuk, amely a HRES 0,1°-os felbontású előrejelzéseiből származó, az operatív nyomkövetővel becsült ciklon nyomvonalakat biztosítja. Az adatokat a https://confluence.ecmwf.int/display/TIGGE/Tools alatt letölthető XML fájlként tároljuk. Az adatok további utólagos feldolgozásra és elemzésre alkalmas formátumra való átalakításához olyan elemzőt vezettünk be, amely az érdeklődési évekre vonatkozó ciklon nyomvonalakat kiterjeszti. Az XML fájlokban található releváns szakaszok (tagok) a „forecast” típusúak, amelyek általában különböző kezdeti előrejelzési időknek megfelelő több Lásd a 8.1 szakaszt a nyomkövető algoritmusának és eredményeinek részleteiről. 2. Jelentés és problémamegállapítás Ebben a szakaszban meghatározzuk a hasznos időmegjelölések használatát a papíron (2.1 szakasz), formalizáljuk az általunk kezelt általános előrejelzési problémát (2.2 szakasz), és részletezzük, hogyan modellezzük az időjárás állapotát (2.3 szakasz). 2.1 Időszámítás Az előrejelzésben használt időmegjelölés zavart okozhat, több különböző időszimbólumot is magában foglalva, pl. az eredeti előrejelzés idejét, érvényességi idejét, előrejelzési horizontot stb. Ezért bevezetünk néhány szabványosított kifejezést és megjelölést az egyértelműség és az egyszerűség érdekében. Az idő egy bizonyos pontjára „dátum-idő”-ként utalunk, amelyet naptári dátum és UTC-idő jelez. Például 2018-06-21_18:00:00 június 21-ét jelenti, 2018 18:00 UTC-t. Röviden, néha a Zulu konvenciót is használjuk, azaz 00z, 06z, 12z, 18z 00:00, 06:00, 12:00, 18:00 UTC-t jelent. Tovább definiáljuk a következő szimbólumokat: t: Az előrejelzési idő lépésindex, amely az előrejelzés kezdeményezése óta megtett lépések számát mutatja be. T: Az előrejelzés horizontja, amely az előrejelzés lépéseinek teljes számát mutatja. d: érvényességi idő, amely egy adott időjárási állapot dátum-időpontját jelzi. d0: Az előrejelzés beindítási ideje, amely az előrejelzés kezdeti adatainak érvényességi idejét jelzi. Δd: Az előrejelzési lépés időtartama, amely azt jelzi, hogy egy előrejelzési lépés során mennyi idő telik el. τ: Az előrejelzés időtartama, amely az előrejelzésben eltelt időt képviseli (azaz τ = tΔd). 2.2 Általános előrejelzési problémamegállapítás A tényleges időjárás időbeli evolúcióját a mögöttes diszkrét idődinamikai funkció, Φ képviselheti, amely a következő időállapotot generálja (Δd a jövőben) a jelenlegi állapot alapján, azaz Zd+Δd = Φ(Zd). Célunk, hogy megtaláljunk egy pontos és hatékony modellt, φ, a valódi dinamikai funkciót, Φ, amely hatékonyan megjósolhatja az időjárás állapotát bizonyos előrejelzési horizonton, TΔd. Feltételezzük, hogy nem tudjuk közvetlenül megfigyelni Zd, hanem csak néhány részleges megfigyelés Xd, ami az időjárás tökéletesen megjósolásához szükséges állapotinformáció hiányos ábrázolása. Xd−Δd , Xd−2Δd , ..., az Xd mellett a modell ezután elvben kihasználhatja ezt a további kontextus információt, hogy a Zd-t pontosabban megközelítse. Az egyenlethez (1) hasonlóan az X ̈d+Δd előrejelzést vissza lehet adni φ-ba, hogy teljes előrejelzést készítsen, Az előrejelzés minőségét vagy készségét úgy értékeljük, hogy mennyire megfelel az előrejelzett pályának, az X ̈d+Δd:d+T Δd-nek az alapvető igazság pályájának, az Xd+Δd:d+TΔd-nek. Fontos azonban még egyszer kiemelni, hogy az Xd+Δd:d+TΔd csak a Zd+Δd:d+TΔd megfigyeléseit foglalja magában, amely önmagában nem figyelhető meg. 5 pontban kifejezetten leírtak. A munkánkban az adatok és előrejelzések időbeli felbontása mindig Δd = 6 óra volt 10 napos maximális előrejelzési horizonton, ami T = 40 lépés összességének felel meg. Mivel a Δd ebben a papíron egy állandó, egyszerűsíthetjük a megjelölést (Xt, Xt+1, . . . , Xt+T ) helyett (Xd, Xd+Δd , . . , Xd+TΔd ), hogy az időt egy egész számmal indexeljük egy adott dátumidő helyett. Az ECMWF időjárási adatai A modellek képzéséhez és értékeléséhez az ERA5 adatkészletünket a felszíni és a légköri időjárási állapot földi igazság-képviseleteként kezeljük.A 1.2 szakaszban leírtak szerint a HRES-fc0 adatkészletet használtuk fel a HRES képességeinek értékeléséhez. Adatkészletünkben az ERA5 időjárási állapota Xt tartalmazza a 2. táblázat összes változóját 0,25°-os vízszintes szélességi-hosszúsági felbontásban, összesen 721 × 1440 = 1, 038, 240 rácspont és 37 függőleges nyomásszint. A légköri változókat minden nyomásszinten határozzák meg, és a (horizontális) rácspontok összességét a G0.25◦ = {−90.0, −89.75, . . . . , 90.0} × {−179.75, −179.5, . . . , 180.0} jelöli. Ezeket a változókat a rövid név (és a nyomásszint, légköri változók esetében). Például a felületi változó „2 méter” 2 T; a Mindezekből a változókból a modellünk 5 felszíni változót és 6 légköri változót jósol összesen 227 célváltozónak. Számos más statikus és/vagy külső változót a modellünk bemeneti kontextusaként is biztosítottunk.Ezek a változók az 1. táblázatban és a 2. táblázatban láthatók.A statikus/külső változók olyan információkat tartalmaznak, mint a rács/háló geometria, az orográfia (felszíni geopotenciál), a szárazföldi-tengeri maszk és a légkör tetején lévő sugárzás. Az Xt-ben szereplő változók azon alcsoportjára utalunk, amelyek egy adott rácspontnak i (1,038,240 összesen) felelnek meg xt-ként, és a 227 célváltozók minden egyes változójára j-ként xt-ként.Az Xtii, j teljes állami reprezentációja tehát összesen 721 × 1440 × (5 + 6 × 37) = 235, 680, 480 értéket tartalmaz. Megjegyzés: a pólusokon a 1440 hosszúságpont egyenlő, így a külön rácspontok tényleges száma valamivel kisebb. 3. GraphCast modell This section provides a detailed description of GraphCast, starting with the autoregressive gener-ation of a forecast (Section 3.1), an overview of the architecture in plain language (Section 3.2), followed by a technical description the all the graphs defining GraphCast (Section 3.3), its encoder (Section 3.4), processor (Section 3.5), and decoder (Section 3.6), as well as all the normalization and parameterization details (Section 3.7). 3.1 Előrejelzés készítése A GraphCast modellt egy olyan, egy lépésben tanult szimulátorként definiáljuk, amely a φ szerepét veszi át az egyenletben (2) és két egymást követő bemeneti állapot alapján megjósolja a következő lépést. As in Equation (3), we can apply GraphCast iteratively to produce a forecast Ez az 1b,c. ábrán látható.A korai kísérletekben megállapítottuk, hogy két bemeneti állapot jobb teljesítményt nyújtott, mint egy, és hogy három nem segített eléggé a megnövekedett memória lábnyom igazolásához. 4.2 Építészeti áttekintés A GraphCast alapvető architektúrája a GNN-eket egy „kód-folyamat-dekód” konfigurációban [6] használja, ahogy az az 1d,e,f. ábrán látható. A GNN-alapú tanult szimulátorok nagyon hatékonyak a folyadékok és más anyagok összetett fizikai dinamikájának tanulásában [43, 39], mivel képviseléseik és számításaik szerkezete analóg a megtanult véges elemek megoldóival [1]. A GNN-ek egyik legfontosabb előnye az, hogy a bemeneti grafikon szerkezete meghatározza, hogy a képviselet mely részei kölcsönhatásba lépnek egymással a megtanult üzenet átadásával, lehetővé téve a térbeli interakciók önkényes mintáit bármilyen tartományban. A GNN-nek az önkényes ritka kölcsönhatások modellezésére való képességét a GraphCast belső „multi-mesh” képviseletének bevezetésével használjuk fel, amely lehetővé teszi a hosszú távú kölcsönhatásokat néhány üzenetküldő lépésben, és általában homogén térbeli felbontással rendelkezik a világ minden tájáról. Ez ellentétben van egy szélesség-hosszúságú rácssal, amely a rácspontok egyenetlen eloszlását idézi elő. Our multi-mesh is constructed by first dividing a regular icosahedron (12 nodes and 20 faces) iteratively 6 times to obtain a hierarchy of icosahedral meshes with a total of 40,962 nodes and 81,920 faces on the highest resolution. We leveraged the fact that the coarse-mesh nodes are subsets of the fine-mesh nodes, which allowed us to superimpose edges from all levels of the mesh hierarchy onto the finest-resolution mesh. This procedure yields a multi-scale set of meshes, with coarse edges bridging long distances at multiple scales, and fine edges capturing local interactions. Figure 1g shows each individual refined mesh, and Figure 1e shows the full multi-mesh. A GraphCast kódolója (1. ábra) először az eredeti szélességi-hosszúsági rácsból származó bemeneti adatokat ábrázolja a multi-meshben megtanult funkciókba, a rácspontoktól a multi-meshig irányított élvonalú GNN-t használva. A processzor (1. ábra) ezután 16 réteg mély GNN-t használ a multi-meshben megtanult üzenet átvitelének elvégzésére, lehetővé téve az információk hatékony terjesztését a téren a hosszú hatótávolságú élvonal miatt. A dekódoló (1. ábra) ezután a végső multi-mesh reprezentációt a szélességi-hosszúsági rácsra térképezi vissza egy irányított élvonalú GNN-t használva, és ezt a r A kódoló és a dekódoló nem igényli, hogy a nyers adatokat egy rendes téglalapú rácsban rendezzék, és alkalmazható az önkényes rácsszerű állami diszkretizálásokra is [1].Az általános architektúra különböző GNN-alapú tanult szimulátorokra épül, amelyek sok komplex folyadékrendszerben és más fizikai területen sikeresek voltak [43, 39, 15]. Hasonló megközelítéseket alkalmaztak az időjárás-előrejelzésben [26], ígéretes eredményekkel. Egyetlen Cloud TPU v4 eszközön a GraphCast 0,25°-os felbontást, 10 napos előrejelzést (hat órás lépésekkel) 60 másodpercen belül képes előállítani. Összehasonlításképpen, az ECMWF IFS rendszere 11,664 magos klaszterre fut, és 0,1°-os felbontást, 10 napos előrejelzést (az első 90 óra 1-órás lépésein, a 93-144. óra 3-órás lépésein és a 150-240 óra 6-órás lépésein keresztül, körülbelül egy óra számítógépes idő alatt [41]. Lásd a HRES kiadásának részleteit itt: https://www.ecmwf.int/en/forecasts/ datasets/set-i. 3.3 GraphCast grafikonok A GraphCast a GNN-k használatával valósul meg egy „kódolási folyamat-dekódolási” konfigurációban, ahol a kódoló térképek (felület és légkör) a bemeneti szélességi-hosszúsági rácson egy multi-meshre jellemzők, a processzor sok körű üzenetátadást végez a multi-meshre, és a dekódoló a multi-mesh funkciókat térképezi vissza a kimeneti szélességi-hosszúsági rácsra (lásd 1. ábrát). The model operates on a graph G(VG, VM, EM, EG2M, EM2G), defined in detail in the subsequent paragraphs. VG képviseli az egyes rács csomópontjait tartalmazó készletet vG. Minden rács csomópontja egy adott szélességi-hosszúsági ponton a légkör függő szeletét képviseli, azaz az egyes rács csomópontjaihoz kapcsolódó jellemzők vG,funkciók = [xt−1, xt, ft−1, ft, ft+1, ci], ahol xt az időfüggő időállapot Xt, amely megfelel a rács csomópontjának vG-nek, és magában foglalja az összes előrejelzett adatváltozót mind a 37 légköri szinten, valamint a felszíni változókat. A kényszerítő kifejezések ft olyan időfüggő jellemzőkből állnak, amelyeket analitikusan lehet kiszámítani, és nem kell a GraphCast által megjósolni. Ezek közé Grid nodes VM represents the set containing each of the mesh nodes 𝑣M. Mesh nodes are placed uniformly around the globe in a R-refined icosahedral mesh 𝑀𝑅. 𝑀0 corresponds to a unit-radius icosahedron (12 nodes and 20 triangular faces) with faces parallel to the poles (see Figure 1g). The mesh is iteratively refined 𝑀𝑟 → 𝑀𝑟+1 by splitting each triangular face into 4 smaller faces, resulting in an extra node in the middle of each edge, and re-projecting the new nodes back onto the unit sphere.4 Features vM,features associated with each mesh node 𝑣M include the cosine of the latitude, and 𝑖 𝑖the sine and cosine of the longitude. GraphCast works with a mesh that has been refined 𝑅 = 6 times, 𝑀6, resulting in 40,962 mesh nodes (see Supplementary Table 4), each with the 3 input features. Mesh nodes EM kétirányú széleket adnak hozzá a hálózati csomópontok között, amelyek összekapcsolódnak a hálózatban. Alapvetően, a hálózati széleket hozzáadják az EM-hez minden finomítási szinten, azaz a legfinomabb hálózat, M6, valamint az M5, M4, M3, M2, M1 és M0. Ez egyszerűen azért, mert a finomítási folyamat működik: a Mr−1 csomópontjai mindig a csomópontok alcsoportja Mr. Ezért az alacsonyabb finomítási szinten bevezetett csomópontok a hosszabb tartományú kommunikáció csomópontjaként szolgálnak, függetlenül a maximális finomítási szinttől. A kapott grafikon, amely az összes finomítási szinttől származó közös széleket tartalmazza, az, amit Mesh edges Minden edge eM-hez, amely egy vM küldőhálós csomópontot csatlakoztat egy vM fogadóhálós csomóponthoz, a vM→vM edge funkciók eM-t építünk, amely a hálócsomópontok egységes szféráján található pozíciót használja. Ez magában foglalja a vM→vM s r szélességét, valamint a vektorkülönbséget a küldő csomópont és a fogadó csomópont 3d pozíciói között, amelyet a fogadó helyi koordinátarendszerében számítanak ki. A fogadó helyi koordinátarendszere egy olyan forgást alkalmazva számít, amely megváltoztatja az azimuth szöget, amíg a fogadó csomópont 0, majd egy forgást, amely megváltoztatja a poláris szöget Az EG2M egyirányú szélek, amelyek a küldőhálózati csomópontokat a vevőhálózati csomópontokhoz csatlakoztatják. Az eG2M vG→vM széle akkor kerül hozzáadásra, ha a hálózati csomópont és a hálózati csomópont közötti távolság kisebb, mint az s r vagy egyenlő 0,6 alkalommal5 az M6 (lásd 1. ábrát), amely biztosítja, hogy minden hálózati csomópont legalább egy hálózati csomóponthoz csatlakozik. Grid2Mesh edges EM2G egyirányú szélei, amelyek összekapcsolják a küldő hálózati csomópontokat a vevőhálózati csomópontokhoz. Minden hálózati ponthoz megtaláljuk a háromszög alakját a M6 hálózatban, amely azt tartalmazza, és hozzáadjuk az eM2G vM→vG formájának három Mesh2G Grid széleit, hogy összekapcsolják a hálózati csomópontot a három hálózati csomóponthoz, amelyek szomszédosak az adott archoz (lásd 1. ábrát). eM2G funkciók, a funkciók ugyanúgy épülnek fel, mint a hálózati vM→vG r széle. Ez összesen 3,114,720 Mesh2Grid széle (3 hálózati csomópont csatlakozik mindegyikhez a 7 Mesh2Grid edges 3.4 Kódolás A kódoló célja, hogy az adatokat a processzor számára rejtett reprezentációkká készítse, amelyek kizárólag a multi-mesh-en futnak. A kódoló részeként először az egyes rácscsomópontok, rácscsomópontok, rácscsomópontok, rácscsomópontok és rácscsomópontok jellemzőit rögzített méretű rejtett térbe építjük be öt többrétegű perceptronnal (MLP), Embedding the input features Ezután, annak érdekében, hogy a légkör állapotára vonatkozó információkat a hálózati csomópontokból a hálózati csomópontokba továbbítsuk, egyetlen üzenetet hajtunk végre a Grid2Mesh bipartit szubgraph GG2M (VG, VM, EG2M) felett, amely összeköti a hálózati csomópontokat a hálózati csomópontokkal. Grid2Mesh GNN Ezután az egyes hálócsomópontok frissülnek azáltal, hogy összegyűjtik az információkat az adott hálócsomóponthoz érkező összes élről: A hálózati csomópontok mindegyike szintén frissül, de aggregáció nélkül, mivel a hálózati csomópontok nem fogadják el a Grid2Mesh altérkép bármely szegélyét, A három elem frissítése után a modell tartalmaz egy maradék kapcsolatot, és az egyszerűség érdekében a változók újraelosztása, 5. A feldolgozó A processzor egy mély GNN, amely a Mesh GM (VM, EM) szubgrafon működik, amely csak a Mesh csomópontokat és a Mesh széleket tartalmazza. Megjegyzendő, hogy a Mesh széle a teljes multi-mesh-t tartalmazza, nemcsak az M6 széleivel, hanem az M5, M4, M3, M2, M1 és M0 összes széleivel, amelyek lehetővé teszik a távközlést. A Mesh GNN egyetlen rétege egy szabványos interakciós hálózat [5, 6], amely először a szomszédos csomópontok adatait használva frissíti az egyes háló szélét: Multi-mesh GNN Ezután frissíti az egyes hálócsomópontokat, összegyűjtve az információkat az adott hálócsomóponthoz érkező összes élről: És mindkettő frissítése után a reprezentációkat egy maradék kapcsolatgal frissítik, és az egyszerűség érdekében a jelölést a bemeneti változókra is átruházzák: Az előző bekezdés leírja az üzenet átadásának egyetlen rétegét, de hasonló megközelítést követve [43, 39], ezt a réteget iteratívan alkalmaztuk 16 alkalommal, az egyes rétegek MLP-jeinek oszthatatlan neurális hálózati súlyait használva. 3.6 Dekódoló The role of the decoder is to bring back information to the grid, and extract an output. A Grid2Mesh GNN-hez hasonlóan a Mesh2Grid GNN egyetlen üzenetet hajt végre a Mesh2Grid bipartit szubgraph GM2G (VG, VM, EM2G) felett. A Grid2Mesh GNN funkcionálisan egyenértékű a Mesh2Grid GNN-vel, de a Mesh2Grid széleket használja az információk ellentétes irányba történő továbbítására. Mesh2Grid GNN Then it updates each of the grid nodes, aggregating information from all of the edges arriving at that grid node: In this case we do not update the mesh nodes, as they won’t play any role from this point on. Itt ismét hozzáadunk egy maradék kapcsolatot, és a megjelölés egyszerűségéért a változók újraelosztása, ezúttal csak a rács csomópontokhoz, amelyek az egyetlenek, amelyek erre a pontra szükségesek: Végül az egyes hálózati csomópontok előrejelzését egy másik MLP segítségével állítják elő. Output function amely tartalmazza az adott hálózati csomópont összes 227 előrejelzett változóját. [43, 39]-hoz hasonlóan a következő időjárási állapotot, X ̈t + 1, az összes hálózati csomópont bemeneti állapotához a csomópontonkénti előrejelzés, Y ̈t hozzáadásával számítjuk ki, 3.7. Normalization and network parameterization A [43, 39]-hoz hasonlóan minden bemenetet normalizáltunk. minden egyes fizikai változó esetében a nyomásszint átlagát és a standard eltérést számítottuk ki az 1979–2015 közötti időszakban, és ezt használtuk, hogy normalizáljuk őket a nulla átlagra és az egységes eltérésre. A relatív szélességek és hosszúságok esetében a jellemzőket a leghosszabb szél hosszára normalizáltuk. Input normalization Mivel modellünk kimeneti a különbséget, a Yt-t, amely a következtetés során hozzáadódik az Xt-hez, hogy Xt+1-et hozzon létre, normalizáltuk a modell kimenetelét azáltal, hogy a nyomásszintű standard eltérés statisztikáit kiszámítottuk az egyes változók időkülönbségére Yt = Xt+1 − Xt6. Amikor a GNN kimenetet hoz létre, ezt a kimenetet megszorozzuk ezzel a standard eltéréssel, hogy Yt-t kapjunk, mielőtt kiszámítanánk az Xt+1-et, mint az egyenletben (18). Output normalization A GraphCast-on belüli ideghálózatok mind MLP-k, egy rejtett réteggel, és 512 rejtett és kimeneti réteg méretűek (kivéve a Decoder MLP végső rétegét, amelynek kimeneti mérete 227, ami megfelel az egyes rácscsomópontok előrejelzett változóinak számának). Az összes MLP-re a „swish” [40] aktiválási funkciót választottuk. Neural network parameterizations 4. A képzés részletei This section provides details pertaining to the training of GraphCast, including the data split used to develop the model (Section 4.1), the full definition of the objective function with the weight associated with each variable and vertical level (Section 4.2), the autoregressive training approach (Section 4.3), optimization settings (Section 4.4), curriculum training used to reduce training cost (Section 4.5), technical details used to reduce the memory footprint of GraphCast (Section 4.6), training time (Section 4.7) and the software stacked we used (Section 4.8). 4.1 Megosztott képzés Annak érdekében, hogy utánozzuk a valós telepítési feltételeket, amelyekben az előrejelzés nem függhet a jövőbeli információktól, megosztottuk a GraphCast fejlesztéséhez használt adatokat és a teljesítményének „okozatos” tesztelésére használt adatokat, mivel a „fejlesztési készlet” csak a „tesztkészletben” szereplőnél korábbi dátumokat tartalmazott. Fejlesztési készletünkben tovább osztottuk fel az adatokat egy képzési készletre, amely magában foglalja az 1979–2015-es éveket, és egy érvényesítési készletre, amely magában foglalja a 2016–2017-es éveket. A képzési készletet modelljeink képzési adataiként és a hiperparaméter optimalizálásra és modellválasztásra szolgáló érvényesítési készletként használtuk fel, azaz a legjobban teljesítő modellarchitektúrát döntöttük el. Ezután befagyasztottuk a modellarchitektúrát és az összes képzési lehetőséget, és áttértünk a tesztfázisba. 4.2. Training objective A GraphCast-ot arra képezték, hogy minimalizálja az objektív funkciót a 12 lépéses (3 napos) előrejelzések során az ERA5 célokhoz képest, a gradiens lejtő használatával. Ahol τ ∈ 1 : A Ttrain a Ttrain autoregresszív lépéseinek megfelelő lead idők. d0 ∈ A Dbatch a képzési készletben lévő előrejelzések egy tételének előrejelzés-időpontját jelöli, j ∈ J indexeli a változót, és a légköri változók esetében a nyomásszintet. pl J ={z1000, z850, . . . , 2 T, MsL}, i ∈ G0.25◦ a hely (szélesség és hosszúság) koordinátái a rácsban, 𝑥ˆ𝑑0+𝜏 and 𝑥𝑑0+𝜏 are predicted and target values for some variable-level, location, and lead time,𝑗,𝑖 𝑗,𝑖 s j az időkülönbségek per-változóképesség-szintű fordított változása, wj = a változó szintű veszteség súlya, ai a szélességi-hosszúságú rács cellájának területe, amely a szélességi függvényében változik, és a rács feletti egység átlagára normalizálódik. In order to build a single scalar loss, we took the average across latitude-longitude, pressure levels, variables, lead times, and batch size. We averaged across latitude-longitude axes, with a weight proportional to the latitude-longitude cell size (normalized to mean 1). We applied uniform averages across time and batch. A mennyiségek s = V hxt+1 − xt i −1 az időkülönbségek változó szintű fordított eltérési becslései, amelyek célja a célok (az egymást követő lépésekkel) egységkülönbségre történő szabványosítása. Ezeket a képzési adatokból becsülték. Ezután alkalmaztuk a változó szintű veszteség súlyokat, azaz a légköri változók esetében a szintek között átlagosítottunk, a szintekhez viszonyítva a nyomás arányos súlyával (normalizálva egységenként), amint azt a 6a. ábra mutatja. Itt a sűrűségért felelős proxy nyomást használjuk [26]. Vegye figyelembe, hogy a nyomásszintre alkalmazott veszteség súlya 50 hPa alatt vagy annál alacsonyabb 4.3 Képzés az autoregresszív céllal kapcsolatban Annak érdekében, hogy modellünk képes legyen pontos előrejelzéseket készíteni egynél több lépésben, egy önregresszív képzési rendszert használtunk, ahol a modell következő előrejelzett lépését a következő lépés előrejelzésére szolgáló inputként adták vissza.A végső GraphCast verziót 12 önregresszív lépésre képezték, az alábbiakban ismertetett tanterv-képzési ütemtervet követve. 4.4 Optimalizálás A képzési objektív funkciót minimalizálták a gradiens lejtéssel, mini-csomagokkal. Az ERA5 képzési adatkészletünkből a helyettesítéssel mintavételt végeztünk a 32-es méretű tételekhez. Az AdamW optimalizálót [33, 27] paraméterekkel (beta1 = 0,9, beta2 = 0,95) használtuk. a tömegmátrixokon 0,1 tömegveszteséget használtunk. a gradiens (norm) vágást 32 maximális normálértékkel használtuk. 5. A képzés menetrendje Az első fázis 1000 gradiens lefelé frissítésből állt, egy autoregresszív lépéssel, és egy lineárisan 0-ról 1e−3-re emelkedő tanulási ütemtervből (7. ábra). A második fázis 299 000 gradiens lefelé frissítésből állt, ismét egy autoregresszív lépéssel, és egy tanulási ütemtervből, amely 0-ra csökkent a fél-cosine lefelé lebomlási funkcióval (7. b ábra). A harmadik fázis 11 000 gradiens lefelé frissítésből állt, ahol az autoregresszív lépések száma 2-12-ről 1 ezer frissítésre emelkedett, és rögzített tanulási sebességgel 3e−7 (7. c ábra). 4.6 A memória lábnyomának csökkentése Ahhoz, hogy hosszú pályákat (12 autoregresszív lépést) illeszthessünk egy Cloud TPU v4 készülék 32 GB-jába, több stratégiát használunk modellünk memóriakártyájának csökkentésére. Először is a tételes párhuzamosságot használjuk az adatok 32 TPU készülékre (azaz egy adatpontra) történő elosztására. Másodszor, a bfloat16 lebegőpont pontosságát használjuk az aktiválásokból származó memória mennyiségének csökkentésére (megjegyzendő, hogy teljes pontosságú számokat (azaz float32-et) használunk a teljesítménymérések kiszámításához az értékelés idején). Végül pedig a gradiens ellenőrzőpontosítást [11] használjuk a memóriakártyánk további csökkentésére az alacsonyabb képzési sebesség költsége 4.7 Képzési idő Following the training schedule that ramps up the number of autoregressive steps, as detailed above, training GraphCast took about four weeks on 32 TPU devices. 4.8 Szoftver és hardver stack We use JAX [9], Haiku [23], Jraph [17], Optax, Jaxline [4] and xarray [25] to build and train our models. 5. Ellenőrzési módszerek Ez a szakasz részletesen ismerteti az értékelési protokollunkat. az 5.1 szakasz részletezi az adatok ok-okozati megosztásának megközelítését, biztosítva az értékelési teszteket értelmes általánosításra, azaz anélkül, hogy kihasználnánk a jövőbeli információkat. az 5.2 szakasz részletesebben elmagyarázza a HRES készségek értékelésére és a GraphCast-hoz való összehasonlítására vonatkozó választásainkat, kezdve a HRES-specifikus alapvető igazság szükségességétől, hogy elkerüljük a rövid lead-időben való büntetést (az 5.2.1. szakasz), az ERA5 és a HRES hatását a különböző asszimilációs ablakokon, amelyeket minden állam magában foglal (az 5.2.2. szakasz), az ebből eredő kezdeti 5.1. Training, validation, and test splits A tesztelési fázisban a fejlesztési fázis végén fagyasztott protokollt használva (4.1. szakasz) a GraphCast négy változatát képeztük, amelyek mindegyike eltérő időszakra vonatkozott. 2018–2021, 2019–2021, 2020–2021 és 2021 között. Ismét ezek a szétválasztások ok-okozati szétválasztást tartottak fenn a modell verziójának képzésére használt adatok és a teljesítményének értékelésére használt adatok között (lásd a 8. ábrát). Az eredmények többségét 2018-ban értékeltük (azaz az 1979–2017-ben képzett modellkel), több kivétellel. A ciklon-követési kísérletek esetében 2018–2021-ben jelentjük az eredményeket, mert a ciklonok nem olyan gyakoriak, így több év is növeli a minta méretét. A GraphCast legújabb verzióját használjuk egy adott évre vonatkozó előrejelzéshez: GraphCast <2018 a 2018-as előrejelzéshez, GraphCast <2019 a 2019-es előrejelzés 5.2 A GraphCast és a HRES összehasonlítása 5.2.1. Choice of ground truth datasets A GraphCast-ot arra képezték, hogy előre jelezze az ERA5 adatokat, és az ERA5 adatokat bemenetként vegye; a modell értékeléséhez az ERA5 alapvető igazságot is használjuk. A HRES-előrejelzéseket azonban a HRES-elemzés alapján kezdeményezzük. Általánosságban elmondható, hogy a modell saját elemzésével szembeni ellenőrzése a legjobb készségbecsléseket adja [45]. Tehát ahelyett, hogy a HRES-előrejelzéseket az ERA5 alapvető igazságával értékelnénk, ami azt jelentené, hogy még a HRES-előrejelzések zéró lépése sem lenne hibás, egy „HRES-előrejelzés 0 lépésben” (HRES-fc0) adatkészletet építettünk fel, amely 5.2.2 Egyenlő nézőpont biztosítása az asszimilációs ablakokban Amikor összehasonlítottuk a GraphCast és a HRES képességeit, több döntést hoztunk, hogy ellenőrizzük az ERA5 és a HRES-fc0 adatasszimilációs ablakok közötti különbségeket. Az 1. szakaszban leírtak szerint a HRES minden nap négy +/-3h ablakot használ, amelyek középpontjában 00z, 06z, 12z és 18z áll (ahol 18z a Zulu konvencióban 18:00 UTC), míg az ERA5 két +9h/-3h ablakot használ, amelyek középpontjában 00z és 12z állnak, vagy egyenértékűen két +3h/-9h ablakot, amelyek középpontjában 06z és 18z áll. Lásd a 9. ábrát egy illusztrációért. A GraphCast előrejelzéseit a 06z Figure 10 show the performance of GraphCast initialized from 06z/18z, and 00z/12z. When initialized from a state with a larger lookahead, GraphCast gets a visible improvement that persists at longer lead times, supporting our choice to initialized evaluation from 06z/18z. We applied the same logic when choosing the target on which to evaluate: we only evaluate targets which incorporate a 3h lookahead for both HRES and ERA5. Given our choice of initialization at 06z and 18z, this corresponds to evaluating every 12h, on future 06z and 18z analysis times. As a practical example, if we were to evaluate GraphCast and HRES initialized at 06z, at lead time 6h (i.e., 12z), the target for GraphCast would integrate a +9h lookahead, while the target for HRES would only incorporate +3h lookahead. At equal lead time, this could result in a harder task for GraphCast. 5.2.3 Az initializáció és az érvényességi idők összehangolása As stated above, a fair comparison with HRES requires us to evaluate GraphCast using 06z and 18z initializations, and with lead times which are multiples of 12h, meaning validity times are also 06z and 18z. A legfeljebb 3,75 napos lead-időre archivált HRES-előrejelzések állnak rendelkezésre a 06z és a 18z-es inicializációs és érvényességi idők használatával, és ezeket használjuk egy hasonló összehasonlítás elvégzésére a GraphCast-szel ezekben a lead-időkben. A 4 napos vagy annál hosszabb lead-idő esetén az archivált HRES-előrejelzések csak 00z és 12z inicializációkban érhetők el, ami a 12 órás többszörös lead-időnknek köszönhetően 00z és 12z érvényességi időt jelent. A globálisan meghatározott RMSE-k összehasonlításaiban a nappali időkülönbség kis előnyt ad a HRES-nek. A 11. ábrán láthatjuk, hogy 3,5 napos lead-időig a HRES RMSE-k átlagosan kisebbek a 00z és a 12z initializációs / érvényességi idők felett, mint azok a 06z és 18z idők, amelyeken a GraphCast-t értékelik. Azt is láthatjuk, hogy a különbség csökken a lead-idő növekedésével, és hogy a 06z/18z RMSE-k általában úgy tűnik, hogy a 00z/12z RMSE feletti aszimptota felé hajlamosak, de 2% -on belül. Minden alkalommal, amikor az RMSE-t és más értékelési mutatókat a lead-idő függvényeként ábrázoljuk, egy pontos vonallal jelezzük a 3.5 napos átváltási pontot, ahol a HRES 06z/18z-on történő értékelésétől a 00z/12z-en történő értékelésig váltunk át. 5.2.4. Evaluation period Fő eredményeink többségét a 2018-as évre (tesztkészletünkből) jelentjük, amelyre az első előrejelzés-kezdeményezési idő 2018-01-01_06:00:00 UTC volt, és az utolsó 2018-12-31_18:00:00, vagy a HRES hosszabb vezetési idejű értékelésekor 2018-01-01_00:00:00 és 2018-12-31_12:00:00. 5.3 Értékelési metrikák A GraphCast, más ML modellek és a HRES szakértelmét a gyökérváltás (RMSE) és az anomália-korrelációs együttható (ACC) segítségével számoljuk ki, amelyeket mindkettő a modellek megfelelő földi igazság adataival összehasonlítva számít. Az RMSE egy adott változó j és egy adott vezetési idő τ által indexált előrejelzései és földi igazságai közötti különbségek nagyságát méri (lásd az egyenletet (20)). Az ACC, Lj,τ , az egyenletben van meghatározva (29) és azt méri, hogy az előrejelzések mennyire különböznek a klímától, azaz a hely és a dátum átlagos időjárása összefügg a földi igazságoktól az klímától. A készségértékekhez az A és a B alapmod Az összes mutatót float32 pontossággal számították ki, és a változók natív dinamikus tartományát használták normalizálás nélkül. Az adott változó, x j, és a lead idő, τ = tΔd előrejelzési képességét a szélességi súlyozott gyökérváltás (RMSE) alapján számolták ki. Root mean square error (RMSE) Ahol • d0 ∈ A Deval az előrejelzés kezdeti dátum-időit jelöli az értékelési adatkészletben, • j ∈ J index változók és szintek, pl. J = {z1000, z850, . . . , 2 T, MsL}, • i ∈ G0.25◦ a hely (szélesség és hosszúság) koordinátái a rácsban, • 𝑥ˆ𝑑0+𝜏 and 𝑥𝑑0+𝜏 are predicted and target values for some variable-level, location, and lead time, J, I J, I • ai a szélességi-hosszúságú rács cellájának területe (normalizálva a rács feletti egység átlagára), amely a szélességgel változik. Azáltal, hogy a négyzetgyökeret az átlagon belül veszi át az előrejelzés-kezdeményezéseknél, követjük a WeatherBench konvencióját [41]. Megjegyezzük azonban, hogy ez eltér az RMSE meghatározásától sok más kontextusban, ahol a négyzetgyökeret csak a végső átlagra alkalmazzák, azaz In all comparisons involving predictions that are filtered, truncated or decomposed in the spherical harmonic domain, for convenience we compute RMSEs directly in the spherical harmonic domain, with all means taken inside the square root, Root mean square error (RMSE), spherical harmonic domain. Itt fd0+τ és f d0+τ előrejelzik és célkoefficiensek a gömb harmóniák teljes hullámszám j,l,m j,l,m Ezeket az együtthatókat a rács alapú adatokból egy diszkrét gömbharmonikus átalakulás [13] használatával számoljuk ki hármas truncációval a hullámszámon 719-ben, amelyet az egyenlítőn lévő rácsunk 0,25° (28km) felbontásának megoldására választottak ki. Ez az RMSE szorosan megközelíti az RMSE egyenletben (21) adott rácsalapú meghatározását, de nem pontosan összehasonlítható, részben azért, mert a 719-es hullámszámú háromszög nem oldja meg a pólusok közelében lévő egyenlítői rács további felbontását. Ezt az RMSE egyenlet meghatározása szerint számítjuk ki (21), de egyetlen helyre: Root mean square error (RMSE), per location. Az RMSE-t csak szélesség szerint osztjuk fel: where |lon(𝐺0.25◦ ) | = 1440 is the number of distinct longitudes in our regular 0.25° grid. Ezt az RMSE egyenlet (21) meghatározása alapján számítják ki, de a felszíni magasságok egy bizonyos tartományára korlátozódnak, amelyet a felszíni geopotenciálnál a zl ≤ zsurface < zu határok adnak meg: Root mean square error (RMSE), by surface elevation. ahol ll jelöli az indikátor funkciót. This quantity is defined as Mean bias error (MBE), per location. This quantifies the average magni-tude of the per-location biases from Equation (26) and is given by Root-mean-square per-location mean bias error (RMS-MBE). Ez számszerűsíti a két különböző A és B modell per-lokációs előítéletének (egyenlet (26)) közötti korrelációt. a zéró eredet jelentőségének köszönhetően nem központosított korrelációs együtthatót használunk a előítéletek mérése során, és ezt a mennyiséget a Correlation of per-location mean bias errors. Anomaly correlation coefficient (ACC). We also computed the anomaly correlation coefficient for a given variable, 𝑥 𝑗, and lead time, 𝜏 = 𝑡Δ𝑑, according to ahol Cd0+τ egy adott változó, szint, szélesség és hosszúság éghajlati átlagát jelenti, valamint a d0 + τ érvényességi időt tartalmazó évfordulót. 4. Statisztikai módszertan 5.4.1 Az eszközök közötti különbség jelentőségének vizsgálata Minden egyes lead-idő τ és változó-szint j esetében teszteljük a per-initialization-time RMSEs (az egyenletben (30) meghatározott) közötti átlagkülönbségeket a GraphCast és a HRES számára. Egy párosított kétoldalas t-tesztet használunk az auto-korreláció korrekciójával, a [16] módszertan szerint. Ez a teszt feltételezi, hogy az előrejelzési pontszámok közötti különbségek idősorozata megfelelően modellezve van a Gaussian AR(2) folyamatokhoz. Vizsgálataink névleges mintavételi mérete n = 730 a 4 nap alatti lead-időben, amely a 2018-as 365 nap alatt naponta két előrejelzés-kezdeményezésből áll (a 4 napot meghaladó lead-idő esetén n = 729, lásd 5.4.2. szakaszt). mindazonáltal ezek az adatok (az előrejelzett RMSE-k közötti különbségek) időben automatikusan korrelálnak. [16] után az inflációs tényezőt k-t becsüljük meg a standard hiba esetében, amely erre a célra helyes. k-értékek az 1.21 és a 6.75 közötti tartományban, a legmagasabb értékek általában rövid lead-időben és a legalacsonyabb nyomásszinteknél láthatók. Lásd az 5. táblázatot a jelentőségvizsgálatok részletes eredményeihez, beleértve a p-értékeket, a t-vizsgálati statisztika értékeit és a neff értékeit. 4.2 Az előrejelzések összehangolása A τ kevesebb, mint 4 napos lead idő esetén minden nap rendelkezésünkre állnak az előrejelzések a 06z és a 18z inicializációs és érvényességi időkben mind a GraphCast, mind a HRES esetében, és tesztelhetjük az RMSE-k közötti különbségeket a párosított előrejelzések között. Számítjuk a különbségeket amelyet arra használunk, hogy teszteljük a null hipotézist, miszerint E[diff-RMSE( j, τ, d0)] = 0 a kétoldalas alterna-tive ellen. Ahogyan az 5.2.3. szakaszban megvitattuk, 4 napos vagy annál hosszabb lead időkönként csak a 00z és a 12z kezdeti és érvényességi időkön elérhető HRES-előrejelzések állnak rendelkezésre, míg a legtisztességesebb összehasonlításhoz (5.2.2. szakasz) a GraphCast-előrejelzéseket 06z és 18z kezdeti és érvényességi időkön keresztül kell értékelni. Ezeket használhatjuk a null hipotézis E[diff-RMSEinterp( j, τ, d0)] = 0 tesztelésére, amely ismét nem függ a d0-tól a különbségek állandóságának feltételezésével. Ha továbbra is feltételezzük, hogy a HRES RMSE idősorozat maga állandó (vagy legalább elég közel áll a 6 órás ablakban lévő állandóhoz), akkor E[diff-RMSEinterp( j, τ, d0)] = E[diff-RMSE( j, τ, d0)] és az interpolált különbségek is felhasználhatók az eredeti nullhipotézis eltéréseinek tesztelésére, hogy E[diff-RMSE( j, τ, d0)] = 0. A HRES RMSE-k erősebb stagnálási feltételezését megsérti a nappali periódusosság, és az 5.2.3. szakaszban a HRES RMSE-k között a 00z/12z és a 06z/18z érvényességi idők közötti néhány szisztematikus különbséget látunk. mindazonáltal, amint azt ott megvitattuk, ezek a szisztematikus különbségek jelentősen csökkennek a lead idő növekedésével, és hajlamosak a HRES-t előnyben részesíteni, ezért úgy véljük, hogy az E[diff-RMSE( j, τ, d0)] = 0 teszt diff-RMSEinterp alapján konzervatív lesz azokban az esetekben, amikor a GraphCast úgy tűnik, hogy nagyobb készséggel rendelkezik, mint a HRES. 5.4.3 Bizalmi intervallumok az RMSE-k esetében Az RMSE készségterületünkben található hiba sávok az E[RMSEGC] és az E[RMSEHRES] különálló bizalmi intervallumainak felelnek meg (a j, τ, d0 argumentumok elidegenítése vagy jelenléte). Ezek a fentiekben leírt kétoldalas t-tesztből származnak az önkorrelációs korrekcióval, amelyet külön-külön alkalmaznak a GraphCast és a HRES RMSE idősorozatokra. These confidence intervals make a stationarity assumption for the separate GraphCast and HRES RMSE time series, which as stated above is a stronger assumption that stationarity of the differences and is violated somewhat. Thus these single-sample confidence intervals should be treated as approximate; we do not rely on them in our significance statements. 5.4.4 Az RMSE készségpontszámok bizalmi intervalluma From the 𝑡-test described in Section 5.4.1 we can also derive in the standard way confidence intervals for the true difference in RMSEs, however in our skill score plots we would like to show confidence intervals for the true RMSE skill score, in which the true difference is normalized by the true RMSE of HRES: A confidence interval for this quantity should take into account the uncertainty of our estimate of the true HRES RMSE. Let [𝑙diff, 𝑢diff] be our 1 − 𝛼/2 confidence interval for the numerator (difference in RMSEs), and [𝑙HRES, 𝑢HRES] our 1 − 𝛼/2 confidence interval for the denominator (HRES RMSE). Given that 0 < 𝑙𝐻𝑅𝐸𝑆 in every case for us, using interval arithmetic and the union bound we obtain a conservative 1 − 𝛼 confidence interval for RMSE-SStrue. We plot these confidence intervals alongside our estimates of the RMSE skill score, however note that we don’t rely on them for significance testing. 6. Összehasonlítás a korábbi gépi tanulási alapvonalakkal Annak megállapításához, hogy a GraphCast teljesítménye hogyan hasonlít más ML módszerekkel, a Pangu-Weather [7]-re összpontosítunk, egy erős MLWP alapvonalra, amely 0,25°-os felbontásban működik. A legközvetlenebb összehasonlítás érdekében elhagyjuk az értékelési protokollt, és a [7]-ban leírtakat használjuk. Mivel a közzétett Pangu-Weather eredményeket a 00z/12z inicializációkból kapjuk, ugyanolyan inicializációkat használunk a GraphCast számára, nem pedig a 06z/18z helyett, mint a papír többi részében. Ez lehetővé teszi mindkét modellt, hogy ugyanazon bemenetekre kezdjünk, amelyek ugyanolyan mennyiségű lookaheadot tartalmaznak (+9 óra, lásd As shown in Figure 12, GraphCast (blue lines) outperforms Pangu-Weather [7] (red lines) on 99.2% of targets. For the surface variables (2 T, 10 U, 10 v, MsL), GraphCast’s error in the first several days is around 10-20% lower, and over the longer lead times plateaus to around 7-10% lower error. The only two (of the 252 total) metrics on which Pangu-Weather outperformed GraphCast was z500, at lead times 6 and 12 hours, where GraphCast had 1.7% higher average RMSE (Figure 12a,e). 7. További előrejelzési ellenőrzési eredmények This section provides additional analysis of GraphCast’s performance, giving a fuller picture of its strengths and limitations. Section 7.1 complements the main results of the paper on additional variables and levels beyond z500. Section 7.2 further analyses GraphCast performance broken down by regions, latitude and pressure levels (in particular distinguishing the performance below and above the tropopause), illustrates the biases and the RMSE by latitude longitude and elevation. Section 7.3 demonstrates that both the multi-mesh and the autoregressive loss play an important role in the performance of GraphCast. Section 7.4 details the approach of optimal blurring applied to HRES and GraphCast, to ensure that GraphCast improved performance is not only due to its ability to blur its predictions. It also shows the connection between the number of autoregressive steps in the loss and blurring, demonstrating that autoregressive training does more than just optimally blur predictions. Finally, Section 7.5 shows various spectral analyses, demonstrating that in most cases GraphCast has improved performance over HRES across all horizontal length scales and resolutions. We also discuss the impact of differences in spectra between ERA5 and HRES. Together, those results show an extensive evaluation of GraphCast and a rigorous comparison to HRES. 7.1 További változók részletes eredményei 7.1.1 Az RMSE és az ACC A 13. ábra kiegészíti a 2a–b ábrát, és az RMSE és a normalizált RMSE különbséget mutatja a GraphCast és a HRES HRES-hez képest 12 kiemelkedő változó kombinációján. a 14. ábrán az ACC és a normalizált ACC különbség a GraphCast és a HRES HRES-hez képest ugyanazon a 12 változó kombinációján, és kiegészíti a 2c ábrát. 7.1.2. Részletes jelentőségvizsgálati eredmények az RMSE összehasonlításokhoz Az 5. táblázat további információkat nyújt a statisztikai jelentőségre vonatkozó állításokról a GraphCast és a HRES közötti RMSE-különbségekről szóló fő szakaszban. A módszertan részletei az 5.4. szakaszban találhatók. Itt p-értékeket, tesztstatisztikákat és hatékony mintavételi méreteket adunk az összes változónak. térbeli okokból három kulcsfontosságú lead időre (12 óra, 2 nap és 10 nap) korlátozzuk magunkat, és egy 7 nyomásszint alcsoportot választunk, amely tartalmazza az összes esetet, ahol p > 0,05 ezekben a lead időkben. 7.1.3 Az adatok aktualitásának hatása a GraphCast-ra An important feature of MLWP methods is they can be retrained periodically with the most recent data. This, in principle, allows them to model recent weather patterns that change over time, such as the ENSO cycle and other oscillations, as well as the effects of climate change. To explore how the recency of the training data influences GraphCast’s test performance, we trained four variants of GraphCast, with training data that always began in 1979, but ended in 2017, 2018, 2019, and 2020, respectively (we label the variant ending in 2017 as “GraphCast:<2018”, etc). We evaluated the variants, and HRES, on 2021 test data. A 15. ábra a GraphCast négy változatának készség- és készségpontjait mutatja (a HRES-hez képest), több változót és kiegészíti a 4. ábrát. Van egy általános tendencia, ahol a tesztévhez közelebb képzett változatok általában javították a HRES-hez képest. Ennek a fejlesztésnek az oka nem teljesen érthető, bár azt feltételezzük, hogy analóg a hosszú távú előítéletek korrekciójával, ahol a legutóbbi időjárási statisztikai előítéleteket kihasználják a pontosság javítása érdekében. Fontos megjegyezni azt is, hogy a HRES nem egy NWP az évek során: évente egyszer vagy kétszer frissül, és általában növekszik a z500 és más területeken [18, 22, 19, 20, 21]. Ez hozzájárulhat ahhoz is, hogy a GraphCast:<2018 és a GraphCast:<2019, különösen a HRES-hez képest alacsonyabb képzettségi pontszámot érjen el a 2021-es tesztértékelés korai szakaszában. Megjegyezzük, hogy más változók esetében a GraphCast:<2018 és a GraphCast:<2019 továbbra is a HRES-t felülmúlja. 7.2. Disaggregated results 7.2.1. RMSE by region Az előrejelzési készségek régiónkénti értékelése a 17. és 18. ábrán található, ugyanazokat a régiókat és megnevezési konvenciókat használva, mint az ECMWF eredménytáblákban (https://sites.ecmwf.int/ifs/scorecards/ scorecards-47r3HRES.html). Hozzáadtunk néhány további régiót az egész bolygó jobb lefedettségéhez. 7.2.2. RMSE skill score by latitude and pressure level A 19. ábrán a GraphCast és a HRES közötti normalizált RMSE-különbségeket ábrázoljuk mind a nyomásszint, mind a szélesség függvényeként. Csak a WeatherBench [41] 13 nyomásszintjét ábrázoljuk, amelyeken a HRES-t értékeljük. On these plots, we indicate at each latitude the mean pressure of the tropopause, which separates the troposphere from the stratosphere. We use values computed for the ERA-15 dataset (1979-1993), given in Figure 1 of [44]. These will not be quite the same as for ERA5 but are intended only as a rough aid to interpretation. We can see from the scorecard in Figure 2 that GraphCast performs worse than HRES at the lowest pressure levels evaluated (50hPa). Figure 19 shows that the pressure level at which GraphCast starts to get worse is often latitude-dependent too, in some cases roughly following the mean level of the tropopause. Az alacsonyabb nyomásszintekhez alacsonyabb veszteség súlyozását használjuk, és ez szerepet játszhat; lehetséges, hogy az ERA5 és a HRES-fc0 adatkészletek között különbségek lehetnek a stratoszférában lévő változók kiszámíthatóságában. 7.2.3. Biases by latitude and longitude A 20–22. ábrán a GraphCast által a szélesség és a hosszúság függvényeként meghatározott átlagos előítélethiba (MBE, vagy egyszerűen „előítélet”, az egyenletben (26) meghatározva) három vezetési időben van megfogalmazva: 12 óra, 2 nap és 10 nap. A nyomásszintekre vonatkozó változók térképeiben olyan területeket rejtettünk el, amelyek felszíni magassága elég magas ahhoz, hogy a nyomásszintek átlagosan a föld alatt legyenek. Ezt úgy határozzuk meg, hogy ez az, amikor a felszíni geopotenciál meghaladja az éghajlati átlagot ugyanazon a helyen és nyomásszinten. A 20–22. ábrán látható helyenkénti előítéletek átlagos nagyságának számszerűsítéséhez kiszámítottuk a helyenkénti átlagos előítélet hibák (RMS-MBE, meghatározva az egyenletben (26)). Ezeket a 23. ábrán a GraphCast és a HRES számára a lead idő függvényeként vázolják fel. láthatjuk, hogy a GraphCast előítéletek átlagosan 6 napig kisebbek, mint a legtöbb változó esetében. A GraphCast és a HRES helyenkénti átlagos előítélet-hiba közötti korrelációs együtthatót is kiszámítottuk (amelyet az egyenletben (27) határoztunk meg), amelyet a lead-idő függvényeként vázolunk fel a 24. ábrán. láthatjuk, hogy a GraphCast és a HRES előítéletek nem korreláltak vagy gyengén korreláltak a legrövidebb lead-időben, de a korrelációs együttható általában növekszik a lead-idővel, 10 nap alatt elérve a 0,6 értékeket. 7.2.4. RMSE skill score by latitude and longitude A 25–27. ábrán a GraphCast és a HRES közötti, szélességi és hosszúság szerinti normalizált RMSE-különbséget ábrázoljuk. Mint a 7.2.3. szakaszban, a nyomásszintekre adott változók esetében, olyan régiókat rejtettünk el, amelyek felszíni magassága elég magas ahhoz, hogy a nyomásszintek átlagosan a föld alatt legyenek. Figyelemre méltó területek, ahol a HRES meghaladja a GraphCast teljesítményét, közé tartozik a pólusok (különösen a déli pólus) közelében lévő specifikus páratartalom; geopotenciális a pólusok közelében; 2 m-es hőmérséklet a pólusok közelében és számos szárazföldi területen; és számos felszíni vagy közelfelszíni változó a magas felszíni magasságú régiókban (lásd még a 7.2.5 szakaszt). 12 órás és 2 napos lead időkben mind a GraphCast, mind a HRES a 06z/18z kezdeti és érvényességi időkben kerül értékelésre, de a 10 napos lead időkben össze kell hasonlítanunk a GraphCast-t a 06z/18z-on a HRES-vel a 00z/12z-en (lásd 5. szakaszt). 7.2.5. RMSE készség pontszám a felszíni magasság szerint In Figure 25, we can see that GraphCast appears to have reduced skill in high-elevation regions for many variables at 12 hour lead time. To investigate this further we divided the earth surface into 32 bins by surface elevation (given in terms of geopotential height) and computed RMSEs within each bin according to Equation (24). These are plotted in Figure 28. At short lead times and especially at 6 hours, GraphCast’s skill relative to HRES tends to decrease with higher surface elevation, in most cases dropping below the skill of HRES at sufficiently high elevations. At longer lead times of 5 to 10 days this effect is less noticeable, however. Megjegyezzük, hogy a GraphCast-ot a nyomásszintű koordináták (atmoszférikus változók esetében) és a felületi koordináták magasságának (például 2m hőmérséklet vagy 10m szél) keverékével definiált változókra tanítják. A két koordinátarendszer közötti kapcsolat a felületi magasságtól függ. A felületi magasságra vonatkozó GraphCast-kondicionálás ellenére azt feltételezzük, hogy nehéz megtanulni ezt a kapcsolatot, és jól extrapolálni a legmagasabb felületi magasságokhoz. A további munkák során azt javasolnánk, hogy próbálja meg a modellt az ERA5 natív modellszintjeinek alcsoportján képezni a nyomásszint helyett; ezek egy hibrid koordinátarendszert [14] használnak, amely a A nyomásszintű koordinátákat használó változók a föld alatt interpolálódnak, amikor a nyomásszint meghaladja a felületi nyomást. A GraphCast nem ad kifejezett jelzést arra vonatkozóan, hogy ez megtörtént, és ez hozzájárulhat a magas felszíni magasságban történő előrejelzés megtanulásának kihívásához. Végül, a veszteség súlyozása alacsonyabb a légköri változók alacsonyabb nyomásszintjén, és ez befolyásolhatja a magasabb magasságú helyeken a készségeket. 7.3 GraphCast ablációk 7.3.1 Multi-mesh abláció To better understand how the multi-mesh representation affects the performance of GraphCast, we compare GraphCast performance to a version of the model trained without the multi-mesh representation. The architecture of the latter model is identical to GraphCast (including same encoder and decoder, and the same number of nodes), except that in the process block, the graph only contains the edges from the finest icosahedron mesh 𝑀6 (245,760 edges, instead of 327,660 for GraphCast). As a result, the ablated model can only propagate information with short-range edges, while GraphCast contains additional long-range edges. A 29. ábra (bal oldali panel) a GraphCast és az ablated modell összehasonlításának eredménytábláját mutatja.A GraphCast minden előrejelzett változó esetében előnyös a multi-mesh szerkezetétől, kivéve az 5 napot meghaladó lead időt 50 hPa-on.A javulás különösen a geopotenciális minden nyomásszinten és az átlagos tengerszintű nyomás 5 nap alatti lead idő alatt.A középső panel azt mutatja, hogy a scorecard összehasonlítja az ablated modellt a HRES-ekkel, míg a jobb oldali panel összehasonlítja a GraphCast-t a HRES-ekkel, bizonyítva, hogy a multi-mesh elengedhetetlen ahhoz, hogy a GraphCast a geopotenciális 7.3.2. Effect of autoregressive training We analyzed the performance of variants of GraphCast that were trained with fewer autoregressive (AR) steps7, which should encourage them to improve their short lead time performance at the expense of longer lead time performance. As shown in Figure 30 (with the lighter blue lines corresponding to training with fewer AR steps) we found that models trained with fewer AR steps tended to trade longer for shorter lead time accuracy. These results suggest potential for combining multiple models with varying numbers of AR steps, e.g., for short, medium and long lead times, to capitalize on their respective advantages across the entire forecast horizon. The connection between number of autoregressive steps and blurring is discussed in Supplements Section 7.4.4. 7.4. Optimal blurring 7.4.1. Effect on the comparison of skill between GraphCast and HRES In Figures 31 and 32 we compare the RMSE of HRES with GraphCast before and after optimal blurring has been applied to both models. We can see that optimal blurring rarely changes the ranking of the two models, however it does generally narrow the gap between them. 4.2 Filterezési módszerek Olyan szűrőket választottunk, amelyek minimalizálják az RMSE-t a lineáris, homogén (helymeghatározás invariáns), izotrop (irány invariáns) szűrők osztályán belül a gömbön.Ezek a szűrők könnyen alkalmazhatók a gömb harmonikus tartományban, ahol azok megfelelnek a teljes hullámszámtól függő szűrő súlyainak, de nem a hosszirányú hullámszámnak [12]. For each initialization 𝑑0, lead time 𝜏, variable and level 𝑗, we applied a discrete spherical harmonic transform [13] to predictions 𝑥ˆ𝑑0+𝜏 and targets 𝑥𝑑0+𝜏, obtaining spherical harmonic coefficients 𝑓ˆ𝑑0+𝜏 𝑗 𝑗 𝑗,𝑙,𝑚 and 𝑓 𝑑0+𝜏 for each pair of total wavenumber 𝑙 and longitudinal wavenumber 𝑚. To resolve the 0.25° (28km) resolution of our grid at the equator, we use a triangular truncation at total wavenumber 719, which means that 𝑙 ranges from 0 to 𝑙𝑚𝑎𝑥 = 719, and for each 𝑙 the value of 𝑚 ranges from −𝑙 to 𝑙. Ezután minden egyes előre jelzett együtthatót f ̈d0+τ-vel szoroztuk meg egy bτ szűrőtömeggel, amely független a j,l,m j,l hosszúsági hullámszámától m. A szűrőtömegeket a legkisebb négyzetek használatával szerelték fel, hogy minimalizálják az átlagos négyzethibát, ahogyan azt a gömbharmonikus tartományban számították: A 2017-ből származó adatokat arra használtuk, hogy megfeleljünk ezeknek a mérlegeknek, amelyek nem átfedik magukat a 2018-as tesztkészletben.A szűrt előrejelzések értékelésekor az MSE-t a gömbharmonikus tartományban számítottuk ki, ahogyan az egyenletben részletezik (22). Azáltal, hogy különböző szűrőket szereltek be minden egyes vezetési időre, a homályosodás mértéke szabadon növekedett a hosszabb vezetési időn belüli bizonytalanság növekedésével. Mivel a szűrők homogének, nem tudják figyelembe venni a hely-specifikus jellemzőket, például az orográfiát vagy a szárazföldi-tengeri határokat, ezért választaniuk kell az ilyen helyeken a kiszámítható nagy felbontású részletek túlzott elmosódása vagy a kiszámíthatatlan nagy felbontású részletek általánosabb elmosódása között. Ez kevésbé hatékony néhány felületi változó esetében, mint például a 2 T, amely sok ilyen kiszámítható részletet tartalmaz. An alternative way to approximate a conditional expectation (and so improve RMSE) for our ECMWF forecast baseline would be to evaluate the ensemble mean of the ENS ensemble forecast system, instead of the deterministic HRES forecast. However the ENS ensemble is run at lower resolution than HRES, and because of this, it is unclear to us whether its ensemble mean will improve on the RMSE of a post-processed version of HRES. We leave an exploration of this for future work. 7.4.3 Az optimális szűrők átviteli funkciói A szűrő súlyait a 33. ábra ábrázolja, amely a szűrő kimeneti teljesítményének és bemeneti teljesítményének arányát mutatja, a logaritmikus decibel skálán, a hullámhossz függvényeként. Equation (35), this is equal to 20 log10(𝑏𝜏 ) for the wavelength 𝐶𝑒/𝑙 corresponding to total wavenumber 𝑙.) Mind a HRES, mind a GraphCast esetében azt látjuk, hogy az MSE számára optimális a rövid és közepes hullámhosszon átnyúló teljesítménycsökkenés. Ahogy a lead idő növekszik, a gyengülés mennyisége növekszik, valamint a legnagyobb hullámhossz. Az MSE optimalizálásakor arra törekszünk, hogy megközelítsük a feltételes várakozást, amely átlagos a prediktív bizonytalanság felett. Hosszabb lead idő alatt ez a prediktív bizonytalanság növekszik, valamint az időjárási jelenségek elhelyezkedésével kapcsolatos térbeli bizonytalansági skála. Úgy véljük, hogy ez nagymértékben megmagyarázza ezeket a változásokat az optimális szűrőválaszban, mint a lead idő funkció Látjuk, hogy a HRES-nek általában több elmosódásra van szüksége, mint a GraphCast-nak, mivel a GraphCast előrejelzései bizonyos mértékig már elmosódnak (lásd a 7.5.3. szakaszt), míg a HRES-nek nincs. Az optimális szűrők bizonyos mértékig képesek kompenzálni a GraphCast és a HRES előrejelzéseiben előforduló spektrális előítéleteket is. Például a regridált ERA5 adatkészletünkben számos változó esetében a spektrum hirtelen leáll a 62 km alatti hullámhosszok esetében, amelyek megoldatlanok az ERA5 0.28125◦ natív felbontásánál. Azt is megjegyezzük, hogy a GraphCast szűrő válaszának észrevehető csúcsai körülbelül 100 km-es hullámhosszon vannak a z500-hoz, amelyek nincsenek jelen a HRES-hez. Úgy véljük, hogy ezek kis, rosszindulatú tárgyakat szűrnek ki, amelyeket a GraphCast bevezet ezeken a hullámhosszokon a modellben végrehajtott rács-háló és rács-háló transzformációk mellékhatásaként. 7.4.4. Relationship between autoregressive training horizon and blurring In Figure 34 we use the results of optimal blurring to investigate the connection between autoregressive training and the blurring of GraphCast’s predictions at longer lead times. A 34. ábra első sorában azt látjuk, hogy a hosszabb autoregresszív képzési horizontokkal képzett modellek kevésbé részesülnek az optimális elmosódásból, és hogy az optimális elmosódás előnyei általában csak a képzett horizontnak megfelelő lead idő után kezdnek felhalmozódni. It would be convenient if we could replace longer-horizon training with a simple post-processing strategy like optimal blurring, but this does not appear to be the case: in the second row of Figure 34 we see that longer-horizon autoregressive training still results in lower RMSEs, even after optimal blurring has been applied. Ha valaki olyan előrejelzéseket szeretne, amelyek valamilyen értelemben minimálisan homályosak, akkor egy olyan modellt használhatna, amely kis számú autoregresszív lépéshez képzett. Ez természetesen magasabb RMSE-ket eredményezne hosszabb lead-időben, és itt az eredményeink azt sugallják, hogy ezek a magasabb RMSE-k nemcsak a homályosodás hiánya miatt lennének; a hosszabb lead-időben is kompromisszumot jelentene a készség egyéb aspektusaira. 5. Spektrális elemzés 7.5.1 Az átlagos négyzetes hiba spektrális bomlása In Figures 35 and 36 we compare the skill of GraphCast with HRES over a range of spatial scales, before and after optimal filtering (see details in Section 7.4). The MSE, via its spectral formulation (Equation (22)) can be decomposed as a sum of mean error powers at different total wavenumbers: ahol lmax = 719 az egyenletben (22). Minden teljes hullámszám l megközelítőleg egy Ce/l hullámhossznak felel meg, ahol Ce a Föld körforgása. A teljesítménysűrűségi hisztogramokat vázoljuk, ahol az egyes sávok területe S j,τ(l), és a sávok középpontjában log10(1 + l) (mivel a log frekvencia skála lehetővé teszi a könnyebb vizuális ellenőrzést, de a hullámszámot is bele kell foglalnunk l = 0). 2 nap vagy annál hosszabb vezetési idő esetén a legtöbb változó esetében a GraphCast minden hullámhosszon egyenletesen javítja a HRES képességét (2m hőmérséklet a figyelemre méltó kivétel). At shorter lead times of 12 hours to 1 day, for a number of variables (including z500, T500, T850 and U500) HRES has greater skill than GraphCast at scales in the approximate range of 200-2000km, with GraphCast generally having greater skill outside this range. 7.5.2 Az RMSE mint a horizontális felbontás funkciója In Figure 37, we compare the skill of GraphCast with HRES when evaluated at a range of spatial resolutions. Specifically, at each total wavenumber 𝑙trunc, we plot RMSEs between predictions and targets which are both truncated at that total wavenumber. This is approximately equivalent to a wavelength 𝐶𝑒/𝑙trunc where 𝐶𝑒 is the earth’s circumference. The RMSEs between truncated predictions and targets can be obtained via cumulative sums of the mean error powers 𝑆 𝑗,𝜏(𝑙) defined in Equation (37), according to Figure 37 shows that in most cases GraphCast has lower RMSE than HRES at all resolutions typically used for forecast verification. This applies before and after optimal filtering (see Section 7.4). Exceptions include 2 meter temperature at a number of lead times and resolutions, T 500 at 12 hour lead times, and U 500 at 12 hour lead times, where GraphCast does better at 0.25° resolution but HRES does better at resolutions around 0.5◦ to 2.5◦ (corresponding to shortest wavelengths of around 100 to 500 km). Különösen megjegyezzük, hogy az ERA5 natív felbontása 0,28125◦ megfelel a legrövidebb hullámhossznak 62km, amelyet a telkek függőleges vonala jelez. HRES-fc0 célpontok tartalmaznak néhány jelet 62km-nél rövidebb hullámhosszon, de az ERA5 célpontok, amelyeket a GraphCast értékelésére használnak, nem, legalább natív (lásd 7.5.3. szakaszt). 7.5.3 Előrejelzések és célok spektruma A 38. ábra összehasonlítja a GraphCast előrejelzéseinek teljesítményspektrumát, az ellenük képzett ERA5 célpontokat és a HRES-fc0 jelenséget. Az ERA5 és a HRES-fc0 spektrumában észrevehetőek a különbségek, különösen rövid hullámhosszúakban. Ezek a különbségek részben az általuk alkalmazott módszerek következményei lehetnek, amelyek a TL639 (0.28125◦) és a TCo1279 (körülbelül 0.1◦, [36]) natív IFS felbontásaitól a 0,25°-os egyenlítőleges rácsra szabályozzák. Azonban még mielőtt ezt a regressziót elvégezzük, különbségek vannak a HRES és az ERA5 esetében használt IFS verziókban, beállításokban, felbontásban és adatasszimilációs módszerekben, és ezek a különbségek szintén befolyásolhatják a spektrumot. Mivel a GraphCast-t az ERA Differences between HRES and ERA5 We see reduced power at short-to-mid wavelengths in GraphCast’s predictions which reduces further with lead time. We believe this corresponds to blurring which GraphCast has learned to perform in optimizing for MSE. We discussed this further in Sections 7.4 and 7.4.4. Blurring in GraphCast Ezek a csúcsok különösen a z500 számára láthatók; úgy tűnik, hogy a lead idővel növekednek. úgy véljük, hogy a GraphCast által minden autoregresszív lépésben végrehajtott belső rács-a-rács és rács-a-rács átalakítások által bevezetett kis, hamis tárgyaknak felelnek meg. Peaks for GraphCast around 100km wavelengths Végül megjegyezzük, hogy bár ezek a különbségek a rövid hullámhosszú teljesítményben nagyon észrevehetőek a log skálán és a relatív telken, ezek a rövid hullámhosszúak kevéssé hozzájárulnak a jel teljes teljesítményéhez. 8. Additional severe event forecasting results In this section, we provide additional details about our severe event forecasting analysis. We note that GraphCast is not specifically trained for those downstream tasks, which demonstrates that, beyond improved skills, GraphCast provides useful forecast for tasks with real-world impact such as tracking cyclones (Section 8.1), characterizing atmospheric rivers (Section 8.2), and classifying extreme temperature (Section 8.3). Each task can also be seen as evaluating the value of GraphCast on a different axis: spatial and temporal structure of high-resolution prediction (cyclone tracking task), ability to non-linearly combine GraphCast predictions to derive quantities of interest (atmospheric rivers task), and ability to characterize extreme and rare events (extreme temperatures). 8.1 Trópusi ciklon nyomvonal előrejelzés In this section, we detail the evaluation protocols we used for cyclone tracking (Supplements Sec-tion 8.1.1) and analyzing statistical significance (Supplements Section 8.1.2), provide additional results (Supplements Section 8.1.3), and describe our tracker and its differences with the one from ECMWF (Supplements Section 8.1.4). 8.1.1 Értékelési jegyzőkönyv A két trópusi ciklon-előrejelző rendszert összehasonlítva a Graphic Graphic Initiative a két trópusi ciklon-előrejelző rendszert olyan eseményekre korlátozza, ahol mindkét modell előrejelzi a ciklon létezését. A kiegészítések 5.2.2. szakaszában részletezett módon a GraphCast a 06z és 18z helyett 00z és 12z helyett kezdődik, hogy elkerülje, hogy a HRES-hez képest mindig előnyhöz jusson. Azonban a HRES ciklon-pályák a TIGGE archívumban [8] csak 00z és 12z között kezdődnek el. Ez az eltérés megakadályozza bennünket abban, hogy olyan eseményeket válasszunk, ahol a kezdeményezés és az időtérkép ugyanolyan Because we compute error with respect to the same ground truth (i.e., IBTrACS), the evaluation is not subject to the same restrictions described in Supplements Section 5.2.2, i.e., the targets for both models incorporate the same amount of lookahead. This is in contrast with most our evaluations in this paper, where the targets for HRES (i.e., HRES-fc0) incorporates +3h lookahead, and the ones for GraphCast (from ERA5) incorporate +3h or +9h, leading us to only report results for the lead times with a matching lookahead (multiples of 12h). Here, since the IBTrACS targets are the same for both models, we can report performance as a function of lead time by increments of 6h. For a given forecast, the error between the predicted center of the cyclone and the true center is computed using the geodesic distance. 8.1.2. Statistical methodology Computing statistical confidence in cyclone tracking requires particular attention in two aspects: 1. Kétféleképpen lehet meghatározni a minták számát. Az első a trópusi ciklon események száma, amelyek többnyire független események lehetnek. A második a használt adatpontok száma vezetési időre, ami nagyobb, de összefüggő pontokat jelent (minden trópusi ciklon eseményre 6 órás intervallumban többszörös előrejelzés készül). Az első meghatározást választottuk, amely konzervatívabb statisztikai jelentőségű becsléseket nyújt. Mindkét számot az 1 és 5 nap közötti vezetési időkre mutatjuk a 39. ábrán. 2. The per-example tracking errors of HRES and GraphCast are correlated. Therefore statistical variance in their difference is much smaller than their joint variance. Thus, we report the confidence that GraphCast is better than HRES (see Supplements Figure 39b) in addition to the per-model confidence (see Supplements Figure 39a). Figyelembe véve a fenti két megfontolást, 95% -os bizalmi intervallummal hajtjuk végre a hajtást a ciklonok szintjén. Egy adott vezetési időre tekintetbe vesszük az összes megfelelő kezdeményezési idő/vezetési időpárat, és megtartjuk annak listáját, hogy melyik ciklonból származnak (kettősítés nélkül). A bootstrap becsléshez mintákat húzunk ebből a ciklonlistából (helyettesítéssel) és alkalmazzuk a mediánt (vagy az átlagot) a megfelelő kezdeményezési idő/vezetési időpárra. Vegye figyelembe, hogy ez sokkal konzervatívabb bizalmi határokat ad nekünk, mint a hajtás a kezdeményezési idő/vezetési időpár szintjén, mivel ez egyenértékű azzal, hogy For instance, assume for a given lead time we have errors of (50, 100, 150) for cyclone A, (300, 200) for cyclone B and (100, 100) for cyclone C, with A having more samples. A bootstrapping sample at the level of cyclones first samples uniformly at random 3 cyclones with replacement (for instance A,A,B) and then computes the mean on top of the corresponding samples with multiplicity: mean(50,100,150,50,100,150,200,300)=137.5. 8.1 Az eredmények A kiegészítések 3a-b. ábrán úgy döntöttünk, hogy az átlagos hiba helyett az átlagos hiba megjelenítését választottuk. Ezt a döntést a tesztkészlet eredményeinek kiszámítása előtt hozták meg a hitelesítési készlet teljesítménye alapján. 2016–2017-ben a GraphCast 1979–2015-ben képzett verzióját használva megfigyeltük, hogy a nyomkövető korai verzióit használva az átlagos nyomkövetési hiba nagyon kevesen uralkodtak, és nem képviselték a teljes lakosságot. Továbbá, ezeknek a nyomkövetőknek jelentős része a nyomkövetési algoritmus hibáinak, nem pedig maguknak a előrejelzéseknek köszönhető, ami azt sugallja, hogy a nyomkövető a GraphCast használatához nem optimális. A 39. ábra kiegészíti a 3a-b ábrát azáltal, hogy megmutatja az átlagos nyomkövetési hibát és a megfelelő párosított elemzést. Megjegyezzük, hogy a nyomkövető végleges verzióját használva (Kiegészítők 8.1.4 szakasz), a GraphCast átlagos eredményei hasonlóak a mediánhoz, a GraphCast jelentősen felülmúlja a HRES-t 2 és 5 nap közötti lead idő alatt. A jól ismert zavaró hatások miatt, amelyek hajlamosak a nyomkövető által a ciklon jelenlétének észlelésére használt szélsőségek kiegyensúlyozására, az ML módszerek a meglévő ciklonokat gyakrabban dobhatják le, mint az NWP-k. A probléma elkerülése érdekében ellenőrizzük, hogy a hiperparaméter-keresett nyomkövető (lásd a kiegészítések 8.1.4. szakaszát) hiányzik hasonló számú ciklonok HRES. kiegészítések 41. ábra azt mutatja, hogy a tesztkészlet (2018–2021), GraphCast és HRES csökken hasonló számú ciklonok, biztosítva, hogy az összehasonlítások a lehető legtisztességesebb. Supplements Figures 42 and 43 show the median error and paired analysis as a function of lead time, broken down by cyclone category, where category is defined on the Saffir-Simpson Hurricane Wind Scale [47], with category 5 representing the strongest and most damaging storms (note, we use category 0 to represent tropical storms). We found that GraphCast has equal or better performance than HRES across all categories. For category 2, and especially for category 5 (the most intense events), GraphCast is significantly better that HRES, as demonstrated by the per-track paired analysis. We also obtain similar results when measuring mean performance instead of median. 8.1.4 A nyomkövető részletei The tracker we used for GraphCast is based on our reimplementation of ECMWF’s tracker [35]. Because it is designed for 0.1° HRES, we found it helpful to add several modifications to reduce the amount of mistracked cyclones when applied to GraphCast predictions. However, tracking errors still occur, which is expected from tracking cyclone from 0.25° predictions instead of 0.1°. We note that we do not use our tracker for the HRES baseline, as its tracks are directly recovered from the TIGGE archives [8]. Először adunk egy magas szintű összefoglalót az ECMWF alapértelmezett nyomkövetőjéről, mielőtt elmagyarázzuk a módosításokat és a döntéshozatali folyamatot. Figyelembe véve a modell előrejelzéseit a változók 10 U, 10 v, MsL, valamint U, v és z nyomásszint 200, 500, 700, 850 és 1000 hPa többszörös idő lépések, az ECMWF tracker [35] szekvenciálisan feldolgozza minden egyes lépés, hogy iteratívan megjósolni a helyét a ciklon egy teljes pályán. Minden 6 órás előrejelzés a tracker két fő lépés. ECMWF tracker A következő ciklon elhelyezkedésének becsléséhez a nyomkövető a jelenlegi becslést két vektor átlagának kiszámításával mozgatja: 1) az utolsó két pályahely közötti elhelyezkedés (azaz lineáris extrapoláció) és 2) a szélirányítás becslése, az U és v szélsebesség átlagát az előző pályahelyzetben 200, 500, 700 és 850 hPa nyomásszinten. Once the estimate of the next cyclone location is computed, the tracker looks at all local minima of mean sea-level pressure (MsL) within 445 km of this estimate. It then searches for the candidate minima closest to the current estimate that satisfies the following three conditions: 1. Vorticity ellenőrzés: a maximális vorticity 850 hPa belül 278 km a helyi minimum nagyobb, mint 5 · 10−5 s−1 az északi féltekén, vagy kisebb, mint −5 · 10−5s−1 a déli féltekén. 2. Szélsebesség-ellenőrzés: ha a jelölt szárazföldön tartózkodik, a 278 km-en belül a maximális 10 m-es szélsebesség meghaladja a 8 m/s-t. 3. Thickness check: if the cyclone is extratropical, there is a maximum of thickness between 850 hPa and 200 hPa within a radius of 278 km, where the thickness is defined as z850-z200. Ha a minimumok nem felelnek meg az összes feltételnek, a nyomkövető úgy véli, hogy nincs ciklon. Az ECMWF nyomkövetője lehetővé teszi, hogy a ciklonok rövid időn belül eltűnjenek bizonyos sarokkörülmények között, mielőtt újra megjelennek. Elemeztük a hibákat a ciklonokon a validálási évektől (2016–2017), az 1979–2015-ben képzett GraphCast-verziót használva, és módosítottuk az ECMWF tracker alapértelmezett újratelepítését az alábbiak szerint. Our modified tracker Ezt a paramétert kritikusnak találtuk, és a következő opciók közül jobb értéket kerestünk: 445 × f a 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (eredeti érték). Ezt a paramétert kritikusnak találtuk, és a következő opciók között jobb értéket kerestünk: 278 × f f a 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (eredeti érték). 3. Az ECMWF következő lépésének becslése 50-50 súlyt használ a lineáris extrapoláció és a szélirányító vektorok között. A mi esetünkben, ahol a szél 0,25 ° -os felbontásban van előrejelezve, a szélirányítást néha akadálymentes becslésekre találtuk. Ez nem meglepő, mert a szél nem térben sima mező, és a nyomkövető valószínűleg a 0,1 ° -os felbontás előrejelzéseinek kihasználására van kialakítva. Így a hiperparaméterek a következő lehetőségek között keresték a súlyt: 0,0, 0,1, 0,33, 0,5 (eredeti érték). 4. Megfigyeltük, hogy több tévedés történt, amikor a pálya élesen megfordította az irányt, ellentétben az előző irányával. Így csak olyan jelölteket veszünk figyelembe, amelyek az előző és az új irány közötti szöget hoznak létre a d fok alatt, ahol a d-t ezek között az értékek között keresték: 90, 135, 150, 165, 175, 180 (azaz nincs szűrő, eredeti érték). 5. Megfigyeltük, hogy a többszörös tévedések nagy ugrásokat tettek a zajos szélvezetés és a gyenge ciklonok számára nehéz megkülönböztethető tulajdonságok kombinációja miatt. Így felfedeztük a x kilométereken túli mozgatás becslését (az utolsó középponthoz igazítva a deltát), és az alábbi x értékeket kerestük: 445 × f f a 0.25, 0.5, 1.0, 2.0, 4.0, ∞ (azaz nincs vágás, eredeti érték). A hiperparaméteres keresés során a validálási adatok alapján azt is ellenőriztük, hogy a GraphCast-ra alkalmazott nyomkövető hasonló számú ciklont dobott le, mint a HRES. 8.2 A folyók légköre Bár a GraphCast nem előrejelzi közvetlenül az IvT-t, és nem speciálisan képzett a légköri folyók előrejelzésére, ezt a mennyiséget az előrejelzett légköri változók specifikus páratartalmából, Q-ból és vízszintes szélből (U, v) származhatjuk a kapcsolaton keresztül [38]: ahol g = 9,80665 m/s2 a Föld felszínén a gravitáció által okozott gyorsulás, pb = 1000 hPa az alsó nyomás, és pt = 300 hPa a felső nyomás. Az IvT-nek a fenti arány alapján történő értékelése numerikus integrációt igényel, ezért az eredmény függ az előrejelzés függőleges felbontásától.A GraphCast 37 nyomásszinttel rendelkezik, ami magasabb, mint a rendelkezésre álló HRES pályák felbontása mindössze 25 nyomásszinttel.A két modell következetes és méltányos összehasonlításához tehát csak a nyomásszintek közös alösszegét használjuk, amely szintén szerepel a WeatherBench referenciaértékben, amikor az IvT 8-at értékeljük, nevezetesen a [300, 400, 500, 600, 700, 850, 925, 1000] hPa-t. Az értékelési protokollunk többi részével összhangban minden modellt saját „elemzésével” értékelünk.A GraphCast esetében az IvT-t előrejelzései alapján számítjuk ki, és összehasonlítjuk az ERA-ból analóg módon számított IvT-vel. Az előző munkához hasonlóan [10] a 44. ábra az RMSE készség- és készségpontszámát mutatja a part menti Észak-Amerikában és a Kelet-csendes-óceáni térségben (a 180° W-tól 110° W-ig terjedő hosszúságig és a 10° N-től 60° N-ig terjedő szélességig) a hideg évszakban (január-április és október-december 2018), ami egy olyan régiónak és időszaknak felel meg, ahol gyakoriak a légköri folyók. 8.3 Szélsőséges hőség és hideg A szélsőséges hő és hideg előrejelzését bináris osztályozási problémaként [35, 32] vizsgáljuk összehasonlítva, hogy egy adott előrejelzési modell helyesen megjósolhatja-e, hogy egy adott változó értéke a referencia-történeti klimatológia eloszlása (például a szélsőséges hő 98% -os percentil felett és a szélsőséges hideg 2% -os percentil alatt) felett (vagy alatt) lesz-e (például). Az előző munkát [35] követően a referencia-klimatológiát külön-külön kapjuk meg (1) minden változó (2) az év minden hónapjában, (3) minden nap, (4) minden szélességi/hosszúsági koordináta, és (5) minden nyomásszint (ha alkalmazható). Ez teszi a szélsőségek észlelését kontraszt Mivel a szélsőséges előrejelzés definíció szerint egy kiegyensúlyozatlan osztályozási probléma, elemzésünket a precíziós emlékeztető telekre alapozzuk, amelyek erre az esetre is alkalmasak [42]. A precíziós emlékeztető görbe egy olyan szabad paraméter „nyereség” változásával érhető el, amely az időjárás médiumához viszonyítva skálázási tényezőből áll, azaz skálázott előrejelzés = nyereség × (előrejelzés − medián időjárás) + medián időjárás. Ez a hatás a döntéshatár elmozdítását eredményezi, és lehetővé teszi a hamis negatívok és a hamis pozitívok közötti különböző kereskedési kedvezmények tanulmányozását. Intuitív módon a 0 nyereség nulla pozitív Elemzésünket a szélsőséges hőmérsékleti viszonyok szempontjából releváns változókra összpontosítottuk, különösen a 2 T [35, 32], valamint a T 850, z500, amelyeket az ECMWF gyakran használ a hőhullámok jellemzésére [34]. Korábbi munkát követően[32], a szélsőséges hő esetén az északi féltekén (szélesség > 20◦) és a déli féltekén (szélesség < -20◦) a decemberben, januárban és februárban a szárazföldön (szélesség < -20◦). A szélsőséges hideg esetén az északi és a déli féltekére kicseréltük a hónapokat. Lásd a 45. ábrán látható teljes eredményeket. 9. Forecast visualizations Ebben az utolsó szakaszban a GraphCast által a 2 T (4. ábra), a 10 U (4. ábra), az MsL ( 49. ábra), a z500 (50. ábra), a T 850 ( 51. ábra), a v 500 ( 52. ábra), a Q 700 ( 53. ábra) változókra vonatkozóan készített előrejelzések néhány vizualizációs példáját adjuk meg. Referenciák [1] Ferran Alet, Adarsh Keshav Jeewajee, Maria Bauza Villalonga, Alberto Rodriguez, Tomas Lozano-Perez és Leslie Kaelbling. Grafikus elemek hálózata: adaptív, strukturált számítás és memória. [2] Kelsey R. Allen, Yulia Rubanova, Tatiana Lopez-Guevara, William Whitney, Alvaro Sanchez-Gonzalez, Peter Battaglia és Tobias Pfaff. Az arc interakciós grafikus hálózatokkal való merev dinamika megtanulása. arXiv preprint arXiv:2212.03574, 2022. [3] Jimmy Lei Ba, Jamie Ryan Kiros és Geoffrey E. Hinton. réteg normalizáció. arXiv, 2016. [4] Igor Babuschkin, Kate Baumli, Alison Bell, Surya Bhupatiraju, Jake Bruce, Peter Buchlovsky, David Budden, Trevor Cai, Aidan Clark, Ivo Danihelka, Claudio Fantacci, Jonathan Godwin, Chris Jones, Ross Hemsley, Tom Hennigan, Matteo Hessel, Shaobo Hou, Steven Kapturowski, Thomas Keck, Iurii Kemaev, Michael King, Markus Kunesch, Lena Martens, Hamza Merzic, Vladimir Mikulik, Tamara Norman, John Quan, George Papamakarios, Roman Ring, Francisco Ruiz, Alvaro Sanchez, Rosalia Schneider, Eren Sezener, Stephen Spencer, Srivatsan Srinivasan, Luyu, Wangciech Wojciech Stokowiec és Fabio Viola. // github.com/deepmind a következő oldalon. [5] Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al. Interakciós hálózatok tárgyak, kapcsolatok és fizika tanulásához. [6] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Relációs induktív előítéletek, mélytanulás és grafikus hálózatok. arXiv preprint arXiv:1806.01261, 2018. [7] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu és Qi Tian. Pangu-Weather: Egy 3D-s nagy felbontású modell a gyors és pontos globális időjárás-előrejelzéshez. arXiv preprint arXiv:2211.02556, 2022. [8] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. A THORPEX interaktív nagy globális együttes. [9] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne és Qiao Zhang. JAX: a Python+NumPy programok komponálható átalakításai. http://github. com/google/jax, 2018. [10] WE Chapman, AC Subramanian, L Delle Monache, SP Xie és FM Ralph. A légköri folyó előrejelzéseinek javítása gépi tanulással. Geophysical Research Letters, 46(17-18):10627–10635, 2019. [11] Tianqi Chen, Bing Xu, Chiyuan Zhang és Carlos Guestrin. Képzési mélyhálózatok szublineáris memóriaköltséggel. arXiv előnyben arXiv:1604.06174, 2016. [12] Balaji Devaraju. A szűrés megértése a gömbön: tapasztalatok a GRACE adatok szűrése során. doktori értekezés, Stuttgarti Egyetem, 2015. [13] J. R. Driscoll és D. M. Healy. A számítástechnika négyes átalakításokat és konvolúciókat végez a 2-szférában. Máté 15(2):202–250, 1994 június [14] ECMWF. IFS dokumentáció CY41R2 - III. rész: Dinamika és numerikus eljárások. //www.ecmwf.int/node/16647, 2016 és 2016 között [15] Meire Fortunato, Tobias Pfaff, Peter Wirnsberger, Alexander Pritzel és Peter Battaglia. Multi-scale meshgraphnets. arXiv preprint arXiv:2210.00612, 2022. [16] Alan J Geer. A középtávú előrejelzési pontszámok változásainak jelentősége. Tellus A: Dynamic Meteorology and Oceanography, 68(1):30229, 2016. [17] Jonathan Godwin, Thomas Keck, Peter Battaglia, Victor Bapst, Thomas Kipf, Yujia Li, Kimberly Stachenfeld, Petar Veličković és Alvaro Sanchez-Gonzalez. Jraph: A grafikus neurális hálózatok könyvtára a JAX-ben. http://github.com/deepmind/jraph, 2020. [18] T. Haiden, Martin Janousek, Jean-Raymond Bidlot, R. Buizza, L. Ferranti, F. Prates és Frédéric Vitart. Az ECMWF előrejelzéseinek értékelése, beleértve a 2018-as frissítést is. https://www.ecmwf. int/node/18746, 10/2018 2018. [19] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti, Crtistina Prates és David Richardson. Az ECMWF előrejelzéseinek értékelése, beleértve a 2020-as frissítést is. https://www.ecmwf.int/node/19879, 01/2021 2021. [20] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti és Fernando Prates. Az ECMWF előrejelzéseinek értékelése, beleértve a 2021-es frissítést is. https://www. ecmwf.int/node/20142, 09/2021 2021. [21] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti, Fernando Prates és David Richardson. Az ECMWF előrejelzéseinek értékelése, beleértve a 2021-es frissítést is. https://www.ecmwf.int/node/20469, 09/2022 2022. [22] Thomas Haiden, Martin Janousek, Frédéric Vitart, Laura Ferranti és Fernando Prates. Az ECMWF előrejelzéseinek értékelése, beleértve a 2019-es frissítést is. https://www.ecmwf.int/node/ 19277, 11/2019 2019. [23] Tom Hennigan, Trevor Cai, Tamara Norman és Igor Babuschkin. Haiku: Sonnet for JAX. http://github.com/deepmind/dm-haiku, 2020. [24] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers és társai. Az ERA5 globális újbóli elemzése. A Royal Meteorological Society negyedéves folyóirata, 146(730):1999–2049, 2020. [25] S. Hoyer és J. Hamman. xarray: N-D címkézett sorozatok és adatkészletek Python. [26] Ryan Keisler. A globális időjárás előrejelzése grafikus ideghálózatokkal. arXiv preprint arXiv:2202.07575, 2022. [27] Diederik P. Kingma és Jimmy Ba. Adam: A sztochasztikus optimalizálás módszere. arXiv előnyben arXiv:1412.6980, 2014. [28] Kenneth R. Knapp, Howard J. Diamond, James P. Kossin, Michael C. Kruk, Carl J. Schreck, et al. Nemzetközi legjobb pálya archívum éghajlat-irányítási (IBTrACS) projekt, 4. verzió https://doi.org/10.25921/82ty-9e16, 2018. [29] Kenneth R. Knapp, Michael C. Kruk, David H. Levinson, Howard J. Diamond és Charles J. Neumann. A trópusi ciklon adatokat egyesítő nemzetközi legjobb nyomkövetési archívum (IBTrACS). [30] Michael C. Kruk, Kenneth R. Knapp és David H. Levinson. A globális trópusi ciklonok legjobb nyomkövetési adatainak kombinálására szolgáló technika. [31] David H. Levinson, Howard J. Diamond, Kenneth R. Knapp, Michael C. Kruk és Ethan J. Gibney. Egy homogén globális trópusi ciklon legjobb nyomkövető adatkészlet felé. [32] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal és Jason Hickey. A globális szélsőséges hő előrejelzése idegjárási modellek segítségével. mesterséges intelligencia a Föld rendszerek számára, 1–41. oldal, 2022. [33] Ilya Loshchilov és Frank Hutter. Elválasztott súlycsökkenés szabályozása. arXiv előnyben arXiv:1711.05101, 2017. [34] Linus Magnusson. 202208 - hőhullám - uk. https://confluence.ecmwf.int/display/ FCST/202208+-+Hőhullám+-+UK, 2022. [35] Linus Magnusson, Thomas Haiden, and David Richardson. Verification of extreme weather events: Discrete predictands. European Centre for Medium-Range Weather Forecasts, 2014. [36] S. Malardel, Nils Wedi, Willem Deconinck, Michail Diamantakis, Christian Kuehnlein, G. Mozdzynski, M. Hamrud és Piotr Smolarkiewicz. Az IFS új hálózata. https: //www.ecmwf.int/node/17262, 2016 [37] Benjamin J. Moore, Paul J. Neiman, F. Martin Ralph és Faye E. Barthold. A Nashville-ben, Tennessee-ben és környékén a nagy árvizekkel kapcsolatos fizikai folyamatok 2010. május 1-2. között: A légköri folyó és a mezoszkálós konvekciós rendszerek szerepe. [38] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist és Michael D Dettinger. Meteorológiai jellemzők és a légköri folyók földfelszíni csapadék hatásai Észak-Amerika nyugati partján nyolc éves ssm/i műholdas megfigyelések alapján. [39] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez és Peter Battaglia. Tanulás hálózati szimuláció grafikus hálózatokkal. [40] Prajit Ramachandran, Barret Zoph és Quoc V Le. Az aktiválási funkciók keresése. arXiv preprint arXiv:1710.05941, 2017. [41] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid és Nils Thuerey. WeatherBench: az adatvezérelt időjárás-előrejelzésre vonatkozó referenciaadatkészlet. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [42] Takaya Saito és Marc Rehmsmeier. A precíziós emlékeztető telek informatívabb, mint a ROC telek a kiegyensúlyozatlan adatkészletek bináris osztályozói értékelésekor. PloS egy, 10(3):e0118432, 2015. [43] Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec és Peter Battaglia. Tanulás a komplex fizika grafikus hálózatokkal történő szimulálására. [44] B. D. Santer, R. Sausen, T. M. L. Wigley, J. S. Boyle, K. AchutaRao, C. Doutriaux, J. E. Hansen, G. A. Meehl, E. Roeckner, R. Ruedy, G. Schmidt és K. E. Taylor. A tropopauzális magasság és a légköri hőmérséklet viselkedése a modellekben, újbóli elemzésekben és megfigyelésekben: évtizedes változások. [45] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M Hamill, Tim D Hewson, Julia H Keller, Mio Matsueda, John Methven, Florian Pappenberger és társai. [46] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson és Munehiko Yamaguchi. A TIGGE projekt és annak eredményei. Az American Meteorological Society közleménye, 97(1):49 – 67, 2016. [47] Harvey Thurm Taylor, Bill Ward, Mark Willis és Walt Zaleski. A Saffir-Simpson hurrikán szél skála. Atmospheric Administration: Washington, DC, USA, 2010. [48] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser és Illia Polosukhin. A figyelem minden, amire szükséged van. [49] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio és Yoshua Bengio. grafikus figyelem hálózatok. arXiv preprint arXiv:1710.10903, 2017. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt érhető el. Ez a dokumentum a CC by 4.0 Deed (Attribution 4.0 International) licenc alatt érhető el.
