Kirjoittajat : Remi Lam (Google DeepMind) Alvaro Sanchez-Gonzalez (Google DeepMind) Matthew Willson (Google DeepMind) Peter Wirnsberger (Google DeepMind) Meire Fortunato (Google DeepMind) Ferran Alet (Google DeepMind) Suman Ravuri (Google DeepMind) Timo Ewalds (Google DeepMind) Zach Eaton-Rosen (Google DeepMind) Weihua Hu (Google DeepMind) Alexander Merose (Google Research) Stephan Hoyer (Google Research) George Holland (Google DeepMind) Oriol Vinyals (Google DeepMind) Jacklynn Stott (Google DeepMind) Alexander Pritzel (Google DeepMind) Shakir Mohamed (Google DeepMind) Peter Battaglia (Google DeepMind) Kirjoittajat : Remi Lam (käyttäjä Google DeepMind) Alvaro Sanchez-Gonzalez (käyttäjä Google DeepMind) Matthew Willson (käyttäjä Google DeepMind) Peter Wirnsberger (käyttäjä Google DeepMind) Meire Fortunato (käyttäjä Google DeepMind) Ferran Alet (käyttäjä Google DeepMind) Suman Ravuri (käyttäjä Google DeepMind) Timo Ewalds (käyttäjä Google DeepMind) Zach Eaton-Rosen (käyttäjä Google DeepMind) Weihua Hu (käyttäjä Google DeepMind) Alexander Merose (Google tutkimus) Stephan Hoyer (Google tutkimus) George Holland (käyttäjä Google DeepMind) Alkuperäinen nimi: Oriol Vinyals (Google DeepMind) Jacklynn Stott (käyttäjä Google DeepMind) Alexander Pritzel (käyttäjä Google DeepMind) Shakir Mohamed (käyttäjä Google DeepMind) Peter Battaglia (käyttäjä Google DeepMind) Maailmanlaajuinen keskipitkän aikavälin sääennuste on ratkaisevan tärkeää päätöksenteossa monilla sosiaalisilla ja taloudellisilla aloilla. Perinteinen numeerinen sääennuste käyttää lisääntyneitä laskennallisia resursseja ennusteiden tarkkuuden parantamiseksi, mutta ei voi suoraan käyttää historiallisia säätietoja taustalla olevan mallin parantamiseksi. Olemme ottaneet käyttöön koneoppimiseen perustuvan menetelmän, jota kutsutaan nimellä "GraphCast", joka voidaan kouluttaa suoraan uudelleenanalyysi-tiedoista. Se ennustaa satoja säämuuttujia yli 10 päivän ajan 0,25° resoluutiolla maailmanlaajuisesti alle minuutissa. Olemme osoittaneet, että GraphCast on merkittävästi parempi kuin tarkka ja tehokas sääennuste, ja sen ennuste Avainsanoja: sääennuste, ECMWF, ERA5, HRES, oppimisen simulointi, graafiset hermoverkot Johdatus On 5.45 UTC lokakuun puolivälissä 2022, Bolognassa, Italiassa, ja Euroopan keskuksen keskipitkän aikavälin sääennusteiden (ECMWF) uusi korkean suorituskyvyn laskennallinen laitos on juuri aloittanut toimintansa. Viimeisten tuntien ajan integroitu ennustejärjestelmä (IFS) on suorittanut hienostuneita laskelmia ennustaakseen Maan säätä tulevina päivinä ja viikkoina, ja sen ensimmäiset ennusteet ovat vasta alkaneet levittää käyttäjille. IFS ja nykyaikaiset sääennusteet yleisemmin ovat tieteen ja tekniikan voittoja. Sääjärjestelmien dynamiikka on yksi monimutkaisimmista fyysisistä ilmiöistä maapallolla, ja joka päivä lukemattomia päätöksiä tekevät yksilöt, teollisuudenalat ja päätöksentekijät riippuvat tarkkoista sääennusteista, päättämisestä siitä, käytetäänkö takkia vai pakeneeko vaarallinen myrsky. Nykypäivän sääennusteen hallitseva lähestymistapa on "numerinen sääennuste" (NWP), johon liittyy sääennusteiden hallitsevien yhtälöiden ratkaiseminen supertietokoneiden avulla. NWP: n menestys perustuu tiukkoihin ja jatkuviin tutkimuskäytäntöihin, jotka tarjoavat yhä yksity Mutta vaikka perinteinen NWP skaalautuu hyvin laskennassa, sen tarkkuus ei parane kasvavien historiallisten tietomäärien myötä.On olemassa laajoja arkistoja sää- ja ilmatieteellisistä tiedoista, esim. ECMWF:n MARS [17], mutta viime aikoihin asti on ollut vähän käytännön keinoja käyttää tällaisia tietoja ennustemallien laadun suoraan parantamiseksi. Koneoppimisperusteinen sääennuste (MLWP) tarjoaa vaihtoehdon perinteiselle NWP: lle, jossa ennustemallit koulutetaan suoraan historiallisista tiedoista. Tällä on potentiaalia parantaa ennusteen tarkkuutta kaappaamalla kuvioita ja mittakaavoja tiedoissa, joita ei ole helppo esittää nimenomaisissa yhtälöissä. MLWP tarjoaa myös mahdollisuuksia suurempaan tehokkuuteen hyödyntämällä nykyaikaisia syväoppimateriaaleja supertietokoneiden sijaan ja saavuttamalla suotuisampia nopeus-tarkkuusvaihtoehtoja. Äskettäin MLWP on auttanut parantamaan NWP-pohjaista ennustamista järjestelmissä, joissa perinteinen NWP on suhteellisen heikko, kuten kauden alapuolella tapahtuva lämpöaalto Keskipitkän aikavälin sääennusteissa eli ilmakehän muuttujien ennustamisessa jopa 10 päivää eteenpäin NWP-pohjaiset järjestelmät, kuten IFS, ovat edelleen kaikkein tarkempia. Maailman johtava deterministinen käyttöjärjestelmä on ECMWF:n High Resolution -ennuste (HRES), joka on osa IFS:ää, joka tuottaa globaaleja 10 päivän ennusteita 0,1° leveys/pituusresoluutiolla noin tunnissa [27]. Kuitenkin viime vuosina MLWP:n menetelmät keskipitkän aikavälin ennustamiseen ovat kehittyneet tasaisesti, mikä helpottaa vertailuarvoja, kuten WeatherBench [27]. Syvän oppimisen arkkitehtuurit, jotka perustuvat konvolutionaalisiin hermoverkkoihin Graafinen Here we introduce a new MLWP approach for global medium-range weather forecasting called “GraphCast”, which produces an accurate 10-day forecast in under a minute on a single Google Cloud TPU v4 device, and supports applications including predicting tropical cyclone tracks, atmospheric rivers, and extreme temperatures. GraphCast ottaa syöttönä kaksi viimeisintä maapallon säätilaa – nykyisen ajan ja kuusi tuntia aikaisemmin – ja ennustaa seuraavan säätilan kuusi tuntia eteenpäin. Yksi säätila edustaa 0,25° leveys/pituusverkkoa (721 × 1440), joka vastaa suunnilleen 28 × 28 kilometrin resoluutiota päiväntasaajalla (kuva 1a), jossa jokainen verkkopiste edustaa joukkoa pinta- ja ilmakehän muuttujia (lueteltu taulukossa 1). Kuten perinteiset NWP-järjestelmät, GraphCast on autoregressiivinen: sitä voidaan "valua ulos" syöttämällä omat ennusteensa takaisin syöttöön, jotta syntyy mielivaltaisesti pitkä trajektoria säätiloista (kuva 1b–c). GraphCast on toteutettu hermoverkkoarkkitehtuurina, joka perustuu GNN-järjestelmiin ”koodi-prosessi-dekodi” -muodossa [1], yhteensä 36,7 miljoonalla parametrilla. aiemmat GNN-pohjaiset oppineet simulaattorit [31, 26] ovat olleet erittäin tehokkaita oppimaan nesteen ja muiden järjestelmien monimutkaista dynamiikkaa, jotka on mallinnettu osittaisilla differentiaaliyhtälöillä, mikä tukee niiden soveltuvuutta säädynamiikan mallinnukseen. Kooderi (kuva 1d) käyttää yhtä GNN-kerrosta kartoittamaan muuttujia (normalisoitu nollan keskiarvoiseen yksikkövarianssiin), jotka on esitetty solmuominaisuuksina syöttöverkossa oppimiin solmuominaisuuksiin sisäisessä "multi-mesh" -esityksessä. Multi-mesh (kuva 1g) on grafiikka, joka on avaruudellisesti homogeeninen, jolla on korkea avaruudellinen resoluutio ympäri maailmaa. Se määritellään hienosäätämällä säännöllinen icosahedron (12 solmua, 20 kasvot, 30 reunaa) toistuvasti kuusi kertaa, jossa jokainen hienosäätely jakaa kunkin kolmion neljään pienempään (joka johtaa neljä kertaa enemmän kasvoja ja reunoja) ja toistaa solmut sfääriin. Multi-mesh sisältää 40,962 solmua korkeimman resoluution verkosta ja kaikkien välilehdissä luotujen reunojen liitto, joka muodostaa tasaisen hierarkian reunoista, joiden pituudet vaihtelevat. Prosessori (kuva 1e) käyttää 16 jakamatonta GNN-kerrosta suorittamaan opitun viestinsiirron moniverkossa, mikä mahdollistaa tehokkaan paikallisen ja pitkän kantaman tiedon levittämisen muutamalla viestinsiirron vaiheella. Dekoderi (kuva 1f) kartoittaa lopullisen prosessorikerroksen oppineet ominaisuudet usean verkkojen esityksestä takaisin leveys-pituusverkkoon.Se käyttää yhtä GNN-kerrosta ja ennustaa tuloksen jäljellä olevana päivityksenä viimeisimpään syöttötilaan (tulostason normalisoinnin avulla saavutetaan yksikön vaihtelu kohdejäämässä). During model development, we used 39 years (1979–2017) of historical data from ECMWF’s ERA5 [10] reanalysis archive. As a training objective, we averaged the mean squared error (MSE) weighted by vertical level. Error was computed between GraphCast’s predicted state and the corre-sponding ERA5 state over 𝑁 autoregressive steps. The value of 𝑁 was increased incrementally from 1 to 12 (i.e., six hours to three days) over the course of training. GraphCast was trained to minimize the training objective using gradient descent and backpropagation. Training GraphCast took roughly four weeks on 32 Cloud TPU v4 devices using batch parallelism. See Supplements Section 4 for further training details. Oikeiden käyttöönotto-skenaarioiden mukaisesti, joissa tulevaisuutta koskevia tietoja ei ole saatavilla mallin kehittämiseen, arvioimme GraphCastia vuodesta 2018 alkaen annettujen tietojen perusteella (ks. lisäykset, kohta 5.1). Todentamismenetelmät Olemme tarkistaneet GraphCastin ennustamiskyvyn kattavasti vertaamalla sen tarkkuutta HRES:ään lukuisilla muuttujilla, tasoilla ja ohjausajoilla. Kvantitatiivisesti määritämme GraphCastin, HRES:n ja ML:n lähtötilojen vastaavat taidot kahdella osaamismetriikalla: root mean square error (RMSE) ja anomaly correlation coefficient (ACC). Kaikista GraphCastin jokaisella verkon pisteellä ennustamista 227 muuttujan ja tasokokoonpanosta arvioimme sen taitoja verrattuna HRES:ään 69:ssä niistä, jotka vastaavat WeatherBench[27]:n 13 tasoa ja ECMWF:n tulostaulukosta saatuja muuttujia [9]; katso taulukossa 1 ja lisäyksissä 1.2 esitetyt rohkeat muuttujat ja tasot, joiden osalta HRES-syklin toiminta oli käynnissä arviointijakson aikana. Huomaa, että suljemme arvioinnista pois kokonaispituudet, koska ERA5:n sademäärätiedoilla on tunnettuja ennakkoluuloja [15]. Päätekstissä raportoitujen yhteenlaskettujen suorituskyvyn lisäksi lisäyksissä 7 esitetään yksityiskohtaisemmat arvioinnit, Näitä vertailuja tehdessämme kaksi keskeistä vaihtoehtoa perustuvat siihen, miten taito on vakiintunut: (1) vertailuun käytettävän pohjan totuuden valinta ja (2) tarkka laskenta tietojen assimilaatioikkunoista, joita käytetään pohjan tietojen tekemiseen havaintojen kanssa. Käytämme ERA5:ta pohjan totuutena GraphCastin arvioinnissa, koska se on koulutettu ottamaan ERA5-tiedot syöttötietona ja ennustamaan ERA5-tiedot tuloksina. Kuitenkin HRES-ennusteiden arvioiminen ERA5:aan nähden johtaisi alkuvaiheessa ei-nollavirheeseen. Sen sijaan rakensimme "HRES-ennuste vaiheessa 0" (HRES-fc0) -tietokannan, jota käytetään pohjan totuutena Sääennusteiden luonteen vuoksi tämä edellyttää ERA5- ja HRES-tietojen assimilaatioikkunoiden välisten erojen huolellista hallintaa. Joka päivä HRES assimiloi havaintoja käyttämällä neljää +/-3h-ikkunaa, jotka ovat keskittyneet 00z, 06z, 12z ja 18z:ään (missä 18z tarkoittaa 18:00 UTC), kun taas ERA5 käyttää kahta +9h/-3h-ikkunaa, jotka ovat keskittyneet 00z:ään ja 12z:ään, tai vastaavasti kahta +3h/-9h-ikkunaa, jotka ovat keskittyneet 06z:ään ja 18z:ään. Päätimme arvioida GraphCastin ennusteita 06z:stä ja 18z:stä, varmistaen, että sen syöttötiedot kuljettavat tietoa +3h HRES:n ennusteet, jotka on alustettu 06z:llä ja 18z:llä, toimivat vain 3,75 päivän horisontissa (HRES:n 00z:n ja 12z:n alustukset toimivat 10 päivän ajan). Sen vuoksi luvut osoittavat siirtymän taitetulla linjalla, jossa 3,5 päivää ennen linjaa ovat vertailut HRES:ään, joka on alustettu 06z:llä ja 18z:llä, ja linjan jälkeen vertailut aloituksilla 00z:llä ja 12z:llä. Ennusteiden tarkastustulokset Huomaamme, että GraphCastilla on suurempi sääennusteiden taito kuin HRES: llä, kun se arvioidaan 10 päivän ennusteilla horisontaalisella resoluutiolla 0,25° leveys-/pituusasteella ja 13 pystysuoralla tasolla. Kuva 2a–c osoittaa, miten GraphCast (siniset viivat) ylittää HRES:n (mustat viivat) z500:n (geopotentiaali 500 hPa:ssa) ”pääviivan” kentällä RMSE-taitojen, RMSE-taitojen pisteiden (eli normalisoidun RMSE-eron mallin A ja lähtöviivan B välillä, jotka on määritelty (RMSEA − RMSEB)/RMSEB) ja ACC-taitojen osalta. z500:n käyttö, joka koodaa synoptisessa mittakaavassa olevan paineen jakautumisen, on yleistä kirjallisuudessa, koska sillä on vahva meteorologinen merkitys [27]. Tontit osoittavat, että GraphCastilla on parempia taitojen pisteitä kaikissa johtoajoissa, ja ta Kuvio 2d tiivistää kaikkien 1380 arvioidun muuttujan ja paineen tason RMSE-taitoarvot 10 päivän ennusteissa ECMWF-taulukon kaltaisessa muodossa. Solujen värit ovat suhteellisia taitoarvoon, jossa sininen osoittaa, että GraphCastilla oli parempi taito ja punainen osoittaa, että HRES: llä oli korkeampi taito. GraphCast ylitti HRES:n 90:llä prosentilla 1380-tavoitteista ja merkittävästi (p ≤ 0,05, nimellisnäytteen koko n ∈ {729, 730}) ylitti HRES:n 89,9 prosentilla tavoitteista. Ilmakehän alueet, joilla HRES:llä oli parempi suorituskyky kuin GraphCastilla (punavihreät ylimmät rivit tulostauluissa), sijaitsivat suhteettomasti stratosfäärissä ja niillä oli alhaisin harjoittelun menetyspaino (ks. lisäykset 7.2.2). Kun GraphCast sulki pois 50 hPa:n tason, GraphCast ylitti merkittävästi HRES:n 96,9 %:lla jäljellä olevista 1280 tavoitteesta. Kun GraphCast sulki pois tasot 50 ja 100 hPa, GraphCast ylitti merkittävästi HRES:n 99,7 %:lla jäljellä olevista 1180 tavoitteesta. Olemme havainneet, että MSE-häviön automaattisten regressiivisten vaiheiden määrän lisääminen parantaa GraphCastin suorituskykyä pidemmällä johtamisajalla (ks. lisäykset kohta 7.3.2) ja kannustaa sitä ilmaisemaan epävarmuuttaan ennustamalla tilapäisesti sujuvia tuloksia, mikä johtaa epäselvempiin ennusteisiin pidemmillä johtamisajoilla (ks. lisäykset kohta 7.5.3). HRES:n taustalla olevat fyysiset yhtälöt eivät kuitenkaan johda epäselviin ennusteisiin. Jotta voitaisiin arvioida, onko GraphCastin suhteellinen etu RMSE-taitoon verrattuna säilytetty, jos HRES:lle sallitaan myös epäselvempien ennusteiden tekeminen, sovitimme epäselvyyssuodattimet GraphCastiin ja HRES Vertailimme GraphCastin suorituskykyä myös parhaaseen kilpailevaan ML-pohjaiseen säämalliin, Pangu-Sää [4], ja havaitsimme, että GraphCast ylitti sen 99,2%: lla esittelemistään 252 kohteesta (katso lisätietoja lisäyksistä 6). Vaaralliset ennusteet tuloksista Sen lisäksi, että arvioimme GraphCastin ennustamistaitoja HRES:ää vastaan monenlaisissa muuttujissa ja johdatusaikoissa, arvioimme myös, miten sen ennusteet tukevat vakavien tapahtumien ennustamista, mukaan lukien trooppiset syklonit, ilmakehän joet ja äärimmäiset lämpötilat. Trooppisten syklonien jäljet Graphive parantaa trooppisten syklonien ennusteiden tarkkuutta ja auttaa välttämään vammoja ja ihmishenkien menetyksiä sekä vähentämään taloudellista vahinkoa [21]. Syklonin olemassaoloa, voimakkuutta ja polkua ennustetaan soveltamalla seurantalgoritmia geopotentiaalin (z), vaakasuoran tuulen (10 U/10 v, U/v) ja keskimääräisen merenpinnan paineen (MsL) ennusteisiin (ks. lisäykset 8.1). Vertailun lähtökohtana käytimme HRES:n 0,1°ec -ennusteista saatuja seurantalgoritmeja, jotka on tallennettu TIGGE-arkistoon [5, 34] ja jotka on sovellettu GraphCastin ennusteisiin, tuottamaan syklonien polkuennusta koskevia ennusteita ( Kuva 3a osoittaa, että GraphCastilla on pienempi keskimääräinen seurantavirhe kuin HRES: llä vuosina 2018–2021. Koska HRES: n ja GraphCastin peräkkäiset virheet korreloivat, mitasimme myös kahden mallin välisen peräkkäisen parillisen virheen eron ja havaitsimme, että GraphCast on merkittävästi parempi kuin HRES 18 tunnin ja 4,75 päivän ajan, kuten kuvassa 3b on esitetty. Ilmakehän joet Ilmakehän joet ovat kapeita ilmakehän alueita, jotka ovat vastuussa suurimmasta osasta keskipitkän leveyden vesihöyryn kuljetuksesta ja tuottavat 30–65 prosenttia vuosittaisesta sademäärästä Yhdysvaltain länsirannikolla [6]. Niiden voimakkuutta voi luonnehtia vertikaalisesti integroitu vesihöyryn kuljetus IvT [23, 22], mikä osoittaa, onko tapahtuma hyödyllinen sademäärä tai liittyy katastrofaaliseen vahinkoon [7]. IvT voidaan laskea horisontaalisen tuulen nopeuden (U ja v) ja erityisen kosteuden (Q) epälineaarisesta yhdistelmästä. Arvioimme GraphCastin ennusteita Pohjois-Amerikan ja Itä-Tyynenmeren rannikolle kylmien kuukausien aikana (lok Äärimmäinen lämpö ja kylmyys Äärimmäiset lämpö- ja kylmyysolosuhteet ovat tyypillisen ilmastotieteen [19, 16, 18] suhteen suuria poikkeavuuksia, jotka voivat olla vaarallisia ja häiritä ihmisen toimintaa. Arvioimme HRES:n ja GraphCastin taitoa ennustaa tapahtumia, jotka ylittävät päivän, ajan ja kuukauden korkeimman 2%:n ilmasto-olosuhteet, 2 T:lle 12 tunnin, 5 päivän ja 10 päivän pääaikoina, pohjoisen ja eteläisen pallonpuoliskon maa-alueille kesäkuukausien aikana. Suunnittelemme tarkkuusmuistiinpanokäyrät [30] heijastamaan erilaisia mahdollisia kompromisseja väärän positiivisen (korkea tarkkuus) ja väärän negatiivisen (korkea palaute) vähenemisen välillä. Kuva 3d osoittaa, että GraphCastin tarkkuusmuistutuskäyrät ovat yli HRES: n viiden ja kymmenen päivän johtoajalla, mikä viittaa siihen, että GraphCastin ennusteet ovat yleensä parempia kuin HRES: n äärimmäisessä luokituksessa pidemmillä horisonteilla. Sitä vastoin HRES: llä on parempi tarkkuusmuistutus 12 tunnin johtoajalla, mikä on johdonmukaista GraphCastin 2 T: n taitopisteen kanssa HRES: n suhteen, joka on lähes nolla, kuten kuvassa 2d. Näemme yleensä, että nämä tulokset ovat johdonmukaisia muiden äärimmäiseen lämpöön liittyvien muuttujien, kuten T 850 ja z500 [18], muiden äärimmäisten kynnysten (5%, 2% ja 0,5%), ja äär Harjoittelun viimeaikaisten tietojen vaikutus GraphCastia voidaan säännöllisesti kouluttaa uudelleen uusilla tiedoilla, mikä periaatteessa mahdollistaa sen, että se tallentaa ajan myötä muuttuvia säämalleja, kuten ENSO-syklin ja muiden värähtelyjen, sekä ilmastonmuutoksen vaikutukset. Olemme kouluttaneet neljää GraphCast-muunnelmaa, joiden tiedot alkoivat aina vuonna 1979, mutta päättyivät vastaavasti vuonna 2017, 2018, 2019 ja 2020 (merkimme vuoden 2017 päättyvän variantin nimellä ”GraphCast:<2018”, jne.). Figure 4 shows the skill scores (normalized by GraphCast:<2018) of the four variants and HRES, for z500. We found that while GraphCast’s performance when trained up to before 2018 is still competitive with HRES in 2021, training it up to before 2021 further improves its skill scores (see Supplements Section 7.1.3). We speculate this recency effect allows recent weather trends to be captured to improve accuracy. This shows that GraphCast’s performance can be improved by re-training on more recent data. Päätelmät GraphCastin ennakointiosaaminen ja tehokkuus HRES:ään verrattuna osoittavat, että MLWP-menetelmät ovat nyt kilpailukykyisiä perinteisten sääennusteiden kanssa. Lisäksi GraphCastin suorituskyky vakavien tapahtumien ennakoinnissa, jota varten se ei ollut suoraan koulutettu, osoittaa sen lujuutta ja mahdollisuuksia jälkiarvoon. Uskomme, että tämä merkitsee käännekohtaa sääennusteessa, joka auttaa avaamaan uusia reittejä vahvistamaan yksilöiden ja teollisuuden säästä riippuvan päätöksenteon laajuutta tekemällä halpaa ennustamista tarkemmaksi, helpommin saatavilla ja sopivammaksi tiettyihin sovelluksiin. 36,7 miljoonan parametrin avulla GraphCast on nykyaikaisten ML-standardien mukainen suhteellisen pieni malli, joka on valittu pitämään muistin jalanjälki käsiteltävänä. Ja kun HRES julkaistaan 0,1 asteen resoluutiolla, 137 tasolla ja jopa 1 tunnin aikavälein, GraphCast toimii 0,25 asteen leveys-pituusresoluutiolla, 37 pystysuoralla tasolla ja 6 tunnin aikaväleillä, koska ERA5-koulutustietojen natiivinen 0,25 asteen resoluutio ja insinöörin haasteet korkeamman resoluution tietojen asentamisessa laitteistoon. Yleisesti ottaen GraphCast on katsottava mallien perheeksi, jossa nykyinen versio on suurin, joka käytännössä sopii nykyisiin tekniikan rajoituksiin, mutta One key limitation of our approach is in how uncertainty is handled. We focused on deterministic forecasts and compared against HRES, but the other pillar of ECMWF’s IFS, the ensemble forecasting system, ENS, is especially important for 10+ day forecasts. The non-linearity of weather dynamics means there is increasing uncertainty at longer lead times, which is not well-captured by a single deterministic forecast. ENS addresses this by generating multiple, stochastic forecasts, which model the empirical distribution of future weather, however generating multiple forecasts is expensive. By contrast, GraphCast’s MSE training objective encourages it to express its uncertainty by spatially blurring its predictions, which may limit its value for some applications. Building systems that model uncertainty more explicitly is a crucial next step. On tärkeää korostaa, että tietopohjainen MLWP riippuu kriittisesti suurista määristä korkealaatuisia tietoja, jotka on assimiloitu NWP: n kautta, ja että rikkaat tietolähteet, kuten ECMWF: n MARS-arkisto, ovat korvaamattomia. Siksi lähestymistapaamme ei pitäisi pitää perinteisten sääennusteiden korvikkeena, joita on kehitetty vuosikymmeniä, testattu tiukasti monissa todellisissa yhteyksissä ja jotka tarjoavat monia ominaisuuksia, joita emme ole vielä tutkineet. Sääennusteiden lisäksi GraphCast voi avata uusia suuntia muille tärkeille geo-avaruus-aikasuuntautumisongelmille, mukaan lukien ilmasto ja ekologia, energia, maatalous ja ihmisen ja biologinen toiminta sekä muut monimutkaiset dynaamiset järjestelmät. uskomme, että oppineet simulaattorit, jotka on koulutettu rikkaista, reaalimaailman tiedoista, ovat ratkaisevan tärkeitä koneen oppimisen roolin edistämisessä fysiikassa. Tietojen ja materiaalien saatavuus GraphCastin koodi ja koulutetut painot ovat julkisesti saatavilla githubissa https://github.com/ deepmind/graphcast. Tässä teoksessa käytettiin julkisesti saatavilla olevia tietoja European Centre for Medium Range Forecasting (ECMWF). Käytämme ERA5, HRES- ja TIGGE-tuotteiden ECMWF-arkistoa (päättynyt reaaliaikainen) tuotteita, joiden käyttöä säätelee Creative Commons Attribution 4.0 International (CC BY 4.0). Käytämme IBTrACS Versio 4 alkaen https://www.ncei.noaa.gov/ products/international-best-track-archive and reference [13, 12] kuten vaaditaan. Maapallon tekstuuri kuvassa 1 käytetään alla CC BY 4.0 alkaen https://www.solarsystemscope.com/ textures/. Tunnustukset Kiitämme kirjaimellisessa järjestyksessä Kelsey Allen, Charles Blundell, Matt Botvinick, Zied Ben Bouallegue, Michael Brenner, Rob Carver, Matthew Chantry, Marc Deisenroth, Peter Deuben, Marta Garnelo, Ryan Keisler, Dmitrii Kochkov, Christopher Mattern, Piotr Mirowski, Peter Norgaard, Ilan Price, Chongli Qin, Sébastien Racanière, Stephan Rasp, Yulia Rubanova, Kunal Shah, Jamie Smith, Daniel Worrall ja lukemattomia muita Alphabetista ja ECMWF: stä neuvoa ja palautetta työstämme. Kiitämme myös ECMWF:tä arvokkaiden tietokokonaisuuksien tarjoamisesta tutkimusyhteisölle. Avauskohtaisen tyylin innoitti D. Fan et al., Science R Viittaukset [1] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner ja muut. Suhteelliset induktiiviset ennakkoluulot, syvä oppiminen ja graafiset verkostot. arXiv preprint arXiv:1806.01261, 2018. [2] P. Bauer, A. Thorpe ja G. Brunet. Numeristen sääennusteiden hiljainen vallankumous. [3] Stanley G Benjamin, John M Brown, Gilbert Brunet, Peter Lynch, Kazuo Saito ja Thomas W Schlatter. 100 vuotta edistystä ennusteissa ja NWP-sovelluksissa. [4] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu ja Qi Tian. Pangu-ilmasto: 3D-korkean resoluution malli nopeaa ja tarkkaa maailmanlaajuista sääennustetta varten. arXiv ennakkotilaus arXiv:2211.02556, 2022. [5] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne ja muut. THORPEXin vuorovaikutteinen suuri maailmanlaajuinen kokonaisuus. [6] WE Chapman, AC Subramanian, L Delle Monache, SP Xie ja FM Ralph. Ilmakehän joen ennusteiden parantaminen koneoppimalla. Geophysical Research Letters, 46(17-18):10627–10635, 2019. [7] Thomas W Corringham, F Martin Ralph, Alexander Gershunov, Daniel R Cayan ja Cary A Talbot. Ilmakehän joet ajavat tulvien vaurioita Yhdysvaltojen länsiosassa. Tieteen edistysaskelet, 5(12):eaax4631, 2019. [8] Lasse Espeholt, Shreya Agrawal, Casper Sønderby, Manoj Kumar, Jonathan Heek, Carla Bromberg, Cenk Gazen, Rob Carver, Marcin Andrychowicz, Jason Hickey ja muut. Syvä oppiminen kaksitoista tunnin sademääräennusteille. Luonnontiedotteet, 13(1):1–10, 2022. [9] T Haiden, Martin Janousek, J Bidlot, R Buizza, Laura Ferranti, F Prates ja F Vitart. ECMWF:n ennusteiden arviointi, mukaan lukien vuoden 2018 päivitys. [10] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers ja muut. The ERA5 global reanalysis. Quarterly Journal of the Royal Meteorological Society, 146(730):1999–2049, 2020. [11] Ryan Keisler. Maailmanlaajuisen sään ennustaminen graafisten hermoverkkojen avulla. arXiv preprint arXiv:2202.07575, 2022. [12] Kenneth R. Knapp, Howard J. Diamond, James P. Kossin, Michael C. Kruk, Carl J. Schreck ja muut. Kansainvälinen ilmastonmuutoksen hallinnan parhaiden kappaleiden arkisto (IBTrACS) projekti, versio 4. https: //doi.org/10.25921/82ty-9e16, 2018 [13] Kenneth R. Knapp, Michael C. Kruk, David H. Levinson, Howard J. Diamond ja Charles J. Neumann. Kansainvälinen paras ilmastonhallinnan arkisto (IBTrACS), joka yhdistää trooppisten syklonien tiedot. [14] Thorsten Kurth, Shashank Subramanian, Peter Harrington, Jaideep Pathak, Morteza Mardani, David Hall, Andrea Miele, Karthik Kashinath ja Animashree Anandkumar. FourCastNet: Maailmanlaajuisen korkean resoluution sääennusteen nopeuttaminen käyttämällä mukautuvia nelijalkaisia hermooperaattoreita. arXiv preprint arXiv:2208.05419, 2022. [15] David A Lavers, Adrian Simmons, Freja Vamborg, ja Mark J Rodwell. Arviointi ERA5 sademäärästä ilmaston seurantaa varten. Quarterly Journal of the Royal Meteorological Society, 148(748):3152–3165, 2022. [16] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal ja Jason Hickey. Maailmanlaajuinen äärimmäisen lämmön ennustaminen käyttämällä neuronaalisia säämalleja. [17] Carsten Maass ja Esperanza Cuartero. MARS käyttäjäasiakirjat. https://confluence. ecmwf.int/display/UDOC/MARS+user+documentation, 2022. [18] Linus Magnusson. 202208 - lämpöaalto - uk. https://confluence.ecmwf.int/display/ FCST/202208+-+Heatwave+-+UK, 2022. [19] Linus Magnusson, Thomas Haiden ja David Richardson. Extreme Weather Events Verification: Discrete Predictands. European Centre for Medium-Range Weather Forecasts, 2014. [20] Linus Magnusson, Sharanya Majumdar, Rebecca Emerton, David Richardson, Magdalena Alonso-Balmaseda, Calum Baugh, Peter Bechtold, Jean Bidlot, Antonino Bonanni, Massimo Bonavita ja muut. Tropical cyclone activities at ECMWF. [21] Andrew B Martinez. Ennusteen tarkkuus merkitsee hurrikaanivaurioita. Econometrics, 8(2):18, 2020. [22] Benjamin J Moore, Paul J Neiman, F Martin Ralph ja Faye E Barthold. Fyysiset prosessit, jotka liittyvät voimakkaisiin tulviin Nashvillessä, Tennesseessä ja sen ympäristössä 1–2 päivänä toukokuuta 2010: Ilmakehän joki- ja keskisuurten konvektiivijärjestelmien rooli. [23] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist, ja Michael D Dettinger. Meteorologiset ominaisuudet ja maanpäällisten sademäärän vaikutukset ilmakehän joet vaikuttavat Länsirannan Pohjois-Amerikassa perustuu kahdeksan vuoden ssm / i satelliitti havaintoja. [24] Tung Nguyen, Johannes Brandstetter, Ashish Kapoor, Jayesh K Gupta ja Aditya Grover. ClimaX: sää- ja ilmastomalli. arXiv esilehti arXiv:2301.10343, 2023. [25] Jaideep Pathak, Shashank Subramanian, Peter Harrington, Sanjeev Raja, Ashesh Chattopad-hyay, Morteza Mardani, Thorsten Kurth, David Hall, Zongyi Li, Kamyar Azizzadenesheli ja muut. Fourcastnet: Maailmanlaajuinen tiedonlähtöinen korkean resoluution säämalli, jossa käytetään mukautuvia nelijalkaisia hermooperaattoreita. arXiv preprint arXiv:2202.11214, 2022. [26] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez ja Peter Battaglia. Oppiminen verkko-pohjainen simulointi graafisten verkkojen kanssa. [27] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid ja Nils Thuerey. WeatherBench: vertailuarvotietojen joukko data-pohjaiseen sääennusteeseen. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [28] Stephan Rasp ja Nils Thuerey. Tietopohjainen keskipitkän aikavälin sääennuste, jossa on ilmasto-simulaatioita edeltänyt resnet: uusi malli säätiölle. Journal of Advances in Modeling Earth Systems, 13(2):e2020MS002405, 2021. [29] Suman Ravuri, Karel Lenc, Matthew Willson, Dmitry Kangin, Remi Lam, Piotr Mirowski, Megan Fitzsimons, Maria Athanassiadou, Sheleem Kashem, Sam Madge ja muut. Taitavat sademäärät nytkäsittelevät käyttämällä syviä generaattorimalleja. Luonto, 597(7878):672–677, 2021. [30] Takaya Saito ja Marc Rehmsmeier. Tarkkuus-muistutus juoni on informatiivisempi kuin ROC juoni arvioitaessa binary luokittelijat epätasapainoinen tietokokonaisuuksia. PloS yksi, 10(3):e0118432, 2015. [31] Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec ja Peter Battaglia. Oppiminen simuloimaan monimutkaista fysiikkaa graafisten verkkojen avulla. [32] Xingjian Shi, Zhihan Gao, Leonard Lausen, Hao Wang, Dit-Yan Yeung, Wai-kin Wong ja Wang-chun Woo. Syvä oppiminen sademäärän nytcasting: vertailuarvo ja uusi malli. Edistyminen hermoston tietojenkäsittelyjärjestelmissä, 30, 2017. [33] Casper Kaae Sønderby, Lasse Espeholt, Jonathan Heek, Mostafa Dehghani, Avital Oliver, Tim Salimans, Shreya Agrawal, Jason Hickey ja Nal Kalchbrenner. Metnet: Neuraalisen säämalli sademäärän ennustamiseen. arXiv esite arXiv:2003.12140, 2020. [34] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson ja Munehiko Yamaguchi. TIGGE-hanke ja sen saavutukset. American Meteorological Society Bulletin, 97(1):49 – 67, 2016. [35] Jonathan A Weyn, Dale R Durran ja Rich Caruana. Voivatko koneet oppia ennakoimaan säätä? Syvän oppimisen avulla ennustetaan historiallisista säätiedoista rajattua 500 hPa:n geopotentiaalia. Journal of Advances in Modeling Earth Systems, 11(8):2680–2693, 2019. [36] Jonathan A Weyn, Dale R Durran ja Rich Caruana. Tietojen pohjalta suunnatun maailmanlaajuisen sääennusteen parantaminen käyttämällä syviä konvolutionaalisia hermoverkkoja kuutiopaikalla. Journal of Advances in Modeling Earth Systems, 12(9):e2020MS002109, 2020. 1. Tietokoneet Tässä osassa annamme yleiskuvan GraphCastin koulutukseen ja arviointiin käytetyistä tiedoista (täydennysosa 1.1), NWP:n lähtötason HRES:n ennusteita määrittelevistä tiedoista sekä HRES-fc0:sta, jota käytämme HRES:n perustietona (täydennysosa 1.2). Olemme rakentaneet koulutusta ja arviointia varten useita tietokokonaisuuksia, jotka koostuvat ECMWF:n tietovarastojen ja IBTrACS:n alikokonaisuuksista [29, 28]. Yleisesti erotamme lähdetiedot, joita kutsutaan ”arkistoiksi” tai ”arkistoiduiksi tiedoiksi”, verrattuna näistä arkistoista rakennettuihin tietokokonaisuuksiin, joita kutsutaan ”tietokokonaisuuksiksi”. 1.1 Päivä 5 GraphCastin koulutusta ja arviointia varten olemme rakentaneet tietokokonaisuutemme ECMWF:n ERA5 [24]1 -arkistosta, joka on suuri tietokokoelma, joka edustaa maailmanlaajuista säätä vuodesta 1959 nykypäivään 0,25° leveys/pituusresoluutiolla ja 1 tunnin lisäyksillä sadoille staattisille, pinnallisille ja ilmakehän muuttujille. ERA5 -arkisto perustuu uudelleenanalyysiin, joka käyttää ECMWF:n HRES-mallia (syklin 42r1), joka oli käytössä suurimman osan vuodesta 2016 (ks. taulukko 3), ECMWF:n 4D-Var-tietojen assimilointijärjestelmässä. ERA5-tietokokonaisuutemme sisältää ECMWF:n ERA5-arkistossa (taulukko 2) käytettävissä olevia muuttujia 37 paineasteella: 1, 2, 3, 5, 7, 10, 20, 30, 50, 70, 100, 125, 150, 175, 200, 225, 250, 300, 350, 400, 450, 500, 550, 600, 650, 700, 775, 800, 825, 850, 875, 900, 925, 950, 975, 1000 hPa. Vuosien vaihteluväli oli 1979-01-01 vuoteen 2022-01-10 saakka, jolloin näytteet otettiin 6 tunnin välein (vastaa 00z, 06z, 12z ja 18z joka päivä). Näytteet otetaan alikatselmuksella, lukuun ottamatta kaikkia sademääriä, jotka kertyvät 6 tuntia ennen vastaavaa näytteenottoaikaa. 1.2 Valitse HRES-mallin lähtökohdan arviointi edellyttää kahta erillistä tietokokonaisuutta, nimittäin ennustetietoja ja perustietotietoja, jotka on tiivistetty seuraavissa alakohdissa. HRES:ää pidetään yleisesti maailman tarkimpana deterministisena NWP-pohjaisena säämallina, joten arvioidaksemme HRES:n lähtökohtaa olemme rakentaneet tietokokonaisuuden HRES:n arkistoiduista historiallisista ennusteista. HRES:ää päivittää säännöllisesti ECMWF, joten nämä ennusteet edustavat viimeisintä HRES-mallia ennusteiden tekohetkellä. HRES operational forecasts Sitten käytettiin ECMWF:n Metview-kirjastoa, jossa on oletusarvoiset regridiparametrit.Olemme ajallisesti vähentäneet näytteitä 6 tunnin välein.On olemassa kaksi HRES-ennusteiden ryhmää: ne, jotka on alustettu 00z/12z:lla, jotka on vapautettu 10 päivän horisontille, ja ne, jotka on alustettu 06z/18z:lla, jotka on vapautettu 3,75 päivän horisontille. Arvioidaksemme HRES-toimintaennusteiden taitoja rakensimme perustodellisuustietokokonaisuuden, ”HRES-fc0”, joka perustuu ECMWF:n HRES-toimintaennustearkistoon. Tämä tietokokonaisuus koostuu kunkin HRES-toimintaennusteen alkuvaiheesta, aloitusaikoina 00z, 06z, 12z ja 18z (ks. kuva 5). HRES-fc0 -tiedot ovat samanlaisia kuin ERA5-tiedot, mutta niitä assimiloidaan käyttämällä uusinta ECMWF:n NWP-mallia ennusteajankohtana, ja se assimiloi havaintoja ±3 tunnista vastaavan päivämäärän ja kellon ympäri. Huomaa, että ECMWF tarjoaa myös ”HRES-analyysin HRES-fc0 Erittäin pieni osa arvoista ECMWF HRES-arkistosta muuttuvalle geopotentiaaliselle 850 hPa:lla (z850) ja 925 hPa:lla (z925) ei ole numeroita (NaN). Nämä NaN:t näyttävät jakautuvan tasaisesti vuosien 2016–2021 ja ennustetun ajan välillä. Tämä vastaa noin 0,00001 %:a pikseleistä z850:lle (1 pikseli kymmenessä 1440 x 721 leveyspiirissä), 0,00000001 %:a pikseleistä z925:lle (1 pikseli kymmenessä tuhannessa 1440 x 721 leveyspiirissä) ja sillä ei ole mitattavissa olevaa vaikutusta suorituskykyyn. Helpommaksi vertailuksi täytimme nämä puuttuvat arvot välittömien naapureiden piksele HRES NaN handling 1.3 Trooppiset syklonit Trooppisten syklonien ennusteiden analysoinnissa käytimme IBTrACS-arkistoa [28, 29, 31, 30] rakentaaksemme maanpäällisen totuuden tietokokonaisuuden.Tähän sisältyy historiallisia syklonien jälkiä noin kymmenestä arvovaltaisesta lähteestä.Jokainen polku on aikajana, 6 tunnin välein (00z, 06z, 12z, 18z), jossa jokainen aikaväli edustaa syklonin silmää leveys- ja pituuskoordinaateissa sekä vastaava Saffir-Simpson-luokka ja muut merkitykselliset meteorologiset ominaisuudet tuolloin. HRESin lähtötilanteessa käytettiin TIGGE-arkistoa, joka tarjoaa toiminnallisella seurantaohjelmalla arvioituja syklonijälkiä HRESin ennusteista 0,1° resoluutiolla [8, 46]. Tiedot tallennetaan XML-tiedostoina, jotka ovat ladattavissa osoitteessa https://confluence.ecmwf.int/display/TIGGE/Tools. Tietojen muuntamiseksi muotoon, joka sopii jatkokäsittelyyn ja analysointiin, olemme ottaneet käyttöön analyysin, joka poistaa syklonijälkiä kiinnostavista vuosista. XML-tiedostojen asiaankuuluvat osat (tunnisteet) ovat sellaisia, jotka ovat tyypillisesti "ennusteita", jotka sisältävät useita kappaleita, jotka vastaavat eri alkuennusteita. Nä Katso kohdasta 8.1 jäljitysalgoritmin ja tulosten yksityiskohdat. 2. Merkintä ja ongelmailmoitus Tässä osassa määrittelemme hyödyllisiä ajanmerkkejä, joita käytetään koko paperissa (osa 2.1), muodollistamme käsiteltävän yleisen ennusteongelman (osa 2.2) ja yksityiskohtaisesti, miten mallimme säätilan (osa 2.3). 2.1 Ajan mittaaminen Ennustamisessa käytetty aika-merkintä voi olla hämmentävää, ja siihen liittyy useita erilaisia aikasymboleja, esimerkiksi alkuperäisen ennustamisen ajan, voimassaoloajan, ennustamishorisonin jne. Siksi otamme käyttöön joitakin standardoituja termejä ja merkintöjä selkeyden ja yksinkertaisuuden vuoksi. Viittaamme tiettyyn ajankohtaan ”päivämääräaikana”, joka on merkitty kalenteripäivänä ja UTC-aikana. Esimerkiksi 2018-06-21_18:00:00 tarkoittaa 21. kesäkuuta 2018, klo 18:00 UTC. Lyhyesti sanottuna käytämme joskus myös Zulu-yleissopimusta eli 00z, 06z, 12z, 18z tarkoittaa 00:00, 06:00, 12:00, 18:00 UTC. Määrittelemme edelleen seuraavat symbolit: t: Ennustetun ajanjakson indeksi, joka indeksoi vaiheiden lukumäärän ennusteen aloittamisen jälkeen. T: Ennustehorisontti, joka edustaa ennusteen vaiheiden kokonaismäärää. 𝑑: Validity time, which indicates the date-time of a particular weather state. d0: Ennusteen alkuvaiheen aika, joka osoittaa ennusteen alkuperäisten syöttöjen voimassaoloajan. Δd: Ennustetun vaiheen kesto, joka osoittaa, kuinka paljon aikaa kuluu yhden ennustetun vaiheen aikana. τ: Ennustettu johtava aika, joka edustaa ennusteessa kulunutta aikaa (eli τ = tΔd). 2. Yleinen ennusteongelmailmoitus Anna Zd osoittaa todellisen ilmaston todellisen tilan ajassa d. Ajan kehittymistä todellisesta säästä voidaan edustaa taustalla olevalla erillisen ajan dynamiikan funktiolla, Φ, joka tuottaa tilan seuraavassa ajan vaiheessa (Δd tulevaisuudessa) nykyisen mukaan eli Zd+Δd = Φ(Zd). Saamme sitten T-tulevaisuuden sääolosuhteiden polun soveltamalla Φ autoregressiivisesti T-aikoja, Tavoitteenamme on löytää täsmällinen ja tehokas malli, φ, todellisesta dynamiikan toiminnasta, Φ, joka voi tehokkaasti ennustaa säätilan jonkin ennustetun horisontin, TΔd. Oletamme, että emme voi tarkkailla Zd: tä suoraan, mutta sen sijaan meillä on vain osittainen havainto Xd, joka on epätäydellinen edustus tilatiedoista, joita tarvitaan säätä ennustamaan täydellisesti. Koska Xd on vain lähestymistapa hetkelliseen tilaan Zd, tarjoamme myös φ yhden tai useamman menneisyyden tilan, Xd−Δd , Xd−2Δd , ..., lisäksi Xd. Malli voi sitten periaatteessa hyödyntää tätä ylimääräistä asiayhteystietoa lähentämään Zdia tarkemmin. Samankaltainen kuin yhtälö (1), ennuste X ̈d+Δd voidaan syöttää takaisin φ tuottamaan automaattisesti täydellinen ennuste, Arvioimme φ:n ennusteen laatua tai taitoa määrittämällä, kuinka hyvin ennustettu polku, X ̈d+Δd:d+T Δd , vastaa perimmäistä totuuden polkua, Xd+Δd:d+TΔd . On kuitenkin tärkeää korostaa jälleen kerran, että Xd+Δd:d+TΔd sisältää vain havaintojamme Zd+Δd:d+TΔd:stä, joka itsessään on havaitsematta. Tämä on selkeästi kuvattu kohdassa 5. In our work, the temporal resolution of data and forecasts was always Δ𝑑 = 6 hours with a maximum forecast horizon of 10 days, corresponding to a total of 𝑇 = 40 steps. Because Δ𝑑 is a constant throughout this paper, we can simplify the notation using (𝑋𝑡, 𝑋𝑡+1, . . . , 𝑋𝑡+𝑇 ) instead of (𝑋𝑑, 𝑋𝑑+Δ𝑑 , . . . , 𝑋𝑑+𝑇Δ𝑑 ), to index time with an integer instead of a specific date-time. ECMWF:n säätietojen mallinnus Koulutusta ja arviointia varten käsittelemme ERA5-tietokokonaisuuttamme pinnan ja ilmakehän sääolosuhteiden maanpäällisenä totuudenmukaisuutena.Kuten kohdassa 1.2 on kuvattu, käytimme HRES-fc0 -tietokokonaisuutta maanpäällisenä totuutena arvioidaksemme HRES:n taitoja. Tietokannassamme ERA5 sääolosuhteet Xt sisältää kaikki taulukossa 2 olevat muuttujat 0,25° horisontaalisella leveys-pituusresoluutiolla yhteensä 721 × 1440 = 1, 038, 240 verkkopistettä ja 37 pystysuoraa paineen tasoa. Ilmakehän muuttujat on määritelty kaikilla paineen tasoilla ja (horisontaalisten) verkkopisteiden joukko on annettu G0.25◦ = {−90.0, −89.75, . . . , 90.0} × {−179.75, −179.5, . . . , 180.0}. Nämä muuttujat tunnistetaan yksilöllisesti niiden lyhyellä nimellä (ja paineen taso ilmakehän muuttujille). Esimerkiksi pinnan muuttuja ”2 metriä” on merkitty 2 Kaikista näistä muuttujista mallimme ennustaa 5 pinnan muuttujaa ja 6 ilmakehän muuttujaa yhteensä 227 kohde muuttujalle. Useita muita staattisia ja/tai ulkoisia muuttujia tarjottiin myös mallimme syöttöyhteydeksi.Nämä muuttujat on esitetty taulukossa 1 ja taulukossa 2. Staattiset/ulkoiset muuttujat sisältävät tietoja, kuten verkon geometriaa, orografiaa (pinnan geopotentiaali), maa-merimaskiä ja säteilyä ilmakehän yläosassa. We refer to the subset of variables in 𝑋𝑡 that correspond to a particular grid point 𝑖 (1,038,240 in total) as x𝑡, and to each variable 𝑗 of the 227 target variables as 𝑥𝑡 . The full state representation 𝑋𝑡𝑖𝑖, 𝑗 therefore contains a total of 721 × 1440 × (5 + 6 × 37) = 235, 680, 480 values. Note, at the poles, the 1440 longitude points are equal, so the actual number of distinct grid points is slightly smaller. 3. GraphCast model Tässä osassa on yksityiskohtainen kuvaus GraphCast, alkaen autoregressiivinen sukupolvi ennuste (osa 3.1), yleiskatsaus arkkitehtuurin yksinkertaisella kielellä (osa 3.2), jota seuraa tekninen kuvaus kaikki kaaviot, jotka määrittelevät GraphCast (osa 3.3), sen koodaaja (osa 3.4), prosessori (osa 3.5), ja dekooderin (osa 3.6), sekä kaikki normalisointi ja parametrisointi yksityiskohdat (osa 3.7). 3.1 Ennusteen tekeminen Our GraphCast model is defined as a one-step learned simulator that takes the role of 𝜙 in Equation (2) and predicts the next step based on two consecutive input states, Kuten yhtälössä (3), voimme soveltaa GraphCast iteratiivisesti tuottamaan ennusteen Tämä on kuvattu kuvassa 1b,c. Varhaisissa kokeissa havaitsimme, että kaksi syöttötilaa tuotti paremman suorituskyvyn kuin yksi, ja että kolme ei auttanut riittävästi oikeuttamaan lisääntynyttä muistin jalanjälkeä. 3.2. Architecture overview GraphCastin ydinarkkitehtuuri käyttää GNN:itä "koodausprosessin dekoodaus" -muodossa [6], kuten kuvassa 1d,e,f. GNN-pohjaiset oppineet simulaattorit ovat erittäin tehokkaita oppimaan nesteiden ja muiden materiaalien monimutkaista fyysistä dynamiikkaa [43, 39], koska niiden esitysten ja laskelmien rakenne on analoginen oppineille finiittisten elementtien ratkaisijoille [1]. GNN:ien keskeinen etu on se, että syöttögraafin rakenne määrittää, mitkä edustuksen osat vuorovaikuttavat toistensa kanssa oppineiden viestien välityksellä, mikä mahdollistaa tilapäisten vuorovaikutusten mielivaltaiset kuvioet missä tahansa alueella. Sitä vastoin konvolutionaalinen herm The way we capitalize on the GNN’s ability to model arbitrary sparse interactions is by introducing GraphCast’s internal “multi-mesh” representation, which allows long-range interactions within few message-passing steps and has generally homogeneous spatial resolution over the globe. This is in contrast with a latitude-longitude grid which induce a non-uniform distribution of grid points. Using the latitude-longitude grid is not an advisable representation due to its spatial inhomogeneity, and high resolution at the poles which demands disproportionate compute resources. Meidän multi-mesh on rakennettu ensin jakamalla säännöllinen icosahedron (12 solmua ja 20 kasvoja) toistuvasti 6 kertaa saada hierarkia icosahedron mesh yhteensä 40,962 solmua ja 81,920 kasvoja korkeimmalla resoluutiolla. Olemme hyödyntäneet sitä tosiasiaa, että karkea-mesh-solmut ovat alaryhmiä hieno-mesh-solmujen, jonka avulla voimme ylittää reunat kaikilla tasoilla mesh hierarkian hienoin resoluutio mesh. Tämä menettely tuottaa monikerroksinen joukko meshes, jossa karkea reunat silta pitkät etäisyydet useissa mittakaavoissa, ja hienot reunat kuvaavat paikallisia vuorovaikutuksia. Kuva 1g näyttää jokaisen yksittäisen hienostunut mesh, GraphCastin koodaaja (kuva 1d) kartoittaa ensin syöttötiedot alkuperäisestä leveys-pituusverkosta oppimiin ominaisuuksiin multi-meshissä käyttämällä GNN:tä, jossa on reititettyjä reunoja verkosta multi-meshille. Prosessori (kuva 1e) käyttää sitten 16-kerroksista syvää GNN:ää suorittamaan opittujen viestien siirtämistä multi-meshissä, mikä mahdollistaa tiedon tehokkaan leviämisen avaruuden yli pitkän kantaman reunoista johtuen. Kooderi ja dekooderit eivät vaadi raaka-aineiden järjestämistä säännölliseen suoraviivaiseen verkkoon, ja niitä voidaan soveltaa myös mielivaltaisiin verkon kaltaisiin valtion diskretisointeihin [1]. Yleinen arkkitehtuuri perustuu erilaisiin GNN-pohjaisiin oppimiin simulaattoreihin, jotka ovat onnistuneet monissa monimutkaisissa nestejärjestelmissä ja muilla fyysisillä alueilla [43, 39, 15]. Samankaltaisia lähestymistapoja on käytetty sääennusteissa [26], lupaavilla tuloksilla. Yksittäisellä Cloud TPU v4 -laitteella GraphCast pystyy tuottamaan 0,25 asteen resoluution, 10-päivän ennusteen (kuuden tunnin vaiheissa) alle 60 sekunnissa. Vertailun vuoksi ECMWF:n IFS-järjestelmä toimii 11,664-ydinklusterilla ja tuottaa 0,1 asteen resoluution, 10-päivän ennusteen (julkaistu 1-tunnin vaiheissa ensimmäisten 90 tunnin aikana, 3-tunnin vaiheissa 93-144, ja 6-tunnin vaiheissa 150-240 tunnista noin tunnin ajan [41]. Katso HRES-julkaisun yksityiskohdat täällä: https://www.ecmwf.int/en/forecasts/ datasets/set-i. 3.3 GraphCastin grafiikka GraphCast is implemented using GNNs in an “encode-process-decode” configuration, where the encoder maps (surface and atmospheric) features on the input latitude-longitude grid to a multi-mesh, the processor performs many rounds of message-passing on the multi-mesh, and the decoder maps the multi-mesh features back to the output latitude-longitude grid (see Figure 1). Malli toimii kaaviolla G (VG, VM, EM, EG2M, EM2G), joka on määritelty yksityiskohtaisesti seuraavissa kappaleissa. VG edustaa sarjaa, joka sisältää kunkin verkon solmut vG. Jokainen verkon solmu edustaa pystysuuntaista osan ilmakehästä tietyssä leveys-pituuspisteessä, i. Jokaiseen verkon solmukohtaan vG liittyvät ominaisuudet ovat vG,ominaisuudet = [xt−1, xt, ft−1, ft, ft+1, ci], jossa xt on ajasta riippuvainen säätila Xt, joka vastaa verkon solmukohtaa vG ja sisältää kaikki ennustetut datamuuttujat kaikille 37 ilmakehän tasolle sekä pinnanmuuttujille. Pakotetut termit ft koostuvat ajasta riippuvista ominaisuuksista, joita voidaan laskea analyyttisesti, eikä niitä tarvitse ennustaa GraphCastilla. Niihin kuuluvat ilmakehän yläpuolella olevan auringon Grid nodes VM edustaa sarjaa, joka sisältää kunkin vM: n verkko-solmut. Verkko-solmut on sijoitettu tasaisesti ympäri maailmaa R-parannettuun icosahedrian verkkoon MR. M0 vastaa yksikköradion icosahedronia (12 solua ja 20 kolmiota) kasvoilla, jotka ovat ristiriidassa pylväiden kanssa (ks. kuva 1g). Verkko on iteratiivisesti hienostunut Mr → Mr+1 jakamalla jokainen kolmion kasvoista neljään pienempään kasvoon, jolloin jokaisen reunan keskellä on ylimääräinen solmu ja uudelleenprojektoimalla uudet solut takaisin yksikön sfääriin.4 Ominaisuudet vM,jotka liittyvät kunkin verkko-solmun vM: n ominaisuuksiin, sisältävät leveyden Mesh nodes EM ovat kaksisuuntaisia reunoja lisätty verkko solmujen välillä, jotka on yhdistetty verkkoon. Ratkaisevasti verkko reunoja lisätään EM: lle kaikilla jalostustasoilla, eli hienoimmalla verkko, M6, sekä M5, M4, M3, M2, M1 ja M0. Tämä on yksinkertaista, koska miten jalostusprosessi toimii: Mr−1 solmut ovat aina joukko solmuja Mr. Siksi pienemmillä jalostustasoilla käyttöön otetut solmut toimivat solmuina pidemmälle alueelle viestinnälle, riippumatta suurimmasta jalostustasosta. Tuloksena oleva kaavio, joka sisältää reunojen joukon kaikista jalostustasoista, on se, mitä me kutsumme "multi-mesh". Katso kuva 1eg, joka kuvaa kaikkia yksittäisiä verk Mesh edges Jokaiselle reunan eM:lle, joka yhdistää lähettäjän mesh solmun vM vastaanottajan mesh solmun vM:ään, rakennamme vM→vM-reunan ominaisuudet eM, ominaisuudet käyttämällä verkko solmujen yksikkökentän asemaa. Tähän sisältyy reunan vM→vM:n r-pituus ja lähettäjän solmun ja vastaanottajan solmun 3d-asentojen välinen vektorierä laskettuna vastaanottajan paikallisessa koordinaattijärjestelmässä. Vastaanottajan paikallinen koordinaattijärjestelmä lasketaan soveltamalla pyörimistä, joka muuttaa azimuth-kulmaa, kunnes vastaanottajan solmu sijaitsee pituudella 0, jota seuraa pyöriminen, joka muuttaa polaarin kulmaa, kunnes vastaanottaja on myös leveydellä 0. Tämä johtaa yhte EG2M ovat yksisuuntaisia reunoja, jotka yhdistävät lähettäjän verkon solmut vastaanottajan verkon solmuihin. Edge eG2M vG→vM lisätään, jos etäisyys verkon solmun ja verkon solmun välillä on pienempi s r tai yhtä suuri kuin 0,6 kertaa5 reunojen pituus verkossa M6 (ks. kuva 1) joka varmistaa, että jokainen verkon solmu on liitetty vähintään yhteen verkon solmaan. Grid2Mesh edges EM2G ovat yksisuuntaisia reunoja, jotka yhdistävät lähettäjän verkon solmuja vastaanottajan verkon solmuihin. Kunkin verkon pisteen osalta löydämme sen sisältävän verkon M6 kolmion ja lisäämme muodon eM2G vM→vG kolme Mesh2Grid-reunoa, jotka yhdistävät verkon solmun kolmeen verkon solmuun, jotka ovat vierekkäin kyseisen sivun kanssa (ks. kuva 1). Ominaisuudet eM2G,ominaisuudet on rakennettu samalla tavalla kuin verkko vM→vG s r-reunoille. Tämä johtaa yhteensä 3,114,720 Mesh2Grid-reunoihin (3 verkon solmaa, jotka on liitetty kunkin 721 × 1440 leveyden pituisen verkon pisteen kanssa), joilla on neljä syöttöominaisuutta. Mesh2Grid edges 3.4. Encoder Koodaajan tarkoituksena on valmistaa tietoja prosessorin piileviksi esityksiksi, jotka toimivat yksinomaan multi-meshissä. Osana koodainta, me ensin upottaa ominaisuuksia kunkin verkko solmut, verkko solmut, verkko reunat, verkko verkko reunat, ja verkko verkko reunat piilotettuun tilaan kiinteän koon käyttämällä viisi monikerroksista perceptroneja (MLP), Embedding the input features Seuraavaksi, jotta voimme siirtää ilmakehän tilaa koskevia tietoja verkko-solmuista verkko-solmuihin, suorittamme yhden viestin, joka kulkee Grid2Meshin kaksisuuntaisen alaryhmän GG2M(VG, VM, EG2M) yli yhdistämällä verkko-solmuja verkko-solmuihin. Tämä päivitys suoritetaan käyttämällä vuorovaikutusverkkoa [5, 6], joka on lisätty voidakseen työskennellä useiden solmutyyppien kanssa [2]. Grid2Mesh GNN Then each of the mesh nodes is updated by aggregating information from all of the edges arriving at that mesh node: Jokainen verkon solmut päivitetään myös, mutta ilman aggregointia, koska verkon solmut eivät ole vastaanottajia mitään reunoja Grid2Mesh-ala-grafi, Kun kaikki kolme elementtiä on päivitetty, malli sisältää jäljellä olevan yhteyden ja yksinkertaisuuden vuoksi määrittää muuttujat uudelleen, 5. Käsittelijä Prosessori on syvä GNN, joka toimii Mesh subgraph GM (VM, EM), joka sisältää vain Mesh solmut ja ja Mesh reunat. Huomaa Mesh reunat sisältävät koko multi-mesh, ei vain reunat M6, mutta kaikki reunat M5, M4, M3, M2, M1 ja M0, joka mahdollistaa pitkän matkan viestinnän. A single layer of the Mesh GNN is a standard interaction network [5, 6] which first updates each of the mesh edges using information of the adjacent nodes: Multi-mesh GNN Then it updates each of the mesh nodes, aggregating information from all of the edges arriving at that mesh node: And after updating both, the representations are updated with a residual connection and for simplicity of the notation, also reassigned to the input variables: The previous paragraph describes a single layer of message passing, but following a similar approach to [43, 39], we applied this layer iteratively 16 times, using unshared neural network weights for the MLPs in each layer. 3.6. Decoder The role of the decoder is to bring back information to the grid, and extract an output. Analogisesti Grid2Mesh GNN:hen Mesh2Grid GNN suorittaa yhden viestin, joka kulkee Mesh2Gridin kaksisuuntaisen alaryhmän GM2G(VG, VM, EM2G) yli. Grid2Mesh GNN on toiminnallisesti vastaava Mesh2Grid GNN:lle, mutta käyttää Mesh2Gridin reunoja tiedon lähettämiseen vastakkaiseen suuntaan. Mesh2Grid GNN Then it updates each of the grid nodes, aggregating information from all of the edges arriving at that grid node: Tässä tapauksessa emme päivitä verkko-solmuja, koska niillä ei ole mitään roolia tästä hetkestä lähtien. Täällä taas lisäämme jäljellä olevan yhteyden, ja merkinnän yksinkertaisuuden vuoksi määritämme muuttujat uudelleen, tällä kertaa vain verkon solmuille, jotka ovat ainoita, joita tarvitaan tästä pisteestä lähtien: Lopuksi kunkin verkon solmun ennuste yi tuotetaan käyttämällä toista MLP:tä, Output function which contains all 227 predicted variables for that grid node. Similar to [43, 39], the next weather state, 𝑋ˆ𝑡+1, is computed by adding the per-node prediction, 𝑌ˆ𝑡 , to the input state for all grid nodes, 3.7 Normalisointi ja verkon parametrit Samoin kuin [43, 39], normalisoimme kaikki syöttöt. Kunkin fyysisen muuttujan osalta laskimme paineen tason keskiarvon ja standardipoikkeaman vuosina 1979–2015, ja käytimme sitä normalisoidaksemme ne nollan keskiarvoon ja yksikköpoikkeamaan. Suhteellisten reunojen etäisyyksien ja pituuksien osalta normalisoimme ominaisuudet pisimmän reunan pituudeksi. Input normalization Because our model outputs a difference, 𝑌ˆ𝑡 , which, during inference, is added to 𝑋𝑡 to produce 𝑋ˆ𝑡+1, we normalized the output of the model by computing per-pressure level standard deviation statistics for the time difference 𝑌𝑡 = 𝑋𝑡+1 − 𝑋𝑡 of each variable6. When the GNN produces an output, we multiply this output by this standard deviation to obtain 𝑌ˆ𝑡 before computing 𝑋ˆ𝑡+1, as in Equation (18). For simplicity, we omit this output normalization from the notation. Output normalization GraphCastin sisällä olevat hermoverkot ovat kaikki MLP:tä, joissa on yksi piilotettu kerros, ja piilotettuja ja ulostulokerroksia, joiden koko on 512 (lukuun ottamatta Decoderin MLP:n lopullista kerrosta, jonka ulostulokoko on 227, mikä vastaa kunkin grid-solmun ennustettujen muuttujien määrää). valitsimme ”swish” [40] -aktivointitoiminnon kaikille MLP:ille. Neural network parameterizations 4. Koulutuksen yksityiskohdat This section provides details pertaining to the training of GraphCast, including the data split used to develop the model (Section 4.1), the full definition of the objective function with the weight associated with each variable and vertical level (Section 4.2), the autoregressive training approach (Section 4.3), optimization settings (Section 4.4), curriculum training used to reduce training cost (Section 4.5), technical details used to reduce the memory footprint of GraphCast (Section 4.6), training time (Section 4.7) and the software stacked we used (Section 4.8). 4.1. Training split To mimic real deployment conditions, in which the forecast cannot depend on information from the future, we split the data used to develop GraphCast and data used to test its performance “causally”, in that the “development set” only contained dates earlier than those in the “test set”. The development set comprises the period 1979–2017, and the test set contains the years 2018–2021. Neither the researchers, nor the model training software, were allowed to view data from the test set until we had finished the development phase. This prevented our choices of model architecture and training protocol from being able to exploit any information from the future. Within our development set, we further split the data into a training set comprising the years 1979–2015, and a validation set that includes 2016–2017. We used the training set as training data for our models and the validation set for hyperparameter optimization and model selection, i.e., to decide on the best-performing model architecture. We then froze the model architecture and all the training choices and moved to the test phase. In preliminary work, we also explored training on earlier data from 1959–1978, but found it had little benefit on performance, so in the final phases of our work we excluded 1959–1978 for simplicity. 4.2 Koulutuksen tavoitteet GraphCast on koulutettu minimoimaan objektiivinen toiminto 12 vaiheen ennusteissa (3 päivää) ERA5-tavoitteisiin nähden käyttäen gradienttialennusta. Missä τ ∈ 1 : Ttrain ovat johdatusaikoja, jotka vastaavat Ttrainin autoregressiivisia vaiheita. d0 ∈ Dbatch edustaa ennusteen aloituspäivämääräaikoja koulutussarjassa olevien ennusteiden erässä, j ∈ J indeksoi muuttujan ja ilmakehän muuttujien osalta paineen tason. Esimerkiksi J ={z1000, z850, . . . , 2 T, MsL}, 𝑖 ∈ 𝐺0.25◦ are the location (latitude and longitude) coordinates in the grid, x ̈d0+τ ja xd0+τ ovat ennustettuja ja kohdearvoja joillekin muuttujatasolle, sijainnille ja johdatusajalle, j, i j, i 𝑠 𝑗 is the per-variable-level inverse variance of time differences, wj on per-muuttuvan tason menetyspaino, ai on leveys-pituusverkon solun alue, joka vaihtelee leveyden mukaan ja normalisoituu verkon keskiarvoon. Jotta voitaisiin rakentaa yksi asteittainen menetys, otimme keskiarvon leveys-pituuden, paineen tason, muuttujien, johdatusaikojen ja erän koon kautta. Me keskiarvon leveys-pituuden akselien välillä painolla, joka on suhteessa leveys-pituuden solukokoon (normalisoitu tarkoittaen 1). Määrät s = V hxt+1 − xt i −1 ovat muuttuva-tason käänteisiä vaihteluväliarvioita aikaväleistä, joiden tarkoituksena on standardoida tavoitteet (jäljempänä peräkkäiset vaiheet) yksikön vaihteluväliin. Nämä arvioitiin koulutustiedoista. Sitten sovellettiin muuttuvan tason menetyspainoja, ts. Ilmakehän muuttujille keskimäärin tasoilla, joiden paino on suhteessa tason paineeseen (normalisoitu yksikön keskiarvoon), kuten kuvassa 6a. Käytämme paineita täällä tiheyden välittäjänä [26]. Huomaa, että painoarvoa, jota sovelletaan painoarvoihin 50 hPa: ssa tai alle, jossa HRES pyrkii toimimaan paremmin 4.3 Koulutusta autoregressiiviseen päämäärään Jotta voimme parantaa mallimme kykyä tehdä tarkkoja ennusteita useamman kuin yhden vaiheen aikana, käytimme autoregressiivista koulutusjärjestelmää, jossa mallin ennustettu seuraava vaihe syötettiin takaisin syöttöön seuraavan vaiheen ennustamiseksi. Lopullinen GraphCast-versio koulutettiin 12 autoregressiiviseen vaiheeseen alla kuvatun opetussuunnitelman koulutusohjelman mukaisesti. Optimointimenettely laski tappion jokaisessa ennustetussa vaiheessa, suhteessa vastaavaan maapohjaiseen totuuden vaiheeseen, virhemarginaalit suhteessa mallin parametreihin käännettiin takaisin koko rullaamattoman mallin iteraatioiden jakson kautta (eli käyttämällä backpropagation-through-time). 4.4 Optimointi Koulutuksen objektiivitoiminto minimoitiin käyttämällä gradienttialennusta, jossa käytettiin mini-ryhmiä. Otimme näytteitä ERA5-koulutustietokokonaisuudestamme ja korvasimme ne 32-ryhmiä varten. Käytimme AdamW-optimointilaitetta [33, 27] parametreilla (beta1 = 0,9, beta2 = 0,95). Käytimme painoarvoa 0,1 painomateriaaleilla. Käytimme gradienttialennusta (normi) enimmäisnormiarvolla 32. 4.5. Curriculum training schedule Ensimmäinen vaihe koostui 1000 gradienttisesta laskeutumispäivityksestä, jossa oli yksi autoregressiivinen vaihe, ja oppimisnopeuden aikataulusta, joka lisääntyi lineaarisesti 0: sta 1e−3:een (kuvio 7a). Toinen vaihe koostui 299 000 gradienttisesta laskeutumispäivityksestä, taas yhdellä autoregressiivisella vaiheella, ja oppimisnopeuden aikataulusta, joka laski takaisin nollaan puoli-cosine-hajoamisen toiminnolla (kuvio 7b). Kolmas vaihe koostui 11 000 gradienttisesta laskeutumispäivityksestä, jossa autoregressiivisten vaiheiden määrä lisääntyi 2:sta 12:stä 1:een jokaista 1000 päivitystä kohden ja kiinteällä oppimisnopeudella 3e−7 (kuvio 7 6. Muistin jalanjäljen vähentäminen Jotta pitkät polut (12 autoregressiivista vaihetta) mahtuisivat Cloud TPU v4 -laitteen 32 Gt:hen, käytämme useita strategioita mallimme muistin jalanjäljen vähentämiseksi. Ensinnäkin käytämme eräparalleliaisuutta jakaaksemme tietoja 32 TPU-laitteeseen (eli yksi tietopiste laitteessa). Toiseksi käytämme bfloat16:n kelluvan pisteen tarkkuutta aktivointien ottaman muistin pienentämiseen (huomaa, että käytämme täsmällisiä numeerejä (esim. float32) suorituskyvyn mittausten laskemiseen arviointihetkellä). Lopuksi käytämme gradienttistä tarkastuspistettä [11] muistin jalanjäljen pienentämiseksi entisestään koulutuksen nopeuden kustannuksella. 4.7. Training time Koulutuksen aikataulun jälkeen, joka lisää autoregressiivisten vaiheiden määrää, kuten edellä on kuvattu, GraphCast-koulutus kesti noin neljä viikkoa 32 TPU-laitteella. 4.8. Software and hardware stack Käytämme JAX [9], Haiku [23], Jraph [17], Optax, Jaxline [4] ja xarray [25] rakentaa ja kouluttaa malleja. 5. Todentamismenetelmät Tässä jaksossa annetaan yksityiskohtaisia tietoja arviointiprotokollastamme. jaksossa 5.1 esitetään lähestymistapamme datan jakautumiseen syy-yhteydellä varmistamalla arviointitestit merkitykselliseen yleistämiseen eli hyödyntämättä tietoja tulevaisuudesta. jaksossa 5.2 selitetään yksityiskohtaisemmin valintojamme HRES-taitojen arvioimiseksi ja vertailemiseksi GraphCastiin, alkaen siitä, että tarvitaan HRES:lle ominaista maapohjaista totuutta, jotta vältetään sen rankaiseminen lyhyillä pääaikoilla (jaksossa 5.2.1), ERA5:n ja HRES:n vaikutuksesta eri assimilaatiovälineisiin, joita kukin valtio sisältää (jaksossa 5.2.2), tuloksena olevasta aloitusvalinnasta Graph 5.1. Training, validation, and test splits In the test phase, using protocol frozen at the end of the development phase (Section 4.1), we trained four versions of GraphCast, each of them on a different period. The models were trained on data from 1979–2017, 1979–2018, 1979–2019 and 1979–2020 for evaluation on the periods 2018–2021, 2019–2021, 2020–2021 ja 2021, vastaavasti. Jälleen nämä jakaumat säilyttivät syy-eroa mallin version kouluttamiseen käytettyjen tietojen ja sen suorituskyvyn arviointiin käytettyjen tietojen välillä (ks. kuva 8). Suurin osa tuloksistamme arvioitiin vuonna 2018 (eli malli koulutettiin vuosina 1979–2017), lukuun ottamatta useita poikkeuksia. Syklonin seurantakokeissa raportoimme tuloksista vuosina 2018–2021, koska syklonit eivät ole niin yleisiä, joten lisää vuosia lisää näytteiden kokoa. Käytämme viimeisintä GraphCast-versiota tietyn vuoden ennustamiseen: GraphCast <2018 vuoden 2018 ennusteelle, GraphCast <2019 vuoden 2019 ennusteelle jne. Koulutustietokokeille arvio 5.2 GraphCastin ja HRESin vertailu 5.2.1. Choice of ground truth datasets GraphCast on koulutettu ennustamaan ERA5-tietoja ja ottamaan ERA5-tiedot syöttötietona; käytämme myös ERA5-tietoa mallimme arvioinnissa. HRES-ennusteet on kuitenkin alustettu HRES-analyysin perusteella. Yleisesti ottaen mallin tarkistaminen omasta analyysistään antaa parhaat taitoarvioinnit [45]. Sen sijaan, että arvioisimme HRES-ennusteita ERA5-pohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanpohjanp 5.2.2 Yhdenvertaisen näkökulman varmistaminen assimilaatioikkunoissa When comparing the skills of GraphCast and HRES, we made several choices to control for differences between the ERA5 and HRES-fc0 data assimilation windows. As described in Section 1, each day HRES assimilates observations using four +/-3h windows centered on 00z, 06z, 12z and 18z (where 18z means 18:00 UTC in Zulu convention), while ERA5 uses two +9h/-3h windows centered on 00z and 12z, or equivalently two +3h/-9h windows centered on 06z and 18z. See Figure 9 for an illustration. We chose to evaluate GraphCast’s forecasts from the 06z and 18z initializations, ensuring its inputs carry information from +3h of future observations, matching HRES’s inputs. We did not evaluate GraphCast’s 00z and 12z initializations, to avoid a mismatch between having a +9h lookahead in ERA5 inputs versus +3h lookahead for HRES inputs. Kuva 10 osoittaa GraphCastin suorituskyvyn, joka on alustettu 06z/18z:sta ja 00z/12z:sta. Kun GraphCastin suorituskyky on alustettu tilasta, jossa on suurempi lookahead, GraphCast saa näkyvän parannuksen, joka jatkuu pidemmillä lead-ajoilla, mikä tukee valintamme alustetulle arvioinnille 06z/18z:sta. Käytämme samaa logiikkaa valitessamme arvioitavaksi tarkoitetun kohteen: arvioimme vain kohteita, jotka sisältävät 3h lookaheadin sekä HRES:lle että ERA5:lle. Kun otetaan huomioon aloitusvaihtoehtomme at 06z ja 18z, tämä vastaa arviointia 12 tunnin välein, tulevilla 06z- ja 18z-analyysiajoilla. Käytännön esimerkkin 5.2.3 Alkuperäistämisen ja voimassaoloaikojen mukauttaminen Kuten edellä todettiin, oikeudenmukainen vertailu HRES: n kanssa edellyttää, että arvioimme GraphCastia käyttämällä 06z- ja 18z-aloituksia ja johdatusaikoja, jotka ovat 12h: n moninkertaisia, mikä tarkoittaa, että voimassaoloajat ovat myös 06z ja 18z. Jopa 3,75 päivän johdotusaikoja varten on arkistoituja HRES-ennusteita käytettävissä käyttämällä 06z- ja 18z-aloitusaikoja ja voimassaoloaikoja, ja käytämme näitä suorittamaan samanlaisen vertailun GraphCastin kanssa näissä johdotusaikoissa. Huomaa, että koska arvioimme vain 12 tunnin johdatusaikaosuuksia, tämä tarkoittaa, että lopullinen johdatusaika on 3,5 päivää. 4 päivän ja sitä pidemmälle arkistoidut HRES-ennusteet ovat käytettävissä vain 00z- ja 12z-aloituksilla, mikä ottaen huomioon 12 tunnin monikäyttöajat tarkoittaa 00z- ja 12z-voimassaoloaikoja. Näissä globaalisti määriteltyjen RMSEs:ien vertailuissa odotamme, että ero päivittäisessä ajassa antaa HRES:lle hieman etua. Kuvassa 11 näemme, että jopa 3,5 päivän johtoajat, HRES RMSEs ovat yleensä pienempiä keskimäärin yli 00z ja 12z aloitus- / voimassaoloajat kuin ne ovat 06z ja 18z kertaa, joilla GraphCast arvioidaan. Voimme myös nähdä, että ero pienenee johtoajan kasvaessa, ja että 06z/18z RMSEs yleensä näyttävät pyrkivän asymptoottiseksi yli 00z/12z RMSE: n, mutta 2%: n sisällä. Odotamme, että nämä erot jatkavat HRES: n suosimista pidemmillä johtoajoilla ja siitä huolimatta, että ne pysyvät pieninä, joten emme usko, että ne Aina kun suunnittelemme RMSE:n ja muiden arviointimittareiden johtavan ajan funktiona, osoitamme pisteellä 3.5 päivän vaihtopisteen, jossa vaihdamme HRES: n arvioinnista 06z/18z: ssä arviointiin 00z/12z: ssä. 5.2 Arviointijaksot Suurin osa tärkeimmistä tuloksistamme on raportoitu vuodelle 2018 (testaussarjastamme), jonka ensimmäinen ennusteen alustava aika oli 2018-01-01_06:00:00 UTC ja viimeinen 2018-12-31_18:00:00, tai kun arvioidaan HRES:ää pidemmillä ohjausajoilla, 2018-01-01_00:00:00 ja 2018-12-31_12:00:00. 5.3 Arviointimetriikka Määritämme GraphCastin, muiden ML-mallien ja HRES-mallien taitavuuden käyttämällä juurivaiheen keskiarvoa (RMSE) ja epänormaali korrelaatiokerrointa (ACC), jotka molemmat lasketaan mallien vastaavien maanpäällisten totuustietojen perusteella. RMSE mittaa ennusteiden ja maanpäällisen totuuden välisten erojen suuruuden j:llä indeksoidulla muuttujalla ja annetulla johdatusajalla τ (ks. yhtälö (20)). ACC, Lj,τ on määritelty yhtälössä (29) ja mittaa, kuinka hyvin ennusteiden erot ilmastosta, ts. sijainnin ja päivämäärän keskimääräinen sää, korreloivat maanpäällisten totuuksien erojen kanssa ilmastosta. Osaamispiste All metrics were computed using float32 precision and reported using the native dynamic range of the variables, without normalization. Määritimme ennustamiskyvyn tietylle muuttujalle, x j: lle ja johdatusajalle, τ = tΔd, käyttäen latitudin painotettua keskimääräistä neliövirhettä (RMSE), joka annetaan Root mean square error (RMSE) Missä • 𝑑0 ∈ 𝐷eval represent forecast initialization date-times in the evaluation dataset, • j ∈ J indeksi muuttujat ja tasot, esim. J = {z1000, z850, . . . , 2 T, MsL}, • i ∈ G0.25◦ ovat sijainnin (laajuus ja pituus) koordinaatit verkossa, • x ̈d0+τ ja xd0+τ ovat ennustettuja ja kohdearvoja joillekin muuttujatasolle, sijainnille ja johdatusajalle, J, J ja J • ai on leveys-pituusverkon solun pinta-ala (normalisoitu verkon keskiarvoon), joka vaihtelee leveyden mukaan. By taking the square root inside the mean over forecast initializations we follow the convention of WeatherBench [41]. However we note that this differs from how RMSE is defined in many other contexts, where the square root is only applied to the final mean, that is, In all comparisons involving predictions that are filtered, truncated or decomposed in the spherical harmonic domain, for convenience we compute RMSEs directly in the spherical harmonic domain, with all means taken inside the square root, Root mean square error (RMSE), spherical harmonic domain. Here 𝑓ˆ𝑑0+𝜏 and 𝑓 𝑑0+𝜏 are predicted and target coefficients of spherical harmonics with total wavenumber 𝑗,𝑙,𝑚 𝑗,𝑙,𝑚 Laskemme nämä kertoimet verkkoon perustuvista tiedoista käyttämällä erillistä pallomaista harmonista muutosta [13] kolmiulotteisella poikkileikkauksella aallonumeroon 719, joka valittiin ratkaisemaan 0,25° (28km) resoluutio verkostomme ekvaattorissa. This RMSE closely approximates the grid-based definition of RMSE given in Equation (21), however it is not exactly comparable, in part because the triangular truncation at wavenumber 719 does not resolve the additional resolution of the equiangular grid near the poles. This is computed following the RMSE definition of Equation (21), but for a single location: Root mean square error (RMSE), per location. Jaamme myös RMSE: n vain leveysasteella: jossa G0.25◦ G0.25◦ G0=1440 on säännöllisen 0,25°-verkkomme eri pituuksien lukumäärä. This is computed following the RMSE definition of Equation (21) but restricted to a particular range of surface elevations, given by bounds 𝑧𝑙 ≤ 𝑧surface < 𝑧𝑢 on the surface geopotential: Root mean square error (RMSE), by surface elevation. jossa ll tarkoittaa indikaattoritoimintoa. Tämä määrä on määritelty Mean bias error (MBE), per location. This quantifies the average magni-tude of the per-location biases from Equation (26) and is given by Root-mean-square per-location mean bias error (RMS-MBE). This quantifies the correlation between per-location biases (Equation (26)) of two different models A and B. We use an uncentered correlation coefficient because of the significance of the origin zero in measurements of bias, and compute this quantity according to Correlation of per-location mean bias errors. Anomaly correlation coefficient (ACC). Laskimme myös anomaly correlation coefficient tietylle muuttujalle, x j, ja johdatusaika, τ = tΔd, mukaan jossa Cd0+τ on tietyn muuttujan, tason, leveyden ja pituuden ilmastollinen keskiarvo sekä vuoden päivä, joka sisältää voimassaoloajan d0 + τ. Ilmastoarvot laskettiin käyttämällä ERA5-tietoja vuosien 1993 ja 2016 välillä. 5.3 Tilastollinen menetelmä 5.4.1 Välineiden välisen eron merkityksellisyystestit Kunkin johdatusajan τ ja muuttujan tason j osalta testaamme keskimääräisen eron per-initialization-ajan RMSEs:ien välillä (määritelty yhtälössä (30)) GraphCastille ja HRES:lle. Käytämme parillista kaksisuuntaista t-testiä, jossa on korjaus automaattiseen korrelaatioon, noudattaen menetelmää [16]. Tämä testi olettaa, että ennustepisteiden väliset erot ovat riittävästi mallinnettuja staattisina Gaussian AR(2) -prosesseina. Testimme nimellisnäytteen koko on n = 730 alle neljän päivän päätetapahtumissa, jotka koostuvat kahdesta päivittäisestä ennusteen alustavuudesta vuoden 2018 365 päivän aikana (n = 729 päätetapahtumissa neljän päivän aikana, katso kohta 5.4.2). Nämä tiedot (ennusteiden RMSEs-erot) ovat kuitenkin ajallisesti automaattisesti korreloituja. Sen jälkeen [16] arvioimme inflaatiotekijän k standardivirheelle, joka korjaa tämän. Katso taulukko 5 yksityiskohtaisista tuloksista merkityksellisyystesteistämme, mukaan lukien p-arvot, t-testin tilastot ja neff-arvot. 4.2 Ennusteiden mukauttaminen For lead times 𝜏 less than 4 days, we have forecasts available at 06z and 18z initialization and validity times each day for both GraphCast and HRES, and we can test for differences in RMSEs between these paired forecasts. Defining the per-initialization-time RMSE as: Laskemme eroja jota käytämme testaamaan nollahypoteesia, että E[diff-RMSE( j, τ, d0)] = 0 vasten kaksisuuntaista alterna-tivea. Huomaa, että stabiilisuusolettamuksemme mukaan tämä odotus ei riipu d0:sta. Kuten kohdassa 5.2.3 on käsitelty, neljän päivän tai useamman päivän pääaikoina meillä on käytettävissä vain HRES-ennusteita 00z: ssä ja 12z: ssä aloitus- ja voimassaoloaikoina, kun taas oikeudenmukaisimmalla vertailulla (kohdassa 5.2.2) GraphCast-ennusteita on arvioitava käyttämällä 06z: n ja 18z: n aloitus- ja voimassaoloaikoja. Jotta voimme suorittaa yhdistetyn testin, verrataan GraphCast-ennusteen RMSE: ta interpoloidulla RMSE: llä molemmilla HRES-ennusteilla: yksi on aloitettu ja voimassa 6 tuntia aikaisemmin ja toinen on aloitettu ja voimassa 6 tuntia myöhemmin, kaikki samalla pääaikalla. Voimme käyttää näitä testata nollahypoteesi E[diff-RMSEinterp( j, τ, d0)] = 0, joka taas ei riipu d0 stabiilisuus oletuksena eroista. Jos jatkossa oletetaan, että HRES RMSE aika sarja itse on stabiili (tai ainakin tarpeeksi lähellä stabiili yli 6 tunnin ikkuna) sitten E[diff-RMSEinterp( j, τ, d0)] = E[diff-RMSE( j, τ, d0)] ja interpoloituja eroja voidaan myös käyttää testaamaan poikkeamia alkuperäisestä nollahypoteesi että E[diff-RMSE( j, τ, d0)] = 0. Tämä vahvempi pysyvyysolettama HRES RMSEs rikkoo päivittäinen jaksottaisuus, ja kohdassa 5.2.3 näemme joitakin järjestelmällisiä eroja HRES RMSEs välillä 00z/12z ja 06z/18z voimassaoloajat. Kuitenkin kuten siellä käsitellään, nämä järjestelmälliset erot vähenevät huomattavasti johdatusajan kasvaessa ja ne pyrkivät edistämään HRES, ja siksi uskomme, että testi E[diff-RMSE( j, τ, d0)] = 0 perustuu diff-RMSEinterp on konservatiivinen tapauksissa, joissa GraphCast näyttää olevan suurempi taito kuin HRES. 5.4.3 RMSEs-laitteiden luottamusvälit The error bars in our RMSE skill plots correspond to separate confidence intervals for 𝔼[RMSE𝐺𝐶] and 𝔼[RMSE𝐻𝑅𝐸𝑆] (eliding or now the arguments 𝑗, 𝜏, 𝑑0). These are derived from the two-sided 𝑡-test with correction for autocorrelation that is described above, applied separately to GraphCast and HRES RMSE time-series. Nämä luottamusvälit tekevät pysyvyysolettamuksen erilliselle GraphCast- ja HRES RMSE-aikasarjalle, joka kuten edellä todettiin, on vahvempi oletus siitä, että erojen pysyvyys on jonkin verran rikottu. 5.4.4 RMSE-taitotietojen luottamusvälit Kohdassa 5.4.1 kuvatusta t-testistä voimme myös johtaa vakiomuotoisesti RMSEs:n todellisen eron luottamusväliä, mutta osaamispisteissämme haluamme näyttää luottamusväliä todelliselle RMSE:n osaamispisteelle, jossa todellinen ero normalisoidaan HRES:n todellisella RMSE:llä: A confidence interval for this quantity should take into account the uncertainty of our estimate of the true HRES RMSE. Let [𝑙diff, 𝑢diff] be our 1 − 𝛼/2 confidence interval for the numerator (difference in RMSEs), and [𝑙HRES, 𝑢HRES] our 1 − 𝛼/2 confidence interval for the denominator (HRES RMSE). Given that 0 < 𝑙𝐻𝑅𝐸𝑆 in every case for us, using interval arithmetic and the union bound we obtain a conservative 1 − 𝛼 confidence interval Suunnittelemme nämä luottamusvälit RMSE-taitoarvioidemme rinnalle, mutta huomaa, että emme luota niihin merkityksellisyystestauksessa. 6. Comparison with previous machine learning baselines To determine how GraphCast’s performance compares to other ML methods, we focus on Pangu-Weather [7], a strong MLWP baseline that operates at 0.25° resolution. To make the most direct comparison, we depart from our evaluation protocol, and use the one described in [7]. Because published Pangu-Weather results are obtained from the 00z/12z initializations, we use those same initializations for GraphCast, instead of 06z/18z, as in the rest of this paper. This allows both models to be initialized on the same inputs, which incorporate the same amount of lookahead (+9 hours, see Sections 5.2.2 and 5.2.3). As HRES initialization incorporates at most +3 hours lookahead, even if initialized from 00z/12z, we do not show the evaluation of HRES (against ERA5 or against HRES-fc0) in this comparison as it would disadvantage it. The second difference with our protocol is to report performance every 6 hours, rather than every 12 hours. Since both models are evaluated against ERA5, their targets are identical, in particular, for a given lead time, the target incorporates +3 hours or +9 hours of lookahead for both GraphCast and Pangu-Weather, allowing for a fair comparison. Pangu-Weather[7] reports its 7-day forecast accuracy (RMSE and ACC) on: z500, T 500, T 850, Q 500, U 500, v 500, 2 T, 10 U, 10 v, and MsL. As shown in Figure 12, GraphCast (blue lines) outperforms Pangu-Weather [7] (red lines) on 99.2% of targets. For the surface variables (2 T, 10 U, 10 v, MsL), GraphCast’s error in the first several days is around 10-20% lower, and over the longer lead times plateaus to around 7-10% lower error. The only two (of the 252 total) metrics on which Pangu-Weather outperformed GraphCast was z500, at lead times 6 and 12 hours, where GraphCast had 1.7% higher average RMSE (Figure 12a,e). 7. Ennusteiden tarkastuksen tulokset Tässä osiossa esitetään GraphCastin suorituskyvyn lisäanalyysi, joka antaa täydellisen kuvan sen vahvuuksista ja rajoituksista. Osa 7.1 täydentää paperin tärkeimpiä tuloksia ylimääräisistä muuttujista ja tasoista z500:n ulkopuolella. Osa 7.2 analysoi GraphCastin suorituskykyä, joka on jaettu alueiden, leveyden ja paineen tasojen mukaan (erityisesti erottamalla suorituskyvyn alapuolella ja tropopaussin yläpuolella), kuvaa ennakkoluuloja ja RMSE:tä leveyden pituudella ja korkeudella. Osa 7.3 osoittaa, että sekä multi-mesh että autoregressiivinen menetys ovat tärkeässä asemassa GraphCastin suorituskyvyssä. Osa 7.4 yksityiskohtaisesti kuvailee HRES 7.1 Lisämuuttujien yksityiskohtaiset tulokset 7.1.1. RMSE and ACC Kuva 13 täydentää kuvaa 2a–b ja näyttää RMSE:n ja normalisoidun RMSE:n eron suhteessa HRES:ään GraphCastille ja HRES:lle 12 kohokohdan muuttujan yhdistelmässä. Kuva 14 näyttää ACC:n ja normalisoidun ACC:n eron suhteessa HRES:ään GraphCastille ja HRES:lle samassa 12 muuttujan yhdistelmässä ja täydentää kuvaa 2c. ACC:n taitopiste on normalisoitu ACC:n ero mallin A ja lähtökohdan B välillä (ACCA − ACCB)/(1 − RMSEB). 7.1.2. Detailed significance test results for RMSE comparisons Taulukossa 5 esitetään lisätietoja tilastollisesta merkityksestä annetuista väitteistä pääosassa, joka koskee GraphCastin ja HRES:n välisiä RMSE:n eroja. Menetelmän yksityiskohdat ovat kohdassa 5.4. Tässä annamme p-arvot, testaustilastot ja tehokkaat näytteiden koot kaikille muuttujille. Tilavuuden vuoksi rajoitamme itsemme kolmeen keskeiseen johtumisaikaan (12 tuntia, 2 päivää ja 10 päivää) ja 7 paineen tasojen alaryhmään, jotka on valittu sisällyttämään kaikki tapaukset, joissa p > 0,05 näissä johtumisaikoissa. 7.1.3. Effect of data recency on GraphCast MLWP-menetelmien tärkeä ominaisuus on se, että niitä voidaan säännöllisesti kouluttaa uudelleen uusimpien tietojen avulla. Tämä periaatteessa antaa heille mahdollisuuden mallia viimeaikaisista säämalleista, jotka muuttuvat ajan myötä, kuten ENSO-syklistä ja muista värähtelyistä sekä ilmastonmuutoksen vaikutuksista. Jotta voitaisiin tutkia, miten koulutustietojen äskettäisyys vaikuttaa GraphCastin testitulokseen, koulutettiin neljä GraphCast-muunnelmaa, joiden koulutustiedot alkoivat aina vuonna 1979, mutta päättyivät vastaavasti vuonna 2017, 2018, 2019 ja 2020 (merkitsimme vuoden 2017 päättyvän variantin ”GraphCast:<2018”, jne.). Kuva 15 osoittaa GraphCastin neljän muunnelman taito- ja taitopisteen (toisin kuin HRES) määrän useille muuttujille ja täydentää kuvaa 4a. On olemassa yleinen trendi, jossa vuosia lähempänä testivuotta koulutetuilla muunnelmilla on yleisesti parannettu taitopisteitä HRES:ää vastaan. Tämän parannuksen syytä ei ole täysin ymmärretty, vaikka spekuloimme, että se on samanlainen kuin pitkän aikavälin ennakkoluulojen korjaus, jossa viimeaikaisia tilastollisia ennakkoluuloja säässä hyödynnetään tarkkuuden parantamiseksi. On myös tärkeää huomata, että HRES ei ole yksittäinen NWP vuosien varrella: sitä pyritään päivittämään kerran tai kahdesti vuodessa, ja yleensä z500- ja muiden This may also contribute to why GraphCast:<2018 and GraphCast:<2019, in particular, have lower skill scores against HRES at early lead times for the 2021 test evaluation. We note that for other variables, GraphCast:<2018 and GraphCast:<2019 tend to still outperform HRES. These results highlight a key feature of GraphCast, in allowing performance to be automatically improved by re-training on recent data. 7.2. Disaggregated results 7.2.1 RMSE alueittain Ennustamistaitojen alueellista arviointia esitetään kuvioissa 17 ja 18, käyttäen samoja alueita ja nimeämiskonventiota kuin ECMWF: n tulostauluissa (https://sites.ecmwf.int/ifs/scorecards/ scorecards-47r3HRES.html). Lisäsimme joitakin lisäalueita koko planeetan paremman kattavuuden varmistamiseksi. Nämä alueet on esitetty kuvassa 16. 7.2.2 RMSE-taitotiedot leveyden ja paineen mukaan Kuvassa 19 piirrämme normalisoidut RMSE-erot GraphCastin ja HRES: n välillä sekä paineen tason että leveyden funktiona. Näissä tontteissa ilmoitamme jokaisella leveysasteella troposfäärin keskimääräisen paineen, joka erottaa troposfäärin stratosfääristä. Käytämme ERA-15-tietokokonaisuuden (1979-1993) arvot, jotka annetaan kuvassa 1 [44]. Nämä eivät ole aivan samat kuin ERA5:lle, vaan ne on tarkoitettu ainoastaan tulkinnan tukena. Voimme nähdä kuvassa 2 olevasta tuloskortista, että GraphCast suorittaa huonommin kuin HRES alimmalla arvioidulla paineen tasolla (50 hPa). Kuva 19 osoittaa, että paineen taso, jolla GraphCast alkaa pahentua, on usein myös leveysriippuvainen, joissakin tapauksissa suunnilleen troposfäärin keskimääräisen tason jälkeen. The reasons for GraphCast’s reduced skill in the stratosphere are currently poorly understood. We use a lower loss weighting for lower pressure levels and this may be playing some role; it is also possible that there may be differences between the ERA5 and HRES-fc0 datasets in the predictability of variables in the stratosphere. 7.2.3 Laajeneminen leveyden ja pituuden mukaan Kuvissa 20–22 piirrämme GraphCastin keskimääräisen ennakkoluulovirheen (MBE, tai vain ”viiva”, joka on määritelty yhtälössä (26)) latitudin ja pituuden funktiona kolmella johdatusajalla: 12 tuntia, 2 päivää ja 10 päivää. In the plots for variables given on pressure levels, we have masked out regions whose surface elevation is high enough that the pressure level is below ground on average. We determine this to be the case when the surface geopotential exceeds a climatological mean geopotential at the same location and pressure level. In these regions the variable will typically have been interpolated below ground and will not represent a true atmospheric value. Jotta voimme määrittää kuviossa 20-22 esitettyjen sijaintikohtaisten ennakkoluulojen keskimääräisen suuruuden, laskimme sijaintikohtaisten keskimääräisten ennakkoluulo-virheiden (RMS-MBE, määritelty yhtälössä (26)). Nämä on kaiverrettu kuviossa 23 GraphCastille ja HRES:lle johdon ajanjakson funktiona. Voimme nähdä, että GraphCastin ennakkoluulo on keskimäärin pienempi kuin HRES:n useimmilla muuttujilla jopa 6 päivään saakka. Laskimme myös GraphCastin ja HRES: n sijaintikohtaisten keskimääräisten ennakkoluulojen välisen korrelaatiokertoimen (määritelty yhtälössä (27)), joka on piirretty johdatusaika-funktiona kuvassa 24. Voimme nähdä, että GraphCastin ja HRES: n ennakkoluulot ovat korreloimattomia tai heikosti korreloituja lyhyimmillä johdatusaikoilla, mutta korrelaatiokerroin kasvaa yleensä johdatusaikana ja saavuttaa arvoja, jotka ovat korkeintaan 0,6 10 päivässä. 7.2.4. RMSE taito pisteet leveys- ja pituusluokittain Kuvissa 25–27 kuvataan GraphCastin ja HRES:n välinen normalisoitu RMSE-ero leveyden ja pituuden mukaan. Kuten kohdassa 7.2.3, paineen tasoilla annettujen muuttujien osalta olemme naamioineet alueet, joiden pinta-alan korkeus on riittävän korkea, että paineen taso on keskimäärin maan alla. Merkittäviä alueita, joilla HRES ylittää GraphCastin, ovat erityinen kosteus lähellä pylväitä (erityisesti etelärannikkoa); geopotentiaali lähellä pylväitä; 2m lämpötila lähellä pylväitä ja monilla maa-alueilla; ja useita pinta- tai lähipinta-muuttujia alueilla, joilla on korkea pinta-ala (ks. myös kohta 7.2.5). At 12 hour and 2 day lead times both GraphCast and HRES are evaluated at 06z/18z initialization and validity times, however at 10 day lead times we must compare GraphCast at 06z/18z with HRES at 00z/12z (see Section 5). This difference in time-of-day may confound comparisons at specific locations for variables like 2m temperature (2 T) with a strong diurnal cycle. 7.2.5. RMSE skill score by surface elevation Kuvassa 25 näemme, että GraphCast näyttää vähentävän taitoa korkean korkeuden alueilla monille muuttujille 12 tunnin ohjausajalla.Tutkiskelemaan tätä edelleen jaettiin maapallon pinta 32 binsin mukaan pinta-alan korkeuden mukaan (annetaan geopotentiaalisen korkeuden osalta) ja laskettiin RMSEs kunkin binin sisällä yhtälön (24). At short lead times and especially at 6 hours, GraphCast’s skill relative to HRES tends to decrease with higher surface elevation, in most cases dropping below the skill of HRES at sufficiently high elevations. At longer lead times of 5 to 10 days this effect is less noticeable, however. Huomaamme, että GraphCast on koulutettu muuttujille, jotka on määritelty käyttämällä sekoitus paineen tason koordinaatteja (ilmakehän muuttujille) ja korkeuden yläpinnan koordinaatteja (pinnan tason muuttujille, kuten 2m lämpötila tai 10m tuuli). Näiden kahden koordinaattijärjestelmän välinen suhde riippuu pinnan korkeudesta. Huolimatta GraphCastin säätelystä pinnan korkeudella olemme arvelleet, että se voi kamppailla oppia tätä suhdetta ja ekstrapoloida sen hyvin korkeimpiin pinnan korkeuksiin. Jatkossa ehdotamme, että yritämme kouluttaa mallia ERA5: n alkuperäisten mallitasojen alaryhmässä paineen tasojen sijasta; nämä käyttävät hybridikoordinaattijärjestelmää [14] Paineen tason koordinaatteja käyttävät muuttujat interpoloidaan maan alle, kun paineen taso ylittää pintapaineen. GraphCast ei anna mitään nimenomaista merkkiä siitä, että tämä on tapahtunut, ja tämä voi lisätä haasteen oppia ennustamaan korkealla pinnalla. Lopuksi menetyspainomme on pienempi ilmakehän muuttujille alhaisemmilla paineen tasoilla, ja tämä voi vaikuttaa taitoon korkeammilla korkeuspaikoilla. 7.3. GraphCast ablations 7.3.1 Monipuolinen ablaatio To better understand how the multi-mesh representation affects the performance of GraphCast, we compare GraphCast performance to a version of the model trained without the multi-mesh representation. The architecture of the latter model is identical to GraphCast (including same encoder and decoder, and the same number of nodes), except that in the process block, the graph only contains the edges from the finest icosahedron mesh 𝑀6 (245,760 edges, instead of 327,660 for GraphCast). As a result, the ablated model can only propagate information with short-range edges, while GraphCast contains additional long-range edges. Figure 29 (left panel) shows the scorecard comparing GraphCast to the ablated model. GraphCast benefits from the multi-mesh structure for all predicted variables, except for lead times beyond 5 days at 50 hPa. The improvement is especially pronounced for geopotential across all pressure levels and for mean sea-level pressure for lead times under 5 days. The middle panel shows the scorecard comparing the ablated model to HRES, while the right panel compares GraphCast to HRES, demonstrating that the multi-mesh is essential for GraphCast to outperform HRES on geopotential at lead times under 5 days. 7.3.2 Autoregressiivisen koulutuksen vaikutukset Analysoimme GraphCastin muunnelmien suorituskykyä, jotka koulutettiin vähemmän autoregressiivisilla (AR) vaiheilla7, mikä kannustaisi heitä parantamaan lyhyen johdon suorituskykyä pidemmän johdon suorituskyvyn kustannuksella. Kuten kuvassa 30 näkyy (valoisilla sinisillä linjoilla, jotka vastaavat harjoittelua vähemmän AR-vaiheilla), havaitsimme, että vähemmän AR-vaiheilla koulutetuilla malleilla oli taipumus käydä kauppaa pidempään lyhyemmän johdon ajanjakson tarkkuuden vuoksi. Nämä tulokset viittaavat mahdollisuuteen yhdistää useita malleja AR-vaiheiden eri numeroilla, esimerkiksi lyhyellä, keskipitkällä ja pitkällä johdolla, hyödyntääkseen niiden vastaavia etuja koko ennust 7.4 Optimaalinen blurring 7.4.1. Vaikutus GraphCastin ja HRESin taitojen vertailuun In Figures 31 and 32 we compare the RMSE of HRES with GraphCast before and after optimal blurring has been applied to both models. We can see that optimal blurring rarely changes the ranking of the two models, however it does generally narrow the gap between them. 7.4.2. Filtering methodology Valitsimme suodattimet, jotka minimoivat RMSE: n lineaaristen, homogeenisten (sijainti muuttumaton), isotrooppisten (suunta muuttumaton) suodattimien luokassa sfäärissä.Nämä suodattimet voidaan soveltaa helposti sfääriseen harmoniseen alueeseen, jossa ne vastaavat moninkertaista suodatinpainoa, joka riippuu aallon kokonaismäärästä, mutta ei pituusaaltojen lukumäärästä [12]. Jokaiselle aloitukselle d0, johtoajalle τ, muuttujalle ja tasolle j sovellettiin erillistä pallomaista harmonista muutosta [13] ennusteisiin x ̈d0+τ ja tavoitteisiin xd0+τ, jolloin saatiin pallomaiset harmoniset kertoimet f ̈d0+τ j j j j,l,m ja f d0+τ jokaiselle kokonaislukumäärän l:n ja pitkänomaisen aallon l:n m:n parille. Sitten keräsimme jokaisen ennustetun kertoimen f ̈d0+τ suodattimen painolla bτ , joka on riippumaton j,l,m j,l pituusaaltojen lukumäärästä m. Suodattimen painot asennettiin käyttämällä pienimpiä neliöitä keskimääräisen neliövirheen minimoimiseksi, kuten sfäärisen harmonisen alueen laskennassa: Käytimme tietoja vuodelta 2017 näiden painoarvojen täyttämiseen, mikä ei päällekkäistä vuoden 2018 testisarjan kanssa.Kun arvioimme suodatettuja ennusteita, laskimme MSE: n pallomaisessa harmonisessa alueessa, kuten on yksityiskohtaisesti esitetty yhtälössä (22). Asentamalla eri suodattimet jokaiselle johdotusajalle, hämärtymisaste kasvoi vapaasti lisääntyneen epävarmuuden myötä pidemmillä johdotusaikoilla. Vaikka tämä menetelmä on melko yleinen, sillä on myös rajoituksia. Koska suodattimet ovat homogeenisiä, ne eivät pysty ottamaan huomioon sijaintikohtaisia ominaisuuksia, kuten orografiaa tai maa-merirajoja, ja siksi niiden on valittava näissä paikoissa ennustettavissa olevien korkean resoluution yksityiskohtien liiallisen hämärtämisen tai yleisemmin ennustamattomien korkean resoluution yksityiskohtien hämärtämisen. Tämä tekee niistä vähemmän tehokkaita joillekin pinta-muuttujille, kuten 2 T, jotka sisältävät monia tällaisia ennustettavissa olevia yksityiskohtia. Vaihtoehtoinen tapa lähentää ehdollista odotusta (ja siten parantaa RMSE:tä) ECMWF-ennusteemme lähtökohtaan olisi arvioida ENS-ensimmäisen ennustejärjestelmän ensimmäisestä keskiarvosta deterministisen HRES-ennusteen sijaan. 7.4.3 Optimaalisten suodattimien siirtotoiminnot The filter weights are visualized in Figure 33, which shows the ratio of output power to input power for the filter, on the logarithmic decibel scale, as a function of wavelength. (With reference to Yhtälö (35), tämä on yhtä suuri kuin 20 log10(bτ ) aallonpituudelle Ce/l, joka vastaa aallon kokonaismäärää l.) For both HRES and GraphCast, we see that it is optimal for MSE to attenuate power over some short-to-mid wavelengths. As lead times increase, the amount of attenuation increases, as does the wavelength at which it is greatest. In optimizing for MSE, we seek to approximate a conditional expectation which averages over predictive uncertainty. Over longer lead times this predictive uncertainty increases, as does the spatial scale of uncertainty about the location of weather phenomena. We believe that this largely explains these changes in optimal filter response as a function of lead time. Näemme, että HRES vaatii yleensä enemmän hämärtymistä kuin GraphCast, koska GraphCastin ennusteet jo hämärtyvät jossain määrin (ks. kohta 7.5.3), kun taas HRES ei. The optimal filters are also able to compensate, to some extent, for spectral biases in the predictions of GraphCast and HRES. For example, for many variables in our regridded ERA5 dataset, the spectrum cuts off abruptly for wavelengths below 62km that are unresolved at ERA5’s native 0.28125◦ resolution. GraphCast has not learned to replicate this cutoff exactly, but the optimal filters are able to implement it. We also note that there are noticeable peaks in the GraphCast filter response around 100km wavelength for z500, which are not present for HRES. We believe these are filtering out small, spurious artifacts which are introduced by GraphCast around these wavelengths as a side-effect of the grid-to-mesh and mesh-to-grid transformations performed inside the model. 7.4.4 Yhteys autoregressiivisen harjoittelun horisontin ja hämärtymisen välillä Kuvassa 34 käytämme optimaalisen hämärtymisen tuloksia selvittääksemme yhteyden autoregressiivisen koulutuksen ja GraphCastin ennusteiden hämärtymisen välillä pidemmillä johtoajoilla. Kuvion 34 ensimmäisessä rivissä näemme, että mallit, jotka on koulutettu pidemmillä autoregressiivisilla koulutushorisonteilla, hyötyvät vähemmän optimaalisesta hämärtymisestä, ja että optimaalisen hämärtymisen edut alkavat yleensä kerääntyä vasta sen horisontin johtavan ajan jälkeen, johon heidät koulutettiin. Olisi kätevää, jos voisimme korvata pidemmän horisontin koulutuksen yksinkertaisella jälkikäsittelystrategialla, kuten optimaalisella hämärtymisellä, mutta näin ei näytä olevan: Kuvion 34 toisessa rivissä näemme, että pidemmän horisontin autoregressiivinen koulutus johtaa edelleen alempaan RMSE: hen, vaikka optimaalista hämärtymistä on sovellettu. Jos halutaan ennusteita, jotka ovat jossain mielessä minimaalisesti epäselviä, voitaisiin käyttää mallia, joka on koulutettu pieneen määrään autoregressiivisia vaiheita. Tämä johtaisi luonnollisesti korkeampiin RMSEs pidemmillä johtoajoilla, ja tulokset täällä viittaavat siihen, että nämä korkeammat RMSEs eivät johtuisi pelkästään epäselvyyden puutteesta; yksi vaarantaa myös muut osaamisen näkökohdat pidemmillä johtoajoilla. 7.5. Spectral analysis 7.5.1 Keskimääräisen neliövirheen spektrinen hajoaminen Kuvissa 35 ja 36 verrataan GraphCastin taitoa HRES: n kanssa useissa avaruusasteissa, ennen ja jälkeen optimaalisen suodattamisen (ks. yksityiskohdat kohdassa 7.4). MSE, sen spektrisen muotoilun kautta (Yhtälö (22)) voidaan hajottaa keskimääräisten virhevoimien summaksi eri kokonaislukuilla: jossa lmax = 719 kuten yhtälössä (22). Jokainen kokonaisluku l vastaa noin aallonpituutta Ce/l, jossa Ce on maapallon ympärysmitta. Esittelemme tehotiheyshistogrammeja, joissa kunkin baarin pinta-ala vastaa S j,τ(l), ja baarit keskittyvät log10(1 + l) ympärille (koska log-taajuusasteikko mahdollistaa helpomman visuaalisen tarkastuksen, mutta meidän on myös sisällytettävä aallonumero l = 0). 2 päivän tai enemmän johtavan ajan, useimmille muuttujille GraphCast parantaa HRES: n taitoa tasaisesti kaikilla aallonpituuksilla. (2m lämpötila on merkittävä poikkeus). At shorter lead times of 12 hours to 1 day, for a number of variables (including z500, T500, T850 and U500) HRES has greater skill than GraphCast at scales in the approximate range of 200-2000km, with GraphCast generally having greater skill outside this range. 7.5.2 RMSE horisontaalisen ratkaisun funktiona Kuvassa 37 verrataan GraphCastin taitoa HRES:ään, kun sitä arvioidaan useilla avaruudellisilla resoluutioilla. Tarkemmin sanottuna, jokaisella kokonaislukuisella ltrunc:llä piirtämme RMSEs:t ennusteiden ja kohteiden välillä, jotka molemmat on lyhennetty kyseisellä kokonaislukulla. The RMSEs between truncated predictions and targets can be obtained via cumulative sums of the mean error powers 𝑆 𝑗,𝜏(𝑙) defined in Equation (37), according to Kuva 37 osoittaa, että useimmissa tapauksissa GraphCast on alhaisempi RMSE kuin HRES kaikissa resoluutioissa, joita tavallisesti käytetään ennusteiden tarkistamiseen. Tämä pätee ennen ja jälkeen optimaalisen suodattamisen (ks. kohta 7.4). Poikkeuksia ovat 2 metrin lämpötila useita johdatusaikoja ja resoluutioita, T 500 12 tunnin johdatusaikoja, ja U 500 12 tunnin johdatusaikoja, jossa GraphCast tekee paremmin 0,25 ° resoluutio, mutta HRES tekee paremmin resoluutioissa noin 0.5◦ 2.5◦ (vastaa lyhyimmät aallonpituudet noin 100-500 km). In particular we note that the native resolution of ERA5 is 0.28125◦ corresponding to a shortest wavelength of 62km, indicated by a vertical line in the plots. HRES-fc0 targets contain some signal at wavelengths shorter than 62km, but the ERA5 targets used to evaluate GraphCast do not, natively at least (see Section 7.5.3). In Figure 37 we can see that evaluating at 0.28125◦ resolution instead of 0.25° does not significantly affect the comparison of skill between GraphCast and HRES. 7.5.3 Ennusteiden ja tavoitteiden valikoima Figure 38 compares the power spectra of GraphCast’s predictions, the ERA5 targets they were trained against, and HRES-fc0. A few phenomena are notable: Erityisesti lyhyillä aallonpituuksilla on huomattavia eroja ERA5:n ja HRES-fc0:n spektrissä. Näitä eroja voivat osittain aiheuttaa menetelmät, joilla ne regressoidaan niiden alkuperäisistä IFS-resoluutioista TL639 (0.28125◦) ja TCo1279 (noin 0.1◦, [36]) 0,25° suorakulmaiseen verkkoon. Kuitenkin ennen tätä regressointia on eroja IFS-versioissa, -asetuksissa, resoluutioissa ja -tietojen assimilaatiomenetelmissä, joita käytetään HRES:ssä ja ERA5:ssä, ja nämä erot voivat vaikuttaa myös spektriin. Koska arvioimme GraphCastia ERA5:n ja HRES:n suhteen HRES-fc0:n suhteen, Differences between HRES and ERA5 We see reduced power at short-to-mid wavelengths in GraphCast’s predictions which reduces further with lead time. We believe this corresponds to blurring which GraphCast has learned to perform in optimizing for MSE. We discussed this further in Sections 7.4 and 7.4.4. Blurring in GraphCast These peaks are particularly visible for z500; they appear to increase with lead time. We believe they correspond to small, spurious artifacts introduced by the internal grid-to-mesh and mesh-to-grid transformations performed by GraphCast at each autoregressive step. In future work we hope to eliminate or reduce the effect of these artifacts, which were also observed by [26]. Peaks for GraphCast around 100km wavelengths Lopuksi huomaamme, että vaikka nämä lyhyiden aallonpituuksien tehon erot ovat hyvin havaittavissa log-asteikossa ja suhteellisissa tontteissa, nämä lyhyet aallonpituudet vaikuttavat vain vähän signaalin kokonaisvoimaan. 8. Additional severe event forecasting results Huomaamme, että GraphCast ei ole erityisesti koulutettu näihin jäljellä oleviin tehtäviin, mikä osoittaa, että parantuneiden taitojen lisäksi GraphCast tarjoaa hyödyllistä ennustusta tehtäville, joilla on reaalimaailman vaikutus, kuten sykloneja seurantaan (kohta 8.1), ilmakehän jokien karakterisointiin (kohta 8.2) ja äärimmäisten lämpötilojen luokitteluun (kohta 8.3). Kukin tehtävä voidaan nähdä myös GraphCastin arvon arvioimiseksi eri akseleilla: korkean resoluution ennustamisen tilava ja ajallinen rakenne (syklonien seuranta tehtävä), kyky yhdistää GraphCast-ennusteet epälineaarisesti saadakseen mielenkiintoisia määriä (ilmakehän tehtävä) ja kyky karakterisoida äärimmäisiä harvina 8.1 Tropical Cyclone Track ennuste Tässä osiossa kuvataan yksityiskohtaisesti käytetyt arviointiprotokollat syklonien seurantaan (täydennysosa 8.1.1) ja tilastollisen merkityksen analysointiin (täydennysosa 8.1.2), lisätulokset (täydennysosa 8.1.3), ja kuvataan trackerimme ja sen erot ECMWF: n kanssa (täydennysosa 8.1.4). 8.1.1 Arviointimenettely GraphCast on alun perin aloitettu samasta Graphic Cyclone-ennustejärjestelmästä, joka rajoittaa vertailuja tapahtumiin, joissa molemmat mallit ennustavat syklonin olemassaoloa. Kuten lisäyksissä 5.2.2 on kuvattu, GraphCast on alun perin aloitettu 06z: stä ja 18z: stä, eikä 00z: stä ja 12z: stä, jotta vältytään antamasta sille 6h: n näkymättömyyttä. Sen sijaan verrataan HRES: tä ja GraphCastia TIGGE-arkistossa [8] vain aloitettuna 00z: ssä ja 12z: ssä. Tämä eroavuus estää meitä valitsemasta tapahtumia, joissa aloitus ja ajankartta johtavat samaan voimassaoloaikaan molemmille menetelmille, Koska laskemme virheen suhteessa samaan perimmäiseen totuuteen (ts. IBTrACS), arviointiin ei sovelleta samoja rajoituksia, jotka on kuvattu lisäyksissä kohdassa 5.2.2, ts. molempien mallien tavoitteet sisältävät saman määrän lookahead.Tämä on ristiriidassa useimpien tässä asiakirjassa esitettyjen arviointien kanssa, joissa HRES-tavoitteet (ts. HRES-fc0) sisältävät +3h lookahead, ja GraphCast-tavoitteet (ERA5:stä) sisältävät +3h tai +9h, mikä johtaa siihen, että raportoimme tuloksista vain johtavat ajat vastaavalla lookaheadilla (moninkertaiset 12h). For a given forecast, the error between the predicted center of the cyclone and the true center is computed using the geodesic distance. 8.1 Tilastollinen menetelmä Tilastollisen luottamuksen laskeminen syklonien seurannassa vaatii erityistä huomiota kahdessa kohdassa: 1. There are two ways to define the number of samples. The first one is the number of tropical cyclone events, which can be assumed to be mostly independent events. The second one is the number of per-lead time data points used, which is larger, but accounts for correlated points (for each tropical cyclone event multiple predictions are made at 6h interval). We chose to use the first definition which provides more conservative estimates of statistical significance. Both numbers are shown for lead times 1 to 5 days on the x-axis of Supplements Figure 39. 2. HRES: n ja GraphCastin esimerkkien seurantavirheet ovat korreloivia. Siksi niiden eron tilastollinen vaihtelu on paljon pienempi kuin niiden yhteinen vaihtelu. Näin ollen raportoimme luottamuksesta, että GraphCast on parempi kuin HRES (ks. lisäykset Kuva 39b) mallin luottamuksen lisäksi (ks. lisäykset Kuva 39a). Ottaen huomioon edellä mainitut kaksi näkökohtaa teemme bootstrappingin 95%:n luottamusvälien kanssa syklonitasolla. Tietyn johdon ajanjakson osalta otamme huomioon kaikki vastaavat aloitusajan / johdon ajanjaksot ja pidämme luettelon siitä, mistä syklonista ne tulevat (ilman päällekkäisyyttä). Bootstrappin arvioinnissa otamme näytteitä tästä syklonin luettelosta (vaihdon kanssa) ja sovellamme mediaania (tai keskiarvoa) vastaaviin aloitusajan / johdon ajanjaksojen pariin. Huomaa, että tämä antaa meille paljon konservatiivisempia luottamusrajoja kuin bootstrapping aloitusajan / johdon ajanjaksojen tasolla, koska se vastaa oletusta, että kaikki näytteestä peräisin olevat bootstra Oletetaan esimerkiksi, että tietylle johtoajalle on virheitä (50, 100, 150) sykloni A:lle, (300, 200) sykloni B:lle ja (100, 100) sykloni C:lle, ja A:lla on enemmän näytteitä. 8.1.3. Results In Supplements Figure 3a-b, we chose to show the median error rather than the mean. This decision was made before computing the results on the test set, based on the performance on the validation set. On the years 2016–2017, using the version of GraphCast trained on 1979–2015, we observed that, using early versions of our tracker, the mean track error was dominated by very few outliers and was not representative of the overall population. Furthermore, a sizable fraction of these outliers were due to errors in the tracking algorithm rather than the predictions themselves, suggesting that the tracker was suboptimal for use with GraphCast. Because our goal is to assess the value of GraphCast forecast, rather than a specific tracker, we show median values, which are also affected by tracking errors, but to a lesser extent. In figure Figure 40 we show how that the distribution of both HRES and GraphCast track errors for the test years 2018–2021 are non-gaussian with many outliers. This suggests the median is a better summary statistic than the mean. Lisäykset Kuva 39 täydentää kuvaa 3a-b osoittamalla keskimääräisen seurantavirheen ja vastaavan parillisen analyysin. Huomioimme, että käyttäen jäljittelijämme lopullista versiota (lisäykset 8.1.4 kohta), GraphCastin keskimääräiset tulokset ovat samanlaisia kuin keskiarvo, ja GraphCast ylittää merkittävästi HRES: n 2–5 päivän ajan. Because of well-known blurring effects, which tend to smooth the extrema used by a tracker to detect the presence of a cyclone, ML methods can drop existing cyclones more often than NWPs. Dropping a cyclone is very correlated with having a large positional error. Therefore, removing from the evaluation such predictions, where a ML model would have performed particularly poorly, could give it an unfair advantage. Tämän ongelman välttämiseksi tarkistamme, että hyperparametriset seurantaohjelmamme (ks. lisäykset 8.1.4) puuttuvat samanlaisista sykloneista kuin HRES. lisäykset Kuva 41 osoittaa, että testaussarjassa (2018–2021), GraphCast ja HRES pudottavat samanlaisen määrän sykloneja, varmistaen vertailujemme olevan mahdollisimman oikeudenmukaisia. Lisäykset Kuvia 42 ja 43 osoittavat keskimääräisen virheen ja yhdistetyn analyysin johtavan ajan funktiona, joka on jaettu sykloni-luokkaan, jossa luokka on määritelty Saffir-Simpson Hurricane Wind Scale [47]: ssä, jossa luokka 5 edustaa voimakkaimpia ja vahingollisimpia myrskyjä (huomaa, että käytämme luokkaa 0 edustamaan trooppisia myrskyjä). Olemme havainneet, että GraphCastilla on sama tai parempi suorituskyky kuin HRES kaikissa luokissa. Luokan 2 ja erityisesti luokan 5 (intensiivisimpien tapahtumien) osalta GraphCast on merkittävästi parempi kuin HRES, kuten per-track-yhdistetty analyysi osoittaa. Saamme myös samanlaisia tul 8.1.4 Trackerin yksityiskohdat GraphCastissa käytetty seuranta perustuu ECMWF:n seurannan uudelleen käyttöönottoon [35]. Koska se on suunniteltu 0,1° HRES:lle, havaitsimme hyödylliseksi lisätä useita muutoksia vähentääksemme epäonnistuneiden syklonien määrää, kun sitä sovelletaan GraphCast-ennusteisiin. We first give a high-level summary of the default tracker from ECMWF, before explaining the modifications we made and our decision process. Kun otetaan huomioon mallin ennusteet muuttujista 10 U, 10 v, MsL sekä U, v ja z painepitoisuuksilla 200, 500, 700, 850 ja 1000 hPa useiden aikavälien aikana, ECMWF-seuranta [35] käsittelee peräkkäin jokaisen aikavälin vaiheessa iteratiivisesti ennustamaan syklonin sijainnin koko radalla. Jokaisella 6 tunnin ennusteella on kaksi päävaihetta. Ensimmäisessä vaiheessa, joka perustuu syklonin nykyiseen sijaintiin, seuranta laskee arvion seuraavasta sijainnista, 6 tuntia eteenpäin. ECMWF tracker Seuraavan syklonin sijainnin arvioinnin laskemiseksi seuraaja siirtää nykyisen arvioinnin käyttämällä siirtymää, joka lasketaan kahden vektorin keskiarvona: 1) siirtyminen kahden viimeisen polun sijainnin välillä (eli lineaarinen ekstrapolointi) ja 2) tuulen ohjauksen arvio, keskimääräinen tuulen nopeus U ja v edellisessä polun sijainnissa paineilla 200, 500, 700 ja 850 hPa. Kun seuraavan syklonin sijainnin arvio on laskettu, seuranta tarkastelee kaikkia keskimääräisen merenpinnan paineen (MsL) paikallisia vähimmäismääriä 445 kilometrin sisällä tästä arvioinnista. 1. Vertikaalisuuden tarkistus: enimmäiskäyrä 850 hPa:ssa 278 km:n sisällä paikallisesta vähimmäismäärästä on suurempi kuin 5 · 10−5 s−1 pohjoisella pallonpuoliskolla tai pienempi kuin −5 · 10−5s−1 eteläisellä pallonpuoliskolla. 2. Wind speed check: if the candidate is on land, the maximum 10m wind speed within 278 km is larger than 8 m/s. 3. Paksuus tarkistetaan: jos sykloni on ulkoinen, paksuus on enintään 850 hPa:n ja 200 hPa:n välillä 278 kilometrin säteellä, jossa paksuus on määritelty z850-z200:ksi. Jos mikään minima ei täytä kaikkia näitä ehtoja, seuranta katsoo, että ei ole syklonia. ECMWF:n seuranta mahdollistaa syklonien häviämisen lyhyesti joissakin kulma-olosuhteissa ennen kuin ne ilmestyvät uudelleen. We analysed the mistracks on cyclones from our validation set years (2016–2017), using a version of GraphCast trained on 1979–2015, and modified the default re-implementation of the ECMWF tracker as described below. When we conducted a hyperparameter search over the value of a parameter, we marked in bold the values we selected. Our modified tracker 1. Nykyinen askelpiiri määrittää, kuinka kaukana uuden keskuksen ehdokas voi olla arvioinnista.Me löysimme tämän parametrin kriittiseksi ja etsimme parempaa arvoa seuraavista vaihtoehdoista: 445 × f for f in 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (alkuperäinen arvo). 2. Seuraava askel lähialueen säde määrittää, kuinka tiukat useita tarkastuksia ovat.Olemme myös löytäneet tämän parametrin olevan kriittinen ja etsinyt parempaa arvoa seuraavista vaihtoehdoista: 278 × f for f in 0.25, 0.375, 0.5, 0.625, 0.75, 1.0 (alkuperäinen arvo). 3. Seuraavassa vaiheessa arvio ECMWF käyttää 50-50 painotetaan välillä lineaarinen ekstrapolointi ja tuulen ohjaus vektorit. Meidän tapauksessa, jossa tuuli on ennustettu 0,25 ° resoluutio, löysimme tuuli ohjaus joskus esteen arvioita. Tämä ei ole yllättävää, koska tuuli ei ole tilapäisesti sileä kenttä, ja seuranta on todennäköisesti räätälöity hyödyntää 0,1 ° resoluutio ennusteita. 4. Huomasimme, että useita väärinkäytöksiä tapahtui, kun polku käänsi jyrkästi kurssin aiempaa suuntaa vastaan. Näin ollen tarkastelemme vain ehdokkaita, jotka luovat kulman aiemman ja uuden suunnan välillä alle d-asteen, jossa d etsittiin näiden arvojen välillä: 90, 135, 150, 165, 175, 180 (eli ei suodatinta, alkuperäinen arvo). 5. Huomasimme useita väärinkäytöksiä, jotka tekivät suuria hyppyjä, koska meluisen tuulen ohjauksen ja ominaisuuksien yhdistelmä oli vaikea erottaa heikoista sykloneista. Näin ollen tutkimme leikkaamalla arviota siirtymisestä yli x kilometriä (muuttamalla deltaa viimeisen keskuksen kanssa), etsimällä seuraavia arvoja x: 445 × f f: lle 0.25, 0.5, 1.0, 2.0, 4.0, ∞ (eli ei leikkausta, alkuperäinen arvo). Hyperparametrin etsinnän aikana tarkistimme myös validointitiedoista, että GraphCastiin sovellettu seuranta laski samanlaisen määrän sykloneja kuin HRES. 8.2 Ilmakehän joki Vertikaalisesti integroitua vesihöyryn kuljetusta (IvT) käytetään yleisesti ilmakehän jokien voimakkuuden kuvaamiseen [38, 37]. Vaikka GraphCast ei suoraan ennusta IvT:tä eikä sitä ole erityisesti koulutettu ennustamaan ilmakehän jokia, voimme johtaa tämän määrän ennustetuista ilmakehän muuttujista, jotka ovat erityinen kosteus, Q ja vaakasuora tuuli (U, v), suhteen kautta [38]: jossa g = 9,80665 m/s2 on painovoiman aiheuttama kiihtyvyys Maan pinnalla, pb = 1000 hPa on pohjapaine ja pt = 300 hPa on huippupaine. IvT:n arviointi edellä mainitulla suhteella edellyttää numeerista integraatiota ja tulos riippuu siten ennusteen pystysuorasta resoluutiosta. GraphCastilla on pystysuora resoluutio 37 paineastetta, mikä on korkeampi kuin käytettävissä olevien HRES-polkujen resoluutio vain 25 paineastolla. molempien mallien johdonmukaiseen ja oikeudenmukaiseen vertailuun käytämme siksi vain yhteistä paineastetta, joka sisältyy myös WeatherBench-vertailuarvoon, kun arvioimme IvT 8:ta eli [300, 400, 500, 600, 700, 850, 925, 1000] hPa. GraphCastin osalta laskemme IvT:n sen ennusteiden perusteella ja verrataan sitä ERA5:sta analogisesti laskettuun IvT:hen5. Samoin käytämme HRES-ennusteita laskemaan HRES:n IvT:n ja vertaamme sitä HRES-fc0:sta laskettuun IvT:hen. Similarly to previous work [10], Figure 44 reports RMSE skill and skill score averaged over coastal North America and the Eastern Pacific (from 180°W to 110°W longitude, and 10°N to 60°N latitude) during the cold season (Jan-April and Oct-Dec 2018), which corresponds to a region and a period with frequent atmospheric rivers. 8.3 Äärimmäinen lämpö ja kylmyys Tutkimme äärimmäistä lämpöä ja kylmää ennustamista binaariluokitusongelmana [35, 32] vertaamalla sitä, voiko tietyn ennustamismallin arvo oikein ennustaa, onko tietyn muuttujan arvo korkeampi (tai alhaisempi) viitehistoriallisen ilmastonmuutoksen jakautumisen tietyn prosenttiyksikön yläpuolella (esimerkiksi yli 98%: n prosenttiyksikön äärimmäisen lämpöä ja alle 2%: n prosenttiyksikön äärimmäistä kylmää). Edellisen työn [35] jälkeen viiteilmastonhoito saadaan erikseen (1) jokaisen muuttujan (2) jokaisen kuukauden osalta, (3) jokaisen päivän ajan, (4) jokaisen leveys- ja pituuskoordinaatin, ja (5) jokaisen paineen tason (jos sovellettavissa). Tämä tekee äärimmäisyyksien havaitsemisesta kontrastis Koska äärimmäinen ennustaminen on määritelmän mukaan epätasapainoinen luokitusongelma, perustamme analyysimme tarkkuusmuistiinpanoihin, jotka sopivat hyvin tälle tapaukselle [42]. Tarkkuusmuistiinpanojen käyrä saadaan vaihtamalla vapaata parametri "voittoa", joka koostuu ilmastonmuutoksen keskiarvon suhteen asteittaisesta tekijästä, ts. asteittainen ennustus = voitto × (ennustus − keskiarvo ilmastonmuutos) + keskiarvo ilmastonmuutos. Tällä on vaikutus päätöksenteon rajan siirtymiseen ja mahdollistaa eri kaupankäynnin erojen tutkimisen väärien negatiivien ja väärien positiivisten välillä. Intuitiivisesti 0 voitto tuottaa nollan ennustuspositiivisia (esim. nollan väärien positiiv Keskitymme analyysimme muuttujille, jotka ovat merkityksellisiä äärimmäisissä lämpötilaolosuhteissa, erityisesti 2 T [35, 32], ja myös T 850, z500, joita ECMWF käyttää usein kuvaamaan lämpöaaltoja [34]. Aikaisemman työn jälkeen[32], äärimmäisessä lämpötilassa keskimäärin kesäkuussa, heinäkuussa ja elokuussa pohjoisella pallonpuoliskolla (laajuus > 20◦) ja joulukuussa, tammikuussa ja helmikuussa eteläisellä pallonpuoliskolla (laajuus < -20◦). Äärimmäisessä kylmässä vaihdoimme kuukaudet pohjois- ja eteläisellä pallonpuoliskolla. Katso täydelliset tulokset kuvassa 45. Tarjoamme myös hienovaraisemman johdon aika-vertailun, yhteenveto 9. Ennakoiva visualisointi Tässä viimeisessä osassa annamme muutamia visualisointi esimerkkejä GraphCastin tekemistä ennusteista muuttujille 2 T (kuva 47), 10 U (kuva 48), MsL (kuva 49), z500 (kuva 50), T 850 (kuva 51), v 500 (kuva 52), Q 700 (kuva 53). Viittaukset [1] Ferran Alet, Adarsh Keshav Jeewajee, Maria Bauza Villalonga, Alberto Rodriguez, Tomas Lozano-Perez ja Leslie Kaelbling. Graafisen elementin verkot: mukautuva, jäsennelty laskenta ja muisti. [2] Kelsey R Allen, Yulia Rubanova, Tatiana Lopez-Guevara, William Whitney, Alvaro Sanchez-Gonzalez, Peter Battaglia ja Tobias Pfaff. Oppiminen jäykkä dynamiikka kasvojen vuorovaikutus graafisten verkkojen kanssa. arXiv esiasennus arXiv:2212.03574, 2022. [3] Jimmy Lei Ba, Jamie Ryan Kiros ja Geoffrey E. Hinton. kerroksen normalisointi. arXiv, 2016. [4] Igor Babuschkin, Kate Baumli, Alison Bell, Surya Bhupatiraju, Jake Bruce, Peter Buchlovsky, David Budden, Trevor Cai, Aidan Clark, Ivo Danihelka, Claudio Fantacci, Jonathan Godwin, Chris Jones, Ross Hemsley, Tom Hennigan, Matteo Hessel, Shaobo Hou, Steven Kapturowski, Thomas Keck, Iurii Kemaev, Michael King, Markus Kunesch, Lena Martens, Hamza Merzic, Vladimir Mikulik, Tamara Norman, John Quan, George Papamakarios, Roman Ring, Francisco Ruiz, Alvaro Sanchez, Rosalia Schneider, Eren Sezener, Stephen Spencer, Srivatsan Srinivasan, Luyu, Wangciech Wojciech Stokowiec ja Fabio Viola. Deep JAX ekosysteemi http: // github.com / syvämielinen, 2020 [5] Peter Battaglia, Razvan Pascanu, Matthew Lai, Danilo Jimenez Rezende, et al. Vuorovaikutusverkostot oppimaan esineistä, suhteista ja fysiikasta. [6] Peter W Battaglia, Jessica B Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, et al. Suhteelliset induktiiviset ennakkoluulot, syvä oppiminen ja graafiset verkostot. arXiv preprint arXiv:1806.01261, 2018. [7] Kaifeng Bi, Lingxi Xie, Hengheng Zhang, Xin Chen, Xiaotao Gu ja Qi Tian. Pangu-ilmasto: 3D-korkean resoluution malli nopeaa ja tarkkaa maailmanlaajuista sääennustetta varten. arXiv esite arXiv:2211.02556, 2022. [8] Philippe Bougeault, Zoltan Toth, Craig Bishop, Barbara Brown, David Burridge, De Hui Chen, Beth Ebert, Manuel Fuentes, Thomas M Hamill, Ken Mylne, et al. THORPEXin vuorovaikutteinen suuri maailmanlaajuinen kokonaisuus. [9] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne ja Qiao Zhang. JAX: Python+NumPy-ohjelmien kompostoitavat muutokset. http://github. com/google/jax, 2018. [10] WE Chapman, AC Subramanian, L Delle Monache, SP Xie ja FM Ralph. Ilmakehän joen ennusteiden parantaminen koneoppimalla. Geophysical Research Letters, 46(17-18):10627–10635, 2019. [11] Tianqi Chen, Bing Xu, Chiyuan Zhang ja Carlos Guestrin. Koulutus syvät verkot sublineaarisen muistin kustannuksella. arXiv esilehti arXiv:1604.06174, 2016. [12] Balaji Devaraju. Ymmärtäminen suodattamisesta sfäärissä: kokemukset GRACE-tietojen suodattamisesta. tohtorintutkinto, Stuttgartin yliopisto, 2015. [13] J. R. Driscoll ja D. M. Healy. Computing fourier muuttaa ja konvoluutioita 2-sfäärin. Matteus 15(2):202–250 kesäkuu 1994 [14] ECMWF. IFS-dokumentti CY41R2 - osa III: Dynaaminen ja numeeriset menettelyt. https: //www.ecmwf.int/node/16647, 2016 ja 2016 [15] Meire Fortunato, Tobias Pfaff, Peter Wirnsberger, Alexander Pritzel ja Peter Battaglia. Multi-scale meshgraphnets. arXiv preprint arXiv:2210.00612, 2022. [16] Alan J Geer. Keskipitkän aikavälin ennustepisteiden muutosten merkitys. Tellus A: Dynamic Meteorology and Oceanography, 68(1):30229, 2016. [17] Jonathan Godwin, Thomas Keck, Peter Battaglia, Victor Bapst, Thomas Kipf, Yujia Li, Kimberly Stachenfeld, Petar Veličković, ja Alvaro Sanchez-Gonzalez. Jraph: Kirjasto graafisten hermoverkkojen JAX. http://github.com/deepmind/jraph, 2020. [18] T. Haiden, Martin Janousek, Jean-Raymond Bidlot, R. Buizza, L. Ferranti, F. Prates ja Frédéric Vitart. ECMWF:n ennusteiden arviointi, mukaan lukien vuoden 2018 päivitys. https://www.ecmwf. int/node/18746, 10/2018 2018. [19] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti, Crtistina Prates, ja David Richardson. Arviointi ECMWF ennusteita, mukaan lukien 2020 päivitys. https://www.ecmwf.int/node/19879, 01/2021 2021. [20] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti ja Fernando Prates. Arviointi ECMWF: n ennusteista, mukaan lukien 2021 päivitys. https://www. ecmwf.int/node/20142, 09/2021 2021. [21] Thomas Haiden, Martin Janousek, Frédéric Vitart, Zied Ben-Bouallegue, Laura Ferranti, Fernando Prates ja David Richardson. ECMWF: n ennusteiden arviointi, mukaan lukien 2021 päivitys. https://www.ecmwf.int/node/20469, 09/2022 2022. [22] Thomas Haiden, Martin Janousek, Frédéric Vitart, Laura Ferranti ja Fernando Prates. ECMWF:n ennusteiden arviointi, mukaan lukien vuoden 2019 päivitys. https://www.ecmwf.int/node/ 19277, 11/2019 2019. [23] Tom Hennigan, Trevor Cai, Tamara Norman ja Igor Babuschkin. Haiku: Sonnet for JAX. http://github.com/deepmind/dm-haiku, 2020. [24] Hans Hersbach, Bill Bell, Paul Berrisford, Shoji Hirahara, András Horányi, Joaquín Muñoz-Sabater, Julien Nicolas, Carole Peubey, Raluca Radu, Dinand Schepers ja muut. The ERA5 global reanalysis. Quarterly Journal of the Royal Meteorological Society, 146(730):1999–2049, 2020. [25] S. Hoyer ja J. Hamman. xarray: N-D-merkittyjä sarjoja ja tietokokonaisuuksia Pythonissa. Journal of Open Research Software, 5(1), 2017. [26] Ryan Keisler. Maailmanlaajuisen sään ennustaminen graafisten hermoverkkojen avulla. arXiv preprint arXiv:2202.07575, 2022. [27] Diederik P Kingma ja Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. [28] Kenneth R Knapp, Howard J Diamond, James P Kossin, Michael C Kruk, Carl J Schreck, et al. Kansainvälinen parhaiden polkujen arkisto ilmastohallinnon (IBTrACS) hanke, versio 4. https://doi.org/10.25921/82ty-9e16, 2018. [29] Kenneth R. Knapp, Michael C. Kruk, David H. Levinson, Howard J. Diamond ja Charles J. Neumann. Kansainvälinen paras ilmastonmuutoksen hallinnan arkisto (IBTrACS), joka yhdistää trooppiset syklonitiedot. [30] Michael C Kruk, Kenneth R Knapp ja David H Levinson. tekniikka globaalien trooppisten syklonien parhaiden jäljitystietojen yhdistämiseksi. Journal of Atmospheric and Oceanic Technology, 27(4):680–692, 2010. [31] David H. Levinson, Howard J Diamond, Kenneth R. Knapp, Michael C. Kruk ja Ethan J. Gibney. Kohti homogeenistä maailmanlaajuista trooppista syklonia.Bulletin of American Meteorological Society, 91(3):377–380, 2010. [32] Ignacio Lopez-Gomez, Amy McGovern, Shreya Agrawal ja Jason Hickey. Maailmanlaajuinen äärimmäisen lämmön ennustaminen käyttämällä neuronaalisia säämalleja. [33] Ilya Loshchilov ja Frank Hutter. irrotettu painonpudotuksen säännöllisyys. arXiv esilehti arXiv:1711.05101, 2017. [34] Linus Magnusson. 202208 - lämpöaalto - uk. https://confluence.ecmwf.int/display/ FCST/202208+-+Heatwave+-+UK, 2022. [35] Linus Magnusson, Thomas Haiden ja David Richardson. Extreme Weather Events Verification: Discrete Predictands. European Centre for Medium-Range Weather Forecasts, 2014. [36] S. Malardel, Nils Wedi, Willem Deconinck, Michail Diamantakis, Christian Kuehnlein, G. Mozdzynski, M. Hamrud ja Piotr Smolarkiewicz. Uusi verkko IFS:lle. https: //www.ecmwf.int/node/17262, 2016 ja 2016 [37] Benjamin J Moore, Paul J Neiman, F Martin Ralph, ja Faye E Barthold. Fyysiset prosessit, jotka liittyvät voimakkaisiin tulvien sademääriin Nashvillessä, Tennesseessä ja sen läheisyydessä 1–2 toukokuun 2010 aikana: Ilmakehän joen rooli ja keskisuuret konvektiiviset järjestelmät. [38] Paul J Neiman, F Martin Ralph, Gary A Wick, Jessica D Lundquist, ja Michael D Dettinger. Meteorologiset ominaisuudet ja maanpinnan sademäärän vaikutukset ilmakehän joet vaikuttavat Länsirannan Pohjois-Amerikassa perustuu kahdeksan vuoden ssm / i satelliitti havaintoja. [39] Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez ja Peter Battaglia. Oppiminen verkko-pohjainen simulointi graafisten verkkojen kanssa. Prajit Ramachandran, Barret Zoph ja Quoc V Le. Aktivointitoimintojen etsiminen. arXiv preprint arXiv:1710.05941, 2017. [41] Stephan Rasp, Peter D Dueben, Sebastian Scher, Jonathan A Weyn, Soukayna Mouatadid ja Nils Thuerey. WeatherBench: vertailuarvotietojen joukko data-pohjaiseen sääennusteeseen. Journal of Advances in Modeling Earth Systems, 12(11):e2020MS002203, 2020. [42] Takaya Saito ja Marc Rehmsmeier. Tarkkuus-muistutus juoni on informatiivisempi kuin ROC juoni arvioitaessa binary luokittelijat epätasapainoinen tietokokonaisuuksia. PloS yksi, 10(3):e0118432, 2015. [43] Alvaro Sanchez-Gonzalez, Jonathan Godwin, Tobias Pfaff, Rex Ying, Jure Leskovec ja Peter Battaglia. Oppiminen simuloimaan monimutkaista fysiikkaa graafisten verkkojen avulla. [44] B. D. Santer, R. Sausen, T. M. L. Wigley, J. S. Boyle, K. AchutaRao, C. Doutriaux, J. E. Hansen, G. A. Meehl, E. Roeckner, R. Ruedy, G. Schmidt ja K. E. Taylor. Tropopaussin korkeuden ja ilmakehän lämpötilan käyttäytyminen malleissa, uudelleenanalyyseissä ja havainnoissa: vuosikymmenien muutokset Journal of Geophysical Research: Atmospheres, 108(D1):ACL 1–1–ACL 1–22, 2003. [45] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M Hamill, Tim D Hewson, Julia H Keller, Mio Matsueda, John Methven, Florian Pappenberger ja muut. TIGGE-hanke ja sen saavutukset. [46] Richard Swinbank, Masayuki Kyouda, Piers Buchanan, Lizzie Froude, Thomas M. Hamill, Tim D. Hewson, Julia H. Keller, Mio Matsueda, John Methven, Florian Pappenberger, Michael Scheuerer, Helen A. Titley, Laurence Wilson ja Munehiko Yamaguchi. TIGGE-hanke ja sen saavutukset. American Meteorological Society Bulletin, 97(1):49 – 67, 2016. [47] Harvey Thurm Taylor, Bill Ward, Mark Willis, ja Walt Zaleski. Saffir-Simpson hurrikaani tuulen mittakaava. Ilmakehän hallinto: Washington, DC, USA, 2010. [48] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser ja Illia Polosukhin. Huomio on kaikki mitä tarvitset. Edistyminen hermoston tietojenkäsittelyjärjestelmissä, 30, 2017. [49] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, ja Yoshua Bengio. Graafinen huomiota verkostoja. arXiv ennakkotilaus arXiv:1710.10903, 2017. Tämä artikkeli on saatavilla arkivissä CC by 4.0 Deed (Attribution 4.0 International) -lisenssillä. Tämä paperi on Käyttöoikeus on CC by 4.0 Deed (Attribution 4.0 International). Saatavilla arkistoinnissa
