AdsorbML: Jak umělá inteligence transformuje objev katalyzátorů pro čistou energii a chemikálie

Autoři : Janice Lan Aini Palizhati Mohameda Shuaibiho Brandon M. Woodová Brook Wanderová Abhishek je Matt Uyttendaele Režie Lawrence Zitnick Zachary W. Ulissiová Autoři : Janice Lanová Aini Palizhati Mohameda Shuaibiho Brandon M. Woodová Brook Wanderová Abhishek je Matt Uyttendaele Režie Lawrence Zitnick Zachary W. Ulissiová Abstraktní Počítačová katalyzace hraje stále významnější roli v návrhu katalyzátorů v širokém spektru aplikací. Společným úkolem mnoha výpočetních metod je potřeba přesně vypočítat adsorpční energii pro adsorbát a katalyzátorový povrch zájmu. Tradičně se identifikace konfigurací nízkoenergetického adsorbátu na povrchu spoléhá na heuristické metody a intuici výzkumníka. Jak se zvyšuje touha provádět screening s vysokým průtokem, stává se náročné používat heuristiku a intuici samotnou. V tomto článku demonstrujeme potenciál strojového učení, který lze využít k přesnější a efektivnější identifikaci konfigurací adsorbátu na povrchu s nízkou energií. Náš algoritmus poskytuje spektrum Úvodní Konstrukce nových heterogenních katalyzátorů hraje zásadní roli při syntéze každodenních paliv a chemikálií.Pro uspokojení rostoucí poptávky po energii při boji proti změně klimatu jsou účinné, nízkonákladové katalyzátory klíčové pro využití obnovitelné energie , , , Vzhledem k obrovskému prostoru materiálového designu jsou vysoce vyhledávané efektivní screeningové metody , , , Počítačová katalyzace nabízí potenciál pro skenování velkého množství materiálů, které doplňují časově a nákladově náročné experimentální studie. 1 2 3 4 4 5 6 7 Adsorpční energie je energie spojená s molekulou nebo adsorbátem, který interaguje s katalyzátorovým povrchem. Adsorbáty jsou často vybírány tak, aby zachytily různé kroky, nebo meziprodukty, v reakční cestě (např. *CHO v redukci CO2). Adsorpční energie se vypočítá nalezením konfigurace adsorbátu na povrchu, která minimalizuje celkovou energii struktury. Adsorpční energie je tedy globální minimální energií ve všech potenciálních adsorbovaných umístěních a konfiguracích. Tyto adsorpční energie jsou výchozím bodem pro výpočet volných energetických diagramů k určení nejpříznivějších reakčních cest na povrchu katalyzátoru. Bylo prokázáno, že adsorpční energie reakčních meziproduktů mohou být silnými deskriptory, které korelují s experimentálními výsledky, jako je aktivita nebo selektivita. , , , , Tato schopnost předpovídat trendy v katalytických vlastnostech z prvních principů je základem pro efektivní katalytické screeningové přístupy. , . 8 9 10 11 12 13 1 14 Existuje mnoho potenciálních vazebních míst pro adsorbát na povrchu a pro každé vazebné místo existuje několik způsobů, jak orientovat adsorbát (viz dolní levá strana obrázku). Při umístění adsorbátu na povrch katalyzátoru budou adsorbáty a povrchové atomy navzájem interagovat.Pro stanovení adsorpční energie pro specifickou konfiguraci povrchu adsorbátu musí být polohy atomů uvolněny, dokud nebude dosaženo místního energetického minima. , , je nejběžnějším přístupem k provádění této adsorbátové relaxační plochy. DFT nejprve vypočítá jednobodový výpočet, kde výstupem je energie systému a síly pro atomy. Relaxační pak provádí lokální optimalizaci, kde jsou síly pro atomy iterativně vypočítány pomocí DFT a používají se k aktualizaci atomových pozic pomocí optimizačního algoritmu (např. konjugátový gradient). k nalezení globálního minima, strategii pro odběr vzorků adsorbovaných povrchových konfigurací a/nebo techniku, jako je minimální skákání , Pro překonání energetických bariér během optimalizace je zapotřebí. 1 15 16 17 18 19 20 Nejprve je vybrána kombinace adsorbátu a povrchu, poté jsou četné konfigurace vyjmenovány heuristicky a/nebo náhodně. Pro každou konfiguraci jsou prováděny uvolnění DFT a systémy jsou filtrovány na základě fyzických omezení, které zajišťují platné energie adsorpce (tj. desorpce, disociace, nesoulad povrchu). Adsorpční energie (Δ Výpočet je proveden na základě výpočtu energie z adsorbovaného povrchu ( sys) minus energie čistého povrchu (tj. plochy) ( Zvláštní charakteristické rysy a charakteristické rysy a charakteristické charakteristické rysy ( jak je definováno Chanussot et al. a podrobně popsáno v (Některé , . E E E E Podpora informací že) 2 4 Uvolněné adsorbátové povrchové struktury musí respektovat určité požadované vlastnosti, aby jejich adsorpční energie byla jak přesná, tak platná.Jeden příklad omezení je, že adsorbát by neměl být desorbován, tj. Plovit pryč od povrchu v konečné uvolněné struktuře (obr. Kromě toho, pokud má adsorbát více atomů, neměl by se disociovat nebo rozpadnout na více adsorbátů, protože by již nebyla adsorpční energií molekuly zájmu. , Podobně, pokud adsorbát vyvolá významné změny v povrchu ve srovnání s čistým povrchem, Je důležité poznamenat, že pokud uvolněná struktura poruší jednu z těchto omezení, nemusí to nutně znamenat, že uvolnění bylo nepřesné; tyto výsledky vznikají, ale vedou k neplatným nebo nepřesným adsorpčním energiím, jak je definováno. 1 19 21 E Identifikace celosvětově optimální konfigurace adsorbovaného povrchu se historicky spoléhala na odbornou intuici nebo nedávno na heuristické přístupy. Intuice a zkouška a chyba mohou být použity pro jednorázové systémy zájmu, ale nevztahují se na velký počet systémů. , Tyto metody byly úspěšně použity v minulých descriptor-based studií , , , , , V poslední době byla použita metoda založená na grafu k identifikaci unikátních konfigurací adsorbátového povrchu. Nicméně, jak se zvyšuje složitost povrchů a adsorbátů, výzva najít nejnižší energetickou konfiguraci adsorbátu-povrch se výrazně zvyšuje. 22 23 9 10 24 25 26 27 28 Zatímco DFT nabízí schopnost přesně odhadnout atomové síly a energie, je to výpočetně nákladné. ( 3) s počtem elektronů. vyhodnocení jedné konfigurace adsorbátu-povrch s plnou relaxaci DFT může trvat ~ 24 hodin k výpočtu , Vzhledem k tomu, že četné konfigurace jsou obvykle zkoumány najít adsorpční energii, všechny výpočty DFT zapojených může trvat dny nebo dokonce týdny. Pro CO2 Reduction Reaction (CO2RR) s využitím 5 adsorbátových deskriptorů, ~90 povrchů/materiálů a ~100 míst/povrch by bylo zapotřebí ~4,5 miliardy CPU-dnů výpočtu, což je problém, který nelze vyřešit ani pro největší superpočítače na světě. O N 2 29 30 V poslední době potenciál strojového učení (ML) pro odhad atomových sil a energií prokázal významný pokrok ve standardních referenčních měřítcích, přičemž je rychlejší než DFT. , , , , , , Zatímco přesnost ML na rozsáhlé a rozmanité datové sadě Open Catalyst 2020 (OC20) se zlepšila na 0,3 eV pro odhad uvolněné energie, přesnost 0,1 eV je stále žádoucí pro přesné screening. To vyvolává otázku, zda hybridní přístup využívající potenciál DFT i ML může dosáhnout vysoké přesnosti při zachování účinnosti. 2 31 32 33 34 35 36 37 Hodnocení výkonu nových metod pro nalezení konfigurací s nízkou energií je náročné bez standardizovaných validních dat. Je běžné, že nové metody jsou testovány na relativně malém počtu systémů, což ztěžuje vyhodnocení generalizace. , , , , Zatímco OC20 obsahuje ( 1 ) ) „adsorpční energie“, nevzorkovala více konfigurací na kombinaci adsorbátu a povrchu, což znamená, že jedna konfigurace, která byla uvolněna, pravděpodobně nebude globálním minimem. Pro řešení tohoto problému jsme představili Open Catalyst 2020-Dense Dataset (OC20-Dense). OC20-Dense zahrnuje dva splity – validační a testovací soubor. Validační soubor se používá pro vývoj; a testovací soubor pro vykazování výkonu. Každý split se skládá z ~1000 jedinečných adsorbátových povrchových kombinací z validace a testovacích souborů datového souboru OC20. Žádné údaje z OC20-Dense se nepoužívají pro školení. Abychom prozkoumali všeobecnost našeho přístupu, vezmeme ~250 kombinací z každého ze čtyř podplitů OC20 – In-Domain (ID), Out-of-Domain (OOD)-Adsorbate, OOD-Catalyst a OOD-Both. Pro každou 19 28 38 39 40 O M 2 Navrhujeme hybridní přístup k odhadování adsorpčních energií, který využívá silných stránek jak potenciálů ML, tak DFT. Vzorkujeme velké množství potenciálních konfigurací adsorbátů pomocí heuristických i náhodných strategií a provádíme uvolnění pomocí potenciálů ML. Nejlepší *k-* uvolněné energie mohou být poté rafinovány pomocí výpočtů DFT v jednom bodě nebo s úplnými uvolněními DFT. Významné výzkumné úsilí bylo věnováno určení nejnižší energetické konfigurace adsorbátu-povrch prostřednictvím zlepšení počáteční struktury generace a globálních strategií optimalizace , , , , , , Petersonová přijal metodu minimálního skoku a vyvinul celosvětový přístup k optimalizaci, který zachovává identitu adsorbátu pomocí omezeného minimálního skoku. Nicméně metoda se plně spoléhá na DFT k provedení vyhledávání, čímž je stále výpočetně nákladná. navrhl aktivní pracovní postup učení, ve kterém se používá Gaussianův proces k spuštění omezených minimálních skokových simulací. Struktury vytvořené jejich simulacemi jsou ověřovány DFT a iterativně přidávány do tréninkové sady, dokud není dosaženo konvergence modelu. Vyškolený model pak spouští paralelní omezené minimální skokové simulace, podsoubor je rafinován s DFT a konečná adsorpční energie je identifikována. Upozorňujeme, že předchozí pokusy o použití modelů strojového učení k urychlení tohoto procesu se obvykle spoléhaly na vlastní modely pro každou kombinaci adsorbátu/katalyzátoru, což omezuje širší použitelnost , Jednou z možností, jak výrazně rozšířit všestrannost těchto metod a zároveň dále snižovat lidské a výpočetní náklady, je využití generalizovatelných potenciálů strojového učení k urychlení hledání konfigurací povrchů s nízkou energií. 19 21 28 38 39 40 41 19 21 42 43 Přínosy této práce jsou trojité: Navrhujeme algoritmus AdsorbML k identifikaci energie adsorpce v rámci spektra kompromisů přesnosti a účinnosti. Vyvíjíme datový soubor Open Catalyst 2020-Dense (OC20-Dense) pro srovnání úkolu vyhledávání adsorpční energie. Srovnáváme literární modely Graph Neural Network (GNN) na OC20-Dense pomocí navrhovaného algoritmu AdsorbML; identifikace několika slibných modelů vhodných pro praktické screeningové aplikace. Výsledky Hodnocení OC20-Dense Pro vyhodnocení metod pro výpočet adsorpčních energií představujeme Open Catalyst 2020-Dense Dataset (OC20-Dense), který úzce přibližuje energii adsorpce podzemní pravdy tím, že hustě zkoumá četné konfigurace pro každý jedinečný systém adsorbátu-povrch. Každý rozdělení OC20-Dense se skládá z ~1000 jedinečných kombinací adsorbátu-povrch zahrnujících 74 adsorbátů, 800+ anorganických krystalových struktur a celkem 80 000 + konfigurací heuristicky a náhodně generovaných. Datový soubor vyžadoval ~ 4 miliony CPU-hrs výpočtu k dokončení. Podrobnější diskuse o OC20-Dense lze nalézt v „Metody“. 1 Zveřejňujeme výsledky na široké škále GNN, které byly dříve benchmarkovány na OC20, abychom vyhodnotili výkon stávajících modelů na OC20-Dense. Následující Článek DimeNet++ , Paříž Jméno: GemNet-OC Společnost GemNet-OC-MD Společnost GemNet-OC-MD-Large , SCN-MD-velký , a eSCN-MD-Large where MD corresponds to training on OC20 and its accompanying ab initio Molecular Dynamics (MD) dataset. Models were not trained as part of this work; trained models were taken directly from previously published work and can be found at Z modelů (e)SCN-MD-Large a GemNet-OC-MD-Large jsou v současné době nejlepšími výkony na OC20 a Open Catalyst 2022 Dataset (OC22). 31 32 33 44 34 34 34 35 45 https://github.com/Open-Catalyst-Project/ocp/blob/main/MODELS.md V ideálním případě by základní pravdou pro OC20-Dense byla minimální uvolněná energie ve všech možných konfiguracích pro každý systém adsorbovaného povrchu. , Při hodnocení pouze heuristických konfigurací se na to odkazuje jako DFT-Heuristic-Only (DFT-Heur). Chceme-li přidat do konfiguračního prostoru, rovnoměrně vzorkujeme místa na povrchu náhodně s adsorbátem umístěným na každém z těchto míst s náhodnou rotací podél povrchu. axiální a mírné zvlnění kolem a Při hodnocení proti heuristickým i náhodným konfiguracím se na to odkazuje jako na DFT-Heuristic-Only (DFT-Heur). Ačkoli je výpočetně dražší, tento referenční bod poskytuje důkladnější vyhledávání konfigurací a přesnější odhad adsorpčních energií než pomocí pouze heuristických konfigurací, což je společný výchozí bod používaný komunitou. 22 23 z x y ML relaxační Zkoumáme, do jaké míry mohou předpovědi ML nalézt adsorpční energii v rámci prahu minimální energie DFT nebo nižší. Zatímco dokonalý náhradník ML k DFT bude schopen odpovídat pouze DFT, malé chyby v silách a rozdíly optimalizátoru mají potenciál přidat hluk k relaxaci a vést k konfiguracím dříve neprozkoumaným. U každého modelu se uvolňování provádí na stejném souboru konfigurací adsorbátů. Počáteční konfigurace jsou vytvořeny na základě heuristických strategií běžně používaných v literatuře. , a náhodně generované konfigurace na povrchu. na všech počátečních konfiguracích jsou spuštěny relaxační systémy řízené ML; systémy nevhodné pro adsorpční výpočty energie v důsledku fyzických omezení jsou odstraněny, včetně disociace, desorpce a povrchového nesouladu. 46 22 23 When evaluating performance, we define success as finding an adsorption energy within an acceptable tolerance (0.1 eV in this work , , ) nebo nižší než adsorpční energie DFT v OC20-Dense. Všimněte si, že pozemní adsorpční energie pravdy v OC20-Dense jsou horní hranicí, protože je možné, že může existovat nižší adsorpční energie.Při hodnocení adsorpčních energií předvídaných ML musí být výsledky ověřeny pomocí jednobodového výpočtu DFT, protože měřítko hodnocení bez nižší hranice by mohlo být snadno hratelné předpovídáním nízkých energií (viz Pro spolehlivé vyhodnocení ML považujeme ML adsorpční energii za úspěšnou, pokud je v rozmezí 0,1 eV adsorpční energie DFT nebo nižší, a odpovídající DFT jednobodové vyhodnocení předpokládané struktury ML je v rozmezí 0,1 eV předpokládané energie ML. , kde špičkové modely OC20 včetně modelů eSCN-MD-Large a GemNet-OC-MD-Large hlásily míru úspěchu 56,52% a 48.03%, respektive. , dobře koreluje s mírou úspěchu a OC20 a metrů. 2 37 46 SI) 2 2 S2EF Zatímco současný stav modelů dosáhl neuvěřitelného pokroku V prostředí s vysokým průtokem, kde úspěšní kandidáti přecházejí na dražší analýzy nebo dokonce experimentální syntézu, by úspěšnost ~50 % mohla vést k podstatné ztrátě času a zdrojů na studium falešných pozitiv. 37 algorithm AdsorbML Představíme vám algorithm to use ML to accelerate the adsorbate placement process (Fig. Pro každý model zkoumáme dvě strategie, které zahrnují ML následované výpočty DFT k určení adsorpční energie. Adsorpční 2 Fig. 2: The algorithm. AdsorbML Adsorpční se Počáteční konfigurace jsou generovány pomocí heuristických a náhodných strategií. ML relaxace jsou prováděny na GPU a zařazeny v pořadí nejnižší až nejvyšší energie. systems are passed on to DFT for either a single-point (SP) evaluation or a full relaxation (RX) from the ML-relaxed structure. Systems not satisfying constraints are filtered at each stage a relaxation is performed. The minimum is taken across all DFT outputs for the final adsorption energy. k V obou přístupech je prvním krokem generovat relaxaci ML. Nicméně namísto toho, abychom převzali minimální množství uvolněných energií ML, řadíme systémy v pořadí nejnižší až nejvyšší energie. Systémy s nejnižšími energiemi jsou vybírány a (1) na odpovídajících strukturách (ML+SP) jsou prováděny jednodenní výpočty DFT nebo (2) jsou prováděny relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační relaxační nejnižší energetické systémy, poskytujeme model s příležitostí k dosažení přijatelně přesné adsorpční energie. , je zapojeno více výpočtů DFT, ale ve srovnání s plným přístupem DFT stále očekáváme významné úspory. DFT následné výpočty. k k k k k V obou strategiích se energie ML používají výhradně pro hodnocení konfigurací, přičemž konečná předpověď energie pochází z výpočtu DFT. Zatímco výpočetně by bylo ideální plně se spoléhat na ML, použití DFT jak zlepšuje přesnost, tak poskytuje ověřovací krok, který nám přináší větší důvěru v naše předpovědi adsorpční energie. Experimenty Naším cílem je najít srovnatelné nebo lepší adsorpční energie s těmi, které se nacházejí pomocí DFT pouze v OC20-Dense. Metrika, kterou používáme k kvantifikování tohoto úkolu, je úspěšnost, což je procento systémů OC20-Dense, kde je naše adsorpční energie ML+DFT v rozmezí 0,1 eV nebo nižší než adsorpční energie DFT. Validace energie ML není zahrnuta v těchto experimentech, protože všechny konečné adsorpční energie budou pocházet z alespoň jednoho DFT volání, což zajišťuje, že všechny hodnoty jsou platné. Další metrickou stopou, kterou sledujeme, je zrychlení oproti výchozí linii DFT-Heur+Rand. Zrychlení se hodnotí jako poměr elektronických Při hodnocení společné výchozí linie DFT-Heur, která používá pouze výpočty DFT, je úspěšnost 87,76% dosažena při zrychlení 1,81×. Jsi Ml + SP Výsledky používání jednoznačných hodnocení u ML uvolněných stavů jsou shrnuty na obrázku. eSCN-MD-Large a GemNet-OC-MD-Large zaznamenaly úspěšnost 86 % = 5 with eSCN-MD-Large outperforming all models with a success rate of 88.27%, slightly better than the DFT-Heur baseline. Other models including SchNet and DimeNet++ do significantly worse with success metrics as low as 3.13% and 7.99%, respectively; suggesting the predicted relaxed structures are highly unfavorable. The speedups are fairly comparable across all models, ranging between 1400× and 1500× for = 5, příkazy o velikosti rychlejší než výchozí hodnota DFT-Heur. Konkrétně eSCN-MD-Large a GemNet-OC-MD-Large vedou ke zrychlení 1384× a 1388×. = 1 při zachování úspěšnosti 82% pro eSCN-MD-Large. = 3, úspěšnost 87,36% a 84,43% jsou dosažitelné pro eSCN-MD-Large a GemNet-OC-MD-Large při zachování zrychlení 2296× a 2299×, respektive. , minimální energetické vazby několika systémů jsou porovnávány tak, jak jsou identifikovány s ML+SP v různých modelech. 3 k k k k 4 Pro každý model je zrychlení DFT a odpovídající míra úspěchu vymezena pro ML+RX a ML+SP na různých úrovních. Systém je považován za úspěšný, pokud je předpokládaná adsorpční energie v rozmezí 0,1 eV minimálního DFT nebo nižší. Všechny míry úspěchu a zrychlení jsou relativní s Random+Heuristic DFT. Heuristic DFT je zobrazen jako společná výchozí hodnota komunity. Horní pravý úhel představuje optimální oblast – maximalizuje zrychlení a míru úspěchu. Bod zvýrazněný v tealu odpovídá vyvážené možnosti uvedené v abstraktu – míra úspěchu 87,36% a zrychlení 2290x. Podobný údaj pro ověřovací sadu OC20-Dense lze nalézt v . k Jsi Odpovídající adsorpční energie jsou zobrazeny v pravém dolním rohu každého snímku. ML-relaxované struktury mají energie vypočtené s jedním bodem DFT, ML+SP. Je ukázána řada systémů, včetně těch, kde ML nachází nižší, vyšší a srovnatelné adsorpční energie k DFT. Všimněte si, že několik konfigurací ve třetím a čtvrtém systémech jsou symetricky ekvivalentní a že SchNet indukuje velkou povrchovou rekonstrukci ve třetím systému, což vede k extrémně velké energii DFT (10,31 eV). Řada ML+RX While single-point evaluations offer a fast evaluation of ML structures, performance is heavily reliant on the accuracy of the predicted relaxed structure. This is particularly apparent when evaluating the max per-atom force norm of ML-relaxed structures with DFT. SchNet and DimeNet++ have on average a max force, , of 2.00 eV/Å and 1.21 eV/Å, respectively, further supporting the challenge these models face in obtaining valid relaxed structures. On the other hand, models like GemNet-OC-MD-Large and eSCN-MD-Large have an average 0,21 eV/Å a 0,15 eV/Å, resp. Zatímco tyto modely jsou mnohem blíže platným uvolněným strukturám (tj. ≤ 0.05 eV/Å), these results suggest that there is still room for further optimization. Results on DFT relaxations from ML-relaxed states are plotted in Fig. eSCN-MD-Large a GemNet-OC-MD-Large převyšují všechny modely hodnoty, s 90.60% a 91.61% mírou úspěšnosti v = 5, resp. Vzhledem k dodatečným nákladům na DFT spojeným s rafinací relaxací se rychlostní úpravy nepřekvapivě snižují. = 5, vidíme zrychlení 215× a 172× pro eSCN-MD-Large a GemNet-OC-MD-Large, respektive. Oba SchNet a DimeNet++ vidí mnohem menší zrychlení na 42× a 55×, respektive. Mnohem menší zrychlení spojené se SchNet a DimeNet++ naznačují, že větší počet kroků DFT je nutný k uvolnění dříve nepříznivých konfigurací generovaných modely. ~0.15 eV/Å) it achieves in its predictions. With = 1, zrychlení 1064× je dosažitelné při zachování úspěšnosti 84,13 % pro eSCN-MD-Large. = 3, úspěšnost 89,28% a 89,59% je dosažitelná pro eSCN-MD-Large a GemNet-OC-MD-Large při zachování zrychlení 356× a 288×. fmax fmax fmax 3 k k k FMAX k k Výsledky naznačují spektrum kompromisů v oblasti přesnosti a efektivity, které je třeba vzít v úvahu při výběru strategie.Pro naše nejlepší modely jsou výsledky ML+SP téměř 8x rychlejší než ML+RX s pouze marginálním poklesem úspěšnosti (3–4%), což naznačuje, že stojí za to. Na stole , měříme rozložení předpovědí, které jsou mnohem lepší, v paritě, nebo mnohem horší než základní pravda, kde mnohem lepší / horší odpovídá tomu, že je nižší / vyšší než 0,1 eV adsorpční energie DFT. = 5 ML+RX, eSCN-MD-Large nachází 9,10% systémů s mnohem nižšími minima, ve srovnání s DimeNet++ najít 15,57%. Podobně, zatímco eSCN-MD-Large předstihl modely v ML+SP, pozoruje méně zlepšení s ML+RX; důsledkem modelu dosahujícího na značné místní minima, že následné uvolnění DFT má minimální přínos. pro testovací a validační sady OC20-Dense. 3 k SI Distribution splits In addition, we evaluate success metrics across the different dataset subsplits. OC20-Dense uniformly samples from the four OC20 splits—ID, OOD-Adsorbate, OOD-Catalyst, and OOD-Both. Across our best models, we observe that performance remains consistent across the different distribution splits (Fig. ). This suggests that for applications including adsorbates or surfaces that are not contained in OC20, AdsorbML still provides accurate and meaningful results. While we expect results to be consistent with OC20 where ID outperforms OOD, that is not necessarily the case here. eSCN-MD-Large, ML+SP at = 5, dosahuje 86,00% na ID a 88,35% úspěšnost na OOD-Obojí, s podobnými trendy na ML+RX. Tento rozdíl připisujeme poměrně malé velikosti vzorku na rozdělení (250). . 5 k SI Fig. 5: ML+SP success rate at = 5 across the different subsplits of the OC20-Dense test set and several baseline models. k k se Top performing models show marginal differences across the different distribution splits, suggesting good generalization performance to out-of-domain adsorbates and catalysts not contained in the OC20 training dataset. Configuration analysis Alongside the main results, we explore the performance of using only heuristic or only random ML configurations on the OC20-Dense validation set. Results are reported on SCN-MD-Large, for the ML+SP strategy. At = 5, když se používají pouze náhodné konfigurace, úspěch klesá z 87,77% na 82,94%. Drastičtěji, když se berou v úvahu pouze heuristické konfigurace, úspěch klesá výrazně na 62,18%. . k Jsi diskuze Předpokládáme, že tato práce je důležitým, ale počátečním krokem ke snížení výpočetních nákladů na DFT nejen pro aplikace katalyzátorů, ale pro výpočetní chemii obecněji. poskytuje spektrum kompromisů o přesnosti a účinnosti, které lze zvolit v závislosti na dostupných aplikačních a výpočetních zdrojích. Například pokud máme zájem o screening co největšího počtu katalyzátorů pro reakci na snížení emisí CO2, vzhledem k pevnému výpočetnímu rozpočtu, můžeme zvolit ML+SP na = 2 for a 85% success rate while screening ~3400× more materials than would have been possible with DFT alone. On the other hand, if depth of study is more important, ML+RX is a good alternative as the structures are fully optimized with DFT and the computational speedup comes from reducing the total number of relaxation steps required. In this scenario, the ML potential serves as an efficient pre-optimization step. Even though ML models comprise a small portion of the overall compute (see for details), we expect these requirements to be reduced even further as more effort is placed on inference efficiency in the future. Adsorpční k SI Jedna pozorování, která si zaslouží další studie, je, že modely ML našly mnohem lepší minima mezi 5 a 15% času, v závislosti na kompromisech účinnosti (tabulka). ). If our ML models were perfect there would be no instances with lower adsorption energies; however, implicit noise in the form of inaccurate force predictions allows the ML models to traverse unexplored regions of the potential energy surface. Exploring to what extent implicit and explicit noise , Dopad ML relaxace a následné úkoly, jako je úspěšnost je důležitou oblastí budoucího výzkumu. 3 46 47 Another natural extension to this work is focusing on alternative methods of global optimization and initial configuration generation. Here, we focused on accelerating brute-force approaches to finding the global minimum by enumerating initial adsorbate-surface configurations. However, there are likely to be much more efficient approaches to global optimization such as minima hopping Omezená optimalizace , , Bayesian optimization, or a directly learned approach. It is worth noting that while our enumeration spanned a much larger space than traditional heuristic methods, it was not exhaustive and all-encompassing. We found that increasing the number of random configurations beyond what was sampled had diminishing returns, as the change in success rate from heuristic + 80% random DFT to heuristic + 100% random DFT was only 1.6% (see the Pokud bude screening více konfigurací ML i nadále výhodný, přemýšlení o tom, jak zvládáme duplicitní struktury, by mohlo dále přispět k přesnosti a efektivitě. , where removing systems with nearly the same ML energies resulted in marginal benefit. 20 19 21 SI SI While current models like GemNet-OC and eSCN-MD-Large demonstrate impressive success rates on OC20-Dense, ML relaxations without any subsequent DFT are still not accurate enough for practical applications (Table Pro budoucí modelování práce řešit tuto výzvu, existuje řada pozorování stojí za zdůraznění. za prvé, existuje pozitivní korelace mezi úspěšností na OC20-Dense a oba a relaxační výchozí struktura pro relaxační energii ( OC20 - úkoly založené na relaxaci and Další důležitou poznámkou k vývoji modelu je, že validační sada OC20-Dense je dílčí souborem validační sady OC20; v důsledku toho by měly být údaje o validaci OC20 použity pro školení při hodnocení na OC20-Dense. Konečně je důrazně doporučeno, aby výsledky hlášené na validační sadě OC20-Dense byly hodnoceny pomocí výpočtu jednoho bodu DFT, protože metrika úspěšnosti může být manipulována předpovídáním pouze nízkých energií. 2 S2EF R2E R2E S2EF Významný pokrok v datových souborech a strojovém učení pro chemii umožnil modelům dosáhnout bodu, kde mohou výpočty DFT výrazně zlepšit a zvýšit.Naše výsledky ukazují, že současné nejmodernější modely ML nejen urychlují výpočty DFT pro katalyzátory, ale umožňují přesnější odhady vlastností, které vyžadují globální optimalizaci, jako jsou adsorpční energie.Zatímco modely používané v této práci jsou nejvhodnější pro idealizované katalyzátory adsorbátového povrchu, strategie jemného nastavení mohou pomoci umožnit aplikace do jiných chemikálií, včetně kovových organických rámců a zeolitů . Similarly, the models used in this work were trained on a consistent level of DFT theory (revised Perdew–Burke–Ernzerhof, no spin polarization), generalizing to other functionals and levels of theory could also be enabled with fine-tuning or other training strategies. Given the timeline of ML model development, these results would not have been possible even a couple of years ago. We anticipate this work will accelerate the large-scale exploration of complex adsorbate-surface configurations for a broad range of chemistries and applications. Generalizing these results to more diverse materials and molecules without reliance on DFT is a significant community challenge moving forward. 29 Methods Open Catalyst 2020-Dense Dataset (OC20-Dense) Hodnocení odhadů adsorpční energie vyžaduje datový soubor základních pravd, který důkladně zkoumá soubor potenciálních adsorpčních konfigurací. ( 1 ) Zejména pro daný katalyzátorový povrch OC20 zvažuje všechna možná místa adsorpce, ale pouze umístí požadovaný adsorbát na náhodně vybrané místo v jedné konkrétní konfiguraci. , , , , Úkoly, jako jsou , although correlate well, are not always sufficient when evaluating performance as models are penalized when finding a different, lower energy minima—a more desirable outcome. As a natural extension to OC20’s tasks, we introduce OC20-Dense to investigate the performance of models to finding the adsorption energy. O M 34 35 47 48 49 R2E OC20-Dense is constructed to closely approximate the adsorption energy for a particular adsorbate-surface combination. To accomplish this, a dense sampling of initial adsorption configurations is necessary. OC20-Dense consists of two splits—a validation and test set. For each split, ~1000 unique adsorbate-surface combinations from the respective OC20 validation/test set are sampled. A uniform sample is then taken from each of the subsplits (ID, OOD-Adsorbate, OOD-Catalyst, OOD-Both) to explore the generalizability of models on this task. For each adsorbate-surface combination, two strategies were used to generate initial adsorbate configurations: heuristic and random. The heuristic strategy serves to represent the average catalysis researcher, where popular tools like CatKit a Pymatgen Vzhledem k adsorbátu a povrchu, Pymatgen seznamuje všechna symetricky identická místa, adsorbát je umístěn na místě, a náhodné otáčení podél osy z následuje mírné zvlnění v a Axis je aplikován na adsorbát. Zatímco heuristické strategie se snaží zachytit nejlepší postupy, omezují možný vyhledávací prostor bez záruky, že je vybrána skutečná minimální energie. Abychom to řešili, také náhodně vyčíslíme místa M na povrchu a poté umístíme adsorbát na vybrané místo. V této práci se používá M = 100 a náhodná rotace se aplikuje na adsorbát podobným způsobem. V obou strategiích odstraňujeme nepřiměřené konfigurace – adsorbáty, které nejsou umístěny na desce a/nebo jsou umístěny příliš hluboko do povrchu. DFT relaxační operace byly pak spuštěny na všech konfiguracích s filtrovanými výsledky, aby se odstranily ty . 23 22 x y Jsi The OC20-Dense test set comprises 989 unique adsorbate+surface combinations spanning 74 adsorbates and 837 bulks. Following the dense sampling, a total of 56,282 heuristic and 49,432 random configurations were calculated with DFT. On average, there were 56 heuristic and 50 random configurations per system (note—while M = 100 random sites were generated, less sites were available upon filtering.) In total, ~4 million hours of compute were used to create the dataset. All DFT calculations were performed using (přesněji řečeno , , , Diskuse o nastavení a podrobnostech DFT lze nalézt v . Vídeň Ab initio Simulation Package 50 51 52 53 Jsi Evaluation metrics Abychom dostatečně sledovali pokrok, navrhujeme dvě primární metriky – míru úspěchu a zrychlení DFT. je podíl systémů, ve kterých strategie vrací energii, která je v , or lower of the DFT adsorption energy. A margin of = 0.1 eV is selected as the community is often willing to tolerate a small amount of error for practical relevance , Zpřísnění této prahové hodnoty pro lepší přesnost je předvídatelným krokem, jakmile jsou modely+strategie nasycené. jako prostředek k vyhodnocení účinnosti. Zrychlení se měří jako poměr DFT elektronické, nebo self-consistency (SC), kroky používané DFT-Heur+Rand a navrhované strategie. Elektronické kroky se používají, jak jsme je viděli korelovat lépe s DFT výpočetní čas než počet iontové, nebo relaxační, kroky. DFT výpočty, které selhaly nebo vedly k neplatným strukturám byly zahrnuty do hodnocení zrychlení, protože stále představují realizované náklady ve screening. Rozhodli jsme se nezahrnout výpočetní čas v této metrice, protože výsledky jsou často hardwarově závislé a mohou dělat srovnání výsledků nespolehlivé. ML relaxační náklady jsou vyloučeny z této metriky, protože hardwarová . Metrics are reported against the rigorous ground truth—DFT-Heur+Rand, and compared to a community heuristic practice—DFT-Heur. Formally, metrics are defined in Equs. ( a) a ( ) se Success rate σ σ 2 37 DFT speedup Jsi 2 3 kde je adsorbovaný povrchový systém, the total number of unique systems, 𝟙 is the indicator function, is the proposed strategy, je počet samohodnoty nebo elektronických kroků a je minimální energií ve všech konfiguracích daného systému. i N NSCsteps Relaxační omezení Je možné, že v rámci těchto detoxikačních systémů je možné, že některé z adsorbovaných povrchových konfigurací, které považujeme za čisté, se mohou uvolnit do stavu, který je v naší analýze nezbytný. Pro tuto práci jsme zvažovali tři takové scénáře: (1) desorpce, (2) disociace a (3) významné adsorbované povrchové změny. Desorpce, adsorbovaná molekula nezavazující se k povrchu, může být mnohem méně škodlivá, protože desorpční povrchové systémy jsou obecně vysoce energetické. Přesto je užitečné pochopit, když žádná z těchto konfigurací nebyla skutečně adsorbována na povrch. Disociace, rozpad adsorbované molekuly do různých atomů nebo molekul, je problematický, protože výsledná adsorpční energie . Jsi Data availability Kompletní otevřený datový soubor je k dispozici na . https://github.com/Open-Catalyst-Project/AdsorbML Code availability Veškerý doprovodný kód je k dispozici na . https://github.com/Open-Catalyst-Project/AdsorbML References Nørskov, J. K., Studt, F., Abild-Pedersen, F. & Bligaard, T. (John Wiley & Sons, 2014). Fundamental Concepts in Heterogeneous Catalysis Chanussot, L. et al. Otevřený katalyzátor 2020 (oc20) datový soubor a komunitní výzvy. ACS Catal. 11, 6059–6072 (2021). článek CAS Google Scholar Dumesic, J. A., Huber, G. W. a Boudart, M. Zásady heterogenní katalýzy (Wiley Online Library, 2008). Zitnick, C. L. et al. Úvod do elektrokatalyzátorového designu pomocí strojového učení pro ukládání obnovitelné energie. Preprint na https://arxiv.org/abs/2010.09435 (2020). Choudhary, K. et al. Recent advances and applications of deep learning methods in materials science. , 59 (2022). NPJ Comput. Mater. 8 Article Google Scholar Wen, T., Zhang, L., Wang, H., Weinan, E. & Srolovitz, D. J. Hluboké potenciály pro vědu o materiálech. Mater. Futures 1, 022601 (2022). Článek Google Scholar Wei, J. et al. Strojové učení v materiálové vědě. InfoMat 1, 338–358 (2019). článek CAS Google Scholar Ulissi, Z.W., Medford, A.J., Bligaard, T. & Nørskov, J.K. K řešení složitosti sítě povrchových reakcí pomocí škálování vztahů pomocí strojového učení a výpočtů DFT. Tran, K. & Ulissi, Z.W. Aktivní učení přes intermetaliku k vedení objevu elektrokatalyzátorů pro redukci CO2 a evoluci h2. Nat. katal. 1, 696–703 (2018). článek CAS Google Scholar Zhong, M. et al. Accelerated discovery of co2 electrocatalysts using active machine learning. , 178–183 (2020). Nature 581 Article CAS Google Scholar Liu, X. et al. Pochopení trendů v elektrochemických rychlostech redukce oxidu uhličitého. Nat. společné 8, 1–7 (2017). Nørskov, J. K. et al. Trends in the exchange current for hydrogen evolution. J. Electrochem. Soc. 152, J23 (2005). Wan, X. et al. Objev vysoce účinných entropických slitinových katalyzátorů pro reakci redukce kyslíku pomocí strojového učení. vzory 3, 100553 (2022). Seh, Z.W. et al. Kombinace teorie a experimentů v elektrokatalýze: Vhledy do designu materiálů. věda 355, eaad4998 (2017). Hohenberg, P. a Kohn, W. Inhomogenní elektronový plyn. Phys. Rev. 136, B864 (1964). Kohn, W. & Sham, L. J. Sebekonzistentní rovnice včetně výměnných a korelačních efektů. Sholl, D.S. & Steckel, J.A. Funkční teorie hustoty: Praktický úvod (John Wiley & Sons, 2022). Teukolsky, S. A., Flannery, B. P., Press, W. & Vetterling, W. Numerické recepty v C. SMR 693, 59–70 (1992). Peterson, A.A. Globální optimalizace adsorbátových povrchových struktur při zachování molekulární identity. Goedecker, S. Minima skákání: efektivní metoda hledání globálního minima potenciálního energetického povrchu složitých molekulárních systémů. Jung, H., Sauerland, L., Stocker, S., Reuter, K. & Margraf, J. T. Strojové učení řízené globální optimalizace povrchových adsorbovaných geometrií. Ong, S. P. et al. Python materials genomics (pymatgen): a robust, open-source Python library for materials analysis. , 314–319 (2013). Comput. Mater. Sci. 68 Boes, J. R., Mamun, O., Winther, K. & Bligaard, T. Graph teoretický přístup k generování struktury adsorpce povrchu s vysokým průtokem. Andersson, M. P. et al. K výpočetnímu screeningu v heterogenní katalyze: Pareto-optimální methanace katalyzátory. Bligaard, T. et al. The Brønsted-Evans-Polanyi relation and the volcano curve in heterogeneous catalysis. , 206–217 (2004). J. Catal. 224 Studt, F. et al. Identifikace katalyzátorů nelegovaných kovů pro selektivní hydrogenování acetylenu. Věda 320, 1320–1322 (2008). Nilekar, A. U., Sasaki, K., Farberow, C. A., Adzic, R. R. & Mavrikakis, M. Smíšené kovové Pt jednoplošné elektrokatalyzátory se zlepšenou tolerancí CO. J. Am. Chem. Soc. 133, 18574–18576 (2011). Deshpande, S., Maxson, T. & Greeley, J. Graph teoretický přístup k určení konfigurací multidentátových a vysoce pokrytých adsorbátů pro heterogenní katalýzu. Tran, R. et al. Otevřený katalyzátor 2022 (oc22) dataset a výzvy pro oxidové elektrokatalyzátory. ACS Catal. 13, 3066–3084 (2023). Jain, A. et al. Komentář: Materiálový projekt: materiálový genomový přístup k urychlení inovací materiálů. APL Mater. 1, 011002 (2013). Schütt, K. et al. Schnet: kontinuální filtrační konvoluční neurální síť pro modelování kvantových interakcí. In Advances in Neural Information Processing Systems (eds Guyon, I. et al.) 991–1001 (Neural Information Processing Systems Foundation, Inc. (NeurIPS) 2017). Gasteiger, J., Groß, J. & Günnemann, S. Directional message passing for molecular graphs. in (ICLR, 2020). International Conference on Learning Representations (ICLR) Gasteiger, J., Giri, S., Margraf, J. T. & Günnemann, S. Rychlá a nejistota-vědomá směrová zpráva procházející pro molekuly, které nejsou v rovnováze. Preprint na https://arxiv.org/abs/2011.14115 (2020). Gasteiger, J. et al. GemNet-OC: vývoj grafických neuronových sítí pro velké a rozmanité molekulární simulace datových souborů. Trans. Mach. Learn. Res. https://openreview.net/forum?id=u8tvSxm4Bs (2022). Zitnick, C. L. et al. Spherical channels for modeling atomic interactions. , 8054–8067 (2022). Adv. Neural Inf. Process. Syst. 35 Chmiela, S. et al. Machine learning of accurate energy-conserving molecular force fields. , e1603015 (2017). Sci. Adv. 3 Kolluru, A. et al. Otevřené výzvy při vývoji generalizovatelných modelů strojového učení ve velkém měřítku pro objev katalyzátorů. ACS Catal. 12, 8572–8581 (2022). Chang, C. & Medford, A. J. Aplikace hustotního funkčního těsného vázání a strojového učení k vyhodnocení stability biomasových meziproduktů na povrchu Rh(111). Chan, L., Hutchison, G. R. & Morris, G. M. Bayesian optimalizace pro generování konformistů. J. Cheminform. 11, 32 (2019). Fang, L., Makkonen, E., Todorović, M., Rinke, P. & Chen, X. Efektivní vyhledávání aminokyselin s Bayesian optimalizací. Xu, W., Reuter, K. & Andersen, M. Předpovídání vazebných motivů složitých adsorbátů pomocí strojového učení s grafickým zobrazením inspirovaným fyzikou. Ulissi, Z.W. et al. Metody strojového učení umožňují vyčerpávající vyhledávání aktivních bimetalických aspektů a odhalují aktivní motivy webu pro snížení CO2.ACS Catal. 7, 6600–6608 (2017). Ghanekar, P.G., Deshpande, S. & Greeley, J. Rámec strojového učení založený na chemickém prostředí Adsorbate pro heterogenní katalýzu. Schütt, K., Unke, O. & Gastegger, M. Equivariant message passing for the prediction of tensorial properties and molecular spectra. v Mezinárodní konferenci o strojovém učení 9377–9388 (PMLR, 2021). S. Passaro a C. L. Zitnick, Reducing SO(3) convolutions to SO(2) for efficient equivalent GNNs. in Proceedings of the 40th International Conference on MachineLearning, Proceedings of Machine Learning Research, Vol. 202 (eds Krause, A. et al.) 27420–27438 (PMLR, 2023). Schaarschmidt, M. et al. Naučené silové pole jsou připraveny pro objevení katalyzátoru na zemi. Preprint na https://arxiv.org/abs/2209.12466 (2022). Godwin, J. et al. Jednoduchá normalizace gnn pro 3d předpověď molekulárních vlastností a dále. v Mezinárodní konferenci o prezentacích učení (ICLR) (ICLR*,* 2021). Ying, C. et al. Opravdu transformátory fungují špatně pro grafické znázornění? adv. Neural Inf. Proces. Syst. 34, 28877–28888 (2021). Shuaibi, M. et al. Rotation invariant graph neural networks using spin convolutions. Preprint at (2021). https://arxiv.org/abs/2106.09575 Kresse, G. & Hafner, J. Ab inicio molekulárně-dynamická simulace přechodu tekutého kovu-amorfního polovodiče v germaniu. Kresse, G. & Furthmüller, J. Efficient iterative schemes for ab initio total-energy calculations using a plane-wave basis set. , 11169–11186 (1996). Phys. Rev. B 54 Kresse, G. & Joubert, D. Od ultramykých pseudopotenciálů k projektorové metodě s rozšířenou vlnou. Kresse, G. & Furthmüller, J. Efektivita ab-initio celkových energetických výpočtů pro kovy a polovodiče s použitím základního souboru ploché vlny. Tento dokument je k dispozici v přírodě pod licencí CC by 4.0 Deed (Attribution 4.0 International). Tento dokument je k dispozici v přírodě pod licencí CC by 4.0 Deed (Attribution 4.0 International).