AdsorbML: Як AI трансформує каталізатори для відкриття чистої енергії та хімічних речовин

Автори : Janice Lan Ані Палізаті Muhammed Shuaibi Brandon M. Wood Brook Wander Abhishek Das Matt Uyttendaele C. Lawrence Zitnick Zachary W. Ulissi Автори : Дженніфер Лан Ані Палізаті Мухаммед Шуайбі Брендон М. Вуд Брук Wander Абхазія Метт Уїттенделе С. Лоуренс Зітнік Захарій В. Улісі абстрактні Обчислювальний каталіз відіграє все більш значну роль у розробці каталістів у широкому діапазоні застосувань. Загальним завданням для багатьох обчислювальних методів є необхідність точно обчислювати енергію адсорбції для адсорбату та каталітичної поверхні інтересу. Традиційно, ідентифікація низькоенергетичних конфігурацій поверхні адсорбату залежить від евристичних методів та інтуїції дослідників. Оскільки бажання проводити скринінги високої потужності зростає, стає складно використовувати евристику та інтуїцію наодинці. У цій статті ми демонструємо потенціал машинного навчання, який може бути використаний для більш точної та ефективної ідентифікації конфігурацій поверхні Введення Дизайн нових гетерогенних каталізаторів відіграє важливу роль у синтезі повсякденних палив і хімічних речовин. Щоб задовольнити зростаючий попит на енергію при боротьбі з зміною клімату, ефективні, недорогі каталізатори є критичними для використання відновлюваної енергії , , , З огляду на величезний матеріальний дизайн простору, ефективні методи скринінгу дуже затребувані , , , Обчислювальний каталіз пропонує потенціал для відстеження великої кількості матеріалів для доповнення більш тривалих і витратних експериментальних досліджень. 1 2 3 4 4 5 6 7 Енергія адсорбції - це енергія, пов'язана з молекулою, або адсорбатом, що взаємодіє з поверхнею каталізатора. Адсорбати часто вибираються для захоплення різних етапів, або проміжних елементів, у шляху реакції (наприклад, *CHO у зменшенні CO2). Енергія адсорбції обчислюється шляхом пошуку конфігурації поверхні адсорбату, яка мінімізує загальну енергію структури. Таким чином, енергія адсорбції є глобальною мінімальною енергією у всіх потенційних місцях і конфігураціях адсорбату. Ці енергії адсорбції є початковою точкою для розрахунку графіків вільної енергії для визначення найбільш сприятливих шляхів реакції на поверхні Було продемонстровано, що адсорбційні енергії проміжних реакцій можуть бути потужними описниками, які корелюють з експериментальними результатами, такими як активність або селективність. , , , , Ця здатність передбачати тенденції в каталітичних властивостях з перших принципів є основою ефективних підходів до каталітичного скринінгу. , . 8 9 10 11 12 13 1 14 Існує численні потенційні місця зв'язування для адсорбату на поверхні, і для кожного місця зв'язування існує кілька способів орієнтації адсорбату (див. внизу ліворуч на малюнку. При розміщенні адсорбату на поверхні каталізатора атоми адсорбату і поверхні будуть взаємодіяти один з одним. Щоб визначити енергію адсорбування для конкретної конфігурації поверхні адсорбату, позиції атомів потрібно розслабляти, поки не буде досягнуто місцевого енергетичного мінімуму. , , DFT спочатку обчислює розрахунок в одній точці, де вихід є енергією системи і силами на атом. А релаксація потім виконує локальну оптимізацію, де сили на атом ітеративно обчислюються за допомогою DFT і використовуються для оновлення атомних позицій за допомогою алгоритму оптимізації (наприклад, кон'югований градиент). Щоб знайти глобальний мінімум, стратегія для відбору зразків конфігурацій поверхні адсорбату та/або техніка, наприклад, мінімальний стрибок , для подолання енергетичних бар'єрів під час оптимізації необхідно. 1 15 16 17 18 19 20 По-перше, вибирається комбінація адсорбату і поверхні, потім численні конфігурації перераховуються евристично та/або випадково. Для кожної конфігурації проводяться релаксації DFT і системи фільтруються на основі фізичних обмежень, які забезпечують дійсні енергії адсорбції (тобто, дезорбція, дисоціація, поверхневе невідповідність). Мінімальна енергія у всіх конфігураціях визначається як енергія адсорбції. Енергія адсорбції (Δ Розраховується як енергія адсорбату-поверхні ( Енергоефективність енергоефективності (наприклад, енергоефективність) Енергозберігаюча енергетика (енергозберігаюча енергетика) та енергозберігаюча енергія ( нафти), як це визначено Chanussot et al. і деталізовано в (від , . E E E E Підтримка інформації якщо) 2 4 Розслаблені структури поверхні адсорбату повинні поважати певні бажані властивості, щоб їх енергія адсорбції була як точною, так і дійсною.Одним з прикладів обмеження є те, що адсорбат не повинен бути дезорбований, тобто плавати від поверхні в кінцевій розслабленій структурі (рис. Крім того, якщо адсорбат має кілька атомів, він не повинен розлучатися або розпадатися на кілька адсорбатів, тому що він більше не буде енергією адсорбції молекули інтересу. , Аналогічно, якщо адсорбат викликає значні зміни в поверхні порівняно з чистою поверхнею, Важливо відзначити, що якщо розслаблена структура порушує одне з цих обмежень, це не обов'язково означає, що розслаблення було неточним; ці результати виникають, але вони призводять до недійсних або неточних енергій адсорбції, як це було визначено. 1 19 21 E Виявлення глобально оптимальної конфігурації поверхні адсорбату історично покладалося на експертну інтуїцію або останнім часом на евристичні підходи. Інтуїцію та випробування та помилки можна використовувати для одноразових систем інтересу, але вона не масштабується до великої кількості систем. , Ці методи були успішно використані в минулих описових дослідженнях. , , , , , Нещодавно використовувався графічний метод для виявлення унікальних конфігурацій поверхні адсорбату. Тим не менш, оскільки збільшується складність поверхні і адсорбатів, виклик пошуку найнижчої енергетичної конфігурації адсорбату-поверхні значно зростає. 22 23 9 10 24 25 26 27 28 Хоча DFT пропонує можливість точно оцінити атомні сили та енергії, він є обчислювально дорогим, масштабуючим. ( 3) з кількістю електронів.Оцінка однієї конфігурації поверхні адсорбату з повною релаксацією DFT може зайняти ~24 години для обчислення , Оскільки численні конфігурації зазвичай досліджуються, щоб знайти енергію адсорбції, всі обчислення DFT можуть зайняти дні або навіть тижні. Для CO2 Reduction Reaction (CO2RR) з використанням 5 дескрипторів адсорбатів, ~90 поверхневих/матеріалів і ~100 місць/поверхня, потрібно ~4,5 мільярда днів обчислення процесора, що є непереборною проблемою навіть для найбільших суперкомп'ютерів світу. O N 2 29 30 Останнім часом потенціали машинного навчання (ML) для оцінки атомних сил і енергій продемонстрували значний прогрес по відношенню до стандартних еталонів, будучи порядками величини швидше, ніж DFT. , , , , , , Хоча точність ML на великому і різноманітному наборі даних Open Catalyst 2020 (OC20) покращилася до 0,3 еВ для розслабленої оцінки енергії, точність 0,1 еВ все ще бажана для точного скринінгу. Це викликає питання про те, чи може гібридний підхід, який використовує як потенціал DFT, так і ML, досягти високої точності при збереженні ефективності. 2 31 32 33 34 35 36 37 Оцінювання ефективності нових методів для виявлення низькоенергетичних конфігурацій поверхні адсорбату є складною справою без стандартизованих даних про валідацію. , , , , У той час як OC20 містить ( 1 ) ) «енергії адсорбції», вона не випробувала декілька конфігурацій на комбінацію адсорбату-поверхні, що означає, що одна конфігурація, яка була розслаблена, навряд чи буде глобальним мінімумом. Щоб вирішити цю проблему, ми вводимо Open Catalyst 2020-Dense Dataset (OC20-Dense). OC20-Dense включає в себе два розділи — валідаційний і тестовий набір. Валідаційний набір використовується для розробки; і тестовий набір для звітування про продуктивність. Кожен розділ складається з ~1000 унікальних комбінацій адсорбатів поверхні з валідаційних і тестових наборів OC20-Dense. Для навчання не використовуються дані OC20-Dense. Для вивчення узагальненості нашого підходу ми беремо ~250 комбінацій з кожного з чотирьох підрозділів OC20 — In-Domain (ID), Out-of-Domain (OOD)-Adsorbate, OOD-Catalyst та OOD-Both. Для 19 28 38 39 40 O M 2 Ми пропонуємо гібридний підхід до оцінки енергій адсорбції, який використовує сильні сторони як потенціалів ML, так і DFT. Ми випробуємо велику кількість потенційних конфігурацій адсорбатів, використовуючи як евристичні, так і випадкові стратегії, і виконуємо релаксації, використовуючи потенціали ML. Кращі *k-* релаксировані енергії потім можуть бути випрацьовані за допомогою розрахунків DFT в одній точці або з повним релаксацією DFT. Використовуючи цей підхід, можна зробити відповідні компроміси між точністю та ефективністю. Значні дослідницькі зусилля були присвячені визначенню найнижчої енергетичної конфігурації поверхні адсорбату за допомогою поліпшення початкового створення структури та стратегій глобальної оптимізації. , , , , , , Пітерсон прийняв метод мінімального стрибка і розробив глобальний підхід до оптимізації, який зберігає ідентичність адсорбату за допомогою обмеженого мінімального стрибка. Однак метод повністю спирається на DFT для виконання пошуку, все ще роблячи його обчислювально дорогим. запропоновано активний робочий процес навчання, в якому використовується процес Гаусіана для запуску обмежених мінімальних симуляцій стрибків. Структури, що генеруються їхніми симуляціями, перевіряються DFT і ітеративно додаються до навчального набору, поки не буде досягнута конвергенція моделі. Тренована модель потім працює паралельно з обмеженими мінімальними симуляціями стрибків, піднабір розширюється з DFT, а остання енергія адсорбції виявлена. Ми відзначаємо, що попередні спроби використовувати моделі машинного навчання для прискорення цього процесу зазвичай покладалися на індивідуальні моделі для кожної комбінації адсорбату / каталіста, що обмежує більш широке застосування , Одна з можливостей значно розширити універсальність цих методів, продовжуючи знижувати людські та обчислювальні витрати, полягає в використанні генералізованих потенціалів машинного навчання для прискорення пошуку низькоенергетичних конфігурацій поверхні адсорбату. 19 21 28 38 39 40 41 19 21 42 43 Вклади цієї роботи тричі: Ми пропонуємо алгоритм AdsorbML для виявлення енергії адсорбції під спектром компромісів точності та ефективності. Ми розробляємо Open Catalyst 2020-Dense Dataset (OC20-Dense) для порівняння завдання пошуку енергії адсорбції. Ми порівнюємо літературні моделі Graph Neural Network (GNN) на OC20-Dense, використовуючи запропонований алгоритм AdsorbML; виявлення декількох перспективних моделей, які добре підходять для практичних застосувань скринінгу. Результати Оцінка OC20-Dense Для оцінки методів обчислення енергій адсорбції ми представляємо Open Catalyst 2020-Dense Dataset (OC20-Dense), який наближає енергію адсорбції підземної істини, щільно досліджуючи численні конфігурації для кожної унікальної системи з адсорбцією поверхні. Кожен поділ OC20-Dense складається з ~1000 унікальних комбінацій з адсорбцією поверхні, що охоплюють 74 адсорбати, 800+ неорганічних кристалічних структур, а також загалом 80 000 + евристично та випадково створених конфігурацій. Для завершення обчислювальної роботи потрібні ~4 мільйони CPU-hrs. Детальніше обговорення OC20-Dense можна знайти в розділі «Методи». 1 We report results on a wide range of GNNs previously benchmarked on OC20 to evaluate the performance of existing models on OC20-Dense. These include SchNet Оновлення DimeNet++ , Падінь Джерело: GemNet-OC , GemNet-OC-MD , GemNet-OC-MD-Великий , SCN-MD-Великий , and eSCN-MD-Large де MD відповідає навчанню з OC20 та супутнім ab initio молекулярної динаміки (MD) набору даних. моделі не були підготовлені в рамках цієї роботи; підготовлені моделі були взяті безпосередньо з раніше опублікованої роботи і можна знайти на . Of the models, (e)SCN-MD-Large and GemNet-OC-MD-Large are currently the top performers on both OC20 and Open Catalyst 2022 Dataset (OC22). Exploring the extent these trends hold for OC20-Dense will be important to informing how well progress on OC20 translates to more important downstream tasks like the one presented here. 31 32 33 44 34 34 34 35 45 https://github.com/Open-Catalyst-Project/ocp/blob/main/MODELS.md В ідеалі, основною істиною для OC20-Dense буде мінімальна розслаблена енергія над усіма можливими конфігураціями для кожної системи адсорбції поверхні.Оскільки кількість можливих конфігурацій комбінаторна, спільнота розробила евристичні підходи до адсорбції розміщення на поверхні каталізатора , При оцінці тільки евристичних конфігурацій ми називаємо це DFT-Heuristic-Only (DFT-Heur). Щоб додати до конфігураційного простору, ми також рівномірно відбираємо зразки сайтів на поверхні випадково з адсорбатом, розміщеним на кожному з цих сайтів з випадковим обертанням уздовж осі і невеликий вибух навколо та Ось. При оцінці проти як евристичної, так і випадкової конфігурації, ми називаємо це DFT-Heuristic-Only (DFT-Heur). Хоча обчислювально дорожче, цей бенчмарк забезпечує більш ретельне пошук конфігурацій і більш точну оцінку енергій адсорбції, ніж за допомогою тільки евристичних конфігурацій, загальної базової лінії, що використовується спільнотою. 22 23 z x y ML релаксація We explore to what extent ML predictions can find the adsorption energy within a threshold of the DFT minimum energy, or lower. While a perfect ML surrogate to DFT will only be able to match DFT, small errors in the forces and optimizer differences have the potential to add noise to relaxations and result in configurations previously unexplored Для кожної моделі релаксації виконуються на однаковому наборі конфігурацій адсорбатів.Початкові конфігурації створюються на основі евристичних стратегій, що використовуються в літературі. , На всіх початкових конфігураціях виконуються релаксації за допомогою ML; системи, не придатні для розрахунків енергії адсорбції через фізичні обмеження, видаляються, включаючи дисоціацію, дезорбцію та поверхневе невідповідність. 46 22 23 При оцінці продуктивності ми визначаємо успіх як знаходження енергії адсорбції в межах прийнятної толерантності (0,1 еВ у цій роботі). , , ) або нижче енергії адсорбції DFT в OC20-Dense. Зверніть увагу, що енергії адсорбції підземної істини в OC20-Dense є верхньою межею, оскільки можливо, що може існувати нижча енергія адсорбції. При оцінці енергій адсорбції, передбачених ML, результати повинні бути перевірені за допомогою одноточкового розрахунку DFT, оскільки метрику оцінки без нижчої межі можна легко грати, передбачаючи низькі енергії (див. Для достовірної оцінки ML ми вважаємо, що енергія адсорбції ML успішна, якщо вона знаходиться в межах 0,1 eV енергії адсорбції DFT або нижче, а відповідна оцінка DFT в одному пункті прогнозованої структури ML знаходиться в межах 0,1 eV прогнозованої енергії ML. , де топ-моделі OC20, включаючи eSCN-MD-Large і GemNet-OC-MD-Large, повідомили про успішні показники 56,52% і 48.03%, відповідно. , які добре співвідносяться з показниками успіху та OC20 Метричні 2 37 46 якщо) 2 2 С2ЕФ Хоча нинішній стан моделей зробив неймовірний прогрес У умовах високого проникнення, де успішні кандидати переходять до більш дорогих аналізів або навіть експериментального синтезу, рівень успіху ~50% може призвести до значної витрати часу і ресурсів на вивчення помилкових позитивів.Оскільки розробка моделей продовжує сприяти поліпшенню метрики, ця робота досліджує гібридні стратегії ML+DFT для поліпшення успішності за рахунок додаткових обчислень. 37 Алгоритм Адсорбція Ми вводимо Алгоритм використання ML для прискорення процесу розміщення адсорбату (рис. Для кожної моделі ми досліджуємо дві стратегії, які включають ML, а потім розрахунки DFT для визначення енергії адсорбції. Адсорбція 2 Fig. 2: The algorithm. AdsorbML Адсорбція І Початкові конфігурації генеруються за допомогою евристичних і випадкових стратегій. ML релаксації виконуються на GPU і класифікуються в порядку від найнижчої до найвищої енергії. системи передаються до DFT для оцінки однієї точки (SP) або повного розслаблення (RX) від розслабленої структури ML. Системи, що не задовольняють обмежень, фільтруються на кожному етапі розслаблення. Мінімальна кількість приймається через всі виходи DFT для кінцевої енергії адсорбції. k У обох підходах перший крок полягає в тому, щоб генерувати релаксації ML. Однак, замість того, щоб брати мінімум енергій, розслаблених ML, ми класифікуємо системи в порядку від найнижчої до найвищої енергії. Системи з найнижчими енергіями вибираються і (1) розрахунки з однієї точки DFT проводяться на відповідних структурах (ML+SP) або (2) релаксації DFT проводяться з розслаблених структур ML (ML+RX). перша стратегія спрямована на отримання більш надійного вимірювання енергії розслабленої структури, передбаченої ML, в той час як друга розглядає ML як попередній оптимізатор з DFT, що завершує розслаблення. найнижчі енергетичні системи, ми надаємо модель з можливості досягти прийнятно точної енергії адсорбції. , залучено більше обчислень DFT, але в порівнянні з повним підходом DFT, ми все ще очікуємо значних заощаджень. Розрахунки за даними ДФС. k k k k k В обох стратегіях енергії ML використовуються виключно для оцінки конфігурацій, з кінцевим прогнозом енергії, що походить від розрахунку DFT. Хоча обчислювально, ідеально було б повністю покладатися на ML, використання DFT як покращує точність, так і забезпечує крок перевірки, щоб принести нам більше впевненості в наших прогнозах енергії адсорбції. Експерименти Наша мета полягає в тому, щоб знайти порівнянні або кращі енергії адсорбції з тими, що знайдені за допомогою DFT тільки в OC20-Dense. Метрика, яку ми використовуємо для кількісного оцінювання цього завдання, це швидкість успіху, яка є відсотками систем OC20-Dense, де наша енергія адсорбції ML+DFT знаходиться в межах 0,1 eV або нижче енергії адсорбції DFT. Валідація енергії ML не включається в ці експерименти, оскільки всі кінцеві енергії адсорбції будуть походить від принаймні одного виклику DFT, що гарантує, що всі значення є дійсними. Інша метрика, яку ми проводимо, - це прискорення порівняно з базовою лінією DFT-Heur При оцінці загальної базової лінії DFT-Heur, яка використовує тільки розрахунки DFT, успішність 87,76% досягається при прискоренні 1,81×. Якщо ML+SP Результати використання одиничних оцінок на ML-відпущених станах підсумовуються на фігурі. eSCN-MD-Large та GemNet-OC-MD-Large повідомили про рівень успіху в 86+% = 5 з eSCN-MD-Large, що перевершує всі моделі з успішним показником 88,27%, трохи краще, ніж базовий показник DFT-Heur. Інші моделі, включаючи SchNet і DimeNet++, роблять значно гірше з показниками успіху на рівні 3,13% і 7,99%, відповідно; що говорить про те, що прогнозовані розслаблені структури дуже несприятливі. = 5, порядку величини швидше, ніж базальна лінія DFT-Heur. Зокрема, eSCN-MD-Large і GemNet-OC-MD-Large призводять до прискорень 1384× і 1388× відповідно. Якщо швидкість є найважливішою, прискорення до 6817× можна досягти з = 1 при збереженні показників успіху в 82% для eSCN-MD-Large. = 3, успішні показники 87,36% і 84,43% досягаються для eSCN-MD-Large і GemNet-OC-MD-Large при підтримці прискорень 2296× і 2299× відповідно. , мінімальні місця зв'язування енергії декількох систем порівнюються як ідентифіковані з ML+SP на різних моделях. 3 k k k k 4 Для кожної моделі прискорення DFT та відповідні показники успіху сплановані для ML+RX та ML+SP у різних кращих варіантах. Система вважається успішною, якщо передбачена енергія адсорбції знаходиться в межах 0,1 eV від мінімуму DFT або нижче. Всі показники успіху та прискорення відносяться до Random+Heuristic DFT. Heuristic DFT показується як загальна базова лінія спільноти. Верхній правий кут являє собою оптимальний регіон – максимізацію прискорення та скорочення успіху. Точка, виділена в теалі, відповідає збалансованому варіанту, зазначеному в абстракті – 87,36% успішності та 2290x прискорення. Подібну цифру для набору підтвердження OC20-Dense можна знайти в . k Якщо Відповідні енергії адсорбції відображаються в правому нижньому кутку кожного знімка.Структури, розслаблені ML, мають енергії, обчислені з одноточковою DFT, ML + SP. Показано різноманітні системи, включаючи ті, де ML знаходить нижчі, вищі та порівнянні енергії адсорбції з DFT. Зверніть увагу, що кілька конфігурацій в третій і четвертій системах є симетрично еквівалентними, і що SchNet викликає велику реконструкцію поверхні в третій системі, що призводить до надзвичайно великої енергії DFT (10,31 eV). ML + RX У той час як одноточкові оцінки пропонують швидку оцінку структур ML, продуктивність сильно залежить від точності прогнозованої розслабленої структури. Це особливо очевидно при оцінці норми максимальної сили на атом розслаблених структур ML за допомогою DFT. SchNet і DimeNet++ мають в середньому максимальну силу, , of 2.00 eV/Å and 1.21 eV/Å, respectively, further supporting the challenge these models face in obtaining valid relaxed structures. On the other hand, models like GemNet-OC-MD-Large and eSCN-MD-Large have an average of 0.21 eV/Å and 0.15 eV/Å, respectively. While these models are a lot closer to valid relaxed structures (i.e., ≤ 0.05 eV/Å), ці результати свідчать про те, що ще є простір для подальшої оптимізації. eSCN-MD-Large і GemNet-OC-MD-Large перевершують всі моделі значення, з 90-60% і 91,61% успішності в = 5, respectively. Given the additional DFT costs associated with refining relaxations, speedups unsurprisingly decrease. At = 5, we see speedups of 215× and 172× for eSCN-MD-Large and GemNet-OC-MD-Large, respectively. Both SchNet and DimeNet++ see much smaller speedups at 42× and 55×, respectively. The much smaller speedups associated with SchNet and DimeNet++ suggest that a larger number of DFT steps is necessary to relax the previously unfavorable configurations generated by the models. Conversely, eSCN-MD-Large’s much larger speedup can be attributed to the near relaxed states (average ~0.15 eV/Å) вона досягає у своїх прогнозах. = 1, збільшення швидкості 1064× можна досягти при збереженні рівня успіху 84,13% для eSCN-MD-Large. = 3, success rates of 89.28% and 89.59% are attainable for eSCN-MD-Large and GemNet-OC-MD-Large while maintaining speedups of 356× and 288×, respectively. Фмакс Фмакс fmax 3 k k k Фмакс k k Результати показують спектр компромісів щодо точності та ефективності, які слід враховувати при виборі стратегії.Для наших кращих моделей результати ML+SP майже в 8 разів швидше, ніж у ML+RX, з лише маргінальним зниженням показників успішності (3–4%), що свідчить про вартість компресу.Ця різниця набагато значніша для гірших моделей. На столі , ми вимірюємо розподіл прогнозів, які набагато краще, в паритеті, або набагато гірше, ніж реальність, де набагато краще / гірше відповідає бути нижче / вище, ніж 0,1 eV енергії адсорбції DFT. Протягом обох стратегій ми спостерігаємо, що найбільш точні моделі не обов'язково знаходять набагато кращі мінімуми. = 5 ML+RX, eSCN-MD-Large знаходить 9,10% систем з набагато нижчими мінімами, в порівнянні з DimeNet++ знайшовши 15,57%. Аналогічно, хоча eSCN-MD-Large перевершив моделі в ML+SP, він спостерігає менше поліпшення з ML+RX; наслідок моделі, що досягає значного місцевого мінімуму, що подальша релаксація DFT має мінімальну користь. для комплектів тестування та валідації OC20-Dense. 3 k Якщо Розподіл розділів Крім того, ми оцінюємо показники успіху в різних підрозділах набору даних. OC20-Dense одночасно відбирає зразки з чотирьох розділів OC20 — ID, OOD-Adsorbate, OOD-Catalyst та OOD-Both. Це свідчить про те, що для додатків, включаючи адсорбанти або поверхні, які не містяться в OC20, AdsorbML все ще забезпечує точні та значущі результати. = 5, achieves 86.00% on ID while a 88.35% success rate on OOD-Both, with similar trends on ML+RX. We attribute this discrepancy to the fairly small sample size per split (250). The full set of results can be found in the . 5 k Якщо Fig. 5: ML+SP success rate at = 5 across the different subsplits of the OC20-Dense test set and several baseline models. k k Моделі високих показників показують маргінальні відмінності між різними розділами розподілу, що свідчить про хорошу продуктивність генералізації для зовнішніх адсорбатів та каталізаторів, що не містяться в наборі даних навчання OC20. Configuration analysis Поряд з основними результатами ми досліджуємо ефективність використання тільки евристичних або тільки випадкових конфігурацій ML на наборі валідації OC20-Dense. = 5, коли використовуються тільки випадкові конфігурації, успіх знижується з 87,77% до 82,94%. Більш різко, коли розглядаються тільки евристичні конфігурації, успіх знижується значно до 62,18%. . k SI Дискусії Ми бачимо цю роботу як важливий, але початковий крок до зниження обчислювальних витрат ДФТ не тільки для каталітичних застосувань, але і для обчислювальної хімії в цілому. забезпечує спектр компромісів щодо точності та ефективності, які можна вибрати в залежності від наявних програмних та обчислювальних ресурсів. Наприклад, якщо ми зацікавлені в перевірці найбільшої кількості каталізаторів реакції скорочення CO2, враховуючи фіксований обчислювальний бюджет, ми могли б вибрати ML+SP на = 2 для 85% успішності при скринінгу ~3400× більше матеріалів, ніж було б можливо тільки з DFT. З іншого боку, якщо глибина дослідження є більш важливою, ML+RX є хорошою альтернативою, оскільки структури повністю оптимізовані з DFT, а обчислювальна прискорення походить від зменшення загальної кількості необхідних кроків релаксації. У цьому сценарії потенціал ML служить ефективним етапом попередньої оптимізації. for details), we expect these requirements to be reduced even further as more effort is placed on inference efficiency in the future. Адсорбція k SI Одне спостереження, яке заслуговує на додаткові дослідження, полягає в тому, що моделі ML знайшли набагато кращі мінімуми між 5 і 15% часу, в залежності від компромісів ефективності (табл. Якби наші моделі ML були досконалими, не було б випадків з нижчими енергіями адсорбції; однак, непрямий шум у вигляді неточних прогнозів сили дозволяє моделям ML перетинати невивчені регіони потенційної енергетичної поверхні. , Вплив релаксації ML і наступні завдання, такі як рівень успіху є важливою областю майбутніх досліджень. 3 46 47 Ще одним природним розширенням цієї роботи є зосередження уваги на альтернативних методах глобальної оптимізації та початкової генерації конфігурації. Тут ми зосередилися на прискоренні підходів грубої сили для пошуку глобального мінімуму шляхом перерахування початкових конфігурацій поверхні адсорбату. Обмежена оптимізація , , Bayesian optimization, or a directly learned approach. It is worth noting that while our enumeration spanned a much larger space than traditional heuristic methods, it was not exhaustive and all-encompassing. We found that increasing the number of random configurations beyond what was sampled had diminishing returns, as the change in success rate from heuristic + 80% random DFT to heuristic + 100% random DFT was only 1.6% (see the for more details). If screening more ML configurations continues to be advantageous, thinking about how we handle duplicate structures could further help accuracy and efficiency. We explore this briefly in the , where removing systems with nearly the same ML energies resulted in marginal benefit. 20 19 21 Якщо SI Хоча поточні моделі, такі як GemNet-OC і eSCN-MD-Large, демонструють вражаючі показники успіху на OC20-Dense, релаксації ML без будь-якого подальшого DFT все ще недостатньо точні для практичних застосувань (табл. Для майбутньої моделювання роботи, щоб вирішити цю проблему, є ряд спостережень, які варто підкреслити.По-перше, існує позитивна кореляція між рівнем успіху на OC20-Dense і як Енергоефективність (початкова структура на основі релаксації) ) OC20 tasks. Thus, relaxation-based та Інша важлива зауваження щодо розробки моделі полягає в тому, що набір валідації OC20-Dense є піднабором набору валідації OC20; в результаті, дані валідації OC20 не повинні використовуватися для навчання при оцінці на OC20-Dense. Нарешті, дуже рекомендується, щоб результати, що повідомляються на наборі валідації OC20-Dense, оцінювалися за допомогою розрахунку з однією точкою DFT, тому що метрику успішності можна маніпулювати, передбачаючи тільки низькі енергії. Це можна зробити з кількома розрахунками з однією точкою ~1000. Поряд з випуском набору тестів OC20-Dense ми будемо досліджувати випуск сервера публічної оцінки, щоб забезпечити послідовну оці 2 S2EF Іс2ре Іс2ре S2EF Величезний прогрес у наборах даних та машинному навчанні для хімії дозволив моделям досягти точки, де вони можуть суттєво покращити і збільшити розрахунки DFT. Наші результати демонструють, що нинішні моделі ML не тільки прискорюють розрахунки DFT для каталізу, але дозволяють більш точні оцінки властивостей, які потребують глобальної оптимізації, такі як енергії адсорбції. . Similarly, the models used in this work were trained on a consistent level of DFT theory (revised Perdew–Burke–Ernzerhof, no spin polarization), generalizing to other functionals and levels of theory could also be enabled with fine-tuning or other training strategies. Given the timeline of ML model development, these results would not have been possible even a couple of years ago. We anticipate this work will accelerate the large-scale exploration of complex adsorbate-surface configurations for a broad range of chemistries and applications. Generalizing these results to more diverse materials and molecules without reliance on DFT is a significant community challenge moving forward. 29 Методи Відкритий каталізатор 2020-Dense Dataset (OC20-Dense) Оцінка оцінок енергії адсорбції вимагає набору даних підземної істини, яка ретельно досліджує набір потенційних конфігурацій адсорбції. (1 Більш конкретно, для даної поверхні каталізатора, OC20 розглядає всі можливі місця адсорбції, але тільки розміщує бажаний адсорбат на випадково обраному місці в одній конкретній конфігурації. , , , , , but tasks like , хоча добре співвідносяться, не завжди достатньо при оцінці продуктивності, оскільки моделі штрафуються при знаходженні іншого, нижчого енергетичного мінімуму - більш бажаного результату. O M 34 35 47 48 49 IS2RE OC20-Dense is constructed to closely approximate the adsorption energy for a particular adsorbate-surface combination. To accomplish this, a dense sampling of initial adsorption configurations is necessary. OC20-Dense consists of two splits—a validation and test set. For each split, ~1000 unique adsorbate-surface combinations from the respective OC20 validation/test set are sampled. A uniform sample is then taken from each of the subsplits (ID, OOD-Adsorbate, OOD-Catalyst, OOD-Both) to explore the generalizability of models on this task. For each adsorbate-surface combination, two strategies were used to generate initial adsorbate configurations: heuristic and random. The heuristic strategy serves to represent the average catalysis researcher, where popular tools like CatKit і пімаген are used to make initial configurations. Given an adsorbate and surface, Pymatgen enumerates all symmetrically identical sites, an adsorbate is placed on the site, and a random rotation along the z axis followed by slight wobbles in the та Ось застосовується до адсорбату. Хоча евристичні стратегії прагнуть захопити найкращі практики, вони обмежують можливий пошуковий простір без гарантії, що вибрана справжня мінімальна енергія. Щоб вирішити це, ми також випадково перераховуємо M-сайти на поверхні, а потім розміщуємо адсорбат на вибраному місці. У цій роботі використовується M = 100 і випадкове обертання застосовується до адсорбату подібним чином. У обох стратегіях ми видаляємо необґрунтовані конфігурації — адсорбати, не розміщені на дошці та/або розміщені занадто глибоко в поверхню. ДФТ релаксації потім працювали на всіх конфігураціях з результатами, фільтруваними, щоб видалити ті, . 23 22 x y SI Тестовий набір OC20-Dense складається з 989 унікальних комбінацій адсорбату + поверхні, що охоплюють 74 адсорбати та 837 масивів. Після щільного відбору зразків, загалом було обчислено 56 282 евристичних і 49 432 випадкових конфігурацій за допомогою DFT. У середньому було 56 евристичних і 50 випадкових конфігурацій за системою (примітка - в той час як M = 100 випадкових сайтів були створені, менше сайтів було доступно під час фільтрації.) Загалом, ~ 4 мільйони годин обчислення були використані для створення набору даних. (VASP) , , , Обговорення параметрів і деталей DFT можна знайти в . Відень Ab initio Simulation Package 50 51 52 53 SI Evaluation metrics To sufficiently track progress, we propose two primary metrics—success rate and DFT speedup. відсоток систем, в яких стратегія повертає енергію, що знаходиться в межах , or lower of the DFT adsorption energy. A margin of = 0,1 eV вибирається, оскільки спільнота часто готова терпіти невелику кількість помилок для практичної актуальності , Посилення цього порогу для поліпшення точності є передбачуваним кроком, коли моделі + стратегії насичені.Хоча високі показники успіху досягаються за рахунок збільшення обчислень DFT, ми використовуємо як засіб для оцінки ефективності. Швидкість вимірюється як співвідношення електронного DFT, або самовідповідності (SC), кроків, використовуваних DFT-Heur+Rand і запропонованої стратегії. Електронні кроки використовуються, як ми бачили, що вони співвідносяться краще з часом обчислення DFT, ніж кількість іонного, або розслаблення, кроків. Розрахунки DFT, які провалилися або призвели до недійсних структур, були включені в оцінку швидкості, оскільки вони все ще представляють реалізовані витрати у скринінгу. Ми вирішили не включати обчислювальний час в цю метрику, оскільки результати часто залежать від апаратного обладнання і можуть зробити порівняння результатів ненадійними. витрати на розслаблення ML ви Звичайно ж, в даному випадку, як правило, виникає суперечливість між методом ДФТ і методом ДФТ, а також між методом ДФТ і методом ДФТ ( ) і ( ) Success rate σ σ 2 37 DFT speedup Якщо 2 3 де є системою адсорбції поверхні, загальна кількість унікальних систем, 1 є функцією індикатора, є запропонованою стратегією, is the number of self-consistency, or electronic steps, and is the minimum energy across all configurations of that particular system. For both metrics, higher is better. i N НСЗС Обмеження релаксації Для цієї роботи, ми розглянули три такі сценарії: (1) дезорбція, (2) диссоціація, і (3) суттєві зміни на поверхні, визначені адсорбтом. Десорбція, розрив адсорбтної молекули в різні атоми або молекули, є проблематичним, тому що отримана енергія адсорбції більше не узгоджується з тим, що є зацікавлене в атомі. Тим не менш, корисно розуміти, коли жодна з конфігурацій, що розглядаються, фактично не адсорбується на поверхню. Дисорбція, розрив адсорбтної молекули в різні атоми або молекули, є проблематичним, тому що отримана енергія адсорбції більше не узгоджується з тим, що є заціка . Якщо Доступність даних Повний відкритий набір даних надається на . https://github.com/Open-Catalyst-Project/AdsorbML Code availability Всі супроводжувальні коди надаються на . https://github.com/Open-Catalyst-Project/AdsorbML References Nørskov, J. K., Studt, F., Abild-Pedersen, F. & Bligaard, T. Основні поняття в гетерогенному каталізі (John Wiley & Sons, 2014). Chanussot, L. та ін. Відкритий каталізатор 2020 (oc20) набір даних та виклики для спільноти. ACS Catal. 11, 6059–6072 (2021). стаття CAS Google Scholar Dumesic, J. A., Huber, G. W. & Boudart, M. Принципи гетерогенного каталізу (Wiley Online Library, 2008). Zitnick, C. L. et al. Введення в дизайн електрокаталістів з використанням машинного навчання для зберігання відновлюваної енергії. Предрук за адресою https://arxiv.org/abs/2010.09435 (2020). Choudhary, K. et al. Недавні досягнення і застосування методів глибокого навчання в матеріалознавстві. NPJ Comput. Mater. 8, 59 (2022). стаття Google Scholar Wen, T., Zhang, L., Wang, H., Weinan, E. & Srolovitz, D. J. Глибокий потенціал для матеріалознавства. Матер. Futures 1, 022601 (2022). Стаття Google Scholar Wei, J. et al. Машинне навчання в матеріалознавстві. InfoMat 1, 338–358 (2019). стаття CAS Google Scholar Ulissi, Z. W., Medford, A. J., Bligaard, T. & Nørskov, J. K. Для вирішення складності мережі поверхневих реакцій за допомогою масштабування відносин машинного навчання та розрахунків DFT. Нат. Tran, K. & Ulissi, Z. W. Активне навчання між металиками для керівництва відкриттям електрокаталістів для скорочення CO2 та еволюції h2. Nat. Catal. 1, 696–703 (2018). стаття CAS Google Scholar Zhong, M. et al. Accelerated discovery of co2 electrocatalysts using active machine learning. , 178–183 (2020). Nature 581 Article CAS Google Scholar Liu, X. et al. Розуміння тенденцій скорочення електрохімічного вуглекислого газу. Nat. Common 8, 1–7 (2017). Nørskov, J. K. et al. Тенденції обмінного струму для еволюції водню. J. Electrochem. Soc. 152, J23 (2005). Wan, X. et al. Machine-learning-assisted discovery of highly efficient high-entropy alloy catalysts for the oxygen reduction reaction. , 100553 (2022). Patterns 3 Seh, Z. W. et al. Об'єднання теорії та експерименту в електрокаталізі: уявлення про дизайн матеріалів. Science 355, eaad4998 (2017). Hohenberg, P. & Kohn, W. Негемогенний електронний газ. Phys. Rev. 136, B864 (1964). Kohn, W. & Sham, L. J. Самостійні рівняння, включаючи ефекти обміну і кореляції. Sholl, D. S. & Steckel, J. A. Функціональна теорія щільності: практичне введення (John Wiley & Sons, 2022). Teukolsky, S. A., Flannery, B. P., Press, W. & Vetterling, W. Чисельні рецепти в C. SMR 693, 59–70 (1992). Петерсон, А. А. Глобальна оптимізація адсорбатно-поверхневих структур при збереженні молекулярної ідентичності. Гетекер, S. Мініма скачування: ефективний метод пошуку глобального мінімуму потенційної енергетичної поверхні складних молекулярних систем. Jung, H., Sauerland, L., Stocker, S., Reuter, K. & Margraf, J. T. Machine-learning driven global optimization of surface adsorbate geometries. , 114 (2023). NPJ Comput. Mater. 9 Ong, S. P. et al. Python materials genomics (pymatgen): надійна, відкрита бібліотека Python для аналізу матеріалів. Boes, J. R., Mamun, O., Winther, K. & Bligaard, T. Graph theory approach to high-throughput surface adsorption structure generation. , 2281–2285 (2019). J. Phys. Chem. A 123 Андерссон, М. П. та ін. На шляху до обчислювального скринінгу в гетерогенному каталізі: паретооптимальні каталізатори метанації, J. Catal. 239, 501–506 (2006). Bligaard, T. et al. The Brønsted-Evans-Polanyi relationship and the volcano curve in heterogeneous catalysis. J. Catal. 224, 206–217 (2004). Студт, Ф. та ін. Виявлення каталізаторів нецінних металевих сплавів для селективної гідрогенізації ацетилену. Наука 320, 1320–1322 (2008). Nilekar, A. U., Sasaki, K., Farberow, C. A., Adzic, R. R. & Mavrikakis, M. Mixed-metal Pt monolayer electrocatalysts with improved CO tolerance. , 18574–18576 (2011). J. Am. Chem. Soc. 133 Deshpande, S., Maxson, T. & Greeley, J. Граф теоретичний підхід для визначення конфігурацій мультидентатів і адсорбатів високого покриття для гетерогенного каталізу. Tran, R. et al. The open catalyst 2022 (oc22) dataset and challenges for oxide electrocatalysts. , 3066–3084 (2023). ACS Catal. 13 Джейін, А. та ін. Коментар: Проект матеріалів: підхід матеріалогенома до прискорення інновацій матеріалів. APL Mater. 1, 011002 (2013). Schütt, K. et al. Schnet: континуумно-фільтруюча конволюційна нейронна мережа для моделювання квантових взаємодій. в Advances in Neural Information Processing Systems (eds Guyon, I. et al.) 991–1001 (Neural Information Processing Systems Foundation, Inc. (NeurIPS) 2017). Gasteiger, J., Groß, J. & Günnemann, S. Напрямне повідомлення про молекулярні графи. в Міжнародної конференції з представництва навчання (ICLR) (ICLR, 2020). Gasteiger, J., Giri, S., Margraf, J. T. & Günnemann, S. Швидкий і невпевненість-свідомий напрямного повідомлення проходження для небалансових молекул. Препринт на https://arxiv.org/abs/2011.14115 (2020). Gasteiger, J. et al. GemNet-OC: розробка графічних нейронних мереж для великих і різноманітних молекулярних симуляційних наборів даних. Trans. Mach. Learn. Res. https://openreview.net/forum?id=u8tvSxm4Bs (2022). Zitnick, C. L. et al. Сферичні канали для моделювання атомних взаємодій. Adv. Neural Inf. Process. Syst. 35, 8054–8067 (2022). Chmiela, S. et al. Машинне навчання точних молекулярних сил, що зберігають енергію. Sci. Adv. 3, e1603015 (2017). Kolluru, A. et al. Open challenges in developing generalizable large-scale machine-learning models for catalyst discovery. , 8572–8581 (2022). ACS Catal. 12 Chang, C. & Medford, A. J. Application of density functional tight binding and machine learning to evaluate the stability of biomass intermediates on the Rh(111) surface. , 18210–18216 (2021). J. Phys. Chem. C. 125 Chan, L., Hutchison, G. R. & Morris, G. M. Bayesian оптимізація для генерації конформерів. Fang, L., Makkonen, E., Todorović, M., Rinke, P. & Chen, X. Ефективне пошук амінокислотних конформерів з баєзійською оптимізацією. Xu, W., Reuter, K. & Andersen, M. Прогнозування зв'язуючих мотивів складних адсорбатів за допомогою машинного навчання з графічним представленням, натхненим фізикою. Ulissi, Z. W. та ін. Методи машинного навчання дозволяють проводити вичерпні пошуки активних біметаллічних аспектів і розкривати мотиви активних сайтів для скорочення CO2. ACS Catal. 7, 6600-6608 (2017). Ghanekar, P. G., Deshpande, S. & Greeley, J. Adsorbate хімічне середовище на основі машинного навчання рамки для гетерогенного каталізу. Schütt, K., Unke, O. & Gastegger, M. Еквіваріальне повідомлення, що передається для прогнозування тензорних властивостей і молекулярних спектрів. в Міжнародної конференції з машинного навчання 9377–9388 (PMLR, 2021). S. Passaro і C. L. Zitnick, Reducing SO(3) convolutions to SO(2) for efficient equivalent GNNs. in Proceedings of the 40th International Conference on MachineLearning, Proceedings of Machine Learning Research, Vol. 202 (eds Krause, A. et al.) 27420–27438 (PMLR, 2023). Schaarschmidt, M. et al. Learned force fields are ready for ground state catalyst discovery. Preprint at (2022). https://arxiv.org/abs/2209.12466 Godwin, J. et al. Проста нормалізація gnn для прогнозування молекулярних властивостей 3d і далі. в Міжнародної конференції з представництв навчання (ICLR) (ICLR*,* 2021). Ying, C. et al. Do transformers really perform badly for graph representation? , 28877–28888 (2021). Adv. Neural Inf. Process. Syst. 34 Shuaibi, M. et al. Ротація незмінних графічних нейронних мереж за допомогою обертових конволюцій. Предрука на https://arxiv.org/abs/2106.09575 (2021). Kresse, G. & Hafner, J. Ab initio molecular-dynamics simulation of the liquid-metal-amorphous-semiconductor transition in germanium. , 14251–14269 (1994). Phys. Rev. B 49 Kresse, G. & Furthmüller, J. Efficient iterative schemes for ab initio total-energy calculations using a plane-wave basis set. , 11169–11186 (1996). Phys. Rev. B 54 Kresse, G. & Joubert, D. Від ультрам'яких псевдопотенцій до методу проектора з збільшеною хвилею. Kresse, G. & Furthmüller, J. Ефективність ab-initio обчислень загальної енергії для металів і напівпровідників за допомогою набору плоскохвильової бази. Ця стаття доступна на природі за ліцензією CC by 4.0 Deed (Attribution 4.0 International). Ця стаття доступна на природі за ліцензією CC by 4.0 Deed (Attribution 4.0 International).