Algorithms for Finding Saddle Points and Minimum Energy Paths Using Gaussian Process Regression

Abstract

Chemical reactions and other transitions involving rearrangements of atoms can be studied theoretically by analyzing a potential energy surface defined in a high-dimensional space of atom coordinates. Local minimum points of the energy surface correspond to stable states of the system, and minimum energy paths connecting these states characterize mechanisms of possible transitions. Of particular interest is often the maximum point of the minimum energy path, which is located at a first-order saddle point of the energy surface and can be used to estimate the activation energy and rate of the particular transition.

Minimum energy paths and saddle points between two known states have been traditionally searched with iterative methods where a chain of discrete points of the coordinate space is moved and stretched towards a minimum energy path according to imaginary forces based on gradient vectors of the potential energy surface. The actual saddle point can be found by reversing the component of the gradient vector parallel to the path at one of the points of the chain and letting this point climb along the path towards the saddle point. If the end state of the transition is unknown, the saddle point can be searched correspondingly by rotating a pair of closely spaced points towards the orientation of the lowest curvature, reversing the gradient component corresponding to this direction, and moving the pair towards the saddle point. These methods may, however, require hundreds of iterations, and since accurate evaluation of the gradient vector is often computationally expensive, the information obtained from previous iterations should be utilized as efficiently as possible to decrease the number of iterations. Using statistical models, an approximation to the energy surface can be constructed, and a minimum energy path or a saddle point can be searched on the approximate surface. The accuracy of the solution can be checked with further evaluations, which can be then used to update the model for following iterations.

In this dissertation, machine learning algorithms based on Gaussian process regression are developed to enhance searches of minimum energy paths and saddle points. Gaussian process models serve here as flexible prior probability models for potential energy surfaces. Observed values of both energy and its derivatives can be used to update the model, and the posterior predictive distribution obtained as a result of Bayesian inference provides also an uncertainty estimate, which can be utilized when selecting new observation points. Separate methods are presented both for finding a minimum energy path between two known states and a saddle point located in the vicinity of a given start point. Based on simple test examples, the methods utilizing Gaussian processes may reduce the number of evaluations to a fraction of what is required by conventional methods.

Kemiallisia reaktioita ja muita atomien liikkeisiin perustuvia tapahtumia voidaan tarkastella teoreettisesti atomien koordinaattien muodostamassa moniulotteisessa avaruudessa määritellyn potentiaalienergiapinnan avulla. Energiapinnan paikalliset minimikohdat vastaavat systeemin vakaita tiloja, ja näitä tiloja yhdistävät minimienergiapolut kuvaavat mahdollisia reaktiomekanismeja. Erityisen mielenkiinnon kohteena on usein minimienergiapolun globaali maksimikohta, joka sijaitsee potentiaalienergiapinnan satulapisteessä ja jonka avulla voidaan arvioida kyseisen reaktion aktivoitumisenergiaa ja reaktionopeutta.

Kahden tunnetun tilan välisiä minimienergiapolkuja ja satulapisteitä on perinteisesti etsitty iteratiivisilla menetelmillä, joissa erillisistä koordinaattiavaruuden pisteistä muodostuvaa ketjua liikutetaan ja venytetään kohti minimienergiapolkua potentiaalienergiapinnan gradienttivektorien avulla laskettujen kuvitteellisten voimien perusteella. Varsinainen satulapiste voidaan määrittää kääntämällä gradienttivektorin polun suuntainen komponentti yhdessä ketjun pisteistä, jonka annetaan nousta polun suuntaisesti kohti satulapistettä. Jos reaktion lopputila on tuntematon, voidaan satulapistettä etsiä vastaavasti kiertämällä kahden lähekkäisen pisteen muodostamaa paria potentiaalienergiapinnan pienimmän kaarevuuden suuntaiseksi, kääntämällä tätä suuntaa vastaava gradienttikomponentti, ja liikuttamalla pisteparia kohti satulapistettä. Nämä meneltelmät voivat kuitenkin vaatia satoja iteraatioita, ja koska gradienttivektorin tarkka määrittäminen on usein laskennallisesti raskasta, tulisi aikaisemmista iteraatioista saatu informaatio hyödyntää mahdollisimman tehokkaasti iteraatioiden vähentämiseksi. Tilastollisten mallien avulla energiapinnalle voidaan muodostaa likimääräinen arvio, ja minimienergiapolkua tai satulapistettä voidaan etsiä likimääräiseltä pinnalta. Ratkaisu voidaan tarkistaa uusien tarkkojen havaintojen avulla, joita voidaan puolestaan käyttää mallin tarkentamiseksi mahdollisia seuraavia iteraatioita varten.

Tässä väitöskirjassa kehitetään gaussisiin prosesseihin perustuvia koneoppimisalgoritmeja minimienergiapolkujen ja satulapisteiden etsinnän nopeuttamiseksi. Gaussiset prosessit toimivat tässä tapauksessa joustavina prioritodennäköisyysmalleina potentiaalienergiapinnoille. Mallin päivittämiseksi voidaan käyttää sekä energian että gradienttikomponenttien havaittuja arvoja, ja Bayes-päättelyn tuloksena saatava ennustejakauma sisältää myös epävarmuusarvion, jota voidaan käyttää hyväksi uusien havaintopisteiden valinnassa. Väitöskirjassa esitetään menetelmät sekä kahden tunnetun tilan välisen minimienergiapolun määrittämiseen että annetun aloituspisteen lähistöllä sijaitsevan satulapisteen etsimiseen. Yksinkertaisten testiesimerkkien perusteella gaussisia prosesseja hyödyntävät menetelmät voivat vähentää tarkkojen havaintojen määrän murto-osaan perinteisten menetelmien vaatimista havaintomääristä.

Eiginleika efnahvarfa og annarra umraðana atóma er hægt að kanna með því að skoða orkuyfirborðið, skilgreint sem orka kerfisins sem fall af atómhnitunum. Staðbundin lágmörk á orkuyfirborðinu samsvara ástöndum sem kerfið getur verið í og lágmarksorkuferlar milli þeirra einkenna gang mögulegra umraðana atómanna. Hámörk á lágmarksorkuferlum eru sérlega mikilvæg. Þau samsvara fyrsta stigs söðulpunktum og gefa mat á virkjunarorku og þar með hraða samsvarandi umröðunar.

Lágmarksorkuferlar og söðulpunktar milli tveggja þekktra ástanda eru gjarnan fundnir með ítrekunaraðferðum þar sem röð af ímyndum af kerfinu mynda feril milli endapunktanna og eru færðar til þangað til þær liggja á lágmarksorkuferlinum. Færslan í hverri ítrekun er fundin út frá stiglunum á orkuyfirborðinu. Söðulpunktinn er hægt að finna með því að færa orkuhæstu ímyndina í átt stigilsins eftir að þætti hans í stefnu ferilsins hefur verið snúið við. Þannig færist sú ímynd upp í orku að söðulpunktinum. Ef lokaástand umröðuninnar er ekki þekkt er hægt að finna fyrsta stigs söðulpunkt með því að nota par ímynda af kerfinu sem eru þétt saman og myndar tvennu. Henni er snúið til að finna stefnuna með lægstan krappa á orkuyfirborðinu og síðan færð í átt stigulsins eftir að þátturinn í stefnu lægsta krappans hefur verið speglaður. Þannig færist tvennan að söðulpunktinum. Þessi aðferð getur þurft hundruða ítrekana og þar eð útreikningar á orkustiglinum eru oft þungir er mikilvægt að nýta upplýsingar úr fyrri ítrekunum eins vel og hægt er til að fækka ítrekunum. Með því að nota tölfræðileg líkön er hægt að búa til nálgun fyrir orkuyfirborðið og leita að söðulpunktinum á því yfirborði. Lausnina er hægt að sanreyna með frekari útreikningum á orkustiglinum sem síðan er hægt að nota til að bæta nálgunina fyrir næstu færslur tvennunnar.

Í þessari ritgerð er vélrænn lærdómur sem byggður er á Gaussferlaaðhvarfi notaður til að hraða reikningum á lágmarksorkuferlum og söðulpunktum. Líkön fyrir orkuyfirborðið eru búin til með út frá þekktum gildum á orkunni og stiglinum með tölfræðilegum aðferðum Bayes og mat fundið á óvissunni í líkaninu sem hægt er að nýta til að ákveða hvaða punkt er best að reikna í næstu ítrekun. Mismunandi aðferðir eru þróaðar bæði til að finna lágmarksorkuferla milli tveggja þekktra ástanda og til að finna söðulpunkt í nágreni gefins upphafspunkts. Reikningar á ýmsum mismunandi kerfum sýna að með þessu móti er hægt að fækka útreikningum á orkunni og stiglinum mjög verulega í samanburði við þær aðferðir sem nú eru notaðar.