Design and Evaluation of Parallel Machine Learning Approaches in Computational Fluid Dynamics Applications

Abstract

The objective of this research is to investigate the potential of machine learning (ML) and deep learning (DL) within computational fluid dynamics (CFD) utilizing high-performance computing (HPC). Turbulent flow, a complex phenomenon prevalent in both natural sciences and industrial settings, poses a significant challenge in classical physics. Given its nonlinear and stochastic nature, DL emerges as a promising approach for comprehending turbulent flow dynamics. This PhD Thesis introduces a novel data-driven methodology, leveraging experimental datasets to assess the efficacy and robustness of sequential DL models in turbulent flow analysis. The manuscript elaborates on the innovative aspects and advantages of employing DL within this context. Moreover, it outlines the necessity of HPC resources for executing cutting-edge DL models alongside the computationally demanding approaches for model tuning and hyperparameter optimization. This study thoroughly followed a documented procedure to assess the efficacy of innovative DL modeling techniques. Initially, measured data obtained from experimental tests was analyzed in depth, establishing their relevance to DL models from a physical perspective. Subsequently, three DL model architectures— long short-term memory (LSTM), gated recurrent unit (GRU), and Transformer models—were systematically evaluated, and their outcomes were compared. Furthermore, a case study was undertaken in the wind energy sector within the realm of energy engineering, yielding promising results to validate the DL prediction model’s applicability. In addition, optimization techniques for hyperparameter tuning were explored utilizing new HPC methodologies (e.g., modular supercomputing architectures and cutting-edge graphical processing units (GPUs)) to enhance the performance of the DL models. This optimization process was rigorously executed and assessed within the setup of a data-driven model capable of training with statistics data of CFD or EFD approaches, resulting in improved and cutting-edge approaches within the CFD domains, augmenting findings of physics-driven models with DL models. The findings of this research demonstrate a noteworthy breakthrough in predicting turbulent flow behavior, showcasing the effectiveness of the proposed DL models while not losing sight of leveraging cutting edge HPC methodologies.

Markmið rannsóknarinnar er að kanna mátt vélnáms (ML) og djúpnáms (DL) í tölulegri straumfræði (CFD) með aðstoð háafkasta tölva (HPC). Iðustreymi, margslungið fyrirbæri sem fyrirfinnst í bæði náttúrulegum aðstæðum og manngerðum iðnaði, er vel þekkt óleyst eðlisfræðilegt viðfangsefni. Þrátt fyrir að iðustreymi sé bæði ólínulegt og slembið fyrirbæri hefur djúpnám gefið góða raun um að vera fært um að segja til um hegðun iðustreymis. Í þessari doktorsritgerð er kynnt ný gagnadrifin aðferðafræði, sem notar gögn frá tilraunum til að ná fram styrkleikum og áreiðanleika runubundins djúpnáms í iðustreymisgreiningu. Ritgerðin sýnir fram á helstu nýjungar þróaðar hér og kosti þess að nota djúpnám á þetta viðfangsefni. Einnig er farið í nauðsyn þess að nota háafkastatölvur til að beita djúpnámsaðferðum auk tölulega krefjandi aðferða til að stilla líkanið af og bestunar á yfirfæribreytu. Í þessari rannsókn er lýst nákvæmlega stöðluðum aðferðum um hvernig má ná fram hámarksvirkni djúpnámsaðferða. Í fyrstu var farið vandlega yfir tilraunagögn og nýting þeirra til djúpnáms í raunverulegum aðstæðum skoðuð ítarlega. Næst eru þrjár mismunandi djúpnáms aðferðir – minnugt endurkvæmnis tauganet (LSTM), hlið endurtekin eining (GRU) og breytir (Transformer) – skoðaðar kerfisbundið í þremur fösum og niðurstöður þeirra bornar saman. Auk þess var gerð tilviksrannsókn úr vindorkugeiranum, þ.e. orkuverkfræði, sem sýndi niðurstöður sem lofa góðu til að sannreyna færni djúpnáms til að spá fyrir um framtíðarhegðun. Í lokafasa rannsóknarinnar var bestunaraðferðum fyrir yfirfæribreytu beitt með því að nota skjákort (GPU) úr fremstu röð til að bæta virkni djúpnámslíkansins. Bestunin var framkvæmd af mikilli nákvæmni og metin út frá gagnadrifnum líkönum sem unnt var að þjálfa með tölfræðigögnum úr tölulegri straumfræði (CFD) og gögnum úr tilraunum. Það leiddi til bættra og nýrra framúrskarandi aðferða í tölulegri straumfræði þar sem niðurstöður módela byggðum á eðlifræði eru bætt með djúpnámi. Niðurstöður rannsóknarverkefnisins eru bylting í að spá fyrir um hegðun iðustreymis og sýna klárlega virkni djúpnáms þegar fremstu háafkastatölvuaðferðum er beitt.