Scalable Deep Learning for Remote Sensing with High Performance Computing

Abstract

Advances in remote sensing (RS) missions in recent decades have greatly increased the volume of data that is continually acquired and made available to end users, who can utilize it in a variety of Earth observation (EO) applications. land cover (LC) maps play a key role in monitoring the Earth’s surface, providing scientists and policymakers with an accurate view of the evolution of the landscape and helping them address pressing questions, from efficient resource planning to resilience to climate change. Due to the use of classical machine learning (ML) and more recently of deep learning (DL) methods, the information content of RS data can be exploited to an unprecedented degree, fostering research, development, and deployment of workloads to address open challenges for EO applications, including LC classification. However, the larger size of the datasets needed to train state-of-the-art (SotA) DL models and the need to utilize them at scale increases the time to deployment, which can hinder their effective utilization. Adopting strategies for distributed deep learning (DDL) on high performance computing (HPC) systems provides the opportunity to speed up the training of the models, allowing faster development times for researchers. Since space agencies operate a variety of missions, data acquired by different sensors can be used to increase the temporal resolution at which a certain area is observed, with potential improvements in the accuracy of the ML/DL models. The thesis objectives are formulated with these premises in mind and were investigated using a combination of methodologies to exploit the dedicated resources of HPC systems, contributing to addressing new questions on the adoption of DDL methods for EO applications and to familiarize the RS community with such approaches, which can be of great value.

Framför fjarkönnunar á síðustu áratugum hefur leitt til mikillar aukningar í stöðugri öflun gagna sem gerð eru aðgengileg til enda notenda sem geta hagnýtt þau í forritum fyrir skoðun jarðarinnar. Landþekjukort spila lykil hlutverk í eftirliti með yfirborði jarðar. Þau veita vísindafólki og stefnumótendum skýra sýn á þróun í landslaginu og hjálpar þeim að finna svör við aðkallandi vandamálum allt frá skilvirkri skipulagningu auðlinda að þoli jarðar gegn loflagsbreytingum. Vegna notkunnar klassískra aðferða í vélnámi og nýlegrar notkunnar djúptauganetsaðferða er hægt að nýta efni úr fjarkönnun að umfangi sme að ekki hefur sést áður. Það ýtir undir rannsóknir, þróun og dreifingu á nýjum kerfum sem að leita til þess að leysa núverandi áskoranir á sviði EO forrita eins og LC flokkunar. Aukin stærð gagnasafna sem þarf til þess að þjálfa nýjustu SotA DL módel og þörfin til þess að nota þau á stórum skala hefur hins vegar orsakast í auknum tíma þróunar sem að getur komið í veg fyrir skilvirka nýtingu þeirra. Innleiðing stefnu fyrir dreifðan djúplærdóm á ofurtölvukerfum gefur tækifæri til þess að hraða þjálfun módelanna og rannsakendum að auuka hraða í þróun og minnka tíma þangað til virði er fengið úr ferlinu. Þar sem að geimferðastofnanir framkvæma mismunandi verkefni þá er hægt að nota gögnin sem safnað er til þess að auka “temporal resolution” sem að svæði eru skoðuð með, einnig með mögulegum bætingu á nákvæmni í vélnáms og djúplærdóms módelum. Markmið ritgerðarinnar eru gerð út frá þessum forsendum og voru rannsökuð með blöndu af aðferðum til þess að nýta auðlindir í ofurtölvukerfum, leggja af mörkum að svara spurningum um nýtingu djúplærdómsaðferða fyrir EO hugbúnað og til þess að kynna fjarkönnunarsamfélaginu fyrir aðferðum líkt og þessum sem að geta skapað mikið verðmæti.