General Attention Mechanism for Artificial Intelligence Systems

Abstract

In the domain of intelligent systems, the management of mental resources is typically called “attention”. Attention exists because all moderately complex environments – and the real-world environments of everyday life in particular – are a source of vastly greater information than can be processed in real-time by available cognitive resources of any known intelligence, human or otherwise. General-purpose artificial intelligence (AI) systems operating with limited resources under time-constraints in such environments must select carefully which information will be processed and which will be ignored. Even in the (rare) cases where sufficient resources may be available, attention could help make better use of them. All real-world tasks come with time limits, and managing these is a key part of the role of intelligence. Many AI researchers ignore this fact. As a result, the majority of existing AI architectures is incorrectly based on an (explicit or implicit) assumption of infinite or sufficient computational resources. Attention has not yet been recognized as a key cognitive process of AI systems and in particular not of artificial general intelligence systems. This dissertation argues for the absolute necessity of an attention mechanism for artificial general intelligence (AGI) architectures. We examine several issues related to attention and resource management, review prior work on these topics in cognitive psychology and AI, and present a design for a general attention mechanism for AGI systems. The proposed design – inspired by constructivist AI methodologies – aims at architectural and modal independence, and comprehensively addresses and integrates all principal factors associated with attention to date.

Stjórnun og ráðstöfun hugarafls í greindum kerfum er oftast kölluð "athygli". Athygli er til staðar þar sem öll flókin umhverfi – sérstaklega raunheimurinn – eru uppspretta margfalt meiri upplýsingamagns en nokkur vitsmunavera getur unnið úr í rauntíma. Kerfi með alhliða gervigreind, sem starfa með takmarkaða reiknigetu undir margvíslegum tímaskorðum, verða að velja vandlega hvaða upplýsingum þau vinna úr og hvaða upplýsingar þau leiða hjá sér. Jafnvel í þeim (sjaldgæfu) tilfellum þar sem næganleg reiknigeta gæti verið til staðar gæti athygli bætt nýtingu hennar. Öll verkefni í raunheiminum hafa tímaskorður og meðhöndlun þeirra skorða er eitt lykilhlutverk greindar. Fjöldi rannsakenda á sviði gervigreindar hafa þó hunsað þessa staðreynd og þar af leiðandi er meirihluti þeirra gervigreindarkerfa sem hafa verið smíðuð ranglega byggður á þeirri forsendu að kerfin búi yfir óendanlegri reiknigetu. Athygli hefur hingað til ekki fengið verðskuldaða áherslu sem lykilatriði í hönnun og hugarferli gervigreindarkerfa. Í þessari ritgerð er sýnt fram á að athygli er algjörlega nauðsynleg alhliða gervigreindarkerfum. Margvísleg málefni tengd athygli og stjórnun aðfanga (reiknigetu, minnis og tíma) eru rannsökuð, farið er yfir fyrri rannsóknir í hugfræði og gervigreind og hönnun alhliða athyglisstýringar fyrir gervigreindarkerfi er kynnt til sögunnar. Aðferðafræði sjálfsþróunar við gerð gervigreindarkerfa er fylgt í hönnuninni, og reynt er að fylgja leiðum sem eru óháðar arkitektúr og skynrása kerfisins, og jafnframt nálgast á heildrænan hátt alla helstu þætti sem hafa hingað til verið tengdir athygli.