Explaining intelligent game-playing agents

Abstract

Artificial intelligence (AI)- based systems increasingly affect our daily lives. Such intelligent computer agents are becoming increasingly complex; for example, they employ learned machine learning models and extensive lookahead search, often exploring millions of possibilities. Unfortunately, as the complexity of those systems grows, it becomes more difficult to understand the rationality behind their decisions.

In this dissertation, we researched how to incorporate explainability into the game-playing domain. Furthermore, we also evaluated to what extent the game-playing domain suits the development of explanations, where we showed that using the game-playing domain enables quantification of many aspects that otherwise are costly or infeasible. We used three games as our testbed: Sudoku, Breakthrough, and Chess. We primarily focused on model explainability, with a secondary focus on the search part of game-playing.

For model explainability, we investigated three approaches for explaining the evaluation of the model: saliency maps, surrogate models and concept probing. First, we developed evaluation methods for saliency maps to understand the reliability of the methods and quantified to what extent we can interpret them in a way we are likely to do. Furthermore, we also introduced a second explainability layer using a surrogate model, where we explain the explanation. This way, we can, on a higher level, interpret what a high saliency means for the explainability methods. Second, we developed methods to compare concept probing results and assess to what extent we can interpret the results as concept importance. We showed that concept probing results and concept importance are only moderately correlated. Third, we unveiled the concepts learned by the world-class chess-playing agent, Stockfish, and exposed differences between its neural network and hand-crafted methods.

On the search front, we altered a search-based reasoning process to generate solutions that were more explainable to humans, using the domain of Sudoku puzzles as our test bed. It is a hybrid of a heuristic- and constrained-based solver that biases the search towards finding solutions easily explainable to humans.

Tölvukerfi sem byggja á gervigreind eru í síauknu mæli að hafa áhrif á okkar daglega líf. Flækjustig slíkra kerfa er einnig sífellt að aukast, m.a. vegna þess að þau nota oft flókin líkön (s.s. tauganet) og meta milljónir mögulegra lausna við ákvarðanatöku sína. Eftir því sem flækjustigið eykst, því erfiðara verður fyrir okkur að skilja rökin að baki ákvörðunum kerfanna, sem getur haft áhrif á það traust sem við berum til þeirra.

Í þessari ritgerð könnuðum við hvernig hægt er að innleiða útskýringar fyrir leikjaspilunar agenta. Ennfremur mátum við hve vel leikjaspilunaragentar henta fyrir þróun útskýringa og sýndum fram á að með þeim er hægt að mæla marga þætti sem annars eru kostnaðarsamir eða óframkvæmanlegir. Við notuðumst við þrjá leiki: Sudoku, Breakthrough, og skák. Við einbeittum okkur fyrst og fremst að útskýringum líkana, með aukaáherslu á leit.

Við rannsökuðum aðallega þrjár tegundir af útskýringum: "saliency maps", "surrogate model" og "concept probing". Við þróuðum matsaðferðir til að meta áreiðanleika "saliency maps" og mátum hvort við gætum túlkað niðurstöður þeirra á þann hátt sem við mannfólkið erum líkleg til að gera. Ennfremur þróuðum við annað útskýringarlag með "surrogate model", þar sem við útskýrum útskýringuna. Þannig getum við betur áttað okkur á því hvað felst í því þegar útskýringaraðferð metur eitthvað mikilvægt. Til að skilja betur notagildi "concept probing" aðferða þróuðum við aðferðir til að athuga hvort hægt sé að meta mikilvægi hugtakanna (e. concepts) út frá "concept probing" niðurstöðum. Þar sýndum við fram á fylgni milli mikilvægi hugtakanna og niðurstöðum "concept probing" tilraunanna. Þá afhjúpuðum við einnig þau hugtök sem heimsklassa skákagentinn Stockfish hafði lært, og vörpum ljósi muninn á þeirri þekkingu sem býr í tauganeti og handgerðu matslíkani.

Hvað leitarhlutann varðar, þá breyttum við leit agents svo hann skili frá sér lausnum sem er auðveldara fyrir okkur mannfólkið að skilja. Það gerðum við með blöndu af brjóstsvits- og skorðunarnálgun sem aðlagar leitina svo agentinn taki ekki ákvarðanir sem er erfitt eða ómögulegt að útskýra.