The origin, use, and perceived impact of the external evaluation of compulsory schools in Iceland

Abstract

This thesis focuses on the external evaluation of compulsory schools in Iceland. Aligned with that focus, the aim of the research conducted for the thesis was twofold: first, to shed light on the origin of the external evaluation of compulsory schools in Iceland and its development since becoming part of official education policy in 1991; and second, to identify and analyse school principals’ and teachers’ attitudes towards a recent external evaluation, how and to what extent they have used the feedback from the evaluation, how such use has affected internal evaluation at their schools and driven change in their own practices, and how well the changes implemented have been sustained over time. To that aim, longitudinal, mixed-methods research was conducted involving document analysis, questionnaires, and interviews. The primary data were collected in three stages. First, policy documents and interviews with 11 key informants who had participated in the policymaking process or were familiar with the process were examined. That part of data collection was undertaken in 2015–2016, and an article presenting the results was published in 2016 (i.e. Paper I). Second, the 22 compulsory schools that were the first to participate in the external evaluation in 2013–2015 were identified, and a survey of the principals and teachers of those schools was conducted in 2016. Those results were published in another article in 2022 (i.e. Paper II). Third, six of the 22 schools were selected for further analysis, and the principal and one to two teachers in each school were interviewed, followed by a document analysis of each school’s improvement process. That final part of data collection was undertaken in 2019, 4–6 years after the external evaluation took place, and the findings were published in 2022 (i.e. Paper III). The overall results are discussed in Chapter 8 of this thesis. In line with the two aims of the research, that discussion is divided into two parts. The first sheds light on how external evaluation at compulsory schools in Iceland came about and how it developed after becoming part of the country’s official education policy in the early 1990s. That part focuses on the historical background and expected benefits of the external evaluation of schools in Iceland. After that, the second part discusses the extent to which the anticipated benefits of the evaluation, especially regarding the use of the feedback provided, and its impact have been realised. Several key factors expected to promote the improvement of schools are highlighted, and their effects in the Icelandic context are assessed. Based on the most significant findings, the thesis concludes that external evaluation can play a role in changing not only teachers’ and principals’ practices but also the internal evaluation of schools. The feedback from evaluation is shown to be used for various purposes, and the factor with the greatest overall impact on such use is shown to be the school staff’s acceptance of the feedback. Because this thesis is inspired by pragmatism, it aims to contribute to the existing knowledge base and to expand understandings of how schools use feedback from external evaluation and whether such use impacts changes in practice. Beyond that, it seeks to highlight important ways to improve the role of external evaluation in national and local school governance.

Viðfangsefni þessarar doktorsrannsóknar er ytra mat á grunnskólum á Íslandi. Rannsóknin er tvíþætt og miðar í fyrsta lagi að því að auka skilning á hvernig ytra mat á grunnskólastarfi er tilkomið og hver þróun þess hefur verið frá því að það kom inn í opinbera menntastefnu á tíunda áratug 20. aldar. Í öðru lagi að varpa ljósi á viðhorf kennara og skólastjóra til endurgjafar í skýrslum um ytra matið og hvaða áhrif endurgjöfin hefur til umbóta og breytinga á námi og kennslu, stjórnun og innra mati að þeirra áliti. Mikilvægi rannsóknarinnar felst fyrst og fremst í því að niðurstöður geta aukið skilning á því hvernig endurgjöf ytra mats er nýtt af skólum og hvort matið hafi tilætluð áhrif. Rannsóknin getur í því samhengi gefið hagnýtar upplýsingar til að nota við frekari þróun á ytra mati og eftirfylgd með því. Til þessa hafa engar rannsóknir verið gerðar á ávinningi af ytra mati á skólum á Íslandi og því mikilvægt að afla skilnings á ferlinu og nýta hann við frekari þróun. Rannsóknin var unnin með blönduðu rannsóknarsniði (e. mixed method design) og stuðst við viðhorfakannanir, viðtöl og greiningu fyrirliggjandi gagna. Rannsókninni var skipt í þrjá rannsóknaráfanga og var mismunandi rannsóknaraðferð notuð í hverjum áfanga. Í fyrsta áfanga rannsóknarinnar var gerð greining á lögum, reglugerðum, stefnuskjölum, skýrslum og öðrum opinberum gögnum ásamt því að taka viðtöl við ellefu lykilaðila sem höfðu tekið þátt í stefnumótun og/eða þróun ytra mats. Í öðrum hluta var lagður spurningalisti fyrir skólastjóra og kennara í þeim 22 grunnskólum sem fyrstir tóku þátt í reglubundnu ytra mati á árunum 2013 til 2015. Í þriðja hluta voru tekin viðtöl við sex skólastjóra og átta kennara í sex af þeim 22 grunnskólum sem svöruðu viðhorfakönnuninni ásamt því að greina matsskýrslur, umbótaáætlanir og framvinduskýrslur skólanna. Með birtingu greinanna þriggja er leitast við að ná meginmarkmiðum rannsóknarinnar sem eru að varpa ljósi á annars vegar hvernig ytra mat á grunnskólastarfi er tilkomið og hvernig það hefur þróast til dagsins í dag. Hins vegar að hvaða marki væntingar til skólanna um að nýta niðurstöður matsins til umbóta hafa orðið að veruleika og hvaða áhrif matsendurgjöfin hefur haft á breytingar á námi og kennslu, stjórnun og innra mati að mati kennara og skólastjóra. Niðurstöður sem lúta að fyrra markmiðinu sýna að upphaf hugmynda og mótun stefnu um ytra mat á grunnskólum megi rekja til umbótaaðgerða í opinberri stjórnsýslu sem áttu sér stað víða um heim frá níunda áratug síðustu aldar undir heitinu nýskipan í ríkisrekstri (e. New Public Management). Ytra mat náði þó ekki fótfestu á Íslandi á þeim tíma. Það var ekki fyrr en í byrjun annars áratugar tuttugustu og fyrstu aldar sem farið var af stað með reglubundið ytra mat á grunnskólum í þeim tilgangi að stuðla að skólaumbótum. Allir skólar á landinu utan Reykjavíkur voru metnir einu sinni á níu ára tímabili frá 2013 til 2021. Niðurstöður sem tengjast seinna markmiðinu gefa til kynna að ytra mat hafi stuðlað að umbótum á starfsháttum kennara og skólastjóra og einnig á innra mati í flestum skólanna, þó svo að umbætur tengdar innra mati hafi reynst sumum skólanna sem tóku þátt í rannsókninni erfiðar. Endurgjöf í skýrslu með niðurstöðum ytra matsins nýttist skólunum í ýmsum tilgangi: til að stuðla að breytingum, vekja starfsfólkið til vitundar og umhugsunar, réttlæta breytingar sem voru líklegar til að mæta fyrirstöðu og styrkja og valdefla skóla. Niðurstöður sýndu að viðhorf meðal kennara og skólastjóra til endurgjafar ytra mats var að jafnaði gott og þeir voru almennt samþykkir henni—en samþykkt endurgjafar reyndist vera sá þáttur sem hafði mest áhrif á hvort niðurstöður væru nýttar til umbóta innan skólanna. Fleiri þættir höfðu einnig jákvæð áhrif á breytingar, svo sem þátttaka kennara í að ákveða umbótaðgerðir í kjölfar ytra matsins og þekking og notkun skólanna á viðmiðum um gæði í skólastarfi.