Ágrip
Doktorsverkefnið er á sviði annarsmálsfræða og hagnýtra málvísinda og beinist að áhrifaþáttum í námi í opnum netnámskeiðum, eða svokölluðum massive open online courses (MOOCs), en með þeim er veittur opinn aðgangur að menntun á ýmsum fræðasviðum í háskólum víða um heim. Nánar tiltekið beinist rannsóknin að námi og kennslu annars máls í netnámskeiðum, svonefndum language MOOCs (LMOOCs). Hún fellur jafnframt undir svið tölvustudds tungumálanáms og -kennslu, eða computer assisted language learning (CALL). Alþjóðlegar rannsóknir á notkun MOOC-námskeiða hafa sýnt fram á að lítill hluti nemenda lýkur jafnan námskeiðum að fullu. Þetta hefur vakið upp áleitnar spurningar um gæði slíkra námskeiða, kennslufræðina og námsumgjörðina sem nemendum er sköpuð, ekki síst með tilliti til málakennslu og málanáms. Á það hefur einnig verið bent í þessu sambandi að hópur nemenda í netnámskeiðum af þessum toga sé margbrotinn, með ólík markmið, bakgrunn og námsþarfir sem taka verði mið af í umræðum um námsframvindu og virkni nemenda.
Meginmarkmið rannsóknarinnar var að greina þætti sem gætu haft áhrif á framvindu (e. retention) í opnum netnámskeiðum og varpa ljósi á kennsluaðferðir og námsumgjörð sem gætu verið mikilvægur þáttur í að auka virkni og þátttöku nemenda í námskeiðum. Rannsóknin byggðist á gögnum frá nemendum á sjö netnámskeiðum Icelandic Online (IOL) í íslensku sem öðru eða erlendu máli en námskeiðin voru þróuð á vegum Háskóla Íslands. Þau eru sjálfstýrð og gagnvirk, ætluð fullorðnum og miðast þau við mismunandi færnistig í íslensku (A1–C1). Öll námskeiðin standa til boða í opinni námsumgjörð án endurgjalds og án stuðnings kennara en tvö þeirra eru jafnframt tiltæk gegn gjaldi og undir umsjón kennara, það er í blandaðri námsumgjörð og fjarnámsumgjörð.
Rannsóknin er þríþætt og grundvallaðist á blandaðri rannsóknaraðferð. Stuðst var við a) megindleg gögn úr gagnagrunni IOL frá rúmlega 43.000 nemendum á öllum námskeiðum IOL, b) megindleg gögn úr spurningakönnun með lokuðum spurningum sem lögð var fyrir 400 nemendur á einu námskeiði auk c) eigindlegra gagna frá 174 nemendum á einu námskeiði sem aflað var með opnum spurningum í spurningakönnun.
Í fyrsta hluta rannsóknarinnar, þar sem greind voru gögn úr gagnagrunni, var sjónum beint að því að kanna virkni, framvindu og námshegðun nemenda á námskeiðunum sjö og í mismunandi námsumgjörðum. Jafnframt var námsgreiningu (e. learning analytics) beitt til að varpa ítarlegu ljósi á brotthvarfsmynstur meðal þeirra sem luku ekki námskeiðum auk þess að veita innsýn í það hversu langt þeir fóru í námsefninu áður en þeir hættu.
Í öðrum hluta rannsóknarinnar, þar sem stuðst var við spurningakönnun, var annars vegar leitað eftir viðhorfum nemenda sjálfra til sex þátta sem lúta að efnisinnihaldi og kennslufræði sem beitt er á námskeiðinu og hins vegar til fjögurra þátta sem varða stuðning kennara í tveimur námsumgjörðum. Kannað var hvort nemendur teldu þessa þætti mikilvæga til að hvetja þá áfram eða ekki og einnig hvort þeir hefðu áhrif á námsframvindu samkvæmt mælingum vöktunarkerfis (e. tracking system) IOL. Þannig voru mæld áhrif alls tíu námskeiðsþátta auk þáttar sem varðar upphaflegt markmið nemenda um þátttöku í námskeiðinu. Einnig voru áhrif lýðbreytna, aldurs og kyns, á framvindu skoðuð.
Í þriðja hluta rannsóknarinnar var kallað eftir eigindlegum textagögnum frá nemendum sem annars vegar höfðu lokið námskeiði og hins vegar frá þeim sem höfðu haft það að upphaflegu markmiði að ljúka námskeiði en gerðu það ekki þegar upp var staðið. Þannig voru þeir sem höfðu lokið námskeiði beðnir um að lýsa því hvað hefði umfram allt orðið til þess að hvetja þá áfram allt til enda námskeiðs. Að sama skapi voru þeir sem luku ekki námskeiði beðnir um að tilgreina ástæður þess að upphaflegu markmiði um að klára það hefði ekki verið náð.
Niðurstöður fyrsta hluta rannsóknarinnar, þar sem byggt var á gögnum úr gagnagrunni (n = 43.468), sýndu að hlutfall þeirra sem luku IOL-námskeiðunum alveg var lágt, það er 2,4 til 18,2% eftir námskeiðum og námsumgjörðum, sem samræmist niðurstöðum sambærilegra rannsókna á þátttöku í MOOC-námskeiðum. Mælikvarðinn sem var beitt í þessum hluta rannsóknarinnar miðaðist við það að nemendur hefðu farið yfir námsefnið allt til síðustu námsefnissíðu, en hvert IOL-námskeið felur í sér tugi efnissíðna og jafnvel mörg hundruð verkefni. Samkvæmt niðurstöðunum reyndust nemendur í blandaðri námsumgjörð líklegri til að ljúka námskeiði en nemendur í annars konar námsumgjörð. Greining á brotthvarfsmynstri í námskeiðunum, þar sem miðað var við hlutfall brotthvarfs á hverri efnissíðu í námskeiði, leiddi jafnframt í ljós að nemendur væru í sérstakri brotthvarfshættu á allra fyrstu stigum námskeiðs, sérstaklega í opinni sjálfstýrðri námsumgjörð. Einnig kom í ljós að margir nemendur höfðu klárað meginþorra námefnis, jafnvel 80 til 99% þess, þegar þeir hættu. Greining á heildarþátttöku nemenda í öllum námskeiðunum leiddi síðan á sambærilegan hátt í ljós að þeir sem höfðu greinst sem brotthvarfsnemendur í gagnagrunni IOL, samkvæmt fyrri skilgreiningu, höfðu í mörgum tilvikum lokið meirihluta námsefnis þegar þeir hættu.
Þessar niðurstöður greiningar á gögnum úr gagnagrunninum gáfu tilefni til að endurskoða skilgreininguna á því hverja beri að telja brotthvarfsnemendur í opnum netnámskeiðum af þessum toga. Í tveimur síðari hlutum rannsóknarinnar var því litið svo á að nemendur sem hefðu lokið að lágmarki 80% námsefnis teldust hafa lokið netnámskeiðinu en hinir sem fóru skemur voru skilgreindir sem brotthvarfsnemendur. Niðurstöður í fyrsta hluta rannsóknarinnar gáfu einnig tilefni til að rýna nánar í námshegðun nemenda í beinum tengslum við námsefnið sjálft, þá hvort tilteknir námsefnisþættir eða námsumgjörð gætu skýrt hátt hlutfall brotthvarfs á tilteknum efnissíðum námskeiðs og lítið eða ekkert brotthvarf á öðrum.
Niðurstöður úr öðrum hluta rannsóknarinnar, sem snúa að gögnum úr spurningakönnun (n = 400), sýndu í fyrsta lagi að 55–85% þátttakenda töldu alla kennslufræðiþættina sex eiga mikilvægan þátt í því að hvetja þá til þátttöku í námskeiðinu. Þær aðferðir sem beitt er í IOL að kynna ílag í smáum skrefum og bjóða upp á fjölþætt viðfangsefni og æfingar voru meðal þeirra þátta sem flestir töldu mikilvæga hvata. Þegar skoðað var á hinn bóginn hvort þættirnir sex hefðu áhrif á framvindu nemanna sýndi tenging gagna úr spurningakönnun við gögn úr gagnagrunni fram á jákvæða fylgni þriggja þáttanna og námsframvindu en ekki hvað varðar hina þrjá þættina. Þátturinn sem snertir kynningu ílags í smáum skrefum reyndist hafa tölfræðilega marktæk áhrif á námsframvindu í rannsókninni.
Í öðru lagi kom í ljós að 50–90% þátttakenda í spurningakönnuninni (n = 64), sem höfðu verið í blönduðu námskeiði eða fjarnámskeiði, töldu alla fjóra þættina sem snerta aðstoð kennara eiga þátt í því að hvetja þá áfram. Þættir sem varða tímasetta áætlun kennara um yfirferð námsefnis í hverri viku og einstaklingsbundna aðstoð við nemendur voru þannig meðal þátta sem flestir töldu mikilvæga til að halda þeim við efnið. Við nánari skoðun á því hvort þessir fjórir þættir hefðu áhrif á framvindu nemanna í námskeiðinu sýndi tenging við gögn úr gagnagrunni fram á jákvætt samband allra þessara þátta og námsframvindu meðal nemenda í blandaðri námsumgjörð en ekki meðal þeirra sem voru í fjarnámsumgjörð. Í þriðja lagi sýndu niðurstöður fram á að íslenskunemar sækja námskeið í IOL með ólík markmið í huga. Um 57% þátttakenda (n = 226) höfðu haft í hyggju að taka fullt námskeið þegar þeir hófu nám en hinn hlutinn reyndist hafa áform um að fara eingöngu yfir hluta námsefnisins eða hafði óljós markmið. Þeir sem hófu nám með það í huga að ljúka námskeiðinu voru líklegri til að klára en hinir og reyndist þessi þáttur hafa tölfræðilega marktæk áhrif á námsframvindu í rannsókninni. Í fjórða lagi sýndu niðurstöður fram á áhrif aldurs á námsframvindu. Yngri hópar í rannsókninni voru líklegri til að ljúka námskeiði en þeir sem eldri voru. Þannig var sýnt fram á með línulegri aðhvarfsgreiningu að aldur hefði neikvætt forspárgildi með tilliti til framvindu. Kyn þátttakenda hafði hins vegar ekki áhrif á framvindu þátttakenda í rannsókninni.
Í síðasta hluta rannsóknarinnar, sem grundvallaðist á eigindlegum textagögnum (174 nemar), leiddi þemagreining í ljós margvíslegar ástæður þess að nemendur luku námskeiði eða hættu áður en því marki var náð. Meginþemun sem greind voru með tilliti til þeirra sem luku námskeiðinu benda til þess að innihaldsríkt efni og kennslufræði í IOL, viljinn til að ná góðum tökum á markmálinu og einlægur áhugi á landi og tungu eigi mikinn þátt í því að hvetja nemendur áfram allt til enda námskeiðs. Í ljós kom einnig að nemendur í blandaðri námsumgjörð, sem er eini hópurinn í rannsókninni sem var í einingabæru námi í IOL, töldu sókn eftir einingum eiga stærstan þátt í því að þeir luku námskeiði. Hvað varðar hinn hópinn sem hafði ætlað sér að ljúka námskeiði en hætti benda meginþemun til þess að skortur á tíma til að helga sig náminu hafi fyrst og fremst komið í veg fyrir að þeir luku námskeiði. Einnig komu fram vísbendingar um að sumir brotthvarfsnemenda gætu hafa verið á röngu stigi með tilliti til færni í málinu sem hafi orsakað brotthvarf. Að auki sýndu gögnin að margir þeirra sem talist höfðu til brotthvarfsnemenda í rannsókninni reyndust enn vera virkir nemendur í IOL en höfðu valið að fara í gegnum efnið eftir eigin hentugleika.
Þegar á heildina er litið sýna meginniðurstöðurnar fram á margvíslega þætti sem geta haft áhrif á virkni og framvindu nemenda í opnum netnámskeiðum og jafnframt kosti þess að beita blandaðri rannsóknaraðferð í rannsókn af þessu tagi. Með greiningu á gögnum úr gagnagrunni hefur í fyrsta lagi verið sýnt fram á gildi þess að rannsaka ítarlega námsferli nemenda í tengslum við námsefnið sem þeir nota, jafnt þeirra sem ljúka námskeiði og hinna sem gera það ekki. Auk þess hefur verið sýnt fram á kosti þess að netnámskeið búi yfir innbyggðu vöktunarkerfi sem veiti möguleika á að afla og safna rannsóknargögnum í gagnagrunn.
Niðurstöðurnar benda í öðru lagi á mikilvægi þess að við þróun slíks tungumálanámsefnis á neti sé tekið tillit til kennslufræði annars máls, að það feli í sér innihaldsríkt og fjölbreytt námsefni sem miðist við þarfir fullorðinna og ólíkan námsstíl notenda, og að nýttir séu kostir margmiðlunar til að bjóða upp á gagnvirkt tölvustutt nám og kennslu. Í þriðja lagi benda niðurstöður til gagnsemi þess að nemendur fái notið stuðnings kennara og einstaklingsbundinna leiðbeininga í opnum netnámskeiðum. Með því að nýta spurningalista í rannsókninni til að kanna hug og reynslu notenda af kennsluefni og stuðningi kennara er jafnframt lögð áhersla á gildi þess að kalla eftir viðhorfum notenda sjálfra til námsefnis og námsumhverfis í heild. Ekki síst geta slík gögn ýtt undir endurbætur á námsefni og aukinn stuðning við nemendur.
Að síðustu er með greiningu eigindlegra gagna sýnt fram á með rannsókninni að ólíkur hvati geti legið að baki málanámi og virkni þátttakenda og einnig að einstaklingsbundnir og ytri þættir geti skýrt brotthvarf nemenda úr námskeiðum. Með því að laða fram einstaklingsbundna sýn nemenda í rannsókninni hefur þannig verið varpað víðara ljósi á þá fjölbreyttu þætti sem geta haft úrslitaáhrif á virkni og þátttöku nemenda. Niðurstöðurnar í heild geta einnig verið leiðbeinandi fyrir fræðimenn um þróun opinna tungumálanámskeiða á netinu og gefið hugmyndir að frekari rannsóknum á þessu sviði.
Abstract
This doctoral thesis addresses the issue of commonly low retention rates in massive open online courses (MOOCs), and attempts to identify crucial factors that affect engagement and retention in language massive open online courses (LMOOCs). The study relied on data from learners in the open and free online program Icelandic Online (IOL), which provides self-guided online courses for second language learners, of which some are presented in different modes of delivery.
This is a three-tiered, mixed-method study that relied on tracked retention data, survey data in correlation with tracking data, and qualitative data elicited through a survey. First, the tracked retention data on learners’ online behavior and progression throughout the courses came from approximately 43,000 learners in all IOL courses and delivery modes. Second, the survey study was based on data from 400 learners on their experiences of the course content as well as tutor support in one course, and the influence of these factors on student engagement and retention. Other motivational factors were also addressed in the survey, namely learners’ initial intent of course engagement and the influence of this factor on retention. The impact of participant demographics on student retention was also investigated. Finally, the qualitative data were elicited from 174 informants in one course through open questions included on the survey, to reveal learners’ own views regarding the factors that either drove them to complete the course or prevented them from completing it.
Firstly, the findings of the tracking data analysis showed relatively low completion rates across all courses and modes of delivery, ranging from 2.4% to 18.2%, and that the blended learning modes were more effective in retaining learners as compared to other delivery modes studied. Furthermore, through the mining of these data and the use of learning analytics, the study identified a pattern of attrition among learners who did not complete courses to the very end, as well as a pattern of user engagement across all courses and modes. The analysis therefore provides detailed information on the timing of student attrition as well as the extent to which non-completers engaged with the course material. While the findings showed that students commonly drop out early on in these courses, they also revealed that learners may disengage towards the end of a course. These findings called for reevaluation of the previous frameworks that measure students’ attendance in MOOCs: Instead of defining course completion as 100% coverage of a course’s content in the follow-up survey studies, it was redefined as completion of 80% to 100% of a course’s content. The findings from the tracking data highlight the value of exploring learners’ tracked progress and behavior in detail within the context of their learning materials in order to gain further understanding of student retention in MOOCs, with consideration to those who covered course content to the end, as well as those who did not.
Secondly, the survey study identified six content-related factors that most participants considered important for their engagement with the course, as well as four tutor-specific factors that apply to the blended and distance modes. Among these factors are gradual and scaffolded presentation of input and private interaction with a tutor. When the survey data were measured against the tracking data, three of the content-specific factors were found to have a positive impact on student retention while the other three did not. All of the tutor-specific factors seemed to have a positive impact on retention in the blended mode, but none of them did in the distance mode. The study thus found that the instructional methodology and engagement strategies applied in IOL may benefit the language learner in terms of engaging him or her with the learning material, and therefore underlines the value of using CALL design within the LMOOC learning environment. The results also underscore the potential benefit of the presence and guidance of a tutor in the LMOOC learning environment on learner engagement with the material. The findings from the survey data that were also connected with the tracking data underline the value of such self-reported data in informing research about users’ opinions and experiences of a learning material and its impact on student engagement and retention.
Thirdly, the results showed that learners join MOOCs with various goals in mind in terms of participation. While over half of the learners in the study entered the program with the intent to complete the full course, many did not. The study also found that the goal of completing a course had a significant impact on course completion. These results stress the importance of considering learners’ initial intended participation as relates to MOOC retention. Fourthly, the factor of age was found to have a negative predictive value in the study, while gender was not found to impact retention.
Finally, the analysis of the qualitative data from learners who had completed a course revealed various motivators for continuing with the course, such as interesting course material or an interest in the language or culture. Furthermore, statements from learners who had had the initial goal of taking a full course but disengaged before completing show that factors unrelated to the course, such as time constraints, affected retention. By capturing learners’ own thoughts on the reasons why they completed or did not complete a course, the study therefore provides broad individual perspectives on critical factors of LMOOC retention.
Overall, the study has identified multi-ranged determinants of student retention. The thesis provides a new framework for promoting student retention in LMOOCs, including engaging instructional strategies and the supervision of a tutor, which may provide a useful guide for educators and developers of LMOOC courses, and suggests avenues for future research.
