Cognitive workload classification with psychophysiological signals for monitoring in safety critical situations

Abstract

Monitoring cognitive workload has the potential to improve both performance and fidelity of individuals facing safety-critical situations in their working environments. Psychophysiological signals, in particular from speech and the cardiovascular system, are an opportune choice for monitoring individuals providing minimum intrusion and disruption. For reasons perhaps mostly rooted in individual differences, current methods are limited in that moving beyond binary classification has proved challenging. The aim of the present research was to investigate the potential of speech- and cardiovascular signals both separately and in conjunction, for cognitive workload detection, using short-term variability for screen and heart rate based classification schemes. The aim was further to explore alternative methods in order to take into consideration individual differences in the cardiovascular signals that describe the extent of the reactions of the whole cardiovascular system to cognitive workload. For this purpose, new method where a single distance measure describing the hemodynamic reactions of individuals during tasks compared to their own baseline is introduced. A total of 100 university students participated in a study providing extensive information on reactions to cognitive workload that can be used for individual comparisons. The results showed that trinary classification is well achievable with the methods introduced and that the two signals do compliment each other in the cognitive workload classification task. The proposed distance measure showed obvious reactions to cognitive workload during tasks and that these reactions are highly various between individuals.

Með því að fylgjast með huglægu vinnuálagi hjá einstaklingum sem starfa í ábyrgðarmiklum störfum, s.s. flugumferðarstjórn, er unnt að hafa jákvæð áhrif á bæði árangur og líðan þeirra. Lífeðlisfræðileg merki, einkum frá einkennum í tali sem og hjarta- og æðakerfi, eru einstaklega hentugar aðferðir til að fylgjast með einstaklingum og valda þar að auki lágmarks truflun á störfum þeirra. Af ástæðum sem kunna að mestu að eiga rætur að rekja til mismunar á einstaklingum, hefur hins vegar reynst erfitt að flokka þessi merki niður í meira en tvo flokka. Markmiðið með þessari rannsókn var að kanna möguleika á að draga einkenni frá tali annars vegar og hjarta- og æðakerfi hins vegar og nýta þau til að greina þrjá flokka af huglægu vinnuálagi, bæði í sitt hvoru lagi og saman. Markmiðið var einnig að kynna nýja aðferð til að greina og dýpka skilning á mismuni á milli einstaklinga á milli þeirra merkja frá hjarta- og æðakerfi. Í þessu skyni er kynnt ný aðferð þar sem ein mælieining er notuð til að lýsa viðbrögðum hjarta- og æðakerfisins sem einni heild við huglægu vinnuálagi, fyrir hvern og einn einstakling miðað við hvíldarástand hans. Alls tóku 100 háskólanemar þátt í rannsókn sem veitti víðtækar upplýsingar um viðbrögð við huglægu vinnuálagi. Niðurstöðurnar sýndu að vel væri hægt að flokka í þrjá flokka með þeim aðferðum sem kynntar eru og að þessi tvö lífeðlisfræðilegu merki bættu hvort annað upp við flokkun á huglægu vinnuálagi. Augljós einstaklingsbundin viðbrögð við huglægu vinnuálagi komu í ljós milli hvíldarástands og verkefna sem kröfðust mikils huglægs vinnuálags.