Evaluating the Validity of PHQ-9 Scores: A Multi-Method Psychometric Investigation of Sources of Variance Beyond Depression Severity

Abstract

The Patient Health Questionnaire-9 (PHQ-9) is one of the most widely used self-report measures of depressive symptoms in clinical practice and research. Its scores are often interpreted as indicators of depression severity, yet this interpretation depends on the extent to which responses reflect depressive symptomatology rather than other influences. The aim of this thesis was to evaluate the validity of PHQ-9 scores by examining sources of variance beyond depression severity that may influence item responses. The thesis comprised four interrelated studies conducted with Icelandic samples. Paper I examined the psychometric properties of an existing Icelandic translation of the PHQ-9 using Mokken scale analysis (MSA) and used cognitive interviews to investigate possible sources of weak item functioning. Paper II introduced a revised Icelandic translation of the PHQ-9 and evaluated its psychometric properties using MSA. Paper III used the method of paired comparisons to examine whether PHQ-9 items differ in their perceived sensitivity, that is, the extent to which respondents experience them as uncomfortable to disclose. Paper IV modeled socially desirable responding as a measured cause of method variance in the PHQ-9 to examine whether it systematically influences item responses and whether that influence varies with item sensitivity. The findings showed that the original Icelandic PHQ-9 had suboptimal scalability and that this was associated with several problems, including translation errors, ambiguous wording, multi-barreled item content, symptom overlap, and other response-process issues. The revised Icelandic translation performed better psychometrically, with stronger scalability and a more coherent ordering of respondents along a depression severity continuum. However, not all problems identified in the original version were resolved. The results further showed that PHQ-9 items differ systematically in perceived sensitivity. Items typically grouped as cognitive/affective were generally judged more uncomfortable to disclose than items grouped as somatic. Finally, socially desirable responding was a source of method variance in PHQ-9 responses, systematically lowering symptom reporting while accounting for considerably less variance than depression severity. This method effect varied across items but did not correspond to their perceived sensitivity. In sum, the findings suggest that PHQ-9 scores may reflect more than depression severity alone. The results support a cautious and context-sensitive interpretation of PHQ-9 sum scores. The PHQ-9 may still be useful as a brief indicator of depressive symptoms, particularly in its revised Icelandic form, but its scores should not be treated as fully transparent or pure measures of depression severity. The thesis underscores the importance of examining how instrument design, item content, translation, and response processes shape the meaning of psychological measurement scores.Patient Health Questionnaire-9 (PHQ-9) er einn mest notaði sjálfsmatskvarði til þess að meta þunglyndiseinkenni í klínísku starfi og rannsóknum. Skor á kvarðanum eru gjarnan túlkuð sem vísbending um alvarleika þunglyndis, en sú túlkun ræðst af því að hvaða marki svör endurspegla þunglyndiseinkenni fremur en aðra áhrifaþætti. Markmið þessarar ritgerðar var að meta réttmæti PHQ-9 skora með því að rannsaka breytileika í svörum sem ekki má rekja til breytileika í alvarleika þunglyndis. Ritgerðin byggist á fjórum innbyrðis tengdum rannsóknum sem framkvæmdar voru með íslenskum úrtökum. Í grein I voru próffræðilegir eiginleikar fyrirliggjandi íslenskrar þýðingar PHQ-9 metnir með Mokken greiningu og ítarviðtöl notuð til að kanna mögulegar skýringar á veikri virkni einstakra atriða. Í grein II var lögð fram endurbætt íslensk útgáfa PHQ-9 og próffræðilegir eiginleikar hennar metnir með Mokken greiningu. Í grein III var aðferð paraðs samanburðar notuð til að kanna hvort atriði PHQ-9 væru mis viðkvæm, það er að segja að hvaða marki svarendur telja að óþægilegt væri að greina frá þeim einkennum sem atriðin lýsa. Í grein IV voru þáttalíkön notuð til að kanna hvort félagslega æskileg svörun stuðlaði að kerfisbundnum breytileika í svörum við PHQ-9 og hvort slík áhrif væru breytileg eftir viðkvæmni atriða. Niðurstöðurnar sýndu að upprunaleg íslensk útgáfa PHQ-9 hafði ófullnægjandi skalanleika og að það tengdist nokkrum vandamálum, þar á meðal þýðingarvillum, tvíræðu orðalagi, margbotna atriðum, skörun einkenna og öðrum vandkvæðum sem tengjast svarferlinu. Endurskoðuð íslensk þýðing hafði betri próffræðilega eiginleika, með sterkari skalanleika og skýrari röðun svarenda eftir þunglyndisvíddinni. Hins vegar leystust ekki öll þau vandamál sem greindust í upprunalegu útgáfunni. Niðurstöðurnar sýndu jafnframt að atriði PHQ-9 eru mis viðkvæm, þar sem þátttakendum þótti almennt óþægilegra að greina frá hugrænum/tilfinningalegum einkennum en líkamlegum. Að lokum reyndist félagslega æskileg svörun vera uppspretta aðferðabreytileika í svörum við PHQ-9. Hún tengdist lægri skorum á PHQ-9 en skýrði þó minni breytileika en alvarleiki þunglyndis. Þessi aðferðaráhrif voru breytileg milli atriða en fylgdu ekki viðkvæmni þeirra. Í heild benda niðurstöðurnar til þess að skor á PHQ-9 geti endurspeglað fleira en alvarleika þunglyndis eingöngu. Niðurstöðurnar styðja því varfærna túlkun á summuskorum PHQ-9 sem tekur mið af samhengi. PHQ-9 getur verið aðalega gagnlegur sem stutt matstæki á þunglyndiseinkennum, einkum í endurskoðaðri íslenskri útgáfu, en ekki ætti að líta á skor sem fást með kvarðanum sem fullkomlega gagnsæjar eða hreinar mælingar á alvarleika þunglyndis. Í víðara samhengi undirstrikar ritgerðin mikilvægi þess að rannsaka hvernig hönnun matstækis, innihald atriða, þýðing og svarferli móta merkingu skora í sálfræðilegu mati.