Attention Please!網路調查參與者,咁無專心?

相較於面對面訪問或電話調查,網路調查具有成本低、沒有訪問時間限制、管理方便、回收快速等優點。隨著網路普及和相關技術的發展,2022年台灣18歲以上人口的上網率已達84.3%(2022台灣網路報告),網路調查在各個研究領域的應用亦日趨廣泛。

不同於面訪或電訪由訪員進行訪談的問卷資料蒐集模式,網路調查沒有訪員提問、記錄、追問或協助釋疑,仰賴參與者自己閱讀題目及作答,對參與者的認知能力要求較高。參與者在回答題目時,會經過4個認知步驟:

參與者回答問題的認知模型(Tourangeau et al. 2000)

如果參與者跳過其中某些步驟,就可能因為沒有正確理解題意、提取的資訊不足,以致沒能給出經過深思熟慮後的答案,甚至答非所問,或敷衍作答。以上情形都可能造成測量誤差或題項無反應(如回答「不知道」或拒答)等情況,影響資料品質(Gummer et al. 2021)。

為評估參與者在填寫問卷時是否專注,有學者提出,可在問卷中加入注意力檢測題(attention checks),用來篩選出哪些參與者在填答時不夠專心。常見的注意力檢測題目有指引操弄檢測(instructional manipulation check, IMC)、指示應答題(Instructed response item, IRI)、虛題(bogus item)等類型。以下分別說明並舉例讓讀者了解。

1. 指引操弄檢測(instructional manipulation check, IMC

指引操弄檢測的題目長度和格式與問卷中其他的問題類似,研究者會在題目中加入一些文字,要求參與者依照指示作答。以圖1和圖2的題目為例,前一題要求參與者忽略選項,點選上方的標題 ”Sports Participation”,後者則要求點選下方的藍點(紅框處),藉以瞭解參與者是否有專心閱讀題目。

圖1 指引操弄檢測題範例一 (取自Oppenheimer et al. 2009, p. 868; Fig 1)

圖2 指引操弄檢測題範例二(取自Oppenheimer et al. 2009, p. 871; Fig 2)

考量網路調查的版面設計及資料處理的便利性,研究者多將指引操弄檢測題融合在問卷題目中,要求參與者依照指示點選特定選項或(且)在開放欄位中填寫文字。以圖3為例,即要求參與者選擇「其他」選項,並在其開放欄位中填入「已讀」兩字。研究者將填答的資料匯出,即可得知參與者是否通過指引操弄檢測。

圖3 指引操弄檢測題範例三(取自臺灣傳播調查資料庫2021年第一波網調問卷)

2. 指示應答題(Instructed response item, IRI

在指示應答題中,會要求參與者選擇特定選項,如圖4的兩個範例。這類型的注意力檢測題,可視為指引操弄檢測的一種特殊題型,常安排在量表或題組(多重單選題)中詢問。

圖4 指示應答題範例(取自于若蓉、杜素豪 2022,p. 19)

3. 虛題(bogus item

在虛題中,是有「正確」答案的,而正確答案不會因為參與者的經歷或主觀想法而有不同。這種設計的特性是,參與者若選擇了錯誤的答案,可能是因為沒有仔細閱讀問題,或在點選答案時粗心點錯,或故意不選擇「正確」的答案,沒有是否依循題目指示作答的問題。

圖5 虛題範例一(取自Meade and Craig 2012, p. 441; Table 1)

圖6 虛題範例二(取自臺灣傳播調查資料庫 2021年第一波及第二波網調問卷)

虛題可採用正常狀況下不可能發生的敘述,請參與者判斷發生的可能性(圖5),或是採用有「正解」的題目,請參與者作答(圖6)。前者設計時要避免參與者對題目解讀錯誤(如圖5第4題,從答題結果可推測部分參與者所理解的題目意思,與研究者設想的不同);後者則須注意題目難度,需要是絕大多數人可以回答出「正確」答案的問題。

以上三種注意力檢測題型,研究者可視需要應用。有研究者建議採用指示應答題,因為最容易設計,題意也不容易被參與者誤解。至於注意力檢測題在問卷中的放置的位置及數目,有研究者建議,如果只放一題,可安排在問卷的中間或後半部;在問卷較長的情況下,則可以每50題到100題插入一題,但最多不要超過3題,避免參與者產生反感,影響後續填答(Meade and Craig 2012)。

儘管注意力檢測題在網路調查的應用已愈來愈常見,對注意力檢測題的方法研究仍不多見。就現有文獻來看,注意力檢測結果與其他資料品質指標的關聯,多數研究發現通過注意力檢測者,具有較佳的問卷資料品質。至於參與者是否會因為看到注意力檢測題而感到不受信任或覺得困惑,以致影響後續答題行為,多數研究發現,對後續答題行為並無負面影響;部分研究甚至發現,注意力檢測可提升參與者的專注程度(于若蓉、杜素豪 2022)。然而,絕大多數的相關方法研究是以網路調查平台召募而來的參與者為對象。這些參與者可能因為習於注意力檢測題,而練就出偵測這類陷阱題的火眼金睛。對於不熟悉注意力檢測題的網調參與者而言,他們對注意力檢測題的作答行為,仍有探究的空間。

感謝調查研究專題中心于若蓉研究員同意本報轉載〈網路調查的注意力檢測對題項回應時間與問卷完填的影響〉部分內容。

參考資料:

于若蓉、杜素豪,2022,〈網路調查的注意力檢測對題項回應時間與問卷完填的影響〉(The Effects of Attention Checks on Item Response Latency and Questionnaire Completion),《調查研究—方法與應用》,48, 7-46。

Gummer, T., Roßmann, J., & Silber, H. (2021). Using Instructed Response Items as Attention Checks in Web Surveys: Properties and Implementation. Sociological Methods & Research, 50(1), 238-264.

Kung, F. Y., Kwok, N., & Brown, D. J. (2018). Are Attention Check Questions a Threat to Scale Validity? Applied Psychology, 67(2), 264-283.

Meade, A. W., & Craig, S. B. (2012). Identifying Careless Responses in Survey Data. Psychological Methods, 17(3), 437-455.

Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional Manipulation Checks: Detecting Satisficing to Increase Statistical Power. Journal of Experimental Social Psychology, 45(4), 867-872.

Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge, England: Cambridge University Press.

《調查研究—方法與應用》小檔案

TSSCI第一級核心期刊,刊載社會科學研究方法及相關應用的論文、研究紀要,每年4月、10月發行,歡迎以下主題投稿:

  • 研究方法與分析工具的發展或創新
  • 調查資料的分析研究
  • 意見探勘與情緒分析
  • 大數據分析模型與人文社會科學理論的結合
  • 不同人口、社會組織、企業的資料蒐集、調查理論的創新

期刊官網 https://www.rchss.sinica.edu.tw/SRMA/

文:王文心