機率、非機率,有差嗎?! —走進本中心網路調查會員的世界
在省錢又省時的網路調查(線上調查)當道的今日,本中心也不可免俗地也拿了張入門票,建立起我們自己的固定樣本網路調查會員資料庫(online probability-based panel),開啟了如火如荼的網路調查新紀元!然而,很多調查單位都有自己的會員,故擁有會員並沒有什麼大不了的!反倒是,相較於其他調查單位,我們的會員來源為何?我們的優勢、特色又是什麼呢?且讓我們娓娓道來…..
歡迎大家一起走進我們會員的世界!
機率樣本 vs. 非機率樣本
相較於傳統調查模式(例如面訪調查、電話調查),當網路調查以固定的會員樣本(panel)做為調查對象,不僅能有效降低調查成本,也能相對提升調查執行效率。而若此固定樣本的來源具有機率抽樣的特質(probability-based panel),亦即會員是從明確的母體清單(population frame),例如臺灣一般住家地址、市話號碼或手機號碼等,經由一定的機率抽選程序,讓每一個人都有一個不為零(non-zero)的中選機會而被邀請入會,則得以知道抽樣時的中選率、邀請時的召募率及正式入會的比率等資訊。這樣的資訊除了可據以形塑未參與者可能具有的特性、估算涵蓋誤差與無反應誤差之外,並可運用適當的加權權數或輔助變項來校正調查資料,有效降低估計上的偏誤(bias)、提高資料推估的精確度。此外,若會員的組成是從多個機率調查累積而來,也可計算累積完成率(cumulative response rate)、合作率(cooperation rate)等來監測及評估會員樣本的參與趨勢,瞭解調查的回應動態。
相對於機率會員樣本,非機率會員樣本係指在調查母體裡,並非每一個人都有不為零的機會被邀請參與調查,例如從非機率抽樣的調查召募而來的、會員自己從某些社群平台或受廣告吸引等自願加入。機率與非機率會員樣本的差異,在於前者擁有召募階段的相關資訊,因其是依據明確的抽樣架構所抽選出來,而後者缺少選取機制,沒有一個明確的調查母體來源,也就沒有此類資訊可參考運用。美國民意研究學會(The American Association for Public Opinion Research, AAPOR)針對線上調查樣本資料品質研究而成立的任務小組,於2022年發表文章指出「以母體人口結構加權後,發現機率會員與非機率會員,在政治參與、利他行為、社區依附、購物習慣、幸福感和安全感,均存在著差異(Fahimi et al., 2015)。多項研究也指出,若以外部標桿調查(external benchmark)來做為研究參照,非機率會員偏離外部標桿調查結果的程度比機率會員來得大。」當然,並不是運用機率會員樣本來蒐集問卷資料,就保證一定可以獲得對母體的不偏估計,因為這還牽涉到召募進來的會員結構、如何維運會員、問卷填答率高低等問題。
網路調查會員樣本
本中心所建立網路調查會員資料庫,是於所執行的、具有全國代表性的機率抽樣調查,包括面訪調查、電話調查及手機簡訊線上調查等各種模式,徵詢完成調查的受訪者是否願意成為會員來參與後續的問卷調查。其中,絕大部分的調查是以18歲以上的一般民眾為調查對象,少數則為20歲以上的民眾。這些會員來源計畫的研究領域也相當多元,包括社會、政治、傳播、法律、公衛、環境科學等。我們會員的黏著力相當高,單一網路調查的完成填答率約落在45%~55%之間。
正由於我們會員的來源計畫為具有全國代表性的機率抽樣調查,故每位會員在來源計畫裡都有一個已知且不為零的中選機率。凡使用此會員樣本進行調查,可提供做為後續資料加權的資訊有三種:
- 來源計畫的最終加權權數(final weights):本中心為了反應抽樣設計的不等中選機率問題及為使樣本能精確反應感興趣的母體特性,大部分的調查均會計算受訪對象的最終加權權數。該權數結合了抽樣設計權數(design weights)與母體校正權數(calibration weights)。
- 召募率:各調查進行初始徵募的召募率。
- 入會率:各調查同意參與會員者,正式完成入會調查的比率。
此外,本中心完成調查後,可依據委託者需求計算出單一調查的完成率、拒答率、累計完成率等各類型結果率,做為評估品質之參考依據。
會員徵募、審查與分類
會員徵募
本中心召募會員的方式有二種,一種為填完問卷後直接詢問是否願意繼續接受問卷調查,另一種則為二階段徵募法。後者的相關作業程序如下:
第一階段_初始徵募
於各調查完成當次的問卷填答後,在問卷題目後面先初步徵詢受訪者是否同意加入會員及提供聯絡資訊,例如電子郵件信箱或手機號碼。
第二階段_入會調查
利用受訪者提供的聯絡資訊,以電子郵件或手機簡訊寄發邀請,正式徵詢是否同意入會。同意者需填寫個人的基本人口變項,包括:性別、出生年、教育程度、居住地等,同時本中心亦會告知相關權益及往後將不定期收到各類調查之邀請填答通知。
當受訪者同意入會並填答個人基本資料後,本中心會將此資料與該受訪者在來源計畫的填答進行比對,進行入會審查,確認是否為同一人,以維持機率樣本的特性。
會員審查與分類
本中心於每年年初定期進行機率會員身份審查,以保障機率樣本會員的身份特性。此外,有鑑於國內外學術界長期以來對於網路調查的問卷填答品質有所擔憂與疑慮,為提升本中心執行網路會員的問卷調查品質,我們每年均會利用會員於歷次問卷的填答速度與填答正確等資訊來進行會員分類,從而篩選出填答速度過快或填答正確性過低者,提供委託者選擇符合自己研究需求的調查對象。
單一計畫問卷填答品質篩選
為有效提升網路問卷調查資料估計之精確度,凡委託本中心辦理之網路調查將依據計畫需求,提供基本問卷品質查核作業,包含填答速度、填答正確及注意力檢測題等項目。
參考文獻
Fahimi, M., Barlas, F. M., Thomas, R. K., & Buttermore, N. 2015. Scientific Surveys Based on Incomplete Sampling Frames and High Rates of Nonresponse. Survey Practice, 8(6): 1-11.
The American Association for Public Opinion Research. 2022. Data Quality Metrics for Online Samples: Considerations for Study Design & Analysis. AAPOR.
撰文:侯佩君