啥,要做民意調查?! 「沒有它怎麼行」的調查神器 — 中央研究院調查訪問系統

究竟,一個公家單位為何要放著清福不享(花錢買系統當大爺),卻執意要跳坑幹苦差事,自己親手開發調查系統?!是太閒沒事幹?以為開發系統是塊小蛋糕?還是為了永續經營地球,共創人類文明福祉?更甚或是…另有不可告人的苦衷?這期我們特別邀請到這套系統的催生者–本專題中心調查訪問組侯佩君女士,來和大家分享及剖析開發過程的心路歷程,讓您一窺咱家調查訪問系統的成長樣貌!

開發系統的起心動念

話說….這已經是10幾年前的心塵往事了,且讓我們細說重頭吧(搔頭死命回想…)!

我們是一個專責於學術調查的研究單位。早期所使用的調查系統與坊間一樣,是直接採買臺灣市佔率最高的現成電訪調查系統 (CATI)來執行電話調查。直到10幾年前,低價的平板電腦開始問世,讓面訪調查採用電腦訪問對一個口袋不深的調查單位來說成為一種可能時,我們就利用坊間現成的陽春面訪系統,在預試調查做小規模的試驗。

當次的小規模試驗讓我們初嚐問卷填答資料立馬回傳的效率感,有別於傳統紙筆問卷調查還需經歷問卷檢查、答案過錄及答案建檔等層層關卡,拿到最後可分析的問卷資料時都已經地老天荒,不知何年何月了!而當時使用的系統僅是簡單地把電訪系統的問卷填答介面裝在隨身碟上,面訪員填答問卷後必須以人工方式利用FTP將問卷資料一筆筆傳輸回來,更不要說該系統的原型是電訪系統,想當然爾,很多面訪調查需要的基本功能或資訊都沒有。但這一次的初體驗就如同亞當與夏娃偷吃了蘋果一樣,回不去了!自己開發面訪系統的想望就此被啟動了!

調查訪問系統宇宙的成長史

開發的首選對象選擇了面訪調查系統(CAPI)的原因–當時臺灣市面上並沒有像樣的面訪調查系統,有的只是3-4家電話調查系統(CATI)廠商,頂多就是把電話調查系統改裝為面訪調查系統可填答問卷資料而已。而完成了面訪調查系統後,網路調查的世界也逐漸成形中,故第二個開發對象為網路調查系統(CAWI)。當然這是選擇好聽的講,其實最主要的原因是我們中心原本就買了一套電話調查系統長期在使用,故需求不高,再加上網路調查系統的建置門檻很低、電話調查系統的建置門檻較高,因為牽涉到一些電信問題,是我們這些門外漢避之唯恐不及的,想當然爾,就順勢把電話調查系統的開發放在最後面,選擇先當鴕鳥囉!

終究,鴕鳥是當不了太久,躲得了一時、躲不了一世!印象中,在電話調查系統開發初期,針對電話撥號要採取哪種機制,光在討論階段就與廠商數度僵持不下,選擇項目包括:需要大頻寬且付費機制很不便利的Skype撥號機制、架設貴森森且還要吹冷氣的語音卡伺服器、終身仰賴二類電信業者、還是咬牙找市面上便宜的電話錄音盒來測試但不知道可不可行等。最後,是以業者之姿強迫開發廠商接受那個最沒有成功把握的選項,但真的很感謝廠商努力不懈地多方嘗試而終究開發出可獨立運行、低建置設備與低維護成本的電話調查系統

當這三套基礎性的系統陸續建置完成,人生的道路就頓時寬闊了!可以大步往系統整合及進階品質管控的大道邁進,因此,我們陸續開發了以下功能,就此而形成了一個CAI宇宙(Computer-Assisted Interviewing Verse):

(1)複合調查模式:同一份長相的問卷可於三個調查訪問系統上運行(CAPI / CAWI / CATI),讓問卷填答一半者可轉換到另一系統續答,並具有所有填答者的相關紀錄。

(2)CAI調查資料分析系統(DataSis):可擷取調查執行過程中所產生調查周邊資料,包括填答分析 (如問卷填答時長、單題首填時長)、樣本分析 (如完成樣本、拒訪樣本)、訪查分析 (如訪查紀錄時間差、訪查紀錄數量)、撥號分析 (如訪員撥號、訪員約訪) 等。使用者除了可由此系統的視覺圖表探查問題外,亦可匯出原始的周邊資料進行深度探討及調查研究分析。

(3)錄音評核系統(CARI系統):執行面訪或電話調查時,用以評估訪員及受訪者互動過程的一套訪問品質紀錄工具,包括訪員詢問問卷題目時的行為與受訪者的回應等。該系統結合答案填答當下的影像及聲音紀錄,直接反應當時的訪問狀態,讓使用者據以評估訪員的訪問行為是否符合規定。

(4)調查儀表板(CAI Board):針對面訪員與電訪員的訪問工作產值、效率及問卷訪問品質等面向進行自動化管理,串連CAI系統內重要的調查周邊資料整合在單一視覺範圍,讓管理者經由單一介面即可一眼明瞭關鍵品質誤差的資訊,迅速查覺而立即採取適宜的行動處置及結果管控。

caiverse

回首來時路:開發過程中遇到過哪些困難?

哈,經過時間的洗鍊與歲月的摧殘,好像都忘得差不多了。但心理層面告訴自己,那種日子要再來一次,需要很大很大的勇氣,心要大、靈魂要強!在此,絕對不能忘記要給那些曾經開發過複雜型系統、經常性處理bug的工程師一個至高的respect!

依稀記得,因為是逐步功能開發,每次新功能上線總是壓力大到爆表,甚至常常午夜夢迴作夢夢到解決方法,醒後才驚覺是南柯一夢。因為一個面訪調查往往要耗費數百萬元的經費,萬一資料傳輸出問題,是難以賠償的。而我們的面訪調查系統在初始開發時,因考量台灣各地的無線網路穩定性不一,所以放棄相對簡單的線上填答機制而採用線下填答(off-line)模式,俟訪問結束後訪員再另行連線網路回傳資料;而執行期間,會有問卷改版、樣本切換、轉出及支援等各種需求,要確保問卷都有跳出應問題目、訪員與系統之間都接收到正確的同步資訊,極其重要!

再者,參與開發後慢慢開始理解:開發系統不是你想要怎樣就可以怎樣。系統剛開始開發時可塑性一定很強,但當系統功能越來越龐大複雜、關連性越來越多時,需要考量的因素就相對更多而需要謹慎評估可行性與相關影響,畢竟「代誌不是像憨人所想得那麼簡單」,系統的穩定性絕對是首要保障的重點。而想當然爾,我肯定一開始也是憨人一員,想要A就一定要A,無法接受B!所以,開發過程後期,人生的功課就是轉念,盡量在不影響調查與資料品質之下,嘗試找到可接受的alternative!開發系統,其實也是在學習人生呢!

當然,除了內憂,一定有外患。由於CAI相關系統的運用牽涉到各家瀏覽器、行動裝置(如平板電腦)的Android作業系統、電子郵件系統(伺服器,如Gmail)及資料庫等相關軟體,隨著數位科技時代的日新月異,各軟體也時不時因應資安或公司內部政策的需求而進行功能改版,包括無預警關閉預設功能而對資料造成影響、或新功能與CAI系統具有相容性問題而造成局部功能無法正常運行、甚至Android作業系統會一直出現錯誤訊息無法正常執行等。這十年來,發生次數已經不計其數,每每只能兵來將擋、水來土掩,儘快找到解法而不要影響到調查的正常執行。

與坊間其他調查系統的差異性

各家調查訪問系統的功能,其實都大同小異!一般使用者在選擇時,有幾個基本的重點要注意是否符合,包括:特定的需求是否可以達到、系統設定界面是否簡易直觀及問卷填答頁面是否友善親和等。

我們中心的調查訪問系統與其他系統一樣,除了重視數據資料填答與傳輸的正確性之外,也很重視多模式調查轉換的便利性資料蒐集的品質後續深入研究的可能性

多模式調查轉換的便利性:因應拒訪率的日益提升、完成率的每況愈下,再加上這二年來Covid-19疫情三不五時就變種來拜訪我們,在調查期間如何因應時勢,善用各種調查模式的不同接觸管道來提高完成率,已然成為不敗的必然趨勢。我們的CAI系統,只要編輯好一份問卷,便可在三個系統上自由轉換運行。

資料蒐集的品質:是指進化基本功能及開發輔助性系統。例如面訪調查採用線下訪問機制,避免因網路通訊問題影響訪問,造成受訪者不悅;電話調查督導於線上監控(觀看訪員即時螢幕及訪問對話)切換訪員時不被訪員察覺等;開發CARI系統與CAI Board系統,讓管理者除了利用題目填答當下的影像及聲音紀錄來評核訪員行為之外,也將每個調查的關鍵性重點,例如完成率、拒訪率、問卷填答時長、項目無反應比例等資訊,整合在單一儀表版,讓管理者可即時察覺問題而進行適當的管控措施等。

後續深入研究的可能性:產出CAI系統內各類型的調查周邊資料,方便管理者與研究者進行深入的研究探討,締造多方面的研究契機,不論是問卷填答行為,抑或是訪員訪查、撥號、訪問行為或工作產值等。產出的資料,除前述如DataSis所示的項目之外,舉例來說,還包括電話調查系統內具有訪員績效報表及訪員在調查各階段的時間紀錄,包括電話撥號、戶中抽樣及問卷填答的起迄時間等,讓管理者分析訪員各階段的工作效率;又如網路調查系統可記錄填答者使用的填答設備是手機、還是電腦等,讓管理者隨時掌握趨勢潮流等。

自己開發系統?!不如「租」就好啦!

看到這裡,應該可以深深體會,自己開發系統這個坑,千萬不要隨便跳進去!尤其是整合型的多模式調查系統。有免費的,就用免費的(例如免費網路調查軟體)!沒有免費的,那就用租的 — 例如,跟我們租!

我們的調查訪問系統功能很多,有興趣者可以點擊右側按鈕下載說明文件:

怕您不知道,我們面訪調查系統的面訪員APP還有英文版日文版喔!

心動了嗎?!Do not hesitate!! 電話打起來就對了!