民調設備與調查信效度無關

號稱質報的旺旺中時集團，在過去一周運用所有媒體集團資源，攻擊自由時報，只因自由公佈了反對簽署ECFA比贊成者多的民調。中國時報以連續數日的各種社論、特稿、投書，甚至破天荒地登上頭版新聞抨擊自由時報，再加上中廣新聞透過速報訪問不具名民調專家質疑自由民調操作的專業程度，甚至中天電視政論節目，選擇性的邀請具特定政治立場的媒體人進行評論。這種媒體為單一民調事件所引發起之鬥爭深度及廣度，實屬罕見。

前台灣新聞記者協會會長莊豐嘉先生為此亂象，在新頭殼NewTalk發表了「誰有資格丟石頭?」，茲引其中二段：

如果只因懷疑別人「半調子」，就大篇幅報導指控競爭報涉嫌假民調，這對於自稱質報且以專業性來質疑對手的中時而言，豈非剛好是莫大的諷刺? 或者更令人憂心的是，只因為「你的答案和我們不同，所以必須殲滅」的非我族類心態作祟?

台灣媒體所做民調，長期存在或者誘導性提問、或者樣本數不足、或者機構效應偏差等現象，其專業性距半調子的程度又有多遠 ? 從未聽到這些媒體自我檢討的聲音，卻責人以嚴到這種血口噴人的程度，不僅無法令人相信這是一種專業要求，更懷疑這不過是一場粗暴的媒體圍剿事件而已。

誠哉斯言！這也正是在下透過這個部落格，不斷覆述、強調、破解民調各種偏差現象之因，例如「笨蛋！問題在不表態與拒訪率！」乙文即強調，對於政治民調而言，因為動輒三四成的拒訪率（因詐騙橫行或機構效應造成受訪者不願意接受訪問），以及問項設計不佳造成受訪者無法或不願意回答，而致使回答「不知道/無意見/未回答」比例太高，才是造成民調不準的原因。這次中時先是質疑自由民調造假，接著又質疑自由的調查設備不夠專業，公佈的資訊不符合世界民調協會（WAPOR，World Association for Public Opinion Research）所建議發布民調之資訊要件（這點在下2年前就提過了），例如拒訪率、完整題項等。真的是有嘴說別人，無嘴說自己，光是中時自己剛公佈之辯論後民調就沒公佈拒訪率(若連結失效可參考這裡)。

又，調查設備，怎麼樣的設備才算專業？是調查系統由網頁介面html語言編寫的，還是駭客不易入侵的dos作業環境介面？如果是前者，那麼本次民調口水戰中，另一家撰稿幫中時助拳的媒體民調中心，據說調查系統還是用dos作業環境，怎麼中時不質疑他們的數字如何產生？還是就像莊豐嘉先生所言「你的答案和我們不同，所以必須殲滅」？

翻開任何一本民意調查教科書，都會告訴你，只要從抽樣母體界定、抽樣方法、問項設計、訪員訓練等步驟符合調查研究方法要求，就能獲得具備一定信度、效度的民意調查。否則古早沒有電腦輔助電話調查系統（Computer Assisted Telephone Interview，簡稱CATI），來幫助抽樣、資料處理的時代，我們的教授的教授的教授...如何完成民意調查或各種調查？

就算自由時報因為調查需求，臨時招募了一批訪員，直接拿著話筒一通一通撥，然後key in在excel或其他格式的資料庫裡，只要抽樣沒有問題、確保了樣本的隨機性，問卷設計沒問題、不結構引導或問項設計引導，有何不可？事實上，當專業民調中心一旦臨時系統出了問題，就是這樣處理。當然就調查專業的角度，這樣的方式無法符合大量民調的要求，但若自由時報從來就不把民意調查當成營業項目去產製民調，有何不可？

當然，就自由時報而言，他們除了必須承擔媒體同業各種質疑之外，若欲建立自身媒體公信力，還是需要清楚交代WAPOR所規範的相關事項，例如拒訪率、加權與否、調查問卷、調查費用來源甚至交叉分析等。此外，如果提供一些額外資訊，更能幫助民調界評估自由民調的可信度，例如照他們這種臨時調查的進行方式，在調查進行前，是否給予訪員訓練？有多少比例的訪員是曾經執行過民調者？

在學術研究方法上，某一「量測、調查、研究」的信度是指，該「量測、調查、研究」重覆同樣的測試，都能獲得一樣結果的程度，亦即施測結果的一致性或穩定性（就像量HOLLO KITTY的身高，每次量都是5個蘋果高）；而效度則是量測工具的內容適切程度，到底透過這樣的衡量工具，是否可以有效的量測研究者所想獲知的概念/構念（就像量HOLLO KITTY的身高，可以用皮尺量、用同一顆蘋果量或是要用氣壓劑，看哪一個可以正確得出結果）。

調查信效度的維持仰賴的是，能代表調查母體的抽樣，能測出研究意旨的問卷設計內容，不透過問項題序安排進行結構性引導，不透過問項設計引導出特定答案，標準一致的訪問標準作業程序（SOP），以及符合統計學規範的研究報告。調查信效度從來就不是用何種民調CATI系統或工具就能達成的，亦即，民調設備與調查信效度無關，重點還是在於人，為遂行特定目的刻意製造偽民意、與魔鬼交易的人，或是謹守調查研究方法、致力追求科學民調的人。

最後，就像前一篇說的，任何評論員、新聞或某個陣營都不能營造一種經過辯論後，全台民意對於 ECFA支持度大增或某種意向、支持度改變的假象，因為仍有至少一半以上的人沒看過、聽過、讀過與辯論有關的內容或新聞，所以如何得知辯論對這些人造成的影響，進而塑造整體民意支持或不支持的假象？頂多只能描述辯論前後，這段期間民意的變化而已。用這個標準，就可以知道哪個媒體民調或是評論人，研究方法夠不夠水準、值不值得相信。