這篇文章會試著回答上述問題,提出幾個閱聽人如何看待這份調查的意見,有關研究設計或統計方法的詳細見解,留待下篇說明。
今年天下雜誌所公佈的幸福城市調查,以「經濟力」、「環境力」、「施政力」、「文教力」及「社福力」5大面向,共計47項指標進行評比,其中統計數據為39項,另8項為民調數據,依據天下提供的說明資料如下:(引自天下雜誌/第455期網站提供資料)
在這些指標中,98年單年指標39個,民眾意見的指標8個。各指標分數計算方式是在最大值與最小值之間等距分成五組,落在表現最佳組別中的縣市給予五分,其次四分,依此類推,最低一組得一分。兩種指標的佔分比例分別為客觀指標80%、民眾意見20%。最後將各縣市五大面向得分平均後再乘以一百獲得總分。(註:金門縣、連江縣而最引人議論的(泛綠沾沾自喜、泛藍哀鴻遍野抗議調查不公)的縣市長滿意度排名也採取了與以往不同的設計:
因統計資料不齊,故不列入排名)
《天下雜誌》除了民意調查的電訪外,同時與社團法人社區大學全國促進會、中華社會福利聯合勸募協會、中華民國中小企業協會與荒野保護協會合作,請四家專業團體推薦熟悉相關事務的499位學者專家參與評比,對縣市長的施政進行考核。將民眾與專家對縣市長的施政表現進行加權,即為《天下雜誌》縣市長施政滿意度。加權比例為透過這些看似科學、嚴謹的研究設計,彷彿能替調查可信度掛上保證的說詞,也進行了一堆說明、一堆專題介紹...但在此本人可以大聲的告訴各位,這種調查犯了一個認真上過研究方法的大四學生也不會犯的錯誤:不同調查母體所得來的數據,可以並列比較嗎?在這樣的調查中,調查母體是各縣市20歲以上設籍者,只針對自己的縣市狀況做出評價,例如某個被電話調查抽中的台北市民只針對「台北市長滿意度」、「台北市長有沒有努力增加新的工作機會」這一類的問題進行評價,他沒有機會也不一定有能力評論其他縣市,那麼各縣市長滿意度能並列比較嗎?若真的要做數據比較運用,也應該是同一縣市跟該調查去年或前年的資料比較,但今年縣市長滿意度調查方法改變,也已經無法比較。
民眾80%,專家20%。
另一個無法比較的原因是,調查於七月十四日至八月八日進行,調查期間長達近4個星期,只要這個期間發生重大事件,對於調查結果波動性會很大。例如七月下旬傳出「拚松虹對飛急就章 兩岸增班談判被打槍」,那一陣子相關新聞指向郝市長執意於上海世博台北文化週期間,搭乘首航班機到上海虹橋機場,而影響了民航局原訂的談判期程及內容,假如此刻恰好進行台北市的調查,雖然調查題目裡面沒有跟直航有關的問項,但事件的傳播效果已經植入閱聽人印象中,難保不受爭議事件影響。(我佛心來的,已經替某些縣市長找理由了 XD)
至於天下調查的5力構面,就算是以相對客觀的統計數據為基礎的細部指標,縣市歧異性更是無與倫比的高,例如環境力,拿高雄縣市的懸浮微粒跟台北縣市比,有意義嗎?又例如經濟力中的營利事業銷售額,拿台北市去跟其他縣市比有意義嗎?這些數據涉及縣市自然環境、產經條件、財政情形等因素,先天上比較基礎就不客觀了。
但是這樣調查還是有其可取之處,可以分成縣市政府、民眾及業者三個層面。對縣市政府而言,可以當成是縣市體質診斷、資源盤整的機會,尤其是比較年度資料,當成關鍵績效指標(Key Performance Indicators, KPI)追蹤列管。
對於民眾而言,可以當成居住地選擇的評估指標,尤其是今年這個調查從過去不知所云的縣市競爭力調查,改成幸福城市調查,就可以看出調查取向的轉變。
對於業者而言(當然我是指調查單位),可以賣統計資料(例如一張交叉分析表$5000),可以賺顧問費(評比改善顧問),後續還可以賺整合行銷費用(廣編專輯,特別推薦Portnoy在今年6月探討某縣政府廣告採購與五星級縣長的關聯分析),真的是一兼二顧,摸蜊仔兼洗褲。
總之特別奉勸某些綠營人物及其支持者,不要天下雜誌或某些媒體做出對他們不利的調查時就譙聲連連,做出對其有利的調查就四處宣揚,例如這位老兄,如果看不懂民調或調查數據可以問DPP民調中心主任陳俊麟,如果連他都說同樣的話,那DPP就是一個墮落的政黨,連真話都不敢說。當然只有急著替主子辯護卻又看不懂調查內容的人,才會說出「4項排名第一 台北市:落至21名讓人不解」這樣的蠢話(整體構面、個體指標,老虎老鼠傻傻分不清),或者寫出「民調很馬虎,《天下》真丟人」(蠢的N次方,成了下一篇的梗)這樣的文章。