2010年10月12日 星期二

政策評估:花博效益評估

本文原收錄在另一blog,如果從當初的半仙式預測來看,花博最終人次不但突破8百萬,甚至朝向9百萬邁進,我真的太小看台灣人吃噴的實力了

----------------------原文分隔線----------------------
花博在紛亂中展開測試,即使從初始就有諸多問題,例如:
1.選址及舉辦方式不符永續發展潮流(移樹千棵、大面積淺層草本植物綠地覆蓋無助減碳,未配合都市發展計劃提供更多綠地或都市改造,參見關於永續城市的幾個謬誤:從花博說起)、
2.籌備過程(專業能力不足:有沒有總製作人沒辦過大型活動的八卦?)、
3.各類標案疑議、花價、場館造價等諸多爭議、
4.預算追加:預算也從2009年初的78億(中央補助一半)暴增至160億以上(官方說法為95億)...
然而在和諧的執政多數黨議會配合友善媒體護航下,即使早先也有6成不滿意郝市長在花博的表現,最近更有蘋果民調指出3成9認為郝龍斌治理能力有問題,依據現在的輿論風向球,TVBS調查74%市民支持花博、61%認為舉辦花博會成功,以及聯合報及分身民聲文化標到550萬廣宣案所製作的一系列挺花博報導,已經可以斷言閉幕隔天11月中的報紙頭條會是「北市成功舉辦 台灣有史以來最成功的大型國際展覽活動畫下完美句點」之類的。

然而個人以市民角度看待這樣的政治煙火秀,與其冀望聖賢英雄帶領市政起飛,不如先拆穿政客謊言,同時也從事後補救的角度提供幾個觀點,讓已經砸下去的錢發揮更大的效用。第一步,就是督促營運單位提出真實的評估數字,包括國內遊客數、國外遊客數,這是經濟效益評估的基礎,遺憾的是,官方代表、媒體名嘴助拳人所引用的800萬樂觀預估遊客數及引發效益,評估過程竟是問題連連。

台北市政府的官方版效益評估摘要是這麼寫的:
...究竟高達78.32億元的花博支出能產生多大的效益,規劃的成果能否順利展現,不僅備受各方關注,也必須謹慎的檢視。

主要研究內容包含國內外標竿案例經營模式分析、2010臺北國際花博會效益評估,以及領域專家事中評估報告三部分。評估結果指出:

一、根據觀光統計、台灣人口統計以及國際花博經驗所建立的假設推論,預估臺北國際花博會若能完全吸引前去北部的旅遊者,則參觀人數將達到775 萬人次,其中,包括外國參觀者38.8 萬人次。

二、 若臺北國際花博會能達到吸引775萬的參觀人次的基本情境,則將能產生如下效益:(1)直接效益89.31 億元,間接效益160.14 億元,透過產業關聯效果,將產生391.18 億元的產出效果,以及所得效果197.71億元;(2)共創造360,082 個人月的工作需求,或相當於30,507 個人年的就業效果;(3)花博會的活動本身將創造55.774 億元的產值(GDP)。

三、在財務方面,將產生資金缺口,且政府負擔比率約達60%,凸顯臺北國際花博會的舉辦必須要有顯著的經濟效益或無形效益的支持,以及花博執行團隊宜繼續努力開發其他民間財源,才能使臺北市政府負擔的部份達到自償的水準。

四、領域專家評估結果指出:「提升產業產值效果」與「達成預期之國家整體效益的程度」應是籌辦「2010 臺北國際花卉博覽會」關鍵且現階段須予改善的重點訴求;「財務自償程度」與「達成預期之社會效益的程度」則非此次的關鍵目標。就經濟效益的落實層面來看,執行效能的提高是改善目前執行面的首要重點。

五、臺北花博團隊宜積極整合全國各縣市的資源,並延伸發展花博會週邊的活動,以擴大國家整體經濟效益。

六、關於會後發展,建議跳脫遺產必然是在場址的有形物遺址觀點,而以區域的環境改善以及在地居民的生活品質提升作為遺產價值訴求可能較為可行,並納入市政的長期目標規劃。

七、建議花博會舉辦後成立一個基金會,負責永久館的營運與管理,以及長期推動市民提升文化、藝術、綠生活等相關活動,並成為累積國際級大型博覽會經驗的實體組織,以長期爭取大型博覽會於台灣或臺北舉行,並協助培育相關人才。

推薦對這個議題有興趣者,都可以把報告書下載,好好研究一番,許多前述的諸多爭議,其實都可以從報告中找到答案,尤其是文獻及個案探討階段。遺憾的是,從附錄會議紀錄以及前述摘要就可以得知,這份報告從期中審查之後,成為遮羞布,姑且不論耗資數十億的活動,事前竟然沒有任何可行性及效益評估報告,而理論上應該作為評估目標與執行方法是否有異的事中評估檢核,也形同虛設,成為畫餅充飢的工具,例如明明第三點寫財務自償困難,第四點就順水推舟寫了"「財務自償程度」與「達成預期之社會效益的程度」則非此次的關鍵目標"(說好不打臉的)

期中報告審查跟期末報告審查除了丁錫鏞之外,所有審查委員都不同了,期末報告只有1位是市政府以外的專家學者出席(檔案第187頁、頁次A3-1),說真話的清大黃春興教授就去抓河蟹了,後續研究方向則像丁錫鏞所說的:
此研究報告的基本功用在於當市政府面對市議會質詢與向中央政府提
出補助申請時,可作為專業的評估依據。(檔案第180頁、頁次A2-3)
雖然依據審查委員的意見進行研究報告修改是天經地義,但需要被監督、檢核的單位,反過頭來制定監督、辦法,這幾十萬或上百萬研究預算注定付諸流水。翻遍政府採購法相關規定,雖然沒有明文表示期中審查會與期末審查會審查委員需要完全相同,只要是採購流程評選小組成員即可擔任,並且邀請單位外委員佔1/3以上即可,像這個案子單位外審查委員大變動的狀況也誠屬罕見了。

775萬人次的估計

直接效益是舉辦活動過程當中產生的勞務及財務價值,收入扣除支出後的對於台北市經濟效益的淨效果,這部分的估算是依據(花博支出-支付海外費用-會場原經濟用途收益+贊助之勞務或財物)所得,如下圖。可以發現這個估算方式嚴重漏估了國內經濟活動的移轉效果,這些預算若不用在花博,用在其他市政建設也會獲得相同的效果,也就是黃春興教授說的:

因為以經濟學擴張(expansion)理論來看,將投資花博的預算用於其他建設,應該可以產生相同的經濟效益。(檔案第180頁、頁次A2-3)


資料來源:2010臺北國際花卉博覽會總體效益與影響評估之研究(檔案第81頁、頁次67)

相關的謬誤還包括高估的GDP以及就業效果,陳博志教授便有專文討論。其實所謂的觀光乘數效果在國民旅遊方面,也有類似的謬論,這部分留待下篇探討。

目前最常被北市府當作說帖的800萬遊客創造的間接經濟效益,是指外來參展者、外來參觀者(包括國外及外縣市),就是根據樂觀評估模式775萬人次去推估出來的。而該評估模式的基礎是觀光局的97年國人旅遊狀況調查報告,這個報告是每季進行電話調查所得的推估資料,將所有今年第4季或明年第1季前往北部地區觀光者皆假設他們會前往花博參觀之機率為p,乘上全國5至79歲人口數n,得到736萬人,再加上預估外國觀光客會是總遊客數的5%,所以樂觀推估的總遊客數是775萬(736萬除以95%)。這裡面有幾個錯誤:

1.觀光局報告的最低受訪年齡是12歲(!),這份報告私自往下加了5至11歲共7個年齡分層少200萬人。所以n就要減掉200萬。
2.假設所有前往北部旅遊者都會參觀花博,雖然稱為樂觀評估模式,但也太樂觀了吧!修正方法是,依據國民旅遊調查資料,研究各縣市前往北部旅遊者的遊憩特性(因為有景點調查、遊憩偏好數據),估計最有可能的採用花博旅遊package者。詳細估算方法,請付顧問費。

資料來源:2010臺北國際花卉博覽會總體效益與影響評估之研究(檔案第85頁、頁次71)

至於5%約40萬的外國遊客旅遊估算基礎,是依據泰國與中國昆明舉辦A1 級的經驗,國外參觀者的比率分別為5.21%以及5.31%,所以認為台灣有可能是5%。這部分倒很中肯,只要加計中國觀光客,相信一定做得到 XD

綜上所述,即使是775萬遊客數,也是河蟹下的產物,雖然請到的推估顧問是戶外遊憩領域的專家台大園藝系主任林晏州...下一篇預計來談幾個問題,包括介紹前述的就業及GDP估計(以陳博志博士的見解為基礎)、花博預算等問題。

延伸閱讀:

2010年10月6日 星期三

如何看待天下雜誌縣市排名調查(二)

自從今年的天下雜誌縣市排名公佈之後,掀起陣陣波瀾,那些望文生義的政論就不提了,連新新聞雜誌也跳入火坑,以「民調滿天飛 玩法一大堆 」為主標題、世新傳管系主任蘇建州之評語「美國總統能打敗日本首相嗎?」為副標題,製作探討民調排行產製過程的專題,從方法論及實際運用方面切入,訪問了幾個主要的國內民調中心負責人,包括遠見戴立安、TVBS王業鼎、世新梁世武等,學界則以前述的蘇建州為代表,共有「調查方法失嚴謹 學者大搖頭」、「民調準不準? 很多眉角可以玩」、「好壞太懸殊,民調有問題?綠營比較優?」等3篇專文報導。這大概是除了某些特定媒體定期互砍之外,近年少見的討論民調、評鑑排行專文報導,值淂站在書攤前翻閱一看。

在進入本文前,想先談blog專家、達人現象。由於網路資訊流通快速、大量專業者分享其專長領域經驗,讓許多blogger變的像媒體名嘴一般,上知天文下知地理無所不談,許多以往看似需要特定專業者才能談的主題,似乎這些blogger也能侃侃而談,而且還虎虎生風、三人成虎,讀者一不小心就會被他們唬了!例如這一篇「民調很馬虎,《天下》真丟人」,當相關新聞剛出現時,這篇被UDN掛在新聞底下的關聯閱讀,我得承認這位作者真的很會寫作文,天花亂綴加油添醋,好像他真的很懂民調這個產業。

雖然我常批評民調業,也不是專家,頂多是個追求專業極致的職人,我都不敢說遠見不具專業及公信力了(事實上遠見民調中心的負責人是國內產業界少數在統計及調查方法上扎根很深的人,而他們的專業表現在自創的民心指數以及競選指標上!),那位作者僅從天下一個調查開始談,就把幾個國內媒體民調中心批評的一無是處;也僅依靠網路剪貼而得的文章,就儼然成為統計大師,煞有其事的講起抽樣誤差與樣本數的關係。在這邊我要說,挖金憨慢講話,但是挖尚實在,有關民調的事問我就對了,請不要再相信沒有根據的說法(雖然我很努力的要在這篇文章回到第一段談到的主旨,但仔細一看那篇離譜的文章恐怕沒辦法了XDD)
一、關於民調中心概況及專業

那篇「民調很馬虎,《天下》真丟人」(以下簡稱銀文,取自blogger代號)聲稱只計算討論常見報的媒體民調中心...(我看是他根本不知道這個產業有幾家民調、幾家市調)不知道他活在哪個年代,他提到的非凡至少近10年前就沒做民調,東森也早因經營策略退出民調專攻市調,年代或許還有在接案,但自從前任負責人跳槽帶走班底,再加上公司搬遷流失了大批訪員,也很少出現在媒體上了。這樣算起來頂多是兩大報(蘋果、自由)兩小報(旺旺、聯合)加上遠見、天下共6家,我不知道他所謂「做「經常性政治民調」的,至少在 10 家之上。比諸民主國家,這個數字高得實在嚇人」這段敘述根據在哪?

最好笑的是這幾段:
為什麼咬呢?是因為他們的貪腐問題,還是特定的台獨立場,讓蔡衍明很不爽?都不是。如果我們回顧當時見諸該報的報導,原因立馬呼之欲出,旺旺中時的砲打綠營,是因為爭奪民調可信度的市場商機──此即蔡衍明的揮師民進黨內部民調,正是在於他們侵犯了米果集團的利益。至於自由時報,那豈可不打得彼等鼠輩頭都抬不起來?

雖然如此,自由時報的根本不存在民調中心,在圈內早就不是新聞,只是大家心照不宣罷了。而民進黨的內部民調,就連楊秋興,許添財都跳出來指控黨中央作假,做到他們身上去。
銀文的寫作策略是樹立中立形象藍綠都批,動不動就搬出圈內、內行型塑權威,這點很高明,因為不是這個產業的人無從得知他說的事實有多少。旺旺炮打綠營是因為爭奪可信度市場商機?這大概是我從業以來聽過最好笑的笑話,姑且不論他寫的中文太高深讓駑鈍如我看不太懂,自由時報民調從來不是以市場商機為目的,所謂的不存在民調中心,前文也已經說過,只要從抽樣母體界定、抽樣方法、問項設計、訪員訓練等步驟符合調查研究方法要求,就能獲得具備一定信度、效度的民意調查,人家就是辦公室大、閒置空間多,能夠動員到足夠的訪員進行調查,甘卿何事?

所謂DPP內部民調作假,在選前許、楊就透過媒體放話要指定大學民調心執行,當時我也在噗浪上討論所謂的大學民調中心不是就比較中立,一再重伸DPP在選舉民調上已經建立標準作業流程,只要符合其規定者,調查出來的數字不會差太多,而DPP黨內初選機制也是各陣營同意的,豈有選輸就翻臉之理?

這段也很好笑,
但內行人都知道,所有的民調數據,最多只有「參考值」,而無「準確值」
如果他說的「參考值」是經過調查所得的「估計值」,「準確值」是實際的事件發生率,那麼執行民調所得的估計值就是用來估計事件發生機率,「估計值」和事件發生機率相比之下,不就會有「估計值」的準確度?(對不起,我認真了 XD)

接下來銀文就是站在執政者立場,批評遠見是庶民百姓不會看的小眾市場雜誌、沒有公信力,不能對每月公佈政府施政滿意度、不能對政府說三道四...這也滿傻 眼的,遠見的目標市場本來就不是「庶民百姓」(用引號表示個人不會用這種封建時代的辭彙),是「台灣知識份子與各界意見領袖」,每期發行8、9萬份,各種 專題都有機會成為報紙頭條,這樣難道不值得注意?

二、關於樣本數與抽樣誤差

銀文後面說的樣本數與抽樣誤差的關係,引自某篇文章,該文又是參考聯合報民調中心吳克昌2007年的報導,為了避免浪費大家生命,這邊也不引用了,請務必忘掉銀文所有內容,而吳克昌的概念也有不清之處。

對母體、樣本、抽樣與母體代表性有興趣者,推薦您先看在下之前的一篇小文 淺談:民調中的樣本代表性檢定與加權處理,先假定讀者您們接受,透過「嚴謹的抽樣設計所得的樣本可以代表母體」這個概念。而簡單隨機抽樣的抽樣誤差的計算方式,在95%信心水準下是 1.96 √[(p(1-p)*(N-n))/(n*(N-1))] ,當中p為某項調查數據的百分比,N為母體總數,n為樣本數目,一般所謂1068份有效樣本超樣誤差不超過正負3個百分點,就是依照這個公式得來的。

所以在95%信心水準下,當
N=300時抽樣誤差為5.7%,
N=400時抽樣誤差為5.0%,
N=800時抽樣誤差為3.5%,
N=1,068時抽樣誤差為3.0%,
N=2,000時抽樣誤差為2.2%,
N=4,000時抽樣誤差為1.5%
...
N=10,000時抽樣誤差為0.98%,
N=20,000時抽樣誤差為0.69%,

由此可知,樣本數多寡會決定抽樣誤差範圍,當樣本數超過1,068份以後,誤差範圍縮減的幅度就越來越小,但耗費的調查成本卻可能是等比增加的。換句話說從研究者/業主的角度而言,是先決定可以忍受的抽樣誤差範圍以及調查成本,再去決定某調查要抽取多少有效樣本,沒有所謂有水準的抽樣誤差就小於3%的說法。

而2007年的吳文完全忽略了在下前文所提不同母體無法比較的問題,對於抽樣誤差也有誤解,忽略了從點估計變成區間估計,抽樣誤差估計要用實際發生機率P去計算的問題,這點目前國內民調界只耳聞遠見雜誌戴立安曾經提到,香港大學民意中心主任鍾庭耀博士則有專文討論,例如若某人支持度為5%,就算樣本少到300個,某人5%支持度區間估計值其實是介於2.5%至7.5%之間,而非點估計的-0.7%至10.7%。

所以單從樣本數的角度來說,天下雜誌縣市排名調查的抽樣誤差,的確是要用個別縣市的樣本數去估計,因為根本就是次母體的概念,至於那些批評樣本過小、不準的政治性語言,就不評論了。

(待續)