3.25.2011

幾種錯誤的教育統計解讀

過去觀察教育統計的難處在於,統計數據往往只掌握在幾個人的手中,以至於無法掌握事實的全貌。在現在資訊公開的情況下,要取得這些教育統計數據已不是問題,問題在於你是怎麼解讀它。在「一份資料,各自表述」的情況下,如果不去了解評論者看問題的角度,一不注意,常常就被這些「專家學者」給騙了。以下就提供幾種錯誤的教育統計解讀,給各位作參考。

廢話一句:看李家同評論國中基測

長期關心教育的李家同先生去年出版了一本書《李家同談教育──希望有人聽我的話》評論我國當前的教育問題。一位教育工作者對國家的教育發展有理想、有期許本來就是很正常的事,只是李家同先生在「教育統計」的運用、對升學考試制度的掌握上卻非常糟糕,以至於所提的論據與其所要表達的想法常有脫節的現象,以「國中基測」這段為例──

以民國97年的高中學測為例,共有31萬餘人應考,結果PR(百分等級)達99的人有3347人,但PR值10以下的有3多萬人(先挑個語病:「3多萬人」是啥鬼?),他們的分數大多是在20到30分之間………。

大家看出這段話的問題了嗎?事實上,這段話的意思就是說:31萬多名考生中,前1%的考生占了三千多人,後10%的考生也占了三萬多人。

其實這一點也不稀奇,我還可以告訴各位:前10%的考生和後10%的考生人數一定差不多!

事實上,如果李家同先生要評論國中基測的成績分布,由於每個PR值的分數間距不同,「後10%的考生基測總分二三十分是否合理」才是他應該探討的問題,可是他談來談去卻把焦點放在「代表百分比」的PR值。「抓錯重點」的結果,就是他只是在重複著一個大家已知的事實。

至於國中基測考生的成績分布是否合理?為了了解這個「李家同未能解答」的問題,我上網抓了96年第一次國中基測的數據,將不同PR值的人數(因為有同分的關係,所以不同PR值人數不盡相同)除以他們各自的分數間距,就可以得知不同PR值中,每多一分所增加的人數。人數越多,就代表該PR值的分數競爭愈激烈、愈有可能為了一分兩分斤斤計較。


從上面的統計圖我們可以看出,幾乎所有PR值的人數變動都是在一千人到一千五百人之間,也就是說,全體考生的成績分配其實是趨近於「平均分配」(Uniform Distribution)的狀態,而不是李家同先生所說的M型差距。

扣除掉前5%和後5%的數據,「剩下的90%」每變動一分所增減的人數都在千人以上,我們再重新做一份圖表來看──


假如將Y軸的底設定為0,所得到的結果跟保留「前後5%」數據所得結果大致上沒什麼兩樣。

換句話說,不管PR值分布在哪一個位置,每多一分(或少一分)所變動的人數都差不多,因此只要知道你的PR值是多少,你所對應的原始總分大概也就可以知道了,反之亦然。

所以為什麼PR值10以下的學生分數只有二三十分?廢話!國中基測312分,扣除掉由閱卷老師決定分數的作文12分,剩下的分數(300分)乘以考生的PR值,以最好的情況來論,也不過是300X10%,那你說這些考生的總分不是二三十分是什麼?

當然如果硬要將Y軸的最小值設定為1000人,你還是可以「強調」有「分數集中」、「M型分配」的現象存在,因為圖表上的確出現了M型的起伏。至於你採用哪種說法,那就是「各自解讀」的問題了。

雖然我們可以知道舊制基測考生的成績分布,但是我們並無法了解考生的答題情形。改制為新制基測之後,在單科每題配分相同的情況下,一般所公認的「考題中間偏易」情形馬上就可藉由成績反映出來。


看到近日家長團體大聲疾呼不要為了一兩分拼得你死我活,我只有一個感覺:題目如此,怎麼可能!

附帶一提,同樣的問題,在天下雜誌的〈我的大學不見了〉也有發生,各位可以回去看看我一年前發表的文章:「4000人損益兩平」?--評《天下》雜誌〈我的大學不見了〉

不當聯結:教育部的「免試入學」說

所謂「不當聯結」的特色就在於,它所引用的資料、數據都是真實的,但是數據本身並不能支持所提出的論述。而大多數人往往只注意數據的真實性,卻忽略了這些數據是否足以支持接下來的推論。教育部的「免試入學說」便是個很好的例子。

關於「高中職免試入學」,教育部的說法是:民國70年國中畢業生就學機會率為89.86%,自民國75年度起就已破百,至97學年度起達105.07%(70年至97年國中畢業生就學機會率詳下表),顯示高中職招生數已多於國中畢業生,因此,未來免試入學將是可行的政策。


首先,「高中職入學率百分百」能否推論到「免試入學是可行的政策」可是大有問題,因為雖然高中職錄取率破百,但各校錄取分數差距可是天壤之別。如果「少子化」、「高中職入學率百分百」可以作為「免試入學」、「十二年國教」的推行依據的話,既然現在「七分就可上大學」,何不大學也一併辦理,甚至乾脆就直接推動「十六年國教」?省得以後還要「再搞一次」,勞民傷財。

更何況,高中職錄取率破百也不是一年兩年的事,民國79年的107.75%、民國88年109.45的錄取率也都高於民國97年的105.7%。既然如此,「高中職免試入學」的政策為什麼二十年前沒想到、十年前沒想到,現在卻突然「想到了」?

不加解釋:Cheers雜誌的「理工科人力需求」表

相對於「不當聯結」,「不加解釋」則只是將找到的統計資訊攤開來,而沒有對統計資訊做進一步的整理、分析。

在Cheers雜誌《2007年最佳大學指南》書本的後面,根據相關數據,將理工科各產業畢業生人力需求的情形,做成「學士」、「碩士」兩組圖表,告訴我們:最搶手的科技學士是工業設計──


而最熱門的科技碩士則是電機資訊──


是的,《Cheers雜誌》花了時間蒐集這些資料,省去了我們查找這些資料的時間。但是我們要的只是這兩張圖表嗎?對於一個理工科系的學生、或是準備進入大學的高中生而言,除了這兩張圖表以外,他們更需要知道:

1. 理工科人力需求過剩或不足的影響因素,是跟產業有關,還是跟學歷(大學部還是研究所)有關?
2. 電機資訊大學部的人力資源嚴重過剩,研究所的人力資源卻嚴重不足,這個現象要怎麼解讀?

為了得到這些問題的答案,我將這兩張圖表疊合起來做一個綜合分析──


從疊合的結果我們可以知道,理工科系的人力需求情形,主要和產業相關,而不是受學歷的影響。大學部人力過剩的產業,同樣也反映在研究所的人力需求上,反之亦然。


此外,從電機資訊的人力需求情形大概可以判斷,由於電機資訊大學部人力供過於求,因此業界將求職門檻拉高到了研究所,因此才會出現大學部人離嚴重過剩,研究所人力嚴重不足的怪現象。然而,研究所的人力需求,仍然無法填補大學部的「超額」情形,因此將來電機資訊領域人力過剩的結果是可以預見的。

當然,若要評估某產業人力需求狀況對學生的衝擊,還需要將畢業生人數一併考慮在內,才知道有多少百分比的學生會受影響。

2011/03/28 聯合新聞網首頁|意見評論

4 則留言 :

  1. 等級:8
    留言|加入好友
    DATE: 03/26/2011 08:22:00 AM
    IP: 0.0.0.0
    EMAIL:
    URL:
    李家同教授的頭腦清楚得很,
    97年第一次國中基測各科答對題數與量尺分數對照表
    他要表達的是基測的量尺有問題?
    另外,成績好的前段和成績差的後段,他們的原始成績相差得太大了。
    .
    至於電機資訊的人力需求情形,隨便用肚臍眼想也知,現在零分都能上大學了,每個學校都有電機資訊系,很多大學部電機資訊系的學生在大賣場打收銀的時薪工,那您想期望這些電機資訊系的學生能有什麼水準?
    業界敢用嗎?
    .
    統計數字要比較相同的水準,不同水準的比較就要注意分佈的情形。




    版主回覆:(07/21/2011 01:37:48 PM)


    1.我很確定這是李家同先生的誤解(或者他根本沒有去了解國中基測的記分方式)。
    因為在統計上uniform distribution的涵義,就在於整體數值(隨機變數X)沒有任何差距(就純統計的觀點來看,這種分布是種連續型的狀態)。而國中基測由於記分方式的影響,基本上已經幾近uniform distribution的性質。
    換句話說,不管PR值分布在哪一個位置,每多一分(或少一分)所變動的人數都差不多,因此只要知道你的分數是多少分,你所對應的PR值大概也就可以知道了,反之亦然。
    所以你說為什麼PR值10以下的學生分數只有二三〸分?廢話!國中基測312分,扣除掉由閱卷老師決定分數的作文12分,剩下的成績乘以考生的PR值:300*0.1,不是二三〸分是什麼?
    2.你說的「爛學校」的問題,其他科系也都有啊!可是從人力需求結果不同來看,能把這些問題全部怪到「爛學校」身上嗎?

    回覆刪除
  2. 等級:8
    留言|加入好友
    DATE: 03/27/2011 07:45:00 AM
    IP: 0.0.0.0
    EMAIL:
    URL:
    BigMac 只看數字,並沒有看懂李家同教授的文章。
    文章中提及,數學及英文的平均值都不到30分,只有台北、台南、高雄的區域平均值高於全國平均值;也只有台北市的高分群多於低分群。
    BigMac 只看數字,並沒有看懂李家同教授的文章?
    李家同教授並不是講PR10以下有多少人,他說的是PR10以下這些低分群的人 程度低落而社會竟然視而不見。
    如果用統計的詞彙來說明的話,那就是標準差太大了。




    版主回覆:(07/21/2011 01:37:49 PM)


    1.所以我才說他「抓錯重點」嘛!
    既然你讀過這篇文章,就應該知道,他為了解釋「以民國97年的高中學測為例,共有31萬餘人應考,結果PR(百分等級)達99的人有3347人,但PR值10以下的有3多萬人,他們的分數大多是在20到30分之間」這段話,還特地放了一張一整頁的表格(這張表格就是節錄自「97年第1次基測各科答對題數與量尺分數對照表」)。
    可是如果他要說明「城鄉差距」的嚴重性,上述的文字跟表格根本不應該出現。相對的,國英數自社各科都會區與非都會區學生的成績表現差異,才是他真正應該花心思強調的地方。光是靠「數學及英文的平均值都不到30分,只有台北、台南、高雄的區域平均值高於全國平均值;也只有台北市的高分群多於低分群」這樣一句話根本不足以展現。
    如果我是他,「97年第一次國中基測六科量尺總分PR值及累積人數對照表」我會拿掉,取而代之的是表列各科的全國平均、都會區縣市平均與非都會區縣市平均。以他的能力與他的聲望地位,我就不相信他找不到這些資料。
    反觀像他現在這種論述方式,非但不足以強調他所要強調的重點,還會造成「反效果」:不單讓人懷疑他對國中基測記分的了解程度,更大的問題是「他到底知不知道他在說什麼」。
    2.喔對了,為什麼當初他會不惜花一整頁也要放上那張「97年第一次國中基測六科量尺總分PR值及累積人數對照表」呢?因為他當初那篇文章最原始的文字是這樣子:
    以民國97年的高中學測為例,共有31萬餘人應考,結果PR(百分等級)達99的人有3347人,但PR值10以下的有二〸多萬人,他們的分數大多是在20到30分之間………。
    顯然他也發覺這個錯誤實在是太大、太扯了(因為「二〸多萬人」根本是前90%的累計人數),所以到了不曉得二刷還是三刷的時候,才改成半通不通的「3多萬人」。
    可是不管是「3多萬人」還是「三萬多人」,事實就是:他(這段話)就是在重複一個大家已知的事實。
    3.既然分數是「平均分配」,根本不會有「標準差大小」的問題存在。

    回覆刪除
  3. 等級:8
    留言|加入好友
    DATE: 03/27/2011 09:34:00 AM
    IP: 0.0.0.0
    EMAIL:
    URL:
    97年基測PR10的量尺總分是45分,
    共有五科,因此平均每科得量尺9分。
    每科的考題都是選擇題四選一,因此讓猴子閉著眼睛畫答案,期望值也會對總題目數的四分之一。
    拿自然科總共58題來說,答對14題就是得到量尺9分。
    可是,答對14題還不足總題數的四分之一,也就是說,猴子或許都考得比台灣弱勢的後段班學生來得強?
    BigMac 能看得懂李家同教授所要強調的重點嗎?




    版主回覆:(07/21/2011 01:37:49 PM)


    1.以自然科來說,答對四分之一就是界於14到15題之間,所以雖不中亦不遠矣。
    2.你為什麼不順便看看其他科呢?數學是接近三分之一,國文英文社會則都超過了三分之一。
    3.可是按照量尺分數的計分方式,題目出的簡單,答對題數多也不見得能拿高分啊!

    回覆刪除
  4. 等級:5
    留言|加入好友
    DATE: 03/29/2011 06:08:00 AM
    IP: 0.0.0.0
    EMAIL:
    URL:
    李家同不笨, 但太容易對容易的事情顯露不屑, 老了之後就容易講一些不屑的話了.
    我最受不了的是, 他在幫助一票弱勢族群的時候, 老是強調英文. 其實, 別說弱勢族群了, 台灣起碼有一半的人可以根本不必懂英文, 照樣過正常的日子, 照樣對台灣有大貢獻. 全民真正該下功夫的是中文, 其次就是科學邏輯與分析能力, 不要聽到海嘯速度是600km/hr, 就以為海水會以高鐵兩倍的速度衝過來. 如此, 才能了解該瞭解的事情, 不會許下"給子孫一個沒有電磁波沒有輻射的環境"這種過於偉大的願望.
    至於基測, 不論批評者如何懂統計或懂教育, 有一件事情是假不了的: 家長都想小孩考高分, 學校都想招收高分的學生. 哈哈, 當事人都意見一致了, 我們路人甲乙丙管啥標準差什麼均勻分佈? 題目是人出的, 量尺是人訂的, 要常態要M型要V型U型有什麼困難?  

    回覆刪除