2021年10月18日 星期一

調查一定要有隨機樣本嗎?

  上篇文章《無法隨機抽樣我怎麼辦?》提到,因為客觀上的困難,我們往往無法真正做到隨機抽樣。其實,如果研究的優先目的並非推論母體的情況──例如估計全台灣民眾對蔡政府的施政滿意度給幾分,或全校有多少比例的學生有運動習慣──就不一定要隨機抽樣,也不必擔心無法隨機抽樣怎麼辦。以下分是不必隨機抽樣的三種情況。

  情況一:如果你要進行的是實驗而非調查 實驗優先講求的是內在效度(internal validity),不是外在效度(external validity)。換言之,我們最關心的是實驗裡看到的效果是如何產生,其次才是關心這效果是否也會發生在(實驗以外)的其他人身上。所以,實驗只需做到隨機分派(random assignment),不必隨機抽樣(random sampling)。前者是將參與者隨機安排到各實驗組別中,後者是從母體裡隨機抽出參與者。有時我們為了提高實驗的內在效度,甚至會刻意選擇同質性高的樣本,例如只以男性大學生作受試者(Highhouse & Gillespie, 2009)。當然,如果可以做到隨機抽樣就更好,如此可以兼顧內在與外在效度。

  情況二:如果你想利用調查來驗證一個理論或模式 這時你主要關心的是,理論(或模式)所描述的變項間關係是否確實存在──至少在樣本裡存在,其次才是這理論是否在不同的群體裡都存在。Highhouse and Gillespie (2009)便提出「適足性」(adequacy)的論點,認為:凡理論所涵蓋的群體皆適合作為樣本。所以,如果一個理論是放諸四海而皆準的,那麼無論找大學生、軍人或國中教師當樣本,結論都一樣,因此不必要求隨機樣本。[1]

  情況三:如果你研究的母體並非一般社會大眾,而是特定的次母體(subpopulation),並且這次母體缺乏抽樣架構(sampling frame[2] 例如,如你想調查電子香菸的使用者或網路騷擾受害人(cyberharassment victims),便難以從一般社會大眾中進行隨機抽樣,因為能抽中這些人的機率不高,甚至很低。這時,你必須設法從其他管道接觸及取得這些人的合作參與。許多針對這些特定族群,且已發表在頂尖期刊上的研究,都是以非機率的線上調查蒐集資料的(Lehdonvirta, Oksanen, Räsänen, & Blank, 2020)。在發表時,那些作者都明白非機率調查在推論上的限制,因此他們都只在文章中檢視樣本的特性,而不對有關的次母體做正式的推論。這做法的背後想法是,這些線上調查或多或少可以增進我們對該次母體的瞭解,所以仍有其價值。

  要評估這想法是否合理,得先認識這些線上調查的方法。這些調查通常採用川流抽樣(river sampling)或固定來源抽樣(panel sampling)。前者是指在一些目標母體可能出現的網站、網路社群、討論區等張貼訊息,請有意參與調查者點選一個連結填答問卷。這訊息和連結就如一個釣鉤,願者上釣,而這抽樣方法就像在河裡釣魚一般,因此Lehdonvirta等人稱之為川流抽樣。至於固定來源抽樣,它原本是指從一個從母體裡選出一群人之後,就固定找這些人接受多次的調查,因此稱為「固定樣本抽樣」。但在網路時代,許多公司會從一般社會大眾裡招募受訪者,從中篩選、組合成一個人口結構與該地區的人口結構相近的樣本人力庫,然後將這些人的資料賣給願意付費的研究者。研究者會從這些人裡抽樣,得到最後的樣本,所以每個研究者得到的樣本只是從同一群人裡取得的樣本,而非完全相同的樣本。也因此,這時候panel sampling譯為「固定來源抽樣」較妥。[3]

  相較於固定來源樣本,川流樣本的代表性多了兩個疑慮:主題的自我選擇(topical self-selection)和促發(priming,或譯誘發)。[4] 前者指的是,對該次調查主題有興趣或較常關注的人,比其他人更會自願報名參與調查。例如,對蔡英文「論文門」事件較關注的人比較願意參與此主題的調查,這可能會讓調查結果高估了社會大眾對這事件的認識程度。不過,這問題不算嚴重,因為即使對一般大眾進行隨機抽樣,那些不關心這主題的人也可能拒訪。至於促發,它是指當研究者選擇張貼徵求受訪者廣告時,張貼的地點與內容會否勾起了參與者對有關事件的回憶或想像。例如,受訪者是在偶然閱讀一則有關網路霸凌的新聞時,看到附在下方的徵求受訪者廣告,而這新聞可能勾起他們對自身受霸凌經驗的回憶、記憶重組和重新解釋,使他們在填答時回報了比實際還高的受霸凌次數。

  促發這問題有多嚴重,會影響樣本對有關次母體的代表性嗎?Lehdonvirta等人的研究顯示,川流樣本的心理特性和非線上受騷擾(offline harassment)經驗與固定來源樣本的並無明顯差別。如此看來,川流樣本的促發問題並不嚴重。

  總之,我對研究生的忠告是:如果你要進行抽樣調查,那麼請先依你的研究目的,確認是否有隨機抽樣的必要;若真有必要,則要評估有無辦法做到真正的隨機抽樣。如果要推論的母體不大而你又有把握受邀調查者的配合度甚高(例如母體是你大學裡的全體學生,或你任教的國中裡的全體學生),那麼你不妨努力做到隨機抽樣。但如果你的母體是一般社會大眾,那你可能要退而求其次,只能儘量抽取具有一定程度代表性的樣本,而非強求隨機抽樣。當然,如此你在討論調查結果時就必須格外謹慎,避免過度的推論。


參考書目

Highhouse, S., & Gillespie, J. Z. (2009). Do samples really matter that much? In C. E. Lance, & R. J. Vandenberg (Eds.), Statistical and methodological myths and urban legends: Doctrine, verity and fable in organizational and social sciences (pp. 247-265). New York: Routledge.

Lehdonvirta, V., Oksanen, A., Räsänen, P., & Blank, G. (2020). Social media, web, and panel surveys: Using non‐probability samples in social and policy research. Policy & Internet, 134-155. doi: 10.1002/poi3.238


[1] 適足性這論點原則上雖正確,但實務上會遇到干擾變項(extraneous variables)和調整變項(moderating variables)的問題。日後有機會再談。

[2] Sampling frame也譯作「清冊」,它是記載著母體裡所有人和其聯絡資料的名單。

[3] Lehdonvirta et al. (2020) 的文章附有英文摘要,其中將river samplingpanel sampling分別譯為隨機抽樣和面板抽樣。前者翻譯錯誤,因為river sampling根本不是隨機抽樣,而後者也不妥(雖然台灣和中國大陸都有如此譯法),因為翻譯必須看脈絡,panel在此和面板一點關係都沒有。像研討會裡常見的panel discussion,一般都譯為「小組討論」,便很貼切。

[4] 固定來源樣本和川流樣本也有一個共同的疑慮,就是會不會受訪者都是那些比較需要錢、想多賺點錢或比較清閒的人。在此先不討論。

2021年10月1日 星期五

無法隨機抽樣我怎麼辦?

  社會科學的研究者常常需要做抽樣調查。調查如要得出足以可靠地推論到母體的結果,調查的樣本必須有代表性。理想上,研究者應利用隨機取樣或近似隨機的方法取樣,以取得具代表性,反應和母體接近的樣本。

  隨機取樣的一個基本條件,是母體裡每個單位(通常是人,也可能是家庭、公司等其他單位)被抽到的機率均相同。有時礙於一些困難,我們無法做到真正的隨機取樣,只能用近似隨機的方法獲得有代表性的樣本。例如,如果要在一所有一萬名學生的大學裡對學生進行抽樣調查,我們可以依據完整的學生名冊,從這一萬人裡隨機抽出N個人來訪問。這是隨機抽樣。但如果我們只是在校內學生經常出入的幾個路口,連續幾天從路過的學生裡隨機抽出共N個人來訪問,那得到的頂多是以近似隨機方法獲得的,有代表性的樣本,而非真正的隨機樣本──因為並非每個學生那幾天一定會經過那幾個路口,所以每個學生被抽到的機率並不完全相同。

  嚴格來說,只要不是完全以隨機程序取得的樣本,就是非機率樣本(non-probability sample)──無論樣本是否具代表性。要判斷非機率樣本的代表性,首先可看抽樣的程序。例如,如果你採用上述多路口、多天的抽樣,你的樣本「大概」會有不錯的代表性。但如果你只用一個白天的時間在學校的大門進行抽樣,那樣本肯定沒代表性(至少很難令人相信那有代表性),因為許多學生都不會在那時間、那地點進出校園。其次,可以用統計方法檢驗樣本的代表性;通常的做法是比較樣本與母體在一些人口變項的分布上是否「夠接近」。例如,樣本裡的男女比例、年齡分布是否和母體裡的相近。

  如果抽樣真是「完全」隨機的,並且樣本夠大(例如七八百人以上),大概不必擔心它的代表性。而且,隨機樣本(或稱機率樣本)除了具有代表性以外,它還可以讓我們依據統計原理計算抽樣誤差,也就是從樣本得出的統計數字(例如樣本裡有運動習慣者的百分比)和母體裡數字(母體裡有運動習慣者的百分比)之間的差距。至於前述的非機率樣本,無論它們有多大的代表性,我們都無法估算抽樣誤差。

  但抽樣真的可以做到完全隨機嗎?很難。抽樣的過程必須是自始至終都是隨機的,才是完全隨機。即使研究者有足夠的線索與資源,從母體裡隨機抽人訪問,但也要人們願意受訪才成。如果只有極少的人拒訪或聯絡不到,樣本的隨機性大概沒有問題;但如果有高達25%的人拒訪或聯絡不到,樣本便很可能有偏差,不是隨機的。例如,生活忙碌的人既難找到時間運動,也不願意花時間受訪,這會使一個看似隨機的調查高估有運動習慣者的比例。

  你或許會覺得上述的想像情境過於誇張。你可能會這樣想:「25%?怎麼可能,只要我好好做,拒訪率一定會遠低於25%。」讓我們來看一下現實吧。十年前(200210月),聯合報進行了一項有關退休規畫的調查,拒訪率是25%。今年(2021年)6月,TVBS針對民眾對蔡英文的滿意度進行調查,拒訪率是21%;今年7月,TVBS針對民眾對高端疫苗的信心做調查,拒訪率是25%20139月,聯合報針對民眾有關兩岸互動的態度進行調查,拒訪率更高達40%。那其他媒體或民調機構的調查又如何呢?答案是「無可奉告」,因為他們都乾脆不提拒訪人數或拒訪率了。甚至是聯合報,最近都似乎不提了。如果你是一個研究生,你相信自己的研究資源會比這些媒體和機構更多更好,可以有更低的拒訪率嗎?

  所以,別怕你無法隨機抽樣,因為你並不孤單。我從來只要求學生盡其所能取得具代表性的樣本,[1] 不要求他們做到隨機抽樣。如果研究生做的調查研究一定要隨機抽樣,恐怕許多學生無法畢業。事實上,放眼台灣社會科學領域的博碩士論文,也沒有多少篇是真正做到隨機抽樣的。


[1] 例如採用配額抽樣( quota sampling)而非便利抽樣(convenience sampling)。

反對同性性行為就是反科學?

  《天主教教理》說「同性戀的行為顯示嚴重的腐敗,聖傳常聲明『同性戀的行為是本質的錯亂』,是違反自然律的行為,排除生命的賜予,不是來自一種感情上及性方面的真正互補。在任何情形下同性戀行為是不許可的。」(教理 2357 條) [1] 這說法常受到支持同性戀者駁斥,其中包括從生物學...