立場新聞 Stand News

擺姿勢也許能增加你的自信,但是不能真正改變你(中):天外飛來 P-Curve 補刀

2017/4/1 — 9:51

圖:Amy Cuddy 書本封面

圖:Amy Cuddy 書本封面

編按:此系統文章將探討 Amy Cuddy 的心理學研究問題——要了解事件起因,可先閱上篇

在 U Penn 任教的 Uri Simonsohn 與同事長期開發能評估某種主題的研究論文,存在出版偏誤與人為逼出顯著結果 (p-hacking) 的方法。出版偏誤是只有統計結果顯著的實驗機會,會獲得較高的出版機會,或者才會被研究者被寫入論文。人為逼出顯著結果是對收集後的資料,在分析程序中進行各式“拷問手段”,直到獲得一般同意小於.05的p值為止。如果讀者不懂什麼是 p 值,可先看這篇文章簡單了解

Uri Simonsohn 在 2014 年發表的第一版 P-Curve,提出一種可實作的方法學:如果一系列研究的有效結果都是因為出版偏誤與人為逼出顯著結果,才能得到顯著的報告,必定有很高比例的 p 值是在 .05 到 .04 之間。只要把一系列研究的 p 值排成次數分配,就能用統計檢定方法,讓有嫌疑的研究結果現形。

廣告

由德國心理學家 Felix Schönbrodt 建置的互動式網站 shinyapps.org,已經納入最新版的 P-Curve 及經過驗證的資料。透過簡單的操作,讀者可以了解如何利用 P-Curve 判斷資料存在人為操作的程度。點開 p-checker 網頁之後,先點選中間的 p-Curve ,接著從網頁最左下角 Load demo data ,選取想要看到的 P-Curve 分析資料。我建議讀者先選擇 Non-hacked JPSP data ,看看沒有人為操作的研究結果 P-Curve 是什麼樣子。選取後網頁自動繪出下圖:

圖 1 / 沒有人為逼出顯著結果的 P-Curve (藍色線條)。

圖 1 / 沒有人為逼出顯著結果的 P-Curve (藍色線條)。

廣告

如果一系列研究結果是過度操作分析程序,而導致的結果,就會得到相反的曲線。從 Load demo data 選取 Elderly priming analysis ,就會看到下圖的 P-Curve:

圖 2 /有人為逼出顯著結果的 P-Curve (藍色線條)。

圖 2 /有人為逼出顯著結果的 P-Curve (藍色線條)。

那麼 Dana Carney 三人所列出的 33 篇實驗結果,繪製成 P-Curve 呈現什麼模樣?

讓 Dana Carney 認輸的 P-Curve

Uri Simonsohn 與同事在 2016 年 9 月正式公佈已被接受的最新論文,p-checker 網頁已經整合這份論文的資料,讀者只要從 Load demo data 選取 Power posing ,就會看到下圖:

圖 3 /分析 Dana Carney 三人列舉的 33 份研究,繪製權力姿勢效應 P-Curve (藍色線條)。

圖 3 /分析 Dana Carney 三人列舉的 33 份研究,繪製權力姿勢效應 P-Curve (藍色線條)。

這條 P-Curve 呈現扁平的 W ,正好介於前兩張圖之間的形態,表示這條 P-Curve 與虛無效應相差無幾。也就是說 2010 年的原始研究與後續研究所發現的權力姿勢效應,都是不存在的。這也是 Dana Carney 的公開信裡首先提及,放棄 2015 年回顧論文立場的關鍵

不過從好的方面來看,如果這條 P-Curve 類似圖 2,就可以懷疑參與這 33 篇研究的團隊有集體造假 (fabrication) 的嫌疑。新聞熱度絕對上昇好幾倍,也許我不必出手寫這篇文章,就有華文媒體記者主動報導。這也透露 P-Curve 的限制,如果是僅有一篇報告的研究,除非有高手深入查案,外人無法得知是否經得起檢驗。儘管如此,Amy Cuddy 仍認為擺姿勢有一定作用,下一章再談。

《擺姿勢也許能增加你的自信,但是不能真正改變你》系列:

原文刊於作者博客

發表意見