【逻辑】一个重要的统计悖论_风闻

两个多月前，我在留言栏（参见《我的新冠经验》，第40楼）讨论了培养推理能力的几个步骤：首先必须熟悉逻辑叙述（Logical Statement）的基本规则，然后可以研究常见的狡辩术，再进一步则要瞭解常被用来欺矇外行人的假专业论述，例如统计。之前，我已经写过《常见的狡辩术》和《统计与谎言》两篇博文来介绍若干相关的细节，今天我想对后者做一个补充。

《统计与谎言》一文所讨论的是有意用统计数字来撒谎的一些事例，但其实统计本身就蕴含许多陷阱，即使是诚实的研究人员也往往陷入错误的结论而不自知，其中很重要的一个误区叫做Simpson’s Paradox（辛普森悖论）。这是选择性偏差的一个特例；其他常见的选择性偏差还包括倖存者偏差和Berkson’s Paradox

辛普森悖论最著名的案例来自一篇1975年发表在《Science》的论文（参见《Sex Bias in Graduate Admissions》，http://homepage.stat.uiowa.edu/~mbognar/1030/Bickel-Berkeley.pdf ），文章对UC Berkeley在1973学年研究所招生的数据做了统计，发现男生的录取率是3738/8442=44.3%，而女生则是1494/4321=34.6%。如果这个结果就这样被媒体报导，几乎可以确定校方会被严厉批评為性别歧视的男性沙文主义者，然而…

论文作者把录取人数根据不同的系所细分开来。因为系所太多，这里我们只检验其中最大的四个，这时男生的录取率是1123/2127=52.8%，女生是439/1101=39.9%，差距更大了！不过请看更详细的资料：

四个系所中，只有C略偏男生，而且差别很小，A、B和D都优先录取女生，其中A对女性的偏爱程度极高，明显不是统计噪音。

之所以会有这样互相矛盾的两种结论，在於决定录取率的最重要变数其实是系所：A和B的整体录取率是2/3，而C和D只有1/3。如果忽略这个主要变数，硬是把所有的数据迭加在一起，那么真正影响男女录取率差别的，就是他们的系所选择偏好，而不是性别本身。

总结来説，辛普森悖论是主变数被忽略不计，直接将全部数据对次要变数做统计分析时，可能出现的是非颠倒。这似乎是个很简单的道理，然而这个世界充满了因为对这个悖论无知而產生的错误结论，对政治、文化、经济都有深远的影响。

例如自由市场论者喜欢强调自由竞争，说这会让能者出头获胜。但在自由市场经济里，能力并不是成功的头号条件，资源和机运才是决定性的。像是Trump有何德何能，能在公平竞争下脱颖而出？他靠的是有钱可以雇人帮他考SAT、有钱可以请人帮他写介绍信、有钱可以让医生伪造骨刺证明来逃避兵役、有钱可以收买地方政客、运气好碰上民粹兴起等等。

把人与人的竞争放大到国与国的层面，辛普森悖论也同样被欧美宣传体系利用来扭曲事实。国家的治理成果，其实主要取决於是否有足够的人力、财力、物力、科技能力，以及将这些能力有效统筹运用的组织纪律。这些先进国家习惯了自身应对挑战有充分资源（主要来自上代的掠夺）的优势（包括能高薪养廉），反过来宣传説他们的成功源自西式民主体制的优越性。这次新冠疫情是很无情的打脸；英美或许没有自我反思的能力，但是广大的第三世界自然会得到客观的结论。

美国为了弥补蓄奴和种族歧视的歷史包袱，广汎采纳了Affirmative Action（平权措施），也是利用辛普森悖论来為错误政策正名。学生的成绩，其主要变数是天分和努力，忽略这些因素不计，直接针对种族这个次要变数来做文章，自然就导致更严重的歧视，只不过受害者换成了亚裔。

正因为要做统计性的结论必须小心避免许多类似辛普森悖论的陷阱，医学界坚持大规模随机双盲对照实验其实是最基本的要求；这里事先独立决定的随机取样，就是为了避免造成各种选择性偏差，包括辛普森悖论在内。中医教的信徒遇到盲肠炎或外伤时，并不优先去看中医，只有在现代科学的能力极限外，才敢大肆吹嘘没有统计意义的軼事，这不但是不知避免选择性偏差，而且是故意製造选择性偏差，那么颠倒是非自然难免，事实上颠倒是非正是他们的目的。