数据质量日益恶化 而我们可能比任何时候都更需要这些数字——《华尔街日报》

随机拨打家庭电话进行问卷调查的做法正逐渐被淘汰，因为在人们不再接听电话的时代，这种做法必然难以为继。图片来源：Victor J. Blue/Bloomberg News当我们关注数据时，通常是想客观了解某些事物是在变好还是变糟——就业市场、通货膨胀、健康状况、国民情绪等等。

过去两年的大部分时间里，我一直在撰写这个专栏，深入剖析新闻中的数字——它们的来源、使用方式以及被滥用的情形。我得出了一个令人不安的结论：这些数据本身（特别是我们通过问卷调查来衡量这类问题的能力）正在恶化，而我们并不总能妥善运用这些数字。

我们面临的核心问题是，太多数据建立在人们不再回应的问卷调查之上。以人口普查局和劳工统计局的《当前人口调查》为例，这份支撑月度就业报告的调查质量很高，但其回应率已从十年前的90%降至今年的71%。

几乎所有其他主要调查情况更糟。白宫行政管理和预算局曾提出标准，要求调查回应率应高于80%。如今，几乎没有调查能达到这个标准。

在政府机构之外，统计学入门课程中教授的那种随机拨打家庭电话进行调查的做法正逐渐被淘汰——在这个人们不再接听陌生来电的时代，这种淘汰是必然的。

考虑民意调查。根据皮尤研究中心的统计，2000年时，超过90%的全国性民调依赖随机电话访问。直到2014年，仍有微弱多数采用这种方式。而到了2022年，仅有不到9%（69家机构中仅6家）坚持传统方法，皮尤研究发现。

如今，民调数据主要来自招募固定受访者群体并反复询问。许多执行机构非常严谨，他们会通过加权调整使样本反映整体人口特征，力求结果接近随机调查的效果。

媒体和统计学家仍会例行公事地报道这些调查的"误差范围"。但该指标仅反映抽样误差——即特定规模随机样本与总体的可能偏差。

其他类型的误差可能更严重。如果拒访者与受访者存在系统性差异呢？最终我们得到的数据其实比过去更模糊。我接触过研究这些问题的美国统计学家都是聪明正直的人，这里不存在阴谋，只是我们自欺欺人地相信数据质量仍如往昔。

有人辩称：“但现在有前所未有的海量数据，大数据、机器学习、人工智能……”

前景令人振奋。替代数据源，比如卫星数据，为我们提供了观察不可靠经济体真实状况的工具。独裁者可以轻易伪造GDP数据，却难以掩盖工厂排放的污染量。

但值得信赖的替代数据提供商都不会声称能复制政府机构提供的全部数据。在可预见的未来，这些数据只是补充而非替代。

数据面临的另一大挑战是如何使用。当前疫情时代的影响仍挥之不去，使得问题更加复杂。

这造就了一个可以随意选择数据对比起点、得出任何理想结果的环境。

如果有人因物价远高于2019年而愤怒，而另一个人为最近12个月涨幅放缓而欣慰呢？两者可能都是对的。数据能展示变化，但无法说明哪个时间段最具代表性。

经济衰退后常出现类似现象——指标明显改善但人们尚未察觉。但近年生活方式的剧变远比普通衰退更离奇深刻，难怪许多人仍感到无所适从。

我并不乐观地认为2024年会出现各方合力提升数据质量或更诚实使用数据的局面。

我们正步入一场充满分歧的选举。候选人唯一达成的共识是——这次选举至关重要，甚至关乎存亡。对许多政客、评论员乃至选民而言，一切行动都必须服务于选举结果。

人们渴望正义的确定性。他们不愿听到数据是复杂的，不愿承认我们需要比以往更审慎地检视数据，更不想面对修复数据所需的大量工作。

就个人而言，随着2024年的开始，我将暂时离开这个专栏。尽管我对数据现状的担忧相当严重，但并非因绝望而放弃写作。这次中断的原因令人欣喜：为照顾刚出生的女儿而休育儿假。对我而言，这也提醒着——生命中最重要的东西（比如与孩子相处的完整时光、婴儿的依偎、第一次爬行、第一口食物和学步等）本就是无法用数字衡量的。

联系作者乔什·祖姆布伦请致信 [email protected]

本文发表于2023年12月30日印刷版，标题为《数据及其应用仍未改善》。