翻译：徐憬豪  审校：GraceGogh & Shangzhi |  UXRen翻译组 #312 译文

皮尤研究中心是一家致力于为政策制定者和公众提供关于重大社会问题事实资料的独立民调机构。因此，我们所发布的所有材料，例如报告，博客文章，交互式图表，甚至是推文，都要经过一个严格、被我们称之为“数据校验”的核实过程。

虽说是“数据校验”，但我们核查的远远不止是数字这么简单。除了核实文字以及图表中引用数字的真实性，我们也会扪心自问，比如：

• “我们真的做到准确且客观的描述数据吗？”
• “那些我们声明中提到的“大多数”，真的具备统计学上的显著性吗？”
• “我们是否留下了理解数据的‘秘钥’，比如调研背景的明确定义？”
• “我们的用语是否带有偏见和误导？”
• “读者能否有效理解？”
• …

基于给定报告（以及中心内特定小组发布报告的需求）中所使用数据的不同特性，数据校验过程会有细微差别，但所有校验过程都会严格执行。为了说明我们如何操作，下文中我会具体阐述如何对一份美国国内调研报告进行一步一步走查：

1. 了解数据

理想情况下，数据校验工作最好交给那些对项目（或主题）有一定熟悉度，但没有参与报告撰写或图表制作的人来做。这样可以有效减少校验者出现跟作者一样的错误，同时允许以全新视角审视数据。

首先，我会同作者（们）深入交谈，以便熟悉数据源，讨论他们所担忧的任何关于数据的敏感词汇和潜在陷阱，同时评估基础数据校验的需求。虽然我们的调查数据在分析之前都会被严格质检（主要是识别异常或编程错误），但作者创建的任何自定义表格或统计编程语法仍都需要被二次检验或复刻。这样是为了确保变量被准确编码，同时统计编程语法可以按预设执行。如果研究是基于二手资料（如来自美国人口调查局的数据），那么检查者得先确认下载的文件是否正确，然后审核或者复刻原作者的分析过程。

2. 检查每个单词和数字

一旦验证了基础数据源，我就可以深入了解报告或博客文章中的真实文字和图表。每个检查者都有自己的审核办法，而我一直都习惯在纸上审核，并用铅笔逐一划掉我确认无误后的每个单词和数字。改进建议和样式变化用蓝色笔标记，错误的数字用红色笔标记。最后，我会二次检查以确保终版中所有改动的正确无误，并用绿色笔核对每一处标注。这是一份经过数据检查后的博文样例：

当核实一份报告或博文的数据时，我通常先检查图表同时自问如下问题：

• 图表中呈现的每个数据是否正确？数据的取整是否正确？
• 基础数据在图表中是否被正确标注？
  举个例子，在折线图中被标注为50%的数据是否确实在图中呈现50%的量？被标注成38%的数据条是否长于30%的？程度？
  
  条形图中38%在这张图表中存在什么问题？
• 在一张图表中的所有不同组别（如：共和党人，民主党人，无党派人士）是否是基于足够多的样本量给出我们确信的预测结果？
  （我们通常默认的有效样本量是大概100或者更多）
• 图表的副标题是否准确描述其样本背景？图表的副标题和图表标签是否能清晰解释图表所传达的内容？
  如果图表是基于问卷调查，图表标签和副标题语言是否能体现问卷的问题？
• 图表中的标注和数据来源是否准确？是否有缺失的标注？
  举个例子，如果图表按照种族和民族（race and ethnicity）来分类，注释里要说清楚，图表里的白人、黑人只包含非拉美裔，拉美裔可以是任何种族。
• 主标题是否准确，并且与图表的主要结论相关？
• 图表是否可以脱离原文章单独拎出来解读？
  如果图表被单独分享到社交媒体上（不附带文章解释），那么图表是否包含帮助解读的所有关键信息，否则它将被曲解。

3. 核实论点和描述

接下来，我开始检查报告和博文的文字内容，包含方法，术语以及每一个附加的表格和附录。通常检查这其中大部分内容是配合参照我已经核实过的图表和表格。至于其余的部分，我更趋向于回去对照数据源来检查。有时，原作者会引用出自皮尤调研中心或是外部其他途径的调研报告。 在这种情况下，我会阅读很多引用文献来确保其内容和数据是被正确的总结和引用。至于引用的实时事件和历史因素的检查方法，我会通过对照可信的学术资源检查其日期，论点，姓名和其他基本信息。

数据校验最具挑战的部分之一是核实原作者的论点和数据描述的方式。我会用合适的统计检验来核查，例如，51%是统计学意义上的显著多数（但是在问卷调查中，51%并不是显著多数），相比男性来说，是否在政界高层工作的女性会更少（确实是的），或者来自墨西哥的非法移民数量长期下降是否是真的（是真的）。

基于概率的问卷预测是存在一定误差范围的，因此当两组数据的误差重叠时，我们无法断言两组变量之间是否存在显著性差异。通常情况下，仅仅上下相差2、3个百分点并不能满足这个条件。因此我们用词需要十分谨慎，每个词语的使用必须被严格检查其显著性意义。例如，“大多数“、“多数”、“少数”、“大多数”、“增长”、“减少”（之类的词语）。

当我们没有一个固定且快速（hard-and-fast）的制度规则时，数据校验者有时必须凭经验判断进行实践。例如，一组数据中显示54%的美国人同意一项政策，而46%的人不同意，这个可以解读为多数美国人同意吗？还是看法持平？在差异显著的情况下呢？这个得看大环境（背景情况），同时我们要尽力做到客观和中立。

数据校验者也需要密切关注其他类型的用语。当作者试图去丰富他们的措辞来提高文章的可读性时，需要衡量有创意性的措辞表达和忠于调研原文的正确表述之间的微妙区别。这里想引用一个2016年的关于警察民调作为例子：

你认为近几年非裔美国人在与警察冲突时的死亡情况是属于个案，还是反映了非裔美国人和警察之间存在更深层次的问题？

Do you think the deaths of African Americans during encounters with police in recent years are isolated incidents or signs of a broader problem between African Americans and the police?

这个问题表述很长，因此作者很自然地试图缩短这个问题的表述，这样可以避免在整个报告中大量的烦长重复。在之前的报告草稿中，一种修改方式“近期警察与黑人之间的致命冲突”。然而当我们的调研落地到具体区域时，在达拉斯发生了一名黑人持枪射杀了五名警察的凶案。想到这个凶案，让我觉得“近期警察与黑人之间的致命冲突”这一说法不够具体，也不能简要表达真实含义，因为它同时也可以指代这场达拉斯枪击案，但很明显并非原文所指。最终我们把原问题修改成“近几年非裔美国人在与警察冲突时的死亡情况”，并在每出参考文献中重新表述原始调查问题。

4.核实一致性

上述步骤都做完后，我会针对样式和一致性进行材料的二次查验。我已经在初始数据校验中完成了其中大部分工作（副本编辑器也会作为备份提供帮助），但是在该阶段我希望可以确保整个报告的样式统一，并符合内部样式规范。对图表的检查是重中之重。比如：

• 不同图表中表示同样内容的副标题和标签是否运用了一样的措辞？
• 在对立的条形图中，我们是否考虑把“反对”的数据总是放在左侧，并且把“赞成”的数据总是放在右侧？
• 我们是否使用了相同的配色方案来代表男性和女性？
• 文章中标注和引用来源的用语是否一致？
• 我们还要检查数据的小数点位是否一致。
• …

5. 同原作者（们）讨论内容迭代

数据校验完成后，我通常会把手写的建议转录成一份带批注的Word文档。这样做有助于我回顾所有评论并思考如何改进。然后，我把这份文档发给原作者（们），方便他们查看我的修改、二次确认我做的改动、回答出现的任何问题，以及决定采纳或拒绝我的修改建议和评论（如果拒绝的话，他们会提供解释），最后发给我一份新副本。然后我会打印出新副本，并对照新副本核实我所有修改的正确性。如果我认为很有必要的改动没有被落实的话，我会和作者一起讨论或是解释各自的理由来达成共识。

一份发给原作者的、包含数据校验评论的博客文章范例

5. 从研究到发布都持续跟进

数据校验并非到此就结束了！数据校验者会持续跟进，直到校验过的文章公开出版、发布才算完成。数据检验完成后，报告或博客文章会交给皮尤研究中心的排印编辑们，他们会自己浏览一遍文章内容以确保易读性，并确保所有样式符合设计规范。排印编辑过程结束后，数据校验者和原作者（们）会一起复查以确保没有数据（或特定短语或句子的含义）被意外改动。

一旦报告文章或博文被录入到我们公共的内容管理系统后，我会再次检查以确保没有段落被意外删掉、所有超链接的有效性以及所有图表被放置在文章中适当的位置上。有时我的同事们看了最终稿后会给原作者提反馈，这时候我会再次审阅每一处改动。最后，我会检查皮尤任何相关的材料，包括新闻稿、交互式内容和从我们的官方账号发出的推文，我们会重点检查推文，因为其高度精炼和可视化了我们的调研结论。

原文来源：https://medium.com/pew-research-center-decoded/how-we-check-numbers-and-facts-at-pew-research-center-129bab2fc1ba（Anna Brown，2019.08.15）
版权声明：该文章在UXRen公众号（cnUXRen）首发后方可转载，转载时请注明出处及译者、审校者信息，如有违背，UXRen社区保留侵权追责的权力。

8+