给机器立一把阅读理解的尺子：SQuAD 数据集的规模、指标与十年回响
SQuAD（Stanford Question Answering Dataset，斯坦福问答数据集）由斯坦福大学的研究者在 2016 年发布，任务形式朴素到一句话能讲完：给模型一段维基百科文字和一个问题，答案必须是原文中的一个片段[2]。正是这种「朴素」，让它成了衡量机器阅读理解能力的公共标尺——官方榜单至今仍挂在 SQuAD Explorer 页面上，任何模型都能提交成绩、接受全世界的检验[1]。
这把尺子是怎么造出来的
理解 SQuAD 的关键在于它的两条设计约束。其一，众包标注：标注者阅读维基百科段落后自行提问，再由其他标注者验证答案，保证问题的多样性与自然度。其二，答案必须是段落中的连续文字片段（span）——这条约束看似保守，实则聪明：它让自动评分成为可能，模型答完直接和标准片段比对字符串即可判分，不需要人工介入[2]。发布时超过十万条的规模也远超早期同类数据集——此前的阅读理解任务多为「完形填空」式的句子挖空，SQuAD 用真正由人提出的自然问题抬高了难度，也让「阅读理解」第一次拥有了可以公平较量的竞技场。
F1 与 EM：两个数字各管一件事
看 SQuAD 榜单必然撞见两个指标，它们衡量的是不同性质的错误：
EM · Exact Match（精确匹配）
预测答案必须与标准答案逐字一致才得满分，多一个字、少一个字、标点不同都算错。它回答的问题是：「模型有没有一次答对？」最严格，也最容易归零。
F1 · 词元重合度
把预测与标准答案都切成词元，计算两者之间的精确率与召回率的调和平均，容忍部分正确。它回答的是：「模型的回答离正确有多远？」能区分「差一点」和「完全跑偏」。
从刷榜到超越人类：一份时间线
论文随 EMNLP 2016 发表，SQuAD Explorer 榜单同步上线，全球模型在同一份数据上公开比武，NLP 社区迎来第一个现象级问答基准[2]。
专用注意力架构竞赛期：BiDAF 等阅读理解模型轮番刷新纪录，「针对榜单设计结构」成为当年主流研究范式。
SQuAD 2.0 发布：在原有可回答问题之外加入五万余条「文中根本没有答案」的问题，逼模型学会说「我不知道」，更贴近真实使用场景[3]。
预训练语言模型接管榜单：BERT 及其后继者把成绩推至人类参考水平附近——官方口径中人类表现的 F1 约为 91.2，这一数字此后被反复引用为分水岭[1]。
单一抽取式问答趋于饱和，社区把火力转向多跳推理、对话式问答、跨语言与开放域基准，但 SQuAD 定下的「数据＋指标＋公开榜」范式被完整继承了下来。
历史意义：为什么一个数据集值得被记住
SQuAD 最深远的影响不在数据本身，而在它示范了一套基础设施如何加速整个领域：统一的数据让论文之间有了可比性，自动化的双指标让评测成本趋近于零，公开排行榜则把「谁更强」变成了随时可查的事实而非各说各话的营销。后来的 GLUE、SuperGLUE 等基准在方法论上都是它的同门。当然，刷榜文化也带来了副作用——研究者一度过度针对榜单调参，引发关于过拟合与「基准饱和」的长期讨论，这恰恰说明标尺的影响力之大。对今天的从业者而言，它更像阅读理解领域的「普通话等级考试」：难度已不再是前沿，却仍是检验基本功最方便的起点。
后继者们：SQuAD 之后的基准演进清单
| 数据集 | 出处与年份 | 与 SQuAD 的关键差异 |
|---|---|---|
| TriviaQA | 华盛顿大学，2017 | 问题源自趣味竞猜，证据文档更多且分散，答案不保证集中在单一段落 |
| MS MARCO | 微软，2016 | 问题来自真实搜索引擎查询，面向工业级检索与生成式问答 |
| HotpotQA | 2018 | 需要跨两篇以上文档做多跳推理，单段抽取不再够用[5] |
| CoQA | 2018 | 对话式问答，后续提问依赖上下文，考察连续理解与指代消解 |
| Natural Questions | 谷歌，2019 | 真实搜索请求配整页维基文档，区分长答案与短答案两种粒度[7] |
| MS MARCO 之外的检索系基准 | 多家，持续演进 | 把问答与段落检索、网页排序合并考察，例如 MS MARCO 官方持续维护的任务族[6] |
今天还需要 SQuAD 吗？
主榜单接近饱和是事实，但这不等于退役。入门教学用它讲清「阅读理解」任务的定义与评测；工程团队把它当作模型回归测试的固定考题；论文里它依旧是常见的基线数据集；中文社区也有 CMRC 等同类数据集承接了同样的角色。更重要的是，任何一个想理解大模型评测体系的人都绕不开它——F1、EM 这套语言，以及「用公开基准说话」的习惯，都是从这里开始成为行业共识的。具体最新榜单成绩以官方页面为准[1]。
常见问题
SQuAD 数据集是什么？
斯坦福发布的机器阅读理解数据集：给定一段维基百科文本和一个问题，要求模型从原文中抽出答案片段，1.1 版收录逾十万条问答。
EM 和 F1 指标有什么区别？
EM 要求预测与标准答案逐字相同才算对；F1 按词元重合度打分，允许部分正确。两者结合才能分辨「接近正确」与「方向性错误」。
SQuAD 1.1 和 2.0 有什么不同？
2.0 在可回答问题之外新增大量只提问不给答案的样本，模型必须先判断「文中是否有答案」，更贴近真实应用。
为什么说 SQuAD 改变了 NLP 研究？
它提供了统一的训练评测数据和公开排行榜，让全球模型在同一标尺上比较，直接加速了注意力网络与预训练模型的迭代。
现在还有人用 SQuAD 吗？
主榜单已趋饱和，但它仍广泛用于教学入门、算法回归测试与论文基线，是阅读理解方向的经典「普通话考试」。
中文有类似 SQuAD 的数据集吗？
有，CMRC 等中文机器阅读理解数据集采用了类似的片段抽取设定，可在相关开源社区获取，具体规模以各自发布页为准。
参考资料
- 来源：SQuAD Explorer（官方排行榜） —— 各版本榜单与人类参考水平的一手数据
- 来源：arXiv:1606.05250《SQuAD: 100,000+ Questions for Machine Comprehension of Text》 —— 数据集原始论文
- 来源：arXiv:1806.03822《Know What You Don't Know: Unanswerable Questions for SQuAD》 —— SQuAD 2.0 论文
- 来源：Stanford NLP Group —— 出品团队官方网站
- 来源：HotpotQA 官方网站 —— 多跳推理基准的官方说明
- 来源：Microsoft MS MARCO —— 工业级机器阅读理解与检索数据集
- 来源：Natural Questions（Google AI） —— 基于真实搜索查询的问答数据集