PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）；Bilibili Inc.（哔哩哔哩公司）；China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（中国电信人工智能技术（北京）有限公司）；Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（中国电信人工智能技术（北京）有限公司星辰AGI实验室）
本研究针对Text-to-SQL系统默认信任查询前提的问题，提出PremiseSQL基准与评估框架，发现强化批判提示可提升缺陷查询的检测与弃权（不执行）能力，但会增加误判并抑制原始查询的SQL生成。
2026-10-16 cs.CL
FuncEvalGMN: Evaluating Functional Correctness of SQL via Graph Matching Network
ByteDance Inc.（字节跳动公司）
提出基于图匹配网络的SQL功能正确性评估方法，利用关系运算符树和GNN预测，并贡献数据集Pair-Aug-Spider以克服传统指标局限。
2024-07-09 cs.AI cs.DB
PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出 PARROT 跨系统 SQL 翻译基准，通过多规模变体与 22 种生产级数据库系统评估 LLM 的 SQL 方言理解能力，并公开代码与排行榜。
2025-09-27 cs.AI cs.CL cs.DB
Taming SQL Complexity: LLM-Based Equivalence Evaluation for Text-to-SQL
Microsoft Copilot Studio AI（微软Copilot工作室）；Zoom Communications（Zoom通讯）；University of Pennsylvania（宾夕法尼亚大学）
针对Text-to-SQL系统中生成SQL的语义等价性评估难题，该研究探索用大语言模型评估语义及弱语义等价性，分析SQL等价模式并讨论相关评估挑战。
2025-06-11 cs.CL
LLM-SQL-Solver: Can LLMs Determine SQL Equivalence?
UC Santa Barbara（圣巴巴拉大学）
本文研究利用大语言模型判断SQL查询等价性，提出Miniature & Mull和Explain & Compare两种提示技术，分别用于语义等价和宽松等价评估，实验表明LLM是有前景的SQL等价性判定与生成质量评估工具。
2025-03-12 cs.CL cs.DB
AskDB: An LLM Agent for Natural Language Interaction with Relational Databases
IT Operations, Mantu Group（Mantu集团信息技术部）；Faculty of Engineering, Vietnamese-German University（越南-德国大学工程学院）；Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与工程系）
AskDB是一种基于大型语言模型的代理，通过自然语言实现对关系数据库的数据分析和管理操作，提供统一且智能的交互体验。
2025-11-20 cs.AI cs.DB
CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics
BITS Pilani, Pilani Campus, India（印度比拉理工学院皮拉尼校区）；KIIT Bhubaneswar, India（印度KIIT布巴内斯瓦尔）
本文提出CricBench，一个评估LLM在板球数据分析中SQL生成能力的多语言基准，包含四种板球格式数据，涵盖四种语言，评估七种模型，发现模型在不同格式上的表现差异显著，且存在语法正确性与语义正确性之间的差距。
2026-04-11 cs.AI cs.CL
Evaluating LLMs in Database Scenarios: A Lifecycle Benchmark for Assessing Their Potential in Core Database Tasks
East China Normal University（华东师范大学）；Hasso Plattner Institute/University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
研究针对现有LLM数据库评估基准仅聚焦Text-to-SQL任务的缺陷，推出覆盖数据库全生命周期的DBLifeBench基准，还提出Progressive-Text2SQL任务，发现专用Text-to-SQL模型在非编码阶段存在灾难性遗忘，为全栈数据库智能构建奠定基础。
2026-08-05 cs.AI cs.CL cs.DB
ETM: Modern Insights into Perspective on Text-to-SQL Evaluation in the Age of Large Language Models
Emory University（埃默里大学）
针对现有Text-to-SQL评估指标EXE和ESM存在的性能表征偏差问题，提出结合句法与语义的增强树匹配指标ETM，可大幅降低假阳/假阴性率，且已开源。
2025-06-16 cs.CL
Confidence Estimation for Text-to-SQL in Large Language Models
针对大语言模型Text-to-SQL无真实答案时的查询可靠性评估问题，探索黑盒（一致性方法）与白盒（SQL语法感知方法）置信度估计策略，结合执行接地信号提升效果，在跨域基准验证了方法优势。
2025-08-08 cs.CL cs.DB
Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT -- A Text-to-SQL Parsing Comparison
Institute for Infocomm Research (IR), A*STAR（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）；Nanyang Technology University（南洋理工大学）
本研究系统比较六种大型语言模型在文本到SQL解析任务上的表现，发现开源模型性能显著落后于闭源模型，需进一步工作弥合差距。
2023-10-16 cs.AI cs.CL
Spider 2.0-AIFunc: Extending Real-World Text-to-SQL to AI-Native SQL Workflows
UC San Diego（加州大学圣地亚哥分校）；Snowflake AI Research（Snowflake人工智能研究院）；University of Hong Kong（香港大学）
研究针对现有文本到SQL基准无法评估模型生成人工智能原生SQL能力的问题，构建Spider 2.0-AIFunc基准，经特定管道和多轮验证，评估十个先进语言模型，发现准确率差距及传统代理框架转移无效等情况。
2026-07-08 cs.AI cs.CL cs.DB
A Demonstration of SQLyzr: A Platform for Fine-Grained Text-to-SQL Evaluation and Analysis
University of Waterloo（滑铁卢大学）
本文介绍SQLyzr平台，通过细粒度评估和分析改进文本到SQL模型，提供多种指标和真实场景下的评估方法。
2026-04-28 cs.AI cs.DB
EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge
HKUST (GZ)（香港科技大学（广州））；Alibaba Group（阿里巴巴集团）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））
提出EntSQL基准，通过包含1066个跨五个业务领域的中英文对齐示例，评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力，最佳系统仅达15.9%准确率。
2026-07-15 cs.CL
Toward Auditable Neuro-Symbolic Reasoning in Pathology: SQL as an Explicit Trace of Evidence
Capital Normal University, Beijing, China（首都师范大学）；Leibniz-Institut für Analytische Wissenschaften-ISAS, Dortmund, Germany（莱比锡分析科学研究所-ISAS）；Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳校区）
本文提出一种基于SQL的神经符号推理框架，通过可执行的SQL轨迹实现病理分析的可审计性和可解释性。
2026-01-05 cs.AI q-bio.QM
Closing the Cross-Dialect Gap: Query Plans as a Portable Interface in Text-to-SQL
IBM Research（IBM研究）；ETH Zurich（苏黎世联邦理工学院）
针对文本到SQL跨方言性能下降问题，提出以方言无关的关系代数查询计划为生成目标，经编译器转换，在十三个模型上恢复可移植性，并引入MetricName公平评估，证明计划监督优于SQL监督。
2026-09-29 cs.CL
SpotIt+: Verification-based Text-to-SQL Evaluation with Database Constraints
Amherst College（阿默斯特学院）；Simon Fraser University（西蒙弗雷泽大学）；VMware Research by Broadcom（Broadcom VMware 研究）
SpotIt+通过有界等价验证评估文本到SQL系统，结合规则和LLM方法挖掘约束，提升数据库差异识别能力。
2026-05-11 cs.AI cs.DB cs.LO
Replacing Training with Memory: Listwise Selection for Text-to-SQL
Seoul National University（首尔大学）；KAIST（韩国科学技术院）；IPAI（IPA研究所）
提出无需微调的列表式选择器MaP-SQL，以记忆替代微调目标，在Text-to-SQL基准上较R^3-SQL提升执行准确率且减少令牌数，实现更稳定高效的选择。
2026-09-02 cs.AI cs.CL cs.SE
Reinforcing Code Generation: Improving Text-to-SQL with Execution-Based Learning
University of Utah（犹他大学）
本文提出将文本到SQL生成建模为强化学习问题，利用数据库执行反馈作为奖励，在GRPO框架下仅用问答对弱监督微调，使SQL生成准确率从31.49%提升至49.83%，错误率从25.43%降至14.71%，接近SQLCoder-70B性能。
2025-06-06 cs.CL
ProcArena: A Multi-Scenario Benchmark for LLMs on Direct and Interactive PL/SQL Development from Natural Language
Tsinghua University（清华大学）；Lenovo Group Limited（联想集团有限公司）
本文提出ProcArena，一个覆盖直接与交互模式、含3998个可执行任务的多场景PL/SQL开发基准，评估七种大语言模型，结果显示最佳平均得分仅62.2%和57.8%，表明该任务仍具挑战性。
2026-09-09 cs.AI cs.CL cs.DB
A Survey of Text-to-SQL in the Era of LLMs: Where are we, and where are we going?
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
本文综述了大语言模型时代下文本到SQL技术的发展现状、核心方法及未来挑战。
2026-08-25 cs.AI cs.DB
IndicDBBench - Benchmarking Multilingual Text-to-SQL Capabilities in Indian Languages
National Data and Analytics Platform（国家数据与分析平台）；India Data Portal（印度数据门户）；NDAP（国家数据与分析平台）；ICRISAT（国际作物研究所）；IHDS（印度家庭与育儿调查）
IndicDB是一个多语言文本到SQL基准测试，用于评估跨语言语义解析能力，包含20个数据库和237张表，通过迭代三代理框架生成15617个任务，揭示了印度语言在SQL解析中的性能差距。
2026-11-03 cs.AI cs.CL cs.DB
StatBot.Swiss: Bilingual Open Data Exploration in Natural Language
Swiss Data Science Center（瑞士数据科学中心）；Federal Statistical Office（联邦统计办公室）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本文发布首个英德双语Text-to-SQL基准StatBot.Swiss，包含455个自然语言/SQL配对和35个数据库，并评估GPT-3.5-Turbo等LLMs，发现其在双语SQL生成上泛化能力不足。
2024-06-06 cs.CL
Both Ends Count! Just How Good are LLM Agents at "Text-to-Big SQL"?
RWTH Aachen University（亚琛工业大学）
本文提出评估『文本到大数据SQL』的新指标，揭示传统文本到SQL指标在处理大规模数据时的不足，展示LLM代理在执行效率、成本及数据规模影响方面的表现。
2026-04-13 cs.CL cs.DB cs.IR
Ask, Relax, or Act? Evaluating Actionable Indeterminacy in LLM Preference Reasoning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Beijing University of Posts and Telecommunications（北京邮电大学）；Halmstad University College（哈尔姆斯塔德大学学院）；Tongji University（同济大学）；University of Waterloo（滑铁卢大学）
本研究形式化LLM偏好推理中的可操作不确定性，构建基于求解器的基准测试，发现模型常在不必要时干预，且明确响应要求能显著提升完全正确响应，强调可靠智能体需仅在必要时行动。
2026-10-05 cs.AI cs.CL
The Stochastic Shift: A New Evaluation Paradigm for Text-to-SQL with AI Operators
Google（谷歌）
本文提出一种多层评估框架，将确定性数据库逻辑与灵活AI语义解耦，分别验证关系逻辑与AI操作，以解决Text-to-SQL中AI操作符非确定性输出的评估难题，在BigQuery和ThalamusDB上实现高达97.2%的整体准确率。
2026-09-21 cs.AI cs.DB
Role-Conditioned Refusals: Evaluating Access Control Reasoning in Large Language Models
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Louisiana State University（路易斯安那州立大学）；Cisco Research（思科研究）
本研究针对大型语言模型在访问控制中的角色边界模糊问题，提出并评估了三种方法（提示、两步验证、微调），发现显式验证提升拒绝精度，微调平衡安全与效用，并发布增强数据集与代码。
2025-10-09 cs.CL
Cross-Examiner: Evaluating Consistency of Large Language Model-Generated Explanations
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文提出Cross-Examiner方法，结合符号信息提取与语言模型生成后续问题，以评估大语言模型解释的一致性，生成的问题质量更高且更多样化。
2025-03-11 cs.AI cs.CL
Exploring Database Normalization Effects on SQL Generation
CyberAgent
该研究首次系统探究数据库规范化对NL2SQL的影响，通过多数据集评估8个大模型，发现非规范化模式适配简单检索查询，规范化模式在聚合查询上表现更优，少样本可缓解其带来的挑战，为NL2SQL的模式设计提供参考。
2025-10-02 cs.CL
FLEX: Expert-level False-Less EXecution Metric for Reliable Text-to-SQL Benchmark
Yanolja（야놀자（Yanolja））；Ajou University（明知大学）
本文提出基于 LLM 模拟专家判断的 FLEX 指标，以解决 EX 在 Text-to-SQL 评估中的假阳性和假阴性问题，并显著提升人类一致性及基准排名可靠性。
2024-10-28 cs.CL cs.IR cs.LG
Can Language Models Analyze Data? Evaluating Large Language Models for Question Answering over Datasets
School of Production Engineering and Management, Technical University of Crete（生产工程与管理学院，希腊克里特技术大学）；Institute of Computer Science, Foundation for Research and Technology - Hellas（计算机科学研究所，希腊基础研究与技术研究院）
本文评估了大型语言模型在数据集上回答问题的能力，通过两种场景测试其性能，并探讨不同提示策略的影响。
2026-05-11 cs.AI cs.CL
From SQL Errors to Concept Gaps: An AI-Powered Knowledge Graph Analytics Platform for Personalized Feedback
该研究提出一款AI驱动知识图谱平台，可关联SQL错误与课程概念缺口，经评估其概念提取有效性达95.7%，三元组正确率达63.8%，能为SQL学习提供个性化诊断反馈。
2026-08-05 cs.CL
SING-SQL: A Synthetic Data Generation Framework for In-Domain Text-to-SQL Translation
Bilkent University（比尔肯特大学）
本文提出 SING-SQL 全自动合成数据框架，通过子模式划分、多级 SQL 生成与质量校验提升单库 Text-to-SQL，微调模型在 BIRD 上取得同规模开源最优。
2025-09-30 cs.AI cs.DB
Did You Ask a Good Question? A Cross-Domain Question Intention Classification Benchmark for Text-to-SQL
Emory University（埃默里大学）；Beihang University（北京航空航天大学）；Ohio State University（俄亥俄州立大学）；Yale University（耶鲁大学）；University of Waterloo（滑铁卢大学）；Penn State University（宾夕法尼亚州立大学）
神经模型在文本到SQL任务上取得了显著的成果，其中大多数当前的工作假设所有输入问题都是合法的，并为任何输入生成SQL查询。然而，在实际场景中，用户可以输入任何可能无法通过SQL查询回答的文本。在这项工作中，我们提出了TriageSQL，第一个跨域的文本到SQL问题的意图分类基准，需要模型来区分四种类型的无法回答的问题从可回答的问题。基线RoBERTa模型在测试集上获得了60%的F1分数，表明需要进一步改进这项任务。我们的数据集可以在https://github.com/chatc/TriageSQL上找到。
2020-10-23 cs.CL
What Would You Ask When You First Saw $a^2+b^2=c^2$? Evaluating LLM on Curiosity-Driven Questioning
Stevens Institute of Technology（斯蒂文斯理工学院）
本文提出一个评估大语言模型知识获取潜力的框架，通过让模型对科学陈述提问并评分，发现小模型Phi-2在好奇心驱动提问上不逊于甚至优于大模型，挑战了规模决定论。
2025-07-07 cs.AI cs.CL cs.LG
Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）
该研究构建MT-InfoSeek评估套件，从提问内容、时机及信息影响三方面评估LLMs的多轮信息获取能力，发现其存在低估信息需求等缺陷，且该能力未被现有评估覆盖。
2026-08-18 cs.AI cs.CL cs.LG
SciTrek: Evaluating and Improving Long-Context Numerical Reasoning over Scientific Articles
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）
SciTrek基准测试通过长上下文科学文章问题探索LLM的数值推理能力，发现即使最佳模型在长上下文下也面临显著挑战，尤其在处理引用和复合逻辑问题时表现不佳。
2026-07-24 cs.AI
PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming
Oracle AI, Turing Enterprise Inc（Oracle AI 图灵企业公司）
本研究提出首个过程式数据库编程基准PLSQLBench，含2865个任务实例，经8个LLM实验发现其在多方面存在困难，工具增强智能体性能有提升但仍有差距，凸显了传统基准未覆盖的能力。
2026-08-18 cs.CL
What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study
研究哪些信号能预测文本到SQL的正确性，黑盒信号AUROC在0.61到0.68之间，基于验证的评判器分数更高，集成可达0.82 AUROC。还探讨验证器训练，微调后的验证器在分布内表现较好，但跨模式泛化能力不足。
2026-07-09 cs.AI cs.LG
Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping
Stanford University（斯坦福大学）；Georgia Tech（佐治亚理工学院）
Sketch2Code基准评估视觉语言模型将粗略草图转换为网页原型的能力，发现现有模型表现有限，且用户更偏好智能体主动提问而非被动接收反馈。
2024-10-21 cs.AI cs.CL
PlanarBench: Evaluating LLM Spatial Reasoning via Planar Graph Drawing
tvori.info
提出PlanarBench基准，通过让LLM根据边列表以ASCII艺术绘制平面图来评估其空间推理能力，发现边数是主要难度预测因子。
2026-09-02 cs.AI cs.CL
Trace Integrity for LLM Data Agents: Auditing Structured-Data Computation Beyond Answer Accuracy in Real-World Systems
WAI USA Research Labs（WAI美国研究实验室）
本文针对LLM数据智能体提出追踪完整性标准，结合执行契约实现，通过CAIT率实验表明需同时评估答案准确率与可审计计算，为现实系统的LLM数据智能体提供评估方案。
2026-10-27 cs.AI cs.CL
Remember, Verify, or Ask? Evaluating Memory Decisions at Reuse Time
Southern Methodist University（南卫理公会大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本研究通过MCB数据集评估LLM智能体的记忆承诺，发现模型验证事实变化更可靠，策略提示可降低错误持久率，少样本提示能提升部分任务准确率，但澄清召回率仍较低。
2026-10-14 cs.CL
ScienceBenchmark: A Complex Real-World Benchmark for Evaluating Natural Language to SQL Systems
Zurich University of Applied Sciences（苏黎世应用科学大学）；Athena Research Center（雅典娜研究中心）
本文提出ScienceBenchmark，一个基于三个真实世界领域特定科学数据库的复杂NL-to-SQL基准，结合专家标注与GPT-3合成数据，揭示现有顶尖系统在复杂真实场景下性能显著下降的挑战。
2023-12-05 cs.AI cs.CL cs.DB
Ask Language Model to Clean Your Noisy Translation Data
University of Amsterdam（阿姆斯特丹大学）；Huawei Amsterdam Research Center（华为阿姆斯特丹研究中心）
针对MTNT数据集目标句含噪影响NMT模型鲁棒性评估的问题，利用LLM清洗噪声生成C-MTNT数据集，实验证明其能有效评估模型鲁棒性并验证了LLM的数据清洗潜力。
2023-10-24 cs.AI cs.CL
MT-Teql: Evaluating and Augmenting Consistency of Text-to-SQL Models with Metamorphic Testing
Hong Kong University of Science and Technology（香港科技大学）
Text-to-SQL是从人类话语生成SQL查询的任务。然而，由于自然语言的变异性，两个语义等价的话语在词汇层面上可能会出现不同的表现。同样，用户偏好（例如，范式的选择）在表达概念上相同的模式时可能导致表结构的显著变化。设想文本到SQL模型的一般困难，以保持预测的一致性对语言和模式的变化，我们提出了MT-Teql，一个基于变形测试的框架，系统地评估和增强的一致性TEXT到SQL模型。受软件变形测试原理的启发，MT-Teql提供了一个与模型无关的框架，该框架实现了一组全面的变形关系（MR），以进行对话语和模式的语义保持转换。当原始输入和转换后的输入导致不同的SQL查询时，可能会暴露模型不一致性。此外，我们利用转换后的输入来重新训练模型，以进一步提高模型的鲁棒性。我们的实验表明，我们的框架暴露了SOTA模型的数千个预测错误，并按数量级丰富了现有数据集，消除了超过40%的不一致性错误，而不影响标准准确性。
2020-12-21 cs.CL cs.SE
RelationalFactQA: A Benchmark for Evaluating Tabular Fact Retrieval from Large Language Models
University of Basilicata（巴西利卡塔大学）；EURECOM
本文提出RelationalFactQA基准，用于评估LLMs从参数化知识生成结构化表格输出的能力，发现现有模型在关系型事实检索上准确率低于25%且随输出维度增加而下降。
2025-05-27 cs.AI cs.CL cs.DB
Evaluating Autoformalization Robustness via Semantically Similar Paraphrasing
Department of Computer Science and Engineering, The Pennsylvania State University（宾夕法尼亚州立大学计算机科学与工程系）
本文通过语义相似改写生成自然语言变体，评估大语言模型在自动形式化中生成形式证明的鲁棒性，发现自然语言表述的微小变化会显著影响模型输出。
2026-06-03 cs.CL cs.LO
Evaluating the Data Model Robustness of Text-to-SQL Systems Based on Real User Queries
Zurich University of Applied Sciences（苏黎世应用科技大学）
针对文本转SQL系统在真实场景中对不同数据模型鲁棒性研究的缺失，本文基于FootballDB真实部署数据评估其性能，量化多因素影响并提出新基准，填补了该领域空白。
2024-11-29 cs.AI cs.CL cs.DB
Evaluating Cross-Domain Text-to-SQL Models and Benchmarks
University of Alberta（阿尔伯塔大学）
本文通过人工评估和等价改写重新评估跨领域文本到SQL基准及顶尖模型，发现完美性能不可行、模型真实性能被低估，且GPT4模型在Spider上超越黄金标准参考查询，强调独立评估的重要性。
2023-10-27 cs.CL cs.DB cs.LG
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究提出ReqClarifyBench基准，评估LLM在仓库级软件开发中通过交互将模糊用户意图转化为明确需求的能力，发现澄清效果与文档质量无必然关联，编码智能体工具未提升需求文档质量。
2026-10-12 cs.AI cs.SE
You Shouldn't Have Asked: A Pragmatics-Inspired Taxonomy for Evaluating LLM Refusals
Stony Brook University（石溪大学）；University of Virginia（弗吉尼亚大学）
该研究提出首个基于语用学理论的LLM拒绝分类法，通过分析16个LLM在14类有害请求下的拒绝回复，发现其拒绝的特点及存在的问题，呼吁开展兼顾情境适应性与社会问责的对齐评估。
2026-09-01 cs.CL cs.HC
Possible Stories: Evaluating Situated Commonsense Reasoning under Multiple Possible Scenarios
Tokyo Metropolitan University（东京都立大学）；Yahoo Japan Corporation（雅虎日本公司）；National Institute of Informatics（国立信息学研究所）
同一背景下可能产生的后果可能因我们所指的情况而异。然而，目前自然语言处理的研究并没有集中在多个可能的场景下的情境常识推理。本研究通过提出多个问题来构建这个任务，这些问题具有相同的可能结局作为候选答案，给定一个短篇小说文本。我们得到的数据集，可能的故事，包括超过4.5K的问题超过1.3K的故事文本的英语。我们发现，即使是目前强大的预训练语言模型也很难始终如一地回答这些问题，这表明在无监督环境中的最高准确率（60.2%）远远落后于人类的准确率（92.5%）。通过与现有数据集的比较，我们观察到我们数据集中的问题在答案选项中包含最小的注释工件。此外，我们的数据集包括需要反事实推理的例子，以及那些需要读者的反应和虚构的信息，这表明我们的数据集可以作为一个具有挑战性的测试平台，为未来的研究现场常识推理。
2022-09-16 cs.AI cs.CL
MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems
IBM Research（IBM研究院）
本文提出人工构建的多轮RAG基准MTRAG，覆盖四领域842个任务，并结合合成数据与LLM-as-a-Judge评估，揭示先进系统在复杂多轮场景中的不足。
2025-01-07 cs.AI cs.CL
