Beyond SELECT: A Comprehensive Taxonomy-Guided Benchmark for Real-World Text-to-SQL Translation
ByteDance, China(字节跳动)
本文提出了一种基于分类的文本到SQL数据集生成方法,通过引入新的分类体系和数据合成管道,生成了更具多样性和覆盖性的SQL-Synth数据集,同时揭示了现有LLMs在复杂场景下的性能局限性。
2025-11-24 cs.AI cs.CL
Memory Architectures for Multi-Turn Text-to-SQL: A Benchmark and Empirical Study
LLM Suite Engineering Team, JP Morgan Chase & Co.(JP摩根大通公司LLM套件工程团队)
针对多轮Text-to-SQL任务,提出EnterpriseMem-Bench基准并评估五种前沿模型,发现无状态方法在第三轮后执行准确率归零,且记忆架构复杂度并不单调提升准确率。
2026-05-25 cs.CL
Finding the Right Tables and Columns: A Benchmark and Corpus-Adaptive Embeddings for SQL Schema Retrieval
研究SQL模式检索问题,提出语料库自适应微调方法,通过合成查询、挖掘负样本及对比微调嵌入器,提升了检索性能,使模型成为十亿参数下最强检索器,确立模式链接为独立任务及语料库适应为实用部署途径。
2026-07-16 cs.CL
Rethinking Text-to-SQL: Dynamic Multi-turn SQL Interaction for Real-world Database Exploration
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Tsinghua University(清华大学)
针对现有Text-to-SQL系统无法适配真实场景多轮动态交互的问题,本文构建自动化生成的DySQL-Bench评测基准与多轮交互评估框架,实验证明该基准难度较高,现有顶尖模型表现仍有较大提升空间。
2025-11-13 cs.CL cs.DB
Dialect2SQL: A Novel Text-to-SQL Dataset for Arabic Dialects with a Focus on Moroccan Darija
Mohammed VI Polytechnic University(摩洛哥穆莱·易卜拉欣 polytechnic 大学);King Fahd University of Petroleum and Minerals(国王 Fahd 石油和矿产业大学)
针对现有Text-to-SQL数据集主要覆盖高资源语言的问题,本文推出首个聚焦摩洛哥达里贾语的阿拉伯方言大规模跨领域Dialect2SQL数据集,填补了相关低资源语言研究资源空白。
2025-01-20 cs.AI cs.CL cs.DB
MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation
Dunamu(다나무(Dunamu))
针对大语言模型在复杂文本到SQL任务上性能不足的问题,提出MCS-SQL方法,通过多提示优化模式、生成候选SQL并经LLM多选筛选,在BIRD和Spider基准上准确率超越现有ICL方法且在BIRD上达新SOTA。
2024-05-13 cs.CL
BenchPress: A Human-in-the-Loop Annotation System for Rapid Text-to-SQL Benchmark Curation
TU Munich(慕尼黑技术大学);MIT(麻省理工学院);Intel Labs(英特尔实验室);AWS AI Labs(亚马逊AI实验室)
BenchPress通过人机协作系统加速特定领域文本到SQL基准的创建,结合LLM生成与人类验证提升标注准确性与基准可靠性。
2026-01-31 cs.AI cs.CL cs.DB
CA-SQL: Complexity-Aware Inference Time Reasoning for Text-to-SQL via Exploration and Compute Budget Allocation
Brandeis University(布雷纳大学)
CA-SQL通过动态扩展探索广度和自定义提示种子方法,提升文本到SQL任务在Bird-Bench基准中的表现,达到51.72%的挑战性问题得分。
2026-05-08 cs.AI cs.CL
SQLForge: Synthesizing Reliable and Diverse Data to Enhance Text-to-SQL Reasoning in LLMs
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
SQLForge通过SQL语法约束、反向翻译、模板扩充和迭代式数据域探索合成可靠且多样的训练数据,微调得到的SQLForge-LM在Spider和BIRD基准上取得开源模型最优性能,显著缩小了与闭源模型的差距。
2025-05-19 cs.CL
SERL-SQL: Selective Hindsight Distillation for Text-to-SQL Reinforcement Agentic Learning
该研究针对现有Text-to-SQL强化学习方法奖励指导不足的问题,提出SERL-SQL框架,通过教师模型重评分与掩码权重优化GRPO优势,在BIRD、Spider等基准上取得优异执行准确率,其奖励选择策略表现优于一致性选择。
2026-10-09 cs.CL
Dubo-SQL: Diverse Retrieval-Augmented Generation and Fine Tuning for Text-to-SQL
Mercator Technologies(墨卡托科技)
Dubo-SQL通过低成本微调、多样化RAG及新输入输出格式,在BIRD-SQL上以GPT-3.5 Turbo超越GPT-4模型,并推出v2进一步提升性能。
2024-04-19 cs.CL cs.DB
Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs
The University of Hong Kong(香港大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Laboratory(上海人工智能实验室)
提出BIRD基准,含12,751对数据、95个数据库,覆盖37领域,强调数据库值理解,ChatGPT执行准确率仅40.08%,远低于人类92.96%,揭示挑战。
2023-11-15 cs.CL
E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL
Bilkent University(毕尔肯大学)
本文提出E-SQL流水线,通过直接模式链接和候选谓词增强,将数据库项及条件直接纳入自然语言问题以弥合查询与数据库结构的差距,在BIRD基准上取得66.29%的执行准确率。
2025-01-28 cs.CL
Bridging the Gap: Transforming Natural Language Questions into SQL Queries via Abstract Query Pattern and Contextual Schema Markup
Zhipu AI(智谱AI);Tsinghua University(清华大学)
针对Text-to-SQL任务中复杂问题存在的结构与词汇映射差距,本文提出基于大语言模型的PAS-SQL流水线,通过抽象查询模式和上下文模式标记缓解差距,在Spider、BIRD数据集上取得领先性能。
2025-02-20 cs.CL
MDB-Link: Hierarchical Schema Linking for Multi-Database Text-to-SQL
University of Manchester(曼彻斯特大学);Faculty of Science and Engineering(科学与工程学院)
本文针对多数据库Text-to-SQL场景提出分层模式链接框架MDB-Link,结合LLM实现数据库定位与列选择,在多个数据集上性能及运行速度均优于基线方法,可高效支撑SQL生成。
2026-08-11 cs.CL
DB-Explore: Automated Database Exploration and Instruction Synthesis for Text-to-SQL
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院)
针对现有text-to-SQL系统缺乏全面数据库理解的问题,提出DB-Explore框架,通过数据库图构建、知识挖掘与指令合成实现LLM与数据库知识对齐,在SPIDER、BIRD基准上取得优异表现,基于Qwen2.5-Coder-7B的开源实现以低成本达SOTA。
2025-05-21 cs.CL
ReEx-SQL: Reasoning with Execution-Aware Reinforcement Learning for Text-to-SQL
Soochow University(苏州大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济发展实验室);South China University of Technology(华南理工大学);University of Chinese Academy of Sciences(中国科学院大学);Alibaba DAMO Academy(阿里巴巴达摩院);International Digital Economy Academy (IDEA), China(国际数字经济学院(IDEA),中国)
针对现有Text-to-SQL方法未将执行反馈融入生成过程的问题,提出ReEx-SQL框架,通过执行感知推理、复合奖励与树状解码提升准确率与鲁棒性,在多个基准上取得优于基线的表现并提升推理效率。
2025-05-20 cs.CL
SDAM: Structure-Difference-Aware Memory Evolution for Complex Text-to-SQL
Harbin Institute of Technology(哈尔滨工业大学)
针对现有文本转SQL记忆设计的缺陷,提出SDAM方法,集成至SDAM-SQL框架,在BIRD-dev和Spider-test数据集上实现指标提升,验证了方法有效性。
2026-08-14 cs.CL
Agentar-Scale-SQL: Advancing Text-to-SQL through Orchestrated Test-Time Scaling
Ant Digital Technologies, Ant Group(蚂蚁集团数字技术部);Soochow University(苏州大学);Zhejiang University(浙江大学)
Agentar-Scale-SQL通过协调的测试时扩展策略,结合内部扩展、顺序扩展和并行扩展,提升文本到SQL的性能,在BIRD基准上达到81.67%的准确率。
2025-12-10 cs.CL cs.DB
RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL
针对现有Text-to-SQL方法难适配大型数据库、忽视数据库预处理的问题,提出基于检索的RB-SQL框架,通过检索精简模式与针对性示例优化提示工程,在BIRD、Spider数据集上性能优于主流基线。
2024-07-12 cs.CL
JOLT-SQL: Joint Loss Tuning of Text-to-SQL with Confusion-aware Noisy Schema Sampling
Zhengzhou University(郑州大学);Zhengzhou University of Aeronautics(郑州航空工业管理大学);Wuhan University(武汉大学)
针对Text-to-SQL任务中SFT方法的复杂多阶段流程及噪声模式鲁棒性差问题,提出单阶段SFT框架JOLT-SQL,通过统一损失联合优化模式链接与SQL生成,结合混淆感知噪声模式采样策略,在基准测试中实现最优执行准确率并提升效率。
2025-09-23 cs.CL
XiYan-SQL: A Novel Multi-Generator Framework For Text-to-SQL
Alibaba Cloud Computing Co., Ltd.(阿里云计算有限公司)
本文提出XiYan-SQL框架,通过多生成器 ensemble 方法生成高质量SQL查询,并结合schema过滤和选择模型提升性能,实现在BIRD和Spider数据集上均取得SOTA结果。
2026-04-06 cs.CL
SALUS: Automated Auditing of NL-to-SQL Benchmarks through Weak Supervision of Multi-Agent Output
University of California, Irvine(加州大学欧文分校);Cornell University(康奈尔大学)
SALUS利用多智能体弱监督自动审计NL-to-SQL基准中的标注错误,在BIRD-Clean-xs上达到F1=0.9194,并估计BIRD和Spider的错误率分别约为37%和27%。
2026-10-06 cs.CL cs.DB cs.LG
MAG-SQL: Multi-Agent Generative Approach with Soft Schema Linking and Iterative Sub-SQL Refinement for Text-to-SQL
South China University of Technology(华南理工大学);Tsinghua University(清华大学)
针对复杂数据库模式与问题下文本到SQL性能不足及中间步骤缺乏监督的问题,提出MAG-SQL多智能体生成方法,采用软模式链接与迭代子SQL细化,在BIRD上以GPT-4实现61.08%执行准确率,超越基线。
2024-11-07 cs.AI cs.CL
Iteration Without Elaboration: A Simple ReAct Architecture Suffices for Text-to-SQL Generation
Duke University(杜克大学)
该研究针对现有文本转SQL系统复杂且延迟高的问题,提出简单的ReAct-SQL框架,在两个数据集上达到高准确率且运行速度提升8倍,验证了其有效性。
2026-08-25 cs.CL
Multi-Turn Interactions for Text-to-SQL with Large Language Models
Peking University(北京大学);Zuoyebang Education Technology Co., Ltd.(佐元邦教育科技有限公司)
针对现有大语言模型文本转SQL方法处理宽表效率低、交互设计通用性不足等问题,提出Interactive-T2S多轮交互框架,在Spider、BIRD等数据集上取得了最优性能。
2025-11-13 cs.AI cs.CL
ModularSQL: A Runtime Guardrail for the Multiplicity Blind Spot in Text-to-SQL
University of Southern California(南加州大学);Northeastern University(东北大学)
针对文本到SQL系统在基准评估中忽略多重性错误的问题,提出ModularSQL运行时防护栏,通过Multiset-EX评估暴露盲点,并利用确定性补丁和低成本LLM救援,以微小开销提升执行安全性。
2026-09-25 cs.CL
SQLFixAgent: Towards Semantic-Accurate Text-to-SQL Parsing via Consistency-Enhanced Multi-Agent Collaboration
School of Computer Science & Technology, Soochow University(苏州大学计算机科学与技术学院);School of Information, Renmin University of China(中国人民大学信息学院);International College (Suzhou Research Institute), Renmin University of China(中国人民大学国际学院(苏州研究院));iFLYTEK Research (Suzhou)(科大讯飞研究院(苏州))
针对Text-to-SQL解析中LLM生成SQL语义准确率不足的问题,提出含三类智能体的SQLFixAgent协作框架,通过错误检测、候选生成与优选修复提升性能,在多基准上有效增效且token效率更优。
2025-05-18 cs.CL
EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge
HKUST (GZ)(香港科技大学(广州));Alibaba Group(阿里巴巴集团);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室(深圳))
提出EntSQL基准,通过包含1066个跨五个业务领域的中英文对齐示例,评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力,最佳系统仅达15.9%准确率。
2026-07-15 cs.CL
ACE-SQL: Adaptive Co-Optimization via Empirical Credit Assignment for Text-to-SQL
Harbin Engineering University(哈尔滨工程大学);Harbin Institute of Technology(哈尔滨工业大学);Beijing University of Posts and Telecommunications(北京邮电大学)
提出ACE-SQL强化学习框架,通过在线列集池和经验信用分配联合优化模式检索与SQL生成,在BIRD Dev上达到65.3%的贪心执行准确率。
2026-06-04 cs.CL
CSC-SQL: Corrective Self-Consistency in Text-to-SQL via Reinforcement Learning
Wuhan University of Technology(武汉理工大学);University of Science and Technology of China(中国科学技术大学)
针对文本到SQL中Self-Consistency和Self-Correction的局限,提出CSC-SQL方法,结合两者优势并利用GRPO强化学习微调生成与修订模型,在BIRD测试集上取得高准确率。
2025-06-30 cs.CL
LitE-SQL: A Lightweight and Efficient Text-to-SQL Framework with Vector-based Schema Linking and Execution-Guided Self-Correction
Yonsei University(延世大学)
LitE-SQL通过轻量高效的框架和基于向量的模式链接技术,实现高准确率的文本到SQL生成,无需多候选采样即可执行引导自我纠正,适用于隐私敏感和资源受限场景。
2026-01-20 cs.CL
Synthesizing Text-to-SQL Data from Weak and Strong LLMs
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团)
本文提出结合强模型生成数据与弱模型错误信息的合成数据方法,用于指令微调开源LLMs,得到文本到SQL模型SENSE,在SPIDER和BIRD上达到最先进性能,缩小了与闭源模型方法的差距。
2024-08-06 cs.CL
A State-of-the-Art SQL Reasoning Model using RLVR
该研究提出一种基于RLVR的简单通用训练方案,在BIRD基准上首次提交即达到最先进SQL推理准确率(75.68%),且无需额外数据或专有模型,可广泛适用于企业领域。
2025-09-25 cs.AI cs.CL cs.DB
Open-SQL Framework: Enhancing Text-to-SQL on Open-source Large Language Models
Shenzhen University(深圳大学);Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences (CAS)(中国科学院深圳先进技术研究院)
本文提出Open-SQL框架,通过开放提示、监督微调、思维链少样本示例及多种token高效模式裁剪技术,显著提升开源LLM的Text-to-SQL性能。
2024-05-04 cs.AI cs.CL
LEAF-SQL: Level-wise Exploration with Adaptive Fine-graining for Text-to-SQL Skeleton Prediction
School of Computing(计算学院);Artificial Intelligence(人工智能);Jiangxi University of Finance(江西财经大学)
LEAF-SQL通过分层探索与自适应细化方法,提升复杂SQL生成性能,实验表明其在BIRD基准测试中表现优异。
2026-05-10 cs.CL
MARS-SQL: A multi-agent reinforcement learning framework for Text-to-SQL
Hong Kong University of Science and Technology(香港理工大学);Hong Kong Polytechnic University(香港理工大学)
MARS-SQL通过多智能体框架解决文本到SQL任务中的逻辑与模式对齐问题,采用生成代理与验证机制提升交互学习效果,实现77.84%和89.75%的准确率。
2026-05-10 cs.CL
Companion Agents: A Table-Information Mining Paradigm for Text-to-SQL
Amap, Alibaba Group(阿里巴巴集团高德)
同伴代理通过主动挖掘数据库中的隐藏关系和统计规律,提升文本到SQL在注释稀缺条件下的准确率。
2025-12-17 cs.AI cs.CL
SLM-SQL: An Exploration of Small Language Models for Text-to-SQL
Wuhan University of Technology(武汉理工大学);University of Science and Technology of China(中国科学技术大学)
针对小语言模型Text-to-SQL性能弱的问题,研究通过构建专用衍生数据集、结合有监督微调与强化学习后训练及纠错自一致性推理的SLM-SQL方法,显著提升了0.5B-1.5B规模模型的SQL生成准确率,并将开源相关资源。
2025-07-30 cs.CL
Text-to-SQL as Dual-State Reasoning: Integrating Adaptive Context and Progressive Generation
School of Computer Science, Guangdong University of Technology(广东工业大学计算机科学学院);College of Science, Shantou University(汕头大学科学学院);Peng Cheng Laboratory(鹏城实验室)
DSR-SQL通过双状态推理框架整合自适应上下文和渐进生成,提升文本到SQL的执行准确率。
2025-11-26 cs.CL
RSL-SQL: Robust Schema Linking in Text-to-SQL Generation
Huazhong University of Science and Technology(华中科技大学);Alibaba Inc.(阿里巴巴集团)
针对文本转SQL任务中模式链接存在的必要元素遗漏和破坏数据库结构完整性问题,提出结合双向链接、上下文增强等策略的RSL-SQL框架,在BIRD和Spider基准上实现开源方案最优执行准确率,且使用低成本模型时优于GPT-4基系统。
2024-11-26 cs.AI cs.CL cs.DB
DAC: Decomposed Automation Correction for Text-to-SQL
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
针对LLM直接纠正SQL效果差的问题,提出分解式自动纠正方法DAC,通过实体链接和骨架解析生成反馈来纠正SQL,在三个基准上平均提升3.7%。
2024-08-27 cs.CL
Cooperative SQL Generation for Segmented Databases By Using Multi-functional LLM Agents
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);Big Data Shortage and Management, MIIT(工业和信息化部大数据短缺与管理局);School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对Text-to-SQL任务,提出基于多功能LLM智能体的协同SQL生成框架CSMA,通过三阶段交互实现分段数据库的SQL生成,在保障数据隐私的同时达到媲美SOTA的性能。
2024-12-08 cs.CL
BASE-SQL: A powerful open source Text-To-SQL baseline approach
Wuhan University of Technology(武汉理工大学);University of Science and Technology of China(中国科学技术大学)
针对文本转SQL任务中开源模型微调方法缺乏高效基准的问题,提出包含四个组件的流水线方法BASE-SQL,基于开源模型Qwen2.5-Coder-32B-Instruct微调,在BIRD和Spider数据集上取得优于其他开源方法甚至部分GPT-4o方法的效果,且易实现、效率高。
2025-02-15 cs.CL
UNJOIN: Enhancing Multi-Table Text-to-SQL Generation via Schema Simplification
Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学)
UNJOIN提出两阶段框架,通过将多表模式简化为单表表示并解耦检索与SQL生成,提升多表文本到SQL性能,在SPIDER和BIRD上达到最先进水平。
2025-05-23 cs.CL
TraceSQL: Traceable Answerability Estimation for Reference-Free Text-to-SQL Verification
Oracle Corporation(甲骨文公司)
针对无参考文本到SQL验证的可追踪性不足问题,提出基于67种诊断特征的轻量模型TraceSQL,在BIRD数据集上优于基线模型,可提供可追溯的预测证据。
2026-08-25 cs.CL
SQLCritic: Correcting Text-to-SQL Generation via Clause-wise Critic
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对现有Text-to-SQL自纠错方法易引入新错、难纠正语义偏差的问题,提出子句级批评模型SQLCritic,结合自适应β的DPO变体训练与低成本数据构建流程,在多个基准上显著提升SQL生成准确率与批评能力。
2025-05-21 cs.AI cs.CL
AttnLink: Turning Attention into Schema Links for Text-to-SQL
研究针对文本到SQL的模式链接方法在性能与效率间的权衡问题,提出AttnLink框架,其变体AttnLink-S在多数据集上实现高mAP与低延迟,且提升下游SQL生成准确率。
2026-08-04 cs.CL
RoboPhD: Self-Improving Text-to-SQL Through Autonomous Agent Evolution
Independent Researchers(独立研究者)
RoboPhD通过自主进化代理提升文本到SQL性能,无需外部指导,在低成本模型上实现显著改进。
2026-01-26 cs.CL
Progress-SQL: Improving Reinforcement Learning for Text-to-SQL via Progressive Rewards
East China Normal University(华东师范大学)
提出Progress-SQL,一种多轮强化学习框架,通过Oracle引导诊断树(ODT)生成子句级结构反馈,结合渐进式奖励(结构对齐、词汇对齐、延迟奖励和执行状态奖励),提升文本到SQL生成的准确性和鲁棒性。
2026-06-05 cs.AI cs.CL
Before Generation, Align it! A Novel and Effective Strategy for Mitigating Hallucinations in Text-to-SQL Generation
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);BAAI(北京智源人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出任务对齐策略及TA-SQL框架,通过利用相似任务经验缓解文本到SQL生成中的幻觉,在多个基准上显著提升性能,如GPT-4在BIRD开发集上相对提升21.23%。
2024-05-24 cs.CL
V-SQL: A View-based Two-stage Text-to-SQL Framework
Guangzhou Huaweisoft Co. Ltd(广州华软有限公司)
本文提出基于视图的模式策略,将紧密耦合的表解耦为低耦合视图,增强LLM对数据库模式的理解,并构建V-SQL两阶段框架,在Bird数据集上取得与最先进方法相当的竞争力。
2024-12-17 cs.CL cs.DB
MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
Beihang University(北京航空航天大学);Tencent Youtu Lab(腾讯优图实验室)
提出 MAC-SQL 多智能体协作框架,通过分解器与可扩展辅助智能体结合外部工具和模型协作,解决复杂数据库上的 Text-to-SQL 难题,并在 BIRD 上取得 SOTA。
2025-03-18 cs.CL
GradeSQL: Test-Time Inference with Outcome Reward Models for Text-to-SQL Generation from Large Language Models
本研究提出GradeSQL框架,针对Text-to-SQL任务训练结果奖励模型(ORMs),在BIRD和Spider数据集上验证其作为测试时启发式策略的效果,性能优于ex-BoN和多数投票方法,且候选数增加时提升更显著。
2025-10-29 cs.AI cs.CL cs.DB