One-Shot Learning for Text-to-SQL Generation
SAP Labs Korea(SAP韩国实验室);Seoul National University(首尔国立大学)
大多数用于文本到SQL生成的深度学习方法仅限于WikiSQL数据集,该数据集仅支持非常简单的查询。最近,基于模板和序列到序列的方法被提出来支持复杂查询,包括连接查询,嵌套查询和其他类型。然而,Finegan-Dollak等人(2018)证明了这两种方法都缺乏生成看不见的模板的SQL的能力。在本文中,我们提出了一个基于模板的一次性学习模型的文本到SQL生成,使该模型可以生成SQL的一个未经训练的模板的基础上一个单一的例子。首先,我们使用匹配网络对SQL模板进行分类,该匹配网络由我们的新架构候选搜索网络增强。然后,我们使用指针网络填充预测模板中的变量槽。我们表明,我们的模型在两个方面优于各种文本到SQL数据集的最先进方法:1)训练模板的SQL生成准确性,以及2)基于单个示例对未见过的SQL模板的适应性,而无需任何额外的训练。
2019-04-26 cs.CL cs.DB
Leveraging Table Content for Zero-shot Text-to-SQL with Meta-Learning
Southeast University(东南大学);Alibaba Group(阿里巴巴集团)
单表文本到SQL的目标是根据一个单一的表将一个自然语言问题转换为一个SQL查询。最近的工作已经取得了可喜的进展,通过预训练的语言模型和多子模块框架在这方面的任务。然而,zero-shot table,即训练集中的不可见表,是目前制约现有方法应用于现实场景的最关键瓶颈。虽然有些工作利用辅助任务来帮助处理zero-shot表,但昂贵的额外手动注释限制了它们的实用性。在本文中,我们提出了一种新的方法,zero-shot文本到SQL的任务,不依赖于任何额外的手动注释。我们的方法包括两个部分。首先,我们提出了一个新的模型,利用表格内容的丰富信息,以帮助建立问题和zero-shot表之间的映射。此外,我们提出了一个简单而有效的元学习策略来训练我们的模型。该策略利用两步梯度更新来迫使模型学习对zero-shot表的泛化能力。我们进行了广泛的实验上的公共开放域的文本到SQL数据集WikiSQL和特定于域的数据集ESQL。与使用相同预训练模型的现有方法相比,我们的方法在两个数据集上都取得了显着的改进。与较大的预训练模型和特定于表格的预训练模型相比,我们的方法仍然具有竞争力。更重要的是,在两个数据集的zero-shot子集上,我们的方法进一步提高了改进。
2021-09-12 cs.CL
A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文首次全面分析了ChatGPT的文本到SQL的能力。鉴于最近出现的大规模会话语言模型ChatGPT及其在会话能力和代码生成方面令人印象深刻的能力,我们试图评估其文本到SQL的性能。我们在12个具有不同语言、设置或场景的基准数据集上进行了实验,结果表明ChatGPT具有强大的文本到SQL的能力。虽然与目前最先进的(SOTA)模型性能仍有差距,但考虑到实验是在zero-shot场景下进行的,ChatGPT的表现仍然令人印象深刻。值得注意的是,在ADVETA(RPL)场景中,zero-shot ChatGPT甚至比需要对Spider数据集进行微调的SOTA模型的性能高出4.1%,这表明了其在实际应用中的潜力。为了支持相关领域的进一步研究,我们在https://github.com/THU-BPM/chatgpt-sql上公开了ChatGPT生成的数据。
2023-03-12 cs.AI cs.CL
C3: Zero-shot Text-to-SQL with ChatGPT
Zhejiang University(浙江大学);Hundsun Technologies INC.(恒生电子股份有限公司)
该研究提出基于 ChatGPT 的零样本 Text-to-SQL 方法 C3,通过清晰提示、提示校准和一致输出三组件,在 Spider 上取得 82.3% 执行准确率并达到零样本最优水平。
2023-07-14 cs.AI cs.CL
How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain, and Cross-domain Settings
The Ohio State University(俄亥俄州立大学)
本文针对 text-to-SQL 任务中提示构建缺乏可比性的问题,全面调查了在 Zero-shot、Single-domain 和 Cross-domain 等多种设置下提示构建的影响,为未来研究提供了有效提示构建的见解。
2023-11-27 cs.CL
OpenSearch-SQL: Enhancing Text-to-SQL with Dynamic Few-shot and Consistency Alignment
Alibaba Cloud(阿里云)
针对多智能体LLM在Text-to-SQL任务中存在的框架不完善、指令遵循差与幻觉问题,提出含一致性对齐模块、SQL-Like中间语言及动态少样本策略的OpenSearch-SQL框架,在BIRD数据集三项指标上取得同期最优。
2025-02-19 cs.AI cs.CL cs.IR
Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies
Yale University(耶鲁大学);Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
本文研究通过上下文学习改进大型语言模型的Text-to-SQL能力,提出利用SQL语法结构检索示例并兼顾多样性与相似性的提示策略,结合数据库知识增强,在Spider数据集上取得优于现有系统的执行准确率。
2023-05-21 cs.CL
Lightweight Transformers for Zero-Shot and Fine-Tuned Text-to-SQL Generation Using Spider
University of Waterloo(滑铁卢大学)
本研究在Spider数据集上评估三种轻量级Transformer模型,提出模型无关的微调流水线,发现T5-Small以27.8%的LFAcc最优,证明紧凑模型在低资源文本到SQL任务中的可行性。
2025-08-06 cs.CL cs.IR
Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation
Renmin University of China(中国人民大学);QCRI, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Tsinghua University(清华大学);University of Arizona(亚利桑那大学);MIT(麻省理工学院)
针对零样本NL2SQL任务,提出结合PLMs模式对齐优势与LLMs复杂推理能力的ZeroNL2SQL框架,辅以谓词校准和执行选优策略,在真实基准上的执行准确率显著优于现有两类方法。
2023-06-15 cs.CL
SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL
Department of Artificial Intelligence, Chung-Ang University(人工智能系, Chung-Ang 大学);New York University(纽约大学)
针对缺少相似训练示例的 Text-to-SQL 场景,本文提出 SAFE-SQL,通过 LLM 自生成相关示例并进行三项细粒度相关性过滤,显著提升零样本/少样本执行准确率。
2025-09-30 cs.CL
Evaluating the Text-to-SQL Capabilities of Large Language Models
University of Cambridge(剑桥大学);ServiceNow(ServiceNow公司);Mila(米拉研究所);McGill University(麦吉尔大学)
我们执行的Codex语言模型的文本到SQL的能力的实证评估。我们发现,在没有任何微调的情况下,Codex是Spider基准测试的强大基线;我们还分析了Codex在此设置中的故障模式。此外,我们在GeoQuery和Scholar基准测试中证明,提示中提供的少量域内示例使Codex能够比在此类Few-Shot示例上微调的最先进模型表现更好。
2022-03-15 cs.CL cs.DB cs.LG
MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
Beihang University(北京航空航天大学);Tencent Youtu Lab(腾讯优图实验室)
提出 MAC-SQL 多智能体协作框架,通过分解器与可扩展辅助智能体结合外部工具和模型协作,解决复杂数据库上的 Text-to-SQL 难题,并在 BIRD 上取得 SOTA。
2025-03-18 cs.CL
Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data
University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对FLAD中辅助数据混合成本随数据集数增长的问题,本文基于多臂老虎机构造复杂度与辅助集数量无关的EXP3-FLAD和UCB1-FLAD,性能提升4%,并使30亿参数模型超越GPT-3。
2023-10-03 cs.CL cs.LG
SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
Cloud AI Research Team(云AI研究团队);Google DeepMind(谷歌DeepMind)
本研究提出SQLPrompt方法,通过创新提示设计、基于执行的一致性解码及多样化候选SQL策略,大幅提升大模型少样本Text-to-SQL性能,缩小了与大量标注数据微调SOTA模型的差距。
2023-11-06 cs.CL
EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions
Jiangxi University of Finance and Economics(江西财经大学)
本文提出EPI-SQL框架,通过从Spider数据集生成通用错误预防指令并结合上下文定制,在零样本下使LLMs规避潜在错误,实现85.1%的执行准确率,性能媲美高级少样本方法。
2024-04-21 cs.AI cs.CL cs.DB
SQLFixAgent: Towards Semantic-Accurate Text-to-SQL Parsing via Consistency-Enhanced Multi-Agent Collaboration
School of Computer Science & Technology, Soochow University(苏州大学计算机科学与技术学院);School of Information, Renmin University of China(中国人民大学信息学院);International College (Suzhou Research Institute), Renmin University of China(中国人民大学国际学院(苏州研究院));iFLYTEK Research (Suzhou)(科大讯飞研究院(苏州))
针对Text-to-SQL解析中LLM生成SQL语义准确率不足的问题,提出含三类智能体的SQLFixAgent协作框架,通过错误检测、候选生成与优选修复提升性能,在多基准上有效增效且token效率更优。
2025-05-18 cs.CL
Pay More Attention to History: A Context Modelling Strategy for Conversational Text-to-SQL
Peking University(北京大学);Meituan(美团)
会话式文本到SQL的目标是将多轮自然语言查询转换成它们相应的SQL(结构化查询语言)表示。会话式文本到SQL的最棘手的问题之一是对多轮查询的语义进行建模,并收集当前查询所需的适当信息。本文表明,通过添加每个回合和整个上下文的摘要来明确地建模语义变化可以在将会话查询转换为SQL时带来更好的性能。特别是,我们提出了两个会话建模任务,在转粮食和会话粮食。这两个任务只是作为辅助训练任务来帮助多轮会话语义解析。我们进行了实证研究,并在大规模开放域会话文本到SQL数据集上取得了新的最先进的结果。实验结果表明,该机制显著提高了多轮语义解析的性能。
2022-07-26 cs.AI cs.CL
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended)
Cloud AI Research Team(云AI研究团队);Google DeepMind(谷歌DeepMind)
本文提出SQL-PaLM框架,通过少样本提示中的一致性解码与执行错误过滤、指令微调中的数据多样性扩展、合成增强及数据库内容整合,并利用执行反馈进行测试时选择,显著提升了Spider和BIRD基准上的文本到SQL性能。
2024-03-30 cs.AI cs.CL cs.DB
Semantic Enhanced Text-to-SQL Parsing via Iteratively Learning Schema Linking Graph
Tsinghua University(清华大学)
对于旨在将人类话语解析成SQL语句的Text-to-SQL系统来说,对新数据库的可推广性是至关重要的。现有的工作实现了这一目标,利用精确匹配的方法来确定词汇之间的匹配问题的话和模式项目。然而,这些方法在其他具有挑战性的情况下失败,例如同义词替换,其中对应的问题词和模式项目之间的表面形式不同。在本文中,我们提出了一个名为ISESL-SQL的框架,迭代地建立一个语义增强的模式链接图之间的问题令牌和数据库模式。首先,我们提取一个模式链接图从PLM通过探测过程中的无监督的方式。然后在训练过程中通过深度图学习方法进一步优化模式链接图。同时,我们还设计了一个辅助任务,称为图正则化,以改善模式链接图中提到的模式信息。在三个基准测试上的大量实验表明,ISESL-SQL可以始终优于基线,进一步的调查表明其通用性和鲁棒性。
2022-08-08 cs.CL
Adapt and Decompose: Efficient Generalization of Text-to-SQL via Domain Adapted Least-To-Most Prompting
TCS Research(塔塔咨询服务研究部)
本文提出一种离线采样少样本并自动适配数据库领域的分解式最少到最多提示方法,在KaggleDBQA上实现文本到SQL的高效跨领域与跨组合泛化,性能优于通用提示且不依赖特定模型。
2023-08-09 cs.AI cs.CL cs.LG
ACT-SQL: In-Context Learning for Text-to-SQL with Automatically-Generated Chain-of-Thought
Shanghai Jiao Tong University(上海交通大学);X-LANCE Lab(X-LANCE实验室);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室)
本文提出ACT-SQL方法,通过自动生成思维链示例提升大语言模型在文本到SQL任务中的推理能力,无需人工标注且仅需一次API调用,并在Spider开发集上取得SOTA性能。
2023-10-26 cs.CL
Global Reasoning over Database Structures for Text-to-SQL Parsing
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
最先进的语义解析器依赖于自回归解码,每次发出一个符号。当针对在训练时未观察到的复杂数据库(zero-shot)进行测试时,由于解码的局部性质,解析器通常很难在新数据库中选择正确的数据库常量集。在这项工作中,我们提出了一个语义解析器,全局原因的输出查询的结构,使更多的上下文知情的选择数据库常量。我们使用消息传递通过图神经网络软选择一个子集的数据库常量的输出查询,条件的问题。此外,我们训练一个模型来排名查询的基础上,全球对齐的数据库常量的问题的话。我们将我们的技术应用于当前最先进的Spider模型,这是一个具有复杂数据库的zero-shot语义解析数据集,准确率从39.4%提高到47.4%。
2019-08-29 cs.CL
GEMMA-SQL: A Novel Text-to-SQL Model Based on Large Language Models
Bournemouth University(伯恩茅斯大学);Maharaja Surajmal Institute of Technology(马哈拉贾·苏拉杰马尔理工学院);University of Liechtenstein(列支敦士登大学)
本文提出基于Gemma 2B的轻量级文本到SQL模型GEMMA-SQL,通过迭代微调、少样本提示和指令微调,在SPIDER基准上以66.8% Test-Suite准确率超越多个最先进基线,展示了低成本高效文本到SQL方案的可行性。
2025-11-05 cs.CL
Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation
University of Rome Tor Vergata(罗马第二大学);University of Rome La Sapienza(罗马第一大学);Idiap Research Institute(Idiap研究所);Almawave S.p.A.(Almawave股份公司)
本研究针对大语言模型的Text-to-SQL能力可能受数据污染影响的问题,提出检测GPT数据污染的新方法,结合Spider、新构建的Termite数据集及对抗性表断开方法实验,证实数据污染会导致GPT-3.5在陌生数据集上性能显著下降。
2024-02-12 cs.CL cs.LG
KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
数据库问答的目标是在不同的应用领域中实现对现实生活中的关系数据库的自然语言查询。最近,Spider和WikiSQL等大规模数据集促进了文本到SQL解析的新建模技术,改善了对未知数据库的zero-shot泛化。在这项工作中,我们研究的挑战,仍然阻止这些技术的实际部署。首先,我们介绍了KaggleDBQA,一个新的跨域的真实Web数据库的评估数据集,特定于域的数据类型,原始格式,和无限制的问题。第二,我们重新审视文本到SQL解析器在现实生活中应用的评估任务的选择。最后,我们增加了我们的领域内的评估任务与数据库文档,一个自然发生的源隐含的领域知识。我们表明,KaggleDBQA提出了一个挑战,国家的最先进的zero-shot解析器,但更现实的评估设置和创造性地使用相关的数据库文档提高了13.2%以上的准确性,使其性能翻了一番。
2021-06-22 cs.AI cs.CL cs.DB
LGESQL: Line Graph Enhanced Text-to-SQL Model with Mixed Local and Non-Local Relations
Shanghai Jiao Tong University(上海交通大学);AISpeech Co., Ltd.(思必驰有限公司)
这项工作旨在解决文本到SQL任务中具有挑战性的异构图编码问题。以前的方法通常是以节点为中心的,并且仅仅利用不同的权重矩阵来参数化边类型,这1)忽略了嵌入在边的拓扑结构中的丰富语义,以及2)无法区分每个节点的局部和非局部关系。为此,我们提出了一个线图增强的文本到SQL(LGESQL)模型挖掘底层的关系功能,而不构造元路径。借助于线图,消息不仅通过节点之间的连接,而且通过有向边的拓扑更有效地传播。此外,在图迭代过程中,局部和非局部关系被区别地集成。我们还设计了一个辅助任务,称为图修剪,以提高鉴别能力的编码器。在撰写本文时,我们的框架在跨域文本到SQL基准测试Spider上实现了最先进的结果(Glove为62.8%,Electra为72.0%)。
2021-06-10 cs.CL
Iteration Without Elaboration: A Simple ReAct Architecture Suffices for Text-to-SQL Generation
Duke University(杜克大学)
该研究针对现有文本转SQL系统复杂且延迟高的问题,提出简单的ReAct-SQL框架,在两个数据集上达到高准确率且运行速度提升8倍,验证了其有效性。
2026-08-25 cs.CL
SF-DST: Few-Shot Self-Feeding Reading Comprehension Dialogue State Tracking with Auxiliary Task
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
Few-Shot对话状态跟踪(DST)模型以可靠的准确性跟踪对话中的用户请求,即使数据量很小。在本文中,我们介绍了一个本体无关的Few-Shot DST与自我喂养的信念状态输入。自馈信念状态输入通过总结先前对话来增加多轮对话中的准确性。此外,我们新开发了一个槽门辅助任务。这个新的辅助任务有助于区分对话中是否提到了一个槽。我们的模型在multiWOZ 2.0上的四个域的Few-Shot设置中获得了最佳分数。
2022-09-16 cs.CL
Progress-SQL: Improving Reinforcement Learning for Text-to-SQL via Progressive Rewards
East China Normal University(华东师范大学)
提出Progress-SQL,一种多轮强化学习框架,通过Oracle引导诊断树(ODT)生成子句级结构反馈,结合渐进式奖励(结构对齐、词汇对齐、延迟奖励和执行状态奖励),提升文本到SQL生成的准确性和鲁棒性。
2026-06-05 cs.AI cs.CL
On the Potential of Lexico-logical Alignments for Semantic Parsing to SQL Queries
Cornell University(康奈尔大学);University of Maryland(马里兰大学);Microsoft Research(微软研究院)
用逻辑形式注释的大规模语义解析数据集使监督方法取得了重大进展。但更丰富的监管能起到更大的作用吗?为了探索细粒度的词汇级监督的实用性,我们引入了Squall,这是一个数据集,它通过手动创建的SQL等价物以及SQL和问题片段之间的对齐来丰富11,276个WikiTableQuestions英语问题。我们的注释为编码器-解码器模型提供了新的训练可能性,包括以前因缺乏对齐而无法使用的机器翻译方法。我们提出并测试了两种方法:(1)监督注意;(2)采用一个辅助目标,消除歧义的输入查询表列中的引用。在5折交叉验证中,这些策略在强基线上提高了4.4%的执行准确性。Oracle实验表明,注释比对可以支持高达23.9%的进一步准确性增益。
2020-10-21 cs.AI cs.CL
Towards Generalizable and Robust Text-to-SQL Parsing
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文本到SQL解析解决了将自然语言问题映射到可执行SQL查询的问题。在实践中,文本到SQL解析器经常遇到各种具有挑战性的场景,要求它们具有通用性和健壮性。虽然大多数现有的工作都解决了特定的泛化或鲁棒性挑战,但我们的目标是以更全面的方式研究它。具体来说,我们认为文本到SQL的解析器应该是(1)在三个泛化级别上可泛化的,即i.i.d.,zero-shot和组合,以及(2)对输入扰动的鲁棒性。为了提高这些能力的解析器,我们提出了一种新的TKK框架,包括任务分解,知识获取,知识组合学习文本到SQL解析的阶段。通过将学习过程划分为多个阶段,我们的框架提高了解析器获取一般SQL知识的能力,而不是捕获虚假模式,使其更具泛化性和鲁棒性。在各种泛化和鲁棒性设置下的实验结果表明,我们的框架在所有场景下都是有效的,并在Spider,SParC和CoSQL数据集上实现了最先进的性能。代码可以在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/tkk上找到。
2022-10-23 cs.CL
Query Carefully: Detecting the Unanswerables in Text-to-SQL Tasks
Institute of Computer Science, Zurich University of Applied Sciences(计算机科学研究所,应用科学大学苏黎世);Institute of Medical Virology, University of Zurich(医学病毒学研究所,苏黎世大学);Department of Gastroenterology and Hepatology, University Hospital Zurich, University of Zurich(消化内科与肝病科,苏黎世大学医院,苏黎世大学)
Query Carefully通过集成LLM生成和显式检测不可回答问题,提升生物医学领域文本到SQL的准确性和可靠性。
2025-12-19 cs.AI cs.CL cs.DB
Exploring Database Normalization Effects on SQL Generation
CyberAgent
该研究首次系统探究数据库规范化对NL2SQL的影响,通过多数据集评估8个大模型,发现非规范化模式适配简单检索查询,规范化模式在聚合查询上表现更优,少样本可缓解其带来的挑战,为NL2SQL的模式设计提供参考。
2025-10-02 cs.CL
Exploring Underexplored Limitations of Cross-Domain Text-to-SQL Generalization
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
最近,在研究用于在zero-shot跨域设置下将文本描述翻译成SQL查询的神经网络方面取得了重大进展。尽管在一些公共基准测试中取得了良好的性能,但我们观察到,现有的文本到SQL模型在面对不经常出现在训练数据中的领域知识时不会泛化,这可能会导致看不见的领域的预测性能较差。在这项工作中,我们调查的文本到SQL模型的鲁棒性时,问题需要很少观察到的领域知识。特别是,我们定义了五种类型的领域知识,并介绍了Spider-DK(DK是领域知识的缩写),这是一个基于Spider基准测试的人工数据集,用于文本到SQL的翻译。Spider-DK中的自然语言问题是从Spider中选取的,我们通过添加反映真实世界问题释义的领域知识来修改一些样本。我们证明,预测精度显着下降的样本,需要这样的领域知识,即使领域知识出现在训练集中,该模型提供了正确的预测相关的训练样本。
2021-09-11 cs.CL
Few-shot Conformal Prediction with Auxiliary Tasks
Massachusetts Institute of Technology(麻省理工学院)
当目标任务可用于训练的数据有限时,我们开发了一种新的共形预测方法。保形预测识别一小组有希望的输出候选,以代替单个预测,并保证该组包含高概率的正确答案。然而,当训练数据有限时,预测集很容易变得过大。在这项工作中,我们获得了更紧密的预测集,同时保持理想的边际保证铸造共形预测作为一个元学习范式的辅助任务的可交换集合。我们的一致化算法简单、快速,并且与底层模型、学习算法或数据集的选择无关。我们证明了这种方法在自然语言处理,计算机视觉和计算化学药物发现中的一些Few-Shot分类和回归任务的有效性。
2021-07-20 cs.AI cs.CL cs.LG
Multilingual Auxiliary Tasks Training: Bridging the Gap between Languages for Zero-Shot Transfer of Hate Speech Detection Models
INRIA(法国国家信息与自动化研究所)
零次跨语言迁移学习已经被证明对于涉及大量语言特性的任务或当语言之间存在文化差异时(例如在仇恨言论检测中)具有高度挑战性。在本文中,我们强调了这种限制仇恨言论检测在几个领域和语言使用严格的实验设置。然后,我们建议对多语言辅助任务进行训练-情感分析,命名实体识别和依赖句法信息的任务-以提高仇恨语音检测模型跨语言的zero-shot传输。我们展示了仇恨言论检测模型如何受益于辅助任务微调带来的跨语言知识代理,并强调了这些任务对弥合语言之间仇恨言论语言和文化差距的积极影响。
2022-10-25 cs.CL
MultiSpider: Towards Benchmarking Multilingual Text-to-SQL Semantic Parsing
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
文本到SQL的语义解析是一项重要的自然语言处理任务,它极大地方便了用户与数据库之间的交互,成为许多人机交互系统中的关键组件。文本到SQL的最新进展是由大规模数据集驱动的,但其中大多数都集中在英语上。在这项工作中,我们提出了MultiSpider,最大的多语言文本到SQL数据集,涵盖七种语言(英语,德语,法语,西班牙语,日语,中文和越南语)。在MultiSpider上,我们进一步确定了文本到SQL的词汇和结构挑战(由特定的语言属性和方言谚语引起)及其在不同语言中的强度。在三种典型设置(zero-shot、单语和多语言)下的实验结果显示,非英语语言的准确率绝对下降了6.1%。定性和定量分析进行,以了解每种语言的性能下降的原因。除了数据集之外,我们还提出了一个简单的模式增强框架SAVe(Schema-Augmentation-with-Verification),它将整体性能显著提高了约1.8%,并缩小了跨语言的29.5%的性能差距。
2022-12-27 cs.CL
SeaD: End-to-end Text-to-SQL Generation with Schema-aware Denoising
Ant Group(蚂蚁集团)
在text-to-SQL任务中,seq-to-seq模型由于其体系结构的限制而经常导致次优性能。在本文中,我们提出了一个简单而有效的方法,适应基于transformer的seq-to-seq模型,以强大的文本到SQL生成。而不是诱导约束解码器或重新格式化的任务作为槽填充,我们提出了训练序列到序列模型与模式感知降噪(SeaD),其中包括两个降噪目标,训练模型,以恢复输入或预测输出从两个新的侵蚀和洗牌噪声。这些去噪目标作为辅助任务,用于在S2 S生成中更好地建模结构数据。此外,我们改进并提出了一种子句敏感的执行引导(EG)解码策略,以克服EG解码对生成模型的局限性。实验结果表明,该方法提高了seq-to-seq模型在模式链接和语法正确性方面的性能,在WikiSQL基准测试中建立了新的技术水平。结果表明,用于文本到SQL的vanilla seq-to-seq架构的容量可能被低估了。
2023-01-30 cs.CL stat.ML
CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
Google Cloud(谷歌云);Stanford University(斯坦福大学)
CHASE-SQL通过多智能体测试时计算、分而治之分解、执行计划思维链和实例感知合成示例生成多样SQL候选,并用微调选择智能体进行成对比较排序,在BIRD基准上取得73.0%和73.01%的最先进执行准确率。
2024-10-02 cs.AI cs.CL cs.DB
STaR-SQL: Self-Taught Reasoner for Text-to-SQL
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院)
提出 STaR-SQL,通过推理依据微调与 ORM 验证增强 text-to-SQL,在 Spider 上以 86.6% 执行准确率显著超越多种基线。
2025-02-19 cs.CL
Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT -- A Text-to-SQL Parsing Comparison
Institute for Infocomm Research (IR), A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore(新加坡国立大学);Nanyang Technology University(南洋理工大学)
本研究系统比较六种大型语言模型在文本到SQL解析任务上的表现,发现开源模型性能显著落后于闭源模型,需进一步工作弥合差距。
2023-10-16 cs.AI cs.CL
SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved Feedback for Text-to-SQL
Stanford University(斯坦福大学);Amazon Web Services(亚马逊网络服务)
SQL-Trail通过多轮强化学习与交错反馈提升文本到SQL的生成能力,实现更高效率和准确性。
2026-01-25 cs.AI cs.CL
Text2SQL-Flow: A Robust SQL-Aware Data Augmentation Framework for Text-to-SQL
Peking University, Beijing, China(北京大学,北京,中国)
Text2SQL-Flow提出了一种SQL感知的数据增强框架,通过生成高质量的文本到SQL数据集,提升大型语言模型在问题解决和检索任务中的性能。
2026-02-10 cs.CL cs.DB
SDE-SQL: Enhancing Text-to-SQL Generation in Large Language Models via Self-Driven Exploration with SQL Probes
South China University of Technology(华南理工大学);Soochow University(苏州大学);Guangdong Laboratory of AI and Digital Economy(广东人工智能与数字经济实验室)
提出SDE-SQL框架,通过生成并执行SQL探针使大语言模型在推理时自驱探索数据库,零样本下在BIRD基准上较基线提升8.02%执行准确率,无需SFT或模型集成即达开源模型最优。
2025-06-19 cs.AI cs.CL
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院)
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语,大多数语义解析系统将该问题作为一次性翻译,其中话语被映射到对应的逻辑形式。在本文中,我们研究了一个更具交互性的场景,人类可以进一步与系统进行交互,提供自由形式的自然语言反馈,以纠正系统时,它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造,SPLASH,一个数据集的话语,不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务,并表明,将这样一个丰富的反馈形式,可以显着提高整体语义解析的准确性,同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%,但我们的最佳模型仅达到25.1%,这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing
University of Waterloo(滑铁卢大学);Penn State University(宾夕法尼亚州立大学)
使用大语言模型的上下文学习最近在语义解析任务(如文本到SQL翻译)中显示出令人惊讶的结果。使用几个question-SQL对的示例来验证GPT-3或Codex可以产生非常好的结果,可以与最先进的基于微调的模型相媲美。然而,现有的工作主要集中在英语数据集,这是未知的大语言模型是否可以作为其他语言的竞争力的语义解析器。为了弥补这一差距,我们的工作重点是跨语言的文本到SQL的语义解析翻译非英语的话语到SQL查询的基础上的英语模式。我们考虑一个zero-shot迁移学习设置,假设我们没有任何标记的例子在目标语言(但有注释的例子在英语)。这项工作介绍了XRICL框架,学习检索相关的英语范例为一个给定的查询构造提示。我们还包括目标语言的全局翻译范例,以促进大语言模型的翻译过程。为了系统地评估我们的模型,我们构建了两个新的基准数据集,XSpider和XKaggle-dbqa,其中包括中文,越南语,波斯语和印地语的问题。我们的实验表明,XRECL有效地利用了大型预训练的语言模型,以超越现有的基线。数据和代码可在https://github.com/Impavidity/XRICL上公开获取。
2022-10-25 cs.CL
Rationalization Models for Text-to-SQL
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心)
本研究提出生成CoT推理依据的框架,通过手动标注少量示例、迭代动态少样本知识蒸馏训练合理化模型,为text-to-SQL数据集生成合成标注,实验证明该方法可提升小模型在BIRD数据集上的执行准确率与可解释性。
2025-03-20 cs.AI cs.CL cs.DB
Understanding the Effects of Noise in Text-to-SQL: An Examination of the BIRD-Bench Benchmark
Linköping University(林雪平大学);Silo AI
本研究深入分析了BIRD-Bench基准中问题与金标准查询的噪声分布及其对模型可靠性的影响,发现在修正SQL后零样本基线超越最先进提示方法,强调可靠基准与噪声标签对开发Text-to-SQL方法的重要性。
2024-03-25 cs.CL
Exploring Chain-of-Thought Style Prompting for Text-to-SQL
The Ohio State University(俄亥俄州立大学)
本文系统研究思维链式提示对文本到SQL解析的作用,发现迭代提示和过细推理步骤可能带来错误传播,并提出一种新的CoT式提示方法,在Spider开发集和Spider Realistic集上分别取得5.2和6.5个百分点的绝对提升。
2023-10-27 cs.CL
PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency
SenseTime Research(商汤科技研究院);Peking University(北京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院);University of Cologne(科隆大学)
提出两阶段框架PET-SQL,通过参考增强提示和模式链接生成SQL,并利用跨LLM交叉一致性进行优化,在Spider基准上以87.6%执行准确率创SOTA。
2024-06-02 cs.AI cs.CL
Data Agnostic RoBERTa-based Natural Language to SQL Query Generation
ABV-IIITM(ABV-印度信息技术与管理学院)
关系数据库是现代世界中存储大量数据的最广泛使用的体系结构之一。然而,这些数据库和普通用户之间存在障碍。用户通常缺乏与数据库交互所需的诸如SQL的查询语言的知识。NL2SQL任务旨在通过将自然语言问题转换为有效的SQL查询,找到解决此问题的深度学习方法。鉴于某些数据库的敏感性和对数据隐私的日益增长的需求,我们提出了一种以数据隐私为核心的方法。我们已经将RoBERTa嵌入和数据不可知的知识向量传递到基于LSTM的子模型中,以预测最终的查询。虽然我们还没有达到最先进的结果,但我们已经从模型的训练中消除了对表数据的需求,并且已经实现了76.7%的测试集执行准确率。通过在训练时消除表数据依赖性,我们创建了一个能够基于自然语言问题和表模式进行零样本学习的模型。
2021-03-05 cs.AI cs.CL
CBR-to-SQL: Rethinking Retrieval-based Text-to-SQL using Case-based Reasoning in the Healthcare Domain
Department of Computer Science Aalto University(奥卢大学计算机科学系);Department of Clinical Medicine Aalborg University(奥尔堡大学临床医学系)
本文提出CBR-to-SQL框架,通过分解检索增强生成的两阶段检索,提升医疗领域文本到SQL的准确性和效率。
2026-04-19 cs.AI cs.CL cs.IR
BIRD-History: A Benchmark for History-Driven Text-to-SQL with Fine-Grained Knowledge Annotations
Zhejiang University(浙江大学)
本研究推出带细粒度知识标注的BIRD-History基准测试,针对现有Text-to-SQL系统无法利用历史查询日志处理隐含领域知识的问题,提出插件式检索器,可提升多个Text-to-SQL系统的未明确查询处理性能。
2026-09-01 cs.AI cs.CL
Open-SQL Framework: Enhancing Text-to-SQL on Open-source Large Language Models
Shenzhen University(深圳大学);Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences (CAS)(中国科学院深圳先进技术研究院)
本文提出Open-SQL框架,通过开放提示、监督微调、思维链少样本示例及多种token高效模式裁剪技术,显著提升开源LLM的Text-to-SQL性能。
2024-05-04 cs.AI cs.CL