SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas
Centrum Wiskunde & Informatica(荷兰数学与信息学研究中心);University of Amsterdam(阿姆斯特丹大学)
SQaLe是一个基于真实数据库模式的大型半合成文本到SQL数据集,通过结合模式采样、问题合成和SQL构建,生成了高质量的(问题,模式,查询)三元组,用于提升文本到SQL模型的泛化能力。
2025-12-16 cs.CL cs.IR cs.LG
Wav2SQL: Direct Generalizable Speech-To-SQL Parsing
Zhejiang University(浙江大学);State Grid Corporation of China(国家电网有限公司)
提出首个直接语音到SQL解析模型Wav2SQL,通过大规模预训练缓解数据稀缺,并引入语音重编程与梯度反转分类器提升域外泛化能力,相比基线准确率提升达2.5%。
2023-05-21 cs.CL cs.SD eess.AS
Text-to-SQL Generation for Question Answering on Electronic Medical Records
Virginia Tech(弗吉尼亚理工大学)
电子医疗记录(EMR)包含全面的患者信息,并且通常存储在具有多个表的关系数据库中。从电子病历数据中有效地检索患者信息检索是医学专家的一项具有挑战性的任务。SQL到SQL生成方法通过首先预测关于数据库的给定问题的SQL查询,然后在数据库上执行查询来解决这个问题。然而,大多数现有的方法还没有适应医疗保健领域,由于缺乏医疗保健数据库到SQL数据集的学习模型特定于这个领域。此外,术语缩写的广泛使用和问题中可能的错别字为准确生成相应的SQL查询带来了额外的挑战。在本文中,我们通过开发一个基于深度学习的TRanslate-Edit Model for SQL(TREQS)生成来解决这些挑战,该模型采用广泛使用的序列到序列模型来直接生成给定问题的SQL查询,并使用注意力复制机制和特定于任务的查找表进一步执行所需的编辑。基于广泛使用的公共电子医疗数据库,我们创建了一个新的大规模的SQL对数据集,命名为MIMICSQL,以执行在医疗领域的SQL到SQL的生成任务。一组广泛的实验进行评估我们提出的模型MIMICSQL的性能。定量和定性的实验结果表明,我们所提出的方法在预测条件值的灵活性和效率,其鲁棒性随机问题的缩写和错别字。
2020-01-30 cs.AI cs.CL cs.IR
Retrieval augmented text-to-SQL generation for epidemiological question answering using electronic health records
Bayer AG(拜耳公司)
本文提出结合医学编码与 RAG 的端到端 text-to-SQL 方法,用于基于 EHR 和理赔数据回答流行病学问题,并在真实行业场景中验证其优于简单提示。
2024-05-16 cs.CL
Exploring Underexplored Limitations of Cross-Domain Text-to-SQL Generalization
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
最近,在研究用于在zero-shot跨域设置下将文本描述翻译成SQL查询的神经网络方面取得了重大进展。尽管在一些公共基准测试中取得了良好的性能,但我们观察到,现有的文本到SQL模型在面对不经常出现在训练数据中的领域知识时不会泛化,这可能会导致看不见的领域的预测性能较差。在这项工作中,我们调查的文本到SQL模型的鲁棒性时,问题需要很少观察到的领域知识。特别是,我们定义了五种类型的领域知识,并介绍了Spider-DK(DK是领域知识的缩写),这是一个基于Spider基准测试的人工数据集,用于文本到SQL的翻译。Spider-DK中的自然语言问题是从Spider中选取的,我们通过添加反映真实世界问题释义的领域知识来修改一些样本。我们证明,预测精度显着下降的样本,需要这样的领域知识,即使领域知识出现在训练集中,该模型提供了正确的预测相关的训练样本。
2021-09-11 cs.CL
Towards Generalizable and Robust Text-to-SQL Parsing
The Chinese University of Hong Kong(香港中文大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文本到SQL解析解决了将自然语言问题映射到可执行SQL查询的问题。在实践中,文本到SQL解析器经常遇到各种具有挑战性的场景,要求它们具有通用性和健壮性。虽然大多数现有的工作都解决了特定的泛化或鲁棒性挑战,但我们的目标是以更全面的方式研究它。具体来说,我们认为文本到SQL的解析器应该是(1)在三个泛化级别上可泛化的,即i.i.d.,zero-shot和组合,以及(2)对输入扰动的鲁棒性。为了提高这些能力的解析器,我们提出了一种新的TKK框架,包括任务分解,知识获取,知识组合学习文本到SQL解析的阶段。通过将学习过程划分为多个阶段,我们的框架提高了解析器获取一般SQL知识的能力,而不是捕获虚假模式,使其更具泛化性和鲁棒性。在各种泛化和鲁棒性设置下的实验结果表明,我们的框架在所有场景下都是有效的,并在Spider,SParC和CoSQL数据集上实现了最先进的性能。代码可以在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/tkk上找到。
2022-10-23 cs.CL
Generating patient cohorts from electronic health records using two-step retrieval-augmented text-to-SQL generation
Bayer AG(勃林格殷曼公司)
本文提出一种利用大语言模型结合标准解析、两级检索增强生成和SQL生成的自动化系统,从电子健康记录中识别患者队列,达到0.75的F1分数,验证了自动化队列生成的可行性。
2025-10-17 cs.CL
ProbGate at EHRSQL 2024: Enhancing SQL Query Generation Accuracy through Probabilistic Threshold Filtering and Error Handling
KAIST Graduate School of Data Science(KAIST数据科学研究生院);KAIST Bio and Brain Engineering(KAIST生物与脑工程学院);KAIST AI(KAIST人工智能学院)
本文提出ProbGate框架,通过微调模型、基于熵的方法和对数概率分布过滤低置信度SQL,并在实际数据库上执行查询以缓解语法和模式错误,有效解决了医疗text-to-SQL中识别无法回答查询的挑战,提升了SQL查询生成的准确率。
2024-04-25 cs.AI cs.CL
Improving Generalization in Language Model-Based Text-to-SQL Semantic Parsing: Two Simple Semantic Boundary-Based Techniques
George Mason University(乔治梅森大学);MIT(麻省理工学院)
本文提出词元预处理和组件边界标记两种简单技术,以保留语义边界并提升语言模型在文本到SQL解析中的组合泛化与领域泛化能力。
2023-05-27 cs.AI cs.CL
Before Generation, Align it! A Novel and Effective Strategy for Mitigating Hallucinations in Text-to-SQL Generation
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);BAAI(北京智源人工智能研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出任务对齐策略及TA-SQL框架,通过利用相似任务经验缓解文本到SQL生成中的幻觉,在多个基准上显著提升性能,如GPT-4在BIRD开发集上相对提升21.23%。
2024-05-24 cs.CL
CBR-to-SQL: Rethinking Retrieval-based Text-to-SQL using Case-based Reasoning in the Healthcare Domain
Department of Computer Science Aalto University(奥卢大学计算机科学系);Department of Clinical Medicine Aalborg University(奥尔堡大学临床医学系)
本文提出CBR-to-SQL框架,通过分解检索增强生成的两阶段检索,提升医疗领域文本到SQL的准确性和效率。
2026-04-19 cs.AI cs.CL cs.IR
Overview of the EHRSQL 2024 Shared Task on Reliable Text-to-SQL Modeling on Electronic Health Records
KAIST AI(韩国科学技术院人工智能学院)
本文概述EHRSQL 2024共享任务,旨在通过文本到SQL建模为电子健康记录开发可靠问答系统,八支队伍展示了多种有效方法。
2024-05-23 cs.AI cs.CL
Conversational Text-to-SQL: An Odyssey into State-of-the-Art and Challenges Ahead
Alexa AI, Amazon(亚马逊Alexa AI)
会话、多轮、文本到SQL(CoSQL)任务将对话中的自然语言语句映射到SQL查询。最新技术水平(SOTA)系统结合约束解码使用大型的、预训练的和微调的语言模型,例如T5系列。通过在训练过程中使用离散提示的连贯任务上进行多任务处理(MT),我们改进了专门的文本到SQL T5系列模型。基于Oracle对n个最佳假设的分析,我们采用了一个查询计划模型和一个模式链接算法作为重排序器。结合MT和重新排序,我们使用T5 - 3B的结果显示,与CoSQL上的SOTA基线相比,精确匹配的绝对准确性提高了1.0%,执行匹配提高了3.4%。虽然这些收益始终体现在回合水平,上下文相关的回合是相当困难的。我们进行研究,梳理除了错误归因于域和合成泛化,后者仍然是一个挑战,多轮对话,特别是在生成SQL与看不见的解析树。
2023-02-21 cs.CL
EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge
HKUST (GZ)(香港科技大学(广州));Alibaba Group(阿里巴巴集团);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室(深圳))
提出EntSQL基准,通过包含1066个跨五个业务领域的中英文对齐示例,评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力,最佳系统仅达15.9%准确率。
2026-07-15 cs.CL
Zero-shot Text-to-SQL Learning with Auxiliary Task
The Ohio State University(俄亥俄州立大学);Fudan University(复旦大学);JD.COM AI Research(京东AI研究院)
近年来,在文本到SQL任务中使用神经seq2seq模型取得了巨大的成功。然而,很少有工作关注这些模型如何推广到现实中看不见的数据,这自然提出了一个问题:这种令人印象深刻的性能是否意味着一个完美的泛化模型,或者仍然存在一些限制?在本文中,我们首先通过提供一个新的测试平台来诊断文本到SQL任务的瓶颈,在该测试平台中,我们观察到现有模型对罕见数据的泛化能力很差。上述分析鼓励我们设计一个简单但有效的辅助任务,作为生成任务的支持模型和正则化项,以提高模型的泛化能力。实验上,我们评估我们的模型上的一个大型的文本到SQL数据集WikiSQL。与强大的基线粗到细模型相比,我们的模型在整个数据集上的绝对准确度提高了3%以上。更有趣的是,在WikiSQL的zero-shot子集测试中,我们的模型在基线上实现了5%的绝对准确率增益,清楚地证明了其优越的泛化能力。
2019-08-29 cs.CL cs.LG
Synthesizing Text-to-SQL Data from Weak and Strong LLMs
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团)
本文提出结合强模型生成数据与弱模型错误信息的合成数据方法,用于指令微调开源LLMs,得到文本到SQL模型SENSE,在SPIDER和BIRD上达到最先进性能,缩小了与闭源模型方法的差距。
2024-08-06 cs.CL
Adapt and Decompose: Efficient Generalization of Text-to-SQL via Domain Adapted Least-To-Most Prompting
TCS Research(塔塔咨询服务研究部)
本文提出一种离线采样少样本并自动适配数据库领域的分解式最少到最多提示方法,在KaggleDBQA上实现文本到SQL的高效跨领域与跨组合泛化,性能优于通用提示且不依赖特定模型。
2023-08-09 cs.AI cs.CL cs.LG
Error Detection for Text-to-SQL Semantic Parsing
The Ohio State University(俄亥俄州立大学)
本文提出独立于解析器的 text-to-SQL 错误检测模型,结合代码语言模型与图神经网络学习问题和 SQL 结构,并在跨领域真实错误上训练,实验证明其优于解析器相关不确定性指标。
2023-12-06 cs.CL
DocuT5: Seq2seq SQL Generation with Table Documentation
University of Glasgow(格拉斯哥大学)
当前基于预训练的语言模型的SQL生成器很难回答需要域上下文或理解细粒度表结构的复杂问题。人类将通过对表格的文档进行推理来处理这些未知数。基于这一假设,我们提出了DocuT 5,它使用现成的语言模型架构,并从外部“文档”注入知识,以提高领域泛化。我们在包含跨域和多表的复杂问题的Spider系列数据集上进行实验。具体来说,我们开发了一个新的文本到SQL失败分类,发现19.6%的错误是由于外键错误,49.2%是由于缺乏领域知识。我们提出了DocuT 5,一种从(1)表结构上下文的外键和(2)领域知识通过上下文化表和列捕获知识的方法。这两种类型的知识都比最先进的T5在Spider上进行了约束解码,并且领域知识在Spider-DK和Spider-SYN数据集上产生了最先进的可比有效性。
2022-11-11 cs.CL
ShadowGNN: Graph Projection Neural Network for Text-to-SQL Parser
Shanghai Jiao Tong University(上海交通大学);State Key Lab of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室)
给定数据库模式,Text-to-SQL旨在将自然语言问题转换为相应的SQL查询。在跨域环境下,传统的语义解析模型难以适应不可见的数据库模式。为了提高模型的泛化能力,罕见的和看不见的模式,我们提出了一个新的架构,ShadowGNN,在抽象和语义层面上处理模式。通过忽略数据库中的语义项名称,抽象模式被利用在一个设计良好的图投影神经网络中,以获得问题和模式的非词汇化表示。基于领域无关的表示,关系感知的Transformer被用来进一步提取问题和模式之间的逻辑链接。最后,采用上下文无关文法的SQL解码器。在具有挑战性的Text-to-SQL基准测试Spider上,实证结果表明ShadowGNN的性能优于最先进的模型。当标注的数据非常有限时(只有10%的训练集),ShadowGNN获得了超过5%的绝对性能增益,这表明它具有强大的泛化能力。我们的实现将在\url{https://github.com/WowCZ/shadowgnn}上开源。
2021-04-14 cs.CL cs.HC
Selective Demonstrations for Cross-domain Text-to-SQL
The Ohio State University(俄亥俄州立大学)
本文提出ODIS框架,通过结合领域外与合成领域内示例构建演示,提升跨领域文本到SQL性能,在两个数据集上执行准确率分别提升1.1和11.8个百分点。
2023-10-10 cs.CL
ZAS-SQL: Distilling Rules from Failures for Zero-Shot Text-to-SQL
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海自主智能无人系统科学中心);College of Architecture and Urban Planning, Tongji University(同济大学建筑与城市规划学院);Behavioral and Spatial AI Lab, Peking University & Tongji University(北京大学与同济大学行为与空间人工智能实验室)
提出ZAS-SQL零样本框架,通过Map-Reduce规则蒸馏从失败案例中提取核心生成规则,结合知识增强模式表示、规则驱动结构化推理和执行引导早停三个模块,在Spider上达到87.2%和88.6%执行准确率,超越多个少样本和微调方法。
2026-06-06 cs.CL
Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing
Alibaba DAMO Academy(阿里巴巴达摩院)
文本到SQL解析的任务旨在将自然语言问题转换为可执行的SQL查询,近年来已经获得了越来越多的关注,因为它可以帮助最终用户有效地从数据库中提取重要信息,而不需要技术背景。文本到SQL解析中的主要挑战之一是领域泛化,即,如何很好地推广到未知数据库。最近,预训练的文本到文本的Transformer模型,即T5,虽然不是专门用于文本到SQL解析,但在针对领域泛化的标准基准测试中已经实现了最先进的性能。在这项工作中,我们探索了进一步增强预训练的T5模型的方法,其中包含用于文本到SQL解析的专用组件。这些组件预计将引入结构归纳偏见文本到SQL解析器,从而提高模型的能力(潜在的多跳)推理,这是生成结构丰富的SQL的关键。为此,我们提出了一个新的架构GRAPHIX-T5,一个混合模型与标准的预训练的Transformer模型增强了一些专门设计的图形感知层。大量的实验和分析表明,GRAPHIX-T5在四个文本到SQL基准测试:SPIDER,SYN,REALISTIC和DK上的有效性。GRAPHIX-T5以显著的优势超越了所有其他基于T5的解析器,实现了新的最先进的性能。值得注意的是,GRAPHIX-T5-large在精确匹配(EM)准确性和执行准确性(EX)方面的达到性能优于原始T5-large 5.7%。这甚至比T5-3B在EM上高出1.2%,在EX上高出1.5%。
2023-01-18 cs.CL cs.DB
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs(亚马逊AWS人工智能实验室)
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时,解析器没有可用的NLQ的显式语义信息,这导致不理想的泛化性能。此外,没有词汇级细粒度的查询理解,查询和数据库之间的链接只能依赖于模糊字符串匹配,这导致在实际应用中的次优性能。鉴于此,本文提出了一个通用的,模块化的神经语义解析框架,是基于令牌级细粒度查询理解。我们的框架包括三个模块:命名实体识别器(NER),神经实体链接器(NEL)和神经语义解析器(NSP)。NER模型通过对查询和数据库进行联合建模,分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果,并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明,该模型在WikiTableQuestions(WTQ)测试集上的执行准确率为56.8%,比现有模型高出2.7%.
2022-09-28 cs.CL
Leveraging Table Content for Zero-shot Text-to-SQL with Meta-Learning
Southeast University(东南大学);Alibaba Group(阿里巴巴集团)
单表文本到SQL的目标是根据一个单一的表将一个自然语言问题转换为一个SQL查询。最近的工作已经取得了可喜的进展,通过预训练的语言模型和多子模块框架在这方面的任务。然而,zero-shot table,即训练集中的不可见表,是目前制约现有方法应用于现实场景的最关键瓶颈。虽然有些工作利用辅助任务来帮助处理zero-shot表,但昂贵的额外手动注释限制了它们的实用性。在本文中,我们提出了一种新的方法,zero-shot文本到SQL的任务,不依赖于任何额外的手动注释。我们的方法包括两个部分。首先,我们提出了一个新的模型,利用表格内容的丰富信息,以帮助建立问题和zero-shot表之间的映射。此外,我们提出了一个简单而有效的元学习策略来训练我们的模型。该策略利用两步梯度更新来迫使模型学习对zero-shot表的泛化能力。我们进行了广泛的实验上的公共开放域的文本到SQL数据集WikiSQL和特定于域的数据集ESQL。与使用相同预训练模型的现有方法相比,我们的方法在两个数据集上都取得了显着的改进。与较大的预训练模型和特定于表格的预训练模型相比,我们的方法仍然具有竞争力。更重要的是,在两个数据集的zero-shot子集上,我们的方法进一步提高了改进。
2021-09-12 cs.CL
Every Step Counts: Step-Level Credit Assignment for Tool-Integrated Text-to-SQL
Institute of Computer Science and Technology, Soochow University, China(苏州大学计算机科学与技术学院);Ant Digital Technologies, Ant Group(蚂蚁集团数字技术部);School of Management, University of Science and Technology of China(中国科学技术大学管理学院)
本文提出FineStep框架,通过独立过程奖励设计和步骤级信用分配机制,解决文本到SQL中粗粒度监督导致的信用分配问题,提升模型效率和泛化能力。
2026-05-07 cs.CL
RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers
University of Edinburgh(爱丁堡大学);UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
当将自然语言问题转换为SQL查询以回答来自数据库的问题时,当代的语义解析模型难以推广到看不见的数据库模式。泛化的挑战在于(a)以语义解析器可访问的方式编码数据库关系,以及(b)在给定查询中对数据库列及其提及之间的对齐进行建模。我们提出了一个统一的框架,基于关系感知的自我注意力机制,以解决模式编码,模式链接,并在文本到SQL编码器的功能表示。在具有挑战性的Spider数据集上,该框架将精确匹配准确率提高到57.2%,比最好的同行提高了8.7%。通过进一步增强BERT,它在Spider排行榜上实现了65.6%的最新性能。此外,我们观察到模型对模式链接和对齐的理解有了质的改进。我们的实现将在https://github.com/Microsoft/rat-sql上开源。
2021-08-24 cs.AI cs.CL
Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval
National University of Defense Technology(国防科技大学)
提出基于LLM的文本到SQL框架,通过去语义化提取问题骨架检索相似示例,并建模问题与数据库模式关系,在三个跨领域基准上超越现有模型。
2023-08-31 cs.AI cs.CL
Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model
Shenzhen University(深圳大学)
针对低资源场景下文本到SQL任务中标注数据稀缺和领域知识缺失的问题,提出知识感知框架,通过构建任务特定知识库并注入训练和推理过程,提升开源和闭源大语言模型的性能。
2026-05-13 cs.CL cs.IR
Improving Generalization in Semantic Parsing by Increasing Natural Language Variation
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
针对 text-to-SQL 语义解析模型在 Spider 基准上因问题语言形式单一而难以泛化的问题,利用大型语言模型进行数据增强生成更多样真实的问题,显著提升了模型在鲁棒性基准和域外数据上的表现。
2024-02-13 cs.CL
Evaluating NL2SQL via SQL2NL
Oracle AI
本研究提出基于SQL2NL的模式对齐释义框架,单独评估NL2SQL模型对语言变异的鲁棒性,发现现有先进模型脆弱性远超标准基准表现,且鲁棒性下降受模型规模、查询复杂度等多因素影响。
2025-09-04 cs.AI cs.CL cs.DB
ExeSQL: Self-Taught Text-to-SQL Models with Execution-Driven Bootstrapping for SQL Dialects
The Hong Kong University of Science and Technology(香港科学与技术大学);Nanyang Technological University(南洋理工大学);The University of Hong Kong(香港大学)
ExeSQL提出执行驱动自举框架,通过迭代生成、执行过滤和偏好训练,使文本到SQL模型适应多种SQL方言,在PostgreSQL、MySQL和Oracle上分别提升15.2%、10.38%和4.49%。
2025-05-22 cs.AI cs.CL cs.DB
Reward-SQL: Boosting Text-to-SQL via Stepwise Execution-Aware Reasoning and Process-Supervised Rewards
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Alibaba Cloud Computing(阿里云 computing)
针对强化学习在Text-to-SQL中缺乏逐步执行感知推理和过程级奖励的问题,提出CoCTE框架和Reward-SQL方法,通过中间视图验证、结构化CTE及过程奖励模型,显著提升复杂查询的准确性和可解释性。
2026-06-15 cs.CL cs.LG
Generalization of Medical Large Language Models through Cross-Domain Weak Supervision
University of Padua(帕多瓦大学)
提出ICFT框架,结合课程学习、双阶段记忆协调和参数高效微调,提升医疗LLMs的生成与泛化能力,在多任务中优于基线方法。
2025-02-02 cs.CL
Question Answering for Complex Electronic Health Records Database using Unified Encoder-Decoder Architecture
KAIST(韩国科学技术院)
基于电子健康记录(EHR-QA)回答人类问题的智能机器具有很大的实用价值,例如支持临床决策,管理医院管理和医疗聊天机器人。以往基于表的QA研究侧重于将自然问题转换为表查询(NLQ 2SQL),然而,由于复杂和专业的医学术语,EHR数据的独特性,因此增加了解码难度。在本文中,我们设计了UniQA,一个统一的编码器-解码器架构的EHR-QA的自然语言的问题转换为查询,如SQL或SPARQL。我们还提出了输入屏蔽(IM),这是一种简单有效的方法,可以处理复杂的医学术语和各种错别字,并更好地学习SQL/SPARQL语法。通过将统一架构与有效的辅助训练目标相结合,UniQA与EHR领域中最复杂的NLQ 2SQL数据集MIMICSQL*(14.2%的增益)及其拼写错误版本(约28.8%的增益)相比,表现出了显著的性能提升。此外,我们确认了基于图形的EHR-QA数据集MIMICSPARQL* 的一致结果。
2021-11-14 cs.AI cs.CL cs.LG
Confidence Estimation for Error Detection in Text-to-SQL Systems
AIRI;MIPT(莫斯科物理技术学院);Sber AI;ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息学与自动化研究所可信人工智能研究中心)
本研究将选择性分类器集成到文本到SQL系统中,利用基于熵的置信度估计和校准技术,分析覆盖率与风险的权衡,发现T5校准优于GPT-4和Llama-3,且选择性分类器更易检测无关问题导致的错误。
2025-01-16 cs.CL cs.LG
Do LLMs Align with My Task? Evaluating Text-to-SQL via Dataset Alignment
University of Alberta(阿尔伯塔大学);Huawei Tech. Canada(华为技术加拿大)
本文研究NL2SQL任务中SFT训练数据与目标查询的结构对齐,提出通过比较结构SQL特征分布来估计对齐程度,实验证明高对齐带来显著性能提升,强调对齐感知的数据选择的重要性。
2025-10-06 cs.AI cs.CL cs.DB
The Interpretability Analysis of the Model Can Bring Improvements to the Text-to-SQL Task
China Life Insurance Company Limited, Jilin Province Branch(中国人寿保险股份有限公司吉林省分公司)
本文提出CESQL模型,将模型可解释性分析与执行引导策略相结合,并辅以过滤调整、逻辑关联优化和模型融合,在WikiSQL数据集上显著提升了文本到SQL任务中WHERE子句的预测准确率。
2025-08-12 cs.AI cs.CL cs.DB
MaskSQL: Safeguarding Privacy for LLM-Based Text-to-SQL via Abstraction
University of Waterloo(多伦多大学);Vector Institute(向量研究所);Layer 6 AI
针对基于LLM的text-to-SQL任务存在的隐私泄露风险,提出采用抽象机制保护敏感信息的MaskSQL框架,在保障隐私的同时实现了优于主流SLM模型、接近顶尖LLM模型的性能。
2025-09-30 cs.CL cs.CR
KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
数据库问答的目标是在不同的应用领域中实现对现实生活中的关系数据库的自然语言查询。最近,Spider和WikiSQL等大规模数据集促进了文本到SQL解析的新建模技术,改善了对未知数据库的zero-shot泛化。在这项工作中,我们研究的挑战,仍然阻止这些技术的实际部署。首先,我们介绍了KaggleDBQA,一个新的跨域的真实Web数据库的评估数据集,特定于域的数据类型,原始格式,和无限制的问题。第二,我们重新审视文本到SQL解析器在现实生活中应用的评估任务的选择。最后,我们增加了我们的领域内的评估任务与数据库文档,一个自然发生的源隐含的领域知识。我们表明,KaggleDBQA提出了一个挑战,国家的最先进的zero-shot解析器,但更现实的评估设置和创造性地使用相关的数据库文档提高了13.2%以上的准确性,使其性能翻了一番。
2021-06-22 cs.AI cs.CL cs.DB
Sparks of Tabular Reasoning via Text2SQL Reinforcement Learning
Novo Nordisk(诺华北欧制药)
本文将 Text-to-SQL 任务重构为教导 LLM 表格推理的途径,提出两阶段框架,利用 SQL 监督合成 CoT 轨迹并结合 GRPO 强化学习提升模型在 BIRD 等基准上的泛化能力与准确率。
2025-05-02 cs.AI cs.CL
Reasoning-Table: Exploring Reinforcement Learning for Table Reasoning
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文首次将强化学习应用于表格推理,提出Reasoning-Table,通过统一训练和基于规则的结果奖励在多个基准上超越SFT及更大的专有模型,并提升泛化性与鲁棒性。
2025-06-02 cs.CL
Data Transformation to Construct a Dataset for Generating Entity-Relationship Model from Natural Language
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出一种数据转换算法,将text-to-SQL数据转换为NL2ERM数据,构建大规模数据集,并训练两个IE模型,实验证明其性能优于现有基线。
2023-12-21 cs.CL
Exploring Compositional Generalization of Multimodal LLMs for Medical Imaging
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文通过构建包含106个数据集的Med-MAT基准,验证组合泛化(CG)是多模态LLM在医学影像多任务训练中实现泛化的关键驱动力,并确认其在分类与检测任务及有限数据场景下的有效性。
2025-05-31 cs.AI cs.CL cs.CV
Towards General Purpose Medical AI: Continual Learning Medical Foundation Model
Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);West China Hospital, Sichuan University(四川大学华西医院);Shanghai Jiao Tong University(上海交通大学);Sichuan University Pittsburgh Institute(四川大学匹兹堡学院)
现实世界场景中不可避免的领域和任务差异可能会损害医疗数据预训练深度模型的泛化性能。因此,我们大胆地提出,我们应该建立一个通用的医疗AI系统,可以无缝地适应下游领域/任务。由于域/任务自适应过程通常涉及额外的标记工作的目标数据,设计一个数据高效的自适应算法,以节省成本的转移学习的知识。我们最近的工作发现,视觉语言模型(VLM)是一种高效的学习者,具有非凡的跨领域能力。因此,在这项工作中,我们进一步探索了利用预先训练的VLM作为构建通用医疗AI的医学基础模型的可能性,其中我们彻底研究了三种机器学习范式,即,领域/任务专用学习、联合学习和持续学习,用于训练VLM并评估其在跨领域和跨任务测试集上的泛化性能。为了减轻顺序训练过程中的灾难性遗忘,我们采用了排练学习,并在泛化能力方面得到了大幅提升。总之,我们的经验证据表明,持续学习可能是一个实用和有效的学习模式的医学基础模型。并希望研究者能以我们的实证为基础,进一步探索医学基础模型的路径。
2023-03-12 cs.CL cs.CV cs.LG