SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation
University of Cambridge(剑桥大学)
SQLformer是一种新型Transformer架构,通过自回归生成SQL查询的抽象语法树并融入结构归纳偏置,在六个文本到SQL基准上取得最先进性能。
2024-05-27 cs.CL cs.LG
Towards Optimizing SQL Generation via LLM Routing
Polytechnique Montréal(蒙特利尔理工学院)
本文首次提出针对Text-to-SQL的LLM路由方法,通过动态选择成本效益最高的模型,在保持准确率的同时降低成本,并在BIRD数据集上验证了可解释的准确率-成本权衡。
2026-09-15 cs.AI cs.DB cs.LG
SQL-to-Text Generation with Graph-to-Sequence Model
Tencent AI Lab(腾讯人工智能实验室);IBM Research(IBM研究院);Peking University(北京大学)
以前的工作接近SQL到文本生成任务使用香草Seq 2Seq模型,这可能无法完全捕获SQL查询中固有的图结构信息。在本文中,我们首先介绍了一种策略来表示SQL查询作为一个有向图,然后采用图序列模型编码的全局结构信息到节点嵌入。该模型可以有效地学习SQL查询模式及其解释之间的相关性。在WikiSQL数据集和Stackoverflow数据集上的实验结果表明,我们的模型显著优于Seq 2Seq和Tree 2Seq基线,达到了最先进的性能。
2019-02-12 cs.CL cs.LG
RetrySQL: text-to-SQL training with retry data for self-correcting query generation
针对text-to-SQL任务缺乏自校正生成相关SQL专用模型研究的问题,提出RetrySQL方法,构造含正误推理步骤的重试数据开展全参数持续预训练,可提升模型执行准确率,性能媲美参数量高数个量级的专有模型。
2025-11-14 cs.LG
Robust Text-to-SQL Generation with Execution-Guided Decoding
University of Washington(华盛顿大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院);Google Brain(谷歌大脑)
我们考虑神经语义解析的问题,它将自然语言问题转换为可执行的SQL查询。我们引入了一个新的机制,执行指导,利用SQL的语义。它在解码过程中检测并排除故障程序,条件是执行部分生成的程序。该机制可以与任何自回归生成模型,我们证明了四个国家的最先进的经常性或基于模板的语义解析模型。我们证明了执行指南普遍提高了模型性能的各种文本到SQL数据集具有不同的规模和查询复杂性:WikiSQL,ATIS和GeoQuery。因此,我们在WikiSQL上实现了83.8%的最新执行准确率。
2018-09-13 cs.AI cs.CL cs.DB
TelecomRAG: Taming Telecom Standards with Retrieval Augmented Generation and LLMs
本文提出 TelecomRAG 框架,结合 RAG 与基于 3GPP Release 16/18 文档的知识库,构建可验证的电信标准助手,在准确性和技术深度上优于通用 LLM。
2024-06-11 cs.LG cs.NI
Taming Transformers for Realistic Lidar Point Cloud Generation
WMG, University of Warwick(华威大学 WMG)
本文提出 LidarGRIT,通过自回归 Transformer 在 VQ-VAE 潜在空间迭代采样距离图像并分别解码射线丢失掩码,解决扩散模型难以逼真建模激光雷达射线丢失噪声的问题,在两个 KITTI 数据集上超越 SOTA。
2024-04-08 cs.CV cs.LG cs.RO
Text-to-SQL Generation for Question Answering on Electronic Medical Records
Virginia Tech(弗吉尼亚理工大学)
电子医疗记录(EMR)包含全面的患者信息,并且通常存储在具有多个表的关系数据库中。从电子病历数据中有效地检索患者信息检索是医学专家的一项具有挑战性的任务。SQL到SQL生成方法通过首先预测关于数据库的给定问题的SQL查询,然后在数据库上执行查询来解决这个问题。然而,大多数现有的方法还没有适应医疗保健领域,由于缺乏医疗保健数据库到SQL数据集的学习模型特定于这个领域。此外,术语缩写的广泛使用和问题中可能的错别字为准确生成相应的SQL查询带来了额外的挑战。在本文中,我们通过开发一个基于深度学习的TRanslate-Edit Model for SQL(TREQS)生成来解决这些挑战,该模型采用广泛使用的序列到序列模型来直接生成给定问题的SQL查询,并使用注意力复制机制和特定于任务的查找表进一步执行所需的编辑。基于广泛使用的公共电子医疗数据库,我们创建了一个新的大规模的SQL对数据集,命名为MIMICSQL,以执行在医疗领域的SQL到SQL的生成任务。一组广泛的实验进行评估我们提出的模型MIMICSQL的性能。定量和定性的实验结果表明,我们所提出的方法在预测条件值的灵活性和效率,其鲁棒性随机问题的缩写和错别字。
2020-01-30 cs.AI cs.CL cs.IR
PromptMind Team at EHRSQL-2024: Improving Reliability of SQL Generation using Ensemble LLMs
PromptMind Team(PromptMind团队)
针对EHRSQL-2024共享任务的电子健康记录Text-to-SQL需求,提出基于LLM提示和微调的两种方法并集成,弥合知识差距、提升生成可靠性,获竞赛第二名,方法可迁移至同类领域任务。
2024-05-14 cs.AI cs.CL cs.DB
Fine-Tuning Language Models for Context-Specific SQL Query Generation
DinMo(DinMo公司)
本文面向零售领域,使用 GPT-4 构造方言特定合成数据,并基于 LoRa 微调 Starcoder Plus、Code-Llama 和 Mistral,使其在零样本 SQL 生成中超过 GPT-4。
2023-12-04 cs.AI cs.CL cs.DB
TinySQL: A Progressive Text-to-SQL Dataset for Mechanistic Interpretability Research
Martian;Apart Research;NVIDIA;Thoughtworks;Mohammed VI Polytechnic University(摩洛哥穆莱·易斯政院)
针对机制可解释性研究中玩具任务与大模型研究脱节的问题,提出以text-to-SQL为研究任务,构建渐进式合成数据集TinySQL并训练不同规模模型,结合多种可解释性技术分析SQL生成机制,提供了可解释性方法对比研究的稳健框架。
2025-10-22 cs.AI cs.DB cs.LG
ColdGANs: Taming Language GANs with Cautious Sampling Strategies
CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);reciTAL
基于最大似然估计(MLE)的训练机制受到已知的限制,通常导致生成的文本序列很差。这些局限性的根源是训练和推理之间的不匹配,即所谓的暴露偏差,由于只认为参考文本是正确的,而在实践中,几种替代公式可能同样好,这加剧了这种不匹配。生成对抗网络(GANs)可以缓解这些限制,但文本的离散性阻碍了它们在语言生成中的应用:迄今为止提出的基于强化学习的方法表现不佳。从以前的工作出发,我们分析了应用于文本生成的GANs中的探索步骤,并展示了经典采样如何导致不稳定的训练。我们建议在我们命名为ColdGAN的GAN框架中考虑替代探索策略,在该框架中,我们强制采样接近分布模式,以获得更平滑的学习动态。据我们所知,所提出的语言GANs第一次与MLE相比毫不逊色,并在三个生成任务(即无条件文本生成,问题生成和抽象摘要)上获得了最先进的改进。
2020-06-08 cs.CL cs.LG
End-to-End Text-to-SQL with Dataset Selection: Leveraging LLMs for Adaptive Query Generation
Singapore University of Technology and Design(新加坡科技设计大学)
针对多数据库场景下目标数据库需预先指定的问题,提出三阶段端到端Text-to-SQL框架,利用LLMs提取规则并训练RoBERTa模型预测数据库标识符,结合critic agents优化SQL,在意图预测和生成准确性上超越现有模型。
2025-08-11 cs.AI cs.LG
Taming Audio VAEs via Target-KL Regularization
Adobe Research(Adobe研究院)
本文提出通过压缩率调节和目标KL正则化训练音频VAE,以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题,并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
Recent Advances in SQL Query Generation: A Survey
Ss. Cyril and Methodius University(圣西里尔与美多德大学)
假设自然语言是许多领域的最佳用户界面。然而,在自然语言和任何其他领域之间提供接口的通用模型仍然不存在。为关系数据库提供自然语言接口可能会吸引绝大多数精通或不精通查询语言的用户。随着深度学习技术的兴起,在设计一个合适的关系数据库的自然语言接口方面有着广泛的研究。本调查旨在概述在从自然语言生成SQL查询方面提出的一些最新方法和模型。我们描述了各种架构的模型,如卷积神经网络,递归神经网络,指针网络,强化学习等几个数据集旨在解决SQL查询生成问题的解释和简要概述。最后,在该领域中使用的评价指标主要是执行准确性和逻辑形式准确性的组合。
2020-05-15 cs.AI cs.CL cs.LG
SQLBarber: A System Leveraging Large Language Models to Generate Customized and Realistic SQL Workloads
Cornell University(康奈尔大学)
SQLBarber利用大型语言模型生成定制化且真实的SQL工作负载,通过声明式接口和贝叶斯优化器高效生成符合目标成本分布的查询。
2025-12-02 cs.AI cs.CL cs.DB
MirrorWorld: Taming Video Diffusion Models for Mirror Reflection Generation
MirrorWorld是一种反射感知视频修复框架,通过语义关系蒸馏和几何变换对齐建模场景与镜像的关系,在视频镜像反射重建任务上优于现有方法。
2026-08-10 cs.CV cs.LG
RingSQL: Schema-Independent Synthetic Data Generation for Text-to-SQL Reinforcement Learning
Northwestern University(西北大学);Purdue University(普渡大学)
RingSQL通过结合不依赖模式的模板和大语言模型生成,提升文本到SQL模型的准确性和多样性
2026-08-06 cs.CL cs.LG
Greener yet Powerful: Taming Large Code Generation Models with Quantization
AWS AI Labs(AWS人工智能实验室)
ML驱动的代码生成旨在通过基于自然语言提示智能地生成代码块来帮助开发人员以更高效的方式编写代码。最近,大型预训练深度学习模型已经大大推动了代码生成的边界,并取得了令人印象深刻的性能。尽管它们的功能很强大,但大量的模型参数对在常规软件开发环境中调整它们构成了重大威胁,在常规软件开发环境中,开发人员可能使用标准笔记本电脑或中型服务器来开发代码。这样的大型模型会导致大量的资源使用(在内存、延迟和美元方面)以及碳足迹。模型压缩是解决这些挑战的一种很有前途的方法。提出了几种技术来压缩通常用于视觉或文本数据的大型预训练模型。在许多可用的压缩技术中,我们确定量化最适用于代码生成任务,因为它不需要显著的再训练成本。由于量化表示具有较低位整数的模型参数(例如,int8),模型大小和运行时延迟都将受益于这种int表示。我们广泛研究了量化模型对不同维度的代码生成任务的影响:(i)资源使用和碳足迹,(ii)准确性,(iii)鲁棒性。为此,通过系统的实验,我们找到了一个配方的量化技术,甚至可以运行一个$6$ B模型在一个普通的笔记本电脑没有显着的准确性或鲁棒性退化。我们进一步发现,该方法也适用于代码摘要任务。
2023-03-09 cs.LG cs.SE
Taming Mode Collapse in Score Distillation for Text-to-3D Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta Reality Labs(元现实实验室)
本文揭示文本到三维生成中分数蒸馏的 Janus 伪影源于逐视图最大似然导致的模式坍缩,提出通过恢复变分目标中的熵项并推导出熵分数蒸馏(ESD),以无分类器引导的简单实现有效缓解视图不一致问题。
2024-03-29 cs.CV cs.LG
Taming Visually Guided Sound Generation
Tampere University(坦佩雷大学)
视觉诱导音频生成的最新进展是基于对短、低保真度和一类声音的采样。此外,从最先进的模型中采样1秒音频在高端GPU上需要几分钟。在这项工作中,我们提出了一个单一的模型,能够生成视觉相关的,高保真的声音提示与一组帧从开放域的视频在更短的时间比它需要在一个单一的GPU上播放。我们训练一个Transformer,从预先训练的频谱图码本中采样一个新的频谱图,给定一组视频特征。使用VQGAN的变体获得码本,该变体被训练以产生具有新颖的基于频谱的感知损失的紧凑采样空间。使用基于窗口的GAN将生成的频谱图转换为波形,从而显著加快生成速度。考虑到缺乏自动评估生成的频谱图的指标,我们还建立了一个家庭的指标,称为FID和MKL。这些指标是基于一种新的声音分类器,称为Melception,旨在评估开放域样本的保真度和相关性。对小型和大型数据集进行定性和定量研究,以评估所生成样本的保真度和相关性。我们还将我们的模型与最先进的模型进行了比较,并观察到在质量、大小和计算时间方面都有了实质性的改进。代码、演示和示例:v-iashin.github.io/SpecVQGAN
2021-10-17 cs.AI cs.CV cs.LG
Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models
Huazhong University of Science and Technology(华中科技大学)
针对潜在扩散模型中高维潜在空间优化困难的问题,本文提出将视觉分词器潜在空间与视觉基础模型对齐的VA-VAE,并配套构建LightningDiT,在ImageNet 256x256生成上取得SOTA性能,收敛速度较原始DiT提升超21倍。
2025-03-10 cs.CV cs.LG
Taming Imperfect Process Verifiers: A Sampling Perspective on Backtracking
Microsoft(微软)
针对过程验证器误差会被标准解码放大的问题,本文提出概率回溯的测试时采样算法 VGB,并从随机游走理论与合成、真实语言任务实验两方面证明其更鲁棒且优于基线。
2025-10-03 cs.DS cs.LG