Automatic database description generation for Text-to-SQL
Alibaba Group(阿里巴巴集团)
针对Text-to-SQL任务中数据库描述缺失问题,提出一种基于LLM的粗到细与细到粗双过程自动生成描述方法,在Bird基准上提升SQL生成准确率0.93%,达到人类水平的37%。
2025-02-28 cs.AI cs.CL cs.DB
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多链多跳检索推理新范式 Graph-Hop,构建了提供细粒度证据图的新基准 ReasonGraphQA,并提出双向图检索(BGR)基线方法,实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
On Evaluating the Integration of Reasoning and Action in LLM Agents with Database Question Answering
Yale University(耶鲁大学);LinkedIn(领英);NVIDIA Corporation(英伟达公司);Allen Institute for AI(艾伦人工智能研究所)
本研究提出长格式数据库问答数据集,评估LLMs与SQL解释器的交互,发现规划与多查询生成是主要瓶颈,并引入多智能体评估框架以提升评估可靠性。
2023-11-16 cs.CL
SQUiD: Synthesizing Relational Databases from Unstructured Text
University of Michigan(密歇根大学)
SQUiD通过神经符号框架从无结构文本自动合成关系数据库,优于现有方法。
2026-03-01 cs.CL cs.DB
DBAIOps: A Reasoning LLM-Enhanced Database Operation and Maintenance System using Knowledge Graphs
Shanghai Jiao Tong University(上海交通大学);Baisheng (Shenzhen) Technology Co., Ltd.(柏盛(深圳)科技有限公司);Tsinghua University(清华大学)
DBAIOps结合推理大语言模型与知识图谱,构建混合数据库运维系统,通过异构图、800+异常模型和两阶段图演化实现DBA风格诊断,在四个主流数据库上显著提升根本原因和人工评估准确率。
2025-08-02 cs.AI cs.CL cs.DB
Evaluating LLMs in Database Scenarios: A Lifecycle Benchmark for Assessing Their Potential in Core Database Tasks
East China Normal University(华东师范大学);Hasso Plattner Institute/University of Potsdam(哈索·普拉特纳研究所/波茨坦大学)
研究针对现有LLM数据库评估基准仅聚焦Text-to-SQL任务的缺陷,推出覆盖数据库全生命周期的DBLifeBench基准,还提出Progressive-Text2SQL任务,发现专用Text-to-SQL模型在非编码阶段存在灾难性遗忘,为全栈数据库智能构建奠定基础。
2026-08-05 cs.AI cs.CL cs.DB
Diverse Parallel Data Synthesis for Cross-Database Adaptation of Text-to-SQL Parsers
Indian Institute of Technology Bombay(印度理工学院孟买分校)
文本到SQL解析器通常在训练期间与看不见的数据库作斗争。由于新模式中缺少自然语言查询,使解析器适应新数据库是一个具有挑战性的问题。我们提出了ReFill,一个框架,用于合成高质量和文本多样的并行数据集,以适应文本到SQL解析器的目标模式。ReFill学习从现有模式中检索和编辑文本查询,并将其传输到目标模式。我们发现,检索不同的现有文本,掩盖其特定于模式的令牌,并重新填充与目标模式相关的令牌,导致更多样化的文本查询比标准的SQL到文本生成方法。通过跨多个数据库的实验,我们证明了使用ReFill合成的数据集上的微调解析器始终优于先前的数据增强方法。
2022-10-29 cs.AI cs.CL cs.LG
Holistic Reasoning with Long-Context LMs: A Benchmark for Database Operations on Massive Textual Data
Megagon Labs(美嘉刚实验室)
本文提出HoloBench基准,将数据库推理操作引入文本上下文,系统评估长上下文语言模型的整体推理能力,发现信息量、查询复杂度及信息分布等因素对性能的影响规律。
2025-03-12 cs.CL
Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院);College of Cyber Security, Jinan University(暨南大学网络安全学院)
本文调研了基于大语言模型的文本到SQL方法,分析了技术挑战、数据集、指标及最新进展,并讨论了未来研究方向。
2025-11-24 cs.AI cs.CL cs.DB
KaggleDBQA: Realistic Evaluation of Text-to-SQL Parsers
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
数据库问答的目标是在不同的应用领域中实现对现实生活中的关系数据库的自然语言查询。最近,Spider和WikiSQL等大规模数据集促进了文本到SQL解析的新建模技术,改善了对未知数据库的zero-shot泛化。在这项工作中,我们研究的挑战,仍然阻止这些技术的实际部署。首先,我们介绍了KaggleDBQA,一个新的跨域的真实Web数据库的评估数据集,特定于域的数据类型,原始格式,和无限制的问题。第二,我们重新审视文本到SQL解析器在现实生活中应用的评估任务的选择。最后,我们增加了我们的领域内的评估任务与数据库文档,一个自然发生的源隐含的领域知识。我们表明,KaggleDBQA提出了一个挑战,国家的最先进的zero-shot解析器,但更现实的评估设置和创造性地使用相关的数据库文档提高了13.2%以上的准确性,使其性能翻了一番。
2021-06-22 cs.AI cs.CL cs.DB
Language-Native Materials Processing Design by Lightly Structured Text Database and Reasoning Large Language Model
State Key Laboratory of Advanced Materials for Intelligent Sensing, Key Laboratory of Organic Integrated Circuit, Ministry of Education & Tianjin Key Laboratory of Molecular Optoelectronic Sciences, Department of Chemistry, School of Science, Tianjin University(智能传感先进材料国家重点实验室、有机集成电路重点实验室、教育部、天津分子光电子科学重点实验室、化学系、天津大学);Language Intelligence Technology Co., Ltd.(语言智能技术有限公司);College of Intelligence and Computing, Tianjin University(智能与计算学院、天津大学);School of Materials and Chemical Engineering, Ningbo University of Technology(材料与化学工程学院、宁波工业大学)
将材料合成规划重构为文本推理问题,通过轻结构化知识基底结合检索增强生成与经验增强推理,在氮化硼纳米片剥离中三轮迭代获得高质量协议。
2026-06-01 cond-mat.mtrl-sci cs.AI cs.CL
Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs
The University of Hong Kong(香港大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Laboratory(上海人工智能实验室)
提出BIRD基准,含12,751对数据、95个数据库,覆盖37领域,强调数据库值理解,ChatGPT执行准确率仅40.08%,远低于人类92.96%,揭示挑战。
2023-11-15 cs.CL
RASL: Retrieval Augmented Schema Linking for Massive Database Text-to-SQL
Amazon(亚马逊)
针对大语言模型数据库自然语言接口难以扩展到企业级海量数据目录的问题,提出RASL检索增强架构,拆解模式元数据为语义单元单独索引,兼顾表识别与列信息利用,在海量数据库上表现优于基线,无需领域微调即可适配企业场景。
2025-07-30 cs.AI cs.CL cs.LG
Engineering Knowledge Graph from Patent Database
Singapore University of Technology and Design(新加坡科技设计大学);SUTD-MIT International Design Centre(新加坡科技设计大学-麻省理工学院国际设计中心);University of Colorado Denver(科罗拉多大学丹佛分校)
我们提出了一个大的,可扩展的工程知识图谱,包括集(实体,关系,实体)的三元组,这些三元组是在专利数据库中发现的现实世界的工程事实。我们应用一套规则的基础上的句法和词汇属性的专利文件中的权利要求提取事实。我们在每个专利文档中聚合这些事实,并在专利数据库中整合聚合的事实集,以获得工程知识图谱。这样的知识图谱被期望在各种工程任务中支持推断、推理和回忆。该知识图谱具有更大的规模和覆盖范围相比,以前使用的知识图谱和语义网络的工程文献。
2021-06-12 cs.AI cs.CL cs.DB
Affordance Extraction with an External Knowledge Database for Text-Based Simulated Environments
University of Hagen(哈根大学)
基于文本的模拟环境已被证明是机器学习方法的有效测试平台。可供件提取的过程可以用于生成用于在这样的环境内交互的可能动作。在本文中,利用外部知识数据库(特别是ConceptNet)的启示提取过程中的能力和挑战进行了研究。介绍了一种用于自动化示能表示提取的算法,并在交互式小说(IF)平台TextWorld和Jericho上进行了评估。为此,将收集的示能表示转换为IF代理的文本命令。为了探测自动化评估过程的质量,进行了额外的人类基线研究。该文件说明,尽管存在一些挑战,外部数据库原则上可以用于启示提取。本文最后提出了进一步修改和改进该工艺的建议。
2023-02-21 cs.CL
V-SQL: A View-based Two-stage Text-to-SQL Framework
Guangzhou Huaweisoft Co. Ltd(广州华软有限公司)
本文提出基于视图的模式策略,将紧密耦合的表解耦为低耦合视图,增强LLM对数据库模式的理解,并构建V-SQL两阶段框架,在Bird数据集上取得与最先进方法相当的竞争力。
2024-12-17 cs.CL cs.DB
H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables
Virginia Tech(弗吉尼亚理工大学);Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出LLM驱动的H-STAR算法,通过两阶段过程结合符号与语义推理进行表格推理,在多个数据集上显著优于现有方法。
2025-04-07 cs.AI cs.CL cs.DB
Enhancing Text-to-SQL Capabilities of Large Language Models via Domain Database Knowledge Injection
School of Cyber Science Engineering, Huazhong University of Science and Technology(华中科技大学网络空间科学与工程学院);Wuhan AI Research Foundation Model Research Center(武汉人工智能研究基金会大模型研究中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Peng Cheng Laboratory(鹏城实验室)
本文提出通过注入领域数据库知识(如表模式和单元格值)来增强大语言模型的文本到SQL能力,实验表明预训练和微调显著提升执行匹配和精确匹配指标,并具有良好泛化性。
2025-02-25 cs.AI cs.CL
Abacus-SQL: A Text-to-SQL System Empowering Cross-Domain and Open-Domain Database Retrieval
Harbin Institute of Technology(哈尔滨工业大学)
针对现有文本转SQL系统缺乏开放域数据库检索能力、跨域迁移能力有限的问题,提出Abacus-SQL,通过数据库检索、数据增强、Pre-SQL和Self-debug方法提升性能,在多轮任务中表现优异且已公开。
2025-04-14 cs.CL
IGSQL: Database Schema Interaction Graph Based Neural Model for Context-Dependent Text-to-SQL Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室)
近年来,上下文相关的文本到SQL任务引起了人们的广泛关注。以前的上下文相关的文本到SQL任务的模型只集中在利用历史用户输入。在这项工作中,除了使用编码器来捕捉用户输入的历史信息,我们提出了一个数据库模式交互图编码器,利用历史信息的数据库模式项目。在解码阶段,我们引入了一个门机制来衡量不同词汇的重要性,然后进行预测的SQL令牌。我们评估我们的模型上的基准SParC和CoSQL数据集,这是两个大型的复杂的上下文相关的跨域文本到SQL数据集。我们的模型在很大程度上优于以前的最先进的模型,并在两个数据集上取得了新的最先进的结果。比较和消融的结果表明,我们的模型的有效性和有用的数据库模式交互图编码器。
2020-11-11 cs.CL
You Only Read Once (YORO): Learning to Internalize Database Knowledge for Text-to-SQL
AWS AI(AWS人工智能)
针对Text-to-SQL任务中重复编码数据库模式导致推理成本高、易忽略关键知识的问题,提出YORO范式,训练时将数据库知识内化到模型参数中,推理无需模式编码,大幅缩短输入长度,在多基准上性能可比传统系统,大数据库及含缩写的数值检索问题上表现更优。
2024-09-18 cs.CL
Companion Agents: A Table-Information Mining Paradigm for Text-to-SQL
Amap, Alibaba Group(阿里巴巴集团高德)
同伴代理通过主动挖掘数据库中的隐藏关系和统计规律,提升文本到SQL在注释稀缺条件下的准确率。
2025-12-17 cs.AI cs.CL
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University(莫纳什大学)
数字推理技能对于文本上的复杂问答(CQA)是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法,神经模块网络(NMN),遵循程序员-解释器范式,并利用专门的模块来执行组合推理。然而,国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术,以提高NMN的数值推理能力,使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上,实验结果表明,我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
A Multi Purpose and Large Scale Speech Corpus in Persian and English for Speaker and Speech Recognition: the DeepMine Database
Brno University of Technology(布尔诺理工大学);Sharif DeepMine Ltd.(谢里夫DeepMine有限公司)
DeepMine是波斯语和英语的语音数据库,旨在构建和评估文本相关,文本提示和文本无关的说话人验证以及波斯语语音识别系统。它包含了超过1850个演讲者和54万个录音,超过480小时的演讲被转录。它是第一个公开的波斯语大规模说话人确认数据库,最大的英语文本相关和文本提示的说话人确认数据库,以及最大的文本无关说话人确认的公共评估数据集。它有一个很好的覆盖年龄,性别和口音。我们为数据库的每个部分提供了几个评估协议,以便对说话人验证的不同方面进行研究。我们还提供了几个实验的结果,这些实验可以被视为基线:基于HMM的i向量用于文本相关的说话人验证,以及基于HMM和最先进的基于深度神经网络的ASR。我们证明,该数据库可以用于训练强大的ASR模型。
2019-12-08 cs.CL cs.SD eess.AS
CRYPTEXT: Database and Interactive Toolkit of Human-Written Text Perturbations in the Wild
The Pennsylvania State University(宾夕法尼亚州立大学);Yahoo Inc.(雅虎公司)
互联网上用户生成的文本内容通常是嘈杂的,错误的,并且在语法上不正确。事实上,一些在线用户选择通过精心扰动的文本在网上表达他们的观点,特别是在有争议的话题(例如,政治、疫苗授权)或滥用环境(例如,网络欺凌、仇恨言论)。然而,据我们所知,还没有一个框架来探索这些在线的“人类书写的”扰动(与算法生成的扰动相反)。因此,我们介绍了一个交互式系统,称为APPTEXT。APPTEXT是一个数据密集型的应用程序,它为用户提供了一个数据库和几个工具来提取和与人类编写的扰动进行交互。具体地,PNETTEXT帮助查找、扰动和归一化(即,解扰)文本。ESPTEXT还提供了一个交互式界面来在线监控和分析文本扰动。一个简短的演示视频可在:https://youtu.be/8WT3G8xjIoI
2023-01-16 cs.AI cs.CL cs.LG
Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task
Department of Computer Science, Yale University(耶鲁大学计算机科学系);Yale University(耶鲁大学)
我们提出了蜘蛛,一个大规模的,复杂的和跨领域的语义解析和文本到SQL数据集注释的11名大学生。它由10,181个问题和5,693个独特的复杂SQL查询组成,涉及200个数据库和多个表,覆盖138个不同的领域。我们定义了一个新的复杂的和跨域的语义解析和文本到SQL的任务,不同的复杂的SQL查询和数据库出现在训练和测试集。通过这种方式,任务要求模型能够很好地泛化到新的SQL查询和新的数据库模式。Spider与以前的大多数语义解析任务不同,因为它们都使用单个数据库,并且在训练集和测试集中使用完全相同的程序。我们用各种最先进的模型进行了实验,最好的模型在数据库拆分设置上仅达到12.4%的精确匹配精度。这表明Spider对未来的研究提出了很大的挑战。我们的数据集和任务可在https://yale-lily.github.io/spider上公开获取
2019-02-02 cs.AI cs.CL
TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning
Capital One(第一资本金融公司);Brown University(布朗大学)
本文提出TextGames基准,通过文本谜题评估大语言模型的推理能力,发现模型在困难任务上表现不佳,而推理优化模型优于指令遵循模型。
2025-02-25 cs.AI cs.CL
Unmasking Database Vulnerabilities: Zero-Knowledge Schema Inference Attacks in Text-to-SQL Systems
Department of Information Systems and Cyber Security(信息系统与网络安全系);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出一种零知识模式推断攻击框架,通过精心设计的问题探测文本到SQL模型并利用GPT-4解释输出,以高准确率重建数据库表名等模式信息,揭示了严重的安全漏洞并评估了简单防护机制的局限。
2025-06-03 cs.CL
Evaluating Reasoning Fidelity in Visual Text Generation
Stony Brook University(石桥大学)
通过长文本渲染、事实知识探测、上下文理解和多步推理等任务,评估当前文本到图像模型在视觉文本生成中是否忠实保持推理能力,发现其常产生语义错误和逻辑不一致,与纯文本模型存在显著差距。
2026-06-03 cs.AI cs.CL cs.CV
RYANSQL: Recursively Applying Sketch-based Slot Fillings for Complex Text-to-SQL in Cross-Domain Databases
Kakao Enterprise;Sungkyunkwan University(成均馆大学)
Text-to-SQL是在给定问题和数据库的情况下,将用户问题转换为SQL查询的问题。在本文中,我们提出了一个神经网络的方法称为RYANSQL(递归产生注释网络SQL),以解决复杂的文本到SQL的跨域数据库的任务。定义了状态位置码SPC,将嵌套的SQL查询转换为一组非嵌套的SELECT语句;提出了一种基于草图的槽填充方法,将每个SELECT语句合成为相应的SPC。此外,两个输入操作方法,以进一步提高生成性能。RYANSQL在具有挑战性的Spider基准测试中实现了58.2%的准确率,比以前的最先进方法提高了3.2%。在撰写本文时,RYANSQL在Spider排行榜上排名第一。
2020-04-07 cs.CL
Developing a model for a text database indexed pedagogically for teaching the Arabic language
Higher School of Sciences and Techniques of Tunis(突尼斯高等科学与技术学院);University of Monastir(莫纳斯提尔大学)
在这个记忆中,我们设计了阿拉伯语的索引模型,并采用标准来描述所使用的学习资源(LOM及其应用程序配置文件),学习条件包括学生的教育水平,他们的理解水平.考虑到文本的代表性元素,文本的长度,.特别是,我们强调阿拉伯语的特殊性,这是一种复杂的语言,其特点是它的弯曲,它的voyellation和它的粘合。
2012-06-10 cs.CL
SAFENLIDB: A Privacy-Preserving Safety Alignment Framework for LLM-based Natural Language Database Interfaces
针对基于LLM的NLIDB面临的隐私泄露风险,提出SAFENLIDB框架,通过自动化混合思维链数据生成、推理预热和交替偏好优化,在复杂攻击下提升安全性能并降低误报率,同时保持SQL查询可靠性。
2025-11-11 cs.CL
R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
Nanjing University(南京大学)
现有的问答系统只能预测答案,没有明确的推理过程,这阻碍了它们的可解释性,使我们高估了它们对自然语言的理解和推理能力。在这项工作中,我们提出了一个新的阅读理解任务,其中需要一个模型来提供最终的答案和推理过程。为此,我们介绍了一种形式主义的推理非结构化文本,即文本推理的意义表示(TRMR)。TRMR由三个短语组成,这三个短语的表达能力足以表征回答阅读理解问题的推理过程。我们开发了一个注释平台,以方便TRMR的注释,并发布了R3数据集,一个\textbf{R}阅读理解基准\textbf{R},要求\textbf{R}推理过程。R3包含超过60 K对问题-答案对及其TRMR。我们的数据集可在:\url{http://anonymous} .
2020-04-02 cs.AI cs.CL
SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning
Michigan State University(密歇根州立大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
本文提出了一个问答(QA)基准空间推理的自然语言文本,其中包含更现实的空间现象没有被以前的工作,是具有挑战性的国家的最先进的语言模型(LM)。我们提出了一种远程监控的方法,以改善这项任务。具体来说,我们设计的语法和推理规则,自动生成的视觉场景和相应的QA对的空间描述。实验表明,在这些自动生成的数据上进一步预训练LM可以显着提高LM的空间理解能力,这反过来有助于更好地解决两个外部数据集bAbI和boolQ。我们希望这项工作可以促进调查更复杂的模型,空间推理的文本。
2021-04-12 cs.AI cs.CL
Norm Based Causal Reasoning in Textual Corpus
基于真值的蕴涵不足以很好地理解自然语言。事实上,它并不能推导出理解语篇所必需的隐含信息。另一方面,基于规范的蕴涵能够达到这一目的。这个想法是70年代Frames(Minsky 75)和Schank(Schank 77,Schank 79)的发展背后的原因。但这些理论还不够形式化,对新形势的适应性还很不明显。在本文中,我们提出了一个推理系统,它使用规范的因果推理过程中,以找到事故的原因,从描述它的文本。
2006-10-04 cs.AI cs.CL
IterLara: A Turing Complete Algebra for Big Data, AI, Scientific Computing, and Database
Chinese Academy of Sciences(中国科学院)
本文提出扩展迭代算子的 IterLara 代数,以统一大数据、AI、科学计算与数据库操作,并证明其可表达矩阵求逆、行列式且图灵完备,同时提出 OP 计算量度量。
2023-07-17 cs.CL cs.DB cs.DS
Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space
The Hong Kong Polytechnic University(香港理工大学);Singapore Management University(新加坡管理学院);Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出IVT-LR方法,通过在潜在空间中交织视觉和文本信息,提升多模态推理的效率和准确性。
2026-01-28 cs.AI cs.CL cs.CV
MDB-Link: Hierarchical Schema Linking for Multi-Database Text-to-SQL
University of Manchester(曼彻斯特大学);Faculty of Science and Engineering(科学与工程学院)
本文针对多数据库Text-to-SQL场景提出分层模式链接框架MDB-Link,结合LLM实现数据库定位与列选择,在多个数据集上性能及运行速度均优于基线方法,可高效支撑SQL生成。
2026-08-11 cs.CL
Using Database Rule for Weak Supervised Text-to-SQL Generation
Rokid AI Lab(Rokid人工智能实验室);China Electronic Technology Group Corporation Information Science Academy(中国电子科技集团公司信息科学研究院)
我们提出了一个简单的方法来做的任务,文本到SQL的问题,弱监督。我们称之为规则SQL。在没有SQL逻辑形式的数据库表中给定问题和答案,Rule-SQL首先使用基于表列名和问题字符串的规则进行SQL探索,然后使用探索的SQL进行监督训练。我们设计了一些规则来减少探索搜索空间。对于深层模型,我们利用BERT作为表示层,并将模型分为SELECT、AGG和WHERE部分。在WikiSQL上的实验结果优于完全监督的强基线,并且与最新的弱监督方法相当。
2019-09-09 cs.CL
DB-Explore: Automated Database Exploration and Instruction Synthesis for Text-to-SQL
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院)
针对现有text-to-SQL系统缺乏全面数据库理解的问题,提出DB-Explore框架,通过数据库图构建、知识挖掘与指令合成实现LLM与数据库知识对齐,在SPIDER、BIRD基准上取得优异表现,基于Qwen2.5-Coder-7B的开源实现以低成本达SOTA。
2025-05-21 cs.CL
OCR-Reasoning Benchmark: Unveiling the True Capabilities of MLLMs in Complex Text-Rich Image Reasoning
South China University of Technology(华南理工大学);Huawei Technologies Co., Ltd(华为技术有限公司)
提出OCR-Reasoning基准,包含1069个人工标注样本,覆盖6种核心推理能力和18个实际推理任务,通过双标注(最终答案和逐步推理过程)评估多模态大语言模型在文本丰富图像推理中的能力,发现最先进模型准确率均低于50%。
2026-05-26 cs.AI cs.CL cs.CV
Encoding Database Schemas with Relation-Aware Self-Attention for Text-to-SQL Parsers
UC Berkeley(加州大学伯克利分校);Intel Labs(英特尔实验室)
当将自然语言问题转换为SQL查询来回答数据库中的问题时,我们希望我们的方法可以推广到训练集之外的域和数据库模式。为了使用神经编码器-解码器范例处理复杂的问题和数据库模式,将模式正确编码为问题输入的一部分至关重要。在本文中,我们在编码器中使用关系感知的自注意力,以便它可以推理所提供的模式中的表和列如何相互关联,并使用此信息来解释问题。我们在最近发布的Spider数据集上取得了显著的进步,精确匹配准确率为42.94%,而在已发表的工作中报告的准确率为18.96%。
2019-06-27 cs.CL cs.LG stat.ML
Integrating a Lexical Database and a Training Collection for Text Categorization
文本自动分类是自然语言处理领域的一项复杂而有用的任务。最近的文本分类方法更多地关注算法,而不是涉及这个操作的资源。与此相反,我们提出了一种方法的基础上整合广泛可用的资源,词汇数据库和训练集合,以克服目前的任务的局限性。我们的方法利用WordNet同义词信息来增加训练不好的类别的证据。当测试一个直接的分类,一个基于WordNet的,一个训练算法,和我们的综合方法,后者表现出更好的perfomance比任何其他的。顺便说一句,基于WordNet的方法性能与训练方法相当。
1997-09-15 cmp-lg cs.CL
SpiralThinker: Latent Reasoning through an Iterative Process with Text-Latent Interleaving
Yonsei University(延世大学)
SpiralThinker通过文本-潜在交织的迭代过程实现稳定潜在推理,结合渐进对齐目标和结构化标注,提升推理稳定性与一致性,实现数学、逻辑和常识推理任务的SOTA性能。
2026-04-18 cs.CL
LinkAlign: Scalable Schema Linking for Real-World Large-Scale Multi-Database Text-to-SQL
China Academy of Information and Communications Technology(中国信息通信技术研究院);Renmin University of China(中国人民大学);University of International Business and Economics(国际经济贸易大学)
LinkAlign通过多轮语义增强检索、无关信息隔离和模式提取增强,解决大规模多数据库场景下的模式链接两大挑战,在Spider 2.0-Lite上以开源LLM达到33.09%的新SOTA。
2025-09-08 cs.CL
Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation
Xi’an Jiaotong University(西安交通大学);Beijing University of Posts and Telecommunications(北京邮电大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种称为IRNet的神经方法,用于复杂和跨域的Text-to-SQL。IRNet旨在解决两个挑战:1)用自然语言(NL)表达的意图与SQL中的实现细节之间的不匹配; 2)由大量域外单词引起的预测列的挑战。IRNet不是端到端合成SQL查询,而是将合成过程分解为三个阶段。在第一阶段,IRNet在问题和数据库模式之间执行模式链接。然后,IRNet采用基于语法的神经模型来合成SemQL查询,这是我们设计的中间表示,以桥接NL和SQL。最后,IRNet确定性地从具有领域知识的合成SemQL查询中推断SQL查询。在具有挑战性的Text-to-SQL基准测试Spider上,IRNet实现了46.7%的准确率,比以前的最先进方法获得了19.5%的绝对改进。在撰写本文时,IRNet在Spider排行榜上排名第一。
2019-05-29 cs.CL
Reasoning over Hybrid Chain for Table-and-Text Open Domain QA
Langboat Technology(澜舟科技);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
表格式和文本式问答要求系统在考虑表格结构以及表格和文本之间的联系的情况下对异构信息执行推理。在本文中,我们提出了一个ChAin为中心的推理和预训练框架(CARP)。CARP利用混合链模型描述了问答中表与文本之间的显式中间推理过程。我们还提出了一种新的以链为中心的预训练方法,以增强预训练模型在识别跨模态推理过程和缓解数据稀疏问题方面的能力。该方法通过合成维基百科中的伪异构推理路径并生成相应的问题来构建大规模推理语料库。在一个大规模的表格和文本的开放领域的问答基准测试平台OTT-QA上,我们对系统进行了测试,结果表明,我们的系统达到了最先进的性能。进一步的分析表明,显式混合链提供了显着的性能改善和解释的中间推理过程,和链为中心的预训练,提高性能的链提取。
2022-01-15 cs.CL
SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院);National University of Singapore(新加坡国立大学)
针对现有科学问答数据集推理类型有限且忽视表格与文本关联的问题,提出SciTaT基准,并设计结合多种推理方法的CaR基线,在SciTaT上平均提升12.9%。
2024-12-16 cs.CL
CSS: A Large-scale Cross-schema Chinese Text-to-SQL Medical Dataset
Shanghai Jiao Tong University(上海交通大学);Tencent Jarvis Lab(腾讯贾维斯实验室)
本文提出跨模式文本到SQL任务,并构建了大规模中文医学数据集CSS,包含多个数据库及数万条问题/SQL对,通过基准实验验证了其用于模型泛化研究的价值。
2023-05-25 cs.CL
UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Zhongguancun Academy(中关村学院)
UniVLR提出一种统一的视觉潜在推理框架,将文本推理和辅助视觉证据视为共享的视觉工作空间,通过压缩统一表示提升多模态大语言模型的视觉推理效率。
2026-05-12 cs.CL cs.CV
Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University(浙江大学);Fudan University(复旦大学);Westlake University(西湖大学)
自然语言推理是自然语言处理的一项基本任务,它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示,但它们不足以测试长文本的上下文推理,这是人类推理过程的自然部分。我们介绍了ConTRoL,一个新的数据集,用于长文本的上下文推理。ConTRoL由8,325个专家设计的带有黄金标签的“上下文假设”对组成,是一个高级NLI数据集,专注于复杂的上下文推理类型,如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验(言语推理测验),具有专家级质量。与以前的NLI基准相比,ConTRoL中的材料更具挑战性,涉及一系列推理类型。实证结果表明,最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集,例如检查摘要的事实正确性。
2020-11-10 cs.CL
TextReasoningBench: Does Reasoning Really Improve Text Classification in Large Language Models?
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);School of Nursing, The Hong Kong Polytechnic University(香港理工大学护理学院)
本文通过TextReasoningBench评估推理策略在文本分类中的有效性与效率,发现推理并非总能提升性能,且多数策略效率低下。
2026-03-20 cs.CL
Text-Centric Post-Training for Omni-Modal Reasoning
Shanghai Jiao Tong University(上海交通大学)
针对Omni大模型音视频推理成本高且感知与推理解耦的问题,提出以文本为中心的后训练范式:纯文本训练优化推理,减少数据的音视频RL细化感知,在显著降低算力与数据需求的同时,大幅提升推理并保持感知。
2026-10-05 cs.CL
Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
针对现有文本嵌入方法缺乏推理能力的问题,提出融合推理的文本嵌入方法RITE,通过生成式大语言模型在嵌入计算前生成中间推理文本,在BRIGHT基准上显著提升了多领域零样本稠密检索性能。
2025-08-29 cs.CL