Semantic Parsing with Syntax- and Table-Aware SQL Generation
Microsoft Research Asia(微软亚洲研究院);Microsoft AI and Research(微软人工智能与研究院);Harbin Institute of Technology(哈尔滨工业大学)
我们提出了一个生成模型映射到SQL查询的自然语言的问题。现有的基于神经网络的方法通常逐词生成SQL查询,然而,由于问题词和表内容之间的不匹配,所生成的结果的大部分是不正确的或不可执行的。我们的方法解决了这个问题,考虑表的结构和SQL语言的语法。生成的SQL查询的质量通过(1)学习从列名、单元格或SQL关键字复制内容;以及(2)通过利用列-单元格关系来改进WHERE子句的生成而得到显著提高。实验进行WikiSQL,最近发布的数据集最大的问题SQL对。我们的方法显着提高了国家的最先进的执行精度从69.0%到74.4%。
2018-04-23 cs.CL
Entity-Aware Biaffine Attention Model for Improved Constituent Parsing with Reduced Entity Violations
Henan Institute of Technology(河南科技学院)
针对成分句法分析中的实体违规问题,提出实体感知双仿射注意力模型,通过引入实体角色向量提升分析准确率,并使用新指标EVR量化违规程度,在多数据集上实现最低EVR且保持高F1分数。
2024-11-12 cs.AI cs.CL
Notes About a More Aware Dependency Parser
在本文中,我解释了促使我研究和构思一种新的依存句法分析技术的原因,这种技术将基于数据驱动的转换方法和基于约束的方法的优点结合在一起。特别是我强调的问题,推断的可靠性的数据驱动的基于转换的解析器的结果,这是非常重要的高层次的过程,期望使用正确的解析结果。然后,我简要介绍了一些关于我正在研究的新解析器模型的注意事项,该模型能够以一种“更有意识”的方式进行分析,具有更“健壮”的健壮性概念。
2015-07-20 cs.CL
Relation Aware Semi-autoregressive Semantic Parsing for NL2SQL
Ant Group(蚂蚁集团);Fudan University(复旦大学)
自然语言到SQL(NL 2 SQL)旨在将给定数据库的自然语言解析为SQL查询,广泛出现在实际的互联网应用中。数据库模式和问句的联合编码是NL2SQL中一个困难而重要的任务。一种解决方案是将输入视为异构图。然而,它未能学习到好的词汇表征问题的话语。学习更好的词表示对于构建一个设计良好的NL2SQL系统非常重要。为了解决这一难题,我们提出了一个关系感知的半自回归语义解析(\MODN)框架,该框架更适合于NL2SQL。它首先学习关系嵌入模式实体和问题词与预定义的模式关系与ELECTRA和关系感知Transformer层作为骨干。然后,我们解码查询SQL与半自回归解析器和预定义的SQL语法。从实证结果和案例研究,我们的模型表明,在学习更好的词表示在NL2SQL的有效性。
2021-08-02 cs.AI cs.CL
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中,我们提出了一个结构感知的神经架构,它分解成两个阶段的语义解析过程。给定一个输入话语,我们首先生成其含义的粗略草图,其中低级别信息(如变量名和参数)被掩盖。然后,我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明,我们的方法不断提高性能,实现竞争力的结果,尽管使用相对简单的解码器。
2018-05-12 cs.CL
Syntactic Nuclei in Dependency Parsing -- A Multilingual Exploration
Uppsala University(乌普萨拉大学)
句法依存句法分析的标准模型把词作为依存关系的基本单位。在本文中,我们调查是否有任何好处,丰富这些模型与更抽象的概念提出的Tesnière核。我们这样做的核的概念,可以在框架中定义的通用依赖,以及我们如何使用组合函数,使一个基于转换的依赖解析器知道这个概念。在12种语言上的实验表明,核组合在句法分析准确率上有很大的提高。进一步的分析表明,改进主要涉及少数依存关系,包括名词性修饰语、并列关系、主谓语和直接宾语。
2021-01-29 cs.CL
Coupling Retrieval and Meta-Learning for Context-Dependent Semantic Parsing
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种方法,将检索到的数据点作为上下文相关的语义解析的支持证据,如生成源代码的类环境的条件。我们的方法自然地结合了检索模型和元学习器,前者学习从训练数据中找到相似的数据点,后者将检索到的数据点视为快速适应的伪任务。具体来说,我们的检索器是一个上下文感知的编码器-解码器模型,具有考虑上下文环境的潜在变量,我们的元学习器学习在模型不可知的元学习范式中利用检索到的数据点进行快速适应。我们在CONCODE和CSQA数据集上进行了实验,其中上下文分别指JAVA代码中的类环境和会话历史。我们使用序列到动作模型作为基本语义解析器,它在两个数据集上都具有最先进的准确性。结果表明,上下文感知检索器和元学习策略都提高了准确性,并且我们的方法比检索和编辑基线更好。
2019-06-17 cs.CL
Semantic Graph Parsing with Recurrent Neural Network DAG Grammars
Samsung AI Centre(三星人工智能中心);Peak AI;University of Edinburgh(爱丁堡大学)
语义解析是一种有向无环图(DAG),因此语义解析应建模为图预测。但是预测图提出了困难的技术挑战,因此使用易于理解的序列模型预测语义解析数据集中的线性图更简单,也更常见。这种简单性的代价是预测的字符串可能不是格式良好的图。我们提出循环神经网络DAG语法,一个图形感知的序列模型,确保只有良好的图形,同时避开了许多困难的图形预测。我们测试我们的模型上的并行意义银行-多语言语义图银行。我们的方法在英语中产生了有竞争力的结果,并为德语,意大利语和荷兰语建立了第一个结果。
2019-10-20 cs.CL
StructCoh: Structured Contrastive Learning for Context-Aware Text Semantic Matching
Beihang University, Beijing, China(北京航空航天大学);University College London, London, UK(伦敦大学学院)
针对预训练语言模型在文本语义匹配中忽略层级结构、难区分细微语义的问题,提出融合双图编码器与层级对比目标的StructCoh框架,在法律匹配等任务上显著超越SOTA。
2025-09-02 cs.CL
Approximation-Aware Dependency Parsing by Belief Propagation
Johns Hopkins University(约翰斯·霍普金斯大学)
我们展示了如何训练Smith和Reynner(2008)的快速依赖解析器以提高准确性。这个解析器可以考虑边之间的高阶交互,同时保持O(n^3)的运行时间。它输出具有最大预期召回率的解析-但为了速度,该预期是在仅近似构造的后验分布下采用的,使用通过结构化因子的循环信念传播。我们展示了如何调整模型参数来补偿这种近似引入的误差,通过遵循训练数据上的实际损失的梯度。我们通过反向传播找到这个梯度。也就是说,我们将整个解析器(近似和所有)视为可微电路,就像Stoyanov et al.(2011)和Domke(2010)对循环CRF所做的那样。所得到的训练解析器获得更高的准确性与更少的迭代的信念传播比条件对数似然训练。
2015-08-10 cs.CL cs.LG
Class-Aware Contrastive Optimization for Imbalanced Text Classification
University of Notre Dame(圣母大学);VinUniversity
针对不平衡文本分类中嵌入易出现类重叠的问题,提出结合类别感知对比优化与去噪自编码器的方法,通过融合重构损失与对比类别分离平衡嵌入真实性与分类能力,在多数据集上性能优于现有最优方法。
2024-10-29 cs.CL
Linking-Enhanced Pre-Training for Table Semantic Parsing
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团)
最近,预训练模型通过利用大规模文本语料库来提高神经网络的上下文表示能力,从而显著提高了各种NLP任务的性能。大型预训练语言模型也被应用于表格语义解析领域。然而,现有的预训练方法没有仔细探索问题和相应的数据库模式之间的显式交互关系,这是揭示其语义和结构对应关系的关键因素。针对图式背景下的问题感知表示学习在预训练目标中的不足,本文设计了两个新的预训练目标,将期望的归纳偏差引入到表的预训练中。我们进一步提出了一种模式感知的课程学习方法,以减轻噪音的影响,并有效地学习从前训练数据在一个简单到困难的方式。我们通过在两个基准测试Spider和SQUALL上进行微调来评估我们的预训练框架。结果表明,与各种基线相比,我们的预培训目标和课程的有效性。
2022-02-15 cs.CL
Better heads do not guarantee better binarized constituency parsing
The Chinese University of Hong Kong, Ma Liu Shui, Hong Kong(香港中文大学,大屿山分校);The University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学,温哥华,加拿大);Korea Advanced Institute of Science & Technology, Daejeon, South Korea(韩国科学技术院,大田,韩国)
本文研究了标点感知的树二值化方法,并探讨了依赖诱导的头部信息是否改善了二值化句法分析器的监督信号,发现尽管学习到的头部在内在头部预测上优于基于规则的头部,但在去二值化后并未带来一致的句法分析提升。
2026-05-27 cs.CL
Diversity-Aware Batch Active Learning for Dependency Parsing
Cornell University(康奈尔大学);Bloomberg L.P.(彭博有限合伙企业)
虽然现代统计依赖解析器的预测性能在很大程度上依赖于昂贵的专家注释树库数据的可用性,但并非所有注释都对解析器的训练有同样的贡献。在本文中,我们试图减少标记的例子需要训练一个强依赖分析器使用批量主动学习(AL)的数量。特别是,我们调查是否强制多样性的抽样批次,使用决定性点过程(DPP),可以改善他们的多样性不可知的同行。英语新闻通讯语料库上的模拟实验表明,选择不同的批次与DPPs是优于强选择策略,不执行批次的多样性,特别是在学习过程的初始阶段。此外,我们的diversityaware策略是强大的语料库重复设置下,多样性不可知的采样策略表现出显着的退化。
2021-04-28 cs.AI cs.CL cs.LG
Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification
National University of Singapore(新加坡国立大学)
细粒度分类涉及处理具有大量类别的数据集,这些类别之间存在细微差异。引导模型专注于区分这些通常容易混淆的类之间的维度,是提高细粒度任务性能的关键。在这项工作中,我们分析了两个细粒度的文本分类任务,情感分类和情感分析的预训练语言模型的对比微调。我们自适应地嵌入类关系到一个对比的目标函数,以帮助不同的权重的积极和消极的,特别是,加权密切混淆的负面比不太相似的负面的例子。我们发现,标签感知的对比损失优于以前的对比方法,在更大的数量和/或更容易混淆的类的存在下,并帮助模型产生更有区别的输出分布。
2021-09-12 cs.AI cs.CL
CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages
IIT Kharagpur(印度克哈格普大学);IIT Dharwad(印度达尔瓦德大学);Independent Researcher(独立研究者)
本文针对词序相对自由且形态丰富的低资源语言,提出对比自监督学习方法CSSL,通过数据增强和移除位置编码等修改增强图式依存句法分析模型对词序变化的鲁棒性,在7种语言上UAS/LAS平均提升3.03/2.95点。
2025-07-19 cs.CL
The Limitations of Limited Context for Constituency Parsing
Carnegie Mellon University(卡内基梅隆大学)
在NLP中将语法转化为神经方法具有许多实际和科学的好处。例如,一个语法感知的语言模型可能能够产生更好的样本;甚至像BERT这样带有语法模块的判别模型也可以用于核心NLP任务,如无监督句法分析。近年来的快速进展可以说是由解析-阅读-预测架构的经验成功所刺激的(Shen et al.,2018 a),后来被(Shen et al.,2019年)。最值得注意的是,这是神经方法第一次能够成功地执行无监督的句法分析(通过F-1评分等各种指标进行评估)。然而,即使是启发式的(更少的完全数学)理解这些架构为什么以及何时工作也严重落后。在这项工作中,我们回答了(Shen et al.,2018 a,2019),以及一些基于转换的语法感知语言模型(Dyer等人,2016):什么样的句法结构可以目前的神经句法方法表示?具体地说,我们接地这个问题的概率上下文无关文法(PCFG)的沙箱,并确定这些方法的代表性的权力的一个关键方面:预测器的数量和方向性的上下文时,被迫作出解析决定。我们表明,有限的上下文(无论是有界的,或单向的),有PCFG,这些方法不能代表的最大似然解析;相反,如果上下文是无限的,他们可以代表任何PCFG的最大似然解析。
2021-06-03 cs.CL cs.LG
Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation
SKLSDE, School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院软件开发环境国家重点实验室);Beijing Advanced Institution on Big Data and Brain Computing, Beihang University(北京航空航天大学大数据与脑机智能高精尖创新中心);School of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电气工程与计算机科学学院)
对比学习在无监督环境下通过自我监督的表示学习中取得了显著的成功。然而,有效地使对比学习适应监督学习任务在实践中仍然是一个挑战。在这项工作中,我们引入了一个双重对比学习(DualCL)框架,同时学习输入样本的特征和分类器的参数在同一个空间。DualCL将分类器的参数看作是与不同标签相关联的增强样本,然后利用输入样本和增强样本之间的对比学习。对五个基准文本分类数据集及其低资源版本的实证研究表明,分类精度有所提高,并证实了DualCL学习判别表示的能力。
2022-01-21 cs.AI cs.CL cs.LG
HILL: Hierarchy-aware Information Lossless Contrastive Learning for Hierarchical Text Classification
Beihang University(北京航空航天大学);Central University of Finance and Economics(中央财经大学);Zhongguancun Laboratory(中关村实验室)
针对层次化文本分类中自监督对比学习依赖人工增强导致信息失真的问题,提出无信息损失对比学习方法HILL,通过结构编码器提取标签层次句法信息并注入文本表示,在三个数据集上验证了其优越性。
2024-03-26 cs.CL cs.IT math.IT
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Multimodal Contextualized Semantic Parsing from Speech
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SPICE任务及VG-SPICE数据集,通过融合语音和视觉信息构建场景图以增强代理上下文感知,并开发了AViD-SP模型,相关数据和模型已公开。
2024-06-10 cs.CL cs.CV cs.HC
Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing
Harvard University(哈佛大学);IBM Research(IBM研究院)
使用预训练的序列到序列Transformer模型预测线性化的抽象意义表示(AMR)图最近导致AMR解析基准的大幅改进。这些解析器很简单,避免了显式的结构建模,但缺乏理想的属性,如图形格式良好的保证或内置的图形句子对齐。在这项工作中,我们探讨了一般的预训练序列到序列的语言模型和结构感知的过渡为基础的方法的集成。我们从基于指针的转换系统出发,提出了一个简化的转换集,旨在更好地利用预先训练的语言模型进行结构化微调。我们还探索了在预训练的编码器-解码器架构内对解析器状态进行建模,以及出于相同目的的不同词汇策略。我们提供了一个详细的比较与AMR解析的最新进展,并表明,建议的解析器保留了以前的过渡为基础的方法所需的属性,同时更简单,达到新的解析状态的AMR 2.0,而不需要图重新分类。
2021-10-29 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University(西蒙弗雷泽大学)
在神经机器翻译(NMT)系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola(2017)首次提出的自上而下的树结构模型DRNN(双循环神经网络)来创建一个名为Seq 2DRNN的NMT模型,该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法,基于语法的NMT使用依存句法分析模型,我们的方法使用选区分析,我们认为提供了有用的信息翻译。此外,我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络(Seq 2DRNN +SynC)。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型,并表明我们的模型产生更流畅的翻译,更好的重新排序。由于我们的模型能够同时进行翻译和选区解析,我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Target Language-Aware Constrained Inference for Cross-lingual Dependency Parsing
University of California, Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学)
以前的跨语言依存句法分析的工作往往侧重于捕捉源语言和目标语言之间的共性,而忽略了利用语言的语言特性来促进迁移的潜力。在本文中,我们表明,弱监督的语言知识的目标语言,可以大大提高跨语言的基于图的依赖分析器。具体来说,我们探讨了几种类型的语料库语言统计数据,并将它们编译成语料库的约束,以指导在测试期间的推理过程。我们采用两种技术,拉格朗日松弛和后验正则化,进行推断与语料库统计约束。实验结果表明,拉格朗日松弛和后验正则化推理分别提高了15和17个目标语言的性能。这些改进对于具有与源语言不同的词序特征的目标语言尤其重要。
2019-09-03 cs.CL
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
针对扫描文档结构化解析的泛化与数据难题,提出 LayoutRL 强化学习框架并构建 Infinity-Doc-400K,训练 Infinity-Parser,在多基准上达到最先进性能。
2025-10-20 cs.CL
REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs
VNU University of Engineering and Technology(VNU工程技术大学)
该研究提出REAP系统,基于Mistral-Small-24B-Instruct-2501模型,结合结构化思维链推理等技术,在2026年AKBC共享任务闭卷知识库构建任务中取得宏F1值0.62,相关代码已公开。
2026-09-03 cs.CL
A Two-Stage Prediction-Aware Contrastive Learning Framework for Multi-Intent NLU
University of Macau(澳门大学)
本文提出两阶段预测感知对比学习框架PACL,通过词级预训练和预测感知对比微调利用共享意图信息,在低数据与全数据场景下均优于多个基线,提升多意图NLU性能。
2024-05-05 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University(首尔大学电气与计算机工程系);Automation and Systems Research Institute, Seoul National University(首尔大学自动化与系统研究所)
上下文感知神经机器翻译(NMT)融合了文本的上下文信息,可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构,将额外的上下文,并显示出一些有前途的结果。然而,大多数现有的作品依赖于交叉熵损失,从而限制了上下文信息的使用。在本文中,我们提出了CorefCL,一种新的数据增强和对比学习计划的基础上,源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及,CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中,我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明,我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
RST-style Discourse Parsing Guided by Document-level Content Structures
Texas A&M University(得克萨斯农工大学)
针对现有RST解析流水线因缺乏文档级内容结构知识导致预测大型文本跨度篇章关系性能较低的问题,提出一种结合源自News Discourse Profiling任务的结构感知句子表示的新流水线,仅加入少量额外层即在多项RST解析指标上取得优异性能。
2023-09-08 cs.CL
Improving Dialogue Discourse Parsing through Discourse-aware Utterance Clarification
Soochow University(苏州大学)
本文提出话语感知澄清模块和贡献感知偏好优化,解决对话话语解析中的歧义问题,在STAC和Molweni数据集上显著优于现有最先进方法。
2025-06-18 cs.AI cs.CL
Label-aware Hard Negative Sampling Strategies with Momentum Contrastive Learning for Implicit Hate Speech Detection
Hanyang University(汉阳大学)
针对隐式仇恨言论检测中随机对比学习难以利用硬负样本的问题,提出集成动量的 LAHN 标签感知硬负样本采样策略,并在数据集内与跨数据集评测中取得优于现有模型的效果。
2024-06-12 cs.CL
Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing
Alibaba DAMO Academy(阿里巴巴达摩院)
文本到SQL解析的任务旨在将自然语言问题转换为可执行的SQL查询,近年来已经获得了越来越多的关注,因为它可以帮助最终用户有效地从数据库中提取重要信息,而不需要技术背景。文本到SQL解析中的主要挑战之一是领域泛化,即,如何很好地推广到未知数据库。最近,预训练的文本到文本的Transformer模型,即T5,虽然不是专门用于文本到SQL解析,但在针对领域泛化的标准基准测试中已经实现了最先进的性能。在这项工作中,我们探索了进一步增强预训练的T5模型的方法,其中包含用于文本到SQL解析的专用组件。这些组件预计将引入结构归纳偏见文本到SQL解析器,从而提高模型的能力(潜在的多跳)推理,这是生成结构丰富的SQL的关键。为此,我们提出了一个新的架构GRAPHIX-T5,一个混合模型与标准的预训练的Transformer模型增强了一些专门设计的图形感知层。大量的实验和分析表明,GRAPHIX-T5在四个文本到SQL基准测试:SPIDER,SYN,REALISTIC和DK上的有效性。GRAPHIX-T5以显著的优势超越了所有其他基于T5的解析器,实现了新的最先进的性能。值得注意的是,GRAPHIX-T5-large在精确匹配(EM)准确性和执行准确性(EX)方面的达到性能优于原始T5-large 5.7%。这甚至比T5-3B在EM上高出1.2%,在EX上高出1.5%。
2023-01-18 cs.CL cs.DB
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University(上海交通大学)
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索(ODPR)。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而,这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此,这项工作提出了一个细化模型的基础上,更小的粒度,上下文语句,以减轻有关冲突。具体来说,我们引入了一个通道内的负采样策略,以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性,特别是在冲突严重的数据集上。大量的实验进一步表明,我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
Nested Named Entity Recognition as Holistic Structure Parsing
Shanghai Jiao Tong University(上海交通大学)
命名实体识别(NER)作为自然语言处理的基础任务和知识抽取的核心技术之一,被广泛用于从文本中抽取信息,为后续任务提供支持。嵌套NER是NER的一个分支,其中命名实体(NE)彼此嵌套。然而,大多数以前的研究嵌套的NER通常采用线性结构来模拟嵌套的NE实际上是容纳在一个层次结构。因此,为了解决这种不匹配,这项工作模型的完整嵌套的NE在一个句子作为一个整体结构,然后我们提出了一个整体结构解析算法,揭示整个NE一次为所有。此外,目前还没有将语料库层面的信息应用于名词性英语的研究。为了弥补这些信息的丢失,我们引入了逐点互信息(PMI)和其他频率特征,从语料库感知统计,甚至更好的性能,从语料库级别的整体建模。实验表明,该模型在广泛使用的基准测试中取得了令人满意的结果,接近甚至达到了最先进的水平。进一步的实证研究表明,我们提出的语料库感知特征可以显著提高NER领域自适应,这表明了我们提出的语料库级整体结构建模的惊人优势。
2022-04-17 cs.CL
A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition
Samsung R&D Institute China-Beijing(三星中国北京研发院)
针对少样本 NER 中标签语义利用不当导致上下文表示区分不足的问题,提出统一标签感知 token 级对比学习框架,结合后缀提示与双对比目标,在多个数据集上显著超越现有方法。
2024-05-08 cs.CL
TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning
University of Cambridge(剑桥大学);Beijing Institute of Technology(北京理工大学);Amazon(亚马逊);Monash University(莫纳什大学)
在过去的几年里,BERT和RoBERTa等掩蔽语言模型(Masked language models,MLMs)彻底改变了自然语言理解领域。然而,现有的预先训练的MLM通常输出令牌表示的各向异性分布,其占据整个表示空间的窄子集。这样的标记表示并不理想,特别是对于需要不同标记的区别性语义的任务。在这项工作中,我们提出了TaCL(令牌感知对比学习),一种新的连续预训练方法,鼓励BERT学习令牌表示的各向同性和歧视性分布。TaCL是完全无监督的,不需要额外的数据。我们在广泛的英语和中文基准上广泛测试我们的方法。实验结果表明,TaCL模型较之原有的BERT模型有了一致的、显著的改进。此外,我们进行详细的分析,以揭示我们的方法的优点和内部工作。
2022-04-28 cs.CL
Graph Pre-training for AMR Parsing and Generation
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
抽象意义表示(AMR)以图的形式突出文本的核心语义信息。最近,预训练的语言模型(PLM)分别具有AMR解析和AMR到文本生成的高级任务。然而,PLM通常是在文本数据上进行预训练的,因此对于建模结构知识来说是次优的。为此,我们研究了图自监督训练,以提高AMR图上PLM的结构意识。特别是,我们介绍了两个图形自动编码策略,用于图形到图形的预训练和四个任务,以在预训练期间整合文本和图形信息。我们进一步设计了一个统一的框架,以弥合预训练和微调任务之间的差距。AMR解析和AMR文本生成实验表明了该模型的优越性。据我们所知,我们是第一个考虑对语义图进行预训练的人。
2022-05-04 cs.CL
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而,现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点,我们提出了风格感知的对比学习多风格的图像描述。首先,我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外,我们提出了一个风格感知的三重对比度目标来区分图像,风格和标题是否匹配。为了给对比学习提供正样本和负样本,本文提出了三种检索方案:基于对象的检索、基于RoI的检索和基于三元组的检索,并设计了一个动态的权衡函数来计算检索得分。实验结果表明,我们的方法达到了最先进的性能。此外,我们进行了广泛的分析,以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech(INFLY科技);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Liverpool(利物浦大学)
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题,提出 layoutRL 强化学习框架与 Infinity-Parser,并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
Layout-Aware Parsing Meets Efficient LLMs: A Unified, Scalable Framework for Resume Information Extraction and Evaluation
Hangzhou City University(杭州市大学);Alibaba Group(阿里巴巴集团);Zhejiang Lab(浙江实验室);Alibaba Cloud(阿里云);Northeastern University(东北大学)
提出统一可扩展的简历信息抽取与评估框架,结合布局感知解析与高效LLM,在保证高准确率的同时显著降低推理成本,已部署于阿里巴巴智能HR平台。
2025-10-10 cs.AI cs.CL cs.CV
Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
Utrecht University(乌得勒支大学)
针对图像序列故事生成中的上下文与视觉变化挑战,提出基于预训练基础模型的轻量视觉-语言映射框架,并结合上下文建模与多模态对比学习,提升故事连贯性、视觉相关性和信息量。
2024-08-12 cs.CL cs.CV
From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
Peking University(北京大学);Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
针对大语言模型生成时外部上下文与参数先验之间的知识冲突,提出冲突感知范式,通过动态分配先验与上下文的权重,并设计自适应机制解决不同冲突状态下的不对称问题。
2026-06-09 cs.AI cs.CL
Label-aware Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding
Jilin University(吉林大学);Microsoft(微软);Duke University(杜克大学)
尽管口语语言理解(SLU)在高资源语言中取得了巨大成功,但在低资源语言中仍然具有挑战性,主要原因是缺乏带标签的训练数据。最近的多语言代码转换方法实现了更好的跨语言模型表示对齐通过构建一个混合的语言上下文在zero-shot跨语言SLU。然而,目前的语码转换方法仅限于隐性对齐,而忽视了二语习得中固有的语义结构,即,话语、槽和词的分级包含。在本文中,我们提出了一个多层次的对比学习框架,在话语,槽,词的水平,以促进明确对齐的话语槽词结构模型。新的代码转换方案被引入到我们的对比学习框架中,以产生困难的否定例子。此外,我们开发了一个标签感知的联合模型,利用标签语义来增强隐式对齐和馈送到对比学习。我们的实验结果表明,我们提出的方法显着提高性能相比,强基线两个zero-shot跨语言SLU基准数据集。
2022-10-25 cs.AI cs.CL
Semantic-aware Contrastive Learning for Electroencephalography-to-Text Generation with Curriculum Learning
Harbin Institute of Technology(哈尔滨工业大学)
由于脑机接口(BCI)的巨大潜力,直接从脑电信号中生成自然文本的脑电文本生成(EEG-to-Text generation,EEG-to-Text)技术近年来受到越来越多的关注。然而,受试者相关的EEG表示和语义相关的文本表示之间的显着差异对这项任务提出了很大的挑战。为了缓解这一挑战,我们设计了一个课程语义感知的对比学习策略(C-SCL),有效地重新校准的主题依赖的EEG表示的语义依赖的EEG表示,从而减少了差异。具体来说,我们的C-SCL将语义相似的EEG表示拉在一起,同时将不同的EEG表示分开。此外,为了引入更多有意义的对比对,我们谨慎地使用课程学习,不仅要制作有意义的对比对,而且要使学习过程循序渐进。我们在ZuCo基准测试上进行了大量的实验,我们的方法结合了不同的模型和架构,在三种类型的指标上显示出稳定的改进,同时实现了新的最先进的水平。进一步的研究证明了它不仅在单主题和低资源设置中的优越性,而且在zero-shot设置中具有强大的泛化能力。
2023-01-23 cs.CL cs.HC
Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning
Hanyang University(汉阳大学)
本文提出子图感知训练框架SATKGC,通过子图感知小批量采样和结构感知对比学习,将知识图谱的拓扑结构归纳偏置全面纳入预训练语言模型微调,有效提升了知识图谱补全的准确度。
2026-10-14 cs.AI cs.CL
SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data
Sungkyunkwan University(成均馆大学);SK Telecom(SK电讯)
针对预训练语言模型微调时的虚假关联问题,提出SALAD方法,通过标记生成结构感知正样本、LLM生成反事实负样本用于对比学习,提升了模型在情感分类等任务中对分布外数据的鲁棒性与泛化性。
2025-04-16 cs.AI cs.CL
HaSa: Hardness and Structure-Aware Contrastive Knowledge Graph Embedding
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
针对知识图谱嵌入中负三元组生成带来的假负三元组偏差,提出硬度和结构感知的HaSa对比方法,在生成困难负三元组时缓解假负影响,提升InfoNCE-based KGE性能,在WN18RR上达到最先进结果。
2023-10-15 cs.AI cs.CL
Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training
University of Amsterdam(阿姆斯特丹大学);JD Explore Academy(京东探索研究院);Tencent IEG(腾讯互动娱乐事业群);China University of Petroleum (East China)(中国石油大学(华东))
针对无监督对比预训练中伪正例不相关的问题,本文提出相关性感知对比学习,利用模型自身估计正例对相关性并自适应加权损失,在 BEIR 和开放域 QA 检索上持续提升 Contriever。
2023-06-05 cs.CL cs.IR
SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
针对LLM因知识冲突生成不忠实响应的问题,提出自我改进框架SI-FACT,通过自动生成对比学习数据并应用对比学习训练,显著提升了模型上下文召回率并降低对内部记忆的依赖。
2025-09-12 cs.AI cs.CL
SLiNT: Structure-aware Language Model with Injection and Contrastive Training for Knowledge Graph Completion
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);National Astronomical Observatories, Chinese Academy of Sciences(中国科学院国家天文台)
针对知识图谱链接预测中结构稀疏与语义歧义问题,提出SLiNT框架,通过邻域增强、硬对比学习与梯度解耦注入,在冻结LLM上实现结构感知补全,并在WN18RR和FB15k-237上取得优越性能。
2025-09-08 cs.AI cs.CL
HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
Rutgers University(罗格斯大学);ByteDance Inc.(字节跳动公司)
大规模对比视觉语言预训练(CLIP)的成功使视觉识别和多模态内容理解受益匪浅。简洁的设计使CLIP在推理效率方面优于其他交叉注意融合层较重的视觉语言模型,使其成为广泛的下游任务的热门选择。然而,CLIP并没有明确地捕捉图像和文本中传达的高级和细粒度语义的层次性质,这对视觉语言理解和推理来说是至关重要的。为此,我们在CLIP的视觉和语言分支配备了层次感知注意力,即层次感知CLIP(HiCLIP),以无监督的方式从图像和文本中逐层逐步发现语义层次。因此,这种分层聚合显著改善了跨模态对齐。为了证明HiCLIP的优势,我们进行了定性分析,其无监督的层次归纳推理过程中,以及广泛的定量实验上的视觉识别和视觉语言的下游任务。
2023-03-06 cs.CL cs.CV cs.LG
Topic-Aware Contrastive Learning for Abstractive Dialogue Summarization
Beijing University of Posts and Telecommunications(北京邮电大学)
与结构良好的文本(如新闻报道和百科全书文章)不同,对话内容通常来自两个或多个对话者,彼此交换信息。在这种情况下,对话的主题可以随着进展而变化,并且特定主题的关键信息通常分散在不同说话者的多个话语中,这对抽象总结对话提出了挑战。为了捕获会话的各种主题信息并概述所捕获主题的突出事实,这项工作提出了两个主题感知的对比学习目标,即连贯性检测和子摘要生成目标,期望隐式地建模主题变化并处理对话摘要任务的信息分散挑战。所提出的对比目标的框架作为辅助任务的主要对话摘要任务,通过一个替代参数更新策略。在基准数据集上的大量实验表明,所提出的简单方法显着优于强基线,并实现了新的最先进的性能。代码和训练模型可通过\href{https://github.com/Junpliu/ConDigSum}{https://github.com/Junpliu/ConDigSum}公开获得。
2021-09-10 cs.AI cs.CL cs.LG
Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization
The Chinese University of Hong Kong(香港中文大学);South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学)
研究提出对比策略优化(CPO),利用参考引导与普通生成分布的令牌级对比分歧实现正确性感知优势塑造,解决零优势问题,在基准实验中显著优于基于熵的方法,平衡探索与利用达最佳性能。
2026-07-17 cs.AI cs.CL cs.LG
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology(格拉茨技术大学)
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统,解决多语言少样本与零样本框架检测问题,在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG