ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation
Baidu Inc(百度公司);Peng Cheng Laboratory(鹏城实验室)
预训练的语言模型在各种自然语言处理(NLP)任务中取得了最先进的结果。GPT-3已经表明,扩大预训练的语言模型可以进一步开发其巨大的潜力。最近提出了一个名为ERNIE 3.0的统一框架,用于预训练大规模知识增强模型,并训练了具有100亿个参数的模型。ERNIE 3.0在各种NLP任务上的表现优于最先进的模型。为了探索扩大ERNIE 3.0的性能,我们在PaddlePaddle平台上训练了一个名为ERNIE 3.0 Titan的千亿参数模型,参数多达2600亿。此外,我们设计了一个自监督的对抗损失和可控的语言建模损失,使ERNIE 3.0泰坦生成可信和可控的文本。为了减少计算开销和碳排放,我们提出了一个在线蒸馏框架ERNIE 3.0泰坦,教师模型将教学生和训练自己同时进行。ERNIE 3.0 Titan是迄今为止中国最大的密集预训练模型。实证结果表明,ERNIE 3.0 Titan在68个NLP数据集上的表现优于最先进的模型。
2021-12-23 cs.CL
Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias
University of Calicut(卡利卡特大学);Queen’s University Belfast(贝尔法斯特女王大学)
深度学习带来的自然语言处理(NLP)的显着进步,特别是最近出现的大型预训练神经语言模型,随着几项研究开始讨论和报告NLP应用中的潜在偏见,受到了人们的关注。NLP中的偏见被发现起源于人类编码到文本数据中的潜在历史偏见,这些偏见被NLP算法永久化甚至放大。我们提出了一个调查,以了解大型预训练语言模型中的偏见,分析它们在这些模型中出现的阶段,以及量化和减轻这些偏见的各种方法。考虑到基于文本情感计算的下游任务在诸如商业、医疗保健、教育等现实世界系统中的广泛适用性,我们特别强调在影响(情绪)的背景下调查偏见,即,情感偏差,在大型预训练语言模型中。我们提出了各种偏见评估语料库,有助于帮助未来的研究和讨论的挑战,在预训练语言模型的偏见研究的总结。我们相信,我们尝试全面了解预训练的语言模型中的偏见,特别是对情感偏见的探索,将对对这个不断发展的领域感兴趣的研究人员非常有益。
2022-04-21 cs.AI cs.CL
ERNIE: Enhanced Language Representation with Informative Entities
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在大规模语料库上预训练的神经语言表示模型(如BERT)可以很好地从纯文本中捕获丰富的语义模式,并进行微调,以持续提高各种NLP任务的性能。然而,现有的预训练语言模型很少考虑纳入知识图谱(KG),这可以提供丰富的结构化知识事实,以更好的语言理解。我们认为,知识库中的信息实体可以增强语言表征与外部知识。在本文中,我们利用大规模的文本语料库和知识库训练一个增强的语言表示模型(ERNIE),它可以充分利用词汇,句法和知识信息的同时。实验结果表明,ERNIE在各种知识驱动的任务上取得了显著的改进,同时在其他常见的NLP任务上与最先进的模型BERT相当。本文的源代码可以从https://github.com/thunlp/ERNIE获得。
2019-06-04 cs.CL
KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs
Huawei Technologies Co., Ltd.(华为技术有限公司);ByteDance(字节跳动);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
将事实知识转化为预先训练的语言模型(PLM),如BERT,是最近NLP研究的一个新兴趋势。然而,大多数现有的方法结合外部知识整合模块与修改的预训练损失和重新实现的预训练过程中的大规模语料库。重新预训练这些模型通常是消耗资源的,并且难以适应具有不同知识图谱(KG)的另一个领域。此外,这些作品要么不能根据文本语境动态地嵌入知识语境,要么存在知识歧义问题。本文提出了一种新的基于微调过程的知识感知语言模型框架,该框架为PLM提供了一个统一的知识增强文本图,其中包含从KG中提取的文本和多关系子图。我们设计了一种基于层次关系图的消息传递机制,它可以允许注入KG和文本的表示相互更新,并可以动态地选择有歧义的提到共享相同的文本的实体。我们的实验结果表明,我们的模型可以有效地将世界知识从KG到现有的语言模型,如BERT,并取得了显着的改善机器阅读理解(MRC)的任务相比,其他知识增强模型。
2022-05-05 cs.AI cs.CL
CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced Pre-Trained Language Models
Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
提出CokeBERT框架,根据文本上下文动态选择并嵌入知识图谱中的知识,有效过滤冗余和模糊信息,在知识驱动NLP任务上优于基线方法且具有更好的可解释性。
2023-04-05 cs.AI cs.CL
Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems
Griffith University(格里菲斯大学);School of Information and Communication Technology(信息与通信技术学院)
本文提出KERL框架,融合知识图谱与预训练语言模型增强对话推荐系统中的实体表示,并构建WikiMKG知识图谱,在推荐和回复生成任务上达到最优性能。
2024-05-01 cs.AI cs.CL cs.IR
CaseEncoder: A Knowledge-enhanced Pre-trained Model for Legal Case Encoding
Tsinghua University(清华大学);Quan Cheng Laboratory(泉城实验室)
针对通用预训练模型难以捕捉法律案例深层特征的问题,提出CaseEncoder,在数据采样和预训练阶段融入细粒度法律知识,并设计Biased Circle Loss,显著提升零样本法律案例检索性能。
2023-05-09 cs.CL cs.IR
MAGIC-Enhanced Keyword Prompting for Zero-Shot Audio Captioning with CLIP Models
Expedia Group, USA(Expedia集团);California Universities of Management and Sciences, USA(加州管理与科学大学);Jamia Hamdard, New Delhi, India(贾迈亚哈曼德大学);Macquarie University, Sydney, Australia(麦考瑞大学)
提出一种基于预训练音频CLIP模型和LLM的零样本音频字幕生成系统,通过MAGIC搜索和关键词提示优化token选择,使NLG平均得分提升35%。
2025-09-16 cs.CL
LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention
提出LLM Modules架构,通过增强交叉注意力将冻结的Qwen2-1.5B模型的知识迁移至有限资源训练的GPT-Neo-125M模型,在Bespoke-Stratos-17k数据集上经15轮训练后响应质量可与蒸馏方法媲美。
2025-02-12 cs.CL cs.LG
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
随着预训练的语言模型带来的模型容量的增加,出现了对具有高级功能(包括提供和灵活使用百科知识和常识知识)的更有知识的自然语言处理(NLP)模型的需求。然而,仅仅预先训练的语言模型缺乏单独处理这种知识密集型NLP任务的能力。为了应对这一挑战,大量用外部知识源增强的预训练语言模型被提出并处于快速发展中。本文通过剖析基于预训练语言模型的知识增强模型(PLMKEs)的三个关键要素:知识源、知识密集型NLP任务和知识融合方法,总结了PLMKEs的研究进展。最后,我们提出了PLMKE的挑战的基础上讨论的三个要素,并试图提供NLP从业者进一步研究的潜在方向。
2022-02-17 cs.CL
Multi-turn Response Selection with Commonsense-enhanced Language Models
Tsinghua University(清华大学);The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学)
针对多轮响应选择中外部常识知识被忽略的问题,提出融合预训练语言模型与图神经网络的SinLG框架,通过相似度损失传递常识知识,在提升性能的同时保证在线推理效率。
2024-07-26 cs.CL
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
Columbia University(哥伦比亚大学)
大规模预训练的语言模型已被证明有助于提高文本到语音(TTS)模型的自然度,使它们能够产生更自然的韵律模式。然而,这些模型通常是单词级或超音素级的,并且与音素联合训练,使得它们对于仅需要音素的下游TTS任务效率低下。在这项工作中,我们提出了一个音素级的BERT(PL-BERT)的借口任务,预测相应的字随着定期掩蔽音素预测。主观评价表明,我们的音素级BERT编码器已显着提高了平均意见分数(MOS)的额定自然度的合成语音相比,国家的最先进的(SOTA)的StyleTTS基线外的分布(OOD)的文本。
2023-01-20 cs.CL cs.SD eess.AS
Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with Enhanced Vocabulary and Instruction Capabilities
DICTA(迪克塔机构);Bar Ilan University(巴伊兰大学)
针对希伯来语这类低资源语言训练大模型的难题,研究团队基于Mistral训练出DictaLM2.0系列模型,提出适配新语言的训练方法,推出希伯来语大模型评估基准,为多语言NLP发展提供可复用框架。
2024-07-09 cs.CL
Enhanced Detection of Conversational Mental Manipulation Through Advanced Prompting Techniques
Dartmouth College(达特茅斯学院)
本研究探索不同提示技术在对话式精神操控检测中的效果,在二元检测任务上实现零样本、少样本设置的思维链提示,旨在探明技术性能差异原因以构建专用检测框架,初步发现未经过示例学习的复杂模型可能不适用高级提示技术。
2024-08-14 cs.CL
ConcEPT: Concept-Enhanced Pre-Training for Language Models
Fudan University(复旦大学);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本文提出ConcEPT,通过实体概念预测预训练目标将外部分类体系中的概念知识注入预训练语言模型,无需实体链接或概念映射即可适配下游任务,并在实体分型等四个任务上验证了其有效性。
2024-01-11 cs.CL
Optimizing Large Language Models with an Enhanced LoRA Fine-Tuning Algorithm for Efficiency and Robustness in NLP Tasks
Tulane University(杜兰大学);New York University(纽约大学);Stevens Institute of Technology(史蒂文斯理工学院);Northeastern University(东北大学);The Chinese University of Hong Kong(香港中文大学)
本文提出一种改进的LoRA微调算法,通过低秩适配优化大型语言模型,在QQP任务上相比BERT、Roberta、T5和GPT-4显著提升准确率、F1分数和MCC,并展现出在多任务学习与资源受限场景中的应用潜力。
2024-12-25 cs.CL cs.LG
KEPLET: Knowledge-Enhanced Pretrained Language Model with Topic Entity Awareness
Worcester Polytechnic Institute(伍斯特理工学院);Airbnb(爱彼迎);Amazon Alexa AI(亚马逊Alexa人工智能部门)
针对传统知识增强预训练语言模型忽略维基百科页面主题实体导致的实体交互不足、关系词语义偏差问题,提出具备主题实体感知的KEPLET模型,通过端到端融合主题实体信息,在四项实体中心任务上取得显著提升。
2023-05-02 cs.AI cs.CL
Heuristic-enhanced Candidates Selection strategy for GPTs tackle Few-Shot Aspect-Based Sentiment Analysis
College of Computer Science(计算机学院);Sichuan University(四川大学)
针对少样本基于方面的情感分析中PLM方法难适配多子任务、GPT方法表现差的问题,提出启发式增强候选选择策略及两阶段AiO模型,兼顾准确性与泛化性,在五个基准数据集上表现优于直接使用GPTs的方法。
2024-08-19 cs.AI cs.CL cs.LG
Psychological Health Knowledge-Enhanced LLM-based Social Network Crisis Intervention Text Transfer Recognition Method
Weill Cornell Medicine(威尔康奈尔医学院);University of Chicago(芝加哥大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
针对社交媒体心理健康危机识别的紧迫挑战,本研究提出结合特定领域心理健康知识的LLM文本迁移识别方法,通过多层次框架集成迁移学习、知识与多技术,在危机检测准确性和敏感性上优于传统模型。
2025-04-14 cs.AI cs.CL
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching
State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院教育部人工智能重点实验室)
中文短文本匹配是自然语言处理中的一项基本任务。现有的方法通常采用汉字或词作为输入标记。它们有两个局限性:1)有些汉语词是多义词,语义信息没有得到充分利用。2)某些模型会遇到由分词引起的潜在问题。在这里,我们引入知网作为外部知识库,并提出了一个语言知识增强图Transformer(LET)来处理单词歧义。此外,我们采用词格图作为输入,以维护多粒度的信息。我们的模型也是对预训练的语言模型的补充。在两个中文数据集上的实验结果表明,我们的模型优于各种典型的文本匹配方法。消融研究还表明,语义信息和多粒度信息是文本匹配建模的重要。
2021-02-25 cs.AI cs.CL
Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification
University of Crete(克里特大学);Hellenic Mediterranean University(希腊地中海大学);Foundation for Research and Technology Hellas(希腊研究与技术基金会)
针对领域知识生成成本高的问题,本研究将大语言模型集成到结合知识图谱与预训练语义向量的流水线中,用于零样本物体状态分类,经消融实验和对比验证,实现了当前最优性能。
2024-12-11 cs.AI cs.CL cs.CV
Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence
Monash University(莫纳什大学);Deakin University(迪肯大学)
本文提出了一个Transformer over Transformer框架,称为Transformer $^2$,执行神经文本分割。它由两部分组成:使用预先训练的Transformers的底层句子编码器,以及基于句子嵌入的基于转换器的上层分割模型。底层组件传输在单个和成对监督NLP任务下从大型外部语料库学习的预训练知识,以对文档的句子嵌入进行建模。给定句子嵌入,训练上层Transformer以恢复每个句子的分割边界以及主题标签。配备了多任务损失和预先训练的知识,Transformer $^2$可以更好地捕获相同段内的语义一致性。我们的实验表明:(1)Transformer $^2$在常用的语义一致性度量方面超越了最先进的文本分割模型;(2)在大多数情况下,单个和成对的预训练知识都有助于模型性能;(3)在特定语言上预训练的底层句子编码器比在特定领域上预训练的句子编码器产生更好的性能。
2021-10-14 cs.CL
Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
SB Intuitions
研究翻译增强的语音编码器预训练对语音大语言模型的影响,通过实验证明该方法能改善跨模态整合并提升下游任务性能。
2026-06-25 cs.CL cs.SD eess.AS
Syntax-Enhanced Pre-trained Model
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Search Technology Center Asia(微软亚洲搜索技术中心)
我们研究了利用文本的句法结构来增强预训练模型(如BERT和RoBERTa)的问题。现有的方法要么在预训练阶段要么在微调阶段利用文本的句法,因此它们遭受这两个阶段之间的差异。这样的问题将导致需要人工注释的句法信息,这限制了现有方法在更广泛场景中的应用。为了解决这个问题,我们提出了一个模型,该模型在预训练和微调阶段都利用了文本的语法。我们的模型是基于Transformer与语法感知的注意层,认为依赖树的文本。我们还引入了一个新的预训练任务,预测依赖树中标记之间的语法距离。我们评估模型的三个下游任务,包括关系分类,实体类型,和问答。结果表明,我们的模型在六个公共基准数据集上达到了最先进的性能。我们有两个主要发现。首先,我们证明了注入自动生成的文本语法可以改进预训练的模型。第二,令牌之间的全局语法距离带来更大的性能增益相比,连续令牌之间的本地头关系。
2021-05-29 cs.CL
Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization
Beihang University(北京航空航天大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司)
本研究提出一种多阶段预训练模型,结合ChatGPT标注数据,专用于多场景多领域对话摘要,在多个数据集上显著超越现有最先进模型。
2023-10-16 cs.CL
Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion
Tianjin University(天津大学);Meituan Inc.(美团公司);Fudan University(复旦大学)
针对预训练模型难以高效整合依存先验结构以优化语义匹配的问题,提出依存增强自适应融合注意力DAFA,通过结构敏感范式构建依存矩阵校准注意力、自适应融合依存与语义信息并重构注意力流程,在10个公开数据集上取得SOTA或有竞争力的性能。
2023-08-24 cs.AI cs.CL
ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations
The Hong Kong University of Science and Technology(香港科技大学);Sinovation Ventures(创新工场)
文本编码器的预训练通常将文本处理为对应于小文本单元的令牌序列,例如英语中的单词片段和中文中的字符。它忽略了较大文本粒度所携带的信息,因此编码器无法轻松适应某些字符组合。这导致重要语义信息的丢失,这对于中文来说尤其成问题,因为该语言没有明确的词边界。在本文中,我们提出了ZEN,一个基于BERT的中文(Z)文本编码器增强的N-gram表示,在训练过程中考虑不同的字符组合。因此,潜在的字或相位边界被明确地预先训练并使用字符编码器(BERT)进行微调。因此,ZEN包含了字符序列和它所包含的单词或短语的综合信息。实验结果表明ZEN在一系列中文NLP任务上的有效性。我们表明,ZEN使用比其他已发布的编码器更少的资源,可以在大多数任务上实现最先进的性能。此外,它表明,合理的性能时,ZEN是在一个小的语料库,这是很重要的应用预训练技术的情况下,有限的数据进行训练,可以获得。ZEN的代码和预训练模型可以在https://github.com/sinovation/zen上找到。
2019-11-02 cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining(国家文本挖掘中心);The University of Manchester(曼彻斯特大学);Chancefocus AMC
最近,神经主题模型(NTM)已被纳入到预训练的语言模型(PLM),以捕捉全局语义信息的文本摘要。然而,在这些方法中,仍然存在的方式,他们捕获和集成的全局语义信息的限制。在本文中,我们提出了一种新的模型,图对比主题增强语言模型(GRETEL),它结合了图对比主题模型与预训练的语言模型,充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中,图对比主题模型集成了分层Transformer编码器和图对比学习,以融合来自全局文档上下文和黄金摘要的语义信息。为此,GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子,而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明,我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
Knowledge Enhanced Contextual Word Representations
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Irvine(加州大学欧文分校);University of Washington(华盛顿大学)
通常在非结构化、未标记的文本上训练的上下文单词表示不包含任何对现实世界实体的明确基础,并且通常无法记住有关这些实体的事实。我们提出了一种通用的方法,将多个知识库(KBs)嵌入到大规模模型中,从而增强它们的表示与结构化,人工策划的知识。对于每个知识库,我们首先使用一个集成的实体链接器来检索相关的实体嵌入,然后通过一种形式的词到实体的注意力更新上下文单词表示。与以前的方法相比,实体链接器和自监督语言建模目标在多任务设置中进行端到端的联合训练,该设置将少量实体链接监督与大量原始文本相结合。在将WordNet和维基百科的一个子集集成到BERT中之后,知识增强的BERT(KnowBert)展示了改进的困惑度、在探测任务中测量的回忆事实的能力以及在关系提取、实体键入和词义消歧上的下游性能。KnowBert的运行时间与BERT相当,并且可以扩展到大KB。
2019-10-31 cs.CL
ANNA: Enhanced Language Representation for Question Answering
LG AI Research(LG人工智能研究院)
预先训练的语言模型在各种自然语言处理任务中带来了性能的显著提高。大多数现有的模型执行国家的最先进的结果已经显示了他们的方法在数据处理,预训练任务,神经网络建模,或微调的单独的角度。在本文中,我们演示了这些方法如何单独影响性能,以及当这些方法在预训练模型中联合考虑时,语言模型在特定的问答任务上表现最佳。特别是,我们提出了一个扩展的预训练任务,以及一个新的邻居感知机制,该机制更多地关注相邻令牌,以捕获预训练语言建模的丰富上下文。我们最好的模型在SQuAD 1.1上实现了95.7\% F1和90.6\% EM的最新结果,并且在SQuAD 2.0基准测试中优于现有的预训练语言模型,如RoBERTa,ALBERT,ELECTRA和XLNet。
2022-04-04 cs.CL
QASE Enhanced PLMs: Improved Control in Text Generation for MRC
Columbia University(哥伦比亚大学)
针对机器阅读理解生成式模型生成失控问题,提出QASE模块并集成到生成式预训练语言模型微调中,在不显著增加计算成本的前提下,使模型性能追平最优抽取式方法且超越GPT-4等大模型。
2024-02-26 cs.CL
Ered: Enhanced Text Representations with Entities and Descriptions
Beihang University(北京航空航天大学);University of Science and Technology of China(中国科学技术大学)
外部知识,例如,实体和实体描述,可以帮助人类理解文本。已经探索了许多工作,以在预训练模型中包括外部知识。这些方法通常设计预训练任务,并通过更新模型权重来隐式地引入知识,或者直接将其与原始文本一起使用。虽然有效,但有一些限制。一方面,它是隐式的,只关注模型权重,忽略了预先训练的实体嵌入。另一方面,实体描述可能很长,并且与原始文本一起输入到模型中可能会分散模型的注意力。本文的目的是明确包括实体和实体描述的微调阶段。首先,预先训练的实体嵌入与原始文本表示融合,并由主干模型逐层更新。其次,描述由骨干模型外的知识模块表示,每个知识层有选择地连接到一个骨干层进行融合。第三,两个与知识相关的辅助任务,即,实体/描述增强和实体增强/污染任务,被设计为平滑进化表示之间的语义间隙。我们在四个面向知识的任务和两个常见任务上进行了实验,结果在几个数据集上达到了新的水平。此外,我们进行了烧蚀研究,以表明我们的方法中的每个模块是必要的。该代码可在https://github.com/lshowway/Ered上获得。
2022-08-18 cs.CL
Evaluation of Fake News Detection with Knowledge-Enhanced Language Models
City, University of London(伦敦大学城市学院)
假新闻检测的最新进展利用了大规模预训练语言模型(PLM)的成功。主要的最先进方法是基于对标记的假新闻数据集进行微调的PLM。然而,大型PLM通常没有经过结构化事实数据的训练,因此可能不具备基于事实准确知识的先验知识。因此,利用现有的知识库(KB)和丰富的人工事实信息,有可能使假新闻检测更加有效和强大。在本文中,我们研究了知识集成到PLM中对假新闻检测的影响。我们研究了几种最先进的知识整合方法,主要使用维基数据作为知识库,在两个流行的假新闻数据集上- LIAR,一个基于政治的数据集,以及COVID-19,一个在社交媒体上发布的与COVID-19流行病有关的消息数据集。我们的实验表明,知识增强模型可以显着提高LIAR上的假新闻检测,其中KB是相关的和最新的。COVID-19的好坏参半的结果突出了对文体特征的依赖以及特定领域和当前知识库的重要性。
2023-02-13 cs.CL
Ontology Enhanced Claim Detection
Ruhr-Universität-Bochum(波鸿鲁尔大学)
提出一种本体增强的声明检测模型,融合知识库本体嵌入与BERT句子嵌入,在ClaimBuster和NewsClaims小规模不平衡数据集上优于其他模型,有效避免纯BERT模型对大类的偏差。
2024-02-19 cs.CL
KESA: A Knowledge Enhanced Approach For Sentiment Analysis
Beihang University(北京航空航天大学)
KESA提出情感词完形填空与条件情感预测两个辅助任务,结合标签组合方法,在句子级情感分析中实现优于预训练模型的性能,且可与现有知识增强预训练后模型互补。
2026-08-27 cs.AI cs.CL
LiteVL: Efficient Video-Language Learning with Enhanced Spatial-Temporal Modeling
Peking University(北京大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的大规模视频语言预训练模型在各种下游任务上表现出了吸引人的性能。然而,由于需要数百万个视频-文本对和每个视频的冗余数据结构,预训练过程在计算上是昂贵的。为了缓解这些问题,我们提出了LiteVL,它将预训练的图像-语言模型BLIP直接适应下游任务的视频-文本模型,而无需进行大量的预训练。为了增强图像-语言模型中时间模型的不足,我们提出在具有动态时间缩放的BLIP图像编码器中加入时间注意模块。除了模型自适应之外,我们还提出了一种非参数池机制来自适应地重新加权以文本为条件的细粒度视频嵌入。文本视频检索和视频问答的实验结果表明,所提出的LiteVL甚至优于以前的视频语言预训练模型的明显优势,虽然没有任何视频语言预训练。
2022-10-21 cs.CL cs.CV
Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations
Tianjin University(天津大学);Soochow University(苏州大学)
在神经机器翻译(NMT)中,神经网络翻译被证明是非常有效的。先前的NMT模型通过表示来自良好训练的解析系统的1-最佳树输出来集成语法,例如,代表性的Tree-RNN和Tree-Linearization方法,可能会受到错误传播的影响。在这项工作中,我们提出了一种新的方法来集成源端语法隐式NMT。其基本思想是使用经过良好训练的端到端依赖解析器的中间隐藏表示,这被称为语法感知单词表示(SAWR)。然后,我们简单地将这样的SAWR与普通的词嵌入连接起来,以增强基本的NMT模型。该方法可以直接集成到广泛使用的序列到序列(Seq 2Seq)NMT模型中。我们从一个具有代表性的基于RNN的Seq 2Seq基线系统开始,分别在汉英和英越翻译任务的两个基准数据集上测试了我们提出的方法的有效性。实验结果表明,与基线相比,该方法能够显著提高两个数据集的BLEU评分,汉英翻译为1.74分,英越翻译为0.80分。此外,该方法还优于显式Tree-RNN和Tree-Linearization方法。
2019-05-08 cs.CL
SPOT: Knowledge-Enhanced Language Representations for Information Extraction
University of California, San Diego(加州大学圣地亚哥分校);IBM Research(IBM研究院)
用于语言表示的知识增强的预训练模型已被证明在知识库构建任务中更有效(即,关系抽取)而不是语言模型,例如BERT。这些知识增强的语言模型将知识合并到预训练中以生成实体或关系的表示。然而,现有的方法通常用单独的嵌入来表示每个实体。因此,这些方法在其底层标记模型(即,~)之上难以表示词汇表外的实体和大量参数。Transformer),并且由于存储器的限制,实际上可以处理的实体的数量是有限的。此外,现有的模型仍然难以同时表示实体和关系。为了解决这些问题,我们提出了一种新的预训练模型,该模型分别从文本中的标记跨度和跨度对中学习实体和关系的表示。通过使用span模块对span进行有效编码,我们的模型可以表示实体及其关系,但需要的参数比现有模型少。我们使用从维基百科中提取的知识图谱对模型进行了预训练,并在广泛的监督和无监督信息抽取任务上对其进行了测试。结果表明,我们的模型学习更好的表示实体和关系比基线,而在监督设置,微调我们的模型优于RoBERTa一致,并取得竞争力的结果信息抽取任务。
2022-10-24 cs.AI cs.CL
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation
Baidu Inc.(百度公司)
本文面向日语 TTS 数据集构建,提出以真实转写为条件微调 Whisper,并结合词典增强解码同步生成字素与音位、韵律标签,显著提升标注质量且合成语音自然度媲美人工标注。
2025-06-09 cs.CL cs.SD eess.AS
Clues Before Answers: Generation-Enhanced Multiple-Choice QA
Nanjing University(南京大学);The Ohio State University(俄亥俄州立大学)
多项选择问答(MCQA)的一个趋势范例是使用文本到文本框架。通过将不同任务中的数据统一为单一的文本到文本格式,它训练了一个强大而通用的生成式编码器-解码器模型。然而,扭曲生成目标以适应MCQA的分类性质的副作用是解码器和可以解码的知识的利用不足。为了利用预训练的编码器-解码器模型的生成能力和底层知识,本文提出了一种生成增强的MCQA模型GenMC。它从问题中生成线索,然后利用线索来增强MCQA的读者。它在多个MCQA数据集上优于文本到文本模型。
2022-04-30 cs.CL
DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
虽然预训练语言模型(PLM)在各种自然语言处理(NLP)任务上取得了最先进的性能,但在处理知识驱动的任务时,它们缺乏知识。尽管为将知识注入PLM做出了许多努力,但这个问题仍然存在。为了应对这一挑战,我们提出了\textbf{DictBERT},一种新的方法,增强PLM与字典知识,这是更容易获得比知识图(KG)。在预训练过程中,我们提出了两个新的预训练任务,通过对比学习将字典知识注入PLM:\textit{dictionary entry prediction}和\textit{entry description discrimination}。在微调中,我们使用预先训练的DictBERT作为一个插件知识库(KB)检索隐含的知识,识别输入序列中的条目,并注入检索到的知识到输入,以提高其表示通过一个新的额外的跳注意力机制。我们评估我们的方法上的各种知识驱动和语言理解的任务,包括NER,关系提取,常识QA,OpenBookQA和GLUE。实验结果表明,该模型对典型PLM的性能有明显的改善:BERT-large的性能分别提高了0.5%、2.9%、9.0%、7.1%和3.3%,对RoBERTa-large的性能也有明显的改善。
2022-08-01 cs.CL
SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities
National Taiwan University(台湾大学);Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI;Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);LXT
近年来,迁移学习被证明是推进语音和自然语言处理研究的关键。在语音中,通过自监督学习预训练的模型在多个任务上的转移非常好。然而,缺乏一致的评价方法限制了对这些模式功效的全面理解。SUPERB是朝着引入通用基准迈出的一步,用于评估各种语音任务中的预训练模型。在本文中,我们介绍了SUPERB-SG,这是一个新的基准测试,专注于通过增加SUPERB的任务多样性和难度来评估预训练模型的语义和生成能力。我们使用一种轻量级的方法来测试预训练模型在不同类型任务的数据域和质量变化下学习的表示的鲁棒性。它需要冻结预先训练的模型参数,只使用简单的特定于任务的可训练头。目标是包容所有研究人员,并鼓励有效利用计算资源。我们还表明,SUPERB-SG的任务多样性加上有限的任务监督是一个有效的配方,用于评估模型表示的泛化能力。
2022-03-14 cs.CL cs.SD eess.AS
INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
本文提出INTapt方法,通过对抗提示微调在不更新预训练模型权重的情况下,将非母语英语语音特征向母语英语对齐,从而提升非母语语音识别性能。
2023-05-25 cs.CL cs.SD eess.AS
TGIF: Tree-Graph Integrated-Format Parser for Enhanced UD with Two-Stage Generic- to Individual-Language Finetuning
Cornell University(康奈尔大学)
我们提出了我们对IWPT 2021共享任务的贡献,即解析为增强的通用解析。我们的主要系统组件是一个混合树图解析器,它集成了(a)增强图的生成树预测与(b)生成树中不存在的附加图边。我们还采用了一种微调策略,首先训练一个语言通用解析器,将所有可用语言的数据串联起来,然后在第二步中,分别对每种语言进行微调。此外,我们还开发了一套与共享任务相关的完整的预处理模块,包括标记化,句子分割和多词标记扩展,基于预训练的XLM-R模型和我们自己的字符级语言模型的预训练。我们的提交在测试集上达到了89.24的宏观平均ELAS。它在所有团队中排名第一,与下一个表现最好的提交相比,ELAS绝对值的差距超过2,并且在17种语言中的16种语言中得分最高。
2021-07-14 cs.CL
Retrieval Enhanced Model for Commonsense Generation
New York University(纽约大学);Microsoft(微软)
常识生成是一项具有挑战性的任务,即使用所提供的概念生成描述日常场景的合理句子。它对常识知识的推理和组合泛化能力的要求甚至困扰着强大的预训练语言生成模型。我们提出了一个新的框架,使用检索方法,以提高预训练和微调常识生成。我们通过概念匹配检索原型句子候选,并将其用作辅助输入。为了进行微调,我们通过可训练的句子检索器进一步提高了它的性能。我们在大规模的CommonGen基准测试上通过实验证明,我们的方法取得了新的最先进的结果。
2021-05-24 cs.AI cs.CL
LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Cambridge(剑桥大学);Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Avignon Université(阿维尼翁大学);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);NAVER LABS Europe(韩国 Naver 欧洲实验室);ESPCI(巴黎高等物理化工学院);PSL Research University(巴黎文理研究大学)
LeBenchmark 2.0是一个开源框架,提供14,000小时法语语音语料、十个wav2vec 2.0预训练模型和六项下游任务评估协议,其新模型性能优于先前基准,但预训练能耗高至四倍。
2024-03-18 cs.AI cs.CL cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning
Alibaba Group(阿里巴巴集团)
大规模图像-文本对的视觉语言预训练(VLP)在跨模态下游任务中取得了巨大的成功。现有的预训练方法主要采用两步训练的方法,首先利用预训练的目标检测器提取基于区域的视觉特征,然后将图像表示和文本嵌入作为Transformer的输入进行训练。然而,这些方法面临的问题,使用特定任务的特定对象检测器的通用跨模态理解的视觉表示,和两个阶段的流水线的计算效率低下。在本文中,我们提出了第一个用于V+L理解和生成的端到端视觉语言预训练模型,即E2 E-VLP,在其中我们构建了一个统一的Transformer框架,以共同学习视觉表示以及图像和文本之间的语义对齐。我们将目标检测和图像描述的任务与一个统一的Transformer编码器-解码器架构,以增强视觉学习的预训练。一组广泛的实验已经进行了良好的视觉语言下游任务,以证明这种新的VLP范式的有效性。
2021-06-04 cs.AI cs.CL cs.CV
SmoGVLM: A Small, Graph-enhanced Vision-Language Model
Samsung R\&D Institute India-Bangalore
本文提出SmoGVLM,一种结合图神经网络的视觉-语言模型,通过结构化知识提升小规模多模态推理性能,实验表明小型模型性能提升达16.24%。
2026-04-15 cs.CL cs.CV
Enhanced Hybrid Transducer and Attention Encoder Decoder with Text Data
Samsung Research America(三星美国研究院)
提出联合语音和文本优化的混合换能器与注意力编码器-解码器模型,统一多模态表示,支持文本领域自适应,在Librispeech及两个领域外数据集上分别降低WER 5.8%-12.8%和15.3%、17.8%。
2025-06-23 cs.CL cs.SD eess.AS
GEmo-CLAP: Gender-Attribute-Enhanced Contrastive Language-Audio Pretraining for Accurate Speech Emotion Recognition
Kyushu University(九州大学);University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学);Ximalaya Inc.(喜马拉雅公司);Shanghai Jiao Tong University(上海交通大学)
本文提出 GEmo-CLAP 性别属性增强对比语言-音频预训练方法,通过多任务学习和软标签融入性别信息,在 IEMOCAP 上取得 83.16% 的最优语音情感识别准确率。
2023-12-04 cs.CL cs.MM cs.SD
SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft(微软)
针对语音与文本模态差异大、难用文本提升语音预训练的问题,提出SpeechLM模型,通过两种离散分词器和统一Transformer对齐两类数据的离散语义空间,在多项口语处理任务上实现显著性能提升。
2023-06-15 cs.AI cs.CL eess.AS