ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora
Baidu Inc.(百度公司)
最近的研究表明,预训练的跨语言模型在下游跨语言任务中取得了令人印象深刻的性能。这种改进得益于学习大量的单语和平行语料库。虽然人们普遍认为,并行语料库是提高模型性能的关键,现有的方法往往受到并行语料库的大小,特别是低资源的语言。在本文中,我们提出了ERNIE-M,这是一种新的训练方法,鼓励模型将多种语言的表示与单语语料库对齐,以克服并行语料库大小对模型性能的限制。我们的关键见解是将反向翻译集成到预训练过程中。我们在单语语料库上生成伪平行句子对,以使不同语言之间的语义对齐的学习,从而增强跨语言模型的语义建模。实验结果表明,ERNIE-M优于现有的跨语言模型,并提供了新的国家的最先进的结果,在各种跨语言的下游任务。
2021-09-17 cs.CL
The Solution for the AIGC Inference Performance Optimization Competition
Nanjing University of Science and Technology(南京理工大学)
针对Ernie模型高性能推理需求,本文基于Paddle与GPU加速,结合Faster Transformer、embedding剪枝、FP16及多进程数据处理,实现最高8.96倍推理加速。
2024-07-06 cs.CL cs.LG
ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph
Baidu Inc.(百度公司)
我们提出了一种知识增强的方法,ERNIE-ViL,它结合了从场景图中获得的结构化知识来学习视觉语言的联合表示。ERNIE-ViL试图在视觉和语言之间建立详细的语义联系(对象,对象的属性和对象之间的关系),这对视觉语言跨模态任务至关重要。利用视觉场景的场景图,ERNIE-ViL构造场景图预测任务,即,对象预测、属性预测和关系预测任务。具体地,这些预测任务通过预测从句子解析的场景图中的不同类型的节点来实现。因此,ERNIE-ViL可以学习表征视觉和语言之间详细语义对齐的联合表示。在大规模图像-文本对齐数据集上进行预训练后,我们验证了ERNIE-ViL在5个跨模态下游任务上的有效性。ERNIE-ViL在所有这些任务上都实现了最先进的性能,并以3.7%的绝对进步在VCR排行榜上排名第一。
2021-03-19 cs.CL cs.CV
What Has Been Enhanced in my Knowledge-Enhanced Language Model?
ETH Zürich(苏黎世联邦理工学院);Southern University of Science and Technology(南方科技大学)
预训练的语言模型(LM)不能很好地捕捉事实知识。这导致了一些知识整合(KI)的方法,旨在将外部知识纳入预先训练的LM的发展。尽管KI方法显示出比普通LM更好的性能,但这些方法的内部工作原理还没有得到很好的理解。例如,目前还不清楚如何以及什么样的知识被有效地整合到这些模型中,以及这种整合是否可能导致对已经学习的知识的灾难性遗忘。本文重新访问KI过程中,这些模型与信息理论的观点,并表明,KI可以解释使用图形卷积运算。我们提出了一个探针模型称为\textit{Graph Convolution Simulator}(GCS)的解释知识增强的LM和暴露什么样的知识集成到这些模型。我们进行实验,以验证我们的GCS确实可以用来正确地解释KI过程,我们用它来分析两个著名的知识增强LM:ERNIE和K-Adapter,发现只有少量的事实知识是集成在他们。我们根据不同的关系类型对知识进行了分层,发现ERNIE和K-Adapter在不同程度上整合了不同类型的知识。我们的分析还表明,简单地增加KI语料库的大小可能不会导致更好的KI;可能需要根本性的进步。
2022-11-16 cs.CL cs.IT cs.LG
ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation
Baidu Inc.(百度公司)
现有的自然语言生成的预训练工作很少关注下游任务的暴露偏差问题。为了解决这个问题,我们提出了一个增强的多流序列到序列预训练和微调框架ERNIE-GEN,它通过填充生成机制和噪声感知生成方法弥合了训练和推理之间的差异。为了使生成更接近人类的写作模式,该框架引入了一个逐跨度生成流程,该流程训练模型连续预测语义完整的跨度,而不是逐词预测。与现有的预训练方法不同,ERNIE-GEN采用多粒度目标采样来构建预训练数据,增强了编码器和解码器之间的相关性。实验结果表明,ERNIE-GEN在一系列语言生成任务上,包括抽象摘要(Gigaword和CNN/DailyMail)、问题生成(SQuAD)、对话生成(Persona-Chat)和生成式问答(CoQA),用更少量的预训练数据和参数实现了最先进的结果。
2020-06-08 cs.CL cs.LG
ERNIE-Doc: A Retrospective Long-Document Modeling Transformer
Baidu Inc.(百度公司)
Transformers不适合处理长文档,因为它们的内存和时间消耗呈二次方增长。简单地截断长文档或应用稀疏注意力机制将导致上下文碎片问题或导致与可比模型大小相比较差的建模能力。在本文中,我们提出了ERNIE-Doc,一个基于递归Transformers的文档级语言预训练模型。两个设计良好的技术,即追溯饲料机制和增强的循环机制,使ERNIE-Doc,它有一个更长的有效上下文长度,以捕捉一个完整的文档的上下文信息。我们对ERNIE-Doc进行预训练,以显式地学习片段之间的关系,并增加一个文档感知的片段重新排序目标。本研究在英语和汉语两种文档水平的任务上进行了多项实验。ERNIE-Doc在WikiText-103上将最先进的语言建模结果的困惑度提高到16.8。此外,它在大多数语言理解任务(如文本分类和问答)上的表现远远优于竞争性预训练模型。
2021-05-24 cs.CL
ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages
Baidu(百度)
发布支持116种自然语言和6种编程语言的统一预训练模型ERNIE-Code,采用span-corruption和基于枢轴的翻译语言建模方法,在代码智能任务及零样本提示中表现优越。
2023-05-19 cs.CL cs.LG cs.PL
ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding
Baidu Inc.(百度公司);Zhejiang University(浙江大学)
近年来,在视觉丰富的文档理解中,预训练技术的兴起和成功。然而,大多数现有的方法缺乏系统的挖掘和利用的布局为中心的知识,导致次优性能。在本文中,我们提出了ERNIE-Layout,一种在整个工作流程中增强布局知识的新型文档预训练解决方案,以学习更好的表示,结合文本,布局和图像的特征。具体来说,我们首先在序列化阶段重新排列输入序列,然后提出一个相关的预训练任务,阅读顺序预测,学习正确的阅读顺序的文件。为了提高模型的布局意识,我们将空间感知的分离注意力集成到多模态Transformer中,并将替换区域预测任务集成到预训练阶段。实验结果表明,ERNIE-Layout在各种下游任务上实现了卓越的性能,在关键信息抽取、文档图像分类和文档问答数据集上设置了新的最先进技术。代码和模型可在http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout上公开获取。
2022-10-14 cs.AI cs.CL
ERNIE 5.0 Technical Report
ERNIE Team(ERNIE团队)
ERNIE 5.0是首个实现万亿参数统一自回归模型的生产规模实现,支持多模态理解和生成,并采用弹性训练范式实现灵活的性能与资源权衡。
2026-02-04 cs.CL
ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
Baidu Inc.(百度公司)
近年来,预训练模型在各种语言理解任务中取得了令人瞩目的成绩,这表明大规模语料库的预训练在自然语言处理中具有重要作用。目前的预训练程序通常集中在训练模型几个简单的任务,以掌握单词或句子的共现。然而,训练语料中除了共现信息外,还存在着其他有价值的词汇、句法和语义信息,如命名实体、语义接近度和语篇关系等。为了最大限度地提取训练语料中的词汇、句法和语义信息,我们提出了一个持续的预训练框架ERNIE 2.0,它通过不断的多任务学习,逐步建立和学习预训练任务。实验结果表明,ERNIE 2.0在16个任务上的性能优于BERT和XLNet,其中包括GLUE基准上的英语任务和几个常见的中文任务。源代码和预训练模型已在https://github.com/PaddlePaddle/ERNIE上发布。
2019-11-21 cs.CL
Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models
Baidu Inc.(百度公司)
本文描述了Galileo在SemEval-2020任务12中检测和分类社交媒体中的攻击性语言的性能。针对攻击性语言识别问题,提出了一种基于预训练语言模型、ERNIE和XLM-R的多语种识别方法。针对攻击性语言的分类问题,提出了一种基于软标签的知识蒸馏方法。我们的团队参与了所有三个子任务。在子任务A -攻击性语言识别中,我们在所有语言的平均F1分数方面排名第一。我们也是唯一一支在所有语言中排名前三的团队。我们还在子任务B -犯罪类型自动分类和子任务C -犯罪目标识别中获得了第一名。
2020-10-07 cs.CL
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University(维亚特卡国立大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,这种方法将参数生成的准确性提高了20个百分点(63.2%对42.5%)。
2022-06-18 cs.CL
ERNIE-GeoL: A Geography-and-Language Pre-trained Model and its Applications in Baidu Maps
Baidu Inc.(百度公司)
预训练模型(PTM)已成为自然语言处理和计算机视觉下游任务的基本支柱。尽管通过将通用PTM应用于百度地图的地理相关任务获得了初步收益,但随着时间的推移,观察到了明显的性能平台。造成这一停滞的主要原因之一是缺乏通用PTM的现成地理知识。为了解决这个问题,在本文中,我们提出了ERNIE-GeoL,这是一个地理和语言预训练模型,旨在改善百度地图上与地理相关的任务。ERNIE-GeoL经过精心设计,通过对包含丰富地理知识的异构图生成的大规模数据进行预训练来学习地理语言的通用表示。在大规模真实数据集上进行的大量定量和定性实验证明了ERNIE-GeoL的优越性和有效性。ERNIE-GeoL已于2021年4月在百度地图的生产环境中部署,显著提升了下游各项任务的性能。这表明ERNIE-GeoL可以作为广泛的地理相关任务的基本骨干。
2022-06-10 cs.AI cs.CL
ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding
Baidu Inc., China(百度公司)
粗粒度的语言信息,如命名实体或短语,充分促进预训练中的表示学习。以前的工作主要集中在扩展BERT的掩蔽语言建模(MLM)的目标从掩蔽单个令牌连续序列的n个令牌。我们认为,这种连续掩蔽方法忽略了模型的内部依赖性和粗粒度的语言信息的相互关系。作为替代方案,我们提出了ERNIE-Gram,这是一种显式的n-gram掩蔽方法,可以增强粗粒度信息与预训练的集成。在ERNIE-Gram中,n-gram直接使用显式的n-gram身份而不是n个令牌的连续序列进行掩码和预测。此外,ERNIE-Gram采用生成器模型来采样合理的n-gram身份作为可选的n-gram掩码,并以粗粒度和细粒度的方式预测它们,以实现全面的n-gram预测和关系建模。我们在英文和中文文本语料库上对ERNIE-Gram进行预训练,并在19个下游任务上进行微调。实验结果表明,ERNIE-Gram的性能大大优于以前的预训练模型,如XLNet和RoBERTa,并取得了与最先进的方法相当的结果。源代码和预训练模型已在https://github.com/PaddlePaddle/ERNIE上发布。
2021-04-13 cs.CL cs.LG
NewsBench: A Systematic Evaluation Framework for Assessing Editorial Capabilities of Large Language Models in Chinese Journalism
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Institute for Advanced Algorithms Research, China(中国高等算法研究院);Northeastern University, China(中国东北大学);State Key Laboratory of Media Convergence Production Technology and Systems, China(中国媒体融合生产技术与系统国家重点实验室)
本文提出NewsBench评估框架,通过1,267个测试样本系统评估LLM在中文新闻编辑的写作与安全能力,发现GPT-4和ERNIE Bot表现最佳,但创意写作任务中安全合规仍不足,强调需加强伦理指导。
2024-06-04 cs.AI cs.CL
ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval
Baidu Inc.(百度公司)
基于预训练语言模型(PLM)的神经检索器,如双编码器,在开放域问答(QA)任务上取得了令人满意的性能。它们的有效性可以通过结合跨架构的知识蒸馏而进一步达到新的技术水平。然而,现有的研究大多只是直接应用常规蒸馏方法。他们没有考虑到教师和学生具有不同结构的特殊情况。在本文中,我们提出了一种新的蒸馏方法,显着推进双编码器的跨架构蒸馏。我们的方法1)引入了一种可以有效地提取后期相互作用(即,ColBERT)到vanilla双编码器,以及2)采用级联蒸馏过程,以进一步提高交叉编码器教师的性能。进行了大量的实验,以验证我们提出的解决方案优于强大的基线,并建立一个新的国家的最先进的开放域QA基准。
2022-05-18 cs.CL
Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research
Beijing Normal University(北京师范大学);National University of Singapore(新加坡国立大学);Qingdao University of Technology(青岛理工大学);TÜV SÜD(南德认证检测(TÜV南德));Google(谷歌)
本文首次构建水工程领域基准WaterER,系统评测七个主流大模型在983项任务上的表现,揭示各模型优势并推动其成为真正的水专家。
2024-07-22 cs.AI cs.CL
Chumor 1.0: A Truly Funny and Challenging Chinese Humor Understanding Dataset from Ruo Zhi Ba
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiaotong University(上海交通大学)
针对中文文化相关幽默数据集缺失的问题,研究团队构建了源自弱智吧的Chumor中文幽默理解数据集并标注解释,经A/B测试验证该数据集对前沿大模型具有挑战性,人类解释质量显著优于模型生成结果。
2024-06-18 cs.AI cs.CL
Research on Dual Channel News Headline Classification Based on ERNIE Pre-training Model
Northwest Minzu University(西北民族大学)
新闻标题分类是自然语言处理领域的一个重要方向,其数据具有紧凑性、唯一性和形式多样性等特点。针对传统神经网络模型不能充分捕捉数据的底层特征信息,不能联合提取关键全局特征和深层局部特征的问题,提出了一种基于ERNIE预训练模型的双通道网络模型DC-EBAD。使用ERNIE提取文本底层的词汇、语义和上下文特征信息,生成融合上下文的动态词向量表示,然后使用BiLSTM-AT网络通道对数据的全局特征进行二次提取,并使用注意力机制赋予关键部分较高的权重,使用DPCNN通道克服长距离文本依赖问题,获取深层局部特征。将局部和全局特征向量进行拼接,最后传递到全连接层,通过Softmax输出最终的分类结果。实验结果表明,在相同条件下,与传统神经网络模型和单通道模型相比,该模型提高了新闻标题分类的准确率、精确度和F1分数。可以看出,它在大数据量下的新闻标题文本的多分类应用中表现良好。
2022-02-14 cs.AI cs.CL
MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions
Baidu Inc.(百度公司)
针对token级RLHF长序列信用分配困难,本文提出MA-RLHF,通过宏动作缩短动作与奖励距离,在多任务上显著提升性能并加快收敛。
2025-02-14 cs.CL
Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation
Concordia University(康科迪亚大学)
提出KILO框架,结合动态知识图谱与指令微调,在四个领域上优于基线,有效缓解LLM持续学习中的分布偏移与灾难性遗忘。
2025-08-05 cs.CL cs.LG
ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation
Baidu Inc.(百度公司)
传统的图文生成方法主要是将自然双向生成任务分开处理,侧重于设计特定于任务的框架来提高生成样本的质量和保真度。近年来,视觉语言预训练模型极大地提高了图像到文本生成任务的性能,但针对文本到图像合成任务的大规模预训练模型仍处于开发阶段。在本文中,我们提出了ERNIE-ViLG,一个统一的生成预训练框架的双向图像-文本生成与Transformer模型。基于图像量化模型,我们制定了图像生成和文本生成的自回归生成任务的文本/图像输入的条件。双向图像-文本生成建模简化了视觉和语言之间的语义对齐。对于文本到图像的生成过程,我们进一步提出了一种端到端的训练方法来联合学习视觉序列生成器和图像重建器。为了探索双向文本-图像生成的大规模预训练前景,我们在1.45亿(中文)图像-文本对的大规模数据集上训练了100亿参数ERNIE-ViLG模型,该模型实现了文本到图像和图像到文本任务的最新性能,在MS-COCO上获得7.9的FID用于文本到图像合成,在COCO-CN和AIC-ICC上获得最佳结果用于图像描述。
2021-12-31 cs.CL cs.CV
On Training Data Influence of GPT Models
Baidu Inc.(百度公司);Sun Yat-sen University(中山大学);University of Copenhagen(哥本哈根大学)
本文提出GPTfluence方法,通过特征化模拟训练动态来评估训练数据对GPT模型的影响,在1400万至28亿参数模型上验证了其对未见数据的鲁棒泛化能力。
2024-10-03 cs.CL cs.LG
An Evaluation of Estimative Uncertainty in Large Language Models
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本研究评估了大型语言模型(如GPT-4)在估计概率词语上的不确定性表达,发现其与人类估计部分一致,且在性别和中文语境下存在分歧,但高级模型能较好映射统计与估计不确定性。
2024-05-24 cs.AI cs.CL cs.HC
Evaluating Moral Beliefs across LLMs through a Pluralistic Framework
School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);School of Humanities, Tsinghua University(清华大学人文学院)
本研究提出三模块框架,评估四个大型语言模型的道德信念,发现英语模型偏向个人主义且决策坚定,中文模型偏向集体主义且存在模糊性,并揭示性别偏见。
2024-11-06 cs.AI cs.CL
FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
CLUE team(CLUE团队)
预训练语言模型(PLM)在自然语言理解任务中取得了巨大的成功。虽然不同的学习方案-微调,zero-shot,和少样本学习-已被广泛探索和比较的语言,如英语,有相对较少的工作,公平和全面的评估和比较这些方法,从而阻碍了累积的进展。在本文中,我们介绍了中文少样本学习评估基准(FewCLUE),第一个全面的Few-Shot评估基准中文。它包括九个任务,从单句和句子对分类任务到机器阅读理解任务。我们系统地评估了五种最先进的(SOTA)少样本学习方法(包括PET,ADAPET,LM-BFF,P-tuning和EFL),并在新构建的FewCLUE基准测试上比较了它们与微调和零样本学习方案的性能。实验结果表明:1)不同的少样本学习方法的效果对应用这些方法的预训练模型敏感; 2)PET和P调整分别使用RoBERTa和ERNIE实现最佳的整体性能。我们的基准被用于NLPCC 2021的少样本学习竞赛。此外,我们还提供了一个用户友好的工具包,以及一个在线排行榜,以帮助促进中国少样本学习的进一步进展。我们提供了不同学习方法的基线表现,为未来的研究提供参考。
2021-09-29 cs.AI cs.CL
Unveiling the Competitive Dynamics: A Comparative Evaluation of American and Chinese LLMs
本研究构建涵盖语言能力、专业知识、安全责任的评估框架,对比16款中美主流大语言模型在中英语境下的表现,发现两者各有语言场景优势,凸显文化适配研发与中美合作的价值,为相关决策提供参考。
2024-05-21 cs.AI cs.CL
Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues
本文提出将预训练的语言模型与模块化对话范式相结合,用于开放域对话建模。我们的方法,语义增强微调,实例化会话理解,规划和响应生成作为一个语言模型微调任务。在推理中,我们通过分别为每个模块指定采样方法和约束来解开语义和令牌变化。对于训练和评估,我们提出了X-Weibo,这是一个中文多轮开放域对话数据集,具有情感,DA和主题词的自动注释。实验表明,语义增强的微调在非语义和语义指标上优于强基线,提高了人类评估的相关性,一致性和信息性,并对语义变量表现出相当大的可控性。
2022-05-24 cs.CL
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);University of Waterloo(滑铁卢大学);Oregon State University(俄勒冈州立大学)
语音表征学习提高了语音理解和语音合成任务的单一语言。然而,它在跨语言场景中的能力还没有被探索。在本文中,我们扩展了跨语言多说话人语音合成任务的预训练方法,包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架,在这个框架中,我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分,我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外,我们的框架对于训练和推理都是端到端的,无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中,我们的实验表明,我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Chumor 2.0: Towards Benchmarking Chinese Humor Understanding
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiaotong University(上海交通大学)
本文构建了首个超大规模的中文幽默解释数据集 Chumor(源自 Ruo Zhi Ba),通过直接与思维链提示测试十个 LLM 发现其准确率远低于人类,证实人工标注显著优于 GPT-4o 等模型生成。
2024-12-23 cs.AI cs.CL
ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
多模态Transformers最近的努力已经通过合并视觉和文本信息来改进视觉丰富文档理解(VrDU)任务。然而,现有的方法主要集中在细粒度的元素,如单词和文档图像补丁,使它们很难从粗粒度的元素,包括自然的词汇单位,如短语和突出的视觉区域,如突出的图像区域学习。在本文中,我们更加重视包含高密度的信息和一致的语义,这是文档理解的价值的粗粒度元素。首先,提出了一个文档图模型的多粒度多模态元素之间的复杂关系,其中显着的视觉区域检测基于聚类的方法。然后,提出了一种称为mmLayout的多粒度多模态Transformer,以将粗粒度信息合并到基于图的现有预训练的细粒度多模态Transformers中。在mmLayout中,粗粒度的信息是从细粒度中聚合出来的,然后经过进一步的处理,再融合回细粒度中进行最终的预测。此外,常识增强被引入到利用自然词汇单位的语义信息。在信息抽取和文档问答等4个任务上的实验结果表明,该方法能够提高基于细粒度元素的多模态Transformers的性能,并且能够以较少的参数获得更好的性能.定性分析表明,我们的方法可以捕获一致的语义在粗粒度的元素。
2022-09-18 cs.AI cs.CL cs.CV
ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models
Baidu Inc.(百度公司)
本文提出ERNIE-Music,利用扩散模型和自由形式文本提示实现文本到波形音乐生成,并通过弱监督构建数据集,在多样性、质量及文本-音乐相关性上显著超越已有方法。
2023-09-21 cs.AI cs.CL cs.MM
GLM-130B: An Open Bilingual Pre-trained Model
Tsinghua University(清华大学)
本文介绍了GLM-130B,一个1300亿参数的双语预训练模型,通过独特设计克服训练挑战,在多项基准上超越GPT-3和ERNIE TITAN,并实现INT4量化以降低推理成本。
2023-10-25 cs.AI cs.CL cs.LG
Linguistic Knowledge in Data Augmentation for Natural Language Processing: An Example on Chinese Question Matching
Stony Brook University(石溪大学)
为了研究语言知识在自然语言处理(NLP)数据增强(DA)中的作用,我们设计了两个自适应DA程序,并将其应用于大规模汉语问句匹配语料库(LCQMC)中的二进制汉语问句匹配分类任务。这两个DA程序通过五个简单的文本编辑操作(或DA技术)生成增强文本,在很大程度上与语言生成规则无关,但其中一个程序通过预训练的n元语言模型进行增强,以将其与先前的语言知识融合。然后,我们在不同大小的LCQMC训练集以及由两个DA程序产生的相关增强训练集上训练了四个神经网络模型(BOW,CNN,LSTM和GRU)和一个预训练模型(ERNIE-Gram)。结果表明,有两种类型的增强训练集上训练的模型之间没有显着的性能差异,无论是当五个DA技术一起或单独应用。此外,由于五种DA技术无法制作严格的释义增强文本,结果表明需要足够数量的训练样本用于训练分类模型,以调解错误匹配增强文本对的负面影响并提高性能,这是随机文本编辑扰动用作DA方法的限制。英语也得到了类似的结果。
2022-09-05 cs.CL
Application of Pre-training Models in Named Entity Recognition
Chinese Academy of Sciences(中国科学院);University of Science and Technology of China(中国科学技术大学);Bengbu Medical College(蚌埠医学院)
命名实体识别(NER)是从非结构化数据中提取实体的基本自然语言处理(NLP)任务。以前的NER方法是基于机器学习或深度学习的。最近,预训练模型显著提高了多个NLP任务的性能。本文首先介绍了四种常用的预训练模型:BERT、ERNIE、ERNIE2.0-tiny和RoBERTa的结构和预训练任务。然后,我们通过微调将这些预训练模型应用于NER任务,并比较了不同的模型架构和预训练任务对NER任务的影响。实验结果表明,RoBERTa在MSRA-2006数据集上取得了最先进的结果。
2020-02-09 cs.CL cs.LG stat.ML
A Novel Ehanced Move Recognition Algorithm Based on Pre-trained Models with Positional Embeddings
Xi’an University of Architecture and Technology(西安建筑科技大学);Wangfang Data(万方数据)
针对现有语步识别算法缺乏词汇位置信息学习能力的问题,本文提出带位置嵌入的增强语步识别算法,通过EP-ERNIE_AT-GRU框架融合位置信息,在中文科技论文摘要数据集上准确率显著提升。
2023-12-15 cs.AI cs.CL cs.LG
Argumentative Text Generation in Economic Domain
Vyatka State University(维亚特卡国立大学);ITMO University(圣彼得堡国立信息技术机械与光学大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,该方法将参数生成的准确性提高了20个百分点(63.2% vs. 42.5%)。
2022-06-18 cs.CL
Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models
Peking University(北京大学)
大多数中文预训练模型采用字符作为下游任务的基本单元。然而,这些模型忽略了词所携带的信息,从而导致一些重要语义的丢失。在本文中,我们提出了一种新的方法来利用单词结构,并将词汇语义集成到预训练模型的字符表示中。具体地说,我们根据相似性权重将单词的嵌入映射到其内部字符的嵌入中。为了增强词边界信息,我们混合了词内部字符的表示。之后,我们应用一个字到字对齐注意力机制,通过掩盖不重要的字符来强调重要的字符。此外,为了减少分词引起的错误传播,我们提出了一种集成方法来组合不同标记器给出的分割结果。实验结果表明,在不同的中文NLP任务:情感分类、句对匹配、自然语言推理和机器阅读理解上,我们的方法取得了优于基本预训练模型BERT、BERT-wwm和ERNIE的性能。并进一步分析了模型各组成部分的有效性。
2022-07-13 cs.CL
DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering
Baidu Inc.(百度公司)
本文提出DocPrompt,通过弱监督数据生成、多阶段训练和模型集成,在4个文档问答任务上达到最先进性能,显著提升效率并降低成本。
2023-08-31 cs.AI cs.CL
Autoregressive Pre-Training on Pixels and Texts
Baidu Inc.(百度公司);Peking University(北京大学);Sun Yat-sen University(中山大学)
本文提出在自回归框架下同时利用文档图像和文本进行多模态预训练,通过下一图像块预测与下一词元预测相结合,证明融合视觉与文本数据能显著提升基于像素的语言模型性能,并发现仅用视觉数据训练的单向像素模型在多个语言理解任务上可比肩最先进的双向模型。
2024-10-03 cs.CL cs.CV
Mapping Transformer Leveraged Embeddings for Cross-Lingual Document Representation
University of Groningen(格罗宁根大学)
本文研究利用预训练多语言 Transformer 的文档表示 TLDR 并通过映射方法实现跨语言文档推荐,在 20 个语言对上验证了映射后表示的有效性。
2024-01-12 cs.AI cs.CL cs.IR
WuDaoMM: A large-scale Multi-Modal Dataset for Pre-training models
与特定领域模型相比,视觉语言预训练模型(VLPM)在下游任务上表现出更好的性能,具有快速的微调过程。例如,ERNIE-ViL、Oscar和UNIMO训练了具有统一Transformers堆栈架构和大量图文配对数据的VLPM,在图文参考等下游任务上取得了显著成绩(IR和TR)、视觉问答(VQA)和图像描述(IC)等。在训练阶段,VLPM通常由多个公共数据集组合而成,以满足大规模训练数据的需求。然而,由于数据分布的不均匀性,包括大小,任务类型和质量,使用多个数据集的混合进行模型训练可能会有问题。在这项工作中,我们介绍了一个大规模的多模态语料库WuDaoMM,总共包含超过650 M的图像-文本对。具体而言,约6亿对数据来自图像和标题呈现弱相关性的多个网页,另外5000万个强相关性的图像-文本对来自一些高质量的图形网站。我们还发布了WuDaoMM的基础版本,其中包含500万个强相关的图像-文本对,足以支持常见的跨模态模型预训练。此外,我们训练了理解和生成视觉语言(VL)模型来测试数据集的有效性。结果表明,WuDaoMM可以作为VLPM的有效数据集,特别是在文本到图像生成任务的模型。数据发布于https://data.wudaoai.cn
2022-05-01 cs.CL cs.CV
A CLIP-Enhanced Method for Video-Language Understanding
Baidu(百度)
本技术报告总结了我们的视频和语言理解评估(VALUE)挑战方法(https://value-benchmark.github.io/challenge\_2021.html)。我们提出了一个CLIP增强的方法,将图像-文本预训练的知识到下游的视频-文本任务。结合其他几个改进的设计,我们的方法优于最先进的$2.4\%$($57.58$到$60.00$)元平均值评分的价值基准。
2021-10-14 cs.CL cs.CV
Semantically Enhanced Models for Commonsense Knowledge Acquisition
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院);Agency for Science, Technology and Research(新加坡科技研究局)
常识知识对于实现智能系统至关重要。通常,它的特点是隐含和模糊的,从而阻碍了其获取的自动化。为了应对这些挑战,本文提出了语义增强模型,使推理,通过解决部分常识的歧义。所提出的模型增强了知识图谱嵌入(KGE)框架的知识库完成。实验结果表明了新语义模型在常识推理中的有效性。
2018-09-27 cs.AI cs.CL