Evaluation of Sentence Representations in Polish
National Information Processing Institute(国家信息处理研究所)
近年来,学习句子表征的方法得到了积极的发展。然而,缺乏预先训练的模型和在句子级别注释的数据集一直是波兰语等低资源语言的一个问题,这导致人们对将这些方法应用于特定语言任务的兴趣降低。在这项研究中,我们引入了两个新的波兰数据集,用于评估句子嵌入,并提供了一个全面的评估,包括波兰语和多语言模型的八个句子表示方法。我们考虑经典的词嵌入模型,最近开发的上下文嵌入和多语言句子编码器,显示特定方法的优点和缺点。我们还研究了将词向量聚合成单个句子向量的不同方法。
2020-01-23 cs.CL
Passage Retrieval of Polish Texts Using OKAPI BM25 and an Ensemble of Cross Encoders
Adam Mickiewicz University(亚当·密茨凯维奇大学)
针对波兰语多领域段落检索任务,提出OKAPI BM25初检加多语言交叉编码器集成重排的方案,获Poleval 2023任务3优胜,且发现微调重排器仅在训练域有效、其他域性能下降。
2024-10-06 cs.AI cs.CL
GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator
Microsoft Research Asia(微软亚洲研究院);The University of Hong Kong(香港大学);Beihang University(北京航空航天大学)
针对现有预训练方法未充分利用语言理解促进生成的问题,提出GanLM模型,引入辅助判别器统一理解与生成能力,通过替换词检测与去噪目标训练,在语言生成基准上取得最优性能。
2023-05-09 cs.CL
E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation
Wuhan University(武汉大学);The University of Sydney(悉尼大学)
针对seq2seq预训练模型忽略编码器端监督导致性能次优的问题,提出E2S2策略,通过在编码器端引入去噪和对比自监督目标增强表示能力,在多种下游任务上显著提升了BART和T5等模型的性能。
2024-01-09 cs.CL
PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding
National Information Processing Institute(国家信息处理研究所)
该研究针对英语外文化多模态评估不足的问题,提出波兰多模态基准PUMA,通过900项任务评估各类模型在波兰语境下的多模态能力,发现商用模型在视觉问答表现好但音频/文档理解弱,并开源评估框架推进本地化多模态AI研究。
2026-08-25 cs.CL
Bielik 11B v3: Multilingual Large Language Model for European Languages
Bielik 11B v3是一款针对波兰语优化,同时支持多种欧洲语言的高性能大语言模型,通过深度扩展和四阶段训练流程实现了高效参数利用和广泛任务表现。
2025-12-30 cs.AI cs.CL
KLEJ: Comprehensive Benchmark for Polish Language Understanding
AGH University of Science and Technology(AGH科技大学)
近年来,一系列基于Transformer的模型在一般自然语言理解(NLU)任务中取得了重大改进。如果没有一般的NLU基准,这样快的研究速度是不可能的,这些基准允许对所提出的方法进行公平的比较。然而,这样的基准只适用于少数几种语言。为了缓解这个问题,我们引入了一个全面的多任务基准波兰语语言理解,伴随着在线排行榜。它由一组不同的任务组成,这些任务来自现有的数据集,用于命名实体识别、问答、文本蕴涵等。我们还介绍了一个新的情感分析任务的电子商务领域,命名为快板评论(AR)。为了确保一个通用的评估方案,并促进模型推广到不同的NLU任务,基准测试包括来自不同领域和应用程序的数据集。此外,我们还发布了HerBERT,这是一个专门针对波兰语训练的基于transformer的模型,它具有最佳的平均性能,并在九个任务中的三个任务中获得了最佳结果。最后,我们提供了一个广泛的评估,包括几个标准基线和最近提出的基于多语言transformer的模型。
2020-05-01 cs.CL
Can Your Model Tell a Negation from an Implicature? Unravelling Challenges With Intent Encoders
University of California, San Diego(加利福尼亚大学圣迭戈分校);WS AI Labs(WS AI实验室);KAIST(韩国科学技术院)
针对传统基准无法衡量意图嵌入模型语义理解差距的问题,研究提出含三元组任务的语义工具包评估模型对否定与隐含意义的理解,并通过自回归数据增强加对比损失的预训练方法提升相关语义能力。
2024-03-07 cs.CL
Unveiling Dual Quality in Product Reviews: An NLP-Based Approach
National Information Processing Institute(国家信息处理研究所)
本文提出基于NLP的方法检测产品评论中的双重质量问题,构建含1,957条波兰语评论的数据集,并实验多种模型,验证了方法的有效性及多语言迁移能力。
2025-05-25 cs.CL
Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs
University of Waterloo(滑铁卢大学)
LEO通过轻量级融合设计提升多模态大语言模型的视觉理解能力,并在自动驾驶领域展现良好泛化性能。
2026-03-06 cs.CL cs.CV
Encoder-Agnostic Adaptation for Conditional Language Generation
Harvard University(哈佛大学)
大型预训练语言模型改变了研究人员处理区分性自然语言理解任务的方式,导致将预训练模型用于任意下游任务的方法占据主导地位。然而,如何将类似的技术用于语言生成是一个悬而未决的问题。编码器不可知设置的早期结果大多是负面的。在这项工作中,我们探索的方法,适应预先训练的语言模型,以任意条件输入。我们观察到,预训练的Transformer模型对调谐期间的大参数变化敏感。因此,我们提出了一种适应,直接注入任意条件反射到自我注意,我们称之为伪自我注意的方法。通过对四个不同的条件文本生成任务的实验,我们表明,这种编码器不可知的技术优于强基线,产生连贯的一代,是数据效率。
2019-09-11 cs.CL
Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences(智能信息处理重点实验室,计算技术研究所,中国科学院);State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出XBridge架构,利用预训练翻译模型实现多语言理解和生成,同时保留LLM作为英语核心处理通用知识,通过轻量级跨模型映射层和最优传输对齐目标,提升多语言生成性能。
2026-04-16 cs.CL
DialogueBERT: A Self-Supervised Learning based Dialogue Pre-training Encoder
JD AI(京东人工智能);Xiaoduo AI(晓多人工智能)
随着人工智能的快速发展,会话机器人已经在主流电子商务平台中盛行,它可以及时提供便捷的客户服务。为了满足用户,会话机器人需要理解用户的意图,检测用户的情感,并从会话语句中提取关键实体。然而,理解对话被认为是一项非常具有挑战性的任务。与一般的语言理解不同,对话中的话语是从不同的角色交替出现的,并且通常被组织成层次结构。为了促进对话的理解,在本文中,我们提出了一种新的上下文对话编码器(即对话BERT)的基础上流行的预训练的语言模型BERT。设计了五个自监督学习预训练任务来学习会话话语的特殊性。四种不同的输入嵌入,包括话轮嵌入,角色嵌入,标记嵌入和位置嵌入的集成来捕捉话语之间的关系。DialogueBERT在真实场景中预先训练了7000万个对话,然后在三个不同的下游对话理解任务中进行了微调。实验结果表明,DialogueBERT在意图识别、情感识别和命名实体识别方面分别取得了88.63%、94.25%和97.04%F1的优异成绩,大大优于几个强基线。
2021-09-22 cs.AI cs.CL
UniWorld-V1: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation
Peking University(北京大学);Shenzhen Graduate School(深圳研究生院);Peng Cheng Laboratory(鹏城实验室);Rabbitpre AI
针对现有统一模型在图像感知与操作上的不足,受 GPT-4o-Image 语义编码器启发,提出基于多模态大模型语义特征的统一生成框架 UniWorld-V1,仅用 270 万数据实现多种视觉任务高性能并全面开源。
2025-06-18 cs.AI cs.CL cs.CV
USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon(亚马逊)
提出USAD 2.0通用音频编码器,通过领域感知蒸馏融合自监督和监督基础模型知识,并扩展至音乐领域,经深度缩放达到十亿参数,在探测和基于LLM的评估中取得领先性能。
2026-06-04 cs.CL cs.SD eess.AS
Unifying Specialized Visual Encoders for Video Language Models
Department of Computer Science, Princeton University, Princeton, NJ, United States(普林斯顿大学计算机科学系);Salesforce Research, Palo Alto, CA, United States(Salesforce研究)
针对当前视频大语言模型依赖单视觉编码器导致视觉信息受限的问题,提出多编码器视频表示方法MERV,通过时空对齐多冻结视觉编码器特征生成统一表示,在多个基准上性能优于现有最优模型,且参数增量小、训练更快。
2025-06-15 cs.CL cs.CV cs.LG
DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding
ASAPP;Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本文提出DiscreteSLU,用自监督编码器与k-means生成离散语音单元并适配LLM,提升跨领域口语理解与口语问答的指令遵循能力。
2024-06-13 cs.CL cs.SD eess.AS
Exploring the Role of Explicit Temporal Modeling in Multimodal Large Language Models for Video Understanding
The University of Melbourne(墨尔本大学)
针对视频理解中隐式与显式时间建模的争议,提出可堆叠时间编码器(STE),系统比较两者在整体性能和token压缩等维度的表现,证实显式时间建模对推进视频MLLMs的关键作用。
2025-01-28 cs.CL cs.CV
Beyond Scale and Generation: Understanding Language Model-based Entity Matching
University of Amsterdam(阿姆斯特丹大学)
研究基于语言模型的实体匹配,通过控制因子研究Qwen3家族的多种架构、变体和大小,评估跨数据集可迁移性与计算成本,明确模型变体对双编码器的关键作用,以及不同匹配器架构性能差异因素,推动相关研究与基准设计发展。
2026-07-28 cs.CL cs.DB cs.LG
Exploring the Potential of Encoder-free Architectures in 3D LMMs
Northwestern Polytechnical University(西北工业大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Tele AI
本文提出首个无编码器3D大语言模型ENEL,通过嵌入语义编码和分层几何聚合策略,在3D理解任务中达到与SOTA模型相当的性能。
2025-12-08 cs.AI cs.CL cs.CV
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(湖畔实验室)
提出Video-LLaMA多模态框架,通过Video Q-former和Audio Q-former结合冻结的预训练编码器与LLMs,解决视频时序变化捕捉与音视频信号整合挑战,实现视频内容理解与响应生成。
2023-10-25 cs.CL cs.CV cs.SD
Efficient Long-Text Understanding with Short-Text Models
Tel-Aviv University(特拉维夫大学)
基于transformer的预训练语言模型(LM)在自然语言理解中无处不在,但由于其二次复杂性,无法应用于故事,科学文章和长文档等长序列。虽然已经提出了无数高效的Transformer变体,但它们通常基于自定义实现,需要从头开始进行昂贵的预训练。在这项工作中,我们提出了SLED:滑动编码器和解码器,这是一种处理长序列的简单方法,可以重复使用并利用经过实战测试的短文本预训练LM。具体来说,我们将输入划分为重叠的块,使用短文本LM编码器对每个块进行编码,并使用预训练的解码器来融合块之间的信息(解码器融合)。我们通过对照实验说明,SLED提供了一个可行的策略,长文本的理解和评估我们的方法上SCROLLS,一个基准,在广泛的语言理解任务的七个数据集。我们发现,SLED与大50倍的专用模型相比具有竞争力,并且需要专门且昂贵的预训练步骤。
2022-12-27 cs.AI cs.CL cs.LG
CERT: Contrastive Self-supervised Learning for Language Understanding
UC San Diego(加州大学圣迭戈分校);VMware(威睿公司)
预训练的语言模型如BERT、GPT在语言理解中表现出很好的效果。现有的预训练方法中的辅助预测任务大多定义在令牌上,因此可能无法很好地捕获事件级语义。为了解决这个问题,我们提出了CERT:来自Transformers的对比自监督编码器表示,它使用句子级别的对比自监督学习来预训练语言表示模型。CERT使用回译创建原始句子的扩充。然后,它微调预训练的语言编码器(例如,BERT)通过预测两个增强的句子是否源自同一个句子。CERT使用简单,可以灵活地插入任何预训练-微调NLP管道。我们在GLUE基准测试中对CERT在11个自然语言理解任务上进行了评估,其中CERT在7个任务上优于BERT,在2个任务上达到了与BERT相同的性能,在2个任务上表现不如BERT。在11个任务的平均得分上,CERT优于BERT。数据和代码可在https://github.com/UCSD-AI4H/CERT上获得
2020-06-18 cs.CL cs.LG stat.ML
Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases
National Information Processing Institute(国家信息处理研究所)
句子嵌入通常用于文本聚类和语义检索任务。最先进的句子表示方法是基于人工神经网络,该神经网络在大量手动标记的句子对的集合上进行微调。对于高资源语言(如英语或中文),有足够数量的注释数据可用。在不太流行的语言中,必须使用多语言模型,这提供了较低的性能。在这篇文章中,我们通过提出一种方法来解决这个问题,该方法用于训练有效的语言特定的句子编码器,而无需手动标记数据。我们的方法是自动构建一个数据集的释义对双语文本语料库对齐。然后,我们使用收集到的数据来微调一个带有额外循环池层的Transformer语言模型。我们的句子编码器可以在不到一天的时间内在单个图形卡上进行训练,在各种各样的任务级别上实现高性能。我们评估我们的方法在波兰语的八个语言任务,比较它与最好的多语言句子编码器。
2022-07-26 cs.CL
Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation
NASK National Research Institute(NASK国家研究院)
针对现有英语中心视觉-语言模型在文化理解上的不足,推出波兰语单文化视觉-语言基准 PoVisLE,含1117张图像与2366对标注VQA样本,可评估深层文化多模态理解。
2026-08-11 cs.CL cs.CV
Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学)
本文研究了基于序列标记的口语语言理解的编码器-解码器框架。我们引入双向长短期记忆-长短期记忆网络(BLSTM-LSTM)作为编码器-解码器模型,以充分利用深度学习的力量。在序列标记任务中,输入和输出序列是逐字对齐的,而注意力机制不能提供精确的对齐。为了解决这个问题,我们提出了一种新的编码器-解码器框架的焦点机制。在标准ATIS数据集上的实验表明,具有焦点机制的BLSTM-LSTM通过优于标准BLSTM和基于注意力的编码器-解码器来定义新的最新技术水平。进一步的实验也表明,该模型对语音识别错误具有更好的鲁棒性。
2017-03-13 cs.CL
Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models
Uppsala University(乌普萨拉大学);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
本文通过简化神经机器翻译(NMT)结构和训练无编码器的NMT模型来理解NMT。在无编码器模型中,词嵌入和位置嵌入的总和表示源。解码器是一个标准的Transformer或递归神经网络,通过注意力机制直接处理嵌入。实验结果表明:(1)无编码器模型中的注意力机制是一个强的特征提取器;(2)无编码器模型中的词嵌入与传统模型中的词嵌入相比具有竞争力;(3)非语境化的源表示导致性能大幅下降;(4)无编码器模型对德英和汉英对齐质量的影响不同。
2019-07-18 cs.CL
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);AGH University of Science and Technology(AGH科技大学)
基于BERT的模型目前被用于解决几乎所有的自然语言处理(NLP)任务,并且大多数情况下都能获得最先进的结果。因此,NLP社区对理解这些模型进行了广泛的研究,但最重要的是设计有效和高效的培训程序。已经进行了几项消融研究,调查如何训练BERT类模型,但其中绝大多数只涉及英语。为英语设计的培训程序不一定是通用的,也不一定适用于其他类型上特别不同的语言。因此,本文提出了第一个消融研究集中在波兰语,这与孤立的英语语言,是一个融合的语言。我们设计并全面评估了将知识从多语言模型转移到单语言BERT模型的预训练过程。除了多语言模型初始化之外,还探讨了可能影响预训练的其他因素,即训练目标、语料库大小、BPE-Dropout和预训练长度。基于所提出的过程,波兰BERT为基础的语言模型- HerBERT -训练。该模型在多个下游任务上实现了最先进的结果。
2021-05-04 cs.CL cs.LG
Polish-English medical knowledge transfer: A new benchmark and results
Adam Mickiewicz University(亚当·密茨凯维奇大学);Poznan University of Medical Sciences(波兹南医科大学)
本研究构建了含超2.4万道题的波兰医学考试基准数据集(含波英平行语料),评估多类前沿LLMs的医学任务表现,发现GPT-4o接近人类水平但跨语言及专科理解仍存挑战,为LLM临床部署提供参考。
2025-09-12 cs.AI cs.CL
CLIP also Understands Text: Prompting CLIP for Phrase Understanding
UC San Diego(加州大学圣地亚哥分校);UC Santa Barbara(加州大学圣巴巴拉分校)
对比图像预训练(CLIP)通过自然语言监督的预训练有效地学习视觉概念。CLIP及其视觉编码器已经在各种视觉和语言任务上进行了探索,并实现了强大的zero-shot或迁移学习性能。然而,它的文本编码器的应用,仅用于文本理解已经较少探索。在本文中,我们发现,CLIP的文本编码器实际上表现出强大的短语理解能力,甚至可以显着优于流行的语言模型,如BERT与适当设计的提示。大量的实验验证了我们的方法在不同数据集和领域的实体聚类和实体集扩展任务的有效性。
2022-10-11 cs.CL
Bielik v3 Small: Technical Report
SpeakLeash;ACK Cyfronet AGH;Jagiellonian University(雅盖隆大学);Azurro;Enelpol
本文提出Bielik v3系列波兰语参数高效生成模型(1.5B和4.5B),通过定制分词器APT4、加权指令交叉熵损失和自适应学习率,在2920亿token语料上训练,以较小规模在多个波兰语基准上达到与2-3倍大模型相当的性能。
2025-05-08 cs.AI cs.CL cs.LG
CTRAN: CNN-Transformer-based Network for Natural Language Understanding
University of Kashan(卡尚大学)
提出CTRAN,一种用于意图检测和槽位填充的CNN-Transformer编码器-解码器架构,通过引入窗口特征序列和对齐Transformer解码器,在ATIS和SNIPS数据集上超越当前最优水平。
2023-03-19 cs.CL
Distilled Dual-Encoder Model for Vision-Language Understanding
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院);Peng Cheng Laboratory(鹏城实验室)
我们提出了一个跨模态注意力蒸馏框架,用于训练视觉-语言理解任务的双编码器模型,例如视觉推理和视觉问答。双编码器模型比融合编码器模型具有更快的推理速度,并且能够在推理过程中对图像和文本进行预计算。然而,在双编码器模型中使用的浅层交互模块不足以处理复杂的视觉-语言理解任务。为了学习图像和文本的深度交互,我们引入了跨模态注意力蒸馏,它使用融合编码器模型的图像到文本和文本到图像的注意力分布来指导我们的双编码器模型的训练。此外,我们表明,在预训练和微调阶段应用跨模态注意力蒸馏可以实现进一步的改进。实验结果表明,在视觉推理、视觉蕴涵和视觉问答任务中,提取的双编码器模型在推理速度上比融合编码器模型有更快的表现.我们的代码和模型将在https://github.com/kugwzk/Distilled-DualEncoder上公开。
2022-10-17 cs.CL cs.CV
An Empirical Evaluation of Encoder Architectures for Fast Real-Time Long Conversational Understanding
Qualtrics Inc.(昆泰睿公司)
针对实时长对话理解中 Transformer 成本高、扩展性差的问题,本文实证比较高效 Transformer 变体与基于 CNN 的架构,证明 CNN 在训练、推理和内存效率上显著更优,并在 Long Range Arena 上具备竞争力。
2025-02-18 cs.CL
On the Difference of BERT-style and CLIP-style Text Encoders
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hong Kong University of Science and Technology(香港科技大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文通过通用文本理解、视觉中心文本理解和文本到图像生成三项实验,比较 BERT 与 CLIP 风格文本编码器,揭示后者虽通用理解较弱,却具有更接近人类的跨模态联觉能力。
2023-06-06 cs.CL
Bielik 11B v2 Technical Report
SpeakLeash;ACK Cyfronet AGH;Jagiellonian University(雅盖隆大学);Azurro;Enelpol
本文介绍面向波兰语的 Bielik 11B v2 模型,通过深度上扩展将 Mistral 架构扩至 11B 参数,并引入加权指令交叉熵损失与自适应学习率,以高效参数规模超越更大模型,推动低资源语言建模发展。
2025-05-08 cs.AI cs.CL
Extrapolating Multilingual Understanding Models as Multilingual Generators
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出语义引导的对齐后去噪(SGA)方法,将多语言理解模型XLM-R适配为生成器,在机器翻译、问题生成和故事生成任务上显著优于初始化方法,但在监督设置下仍不及mBART。
2023-05-22 cs.CL
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning
University of Macau(澳门大学);Tencent AI Lab(腾讯 AI 实验室);The University of Sydney(悉尼大学)
编码器层融合(EncoderFusion)是一种融合序列到序列(Seq 2Seq)模型的所有编码器层(而不是最上层)的技术,已被证明对各种NLP任务有效。然而,目前还不完全清楚为什么以及何时EncoderFusion应该工作。在本文中,我们的主要贡献是进一步理解EncoderFusion。许多先前的研究认为,EncoderFusion的成功来自于利用嵌入在较低编码器层中的表面和语法信息。与它们不同的是,我们发现编码器嵌入层比其他中间编码器层更重要。此外,最上面的解码器层在NLP任务中始终更加关注编码器嵌入层。基于这一观察,我们提出了一种简单的融合方法,SurfaceFusion,只融合softmax层的编码器嵌入层。实验结果表明,SurfaceFusion在几个NLP基准测试中的表现优于EncoderFusion,包括机器翻译、文本摘要和语法错误纠正。它在WMT 16罗马尼亚语-英语和WMT 14英语-法语翻译任务上获得了最先进的性能。广泛的分析表明,SurfaceFusion通过在相关源和目标嵌入之间建立更紧密的关系来学习更具表达力的双语词嵌入。源代码可以在https://github.com/SunbowLiu/SurfaceFusion上免费获得。
2021-03-18 cs.CL cs.LG
Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network
JD AI Research(京东人工智能研究院);Sun Yat-sen University(中山大学)
尽管使用基于BERT的编码器进行视觉语言(VL)预训练以用于VL理解,但用于VL理解和生成的通用编码器-解码器的预训练仍然具有挑战性。困难源于这两个学科固有的不同特点,例如,VL理解任务利用跨模态的不受限制的消息传递,而生成任务仅采用视觉到文本的消息传递。在本文中,我们开始与两个流解耦设计的编码器-解码器结构,其中两个解耦的跨模态编码器和解码器涉及到单独执行每种类型的代理任务,同时VL理解和生成预训练。此外,对于VL预训练,主要方式是用掩码令牌替换一些输入视觉/单词令牌,并强制多模态编码器/解码器重建原始令牌,但在下游任务上进行微调时不涉及掩码令牌。作为替代方案,我们提出了一个主要的预定采样策略,优雅地减轻这种差异,通过预训练编码器-解码器在一个两遍的方式。大量的实验证明了我们的预训练编码器-解码器通过对四个VL理解和生成下游任务进行微调而具有令人信服的普遍性。源代码可从\url{https://github.com/YehLi/TDEN}获得。
2021-01-27 cs.CL cs.CV
DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders
Microsoft Corporation(微软公司)
虽然预训练编码器在各种自然语言理解(NLU)任务中取得了成功,但这些预训练编码器和自然语言生成(NLG)之间存在差距。NLG任务通常基于编码器-解码器框架,其中预训练的编码器只能受益于其中的一部分。为了缩小这一差距,我们引入了DeltaLM,一种预训练的多语言编码器-解码器模型,将解码器视为现成的预训练编码器的任务层。具体来说,我们用解码器增强预训练的多语言编码器,并以自我监督的方式对其进行预训练。为了充分利用大规模单语数据和双语数据,我们采用跨度腐败和翻译跨度腐败作为预训练任务。实验表明,DeltaLM在自然语言生成和翻译任务(包括机器翻译、抽象文本摘要、数据到文本和问题生成)上的表现优于各种强基线。代码和预训练模型可在\url{https://aka.ms/deltalm}上获得。
2021-08-18 cs.CL
T5Gemma 2: Seeing, Reading, and Understanding Longer
Google(谷歌)
T5Gemma 2通过改进的编码器-解码器架构,实现了多模态和长上下文处理能力,同时在预训练和微调性能上优于Gemma 3。
2025-12-23 cs.CL
Sentence Embedder Guided Utterance Encoder (SEGUE) for Spoken Language Understanding
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出 SEGUE 方法,利用配对音频-文本数据集将文本句子嵌入器知识蒸馏到 wav2vec 2.0 进行预训练,有效提升了 SLU 任务在微调、全数据及少样本迁移下的表现。
2023-05-20 cs.AI cs.CL cs.SD
CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation
Salesforce Research Asia(赛富时亚洲研究院);Nanyang Technological University(南洋理工大学)
自然语言(NL)(如BERT和GPT)的预训练模型最近被证明可以很好地转移到程序设计语言(PL),并在很大程度上有利于广泛的代码相关任务。尽管它们取得了成功,但大多数当前方法要么依赖于仅编码器(或仅解码器)的预训练,这对于生成(或解码器)而言是次优的。理解)任务或以与NL相同的方式处理代码片段,忽略PL的特殊特性,如令牌类型。我们提出了CodeT 5,这是一个统一的预训练编码器-解码器Transformer模型,可以更好地利用开发人员分配的标识符所传达的代码语义。我们的模型采用了一个统一的框架来无缝地支持代码理解和生成任务,并允许多任务学习。此外,我们提出了一种新的识别器感知的预训练任务,使模型能够区分哪些代码令牌是标识符,并在它们被屏蔽时恢复它们。此外,我们建议利用用户编写的代码注释与双峰双生成任务更好的NL-PL对齐。综合实验表明,CodeT 5在代码缺陷检测和克隆检测等理解任务以及PL-NL、NL-PL和PL-PL等各个方向的生成任务上都明显优于现有方法。进一步的分析表明,我们的模型可以更好地捕捉代码中的语义信息。我们的代码和预训练模型发布在https://github.com/salesforce/CodeT5。
2021-09-02 cs.CL cs.PL
Understanding Cross-Lingual Alignment -- A Survey
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Centre for Machine Learning (MCML)(慕尼黑机器学习中心);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院);Technical University of Munich(慕尼黑工业大学)
本文综述了多语言模型中跨语言对齐的改进技术,提出方法分类,并指出语言中立与语言特定信息的有效权衡是未来关键。
2024-06-11 cs.CL
TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation
Bogazici University(海峡大学);VNGRS-AI
TURNA是一种专为土耳其语设计的编码器-解码器语言模型,通过预训练在低资源环境下实现了对自然语言理解和生成任务的提升。
2024-01-25 cs.AI cs.CL cs.LG
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University(汉阳大学)
知识蒸馏(KD)是模型压缩的一种常用方法,它利用教师传授的知识来增强轻量级模型的能力。特别地,KD已被用于Transformer编码器(如BERT)的量化感知训练(QAT)中,以利用降低精度的权重参数来提高学生模型的准确性。然而,很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中,我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是,我们发现,以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此,我们提出了两种KD方法:注意力地图和注意力输出损失。此外,我们探讨了这两种损失的统一,以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明,所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的,在微调过程中看不到。尽管取得了令人鼓舞的成果,但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析,我们表明,多语言BERT,一个流行的多语言语言模型,可以被看作是两个子网络的堆叠:一个多语言编码器,然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要,并且在微调期间基本保持不变,但任务预测器对迁移的重要性很小,并且可以在微调期间重新初始化。我们提出了广泛的实验,三个不同的任务,17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
OmniV-Med: Scaling Medical Vision-Language Model for Universal Visual Understanding
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);UIUC(伊利诺伊大学香槟分校)
OmniV-Med提出统一医学视觉语言模型框架,通过构建252K指令数据集、旋转位置自适应编码器和医学感知令牌剪枝,在7个基准上达到最先进性能,轻量版仅需8块GPU训练。
2025-04-20 cs.CL
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
基于神经Transformer架构的预训练多语言文本编码器,如多语言BERT(mBERT)和XLM,在无数的语言理解任务上取得了很好的性能。因此,它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例,使跨语言词嵌入(CLWEs)有效地过时。然而,问题仍然存在,在何种程度上这一发现推广1)无监督的设置和2)特设跨语言IR(CLIR)的任务。因此,在这项工作中,我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比,我们的研究结果表明,对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR,我们证明了可以实现最先进的性能。然而,使用通用多语言文本编码器“现成的”并不能达到峰值性能,而是依赖于它们的变体,这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
Sequence-to-Sequence Pre-training with Unified Modality Masking for Visual Document Understanding
ByteDance AI Lab(字节跳动人工智能实验室)
提出GenDoc,一个基于编码器-解码器架构的序列到序列文档理解模型,通过统一模态掩码预训练和混合模态专家策略,在多种下游任务上取得优异性能,并在OCR质量不佳时表现出更强鲁棒性。
2023-05-16 cs.AI cs.CL
DisCoCLIP: A Distributional Compositional Tensor Network Encoder for Vision-Language Understanding
University College London(伦敦大学学院)
DisCoCLIP通过张量网络文本编码器显式编码句法结构,结合冻结的CLIP视觉变换器,以参数高效方式显著提升视觉-语言组合推理,如动词准确率提升至82.4%,SVO-Swap达93.7%。
2025-09-25 cs.AI cs.CL
Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks
Istanbul Bilgi University(伊斯坦布尔比尔基大学)
本研究针对土耳其语自然语言理解任务,微调基础版土耳其语BERT模型BERTurk,在命名实体识别等四项任务上超越现有基线,公开发布相关模型资源以支持领域研究。
2024-01-30 cs.AI cs.CL
Investigating Pre-trained Audio Encoders in the Low-Resource Condition
Monash University(莫纳什大学)
本文在低资源条件下系统评估Wav2vec2、WavLM和Whisper三种预训练语音编码器在7个任务上的表现,发现Whisper在内容驱动任务中性能和收敛速度最优,并揭示了预训练协议与内部表征之间的关联。
2023-05-28 cs.CL cs.SD eess.AS
End-to-end spoken language understanding using joint CTC loss and self-supervised, pretrained acoustic encoders
Amazon Alexa AI(亚马逊Alexa人工智能部门)
提出以 CTC 微调的自监督声学编码器提取文本嵌入,并用 CTC 与 SLU 联合损失训练端到端 SLU 模型,在 DSTC2 和 SLURP 上分别超过 SOTA 4% 和 1.3%。
2023-06-02 cs.CL cs.SD eess.AS