Shallow Domain Adaptive Embeddings for Sentiment Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种方法，以提高现有的文本分类算法的性能，在强语言语义领域。我们提出了一个领域自适应层学习权重，将通用和特定领域（DS）的词嵌入组合成领域自适应（DA）嵌入。DA词嵌入然后被用作通用编码器+分类器框架的输入，以执行诸如分类的下游任务。该适配层特别适合于大小适中的数据集，因此，这些数据集不是（重新）训练深度神经网络架构的理想候选者。使用流行的编码器架构，包括当前最先进的方法（有和没有浅适应层）的二进制和多类分类任务的结果显示了所提出的方法的有效性。
2019-08-16 cs.CL cs.IR cs.LG
SkMTEB: Slovak Massive Text Embedding Benchmark and Model Adaptation
Comenius University in Bratislava（布拉迪斯拉发夸美纽斯大学）；Cisco Systems（思科系统）；Technical University of Košice（科希策技术大学）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）
针对低资源西斯拉夫语斯洛伐克语，构建首个MTEB风格文本嵌入基准SkMTEB（含31个数据集、7类任务），并开发高效本地部署模型e5-sk-small/large，通过词汇裁剪与微调在参数减少62%下达到与商业API相当的竞争力。
2026-06-12 cs.AI cs.CL cs.LG
Unsupervised Online Multitask Learning of Behavioral Sentence Embeddings
无监督学习已经成为一种很有吸引力的方法，可以从大量的未标记数据中轻松获得有意义的数据表示。这些表示或嵌入通常在许多任务中产生优异的结果，无论是直接使用还是作为后续训练阶段的特征。然而，嵌入的质量高度依赖于未标记数据中的假设知识以及系统如何在没有监督的情况下提取信息。领域可移植性在无监督学习中也非常有限，通常需要在其他领域内语料库上重新训练以实现鲁棒性。在这项工作中，我们提出了一个多任务范式的无监督上下文学习的行为互动，解决无监督域适应。我们将在线多任务目标引入到无监督学习中，并表明通过此过程生成的句子嵌入提高了情感任务的性能。
2018-11-01 cs.CL
Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation
National Taiwan University（台湾大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
语音翻译的目的是学习从源语言的语音到目标语言的文本的转换。以前的工作表明，多任务学习提高ST性能，其中识别解码器生成源语言的文本，翻译解码器根据识别解码器的输出获得最终的翻译。由于识别解码器的输出是否具有正确的语义比其准确性更重要，我们提出了改进的多任务ST模型，利用词嵌入作为中间。
2020-07-04 cs.CL
Polarity and Subjectivity Detection with Multitask Learning and BERT Embedding
Graphene AI（石墨烯人工智能公司）；Granular AI（格兰纽勒人工智能公司）；Nanyang Technological University（南洋理工大学）
多任务学习通常有助于提高相关任务的性能，因为这些任务通常相互依赖，并且在联合框架中解决时表现更好。在本文中，我们提出了一个深度多任务学习框架，它联合执行极性和主观检测。我们提出了一个基于注意力的多任务模型来预测极性和主观性。使用预训练的BERT和Glove嵌入将输入句子转换为向量，结果表明基于BERT嵌入的模型比基于Glove的模型效果更好。我们比较我们的方法与国家的最先进的模型在主观和极性分类单任务和多任务框架。所提出的方法报告的极性检测和主观性检测的基线性能。
2022-01-14 cs.AI cs.CL
Modelling Latent Skills for Multitask Language Generation
DeepMind（深度思维）
我们提出了一个多任务条件语言生成的生成模型。我们的指导性假设是，一组共享的潜在技能构成了许多不同的语言生成任务的基础，并且在任务嵌入空间中明确地建模这些技能可以帮助跨任务的正迁移和对新任务的有效适应。我们将此任务嵌入空间实例化为潜在变量序列到序列模型中的潜在变量。我们通过策划一系列单语文本到文本语言生成数据集来评估这一假设-涵盖广泛的任务和领域-并比较模型在多任务和Few-Shot制度中的性能。我们表明，我们的潜在任务变量模型优于其他序列到序列的基线平均跨任务的多任务设置。在看不见的测试数据集上的少样本学习设置中（即，一个新的任务），我们证明了模型自适应推理的基础上，在潜在的任务空间是更强大的比标准的微调为基础的参数自适应，并执行在整体性能方面的优势。最后，我们研究了我们的模型学习的潜在任务表示，并表明它们以自然的方式聚类任务。
2020-02-21 cs.CL
Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings
Nanyang Technological University（南洋理工大学）；Amazon（亚马逊）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们共同解决社区论坛中问答的两个重要任务：给定一个新问题，（i）找到相关的现有问题，以及（ii）找到这个新问题的相关答案。我们进一步使用辅助任务来补充前两个任务，即，(iii)在问题评论线程中找到关于线程问题的好答案。我们使用深度神经网络（DNN）来学习有意义的特定于任务的嵌入，然后将其纳入多任务设置的条件随机场（CRF）模型，在复杂的图结构上进行联合学习。虽然DNN在训练产生嵌入时单独实现了竞争结果，但CRF利用嵌入和任务之间的依赖关系，在各种评估指标中显着且一致地改善了结果，从而显示了DNN和结构化学习的互补性。
2018-09-24 cs.CL
1Cademy at Semeval-2022 Task 1: Investigating the Effectiveness of Multilingual, Multitask, and Language-Agnostic Tricks for the Reverse Dictionary Task
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）；San Diego State University（圣地亚哥州立大学）
本文介绍了我们的系统SemEval 2022任务匹配字典注释词嵌入。我们专注于反向字典轨道的竞争，它映射多语言的注释重建矢量表示。更具体地说，模型将输入的句子转换为三种类型的嵌入：SGNS，Char和Electra。我们提出了几个实验应用神经网络细胞，一般的多语言和多任务结构，和语言无关的技巧的任务。我们还提供了不同类型的词嵌入和消融研究的比较，以建议有用的策略。我们最初的基于变压器的模型实现了相对较低的性能。然而，不同的retokenization方法的试验表明性能有所改善。我们提出的基于Elmo的单语模型达到了最高的结果，其多任务和多语言品种也显示出竞争力。
2022-06-08 cs.CL
Vision Transformer Adapters for Generalizable Multitask Learning
EPFL（洛桑联邦理工学院）
该研究提出首个多任务视觉Transformer适配器，通过任务适配注意力机制学习可泛化任务亲和性，在参数高效的同时实现新任务新领域的零样本迁移等泛化能力，性能优于现有卷积和视觉Transformer多任务方法。
2023-08-23 cs.CL cs.CV
Adaptor: Objective-Centric Adaptation Framework for Language Models
Masaryk University（马萨里克大学）；Gauss Algorithmic（高斯算法公司）
自然语言处理研究的进展是由广泛的软件框架提供的可能性催化的。本文介绍了Adaptor库，它将传统的以模型为中心的预训练+微调步骤转换为以目标为中心的方法，通过应用选定的目标来组成训练过程。我们调查的研究方向，可以受益于增强目标为中心的实验，多任务训练，自定义目标的发展，动态培训课程，或领域自适应。Adaptor旨在简化这些研究方向在实践中的可重复性。最后，我们证明了适配器在选定的无监督领域自适应场景的实际适用性。
2022-05-20 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
表示学习是无监督领域自适应的主要技术，但现有的方法往往需要规范的“枢轴功能”，概括跨域，这是由特定于任务的算法选择。我们表明，一种新颖但简单的特征嵌入方法提供了更好的性能，通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
The Natural Language Decathlon: Multitask Learning as Question Answering
Salesforce Research（赛富时研究院）
深度学习提高了许多自然语言处理（NLP）任务的性能。然而，一般的NLP模型不能出现在一个专注于单一指标，数据集和任务的特殊性的范式中。我们介绍了自然语言十项全能（decaNLP），这是一个跨越十项任务的挑战：问答，机器翻译，摘要，自然语言推理，情感分析，语义角色标注，zero-shot关系抽取，面向目标的对话，语义解析和常识代词解析。我们将所有任务都转换为上下文上的问答。此外，我们提出了一个新的多任务问答网络（MQAN）联合学习decaNLP中的所有任务，在多任务设置中没有任何特定于任务的模块或参数。MQAN在机器翻译和命名实体识别的迁移学习、情感分析和自然语言推理的领域自适应以及文本分类的zero-shot功能方面有所改进。我们证明了MQAN的多指针生成器解码器是成功的关键，并且通过反课程训练策略进一步提高了性能。尽管是为decaNLP设计的，MQAN也在单任务设置中实现了WikiSQL语义解析任务的最新结果。我们还发布了用于获取和处理数据、训练和评估模型以及复制decaNLP所有实验的代码。
2018-06-20 cs.AI cs.CL cs.LG
SYSML: StYlometry with Structure and Multitask Learning: Implications for Darknet Forum Migrant Analysis
The Ohio State University（俄亥俄州立大学）
暗网市场论坛经常被用来在使用加密来隐藏身份的各方之间交换非法商品和服务。Tor网络用于托管这些市场，这保证了IP和位置跟踪的额外匿名化，使得使用多个帐户（sybils）链接恶意用户变得具有挑战性。此外，当一个论坛关闭时，用户会迁移到新的论坛，这使得很难跨多个论坛链接用户。我们开发了一种新的基于文体学的多任务学习方法，用于自然语言和交互建模，使用图嵌入构建低维表示的短情节的用户活动的作者归属。我们在四个不同的暗网论坛上对我们的方法进行了全面的评估，展示了其在最先进水平上的有效性，平均检索排名提升了2.5倍，Recall@10提升了2倍。
2021-09-20 cs.CL
PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models
Technion, Israel Institute of Technology（以色列理工学院）
基于语义的神经表示模型在自然语言处理的领域自适应方面取得了重大进展。然而，以前的作品，遵循这种方法只利用标记的数据从源域和未标记的数据从源和目标域，但忽略了将大量的未标记的语料库，不一定是从这些领域。为了缓解这一问题，我们提出了PERL：一种表示学习模型，它扩展了上下文化的词嵌入模型，如BERT，并进行了基于语义的微调。PERL在22个情感分类领域自适应设置中的表现优于强基线，提高了领域模型的性能，产生了有效的缩小模型，并提高了模型的稳定性。
2020-06-16 cs.CL cs.LG
A simple method for domain adaptation of sentence embeddings
German Aerospace Center (DLR)（德国航空航天中心）
预训练的句子嵌入已被证明对各种NLP任务非常有用。由于训练这种嵌入需要大量数据，因此它们通常在各种文本数据上进行训练。在许多情况下，对特定领域的调整可以改善结果，但这种微调通常取决于问题，并存在过度适应用于调整的数据的风险。在本文中，我们提出了一个简单的通用方法，使用Siamese架构微调谷歌的通用句子编码器（USE）。我们演示了如何使用这种方法的各种数据集，并在不同的数据集代表类似的问题，目前的结果。该方法也比较传统的微调这些数据集。作为另一个优点，该方法可以用于组合具有不同注释的数据集。我们还提出了一个嵌入微调的所有数据集并行。
2020-08-25 cs.CL cs.LG
Maximizing Data Efficiency for Cross-Lingual TTS Adaptation by Self-Supervised Representation Mixing and Embedding Initialization
National Taiwan University（国立台湾大学）
本文提出一种数据高效的跨语言TTS适应框架，通过自监督特征混合和嵌入初始化，仅用4条标记数据和15分钟未标记数据即可合成清晰语音，并超越传统方法。
2024-01-23 cs.CL cs.LG
Modeling Noisiness to Recognize Named Entities using Multitask Neural Networks on Social Media
University of Houston（休斯顿大学）；Universidad Nacional de Colombia（哥伦比亚国立大学）
识别文档中的命名实体是许多NLP应用程序中的关键任务。虽然目前最先进的方法，这个任务达到了高性能的干净的文本（如新闻类），这些算法显着降低，当它们被移动到嘈杂的环境，如社交媒体领域。我们提出了两个系统，解决了使用字符级语音和音位，词嵌入，和词性标签作为功能的社会媒体数据处理的挑战。第一个模型是多任务端到端双向长短期记忆（BLSTM）-条件随机场（CRF）网络，其输出层包含两个CRF分类器。第二个模型使用多任务BLSTM网络作为特征提取器，将学习转移到CRF分类器进行最终预测。我们的系统在2017年嘈杂用户生成文本研讨会数据集上的表现优于当前最先进的F1分数2.45%和3.69%，为社交媒体环境建立了更合适的方法。
2019-06-10 cs.CL
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek
LIX, Ecole Polytechnique（巴黎综合理工学院LIX实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；National Technical University of Athens（雅典国家技术大学）；University of Ioannina（约阿尼纳大学）；University of Peloponnese（伯罗奔尼撒大学）
希腊MMLU是一个包含45个学科领域的21805道多选题的希腊多任务评估基准，所有题目均源自希腊学术、专业和政府考试，旨在评估语言模型在希腊语言中的表现。
2026-03-28 cs.CL
Efficient Task Adaptation in Large Language Models: A Survey of Weight-Based, Prompt-Based, and Embedding-Based Adaptations
RICS；Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）；IPAI；Samsung Advanced Institute of Technology, Samsung Electronics Co., Ltd（三星电子三星综合技术院）；AIIS；Seoul National University（首尔大学）
本综述提出统一框架，按任务信息编码位置（权重、提示、嵌入）分类大型语言模型的高效适配方法，分析各范式优劣与关系，并指出未来开放问题。
2026-10-02 cs.CL
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
TAROT: A Hierarchical Framework with Multitask Co-Pretraining on Semi-Structured Data towards Effective Person-Job Fit
LinkedIn（领英）
针对通用大模型难以捕捉招聘档案与职位描述结构信息的问题，本文提出层次化多任务联合预训练框架 TAROT，利用半结构化文本学习多粒度语义嵌入，并在 LinkedIn 数据集上验证了人岗匹配性能提升。
2024-01-17 cs.AI cs.CL
Domain-adaptation of spherical embeddings
Iris AI
嵌入模型的领域自适应，将通用嵌入更新为特定领域的语言，是一种经过验证的技术，适用于没有足够数据从头开始训练有效模型的领域。化学出版物就是这样一个领域，其中科学术语和过载的术语抑制了通用语言模型的性能。arXiv：1911.01196中提出的最近的球形嵌入模型（JoSE）在多维单位球体上的训练期间联合学习单词和文档嵌入，这对于文档分类和单词相关任务表现良好。但是，我们发现在训练过程中全局旋转导致的非收敛性阻止了它的领域自适应。在这项工作中，我们开发了一些方法来对抗嵌入空间的全局旋转，并提出了在特定领域的训练过程中更新单词和文档的策略。两个新的文档分类数据集整理从一般和化学科学期刊，比较所提出的更新训练策略与基准模型。我们表明，我们的策略是能够降低性能成本的领域自适应到一个类似的水平Word2Vec。
2021-11-01 cs.CL
Analyzing deep CNN-based utterance embeddings for acoustic model adaptation
University of Edinburgh（爱丁堡大学）
我们探讨了为什么具有小的二维核的深度卷积神经网络（CNN），主要用于建模图像中的空间关系，在语音识别中也是有效的。我们分析了深度CNN学习的表示，并在声学模型自适应的背景下将其与深度神经网络（DNN）表示和i向量进行了比较。为了探索是否可以从学习的表示中解码可解释的信息，我们使用Aurora-4数据集来评估它们区分说话者、声学条件、噪声类型和性别的能力。我们提取了整个模型嵌入（以捕获整个网络中学习到的信息）和特定于层的嵌入，从而能够理解整个网络中的信息流。我们还使用学习表示作为额外的输入的时间延迟神经网络（TDNN）的极光-4和MGB-3英语数据集。我们发现深度CNN嵌入在声学模型自适应方面优于DNN嵌入，并且基于深度CNN嵌入的辅助特征导致与i向量相似的单词出错率。
2018-11-12 cs.CL
Semantic Alignment across Ancient Egyptian Language Stages via Normalization-Aware Multitask Learning
本文研究古代埃及语言四个历史阶段的词级语义对齐，通过联合训练共享字级分词器的紧凑编码器-解码器模型，结合掩码语言模型、翻译语言模型、序列到序列翻译和词性标注任务，提升跨阶段对齐效果。
2026-03-25 cs.CL
BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting
Brown University（布朗大学）；EleutherAI；Yale University（耶鲁大学）；Hugging Face；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University College London（伦敦大学学院）；PSAU（沙特王子萨塔姆·本·阿卜杜勒阿齐兹大学）；Nanyang Technological University（南洋理工大学）；University of Washington（华盛顿大学）；University of Oregon（俄勒冈大学）；The Hong Kong University of Science and Technology（香港科技大学）；Booz Allen Hamilton（博思艾伦咨询公司）；NAVER LABS Europe（NAVER欧洲实验室）
本文研究将BLOOM适配到预训练未见的新语言，发现适配器微调优于继续预训练，且语言适配数据规模是决定零样本提示性能的主要因素，并证明将新语言纳入多任务微调混合数据是教会BLOOMZ新语言的最有效方法。
2023-05-27 cs.AI cs.CL cs.LG
Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cisco Systems Inc.（思科系统公司）
本文提出轻量高效的少样本适应方法MixPro，通过线性混合源数据和少量目标样本的预训练嵌入生成新数据集并训练线性分类器，有效缓解小数据噪声与过拟合，在8个数据集上仅需2-4个样本即可提升最多7%性能。
2024-05-29 cs.CL cs.CV cs.LG
Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models
Alibaba Cloud, Alibaba Group（阿里巴巴集团阿里云）
针对大语言模型多任务微调易出现的灾难性遗忘与任务干扰问题，提出Mixture-of-LoRAs架构，通过分领域训练LoRA、显式路由组合与领域标签实现高效多任务学习，支持快速领域适配且性能优异鲁棒。
2024-03-06 cs.AI cs.CL
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Franken-Adapter: Cross-Lingual Adaptation of LLMs by Embedding Surgery
The University of Melbourne（墨尔本大学）；Google（谷歌公司）
针对LLMs低资源语言能力不足问题，提出Franken-Adapter模块化适配方法，通过嵌入手术定制目标语言词汇并调优嵌入，结合英语指令调优模型实现零样本跨语言迁移，在多语言任务中显著提升性能且英语退化小，还能迁移推理能力。
2025-02-12 cs.CL
Task-Conditional Flow Matching for Balanced Multilingual Text Embedding Adaptation
Indian Institute of Technology Gandhinagar（印度甘地讷格尔印度理工学院）
针对多语言文本嵌入模型适配的任务差异问题，提出TCFM框架，结合流匹配与教师引导表示保留等方法，在Indic基准上实现最优性能并将发布代码与数据集。
2026-08-07 cs.AI cs.CL
Vocabulary Adaptation for Distant Domain Adaptation in Neural Machine Translation
The University of Tokyo（东京大学）；Institute of Industrial Science（产业科学研究所）；National Institute of Informatics（国立信息学研究所）
神经网络方法只在少数资源丰富的领域表现出很强的性能。因此，从业者从资源丰富的领域中采用领域自适应，这些领域在大多数情况下远离目标领域。远域之间的领域自适应（例如，电影字幕和研究论文），然而，由于词汇的不匹配而不能有效地执行;它将遇到许多领域特定的单词（例如，“angstrom”）和其含义跨域变化的单词（例如，“导体”）。在这项研究中，为了解决神经机器翻译（NMT）领域自适应中的词汇不匹配问题，我们提出了词汇自适应，这是一种有效微调的简单方法，可以将给定预训练NMT模型中的嵌入层调整到目标领域。在微调之前，我们的方法通过将从目标域中的单语数据诱导的一般词嵌入投影到源域嵌入空间来替换NMT模型的嵌入层。实验结果表明，我们的方法提高了3.86和3.28 BLEU点的传统微调的性能，在En-Ja和De-En翻译，分别。
2020-10-31 cs.CL
Unsupervised Domain Adaptation for Neural Machine Translation with Domain-Aware Feature Embeddings
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
最近神经机器翻译模型的成功依赖于高质量域内数据的可用性。当特定于域的数据很少或不存在时，需要领域自适应。以前的无监督领域自适应策略包括用域内复制的单语或反向翻译的数据训练模型。然而，这些方法使用文本的通用表示，而不管域转移，这使得翻译模型无法控制特定域的输出条件。在这项工作中，我们提出了一种方法，通过辅助语言建模任务学习的域感知特征嵌入来适应模型。我们的方法允许模型分配特定领域的表示词和输出句子在所需的域。我们的实证结果证明了所提出的策略的有效性，在多个实验环境中实现了一致的改善。此外，我们表明，将我们的方法与反向翻译相结合可以进一步提高模型的性能。
2019-08-27 cs.CL
Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning
fortiss GmbH（fortiss公司）；School of Computation and Information Technology（计算与信息科技学院）
本研究通过提示工程与资源高效的对比微调，将大语言模型适配为文本嵌入模型，在MTEB英语聚类任务上取得有竞争力性能，并揭示微调提升语义压缩效果。
2025-09-24 cs.CL
ClusterFusion: Hybrid Clustering with Embedding Guidance and LLM Adaptation
Adobe（Adobe公司）；Carnegie Mellon University（卡内基梅隆大学）
ClusterFusion通过将LLM作为聚类核心，结合嵌入引导方法，实现领域知识与用户偏好的整合，提升文本聚类在标准任务和特定领域的性能。
2026-10-22 cs.CL
Relational Teacher Student Learning with Neural Label Embedding for Device Adaptation in Acoustic Scene Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
在本文中，我们提出了一个域自适应框架，以解决设备不匹配的问题，在声学场景分类利用神经标签嵌入（NLE）和关系师生学习（RTSL）。考虑到声学场景类之间的结构关系，我们提出的框架捕捉这种关系，这是本质上独立于设备。在训练阶段，可迁移知识从源领域浓缩到非线性语言中。接下来在适应阶段，采用一种新的RTSL策略来学习适应的目标模型，而不使用传统教师学生学习中经常需要的配对源目标数据。在DCASE 2018 Task 1b数据集上评估了拟议的框架。基于AlexNet-L深度分类模型的实验结果证实了我们所提出的方法在不匹配情况下的有效性。单独的NLE适应与传统的设备适应和基于教师学生的适应技术相比是有利的。NLE与RTSL进一步提高了分类精度。
2020-07-31 cs.CL cs.SD eess.AS
Domain Adaptation for Japanese Sentence Embeddings with Contrastive Learning based on Synthetic Sentence Generation
Doshisha University（同志社大学）；Kindai University（近畿大学）
本文提出 SDJC 方法，通过生成与目标领域句子句法相同但语义不同的合成句子来增强对比学习，实现日语句子嵌入的领域自适应，并构建了日语 STS 基准数据集，实验验证了其有效性。
2025-03-12 cs.CL
Efficient Domain Adaptation of Sentence Embeddings Using Adapters
Technical University of Munich（慕尼黑工业大学）
本文提出用轻量级领域特定适配器替代对整个句子嵌入模型的微调，在仅训练约3.6%参数的情况下取得与完全微调相差1%以内的竞争性能，实现参数高效的领域自适应。
2023-09-24 cs.AI cs.CL
Lightweight Adaptation of Neural Language Models via Subspace Embedding
University of Surrey（萨里大学）；University of Southampton（南安普顿大学）
本文提出一种基于子空间嵌入与 token 上下文分配的紧凑嵌入结构，可将预训练语言模型嵌入压缩超过99.8%，且绝对准确率损失不超过4%。
2023-08-16 cs.AI cs.CL
LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation
L3S Research Center Hannover（汉诺威L3S研究中心）
LGSE通过引入词法信息的子词分割方法，改进低资源语言适应中的词嵌入初始化，通过平均预训练的子词或FastText词法表示，提升表示质量。
2026-03-23 cs.AI cs.CL
L-Vector: Neural Label Embedding for Domain Adaptation
Microsoft（微软）
我们提出了一种新的神经标签嵌入（NLE）方案，用于深度神经网络（DNN）声学模型的域自适应，该模型具有来自源域和目标域的未配对数据样本。使用NLE方法，我们将来自强大的源域DNN的知识提取到标签嵌入或l-向量的字典中，每个senone类一个。每个I向量是源域DNN的特定于状态元的输出分布的表示，并且通过简单的平均或标准反向传播来学习以最小化到具有相同标签的输出向量的平均L2、Kullback-Leibler（KL）或对称KL距离。在自适应过程中，l-向量作为软目标来训练具有交叉熵损失的目标域模型。由于没有师生学习中的并行数据约束，NLE特别适用于无法从源域数据模拟成对目标域数据的情况。我们采用6400小时的多条件美国英语声学模型，以适应9种口音英语（80至830小时）和儿童语音（80小时）中的每一种。NLE实现了高达14.1%的相对字错误率降低直接重新训练与一个热标签。
2020-04-25 cs.CL cs.LG cs.SD
Acoustic word embeddings for zero-resource languages using self-supervised contrastive learning and multilingual adaptation
School of Data Science and Computational Thinking (SU)（数据科学与计算思维学院（南非大学））
声学词嵌入（AWE）是可变长度语音段的固定维表示。对于没有标记数据的零资源语言，一种AWE方法是使用无监督的基于自动编码器的递归模型。另一种最近的方法是使用多语言传输：在几种资源丰富的语言上训练有监督的AWE模型，然后将其应用于一种看不见的零资源语言。我们考虑如何最近的对比学习损失可以在纯粹的无监督和多语言传输设置。首先，我们证明了来自无监督术语发现系统的术语可以用于对比自我监督，从而改进了以前的无监督单语AWE模型。其次，我们考虑如何多语言AWE模型可以适应一个特定的零资源语言使用发现的条款。我们发现，自监督对比适应优于适应多语言对应自动编码器和暹罗AWE模型，在六种零资源语言的单词识别任务中获得了最佳的整体结果。
2021-03-19 cs.CL eess.AS
Contrastive Learning Using Graph Embeddings for Domain Adaptation of Language Models in the Process Industry
University of Göttingen（戈丁根大学）；eschbach GmbH（eschbach公司）
本文研究将图感知邻域对比学习SciNCL应用于流程工业领域，利用图嵌入微调语言模型，在PITEB基准上以少3倍参数超越mE5-large达9.8-14.3%。
2025-10-07 cs.CL cs.IR
