Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics
Nantes Université（南特大学）；LS2N, UMR CNRS 6004（LS2N、法国国家科学研究中心UMR 6004）
本文提出基于体裁与主题信息的词语重要性排序掩码方法，通过法律领域持续预训练在LegalGLUE上验证其有效性，并公开模型与代码。
2024-02-26 cs.CL
Non-Parametric Temporal Adaptation for Social Media Topic Classification
Carnegie Mellon University（卡内基梅隆大学）；Twitter Cortex（推特Cortex团队）；University of California San Diego（加州大学圣地亚哥分校）
本文研究社交媒体主题分类的时间适应问题，提出非参数密集检索技术，无需重新训练即可有效应对测试分布偏移和动态数据删除，在Twitter数据集上较最佳参数基线提升64.12%。
2023-05-15 cs.CL
Estimating Confusions in the ASR Channel for Improved Topic-based Language Model Adaptation
The Johns Hopkins University（约翰斯·霍普金斯大学）
人类语言是一种基本语言/领域/风格的组合，这些语言/领域/风格在语篇中变化，有时在语篇中变化。语言模型在语音识别器和机器翻译系统中起着至关重要的作用，对这种变化特别敏感，除非发生某种形式的适应。语音语言模型自适应的一种方法是自训练，其中基于自动转录的音频来调整语言模型的参数。然而，转录错误可能会误导自我训练，特别是在具有挑战性的环境中，如对话演讲。在这项工作中，我们提出了一个模型，认为混淆（错误）的ASR通道。通过对ASR输出中可能的混淆进行建模，而不是仅使用1-best，我们通过获得更可靠的参考转录估计来提高自我训练功效。我们证明了改进的基于主题的语言建模自适应结果超过1-最好的和格子自我训练使用我们的ASR信道混淆估计电话交谈。
2013-03-21 cs.CL cs.LG
Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling
College of Computer Science and Technology, ZheJiang University（浙江大学计算机科学与技术学院）；Hikvision Research Institute（海康威视研究院）
Visual Storytelling~（VIST）是根据给定的照片流讲述关于某个主题的叙事故事的任务。现有的研究集中在设计复杂的模型，这依赖于大量的人类注释的数据。然而，VIST的标注是非常昂贵的，并且由于长尾主题分布，许多主题无法在训练数据集中覆盖。在本文中，我们专注于提高推广能力的VIST模型，考虑Few-Shot设置。受人类讲故事的方式的启发，我们提出了一个主题自适应说书人来模拟主题间泛化的能力。在实践中，我们将基于梯度的Meta学习算法应用于多模态seq 2 seq模型，以赋予模型快速适应不同主题的能力。此外，我们还提出了一个原型编码结构来模拟主题内派生的能力。具体来说，我们编码和恢复的几个训练故事的文本作为参考，以指导在推理时的生成。实验结果表明，主题自适应和原型编码结构对Few-Shot模型在BLEU和METEOR度量上的性能都有很大的改善。进一步的个案研究表明，经过Few-Shot改编后的故事具有更强的相对性和表现力。
2020-08-11 cs.CL cs.CV cs.IR
Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain Adaptation
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）
本文提出一种结合视频转录文本与帧的多模态主题分割方法，并通过双对比域自适应框架提升模型在长视频和跨域场景下的准确性与可迁移性。
2023-11-30 cs.CL cs.CV cs.MM
Lessons from the Bible on Modern Topics: Low-Resource Multilingual Topic Model Evaluation
University of Colorado（科罗拉多大学）；University of Maryland（马里兰大学）
多语言主题模型通过连贯的多语言数据摘要支持跨语言的文档分析。然而，没有一个标准和有效的衡量标准来评估多语言主题的质量。我们引入了一个新的内在的多语言主题模型，以及相关的多语言主题的一致性，以及在下游应用程序的性能与人类的判断评估。重要的是，我们还研究了低资源语言的评估。由于标准的指标无法准确地衡量主题质量时，强大的外部资源不可用，我们提出了一个适应模型，提高了这些指标在低资源设置的准确性和可靠性。
2018-04-26 cs.CL
AHAM: Adapt, Help, Ask, Model -- Harvesting LLMs for literature mining
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；International Postgraduate School Jožef Stefan（约瑟夫·斯特凡国际研究生院）；University of Nova Gorica（新戈里察大学）；Temida d.o.o（Temida有限责任公司）；University of Ljubljana（卢布尔雅那大学）
AHAM方法结合领域专家帮助和LLaMa2生成主题定义，通过领域适应BERTopic降低离群主题比率和主题间相似性，在文献挖掘中验证了有效性。
2023-12-25 cs.AI cs.CL
An Empirical Study on Measuring the Similarity of Sentential Arguments with Language Model Domain Adaptation
Scatterlab Inc.（Scatterlab公司）
度量两个不同的基本论点之间的相似性是论点挖掘中的一个重要任务。然而，该领域的挑战之一是必须使用各种主题的专业知识对数据集进行注释，这使得使用标记数据的监督学习变得昂贵。在本文中，我们研究了这个问题是否可以通过迁移学习来缓解。我们首先使用自监督学习将预训练的语言模型适应于感兴趣的领域。然后，我们对模型进行了微调，以测量来自不同领域的句子之间的相似性。我们的方法提高了相关性与人类注释的相似性分数相比，竞争力的基线模型的参数方面相似性数据集在无监督的设置。此外，我们仅使用约60%的标记数据样本，就实现了与完全监督基线模型相当的性能。我们相信，我们的工作表明，一个广义的参数聚类模型的可能性，为各种争论的话题。
2021-02-19 cs.CL
Dynamic Topic Modeling for Cross-Corpus Temporal Analysis
Columbia University（哥伦比亚大学）
针对跨语料时间分析中主题对应不稳定的问题，提出带共享主干和残差适配的D-ETM框架，在三个97年跨度的语料上验证其对齐效果显著优于全微调及独立训练方法。
2026-08-25 cs.CL
Contextual Language Model Adaptation for Conversational Agents
Amazon Alexa Machine Learning（亚马逊Alexa机器学习部门）；University of Rochester（罗切斯特大学）
统计语言模型（LM）在会话主体使用的自动语音识别（ASR）系统中起着关键作用。这些ASR系统应该在各种说话风格、领域、词汇和隐语下提供高准确性。在本文中，我们提出了一种基于DNN的方法，通过预测一个最佳的，上下文相关的LM插值权重集，根据广义上下文信息，使LM适应每个用户-代理交互。我们表明，这种框架的上下文适应提供了不同的可能的混合LM分区相关的准确性提高（1）目标导向的会话代理，它的自然分区的数据所请求的应用程序和（2）非目标导向的会话代理，其中数据可以使用来自主题分类器的预测的主题标签进行分区。我们得到了一个相对的WER改善3%的1-通过解码策略和6%的2-通过解码框架，在一个未适应的模型。我们还显示了一个15%的相对改善，在识别命名的实体，这是会话ASR系统的重要价值。
2018-07-31 cs.CL
Zero-Shot Stance Detection using Contextual Data Generation with LLMs
Iran University of Science and Technology（伊朗科技大学）
针对立场检测标注数据稀缺问题，提出结合少样本学习与 LLM、在测试时用 GPT-3 生成主题数据的 DyMoAdapt，并构建多主题 MGT-VAST 数据集；实验提升未达预期。
2024-05-19 cs.CL
Knowledge Distillation for BERT Unsupervised Domain Adaptation
Hanyang University（汉阳大学）；Vision AI Labs（视觉人工智能实验室）；SK Telecom（SK电讯）
预先训练的语言模型BERT在一系列自然语言处理任务中带来了显着的性能提升。由于该模型是在不同主题的大型语料库上训练的，因此它在训练（源数据）和测试（目标数据）的数据分布不同但具有相似性的域转移问题上表现出了强大的性能。尽管与以前的模型相比，它有很大的改进，但由于域转移，它仍然遭受性能下降。为了缓解这些问题，我们提出了一个简单而有效的无监督领域自适应方法，对抗适应蒸馏（AAD），它结合了对抗歧视性领域自适应（ADDA）框架与知识蒸馏。我们评估了我们的方法在30个域对的跨域情感分类任务，推进了文本情感分类中无监督领域自适应的最新性能。
2020-10-23 cs.CL
ClusterFusion: Hybrid Clustering with Embedding Guidance and LLM Adaptation
Adobe（Adobe公司）；Carnegie Mellon University（卡内基梅隆大学）
ClusterFusion通过将LLM作为聚类核心，结合嵌入引导方法，实现领域知识与用户偏好的整合，提升文本聚类在标准任务和特定领域的性能。
2026-10-22 cs.CL
Temporal Adaptation of BERT and Performance on Downstream Document Classification: Insights from Social Media
University of Oxford（牛津大学）
语言使用在不同领域之间存在差异，甚至在一个领域内，语言使用也会随着时间的推移而变化。对于像BERT这样的预训练语言模型，通过持续的预训练进行领域自适应已被证明可以提高域内下游任务的性能。在这篇文章中，我们调查时间适应是否可以带来额外的好处。为此，我们介绍了一个语料库的社会媒体评论采样超过三年。它包含用于上游掩蔽语言建模任务的适应和评估的未标记数据以及用于下游文档分类任务的微调和评估的标记数据。我们发现，这两个任务的时间性问题：时间适应提高上游和时间微调下游任务的性能。特定时间模型通常在过去的测试集上比在未来的测试集上表现得更好，这与主题词的突发使用相匹配。然而，使BERT适应时间和域并不比仅适应域提高下游任务的性能。标记水平的分析表明，时间适应捕捉事件驱动的变化，在语言使用的下游任务，但不是那些变化，实际上是相关的任务性能。根据我们的研究结果，我们讨论时，时间适应可能更有效。
2021-09-08 cs.CL
Low-Resource Adaptation of Neural NLP Models
Faculty of Mathematics and Natural Sciences（数学与自然科学学院）
自然语言处理（NLP）的实际应用具有挑战性。NLP模型严重依赖监督机器学习，需要大量带注释的数据。这些资源通常基于大量可用的语言数据，例如英语新闻专线。然而，在NLP的实际应用中，文本资源在几个维度上存在差异，例如语言，方言，主题和体裁。找到足够数量和质量的注释数据具有挑战性。本论文的目的是研究在信息抽取和自然语言理解中处理这种低资源场景的方法。为此，我们研究了远程监督和顺序迁移学习在各种低资源设置。我们开发和调整神经NLP模型，以探索一些研究问题，最少或没有训练数据的NLP任务。
2020-11-09 cs.CL
Catching the Drift: Probabilistic Content Models, with Applications to Generation and Summarization
我们认为，在一个特定的领域内的文本的内容结构建模的问题，在文本地址的主题和这些主题出现的顺序。我们首先提出了一个有效的知识精益学习内容模型的方法，从未注释的文档，利用一种新的适应算法隐马尔可夫模型。然后，我们将我们的方法应用到两个互补的任务：信息排序和提取摘要。我们的实验表明，将内容模型在这些应用程序中产生实质性的改进，比以前提出的方法。
2004-05-12 cs.CL
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University（约翰斯·霍普金斯大学）；Brno University of Technology（布尔诺理工大学）；Raytheon BBN Technologies（雷神BBN技术公司）
自动语音识别（ASR）系统通常需要针对资源极低的语言来开发，以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时，考虑通用电话识别是很自然的，但是还需要研究使用非常少量（几分钟而不是几小时）的转录语音来适应通用电话模型，特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架，并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序，它采用了通用的电话建模方法ASR，并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Using Natural Language Processing and Networks to Automate Structured Literature Reviews: An Application to Farmers Climate Change Adaptation
Faculty of Technology, Policy and Management, Delft University of Technology（代尔夫特理工大学技术、政策与管理学院）
本文提出用自然语言处理提取变量关系并结合网络分析来自动化结构化文献综述，以农民气候变化适应研究为例验证其快速且可解释的综合效果。
2024-07-03 cs.CL
Learning Domain-Invariant Features for Out-of-Context News Detection
Queen Mary University of London（伦敦玛丽女王大学）；Shandong University（山东大学）；Chinese Academy of Science（中国科学院）；The Hong Kong University of Science and Technology (GZ)（香港科技大学（广州））
本文针对未标注领域的上下文不符新闻检测问题，提出 ConDA-TTA 方法，通过对比学习、最大均值差异和测试时自适应学习领域不变特征，在两个公开数据集上取得优于基线的检测性能。
2024-08-08 cs.CL cs.MM
The Global Anchor Method for Quantifying Linguistic Shifts and Domain Adaptation
Stanford University（斯坦福大学）
语言是动态的，随着时间、领域或主题的变化而不断发展和适应。语言的适应性是一个活跃的研究领域，研究人员使用分布工具（如词嵌入）来发现语言中的社会，文化和特定领域的变化。在本文中，我们介绍了全球锚方法检测语料库级的语言变化。我们从理论和经验上表明，全球锚方法是等同的对齐方法，广泛使用的方法比较词嵌入，在检测语料库级别的语言转换。尽管它们在检测能力方面是等价的，但我们证明了全局锚方法在适用性方面是优越的，因为它可以比较不同维度的嵌入。此外，全局锚方法具有实现和并行化的优势。我们表明，全球锚方法揭示了精细结构的语言和领域自适应的演变。当结合图拉普拉斯技术时，全局锚方法恢复不同文本语料库的演化轨迹和领域聚类。
2018-12-12 cs.CL cs.LG stat.ML
Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind
University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马第一大学）
本文提出一种即插即用的模拟模块，使说话者能从听者视角实时调整指称表达，无需微调语言模型即可提升交际成功率。
2023-05-31 cs.AI cs.CL cs.CV
TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models
TOFA提出一种无需训练的一次性联邦适应方法，通过视觉和文本管道提取任务相关表示，以高效适应视觉-语言模型在联邦学习中的应用。
2025-11-20 cs.AI cs.CL
Dynamic hashtag recommendation in social media with trend shift detection and adaptation
DIMES Department, University of Calabria（卡拉布里亚大学DIMES部门）
针对社交媒体话题标签推荐的动态性问题，提出H-ADAPTS方法，通过趋势感知机制检测并适应趋势转移，利用Apache Storm实现可扩展分析，在真实案例中显著优于现有方案。
2025-04-23 cs.CL cs.DC cs.NE
