Towards Open-Domain Topic Classification
University of Pennsylvania（宾夕法尼亚大学）；University of Melbourne（墨尔本大学）
本文提出一个支持用户实时自定义分类体系的零样本开放域主题分类系统，通过在Wikipedia新数据集上训练标签感知分类器以利用预训练模型隐式知识，在四个数据集上显著优于现有零样本基线且媲美弱监督模型。
2023-06-29 cs.CL
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University（阿尔托大学）
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而，关于这个主题的现有研究主要利用卷积和递归神经网络，它们通常比新型Transformers的性能要差。另一方面，应用Transformers的系统只关注目标文档，忽略了标签描述所包含的丰富语义信息。为了解决这个问题，我们开发了一个基于transformer的生物医学文本分类器，考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型（PTM）。我们在两个公共医疗数据集上的结果表明，所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
URLs Help, Topics Guide: Understanding Metadata Utility in LLM Training
EPFL（苏黎世联邦理工学院）
本研究探讨了元数据在LLM训练中的效用，发现URL上下文能提升训练效率，而主题和格式信息则能引导生成输出，但不加速训练。
2025-11-24 cs.CL
Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too!
Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science（计算机科学系）；Baltimore, MD, USA（美国马里兰州巴尔的摩）
主题模型是一种有用的分析工具，可以揭示文档集合中的潜在主题。主要的方法是使用概率主题模型来描述生成的故事，但在本文中，我们提出了一种替代方法来获得主题：聚类预训练的词嵌入，同时将文档信息用于加权聚类和重新排名。我们提供了基准的组合不同的词嵌入和聚类算法，并分析其性能下的降维PCA。我们的方法的最佳性能组合执行以及经典的主题模型，但具有较低的运行时间和计算复杂性。
2020-10-06 cs.CL
Pretrained Language Models for Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
文本生成已成为自然语言处理中最重要也是最具挑战性的任务之一。深度学习的复兴通过神经生成模型，特别是预训练语言模型（PLM）的范式，极大地推进了这一领域。在本文中，我们提出了一个概述的主要进展取得的主题PLM文本生成。作为论文的第二部分，我们给出了通用的任务定义，并简要描述了用于文本生成的PLM的主流体系结构。作为核心内容，我们讨论了如何适应现有的PLM模型，以不同的输入数据，并满足在生成的文本中的特殊属性。我们进一步总结了文本生成的几个重要的微调策略。最后，我们提出了几个未来的发展方向，并总结本文。我们的调查旨在为文本生成研究人员提供一个综合和指针相关的研究。
2021-05-25 cs.AI cs.CL
Not wacky vs. definitely wacky: A study of scalar adverbs in pretrained language models
University of Oxford（牛津大学）
本文系统研究了BERT、RoBERTa、GPT-2和GPT-3对标量副词逻辑语义的理解，发现尽管模型能区分情态、频率和程度等语义类别，但其表现仍远不及人类水平。
2023-10-22 cs.CL
Topic Over Source: The Key to Effective Data Mixing for Language Models Pre-training
提出基于主题的数据混合策略，通过多阶段过程生成主题标签，证明其优于基于来源的方法，显著降低验证损失并提升模型性能。
2025-08-08 cs.AI cs.CL
Do LLM Embedding Spaces Recover Expert Structure?
Zhongnan University of Economics and Law（中南财经政法大学）
研究LLM嵌入空间能否恢复心理健康领域的专家定义类别结构，通过对比预训练和微调Qwen3嵌入，发现对齐程度依赖于粒度级别且需控制混杂因素。
2026-06-23 cs.CL
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki（赫尔辛基大学）
本文提出了M3 L-Contrast-一种新的多模态多语言（M3 L）神经主题模型，用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练，并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型，它产生对齐的语言特定的主题和多模态模型，它推断图像中的语义概念的文本表示。我们证明，我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布，并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明，我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues
本文提出将预训练的语言模型与模块化对话范式相结合，用于开放域对话建模。我们的方法，语义增强微调，实例化会话理解，规划和响应生成作为一个语言模型微调任务。在推理中，我们通过分别为每个模块指定采样方法和约束来解开语义和令牌变化。对于训练和评估，我们提出了X-Weibo，这是一个中文多轮开放域对话数据集，具有情感，DA和主题词的自动注释。实验表明，语义增强的微调在非语义和语义指标上优于强基线，提高了人类评估的相关性，一致性和信息性，并对语义变量表现出相当大的可控性。
2022-05-24 cs.CL
Towards Neural Programming Interfaces
Duke University（杜克大学）；Brigham Young University（杨百翰大学）
众所周知，控制诸如生成神经语言模型之类的人工神经网络的行为是非常困难的。我们将控制自然语言生成的问题重新定义为学习与预训练的语言模型交互的问题，就像应用程序编程接口（API）通过改变超参数来控制程序的行为一样。在这种新的范式中，一个专门的神经网络（称为神经编程接口或NPI）通过操纵预训练模型的隐藏激活来学习与预训练语言模型交互，以产生所需的输出。重要的是，原始模型的权重不会发生永久性的变化，这使得我们可以在不破坏语言模型任何方面的情况下，为新任务重新使用预训练模型。我们还贡献了一个新的数据集构造算法和GAN启发的损失函数，使我们能够训练NPI模型来控制自回归Transformers的输出。在针对其他最先进方法的实验中，我们使用OpenAI的GPT-2模型证明了我们的方法的有效性，成功地控制了名词选择，话题厌恶，攻击性语音过滤和语言的其他方面，同时在确定性设置下基本上保持了受控模型的流畅性。
2021-02-18 cs.AI cs.CL
Hidden Schema Networks
Lamarr Institute（拉马尔研究所）；University of Bonn（波恩大学）；TU Wien（维也纳工业大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Potsdam（波茨坦大学）
本文提出隐式模式网络，通过潜在图上的随机游走将预训练语言模型的输出显式符号化，以增强组合性与推理能力，并验证其在主题情感编码及常识推理任务中的有效性。
2023-05-26 cs.AI cs.CL
Multi-Stage Prompting for Knowledgeable Dialogue Generation
NVIDIA（英伟达）
现有的基于知识的对话系统通常使用预先训练的语言模型（LM）和大规模知识库的微调版本。这些模型通常无法概括知识库之外的主题，并且每次需要微调时都需要维护单独的潜在大型检查点。在本文中，我们的目标是通过利用存储在预训练LM中的固有知识及其强大的生成能力来解决这些限制。我们提出了一个多阶段的提示方法，从一个单一的预训练LM产生知识渊博的反应。我们首先提示LM根据对话上下文生成知识。然后，我们进一步提示它根据对话上下文和先前生成的知识生成响应。结果表明，我们的知识生成器优于国家的最先进的检索为基础的模型的5.8%，结合知识的相关性和正确性。此外，我们的多阶段提示在响应知识性和参与度方面分别优于基于微调的对话模型，分别高达10%和5%。此外，我们将模型扩展到5300亿个参数，并表明较大的LM将生成正确性分数提高了10%，响应相关性，知识性和参与度提高了10%。我们的代码可在https://github.com/NVIDIA/Megatron-LM上获取。
2022-03-16 cs.AI cs.CL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管上下文化语言模型最近在各种NLP任务上取得了成功，但语言模型本身无法捕获长的多句子文档的文本连贯性（例如，a段）。人类在说话之前，经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本，本质上称为规划过程。模型在哪里可以学习这种高层次的一致性？文章提出了一个新的段落补全任务PARCOM，即预测段落中的隐藏句。然而，任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题，我们提出了一个自我监督的文本规划器SSPlanner，它首先预测要说什么（内容预测），然后使用预测的内容指导预训练的语言模型（表面实现）。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字，总体生成质量也提高。
2020-10-11 cs.CL
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而，没有先前的工作采用（预先训练的潜在）的主题在迁移学习范例。在本文中，我们提出了一种方法（1）使用从大型源语料库中获得的潜在主题进行知识转移，以及（2）通过神经主题建模中的两种表示（或视图）联合转移知识，以提高主题质量，更好地处理目标语料库中的多义和数据稀疏问题。在此过程中，我们首先从一个或多个源语料库中积累主题和单词表示，以构建主题和单词向量池。然后，我们识别一个或多个相关的源域，并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量，通过泛化（困惑），可解释性（主题连贯性）和信息检索（IR）使用短文本，长文本，小型和大型的文件集，从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
Imagine to Hear: Auditory Knowledge Generation can be an Effective Assistant for Language Models
HJ AILAB；POSTECH
针对纯文本语言模型缺乏听觉常识且外部音频检索成本高、覆盖不足的问题，本文提出 Imagine to Hear，通过生成模型动态生成并融合听觉知识，在 AuditoryBench 上达到最先进性能。
2025-06-08 cs.AI cs.CL cs.LG
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Stanford University（斯坦福大学）
微调是利用大型预训练语言模型执行下游任务的实际方法。然而，它修改了所有的语言模型参数，因此需要为每个任务存储一个完整的副本。在本文中，我们提出了前缀调整，一个轻量级的替代微调自然语言生成任务，保持语言模型参数冻结，但优化一个小的连续的特定于任务的向量（称为前缀）。前缀调优从提示中获得灵感，允许后续的令牌关注这个前缀，就好像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本，并应用于BART以进行摘要。我们发现，通过只学习0.1%的参数，前缀调整在全数据设置中获得了相当的性能，在低数据设置中优于微调，并且更好地外推到训练过程中看不到的主题的示例。
2021-01-01 cs.CL
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出 FASTopic 主题模型，通过 DSR 重建文档、主题与词嵌入间的语义关系，并利用 ETP 进行最优传输正则化，在多项基准上实现更优效果、效率、稳定性与可迁移性。
2024-10-26 cs.AI cs.CL
Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences
University of Liechtenstein（列支敦士登大学）
提出基于句子袋和预训练句子嵌入的主题建模推断算法，结合生成模型与聚类，通过期望最大化等方法实现高效灵活且达到最优性能的主题建模。
2024-02-10 cs.CL cs.LG
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH（DRIMCo有限责任公司）；CIS, University of Munich (LMU)（慕尼黑大学计算语言学中心）
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架，使用多视图嵌入空间：（1）预训练的主题嵌入，（2）预训练的词嵌入（Glove的上下文不敏感和BERT模型的上下文敏感）联合从一个或多个来源，以提高主题质量和更好地处理多义词。在这样做时，我们首先构建相应的预训练主题池（即，TopicPool）和词嵌入（即，WordPool）。然后，我们识别一个或多个相关的源域，并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中，我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集，通过泛化（困惑）、可解释性（主题连贯性）和信息检索（IR）来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时，我们使用6个源（高资源）和5个目标（低资源）语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
AraPoemBERT: A Pretrained Language Model for Arabic Poetry Analysis
Taibah University（塔伊巴大学）
本文提出AraPoemBERT，一个专为阿拉伯诗歌预训练的语言模型，在多个诗歌分析任务上超越现有模型，取得最先进结果，并公开数据集与模型。
2024-03-19 cs.AI cs.CL
Topic Sensitive Attention on Generic Corpora Corrects Sense Bias in Pretrained Embeddings
IIT Bombay（印度理工学院孟买分校）
给定一个小的语料库$\mathcal D_T$属于一组有限的集中的主题，我们的目标是训练嵌入，准确地捕捉主题中的单词的意义，尽管$\mathcal D_T$的大小有限。这些嵌入可用于涉及$\mathcal D_T$的各种任务中。在有限的数据设置中，一种流行的策略是适应在大型语料库上训练的预训练嵌入$\mathcal E$。为了校正感测漂移，最近已经提出了微调、正则化、投影和枢转。其中，正则化通知一个词的语料库频率表现良好，但我们改进了它使用一个新的正则化的基础上，其与其他词的同现稳定性。然而，通过对10个主题、3个任务以及超参数的标准化设置进行全面比较，发现即使是最好的嵌入自适应策略也会在良好调整的基线之外提供微小的收益，而这是许多早期比较忽略的。与适应预训练的嵌入不同，我们建议使用$\mathcal D_T$来探测、关注和借用任何大型、主题丰富的源语料库（如维基百科）中的片段，这些语料库不需要是用于预训练嵌入的语料库。通过适当的索引，这一步骤是可扩展的和实用的。我们得出了令人惊讶的结论，即使是有限的语料库增强也比自适应嵌入更有用，这表明非主导意义信息可能会从预训练的嵌入中被删除，并且无法通过自适应来挽救。
2019-07-24 cs.CL cs.LG stat.ML
Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank
Khoury College of Computer Sciences, Northeastern University（东北大学克劳利计算机科学学院）
PLANT通过学习排序模型预训练注意力，提升多标签文本分类性能，尤其在少样本和稀有标签任务中表现突出。
2025-12-26 cs.CL cs.LG
Dialogue Quality and Emotion Annotations for Customer Support Conversations
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Faculdade de Letras, University of Lisbon（里斯本大学文学院）；Unbabel（Unbabel公司）；Carnegie Mellon University（卡内基梅隆大学）；Phrase（Phrase公司）
本文提出了一种针对双语客户支持对话的情感和对话质量整体标注方法，提供了独特资源用于开发文本分类模型，并建立了情感识别和对话质量估计基准，表明生产环境应用仍需进一步研究。
2023-11-23 cs.CL
KDSTM: Neural Semi-supervised Topic Modeling with Knowledge Distillation
Amazon Inc.（亚马逊公司）；University of Washington（华盛顿大学）
本文提出KDSTM，一种无需预训练嵌入、仅需少量标注的半监督主题建模方法，在资源受限环境下通过知识蒸馏利用无监督洞察，在分类准确率、鲁棒性和效率上超越现有有监督方法并媲美弱监督方法。
2024-02-11 cs.AI cs.CL
CobwebTM: Probabilistic Concept Formation for Lifelong and Hierarchical Topic Modeling
College of Computing Georgia Institute of Technology（计算学院佐治亚理工学院）
CobwebTM通过增量概率概念形成，实现低参数的终身分层主题模型，在无需预定义主题数量的情况下，实现无监督主题发现、动态主题创建和分层组织，展现了预训练表示与增量符号概念形成结合在主题建模中的高效性。
2026-04-17 cs.CL
Nano: Nested Human-in-the-Loop Reward Learning for Few-shot Language Model Control
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
本文提出少样本、人在回路的 Nano 奖励学习算法，利用持续人类反馈控制语言模型生成文本，在量化与未量化分布、个性化及偏好差异捕捉上取得先进效果。
2023-09-22 cs.CL
Investigating Cultural Alignment of Large Language Models
EPFL（洛桑联邦理工学院）；Microsoft Egypt（微软埃及分公司）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文通过模拟社会学调查量化LLMs的文化对齐性，发现主导语言提示和精细多语预训练可提升对齐性，并提出人类学提示方法以改善文化对齐，强调平衡多语言预训练数据的重要性。
2024-07-06 cs.CL cs.CY
Improved Hierarchical Patient Classification with Language Model Pretraining over Clinical Notes
Google Health（谷歌健康）
电子健康记录中的临床记录包含高度异质的书写风格，包括非标准术语或缩写。在预测建模中使用这些注释传统上需要预处理（例如，获取频繁术语或主题建模），这会去除源数据的大部分丰富性。我们提出了一个预训练的分层递归神经网络模型，该模型以直观的方式解析最小化处理的临床笔记，并表明与将笔记视为无序术语集合或不进行预训练的模型相比，它提高了重症监护医学信息市场III（MIMIC-III）数据集上出院诊断分类任务的性能。我们还将归因技术应用于示例，以识别模型用于进行预测的单词，并显示单词附近上下文的重要性。
2019-11-15 cs.CL cs.LG stat.ML
NeuroMax: Enhancing Neural Topic Modeling via Maximizing Mutual Information and Group Topic Regularization
Hanoi University of Science and Technology（河内科技大学）；FPT Software AI Center（FPT软件人工智能中心）；VinAI Research（VinAI研究院）；University of Oregon（俄勒冈大学）
NeuroMax通过最大化主题表示与预训练语言模型表示的互信息，并利用最优传输建模主题间关系，在降低推理时间的同时提升主题连贯性、文档嵌入质量及下游任务性能。
2024-09-29 cs.CL
GloCTM: Cross-Lingual Topic Modeling via a Global Context Space
GloCTM通过构建统一语义空间，实现跨语言主题建模的连贯性和语义对齐，提升多语言理解能力。
2026-01-17 cs.CL
TPRM: A Topic-based Personalized Ranking Model for Web Search
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
排名模型已经取得了可喜的成果，但它仍然具有挑战性的设计个性化的排名系统，利用用户简档和查询和文档之间的语义表示。在本文中，我们提出了一个基于主题的个性化排名模型（TPRM），结合用户的主题配置文件与预先训练的上下文术语表示量身定制的一般文档排序列表。在真实数据集上的实验表明，TPRM的性能明显优于最先进的ad-hoc排名模型和个性化排名模型。
2021-08-13 cs.AI cs.CL cs.IR
Reimagining Urban Science: Scaling Causal Inference with Large Language Models
MIT（麻省理工学院）；NUS（国立大学新加坡）；McGill（麦吉尔大学）；HKUST（香港科技大学）；UFL（佛罗里达大学）
本文提出UrbanCIA框架，利用四个LLM驱动的模块化智能体自动化城市因果推断全流程，以解决假设形成低效、数据整合困难和实验方法脆弱等问题，推动更可扩展、可复现和包容的城市研究。
2025-06-20 cs.CL cs.CY cs.MA
Augmenting Autotelic Agents with Large Language Models
MIT（麻省理工学院）；Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
本文提出语言模型增强的自主目标智能体LMA3，利用预训练语言模型支持目标的表征、生成和学习，无需手工编码即可在文本环境中掌握多样化技能。
2023-05-21 cs.AI cs.CL cs.LG
Response Selection for Multi-Party Conversations with Dynamic Topic Tracking
Salesforce Research Asia（Salesforce亚洲研究院）；Nanyang Technological University（南洋理工大学）
当多方多话轮会话中的参与者同时参与多个会话主题时，现有的响应选择方法主要针对两方单会话场景开发。因此，现有的方法忽略了会话话题的延伸和转换。在这项工作中，我们框架响应选择作为一个动态的主题跟踪任务，以匹配响应和相关的会话上下文之间的主题。有了这个新的公式，我们提出了一个新的多任务学习框架，通过一次只有两个话语的大型预训练模型来支持有效的编码，以执行动态主题解纠缠和响应选择。我们还提出了主题-BERT的一个必要的预训练步骤嵌入主题信息到BERT与自监督学习。在DSTC-8 Ubuntu IRC数据集上的实验结果显示，响应选择和主题分解任务的最新结果远远优于现有方法。
2020-10-15 cs.AI cs.CL
HUE: Pretrained Model and Dataset for Understanding Hanja Documents of Ancient Korea
KAIST（韩国科学技术院）；Sungkyunkwan University（成均馆大学）；New York University（纽约大学）
在20世纪之前，韩国的历史记录主要是用汉字书写的，这是一种基于汉字的灭绝语言，现代韩国人或中国人都不理解。在这一时期具有专业知识的历史学家一直在分析这些文件，但这一过程非常困难和耗时，而语言模型将大大加快这一过程。为了构建和评估汉字的语言模型，我们发布了汉字理解评估数据集，包括时间属性，主题分类，命名实体识别和摘要检索任务。我们还提出了基于BERT的模型继续培训的两个主要语料库从14世纪到19世纪：朝鲜王朝的编年史和皇家秘书处的日记。我们将模型与所有任务的几个基线进行了比较，并显示通过在两个语料库上进行训练获得了显着的改进。此外，我们还对《朝官实录》进行了zero-shot实验。DRRI数据集还没有被历史学家研究过，NLP社区也没有研究过。
2022-10-11 cs.CL
FinBERT2: A Specialized Bidirectional Encoder for Bridging the Gap in Finance-Specific Deployment of Large Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Value Simplex Technology Co.Ltd.（北京价值简单科技有限公司）
本文提出FinBERT2，一个在320亿token中文金融语料上预训练的专用双向编码器，通过判别式微调、对比式微调和主题建模三方面成果，弥合了金融领域大语言模型部署的性能差距。
2025-07-05 cs.AI cs.CE cs.CL
Graph2topic: an opensource topic modeling framework based on sentence embedding and community detection
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出开源框架 G2T，结合预训练语言模型、语义图社区检测和 TFIDF 变体完成主题建模，并在多长度中英文文档上达到最先进性能。
2023-06-06 cs.CL cs.LG
UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
York University（约克大学）；Nanyang Technological University（南洋理工大学）；Salesforce AI（Salesforce人工智能研究院）
UniChart通过构建大型图表语料库并设计图表特定的低级和高级预训练任务，实现了图表理解与推理的最先进性能。
2023-10-10 cs.CL
Improving Neural Topic Models with Wasserstein Knowledge Distillation
Indian Association for the Cultivation of Science（印度文化协会）
针对大型神经主题模型内存占用大的问题，提出结合软标签交叉熵和平方2-Wasserstein距离的知识蒸馏框架，可在压缩模型的同时提升主题连贯性，效果超越教师模型及其他主流主题模型。
2024-06-20 cs.CL cs.IR cs.LG
LLM Teacher-Student Framework for Text Classification With No Manually Annotated Data: A Case Study in IPTC News Topic Classification
Jožef Stefan International Postgraduate School（乔塞夫·斯塔芬国际研究生学校）；University of Ljubljana（卢布尔雅那大学）
本文提出一种基于LLM的师生框架，利用GPT自动标注四语新闻数据并微调小型BERT学生模型，在无需人工标注的情况下实现高性能多语言新闻主题分类。
2025-11-10 cs.CL
How Transferable are Attribute Controllers on Pretrained Multilingual Translation Models?
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文以 NLLB-200 为基础，利用基于梯度的推理时属性控制器，将翻译属性控制零样本迁移到无标注语言，并证明其在远距离语言和领域鲁棒性上可补充微调。
2024-01-24 cs.AI cs.CL
MonoByte: A Pool of Monolingual Byte-level Language Models
UNICAMP（坎皮纳斯州立大学）；NeuralMind
在多语言甚至单语言语料库上预训练的模型的跨语言能力zero-shot激发了许多假设来解释这个有趣的实证结果。然而，由于预训练的成本，大多数研究使用公共模型，其预训练方法，如标记化的选择，语料库大小和计算预算，可能会有很大的不同。当研究人员对自己的模型进行预训练时，他们通常会在预算有限的情况下进行预训练，因此与SOTA模型相比，最终模型的表现可能会显着落后。这些实验差异导致了各种不一致的结论，这些模型的跨语言能力的性质。为了帮助对该主题的进一步研究，我们发布了10个单语字节级模型，这些模型在相同的配置下进行了严格的预训练，具有较大的计算预算（相当于V100上的420天）和语料库，这些语料库是原始BERT的4倍。由于它们是无标记的，因此消除了不可见标记嵌入的问题，从而允许研究人员在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们发布了两个在非自然语言文本上预训练的模型，可用于正常性检查实验。在问答和自然语言学习任务上的实验表明，我们的单语模型与多语言模型相比具有相当的性能，因此可以用来加强我们对语言模型跨语言可移植性的理解。
2022-09-27 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen（哥本哈根大学）；Athens University of Economics and Business（雅典经济与商业大学）；Cognitiv+ Ltd.（Cognitiv+ 有限公司）
我们介绍了MULTI-EURLEX，一个新的多语言数据集的主题分类的法律文件。该数据集包含65，000条欧盟（EU）法律，官方翻译为23种语言，并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性，而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台，其中我们利用一种语言（源）中的注释训练文档对另一种语言（目标）中的文档进行分类。我们发现，在单一源语言中微调多语言预训练模型（XLM-ROBERTA，MT5）会导致灾难性的多语言知识遗忘，因此，到其他语言的zero-shot迁移很差。适应策略，即部分微调，适配器，BITFIT，LNFIT，最初提出来加速新的最终任务的微调，有助于保留预训练的多语言知识，大大提高zero-shot跨语言迁移，但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter
EPFL（洛桑联邦理工学院）；FISABIO-Public Health（FISABIO公共卫生机构）
在这项工作中，我们发布了COVID-Twitter-BERT（CT-BERT），这是一个基于transformer的模型，在关于COVID-19的大型Twitter消息语料库上进行了预训练。我们的模型在五个不同的分类数据集上显示出与其基础模型BERT-Large相比10-30%的边际改进。最大的改进是在目标域上。预训练的Transformer模型，如CT-BERT，在特定的目标领域进行训练，可用于各种自然语言处理任务，包括分类，问答和聊天机器人。CT-BERT经过优化，可用于COVID-19内容，特别是来自Twitter的社交媒体帖子。
2020-05-15 cs.CL cs.LG cs.SI
A Manifold-Aware Topic Modeling Approach via Rank-Based Prototypes
State University of São Paulo (UNESP)（圣保罗州立大学）
提出免训练的MARETopic框架，通过基于秩的原型选择在流形上发现主题，无需梯度更新即可在多个基准上提升纯度和NMI，并加速运行。
2026-10-05 cs.AI cs.CL cs.IR
KazakhTTS2: Extending the Open-Source Kazakh TTS Corpus With More Data, Speakers, and Topics
Institute of Smart Systems and Artificial Intelligence (ISSAI), Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所（ISSAI））
我们提出了我们以前发布的哈萨克文语音合成语料库（KazakhTTS）的扩展版本。在新的KazakhTTS2语料库中，总长度从93小时增加到271小时，发言者人数从2人增加到5人（3名女性和2名男性），在新来源的帮助下，包括一本书和维基百科文章，主题覆盖面多样化。该语料库是必要的，为哈萨克语，中亚的粘着语言从突厥语家庭，这提出了几个语言的挑战，建立高质量的TTS系统。我们描述了语料库的建设过程，并提供了TTS系统的训练和评估程序的细节。我们的实验结果表明，所构建的语料库是足够的，以建立强大的TTS模型，为现实世界的应用程序，与主观平均意见得分范围从3.6到4.2的所有五个扬声器。我们相信，我们的语料库将促进哈萨克语和其他突厥语的语音和语言研究，由于免费语言数据的有限性，这些语言被广泛认为是低资源。构建的语料库，代码和预训练模型在我们的GitHub存储库中公开提供。
2022-04-20 cs.CL cs.SD eess.AS
Investigating Memorization of Conspiracy Theories in Text Generation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
采用自然语言生成（NLG）模型会使个体容易受到模型记忆的有害信息的生成的影响，例如阴谋论。虽然以前的研究在社交媒体的背景下研究阴谋论，但他们没有评估它们在生成语言模型的新空间中的存在。在这项工作中，我们调查的能力语言模型生成阴谋论文本。具体来说，我们的目标是回答：我们能否在不访问模型的训练数据的情况下，测试预训练的生成语言模型对阴谋论的记忆和启发？我们强调了这项任务的困难，并在记忆，概括和幻觉的背景下讨论它。利用由阴谋论主题和机器生成的阴谋论组成的新数据集，可以帮助我们发现许多阴谋论深深植根于预训练的语言模型中。我们的实验证明了模型参数（如大小和温度）与其生成阴谋论文本的倾向之间的关系。这些结果表明，需要更彻底的审查NLG应用程序发布前，并在生成语言模型的记忆的缺点进行深入的讨论。
2021-06-08 cs.CL cs.CY
Improving Language Generation with Sentence Coherence Objective
Stanford University（斯坦福大学）
有条件故事生成和上下文文本延续已经成为NLP领域越来越热门的话题。现有的模型往往倾向于输出逐渐偏离给定提示的文本段落。虽然生成的文本可能具有一定的复杂性和多样性，但很容易被人类识别为乱码。我们项目的目标是提高语言生成模型中句子之间的连贯性和一致性。我们的目标是解决这个问题，首先用GPT-2预训练模型训练一个句子对连贯性分类器，然后使用类似于REINFORCE算法的方法，用这个新的连贯性目标共同训练GPT-2语言模型。这种经过微调的语言模型能够生成以给定主题为条件的冗长段落，而不会偏离太多。该模型的简单性允许其适用于各种底层语言模型架构，因为它只修改预训练模型的最后一层。
2020-09-07 cs.CL cs.LG stat.ML
Plug and Play Language Models: A Simple Approach to Controlled Text Generation
Caltech（加州理工学院）；HKUST（香港科技大学）；Uber AI（优步AI）
基于transformer的大型语言模型（LM）在巨大的文本语料库上训练，显示出无与伦比的生成能力。然而，在不修改模型架构或对属性特定数据进行微调的情况下，控制生成语言的属性（例如切换主题或情感）是困难的，并且需要大量的再训练成本。我们提出了一个简单的替代方案：即插即用语言模型（PPLM）的可控语言生成，它结合了一个预先训练的LM与一个或多个简单的属性分类器，指导文本生成没有任何进一步的训练LM。在我们提出的规范场景中，属性模型是简单的分类器，由用户指定的词袋或单个学习层组成，其参数比LM少100，000倍。采样需要向前和向后传递，其中来自属性模型的梯度推动LM的隐藏激活，从而引导生成。模型样本展示了对一系列主题和情感风格的控制，广泛的自动化和人工注释评估显示了属性对齐和流畅性。PPLM是灵活的，任何组合的可微属性模型可以用来引导文本生成，这将允许不同的和创造性的应用超出本文给出的例子。
2020-03-03 cs.AI cs.CL cs.LG
CoCon: A Self-Supervised Approach for Controlled Text Generation
Nanyang Technological University（南洋理工大学）；Amazon AI（亚马逊人工智能）；Mila（米拉研究所）；Polytechnique Montreal（蒙特利尔理工学院）
预训练的基于transformer的语言模型（LM）显示出卓越的自然语言生成能力。由于其巨大的潜力，控制这种LM的文本生成越来越受到关注。虽然有一些研究试图控制生成文本的高级属性（如情感和主题），但仍然缺乏对单词和短语级别的内容进行更精确的控制。在这里，我们建议内容调节器（CoCon）控制LM的输出文本与内容输入，在细粒度的水平。在我们的自我监督方法中，CoCon块通过调节LM保留的内容输入来学习帮助LM完成部分观察到的文本序列。通过实验，我们表明，CoCon可以自然地将目标内容纳入生成的文本和控制高层次的文本属性在一个zero-shot的方式。
2022-06-10 cs.CL cs.LG cs.NE
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；Mila, McGill University and Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
提出多语言口语理解基准Fleurs-SLU，包含102种语言692小时主题分类和92种语言944小时听力问答，评估发现级联系统与闭源语音LLM表现优异，且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
MnTTS2: An Open-Source Multi-Speaker Mongolian Text-to-Speech Synthesis Dataset
Inner Mongolia University（内蒙古大学）
低资源语言的文本转语音（TTS）合成是当前学术界和工业界的一个研究热点。蒙古语是内蒙古自治区的官方语言，也是一种代表性的低资源语言，全球有1000多万人使用。然而，蒙古文TTS的开源数据集相对缺乏。因此，我们公开了一个开源的多说话人蒙古文TTS数据集，命名为MnTTS 2，以供相关研究人员参考。在这项工作中，我们准备了各种主题的转录，并邀请三名专业的蒙古语播音员组成一个三人TTS数据集，其中每个播音员记录了10个小时的蒙古语演讲，总共30小时。此外，我们建立了基于最先进的FastSpeech 2模型和HiFi-GAN声码器的基线系统。实验结果表明，所构建的MnTTS 2数据集足以构建鲁棒的多说话人TTS模型，用于现实世界的应用。MnTTS 2数据集、训练配方和预训练模型发布于：\url{https://github.com/ssmlkl/MnTTS2}
2022-12-11 cs.AI cs.CL eess.AS
