Findings of the Third Automatic Minuting (AutoMin) Challenge
NAVER Labs Europe（NAVER欧洲实验室）；Charles University（查尔斯大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文介绍了第三届AutoMin共享任务，涵盖结构化会议纪要生成和基于会议记录的问答任务，并通过基线系统全面评估了2025年大语言模型的表现。
2025-09-17 cs.CL
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining
Microsoft Cognitive Services Research Group（微软认知服务研究组）
随着大量的自动会议记录的出现，会议摘要越来越受到与会者和其他各方的关注。传统的总结会议的方法依赖于复杂的多步管道，这使得联合优化变得棘手。与此同时，还有一些用于文本摘要和对话系统的深度神经模型。然而，会议记录的语义结构和风格与文章和对话有很大的不同。在本文中，我们提出了一种新的抽象摘要网络，适应会议场景。我们设计了一个层次结构，以适应长的会议成绩单和角色向量来描述扬声器之间的差异。此外，由于会议摘要数据的不足，我们在大规模新闻摘要数据上对模型进行了预训练。实证结果表明，我们的模型优于以前的方法在自动度量和人类的评价。例如，在ICSI数据集上，ROUGE-1评分从34.66%增加到46.28%。
2020-09-20 cs.CL
Minuteman: Machine and Human Joining Forces in Meeting Summarization
Charles University（查理大学）
提出半自动会议记录工具Minuteman，通过人机协作实时编辑转录和摘要，解决ASR命名实体错误及模型幻觉问题，降低认知负荷。
2023-09-11 cs.CL
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）
AutoLoRA提出基于元学习的框架，自动为LoRA各层确定最优秩，通过选择变量和阈值化避免穷举搜索，提升微调性能，并在多种NLP任务上验证有效性。
2024-03-17 cs.AI cs.CL cs.LG
What's under the hood: Investigating Automatic Metrics on Meeting Summarization
University of Göttingen（哥廷根大学）
本文针对会议摘要评估中自动指标难以捕捉会议特有错误的问题，基于 QMSum 与人工错误标注分析常用指标，揭示其相关性弱及错误掩盖现象。
2024-10-18 cs.AI cs.CL
Comparative Evaluation of Pretrained Transfer Learning Models on Automatic Short Answer Grading
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）
自动简短答案评分（ASAG）是通过给定问题和期望答案的计算方法对学生答案进行评分的过程。以往的工作实现了概念映射，刻面映射的方法，和一些使用传统的词嵌入提取语义特征。他们手动提取多个特征，在相应的数据集上进行训练。我们使用迁移学习模型ELMo、BERT、GPT和GPT-2的预训练嵌入来评估它们在这项任务上的效率。我们用从这些模型的嵌入中提取的单一特征余弦相似度进行训练。我们比较了四个模型的RMSE分数和相关性测量与以前的工作Mohler数据集。我们的工作表明，ELMo优于其他三个模型。我们还简要介绍了四种迁移学习模型，并总结了迁移学习模型效果不佳的可能原因。
2020-09-02 cs.CL
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）
在本文中，我们进行了一个比较研究的说话人属性的自动语音识别（SA-ASR）在多方会议的情况下，会议丰富的转录越来越受到关注的话题。具体而言，在这项研究中，三种方法进行了评估。第一种方法，FD-SOT，包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对，得到说话人属性的transmittance。然而，这种对齐策略可能会遭受错误的时间戳，由于模块的独立性，严重阻碍了模型的性能。因此，我们提出了第二种方法，WD-SOT，通过引入一个字级的日志模型，它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法，在一个真实的会议场景语料库，AliMeeting，实验结果表明，WD-SOT方法实现了10.7%的平均说话人相关字符出错率（SD-CER）的相对减少，相比FD-SOT方法。此外，TS-ASR方法也优于FD-SOT方法，并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Developing automatic verbatim transcripts for international multilingual meetings: an end-to-end solution
World Intellectual Property Organization（世界知识产权组织）
本文介绍WIPO利用内部S2T与MT组件构建的端到端多语言会议自动转录与翻译系统，总结其数据、架构、业务收益及对既有会议文档流程的替代。
2023-09-27 cs.AI cs.CL cs.LG
Multi-microphone Automatic Speech Segmentation in Meetings Based on Circular Harmonics Features
Le Mans Université（勒芒大学）
针对远场会议多麦克风语音分割，本文提出圆谐波域 DOA 空间特征 CH-DOA，并融合标准声学特征，用于 VAD、OSD 和 SCD，在 AMI 上提升分割性能且对麦克风失效鲁棒。
2023-06-07 cs.CL cs.SD eess.AS
PLM-ICD: Automatic ICD Coding with Pretrained Language Models
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
将电子健康记录（EHR）自动分类为诊断代码一直是NLP社区的挑战。国家的最先进的方法处理这个问题作为一个多标签分类问题，并提出了各种架构来模拟这个问题。然而，这些系统并没有利用预训练的语言模型的出色性能，而预训练的语言模型在自然语言理解任务上取得了出色的性能。先前的工作已经表明，预先训练的语言模型在常规微调方案下在此任务上表现不佳。因此，本文旨在分析性能不佳的原因，并开发一个框架，自动ICD编码与预训练语言模型。我们通过实验发现了三个主要问题：1）大标签空间，2）长输入序列，3）预训练和微调之间的域不匹配。我们提出了PLMICD，一个框架，以应对各种战略的挑战。实验结果表明，我们提出的框架可以克服的挑战，并实现了国家的最先进的性能在基准MIMIC数据的多个指标。源代码可在https://github.com/MiuLab/PLM-ICD上获得
2022-07-12 cs.AI cs.CL
Align then Summarize: Automatic Alignment Methods for Summarization Corpus Creation
Le Mans Université（勒芒大学）；Ubiqus Labs（Ubiqus实验室）；Université Paris Descartes（巴黎笛卡尔大学）；Avignon Université（阿维尼翁大学）
摘要文本不是一项简单的任务。在考虑文本摘要之前，应该确定预期的摘要类型。信息应该压缩到什么程度？是否需要重新措辞，或者摘要是否应该坚持原来的措辞？自动摘要技术的发展主要围绕新闻文章展开。我们认为，考虑更广泛的任务将导致该领域的改进，在泛化和鲁棒性方面。我们探讨会议摘要：从自动transmitting生成报告。我们的工作包括对报告进行分割和对齐，以获得适合神经摘要的数据集。使用自举方法，我们提供了由人类注释者校正的预对齐，从而建立了一个验证集，我们可以根据该验证集评估自动模型。这通过迭代提供更好的预对齐来不断减少注释者的工作量，并通过使用我们的自动对齐模型中的注释来最大化语料库大小。评估是在\publicmeetings上进行的，这是一个新的对齐公共会议语料库。我们报告了自动对齐和摘要在这个语料库的性能，并表明自动对齐是相关的数据注释，因为它导致了大的改善几乎+4对所有的ROUGE分数的摘要任务。
2020-07-15 cs.CL
Political corpus creation through automatic speech recognition on EU debates
Leiden University（莱顿大学）
本文通过无监督领域自适应改进Wav2vec2.0自动语音识别流程，构建了360万词的欧盟议会LIBE委员会转写语料库，将WER从28.22降至17.95，并验证了其在下游主题建模中的实用性。
2023-04-17 cs.CL
Automatic Rule Induction for Interpretable Semi-Supervised Learning
Microsoft（微软）
半监督学习在允许NLP模型从少量标记数据中概括方面表现出了希望。同时，预训练的Transformer模型充当了黑盒关联引擎，难以解释，有时行为不可靠。在本文中，我们提出通过自动规则归纳（ARI）来解决这两个挑战，ARI是一个简单而通用的框架，用于自动发现符号规则并将其集成到预训练的Transformer模型中。首先，我们从在少量标记数据上训练的低容量机器学习模型中提取弱符号规则。接下来，我们使用注意力机制将这些规则集成到高容量的预训练Transformer模型中。最后，规则增强系统成为自训练框架的一部分，以增强对未标记数据的监督信号。这些步骤可以在各种现有的弱监督和半监督NLP算法下分层，以提高性能和可解释性。九个序列分类和关系抽取任务的实验表明，ARI可以改善国家的最先进的方法，没有手动工作和最小的计算开销。
2022-10-14 cs.CL
Leveraging Pretrained Models for Automatic Summarization of Doctor-Patient Conversations
M Health Information Systems（3M健康信息系统公司）；Carnegie Mellon University（卡内基梅隆大学）
微调预训练模型自动总结医患对话成绩单提出了许多挑战：有限的训练数据，显着的域转移，长和嘈杂的成绩单，和高目标摘要的变化。在本文中，我们探讨了使用预训练的Transformer模型自动总结医患对话直接从成绩单的可行性。我们表明，流畅和充分的总结，可以产生有限的训练数据微调BART一个专门构造的数据集。由此产生的模型大大超过了平均人类注释者的性能和先前发布的任务工作的质量。我们评估了处理长对话的多种方法，将它们与截断对话以适应预训练模型长度限制的明显基线进行比较。我们引入了一个多阶段的方法，通过学习两个微调模型来处理任务：一个用于将会话块总结为部分摘要，然后将部分摘要的集合重写为完整的摘要。使用精心选择的微调数据集，这种方法被证明在处理较长的对话，提高生成的摘要的质量是有效的。我们进行自动评估（通过ROUGE和两个基于概念的指标，专注于医学发现）和人工评估（通过文献中的定性示例，评估幻觉，概括，流畅性和生成摘要的一般质量）。
2021-09-24 cs.CL cs.LG
Automatic Speech Recognition for the Ika Language
School of Computing and Engineering Sciences（计算与工程科学学院）
本文利用《新约》伊卡语语音数据微调 wav2vec 2.0 多语言模型，仅用1小时训练数据即实现低资源 ASR，并验证大模型优势及过拟合问题。
2024-10-01 cs.CL
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets
University of Washington（华盛顿大学）
虽然大规模预训练语言模型，如BERT和RoBERTa，在分布内测试集上实现了超人的性能，但它们的性能在分布外测试集上受到影响（例如，在对比集上）。构建对比集通常需要人工注释，这是昂贵的，并且难以大规模创建。在这项工作中，我们提出了一种语言信息转换（LIT）的方法来自动生成对比集，这使得从业者能够探索感兴趣的语言现象，以及组成不同的现象。在SNLI和MNLI上用我们的方法进行的实验表明，当前预训练的语言模型虽然声称包含足够的语言知识，但在我们自动生成的对比集上很难。此外，我们通过应用LIT来增加训练数据，在不影响原始数据性能的情况下，提高了模型在对比集上的性能。
2020-11-12 cs.CL
JaCoText: A Pretrained Model for Java Code-Text Generation
Novelis Research and Innovation Lab（诺维利斯研究与创新实验室）
预训练的基于transformer的模型在自然语言生成任务中表现出很高的性能。然而，新的兴趣浪潮已经涌现：自动程序设计语言生成。此任务包括将自然语言指令转换为编程代码。尽管众所周知的语言生成的预训练模型在学习程序设计语言方面取得了良好的性能，但在自动代码生成方面仍然需要努力。在本文中，我们介绍了JaCoText，一个基于Transformers神经网络的模型。它旨在从自然语言文本生成Java源代码。JaCoText利用了自然语言和代码生成模型的优点。更具体地说，我们研究了一些来自最先进技术的发现，并将它们用于（1）从强大的预训练模型初始化我们的模型，（2）在我们的Java数据集上探索额外的预训练，（3）在训练中结合单峰和双峰数据进行实验，以及（4）在模型的微调过程中缩放输入和输出长度。在CONCODE数据集上进行的实验表明，JaCoText实现了新的最先进的结果。
2023-03-22 cs.CL
Investigation of Ensemble features of Self-Supervised Pretrained Models for Automatic Speech Recognition
IIT Madras（印度理工学院马德拉斯分校）
基于自监督学习（SSL）的模型已被证明可以生成强大的表示，其可以用于提高下游语音任务的性能。有几种最先进的SSL模型可用，并且这些模型中的每一个都优化了不同的损耗，这使得它们的功能可以互补。本文建议使用这样的SSL表示和模型的集成，它利用了各种预训练模型提取的特征的互补性。我们假设这会导致更丰富的特征表示，并显示ASR下游任务的结果。为此，我们使用了三种SSL模型，它们在ASR任务上表现出了出色的结果，即HuBERT，Wav2vec2.0和WaveLM。我们探索了为ASR任务微调的模型集合，以及使用从下游ASR任务的预训练模型中获得的嵌入的特征集合。我们使用Librispeech（100h）和WSJ数据集进行下游任务，从而提高了单个模型和预训练特征的性能。
2022-06-11 cs.CL eess.AS
A Continued Pretrained LLM Approach for Automatic Medical Note Generation
DeepScribe Inc.（迪普斯克里布公司）
本文提出基于13B LLaMA2持续训练的HEAL，面向医疗对话与自动病历生成，以更低成本在PubMedQA、医疗概念识别及记录正确性和完整性上达到或超过GPT-4等模型。
2024-04-03 cs.AI cs.CL
Towards Multilingual Automatic Dialogue Evaluation
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）；Phrase（Phrase公司）
针对多语言对话评估数据匮乏问题，提出利用机器翻译扩增数据，并通过质量估计筛选低质量翻译以提升微调效果，超越朴素方法。
2023-08-31 cs.CL
Coherence boosting: When your pretrained language model is not paying enough attention
Mila / Université de Montréal（米拉 / 蒙特利尔大学）；Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）
长距离语义连贯一直是语言生成和理解中的一个难题。我们证明了大语言模型没有充分地学习远距离单词对下一个标记预测的影响。我们提出的连贯性增强，推理过程，增加LM的重点放在一个长期的背景。我们通过对生成的普通文本和对话响应进行分布分析，展示了使用预训练模型增强一致性的好处。研究还发现，对于各种zero-shot NLP任务，使用最先进的模型进行一致性增强，无需额外的训练即可获得性能增益。
2022-03-16 cs.CL
Automatic Question-Answer Generation for Long-Tail Knowledge
Carnegie Mellon University（卡内基梅隆大学）
针对 LLM 缺乏尾部实体 QA 评测数据的问题，本文提出自动生成长尾知识专用 QA 数据集的方法，并比较预训练 LLM 在有无 Wikipedia、Wikidata 等外部资源时的表现。
2024-03-03 cs.CL
Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出了TGEA，首个针对预训练语言模型生成文本的全面错误标注数据集，涵盖24种错误类型，并基于此构建了错误检测、分类等基准任务以促进自动错误诊断与纠正研究。
2025-03-06 cs.CL
Corpus of Cross-lingual Dialogues with Minutes and Detection of Misunderstandings
Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理学院）；Institute of Formal and Applied Linguistics (ÚFAL)（形式与应用语言学研究所）
本文提出一个多语言对话语料库及自动检测误解的方法，通过手动标注和模型测试，验证了Gemini模型在识别误解方面的性能。
2025-12-23 cs.AI cs.CL
HumanRankEval: Automatic Evaluation of LMs as Conversational Assistants
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对对话助手类语言模型人工评估不可扩展、自动评估难衡量对话与指令遵循能力的问题，提出基于对数似然排序并与人类排序求相关的HumanRankEval评估任务，验证其与人类判断相关性好且对指令微调变化敏感。
2024-05-15 cs.CL
Dataset for Automatic Summarization of Russian News
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
自动文本摘要已经在各种领域和语言中被研究。但这并不适用于俄语。为了克服这个问题，我们提出了Gazeta，第一个俄罗斯新闻摘要数据集。我们描述了这个数据集的属性和基准几个提取和抽象模型。我们证明，该数据集是一个有效的任务，为俄罗斯文本摘要的方法。此外，我们证明了预训练的mBART模型是有用的俄语文本摘要。
2021-10-05 cs.CL
BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出BertNet，仅用关系提示和少量实体对示例，即可从预训练语言模型中高效搜索并抽取400多种任意关系的符号化知识图谱。
2023-06-02 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab（语言建模计算方法实验室）；New York University Abu Dhabi（纽约大学迪拜分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学多哈分校）
本文研究阿拉伯方言文本规范化（CODAfication）任务，通过在预训练序列到序列模型中利用方言识别信息，提升了五种城市方言的规范化性能，并公开了代码、数据和模型。
2024-07-03 cs.CL
Beyond Binary: Multiclass Paraphasia Detection with Generative Pretrained Transformers and End-to-End Models
University of Michigan（密歇根大学）
本文提出使用GPT和端到端模型进行多类别错语检测，证明单序列模型优于GPT基线，有助于失语症临床评估与治疗规划。
2024-07-16 cs.CL cs.SD eess.AS
Exploiting News Article Structure for Automatic Corpus Generation of Entailment Datasets
De La Salle University（德拉萨大学）；University of the Philippines Diliman（菲律宾大学迪利曼分校）
Transformers代表了近年来自然语言处理（NLP）的最新技术，即使在低资源语言中完成的任务中也证明了其有效性。虽然可以为这些语言制作预训练的Transformers，但由于缺乏硬基准数据集，以及制作它们的难度和成本，衡量它们的真实性能和容量具有挑战性。在本文中，我们提出了三个贡献：第一，我们提出了一种方法，自动生产自然语言推理（NLI）基准数据集的低资源的语言，使用已发表的新闻文章。通过这一点，我们创建并发布了NewsPH-NLI，这是低资源菲律宾语的第一个句子蕴涵基准数据集。其次，我们基于ELECTRA技术生产新的预训练Transformers，以进一步缓解菲律宾语的资源稀缺性，并将其与其他常用的迁移学习技术进行比较。最后，我们对迁移学习技术进行了分析，通过使用降级测试来揭示它们在低数据域中运行时的真实性能。
2021-08-13 cs.CL
Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Huawei Cloud（华为云）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文研究了如何在知识图谱中自动生成描述事实的自然语言文本。考虑到Few-Shot设置，我们利用预训练的语言模型（PLM）在语言理解和生成方面的出色能力。我们做了三个主要的技术贡献，即表示对齐弥合KG编码和PLM之间的语义差距，关系偏向KG线性化，以获得更好的输入表示，和多任务学习学习KG和文本之间的对应关系。在三个基准数据集上的大量实验证明了该模型在KG到文本生成任务上的有效性。特别是，我们的模型在全监督和Few-Shot设置上都优于所有比较方法。我们的代码和数据集可以在https://github.com/RUCAIBox/Few-Shot-KG2Text上找到。
2021-06-03 cs.CL
Bring the Noise: Introducing Noise Robustness to Pretrained Automatic Speech Recognition
University of Hamburg（汉堡大学）；Örebro University（厄勒布鲁大学）；exXxa GmbH（exXxa有限责任公司）
本研究提出Cleancoder预处理架构，从Conformer ASR模型中提取去噪能力，作为前端应用于任意编码器-解码器模型，在噪声条件下显著降低下游ASR的词错误率。
2023-09-05 cs.CL cs.SD eess.AS
Automatic Document Selection for Efficient Encoder Pretraining
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
构建预训练的语言模型被认为是昂贵的和数据密集型的，但是我们必须增加数据集的大小来实现更好的性能吗？我们提出了一种替代较大的训练集，自动识别较小的域代表性子集。我们扩展了愤世嫉俗的数据选择，一个统计的句子评分方法的条件下，一个有代表性的目标领域语料库。作为一个例子，我们把OntoNotes语料库作为一个目标域，并从一个玩世不恭的选择子集的桩预训练一个RoberTa样的编码器。在困惑和目标域中的多个下游任务上，它的性能始终优于随机选择，数据减少20倍，训练迭代次数减少3倍，估计云计算成本减少2倍，验证了LM预训练的自动文档选择方法。
2022-10-26 cs.CL
Understand customer reviews with less data and in short time: pretrained language representation and active learning
GMF Assurances（GMF保险公司）
在本文中，我们解决客户评论理解问题，通过使用监督机器学习方法，以实现一个全自动的审查方面的分类和情感分析。通常，这种监督学习算法需要特定领域的专家知识来生成高质量的标记训练数据，并且标记的成本可能非常高。为了实现一个生产中的客户评论机器学习支持的分析工具，只有有限的数据量和合理的训练数据收集时间，我们建议使用预先训练的语言表示来提高模型性能和主动学习框架来加速迭代训练过程。结果表明，通过这两个组件的集成，可以更快地实现全自动的评论分析。
2019-10-29 cs.CL cs.LG stat.ML
indic-punct: An automatic punctuation restoration and inverse text normalization framework for Indic languages
Thoughtworks（思特沃克）；Ekstep Foundation（Ekstep基金会）
自动语音识别（ASR）生成的文本大多数时候没有任何标点符号。缺少标点符号会影响文本的可读性。此外，诸如情感分析、机器翻译之类的下游NLP任务通过具有标点符号和句子边界信息而大大受益。我们提出了一种使用预训练IndicBERT模型的文本自动标点方法。逆文本规范化是通过手写加权有限状态转换器（WFST）语法来完成的。我们已经为11种印度语言开发了这个工具，即印地语，泰米尔语，泰卢固语，卡纳达语，古吉拉特语，马拉地语，奥迪亚语，孟加拉语，阿萨姆语，马拉雅拉姆语和旁遮普语。所有代码和数据都是公开的。可用
2022-03-31 cs.CL
Towards Efficient Simultaneous Inverse Text Normalization with Pretrained Text-to-Text Language Model and Read-Tag-Write Policy
UNEY
该研究针对流式逆文本规范化的非流式问题，提出适配预训练文本到文本模型的流式端到端系统，经越南语数据集验证，其准确率优于混合方法且满足实时延迟要求。
2026-10-15 cs.CL
Emerging Cross-lingual Structure in Pretrained Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能研究院）
我们研究了多语言掩蔽语言建模的问题，即从多种语言的连接文本上训练单个模型，并详细研究了影响这些模型为什么对跨语言迁移如此有效的几个因素。我们表明，与以前的假设相反，即使在单语语料库中没有共享词汇，并且文本来自非常不同的领域，迁移也是可能的。唯一的要求是在多语言编码器的顶层中有一些共享参数。为了更好地理解这一结果，我们还表明，来自不同语言的独立训练模型的表示可以非常有效地事后对齐，这强烈表明，就像非上下文词嵌入一样，在学习的嵌入空间中存在普遍的潜在对称性。对于多语言掩蔽语言建模，这些对称性似乎在联合训练过程中自动发现并对齐。
2020-05-07 cs.CL
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University（国立台湾大学）
格是对多个假设进行编码的紧凑表示，例如语音识别结果或不同的分词。结果表明，与自动语音识别器（ASR）产生的1-最佳结果相比，编码格提高了口语语言理解（SLU）的性能。近年来，基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果，但其对格的编码能力尚未得到充分的研究。因此，本文旨在将预训练的Transformers适应于格输入，以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明，使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明，我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
ImagiFilter: A resource to enable the semi-automatic mining of images at scale
Deloitte NL（荷兰德勤）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究院）；CIMS, New York University（纽约大学库朗数学科学研究所）
从网络上（半）自动收集的数据集可以很容易地扩展到数百万个条目，但数据集的有用性与其示例的干净和高质量直接相关。在本文中，我们描述并公开发布了一个图像数据集以及预先训练的模型，这些模型旨在（半）自动地从可能从网络上获得的非常大的图像集合中过滤掉不需要的图像。我们的数据集集中于摄影和/或自然图像，这是计算机视觉研究中非常常见的用例。我们为粗略预测提供了注释，即摄影与非摄影，以及更小的细粒度预测任务，我们将非摄影类进一步细分为五类：地图，图纸，图形，图标和草图。验证数据的结果表明，减少内存占用的模型架构在粗预测上达到了96%以上的准确率。我们最好的模型在最难的细粒度分类任务上达到了88%的准确率。数据集和预训练模型可在https://github.com/houda96/imagi-filter上获得。
2020-08-20 cs.CL cs.CV
Controlling Conditional Language Models without Catastrophic Forgetting
University of Sussex（萨塞克斯大学）；Naver Labs Europe（Naver欧洲实验室）
机器学习正在转向通用的预训练生成模型，这些模型以自我监督的方式在大量数据上进行训练，然后可以应用于解决大量任务。然而，由于它们的通用训练方法，这些模型通常不能满足一些下游要求（例如，抽象概括中的幻觉或代码生成中的风格冲突）。这就提出了一个重要的问题，即如何在不破坏其一般能力（“灾难性遗忘“）的情况下调整预训练的生成模型以满足所有要求。最近的工作提出了解决这个问题，通过代表任务特定的要求，通过基于能量的模型（EBM）和近似这些EBM使用分布式策略梯度（DPG）。尽管其有效性，但这种方法仅限于无条件分配。在本文中，我们扩展了DPG的条件任务，提出了条件DPG（CDPG）。我们在三个任务（翻译，摘要和代码生成）和两个预训练模型（T5和GPT-Neo）的四个不同的控制目标上评估CDPG。我们的研究结果表明，使用CDPG进行微调可以使这些预训练模型更接近于满足控制目标，并且与基线方法相比，不会导致灾难性遗忘。
2022-06-20 cs.CL cs.LG
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University（维亚特卡国立大学）
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发，显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中，我们使用的翻译版本的议论文，说服性的文章和UKP句子语料库微调RuBERT模型。最后，利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调，生成论元文本。结果表明，与原始ruGPT-3模型相比，这种方法将参数生成的准确性提高了20个百分点（63.2%对42.5%）。
2022-06-18 cs.CL
Unsupervised Paraphrasing with Pretrained Language Models
Salesforce Research（Salesforce研究院）
释义生成广泛受益于最近的进展，在设计的培训目标和模型架构。然而，以前的探索主要集中在监督的方法，这需要大量的标记数据是昂贵的收集。为了解决这个缺点，我们采用了迁移学习方法，并提出了一个训练管道，使预先训练的语言模型，以产生高质量的释义在无监督的设置。我们的配方包括任务自适应，自我监督，和一种新的解码算法，称为动态阻塞（DB）。为了实施与输入不同的表面形式，每当语言模型发出包含在源序列中的标记时，DB阻止模型输出用于下一生成步骤的后续源标记。我们通过自动和人工评估表明，我们的方法在Quora问题对（QQP）和ParaNMT数据集上都达到了最先进的性能，并且对不同分布的两个数据集之间的域转移具有鲁棒性。我们还证明了我们的模型转移到其他语言的释义，而无需任何额外的微调。
2021-09-10 cs.CL
Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems
Cambridge University（剑桥大学）；PolyAI Limited（PolyAI有限公司）
数据稀缺是一个长期存在的关键挑战，它阻碍了跨多个领域的面向任务的对话系统的快速开发：面向任务的对话模型预计将从少量的特定于任务的数据中学习语法，句法，对话推理，决策和语言生成。在本文中，我们证明了语言建模预训练和迁移学习的最新进展有望克服这个问题。我们提出了一个面向任务的对话模型，只对文本输入操作：它有效地绕过明确的政策和语言生成模块。在TransferTransfo框架之上构建（Wolf等人，2019）和生成模型预训练（Radford et al.，2019），我们从MultiWOZ数据集验证了复杂的多领域面向任务的对话方法。我们的自动和人工评估表明，所提出的模型与强大的任务特定神经基线相当。从长远来看，我们的方法有望缓解数据稀缺问题，并支持构建更具吸引力和更雄辩的面向任务的会话代理。
2019-08-04 cs.CL
Bangla-Wave: Improving Bangla Automatic Speech Recognition Utilizing N-gram Language Models
North South University（北南大学）；Apurba Technologies（阿普尔巴技术公司）
虽然全世界有超过3亿人说孟加拉语，但由于孟加拉语是一种低资源语言，因此在改善孟加拉语语音到文本转录方面的工作很少。然而，随着孟加拉语通用语音9.0语音数据集的引入，自动语音识别（ASR）模型现在可以得到显着改进。孟加拉语共同之声拥有399小时的语音记录，是世界上最大和最多样化的孟加拉语开源语音语料库。在本文中，我们通过在普通语音数据集上微调预训练的wav 2 vec 2模型，超越了SOTA预训练的孟加拉语ASR模型。我们还演示了如何通过添加一个n-gram语言模型作为后处理器来显着提高ASR模型的性能。最后，我们做了一些实验和超参数调整，以产生一个强大的孟加拉ASR模型，比现有的ASR模型。
2022-09-13 cs.AI cs.CL eess.AS
Finding Challenging Metaphors that Confuse Pretrained Language Models
University of Surrey（萨里大学）；University of Manchester（曼彻斯特大学）
针对现有隐喻研究多关注易处理隐喻的问题，提出自动化流水线识别对预训练语言模型有挑战性的隐喻，验证其会显著降低多类NLP任务性能。
2024-01-29 cs.CL
Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains
Shandong University（山东大学）；Microsoft Research（微软研究院）
大型预训练模型在许多自然语言处理任务中取得了巨大的成功。然而，当它们应用于特定领域时，这些模型遭受域转移，并在延迟和容量限制的微调和在线服务方面带来挑战。在本文中，我们提出了一种为特定领域开发小型，快速和有效的预训练模型的通用方法。这是通过调整现成的一般预训练模型并在目标域中执行任务不可知的知识蒸馏来实现的。具体而言，我们提出了在适应阶段的特定领域的词汇扩展，并采用语料库级别的出现概率来自动选择增量词汇的大小。然后，我们系统地探索不同的策略来压缩特定领域的大型预训练模型。我们在生物医学和计算机科学领域进行实验。实验结果表明，我们的方法在特定领域的任务取得了更好的性能比BERT BASE模型，而3.3倍的小和5.1倍的速度比BERT BASE。代码和预训练模型可在https://aka.ms/adalm上获得。
2021-06-29 cs.CL
ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models
NAVER LABS Europe（NAVER欧洲实验室）
该研究提出面向长上下文大语言模型的会议助手基准ELITR-Bench，基于ELITR语料构建带噪转录文本与人工问答数据，实验验证多代模型进展并分析GPT-4评估的局限性。
2025-01-17 cs.AI cs.CL cs.LG
Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator
University of Göttingen（哥廷根大学）
针对会议摘要质量自动评估难题，提出基于LLM的MESA框架，通过三步评估与自训练提升与人类判断的相关性，平均比现有方法高0.25，可适应自定义错误指南，适用于少标注数据场景。
2024-11-27 cs.AI cs.CL
AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
University of California, Irvine（加州大学欧文分校）；University of California, Berkeley（加州大学伯克利分校）
预训练语言模型的巨大成功促使人们研究这些模型在预训练过程中学习到了什么样的知识。将任务重新表述为填空题（例如，完形填空）是测量这些知识的自然方法，然而，它的使用受限于书写适当提示所需的手工努力和猜测。为了解决这个问题，我们开发了AutoPrompt，这是一种自动化的方法，可以根据梯度引导搜索为不同的任务创建提示。使用AutoPrompt，我们表明，掩蔽的语言模型（MLMs）具有固有的能力，执行情感分析和自然语言推理，而无需额外的参数或微调，有时达到与最近的国家的最先进的监督模型的性能。我们还表明，我们的提示引起更准确的事实知识MLMs比手动创建的提示LAMA基准，MLMs可以更有效地作为关系提取器比监督关系抽取模型。这些结果表明，自动生成的提示是现有探测方法的可行的无参数替代方案，并且随着预先训练的LM变得更加复杂和有能力，可能会取代微调。
2020-11-07 cs.CL cs.LG
Automatic deductive coding in discourse analysis: an application of large language models in learning analytics
Beijing Institute of Technology（北京理工大学）；Central China Normal University（华中师范大学）；McGill University（麦吉尔大学）；Western Washington University（西华盛顿大学）
针对话语演绎编码耗时耗力的问题，本文比较传统文本分类、类BERT模型与结合提示词工程的GPT，证明后者在少量训练样本下于两个数据集均取得更优准确率和Kappa值。
2024-10-02 cs.CL cs.HC
PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction
Technical University of Munich（慕尼黑工业大学）
关键词提取是从给定文本中自动选择一小组最相关短语的过程。有监督的关键短语提取方法需要大量标记的训练数据，并且在训练数据的域之外表现不佳。在本文中，我们提出了PatternRank，它利用预训练的语言模型和词性，从单个文档中进行无监督的关键短语提取。我们的实验表明，PatternRank实现了更高的精度，召回率和F1分数比以前的国家的最先进的方法。此外，我们提出了KeyphraseVectorizers包，它允许容易修改的部分语音模式的候选关键词选择，因此适应我们的方法到任何领域。
2022-10-12 cs.AI cs.CL
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性，主题模型遭受的几个限制，包括无法建模文档中的单词排序信息，将外部语言知识的困难，以及缺乏准确和有效的推理方法来近似棘手的后验。最近，预训练的语言模型（PLM）由于其出色的文本表示，为各种各样的任务带来了惊人的性能提升。有趣的是，还没有标准的方法来部署PLM进行主题发现，作为主题模型的更好的替代品。在本文中，我们首先分析了使用PLM表示的主题发现的挑战，然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中，主题词和文档主题分布的联合建模，使发现的主题可以解释的连贯性和独特的条款，同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现，是概念上比主题模型简单。在不同领域的两个基准数据集上，我们的模型生成的主题比强主题模型更加连贯和多样化，并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
