PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University(庆应义塾大学)
词的分布式表示提高了许多自然语言任务的性能。然而,在许多方法中,一个词的一个标签只考虑一个含义,并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词,但都是根据一批大的文献来确定多义词的意义。因此,将这些方法应用于连续的句子有两个问题,例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系,即语境决定词义,词义决定语境。因此,语境估计必须并行进行,以寻求多种解释。第二个问题是,以前的方法使用大规模的句子集来离线学习新的解释,学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此,为了动态估计会话语境和连续句子中多义词的解释,本文在传统的同时定位与地图构建(SLAM)算法的基础上,提出了一种同时语境化与解释(SCAIN)方法。通过使用SCAIN算法,我们可以顺序优化上下文和单词解释之间的相互依赖关系,同时在线获得新的解释。为了进行实验评估,我们创建了两个数据集:一个来自维基百科的消歧页面,另一个来自真实对话。对于这两个数据集,结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
Facebook AI Research(脸书人工智能研究院)
大多数机器翻译系统从左到右自回归地生成文本。相反,我们使用掩蔽语言建模目标来训练模型以预测目标词的任何子集,条件是输入文本和部分掩蔽的目标翻译。这种方法允许有效的迭代解码,其中我们首先非自回归地预测所有目标词,然后重复屏蔽并重新生成模型最不自信的词子集。通过将这种策略应用于恒定的迭代次数,我们的模型将非自回归和并行解码翻译模型的最先进性能水平平均提高了4 BLEU以上。它还能够达到典型的从左到右Transformer模型的大约1个BLEU点,同时解码速度明显更快。
2019-09-04 cs.AI cs.CL cs.LG
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little
Facebook AI Research(Facebook人工智能研究院);McGill University(麦吉尔大学);Mila - Quebec AI(Mila - 魁北克人工智能研究所)
屏蔽语言模型(MLM)预训练令人印象深刻的性能的一个可能的解释是,这些模型已经学会表示经典NLP管道中流行的语法结构。在本文中,我们提出了一个不同的解释:MLMs成功的下游任务几乎完全是由于他们的能力,模型高阶词共现统计。为了证明这一点,我们在随机打乱词序的句子上预训练MLMs,并表明这些模型在许多下游任务上进行微调后仍然具有很高的准确性-包括专门设计用于挑战忽略词序的模型的任务。我们的模型执行令人惊讶的是,根据一些参数的语法探测,表明可能存在的缺陷,我们如何测试表示的语法信息。总的来说,我们的研究结果表明,纯粹的分布信息在很大程度上解释了预训练的成功,并强调了管理需要更深入语言知识的具有挑战性的评估数据集的重要性。
2021-09-09 cs.CL cs.LG
Confidence Regularized Masked Language Modeling using Text Length
Soongsil University(崇实大学)
针对掩码语言建模在短文本上因忽略多义替代词而导致过度自信的问题,本文提出一种根据输入长度自适应调整强度的置信度正则化方法,并在GLUE和SQuAD上验证其同时提升准确率与校准性能。
2025-04-09 cs.AI cs.CL cs.LG
Euphemistic Phrase Detection by Masked Language Model
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众所周知,边缘团体和组织使用委婉语(听起来普通、看起来无辜、具有秘密含义的词语)来隐藏他们正在讨论的内容。例如,毒品贩子经常用“锅”来表示大麻,用“鳄梨”来表示海洛因。从社交媒体内容审核的角度来看,尽管NLP的最新进展已经能够自动检测这种单字委婉语,但现有的工作还不能自动检测多词委婉语,例如“蓝色梦想”(大麻)和“黑色焦油”(海洛因)。我们的论文处理的问题,委婉语短语检测,而无需人工努力的第一次,据我们所知。我们首先在原始文本语料库上执行短语挖掘(例如,社交媒体帖子)来提取高质量的短语。然后,我们利用词嵌入相似性来选择一组委婉短语候选。最后,我们用一个屏蔽的语言模型-- SpanBERT对这些候选者进行排序。与强基线相比,我们报告使用我们的算法检测委婉短语的检测准确率高出20-50%。
2021-09-10 cs.CL
A New Semisupervised Technique for Polarity Analysis using Masked Language Models
Waseda University(早稻田大学);LUT University(卢特大学)
本文提出利用掩码语言模型改进的潜在语义缩放方法,通过词向量预测种子词在上下文中的出现概率,提升文本分析中极性评分的准确性与一致性。
2026-04-29 cs.CL stat.ME
RiverText: A Python Library for Training and Evaluating Incremental Word Embeddings from Text Data Streams
Department of Computer Science, University of Chile(智利大学计算机科学系);National Center for Artificial Intelligence (CENIA)(人工智能国家中心);Millennium Institute for Foundational Research on Data (IMFD)(数据基础研究千年研究所)
针对传统静态词嵌入难以适应动态语言模式的问题,提出Python库RiverText,基于PyTorch实现Skip-gram等增量词嵌入算法,并提供流式评估模块,为流式场景下的词嵌入训练与评估提供标准化框架。
2025-06-29 cs.CL cs.LG
Incremental Sense Weight Training for the Interpretation of Contextualized Word Embeddings
EMORY University(埃默里大学)
我们提出了一种新的在线算法,学习词嵌入中的每个维度的本质,通过最小化上下文嵌入组的组内距离。使用三种最先进的基于神经的语言模型Flair、ELMo和BERT来生成上下文化的词嵌入,以便为相同的词类型生成不同的嵌入,这些嵌入通过SemCor数据集中手动注释的含义进行分组。我们假设并非所有维度对于下游任务都同样重要,以便我们的算法可以检测不必要的维度并丢弃它们,而不会损害性能。为了验证这一假设,我们首先掩模尺寸确定不必要的我们的算法,应用掩蔽的词嵌入的词义消歧任务(WSD),并比较其性能对一个实现的原始嵌入。几个KNN的方法进行了实验,以建立强大的基线WSD。我们的研究结果表明,掩蔽的词嵌入不损害性能,可以提高3%。我们的工作可以用来进行未来的上下文嵌入的可解释性的研究。
2020-05-23 cs.CL
Probing Simile Knowledge from Pre-trained Language Models
Xiamen University(厦门大学);NetEase Inc.(网易公司)
对于NLP来说,相似性解释(SI)和相似性生成(SG)是一项具有挑战性的任务,因为模型需要足够的世界知识来产生预测。以往的工作都是采用手工制作的资源,将知识相关的模型,这是费时费力。近年来,基于预训练语言模型(PLMs)的方法已经成为自然语言处理的事实标准,因为它们从大型语料库中学习通用知识。PLM中嵌入的知识可能对SI和SG任务有用。本文首次将PLM中的可重构知识引入到可重构三重完备化的统一框架中,以解决SI和SG任务。我们的框架的骨干是构造与手动模式的掩蔽句,然后预测的候选词在掩蔽的位置。在该框架中,我们采用了二次训练过程(形容词-名词掩码训练)与掩蔽语言模型(MLM)的损失,以提高候选词的预测多样性在掩蔽的位置。此外,模式集成(PE)和模式搜索(PS)的应用,以提高预测词的质量。最后,自动和人类的评价证明了我们的框架在SI和SG任务的有效性。
2022-04-27 cs.AI cs.CL
Alternate Endings: Improving Prosody for Incremental Neural TTS with Predicted Future Text Input
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(GIPSA实验室);LIG(格勒诺布尔信息学实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);INRIA(法国国家信息与自动化研究所);NAVER LABS Europe(NAVER欧洲实验室)
一个口语单词的韵律是由它周围的语境决定的。在增量文本到语音合成中,其中合成器在其访问完整输入之前产生输出,完整上下文通常是未知的,这可能导致合成语音中的自然度损失。在本文中,我们调查是否使用预测未来的文本可以减轻这种损失。我们比较了下一个未来词的几种测试条件:(a)未知(零词),(b)语言模型预测,(c)随机预测和(d)地面实况。我们测量的韵律功能(音高,能量和持续时间),并发现预测文本提供了显着的改善零字前瞻,但只有轻微的收益随机字前瞻。我们证实了这些结果与感知测试。
2021-06-15 cs.CL eess.AS
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Google Research(谷歌研究院)
自然语言语法有两大类--依赖性语法(dependency grammar)和选区语法(constituency grammar),依赖性语法对单词之间的一对一对应关系进行建模,选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法,我们引入了一种新的模型,StructFormer,可以同时诱导依赖和选区结构。为了实现这一点,我们提出了一个新的解析框架,可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制,以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明,该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
Efficient Pre-training of Masked Language Model via Concept-based Curriculum Masking
Korea University(高丽大学);The Catholic University of Korea(韩国天主教大学)
掩蔽语言建模(MLM)已被广泛用于预训练有效的双向表示,但会产生大量的训练成本。在本文中,我们提出了一种新的基于概念的课程掩蔽(CCM)方法,有效地预训练语言模型。CCM与现有的课程学习方法有两个关键的区别,以有效地反映传销的性质。首先,我们引入了一个精心设计的语言难度标准,用于评估每个令牌的MLM难度。第二,我们构建了一个课程,通过检索知识图谱,逐渐掩盖与先前掩蔽的单词相关的单词。实验结果表明,CCM显著提高了预训练效率。具体来说,用CCM训练的模型在一般语言理解评估基准上显示出与原始BERT相当的性能,而训练成本只有原来的一半。
2022-12-15 cs.CL
Incremental Interpretation: Applications, Theory, and Relationship to Dynamic Semantics
为什么计算机要增量地解释语言?近年来,心理语言学证据的增量解释已经变得越来越令人信服,这表明,人类执行语义解释之前,组成的边界,可能是一个字一个字。然而,可能的计算应用受到较少的关注。在本文中,我们考虑各种潜在的应用,特别是图形交互和对话。然后,我们审查的理论和计算工具,可用于映射从片段的句子,以充分范围的语义表示。最后,我们梳理除了动态语义和增量解释之间的关系。
1995-03-14 cmp-lg cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao(网易有道)
本文介绍了一种新的神经机器翻译的数据增强方法,可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型(CMLM),这是双向的,可以是条件的左右上下文,以及标签。我们证明了CMLM是一个很好的技术,用于生成上下文相关的词分布。特别是,我们表明,CMLM是能够强制执行语义一致性的条件源和目标在替代。此外,为了提高多样性,我们将软字替换的想法,数据增强,取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明,该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比,并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文介绍了我们的系统SemEval-2021的任务4:阅读理解的抽象意义(ReCAM)。我们参与了所有的子任务,主要目标是预测一个陈述中缺少的抽象词。我们微调了预先训练的掩蔽语言模型,即BERT和AL BERT,并将其作为我们在子任务1(ReCAM-不可感知性)和子任务2(ReCAM-非特异性)上提交的系统。对于子任务3(ReCAM-Intersection),我们提交了ALBERT模型,因为它给出了最好的结果。我们尝试了多种方法,发现基于Masked Language Modeling(MLM)的方法效果最好。
2021-04-04 cs.AI cs.CL cs.LG
One Word at a Time: Incremental Completion Decomposition Breaks LLM Safety
University of Michigan(密歇根大学);University of Toronto(多伦多大学)
本文提出增量完成分解(ICD)策略,通过逐词生成恶意请求相关词来突破LLM安全机制,评估多种变体在多个基准测试中表现优异,并理论解释其有效性。
2026-08-11 cs.CL cs.CR
A Better Way to Do Masked Language Model Scoring
Massachusetts Institute of Technology(麻省理工学院)
针对掩码语言模型(MLM)中原始伪对数似然(PLL)评分方法对词表外词评分虚高的问题,提出改进的度量方法 PLL-word-l2r,通过额外掩码目标右侧词内 token,更好地满足理论期望并与自回归模型分数更相关。
2023-05-23 cs.CL
Incremental Interpretation of Categorial Grammar
本文描述了一个范畴语法分析器,它提供了充分的逐词增量解释。解析器不需要句子的片段来形成成分,从而避免了虚假歧义的问题。本文简要讨论了基本范畴语法与其他形式主义,如HPSG,依存语法和Lambek演算之间的关系。它还包括一些问题的讨论时出现的语法分析词汇化,并使用统计技术调整到特定的语言的可能性。
1995-03-14 cmp-lg cs.CL
Back to the Future: The Role of Past and Future Context Predictability in Incremental Language Production
University of California, Irvine(加州大学尔湾分校)
研究探讨了过去和未来上下文可预测性对语言生成的影响,提出信息论度量方法,揭示了上下文可预测性在词汇选择中的作用,发现未来可预测性降低错误率,过去可预测性增加错误率。
2026-09-09 cs.CL
Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
基于连接主义时态分类(CTC)的模型由于其非自回归特性而在自动语音识别(ASR)中受到广泛关注。为了充分利用纯文本数据,语言模型(LM)集成方法,如重评分和浅层融合已被广泛用于CTC。然而,由于需要束搜索,它们失去了CTC的非自回归性质,这降低了推理速度。在这项研究中,我们提出了一个错误纠正方法与音素条件掩蔽LM(PC-MLM)。在所提出的方法中,不太自信的词令牌在一个贪婪的解码输出CTC被掩盖。PC-MLM然后预测这些屏蔽词令牌给出未屏蔽的单词和电话从CTC预测。我们进一步将其扩展到可删除的PC-MLM,以解决插入错误。由于CTC和PC-MLM都是非自回归模型,因此该方法能够实现快速LM积分。在领域自适应环境下对自然日语语料库(CSJ)和TED-LIUM 2进行的实验结果表明,该方法在推理速度和识别准确率方面均优于再评分和浅层融合。
2022-09-08 cs.CL cs.SD eess.AS
Probing for Incremental Parse States in Autoregressive Language Models
MIT(麻省理工学院);Harvard University(哈佛大学)
自回归神经语言模型的下一个词预测显示出对句法的显著敏感性。这项工作评估在何种程度上出现这种行为作为一个学习的能力,以保持增量句法结构的隐式表示的结果。我们在句法探测的增量设置扩展工作,并提出了几个探针提取不完整的句法结构(可操作的通过解析状态从基于堆栈的解析器)自回归语言模型。我们发现,我们的探测器可以用来预测模型的偏好歧义句前缀和因果关系干预模型表示和引导模型的行为。这表明,在自回归神经语言模型中,隐式增量句法推理是下一个词预测的基础。
2022-11-17 cs.CL cs.LG
Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism
Beihang University(北京航空航天大学);Xiaomi AI Lab(小米人工智能实验室);Peking University(北京大学);Chinese Academy of Sciences(中国科学院)
非自回归模型以并行方式生成目标词,这实现了更快的解码速度,但牺牲了翻译精度。为了弥补非自回归模型的翻译缺陷,一种很有前途的方法是训练一个条件屏蔽翻译模型(CMTM),并在几次迭代中优化生成的结果。遗憾的是,这种方法几乎没有考虑目标词之间的\textit{sequential dependency},这不可避免地导致翻译降级。因此,我们提出了一种自我审查机制,而不是仅仅训练基于transformer的CMTM,以向其中注入顺序信息。具体地说,我们向CMTM的同一解码器插入从左到右的掩码,然后诱导它自回归地审查CMTM生成的每个单词是否应该被替换或保留。实验结果(WMT 14 En $\leftrightarrow$ De和WMT 16 En $\leftrightarrow$ Ro)表明,我们的模型使用的训练计算比典型的CMTM少得多,并且比几种最先进的非自回归模型的性能高出1 BLEU以上。通过知识蒸馏,我们的模型甚至超过了典型的从左到右的Transformer模型,同时大大加快了解码速度。
2020-10-26 cs.CL
Improving Contextual Representation with Gloss Regularized Pre-training
ByteDance Inc.(字节跳动公司)
虽然在许多NLP任务上取得了令人印象深刻的结果,但BERT类掩蔽语言模型(MLM)遇到了预训练和推理之间的不一致。鉴于这一差距,我们从词概率分布的角度研究了预训练和推理的语境表征。我们发现,BERT的风险,忽略了上下文的单词相似性在预训练。为了解决这个问题,我们提出了一个辅助光泽正则化模块BERT预训练(GR-BERT),以提高单词的语义相似度。通过预测屏蔽词并同时将上下文嵌入与相应的注释对齐,可以显式地对词相似度进行建模。我们为GR-BERT设计了两种架构,并在下游任务中评估了我们的模型。实验结果表明,光泽正则化有利于BERT在词级和句子级的语义表示。GR-BERT在词汇替换任务中取得了新的进展,并且极大地促进了BERT在无监督和有监督STS任务中的句子表示。
2022-05-13 cs.AI cs.CL cs.LG
A Masked Segmental Language Model for Unsupervised Natural Language Segmentation
University of Washington(华盛顿大学)
分割仍然是一个重要的预处理步骤,无论是在语言中,“词”或其他重要的句法/语义单位(如词素)没有明确划定的空白,以及当处理连续的语音数据,其中往往没有有意义的停顿之间的话。近完美的监督方法已被开发用于资源丰富的语言,如中文,但世界上许多语言都是形态复杂的,并且没有大的“黄金”分割成有意义的单位的数据集。为了解决这个问题,我们提出了一种新型的分段语言模型(Sun和Deng,2018; Kawakami等人,2019年; Wang等人,2021)用于无监督和轻度监督分割任务。我们介绍了一个掩蔽分段语言模型(MSLM)建立在一个跨掩蔽Transformer架构,利用双向掩蔽建模上下文和注意力的力量。在一系列的实验中,我们的模型始终优于递归SLM中文(北大语料库)的分割质量,并表现出类似的递归模型对英语(PTB)。最后,我们讨论了不同的挑战分割音素类型的书写系统。
2021-09-03 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中,我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说,该模型首先为平行句子自标记单词对齐。然后,我们随机屏蔽一个bitext对中的标记。给定一个掩码标记,该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明,该方法提高了跨语言的可移植性在各种数据集上,特别是在令牌级的任务,如问答,结构化预测。此外,该模型可以作为一个预先训练的字对齐器,实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Do Transformers Parse while Predicting the Masked Word?
Princeton University(普林斯顿大学);Duke University(杜克大学)
本文研究 Transformer 是否真正进行句法解析,证明中等规模掩码语言模型可近似执行 Inside-Outside 算法,并构造特定 Transformer 在 PTB 上实现高 F1 分数,揭示其隐式解析能力。
2023-10-16 cs.CL cs.LG
Positional Artefacts Propagate Through Masked Language Model Embeddings
Uppsala University(乌普萨拉大学);NetEase Inc.(网易公司)
在这项工作中,我们证明了来自预先训练的基于掩蔽语言模型的编码器的上下文化的词向量共享一个共同的,也许是不希望的模式跨层。也就是说,我们在BERT和RoBERTa的隐藏状态向量中找到持续离群神经元的情况,这些神经元始终具有所述向量中的最小或最大值。为了研究这些信息的来源,我们引入了一种神经元级的分析方法,该方法揭示了异常值与位置嵌入捕获的信息密切相关。我们还从头开始预训练RoberTa基模型,发现离群值在不使用位置嵌入的情况下消失了。我们发现,这些离群值是编码器原始向量空间各向异性的主要原因,剪切它们会导致向量之间的相似性增加。我们在实践中证明了这一点,表明裁剪向量可以更准确地区分词义,以及导致更好的句子嵌入时,均值池。在三个有监督的任务中,我们发现裁剪并不影响性能。
2021-05-25 cs.CL
Temporal dynamics of semantic relations in word embeddings: an application to predicting armed conflict participants
University of Oslo(奥斯陆大学)
本文讨论了使用词嵌入模型来追踪词对之间语义关系的时间动态。设置类似于众所周知的类比任务,但扩展了时间维度。为此,我们使用新的训练文本对模型进行增量更新,包括增量词汇扩展,再加上学习的转换矩阵,让我们在关系的成员之间进行映射。根据地理位置预测叛乱武装团体的任务对所提出的方法进行了评价。1994- 2010年的黄金标准数据来自UCDP武装冲突数据集。结果表明,该方法是可行的,优于基线,但也有重要的工作仍有待完成。
2017-07-26 cs.CL
What the Future Brings: Investigating the Impact of Lookahead for Incremental Neural TTS
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(GIPSA实验室);LIG(LIG实验室);INRIA(法国国家信息与自动化研究所)
在增量文本转语音合成(iTTS)中,合成器在访问整个输入句子之前产生音频输出。在本文中,我们研究了神经序列到序列TTS系统在增量模式下使用时的行为,即当生成令牌n的语音输出时,系统可以从文本序列中访问n + k个令牌。我们首先分析这种增量策略对令牌n的编码器表示的演变的影响,对于不同的k值(前瞻参数)。结果表明,平均而言,令牌在一个单词的先行处理下,可以完成88%的完整上下文表示,在两个单词的先行处理后,可以完成94%的完整上下文表示。然后,我们调查哪些文本功能是最有影响力的演变对最终表示使用随机森林分析。结果表明,最显着的因素与令牌长度有关。我们最后评估的影响,在解码器级别的前瞻性k,使用MUSHRA听力测试。该测试示出了与上述高数字形成对比的结果:用2个单词前瞻获得的语音合成质量显著低于用完整句子获得的语音合成质量。
2020-09-04 cs.CL eess.AS
Plant in Cupboard, Orange on Rably, Inat Aphone. Benchmarking Incremental Learning of Situation and Language Model using a Text-Simulated Situated Environment
Computational Linguistics, Department of Linguistics University of Potsdam(语言学系计算语言学部门波恩大学);German Research Center for Artificial Intelligence (DFKI), Berlin(德国人工智能研究中心(DFKI)柏林)
本文使用文本模拟的情境环境,通过房屋物品任务和合成伪英语单词实验,评估了大型语言模型作为智能体规划器的增量学习与受控上下文学习能力,发现商业大模型优于开放权重模型但普遍难以推断未知词义。
2025-06-27 cs.CL
Word Order Matters when you Increase Masking
École Normale Supérieure-PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心);U. Sorbonne Nouvelle(新索邦大学);University of Pisa(比萨大学)
词序是自然语言的一个基本属性,使用位置编码将词序注入到基于transformer的神经语言模型中。然而,最近的实验表明,显式位置编码并不总是有用的,因为一些没有这种功能的模型设法在某些任务上实现了最先进的性能。为了更好地理解这种现象,我们检查了去除位置编码对预训练目标本身的影响(即,掩蔽语言建模),以测试模型是否可以单独从同现重构位置信息。我们通过控制输入句子中的掩蔽标记的数量来实现这一点,作为影响任务位置信息重要性的代理。我们发现,位置信息的必要性随着掩蔽量的增加而增加,并且没有位置编码的掩蔽语言模型无法在任务上重建此信息。这些发现指向掩蔽量和Transformers使用位置编码捕获语言的顺序敏感方面的能力之间的直接关系。
2022-11-08 cs.CL cs.LG cs.NE
Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
针对密集检索中掩码自编码器预训练计算成本高且机理不明的问题,提出用简化的词袋预测任务替换解码器,在无需额外参数下实现最先进检索性能且训练提速67%。
2024-04-22 cs.CL cs.IR
Why Is It Hate Speech? Masked Rationale Prediction for Explainable Hate Speech Detection
Ajou University(亚洲大学)
在仇恨语音检测模型中,除了检测性能之外,还应该考虑两个关键方面--偏差和可解释性。仇恨言论不能仅仅基于特定词语的存在来识别:模型应该能够像人类一样推理,并且是可解释的。为了提高这两个方面的性能,我们提出了一个中间任务,掩蔽原理预测(MRP)。MRP是一项任务,通过参考周围的标记及其未掩蔽的基本原理来预测掩蔽的人类基本原理-句子的片段,这些片段是人类判断的基础。由于该模型通过MRP学习其基于推理的推理能力,因此它在偏见和可解释性方面能够稳健地执行仇恨语音检测。所提出的方法一般达到国家的最先进的性能在各种指标,证明其有效性的仇恨语音检测。
2022-11-01 cs.AI cs.CL cs.SI
Improving Lexically Constrained Neural Machine Translation with Source-Conditioned Masked Span Prediction
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)
准确的术语翻译对于确保神经机器翻译(NMT)系统的实用性和可靠性至关重要。为了解决这个问题,词汇约束NMT探索了各种方法来确保翻译输出中出现预先指定的单词和短语。然而,在许多情况下,这些方法是在一般领域语料库中研究的,其中术语大多是uni-gram和bi-gram(>98%)。在本文中,我们解决了一个更具挑战性的设置,由特定领域的语料库组成,具有更长的n-gram和高度专业化的术语。受最近成功的掩蔽跨度预测模型的启发,我们提出了一种简单有效的训练策略,该策略在两种语言对中的三个特定领域语料库的术语和句子级别翻译上实现了一致的改进。
2021-08-12 cs.AI cs.CL cs.LG
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(中国科学技术大学,教育部脑启发智能感知与认知重点实验室);Independent Researcher(独立研究员)
提出MACCO框架,通过掩码一个模态的组合概念并从另一模态完整上下文重建,增强视觉-语言模型的组合理解能力,在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV
Evaluating Automatic Speech Recognition in an Incremental Setting
Boise State University(博伊西州立大学)
自动语音识别的可靠性不断提高,使其日常使用范围不断扩大。然而,出于研究目的,通常不清楚应该为任务选择哪种模型,特别是如果需要速度和准确性。在本文中,我们系统地评估六个语音识别器使用的指标,包括字的出错率,延迟,和更新的数量已经认识到的话,英语测试数据,以及提出和比较两种方法的流式音频到识别器的增量识别。我们进一步提出了每秒撤销作为一个新的指标,用于评估增量识别,并证明它提供了对整体模型性能的见解。我们发现,一般来说,本地识别器比基于云的识别器更快,需要的更新更少。最后,我们发现Meta的Wav2Vec模型是最快的,Mozilla的DeepSpeech模型在预测中是最稳定的。
2023-02-23 cs.CL cs.SD eess.AS
Weakly Supervised Text Classification using Supervision Signals from a Language Model
South China University of Technology(华南理工大学);HKUST(香港科技大学);University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
以弱监督的方式解决文本分类对于人类注释稀缺的现实世界应用非常重要。在本文中,我们提出查询一个掩蔽的语言模型与完形填空风格的提示,以获得监督信号。我们设计了一个提示符,它结合了文档本身和“本文正在谈论[MASK]”。“掩码语言模型可以为[MASK]标记生成单词。所生成的概括文档内容的词可以用作监督信号。我们提出了一个潜变量模型来学习一个词分布学习器,该学习器将生成的词与预定义的类别和文档分类器同时关联,而不使用任何注释数据。对AGNews、20Newsgroups和UCinews三个数据集的评估表明,我们的方法可以超过基线2%、4%和3%。
2022-05-13 cs.CL
How Important Is Tokenization in French Medical Masked Language Models?
LIA, Avignon University(阿维尼翁大学计算机科学与人工智能实验室);Zenidoc(Zenidoc公司);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N, UMR 6004(南特数字科学实验室)
本文研究法语生物医学领域中子词分词对掩码语言模型的影响,分析 BPE 和 SentencePiece 的不足,并提出融合语素信息的原创分词策略以改进下游 NLP 任务表现。
2024-06-09 cs.AI cs.CL cs.LG
Bootstrapping incremental dialogue systems from minimal data: the generalisation power of dialogue grammars
Heriot-Watt University(赫瑞瓦特大学)
我们研究了一种端到端的方法,用于从少量未注释的对话数据自动诱导基于任务的对话系统。它结合了增量语义语法-动态语义和类型论(DS-TTR)-与强化学习(RL),其中语言生成和对话管理是一个联合决策问题。这样产生的系统是渐进的:对话是逐字处理的,以前被证明是支持自然的,自发的对话必不可少的。我们假设,语法中丰富的语言知识应该能够处理大量的对话变体,即使在很少的对话上进行训练。我们的实验表明,我们的模型可以处理74%的Facebook AI bAbI数据集,即使只训练了0.13%的数据(5个对话)。它还可以处理65%的bAbI+,这是我们通过系统地添加增量对话现象(如重启和自我纠正)创建的语料库。我们将我们的模型与最先进的检索模型MemN 2N进行比较。我们发现,在语义准确性方面,MemN 2N对bAbI+转换的鲁棒性非常差,即使在完整的bAbI数据集上进行训练也是如此。
2017-09-22 cs.CL
A Targeted Assessment of Incremental Processing in Neural LanguageModels and Humans
Harvard University(哈佛大学);MIT(麻省理工学院)
通过十六个句法测试套件对比人类与四种神经语言模型的增量处理,发现模型虽在方向上与人类一致,但系统低估了句法违例导致的处理难度差异幅度。
2023-10-25 cs.CL
Challenging Neural Dialogue Models with Natural Data: Memory Networks Fail on Incremental Phenomena
Heriot-Watt University(赫瑞瓦特大学)
自然的、自发的对话是在一个词一个词的基础上逐步进行的;它包含了许多种不流利的情况,如话语/句子中的犹豫、打断和自我纠正。但是,用于对话处理的机器学习方法的训练数据通常是清理的或完全合成的,以避免这种现象。然后问题就出现了,在这种干净的数据上训练的系统如何推广到真正的自发对话,或者它们是否可以在自然发生的对话数据上训练。为了回答这个问题,我们创建了一个名为bAbI+的新语料库,通过系统地将自然的自发增量对话现象(如重新启动和自我纠正)添加到Facebook AI Research的bAbI对话数据集。然后,我们在这个更自然的数据集上探索了最先进的检索模型MemN 2N的性能。结果表明,MemN 2N模型的语义准确性急剧下降;虽然它在原则上能够学习处理bAbI+中的结构,但它需要不切实际的训练数据来完成。最后,我们继续表明,增量,语义解析器- DyLan -显示100%的语义准确率bAbI和bAbI+,突出语言学上知情的对话模型的泛化属性。
2017-09-22 cs.CL
N-gram Prediction and Word Difference Representations for Language Modeling
Handong Global University(韩东国际大学)
本文针对因果语言建模中下一词预测过度关注局部依赖的问题,提出N-gram预测框架和词差分表示,并通过集成未来N词预测结果提升下一词预测质量,在CLM和NMT任务上验证了其显著优势。
2024-09-05 cs.AI cs.CL
Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison
Independent Researcher(独立研究者)
本文对比自回归与掩码扩散语言模型,发现两者在训练效率、收敛速度及生成多样性上存在差异,揭示不同训练策略的最优计算方案。
2026-03-23 cs.CL
Multipath parsing in the brain
University of Georgia(佐治亚大学);Google DeepMind(谷歌DeepMind);University of Cape Town(开普敦大学)
本文通过将增量依存解析器的句法意外性与fMRI数据关联,在英汉双语中证明人脑逐词理解时采用多路径句法解析,相关脑区为双侧颞上回。
2024-06-06 cs.CL
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University(海峡大学)
最近的工作表明,学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入,这两个任务是掩码语言模型(掩码LM)和下一句预测(NSP)。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中,我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解,并且来自NSP任务的信息被传输到掩蔽的LM任务。此外,我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务,其中一个需要文本级嵌入(文本蕴涵),另一个需要上下文化的单词嵌入(问答)。由于计算限制,我们使用下游任务数据而不是大型数据集进行预训练,以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明,在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation
Sun Yat-sen University(中山大学);Sinovation Ventures(创新工场)
特征词提取的目的是从评论文本中提取特征词作为情感分析的意见目标。这项任务的一大挑战是缺乏足够的注释数据。虽然数据增强可能是解决上述问题的有效技术,但它是不可控制的,因为它可能会意外地改变特征词和特征标签。在本文中,我们制定了数据增强作为一个条件生成任务:生成一个新的句子,同时保留原来的意见目标和标签。我们提出了一个掩蔽序列到序列的方法,有条件增强方面的条款提取。与现有的增强方法不同,我们的方法是可控的,允许我们生成更多样化的句子。实验结果表明,我们的方法解决了数据稀缺问题显着。它也有效地提高了性能的几个当前模型的方面的条款提取。
2020-05-01 cs.CL
Conditional BERT Contextual Augmentation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
我们提出了一种新的数据增强方法标记的句子称为条件BERT上下文增强。数据增强方法经常被应用于防止过拟合和提高深度神经网络模型的泛化能力。最近提出的上下文增强增强标记的句子随机替换的话与语言模型预测的更多样化的替代。BERT证明了深度双向语言模型比单向语言模型或前向和后向模型的浅层连接更强大。通过引入一个新的条件掩蔽语言模型\footnote{The term "conditional masked language model" appeared once in original BERT paper, which indicates context-conditional, is equivalent to term "masked language model". In our paper, "conditional masked language model" indicates we apply extra label-conditional constraint to the "masked language model".}任务,将BERT改进为条件BERT.经过良好训练的条件BERT可以应用于增强上下文增强。六个不同的文本分类任务的实验表明,我们的方法可以很容易地应用到卷积或递归神经网络分类器,以获得明显的改善。
2018-12-17 cs.AI cs.CL cs.LG
Incremental Active Opinion Learning Over a Stream of Opinionated Documents
Swedish Institute of Computer Science (SICS Swedish ICT)(瑞典计算机科学研究所(SICS瑞典信息与通信技术研究院));Ludwig-Maximilians University(路德维希-马克西米利安大学);Otto-von-Guericke University(奥托·冯·格里克大学)
从自认为的文档(如tweets或产品评论)中学习的应用程序面临两个挑战。首先,固执己见的文件构成了一个不断发展的流,其中作者的态度和词汇本身可能会发生变化。其次,文档的标签是稀缺的,单词的标签是不可靠的,因为一个词的情感取决于作者心中的(未知的)上下文。大多数关于在固执己见的流上进行挖掘的研究都集中在问题的第一个方面,而对于第二个方面,则假设流中的标签持续供应。这样的假设是乌托邦式的,因为流是无限的,标签成本是禁止的。为此,我们研究了主动流学习算法的潜力,要求标签的需求。我们提出的ACOSTREAM 1方法只适用于有限的标签:它使用标记文档的初始种子,偶尔会向人类专家请求文档的额外标签,并在利用可用标记文档的同时逐渐适应底层流。在其核心,ACOSTREAM由一个MNB分类器加上“采样”策略,为新的未标记的文档请求类标签。在实验中,我们通过改变以下参数来评估分类器随时间的性能:(a)固执己见流的类分布,同时假设词汇表中的单词集是固定的,但它们的极性可能会随着类分布而变化;以及(b)每个时刻到达的未知单词的数量,而类极性也可能会变化。我们的研究结果表明,主动学习流的意见,文件,提供了良好的性能,而需要一个小的选择标签
2015-09-03 cs.CL cs.IR cs.LG
Bootstrapping incremental dialogue systems: using linguistic knowledge to learn from minimal data
Heriot-Watt University(赫瑞-瓦特大学)
我们提出了一种方法,用于从非常少量的未注释的对话数据中诱导新的对话系统,展示了如何使用强化学习(RL),结合增量和语义语法-动态学习(DS)-允许系统发现,生成和理解许多新的对话变体。该方法避免了使用昂贵和耗时的对话行为注释,并支持比回合制系统更自然(增量)的对话。在这里,语言生成和对话管理被视为一个联合决策/优化问题,并自动构建的MDP模型RL。与实现的系统,我们表明,这种方法使广泛的对话变化被自动捕获,即使系统是从只有一个单一的对话训练。这些变体包括问答对、回答过度和回答不足、自我纠正和他人纠正、澄清互动、分裂话语和省略。这种泛化属性的结果,从结构知识和DS语法中存在的约束,并强调了最近的系统只使用机器学习技术构建的一些限制。
2016-12-01 cs.AI cs.CL cs.HC
General Framework for Reversible Data Hiding in Texts Based on Masked Language Modeling
Shanghai University(上海大学);Guangdong Provincial Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室)
随着自然语言处理技术的迅速发展,信息隐藏技术的研究重点是将秘密信息隐藏在文本中。这些算法要么修改给定的封面文本,要么直接生成包含秘密信息的文本,然而,这是不可逆的,这意味着不携带秘密信息的原始文本不能被完美地恢复,除非预先共享许多辅助信息。为了解决这个问题,本文提出了一个通用的框架来嵌入秘密信息到一个给定的封面文本,嵌入的信息和原始的封面文本可以完美地从标记的文本中检索。该方法的主要思想是利用一个带掩码的语言模型生成一个标记文本,该标记文本可以通过收集部分位置的单词来重建封面文本,而其他位置的单词则可以通过处理来提取秘密信息。实验结果表明,该算法可以成功地嵌入和提取原始的封面文本和秘密信息。实验结果表明,该方法具有较好的安全性,标记后的文本具有较好的流畅性和语义质量。此外,数据隐藏者和数据接收者不需要共享语言模型,这显著地减少了边信息,因此具有良好的应用潜力。
2022-06-21 cs.CL cs.CR
Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion
Uppsala University(乌普萨拉大学);Lund University(隆德大学)
本研究提出4.05亿参数的Stoicheia字符级掩码扩散模型,通过多维度输入设计实现古希腊语文本恢复、句法分析等任务,在三项实验中均优于对照模型,且在Ithaca测试集上显著降低字符错误率、提升Top-1准确率。
2026-08-10 cs.CL
Empirical Study of Diachronic Word Embeddings for Scarce Data
LIMSI - CNRS(法国国家科学研究中心机械与工程科学计算机实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎萨克雷大学);Société Générale(法国兴业银行)
词义的变化可以从随时间变化的词嵌入的漂移中推断出来。然而,时间数据可能太稀疏而不能构建鲁棒的词嵌入并将显著漂移与噪声区分开。在本文中,我们比较了三种模型来学习稀缺数据上的历时词嵌入:Kim et al.(2014)的Skip-Gram增量更新,Bamler和Mandt(2017)的动态过滤,以及Rudolph和Blei(2018)的动态Bernoulli嵌入。特别是,我们研究了不同的初始化方案的性能,并强调每个模型的哪些特性更适合数据稀缺,依赖于检测到的漂移的分布。最后,我们对这些模型的损失进行了正则化,以更好地适应稀缺数据。
2019-09-04 cs.CL
Data Efficient Masked Language Modeling for Vision and Language
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Ben Gurion University(本·古里安大学)
掩蔽语言建模(MLM)是视觉语言预训练的关键子任务之一。在跨模态设置中,句子中的标记被随机掩蔽,并且模型预测给定图像和文本的掩蔽标记。在本文中,我们观察到传销在这种设置的几个关键缺点。首先,由于标题往往很短,在三分之一的句子中没有标记被采样。其次,大多数被屏蔽的标记是停用词和标点符号,导致图像的利用率不足。我们研究了一系列特定于跨模态设置的替代掩蔽策略,以解决这些缺点,旨在更好地融合文本和图像的学习表示。在预训练LXMERT模型时,我们的替代掩蔽策略在三个下游任务上始终优于原始掩蔽策略,特别是在低资源设置中。此外,我们的预训练方法在设计用于引出图像对象的基于图像的探测任务上大大优于基线模型。这些结果和我们的分析表明,我们的方法可以更好地利用训练数据。
2021-09-05 cs.CL cs.CV cs.LG