LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中,只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架,其中测试样本首先被分配伪标签,然后用于训练神经文本分类器。在大多数以前的工作中,伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME,弱监督文本分类的框架,完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现,将弱监督分类和文本蕴涵相结合可以减轻两者的缺点,从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型,LIME在弱监督文本分类中的表现优于最近的基线,并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Variational Weakly Supervised Sentiment Analysis with Posterior Regularization
HKUST(香港科技大学)
情感分析是自然语言处理中的一项重要任务。大多数现有的最先进的方法是在监督学习范式下。然而,人类注释可能是稀缺的。因此,我们应该利用更弱的监管进行情感分析。在本文中,我们提出了一个后验正则化框架的变分方法的弱监督情感分析,以更好地控制后验分布的标签分配。后验正则化背后的直觉是,如果从两个文档中提取的意见词在语义上相似,则两个文档的后验分布应该相似。我们的实验结果表明,后验正则化可以改善原来的变分方法的弱监督情感分析和性能更稳定,更小的预测方差。
2021-04-18 cs.AI cs.CL
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
无数据文本分类,即,弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词(称为种子词)进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验,然而,这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题,在本文中,我们提出了一种新的制定类别先验。首先,对于每个文件,我们认为它的标签隶属度,不仅计算种子词的出现,但也使用一种新的原型计划,它捕获伪最近邻类别。其次,对于每个标签,我们考虑其语料库的频率先验知识,这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中,我们提出了一种新的生成式无数据方法,即弱监督原型主题模型(WSPTM)。在真实数据集上的实验结果表明,WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
On-Device Constrained Self-Supervised Speech Representation Learning for Keyword Spotting via Knowledge Distillation
University of Edinburgh(爱丁堡大学);Amazon(亚马逊);Zoom Video Communications, Inc.(祖姆视频通信公司)
本文提出基于知识蒸馏的设备端自监督语音表示学习架构,通过师生框架和双视图互相关蒸馏,在资源受限条件下实现高效关键词识别。
2023-07-06 cs.CL cs.SD eess.AS
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
尽管上下文化语言模型最近在各种NLP任务上取得了成功,但语言模型本身无法捕获长的多句子文档的文本连贯性(例如,a段)。人类在说话之前,经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本,本质上称为规划过程。模型在哪里可以学习这种高层次的一致性?文章提出了一个新的段落补全任务PARCOM,即预测段落中的隐藏句。然而,任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题,我们提出了一个自我监督的文本规划器SSPlanner,它首先预测要说什么(内容预测),然后使用预测的内容指导预训练的语言模型(表面实现)。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现,名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字,总体生成质量也提高。
2020-10-11 cs.CL
Recognizing Explicit and Implicit Hate Speech Using a Weakly Supervised Two-path Bootstrapping Approach
Texas A&M University(得克萨斯农工大学);Stanford University(斯坦福大学)
在两极分化的选举之后,社交媒体充斥着仇恨的内容。为了解决监督仇恨语音分类方法的各种局限性,包括语料库偏见和巨大的注释成本,我们提出了一种弱监督的双路径自举方法,利用大规模未标记数据的在线仇恨语音检测模型。该系统明显优于使用手动注释数据以监督方式训练的仇恨言论检测系统。将该模型应用于选举前、选举后和选举日收集的大量推文,揭示了煽动性语言的动机和模式。
2018-05-22 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp(安特卫普大学);TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务,使用弱监督的方法继续工作。我们研究了使用再训练技术的优点,该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入:(1)基于条件随机场和基于记忆的学习的判别序列标记器和(2)概率上下文无关文法归纳。实验结果表明,这种设置可以显着提高F分数,而不需要额外的信息源。此外,定性分析表明,弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Bangla Key2Text: Text Generation from Keywords for a Low Resource Language
Ahsanullah University of Science and Technology(阿萨努拉大学科学与技术学院);University of California - Riverside(加州大学河滨分校)
本文提出Bangla Key2Text数据集,用于低资源语言的关键词驱动文本生成。通过BERT基模型提取关键词,生成260万对孟加拉语关键词-文本对,评估mT5和BanglaT5模型,显示任务特定微调显著提升生成效果。
2026-04-21 cs.CL
Improving Event Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学);HKUST(香港科技大学);Paradigm. Inc.(第四范式公司)
文本中描述的事件的表示对于各种任务都很重要。在这项工作中,我们提出了SWCC:同时弱监督对比学习和聚类框架的事件表示学习。SWCC通过更好地利用事件的共现信息来学习事件表示。具体来说,我们引入了一个弱监督的对比学习方法,使我们能够考虑多个积极和多个消极的,和一个基于原型的聚类方法,避免语义相关的事件被拉开。对于模型训练,SWCC通过同时执行弱监督对比学习和基于原型的聚类来学习表示。实验结果表明,SWCC在硬相似性和传递性句子相似性任务上优于其他基线。此外,对基于原型的聚类方法的深入分析表明,学习的原型向量能够隐式地捕获事件之间的各种关系。
2022-03-15 cs.CL
A Weakly Supervised Approach to Train Temporal Relation Classifiers and Acquire Regular Event Pairs Simultaneously
Texas A&M University(德克萨斯A&M大学)
检测两个事件之间的时间关系的能力可以使许多应用受益。大多数现有的时间关系分类器是在监督的方式进行训练。相反,我们探索的观察,规则事件对显示一致的时间关系,尽管他们的各种上下文,这些丰富的上下文可以用来训练上下文时间关系分类器,它可以进一步识别新的时间关系上下文,并确定新的规则事件对。我们专注于检测前后的时间关系,并设计了一个弱监督学习方法,提取数以千计的定期事件对,同时学习上下文的时间关系分类器。评价结果表明,获取的规则事件对质量较高,包含丰富的常识知识和领域知识。此外,弱监督训练的时间关系分类器实现了与最先进的监督系统相当的性能。
2017-07-28 cs.CL
A Weakly Supervised Classifier and Dataset of White Supremacist Language
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
针对在线白人至上主义极端言论检测问题,提出弱监督分类器与数据集,利用白人至上主义文本与中立、反种族主义文本配对训练,提升跨领域泛化能力并缓解模型偏见。
2023-06-27 cs.CL
Towards localisation of keywords in speech using weak supervision
Stellenbosch University(斯泰伦博斯大学)
弱监督和自监督模型的发展可以使语音技术在低资源环境中,完全transmittance不可用。我们考虑是否关键字本地化是可能的,使用两种形式的弱监督的位置信息没有明确提供。在第一种情况下,仅指示单词的存在或不存在,即词袋(BoW)标记。在第二种情况下,视觉上下文以与未标记的话语配对的图像的形式提供;然后需要使用配对的数据以自监督的方式训练模型。对于关键字本地化,我们采用了通常用于视觉领域的基于显着性的方法。我们将其与现有的技术进行比较,该技术将本地化作为网络架构的一部分。虽然基于显着性的方法更灵活(它可以在没有架构限制的情况下应用),但我们在使用它进行关键字本地化时发现了一个关键限制。在这两种形式的监督中,视觉训练模型的表现比BoW训练模型差。我们定性地表明,视觉训练模型有时会定位语义相关的单词,但这并不一致。虽然我们的研究结果表明,有一些信号允许本地化,但它也要求其他本地化方法更好地匹配这些形式的弱监管。
2020-12-14 cs.CL eess.AS
Enhancing Few-shot Keyword Spotting Performance through Pre-Trained Self-supervised Speech Models
Department of Electrical Eng., Bogazici University(电气工程系,博雅大学);Analog Devices(安森美半导体)
提出利用预训练自监督模型(Wav2Vec 2.0)进行特征提取与知识蒸馏,结合注意力降维和轻量级ResNet15学生模型,显著提升少样本关键词识别准确率,在GSC数据集上10样本分类准确率从33.4%提升至74.1%。
2025-10-08 cs.CL cs.SD eess.AS
Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages
New York University(纽约大学);Siteimprove;University of Copenhagen(哥本哈根大学)
用于低资源语言的词性(POS)标记器,其完全基于各种形式的弱监督-例如,跨语言迁移、类型级监督或其组合-已经被报告执行得几乎与监督的一样好。然而,弱监督的POS标记器通常只在与真正的低资源语言非常不同的语言上进行评估,并且标记器使用信息源,如高覆盖率和几乎无错误的字典,这可能不适用于资源贫乏的语言。我们训练和评估国家的最先进的弱监督POS标记的类型多样的15个真正的低资源的语言。在这些语言上,给定现实的资源量,即使是我们最好的模型也只能正确识别不到一半的单词。我们的研究结果强调了需要新的和不同的方法来真正的低资源语言的词性标注。
2020-04-28 cs.CL
SEKE: Specialised Experts for Keyword Extraction
Jožef Stefan Institute(乔泽夫·斯蒂芬研究所)
本文提出 SEKE,一种基于混合专家技术的监督式关键词提取方法,通过将 DeBERTa 与 BiLSTM 集成,使专家专注于每个 token,在多个英文数据集上取得最先进性能,并增强了模型的可解释性。
2025-10-10 cs.AI cs.CL
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock(阿肯色大学小石城分校);Infosys Ltd.(印孚瑟斯有限公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院);National University of Singapore(新加坡国立大学)
关键词提取是自然语言处理中的一项基本任务,它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中,我们提出了一种无监督的技术,使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集,该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的,包括短摘要(Inspec)和长科学论文(SemEval 2010),并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Exploring Representation Learning for Small-Footprint Keyword Spotting
Xiaomi(小米)
在本文中,我们研究表示学习的低资源关键字发现(KWS)。KWS的主要挑战是有限的标记数据和有限的可用设备资源。为了解决这些问题,我们通过自监督对比学习和预训练模型的自训练,探索了知识系统的表示学习。首先,局部-全局对比连体网络(LGCSiam)的目的是学习类似的话语级表示类似的音频采样器提出的局部-全局对比损失,而不需要地面真理。其次,应用自监督预训练的Wav 2 Vec 2.0模型作为约束模块(WVC)来强制KWS模型学习帧级声学表示。通过LGCSiam和WVC模块,可以使用未标记的数据对所提出的小足迹KWS模型进行预训练。语音命令数据集上的实验表明,自训练WVC模块和自监督LGCSiam模块显着提高了准确率,尤其是在小标记数据集上训练的情况下。
2023-03-20 cs.CL cs.LG cs.SD
Dictionary-Assisted Supervised Contrastive Learning
New York University(纽约大学)
社会科学中的文本分析通常涉及使用专业词典来推理抽象概念,例如对经济的看法或社交媒体上的滥用。这些词典允许研究人员传授领域知识,并记录与感兴趣的概念相关的单词的微妙用法。我们引入了词典辅助监督对比学习(DASCL)目标,允许研究人员在微调预训练的语言模型时利用专门的词典。首先对文本进行关键字简化:一个通用的固定标记替换语料库中出现在词典中与感兴趣的概念相关的任何单词。在微调过程中,有监督的对比目标使同一类的原始文本和关键词简化文本的嵌入更接近,同时使不同类的嵌入进一步分开。同一个类的关键字简化文本在文本上比它们的原始文本更相似,这额外地将同一个类的嵌入更紧密地结合在一起。与单独使用交叉熵和替代对比和数据增强方法相比,组合DASCL和交叉熵提高了少样本学习设置和社会科学应用中的分类性能指标。
2022-10-27 cs.CL cs.LG
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA(美国西门子医疗解决方案公司)
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示,在紧凑的欧几里得空间中保持它们的相似性。然而,这些空间的尺寸并没有提供任何明确的解释。在这项研究中,我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明,该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此,它们的行为类似于字典特征,同时具有连续值输出的优点。此外,这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外,相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中,我们已经证明,使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性,通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Detection of Conspiracy Theories Beyond Keyword Bias in German-Language Telegram Using Large Language Models
HTW Berlin(柏林应用科学大学)
本研究利用大语言模型检测德语Telegram中的阴谋论,比较监督微调与提示方法,在无关键词偏差的数据集上达到约0.8的F1分数,并验证了模型对时间偏移的适应性。
2024-04-27 cs.AI cs.CL cs.SI
Multi-task Voice Activated Framework using Self-supervised Learning
Qualcomm Technologies(高通技术公司)
wav 2 vec 2.0等自监督学习方法在从未标记和未转录的语音数据中学习语音表示方面显示出了有希望的结果,这对于语音识别很有用。由于这些表示是在没有任何特定任务监督的情况下学习的,因此它们也可以用于其他语音激活任务,如说话人验证,关键字定位,情感分类等。在我们的工作中,我们提出了一个通用框架,用于适应不同语音激活任务的预训练wav2vec 2.0模型。我们开发了下游网络架构,该架构在wav2vec 2.0的上下文化语音表示上操作,以适应解决给定任务的表示。最后,我们扩展了我们的框架,以执行多任务学习,通过共同优化网络参数的多个语音激活的任务,使用共享的Transformer骨干。我们的单任务和多任务框架都在说话人验证和关键字定位基准测试中取得了最先进的结果。当在VoxCeleb2和VoxCeleb1上训练时,我们的最佳性能模型在VoxCeleb1测试集上分别达到1.98%和3.15%的EER,在Google Speech Commands v1.0关键字定位数据集上达到98.23%的准确率。
2022-03-19 cs.CL cs.SD eess.AS
Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
NTT Corporation(日本NTT公司);Kyoto University(京都大学);Graduate School of Informatics(信息学研究生院)
针对弱监督ASR中的噪声标签和领域不匹配问题,提出基于字符错误率过滤和声学相似性选择的训练方法,在9万小时日语数据上实现6.4%和4.0%的CER降低。
2026-06-27 cs.CL eess.AS
Weakly Supervised Grammatical Error Correction using Iterative Decoding
Google AI(谷歌人工智能)
我们描述了一种语法错误纠正(GEC)方法,该方法可以有效地利用在大量弱监督双文本上训练的模型。我们训练的Transformer序列到序列模型的维基百科修订的4 B令牌,并采用迭代解码策略,是专为松散监督性质的维基百科训练语料库。在Lang-8语料库上进行微调和集成,在CoNLL'14基准测试中得到58.3的F0.5,在JFLEG上得到62.4的GLEU。弱监督训练和迭代解码的组合即使不使用任何标记的GEC数据也在CoNLL'14上获得48.2的F0.5。
2018-10-31 cs.CL cs.LG stat.ML
Munsit at NADI 2025 Shared Task 2: Pushing the Boundaries of Multidialectal Arabic ASR with Weakly Supervised Pretraining and Continual Supervised Fine-tuning
CNTXT AI Abu Dhabi(CNTXT AI阿布扎比)
针对阿拉伯语低资源多方言ASR挑战,提出结合弱监督预训练与持续监督微调的可扩展流程,在多方言阿拉伯语ASR挑战赛中取得第一名。
2025-08-12 cs.AI cs.CL
WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems
Flipkart(Flipkart公司);IIT Bombay(印度理工学院孟买分校);Quadeye(Quadeye公司);IBM India Research Lab(IBM印度研究实验室)
针对数学应用题求解需全量方程标注成本高的问题,提出仅用最终答案监督的弱监督模型WARM,先学生成方程再训练求解器,性能优于现有弱监督方法,还发布多语言数据集并拓展半监督版本。
2023-06-13 cs.CL cs.LG
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs(亚马逊云科技人工智能实验室)
由于联合优化文本检测和识别组件的好处,文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离,这两个任务需要精确的注释。我们介绍TextTranSpotter(TTS),一种基于transformer的文本识别方法和第一个文本识别框架,它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示,并使用基于匈牙利损失的新型损失函数,我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练,我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时,TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University(上海交通大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加州大学伯克利分校)
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难,我们开发了一个多模态对齐框架(MAF),以利用更广泛可用的标题图像数据集,然后可以用作弱监督的形式。我们首先提出的算法,利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标,我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明,与现有的弱监督方法相比,该方法有显着的改进。在视觉感知语言表示的帮助下,我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究,以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Weakly Supervised Multi-Embeddings Learning of Acoustic Models
ENS(巴黎高等师范学院);EHESS(社会科学高等研究院);CNRS(法国国家科学研究中心)
我们用语音数据集上的多任务相同/不同信息训练了一个连体网络,发现可以在不损失性能的情况下为两个任务共享一个网络。第一个任务是区分两个相同或不同的单词,第二个任务是区分两个相同或不同的说话者。
2015-04-20 cs.CL cs.LG cs.SD
Large scale weakly and semi-supervised learning for low-resource video ASR
Facebook AI(Facebook人工智能实验室)
为了克服建立高质量语音识别系统的标记成本,已经研究了许多半监督和弱监督方法。在低资源条件下转录社交媒体视频的挑战性任务中,我们一方面对两种自标记方法进行了大规模的系统比较,另一方面使用上下文元数据进行了弱监督预训练。我们调查蒸馏方法在帧级和序列级的混合,编码器仅CTC为基础的,编码器-解码器语音识别系统的荷兰语和罗马尼亚语,分别使用27,000和58,000小时的未标记的音频。尽管所有方法都将各自的基线WER提高了8%以上,但与最强的数据增强监督基线相比,编码器-解码器模型的序列级蒸馏提供了20%的最大相对WER降低。
2020-08-07 cs.CL cs.SD eess.AS
Attention-Based Keyword Localisation in Speech using Visual Grounding
Stellenbosch University(斯泰伦博斯大学)
基于视觉的语音模型从与语音字幕配对的图像中学习。通过使用具有固定词汇表的经训练的视觉分类器来标记具有软文本标签的图像,先前的工作已经表明,可以训练可以检测特定文本关键字是否出现在语音话语中的模型。在这里,我们调查是否视觉接地语音模型也可以做关键字本地化:预测,在话语中,一个给定的文本关键字出现没有任何明确的基于文本或对齐监督。我们特别考虑将注意力纳入卷积模型是否有利于定位。虽然视觉监督模型的绝对本地化性能仍然是适度的(相比使用无序的词袋文本标签进行监督),我们表明,注意力提供了一个很大的增益性能比以前的视觉接地模型。在许多其他的语音图像研究中,我们发现,许多不正确的定位是由于语义混乱,例如,定位单词“仰泳”的查询关键字“游泳”。
2021-06-23 cs.CL cs.SD eess.AS
Weakly-Supervised Deep Learning for Domain Invariant Sentiment Classification
Indian Institute of Technology Gandhinagar(甘地纳加尔印度理工学院);Indian Institute of Technology Kharagpur(克勒格布尔印度理工学院)
学习一个能够很好地适应任何目标域(不同于源域)的情感分类模型的任务是一个具有挑战性的问题。大多数现有的方法都集中在通过在训练期间利用源数据和目标数据来学习公共表示。在本文中,我们介绍了一个两阶段的训练过程,该过程利用弱监督数据集来开发简单的基于提升和移位的预测模型,而无需在训练阶段暴露于目标域。实验结果表明,从源域到各种目标域的弱监督转移提供的性能非常接近于通过目标域本身的监督训练获得的性能。
2019-11-23 cs.CL cs.IR cs.LG