TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology(华中科技大学);Huawei(华为);Harbin Institute of Technology(哈尔滨工业大学)
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本,这使得它很难被部署到现实世界的应用中。为此,我们考虑一种很少研究但更严格的设置,即硬标签攻击,其中攻击者只能访问预测标签。特别地,我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察,我们提出了一种新的对抗攻击,称为文本硬标签攻击者(TextHacker)。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后,TextHacker采用了一种混合局部搜索算法,从攻击历史中估计单词的重要性,以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明,TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
MIDAS at SemEval-2020 Task 10: Emphasis Selection using Label Distribution Learning and Contextual Embeddings
NSIT-Delhi(德里奈塔吉苏巴斯理工学院);IIIT Delhi(德里 Indraprastha 信息技术学院);IIT Dhanbad(丹巴德印度理工学院);Bloomberg LP(彭博有限合伙企业)
本文介绍了我们提交给SemEval 2020 -任务10的书面文本中的重点选择。我们把这个重点选择问题看作是一个序列标签任务,我们用各种上下文嵌入模型来表示底层文本。我们还采用标签分布学习来解释注释者的分歧。我们对模型架构的选择、层的可训练性和不同的上下文嵌入进行了实验。我们表现最好的架构是不同模型的组合,整体匹配得分为0.783,在31个参赛团队中排名第15。最后,我们分析的结果,在词性标记,句子长度和单词排序。
2020-09-06 cs.CL
Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation
Tencent AI Lab(腾讯AI实验室);University of Notre Dame(圣母大学);University of Virginia(弗吉尼亚大学)
EVOL-RL通过结合多数稳定性与新颖性探索,实现无需标签的自我改进语言模型,提升推理能力和领域外泛化能力。
2026-10-27 cs.CL cs.LG
Intent-calibrated Self-training for Answer Selection in Open-domain Dialogues
Shandong University(山东大学);Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
针对开放域对话答案选择标注数据稀缺问题,提出ICAST自训练框架,用伪意图标签校准伪答案标签,并在低标注比例下显著提升F1性能。
2023-07-13 cs.CL
AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification
Fudan University(复旦大学);Kyoto University(京都大学);Aalto University(阿尔托大学)
极端多标签文本分类(XMTC)是大数据时代的一个重要问题,用于从超大规模的标签集中使用最相关的多个标签标记给定的文本。XMTC可以在许多应用中找到,例如项目分类、网页标记和新闻注释。传统的方法大多使用词袋(BOW)作为输入,忽略了词的上下文以及深层语义信息。最近通过深度学习克服BOW问题的尝试仍然存在以下问题:1)未能捕获每个标签的重要潜台词; 2)缺乏针对大量标签的可扩展性。我们为XMTC提出了一种新的基于标签树的深度学习模型,称为AttentionXML,具有两个独特的功能:1)以原始文本为输入的多标签注意力机制,可以捕获文本中与每个标签最相关的部分; 2)浅而宽的概率标签树(PLT),可以处理数百万个标签,特别是“尾部标签”。我们在六个基准数据集上实证比较了AttentionXML与八种最先进方法的性能,包括Amazon-3 M约300万个标签。在所有实验设置下,AttentionXML的性能优于所有竞争方法。实验结果还表明,AttentionXML在基于标签树的方法中对尾部标签的性能最好。代码和数据集可在http://github.com/yourh/AttentionXML上获得。
2019-11-04 cs.CL cs.LG
Neighborhood-Regularized Self-Training for Learning with Few Labels
Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
在有限监督下训练深度神经网络(DNN)一直是一个热门的研究课题,因为它可以显着减轻注释负担。自训练已成功应用于半监督学习任务中,但自训练的一个缺点是易受错误伪标签的标签噪声的影响。受具有相似标签的样本倾向于共享相似表示的事实的启发,我们开发了一种基于邻域的样本选择方法来解决噪声伪标签的问题。我们通过在样本选择过程中汇总不同轮次的预测来进一步稳定自我训练。八个任务的实验表明,我们提出的方法优于最强的自训练基线,文本和图形数据集的平均性能增益分别为1.83%和2.51%。我们进一步的分析表明,我们提出的数据选择策略减少了36.8%的伪标签的噪音,节省了57.3%的时间相比,最好的基线。我们的代码和附录将上传到https://github.com/ritaranx/NeST。
2023-02-15 cs.CL cs.LG
Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification
针对文本分类上下文学习中现有示例选择方法忽略标签分布对齐的问题,提出两阶段L2D选择方法,结合语义相似度与标签分布散度选示例,在7个基准上性能优于现有策略。
2025-11-10 cs.AI cs.CL cs.IR
LOPS: Learning Order Inspired Pseudo-Label Selection for Weakly Supervised Text Classification
University of California San Diego(加州大学圣地亚哥分校);Halıcıoğlu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校哈利乔格鲁数据科学研究所)
弱监督文本分类方法通常基于伪标签训练深度神经分类器。伪标签的质量对最终性能至关重要,但由于其启发式性质,它们不可避免地存在噪声,因此选择正确的伪标签具有巨大的性能提升潜力。一个简单的解决方案是基于神经分类器中对应于其伪标签的softmax概率得分来选择样本。然而,我们通过实验表明,这种解决方案是无效的和不稳定的,由于错误的高置信度的预测,从校准不良的模型。最近关于深度神经模型记忆效果的研究表明,这些模型首先记忆带有干净标签的训练样本,然后是带有噪音标签的训练样本。受此启发,我们提出了一种新的伪标签选择方法LOPS,考虑到学习顺序的样本。我们假设学习顺序反映了排名方面错误注释的概率,因此建议选择较早学习的样本。LOPS可以被视为大多数现有弱监督文本分类方法的强大性能提升插件,在四个真实世界数据集上的广泛实验中证实了这一点。
2022-10-25 cs.CL
Modeling Text-Label Alignment for Hierarchical Text Classification
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
针对层次文本分类中文本与动态标签层次对齐困难的问题,提出基于对比学习的文本-标签对齐损失及HTLA模型,结合BERT和GPTrans生成层次感知表示,在基准数据集上验证了有效性。
2024-09-01 cs.CL
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题,一些研究已经应用到策略,利用层次结构的问题,大量的类别。目前,层次文本分类(HTC)受到了广泛的关注,具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中,我们提出了一种基于分层微调有序神经元LSTM(HFT-ONLSTM)的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明,我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
Accurate Use of Label Dependency in Multi-Label Text Classification Through the Lens of Causality
Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学)
针对多标签文本分类中标签依赖被误用导致预测偏差的问题,提出反事实文本分类器(CFTC),利用因果推断消除相关性捷径,在三个数据集上显著优于基线。
2023-10-11 cs.AI cs.CL cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Causal Feature Selection with Dimension Reduction for Interpretable Text Classification
Temple University(天普大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与类别标签相关但不直接导致类别标签的文本特征有时对预测有用,但它们可能没有洞察力。作为传统的基于相关性的特征选择的替代方案,因果推理可以揭示文本特征和标签之间更有原则、更有意义的关系。为了帮助研究人员深入了解文本数据,例如社会科学应用,在本文中,我们研究了一类基于匹配的因果推理方法的文本特征选择。文档分类中使用的特征通常是高维的,然而现有的因果特征选择方法使用倾向分数匹配(PSM),这在高维空间中是无效的。本文提出了一种新的因果特征选择框架,将降维与因果推理相结合,改进了文本特征选择。在合成数据和真实数据上的实验证明了我们的方法在提高分类和增强可解释性方面的潜力。
2020-10-09 cs.CL cs.IR cs.LG
Assertion Detection in Multi-Label Clinical Text using Scope Localization
Siemens Healthineers(西门子医疗)
临床领域中的多标签语句(文本)源于对患者护理过程中场景的丰富描述。用于断言检测的最先进的方法主要通过为每个句子(文本)设置单个断言标签来解决此任务。此外,很少有基于规则的方法和深度学习方法在单标签文本上执行否定/断言范围检测。这是一个重大的挑战,扩展这些方法来解决多标签的句子,而不降低性能。因此,我们开发了一种卷积神经网络(CNN)架构,以单阶段端到端的方式定位多个标签及其范围,并证明我们的模型在多标签临床文本上的表现至少比最先进的模型好12%。
2020-05-19 cs.CL cs.CV cs.LG
Improved Sentiment Detection via Label Transfer from Monolingual to Synthetic Code-Switched Text
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
多语种作家和演讲者经常在一个语篇中交替使用两种语言,这种做法被称为“语码转换”。现有的情感检测方法通常在情感标记的单语文本上训练。手动标记的代码转换文本,特别是涉及少数民族语言的文本,是非常罕见的。因此,最好的单语方法在代码转换文本上的表现相对较差。我们提出了一种有效的技术,从标记的单语文本,这是更容易获得的标记代码转换的文本。我们的想法是取代精心挑选的子树的选区分析的句子中的资源丰富的语言与合适的令牌跨度从自动翻译到资源贫乏的语言。通过用大量的合成代码转换文本来增强稀缺的人类标记的代码转换文本,我们在三种不同的语言对(英语-印地语,英语-西班牙语和英语-孟加拉语)的情感标签准确率(1.5%,5.11%,7.20%)方面取得了显着的提高。我们还在仇恨言论检测方面获得了显着的收益:仅使用合成文本时提高了4%,如果使用真实文本进行增强,则提高了6%。
2019-06-13 cs.CL
GILE: A Generalized Input-Label Embedding for Text Classification
Idiap Research Institute(IDIAP研究所)
神经文本分类模型通常将输出标签视为缺乏描述和语义的分类变量。这迫使它们的参数化依赖于标签集的大小,因此,它们无法扩展到大型标签集并推广到不可见的标签集。现有的联合输入标签文本模型通过利用标签描述来克服这些问题,但它们无法捕获复杂的标签关系,具有严格的参数化,并且它们在看不见的标签上的增益通常是以训练期间看到的标签的弱性能为代价的。在本文中,我们提出了一个新的输入标签模型,它概括了以前的这种模型,解决了它们的局限性,并且不会影响看到的标签的性能。该模型由一个容量可控的联合非线性输入-标签嵌入和一个联合空间相关的分类单元组成,该分类单元采用交叉熵损失进行训练以优化分类性能。我们评估模型的全资源和低或零资源的多语言新闻和生物医学文本分类与一个大的标签集。我们的模型优于单语和多语言模型,不利用标签语义和以前的联合输入标签空间模型在这两种情况下。
2019-01-30 cs.CL
GUDN: A novel guide network with label reinforcement strategy for extreme multi-label text classification
Zhejiang Normal University(浙江师范大学);Stanford University(斯坦福大学)
在自然语言处理中,极端多标签文本分类是一个新兴但必不可少的任务。极端多标签文本分类(XMTC)的问题是从一个非常大的标签集中召回一些最相关的标签。大规模的预训练模型为这个问题带来了新的趋势。虽然大规模的预训练模型在这个问题上取得了显著的成就,但有价值的微调方法还有待研究。虽然XMTC中引入了标签语义,但文本和标签之间的巨大语义鸿沟尚未得到足够的重视。本文建立了一个新的指导网络(GUDN),以帮助微调预训练模型,以指导以后的分类。此外,GUDN使用原始标签语义结合一个有用的标签加固策略,有效地探索文本和标签之间的潜在空间,缩小语义差距,这可以进一步提高预测精度。实验结果表明,GUDN在Eurlex-4k上的性能优于最先进的方法,并且在其他流行的数据集上具有竞争力的结果。在另一个实验中,我们研究了输入长度对基于transformer的模型准确性的影响。我们的源代码发布在https://t.hk.uy/aFSH上。
2022-11-21 cs.CL
Selection Shapes the Boundary: A Replication of Monotonicity and Label Agreement in Unselected NLI Populations
University of Bremen(不来梅大学)
研究自然语言推理中人类标签变异,预注册复制未选群体中单调性和标签一致性边界,原负边界预测失败,新结果显示为正,表明原负边界或为低一致性选择结构,相关主张应明确选择条件。
2026-11-03 cs.CL
Label Semantic Aware Pre-training for Few-shot Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon Web Services AI Labs(亚马逊云服务人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
在文本分类任务中,有用的信息被编码在标签名称中。标签语义感知系统已经利用这些信息在微调和预测期间提高了文本分类性能。然而,在预训练过程中使用标签语义还没有得到广泛的探讨。因此,我们提出标签语义感知预训练(LSAP),以提高文本分类系统的泛化和数据效率。LSAP通过对来自各种领域的标记句子进行二次预训练,将标签语义纳入预训练的生成模型(在我们的案例中为T5)。由于一般领域的预训练需要大量的数据,我们开发了一个过滤和标记管道,可以从未标记的文本中自动创建标记-标签对。我们对意图(ATIS,Snips,TOPv 2)和主题分类(AG News,Yahoo!答案)。LSAP在Few-Shot文本分类的最新模型上获得了显着的准确性改进,同时在高资源设置中保持与最新技术相当的性能。
2022-05-29 cs.CL
Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification
Sunshine Insurance Group Corporation Limited(阳光保险集团股份有限公司);Tsinghua University(清华大学)
本文提出一种标签依赖感知的集合预测网络,利用图卷积网络建模标签相关性,并引入Bhattacharyya距离提升召回,在多标签文本分类任务上优于现有基线。
2024-03-14 cs.CL
Arabic Language Text Classification Using Dependency Syntax-Based Feature Selection
我们研究了阿拉伯语文本分类的性能结合各种技术:(a)TFIDF与依赖语法,特征选择和加权;(b)类关联规则与支持向量机,分类。阿拉伯语文本有两种形式:词根化和词干浅化。我们得到的结果表明,轻干文本导致更好的性能比routifed文本,类关联规则更适合于小的依赖语法约束获得的特征集,最后,支持向量机更适合于大的特征集的基础上形态特征选择标准。
2014-10-17 cs.CL
Logit Separability-Driven Samples and Multiple Class-Related Words Selection for Advancing In-Context Learning
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院)
本文提出LICL方法,通过logit可分性优化样本与标签选择,并整合多个类相关词,显著提升ICL在分类任务中的性能。
2024-10-15 cs.CL
Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Cloud Xiaowei(腾讯云小微)
在多标签文本分类(MLTC)中,每个给定的文档都与一组相关的标签相关联。为了捕获标签相关性,以前的分类器链和序列到序列模型将MLTC转换为序列预测任务。然而,它们往往遭受标签顺序依赖性,标签组合过拟合和错误传播问题。为了解决这些问题,我们引入了一种新的多任务学习方法来增强标签相关性反馈。我们首先利用联合嵌入(JE)机制,同时获得文本和标签表示。在MLTC任务中,采用文档-标签交叉注意(CA)机制来生成更具区分力的文档表示。此外,我们还提出了两个辅助标签共现预测任务来增强标签相关性学习:1)成对标签共现预测(PLCP)和2)条件标签共现预测(CLCP)。在AAPD和RCV 1-V2数据集上的实验结果表明,该方法的性能大大优于竞争基线。我们分析了低频标签性能,标签依赖性,标签组合多样性和覆盖速度,以显示我们提出的方法对标签相关性学习的有效性。
2021-06-06 cs.CL
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Ingenuity Labs Research Institute & ECE, Queen’s University(女王大学创新实验室研究所与电子与计算机工程系);Amazon.com Inc(亚马逊公司)
利用标签层次结构已成为解决zero-shot多标签文本分类问题的一种很有前途的方法。传统的方法旨在学习文本和标签之间的匹配模型,使用图形编码器来合并标签层次结构以获得有效的标签表示\cite{rios2018few}。最近,像BERT \cite{devlin2018bert}这样的预训练模型已被用于将分类任务转换为文本蕴涵任务\cite{yin-etal-2019-benchmarking}。这种方法自然适合于M-MTC任务。然而,在现有的工作中,预训练的模型没有得到充分的研究,因为它们不会为文本或标签生成单独的矢量表示,因此将它们与传统的图形编码方法相结合是不直观的。在本文中,我们探索如何改进带有标签层次结构的预训练模型。我们提出了一个加强标签层次推理(RLHR)的方法,以鼓励在训练过程中的层次结构中的标签之间的相互依赖性。同时,为了克服平面预测的弱点,我们设计了一个回滚算法,可以在推理过程中删除预测中的逻辑错误。在三个真实数据集上的实验结果表明,我们的方法取得了更好的性能,并优于以前的非预训练的方法在机器学习MTC任务。
2021-04-04 cs.CL
LiGCN: Label-interpretable Graph Convolutional Networks for Multi-label Text Classification
Yale University(耶鲁大学);Trinity College Dublin(都柏林圣三一学院);Barcelona Supercomputing Center(巴塞罗那超级计算中心);University of Tokyo(东京大学);University College Dublin(都柏林大学)
多标签文本分类(MLTC)是自然语言处理(NLP)中一个极具吸引力和挑战性的研究课题。与单标签文本分类相比,MLTC在实际中有着更广泛的应用。在本文中,我们提出了一个标签可解释的图卷积网络模型来解决MLTC问题,通过建模令牌和标签的节点在一个异构的图。通过这种方式,我们能够考虑多种关系,包括令牌级关系。此外,该模型允许更好的可解释性预测的标签作为标记标签的边缘被暴露。我们在四个真实世界的数据集上评估了我们的方法,它与选定的基线方法相比取得了有竞争力的分数。具体而言,该模型在小标签集MLTC中实现了0.14的F1得分增益,在大标签集场景中实现了0.07的F1得分增益。
2022-05-22 cs.CL
Label-Wise Document Pre-Training for Multi-Label Text Classification
Center of Intelligence Science and Technology, Beijing University of Posts and Telecommunications(北京邮电大学智能科学与技术中心)
多标签文本分类(MLTC)的一个主要挑战是刺激性地利用可能的标签差异和标签相关性。在本文中,我们通过开发Label-Wise Pre-Training(LW-PT)方法来解决这一挑战,以获得具有标签感知信息的文档表示。其基本思想是,多标签文档可以表示为多个标签表示的组合,并且相关标签总是在相同或相似的文档中共存。LW-PT通过构建标签式文档分类任务和训练标签式文档编码器来实现这一思想。最后,预训练的标签式编码器通过下游MLTC任务进行微调。大量的实验结果表明,该方法具有显着的优势,比以前的国家的最先进的模型,能够发现合理的标签关系。该代码的发布是为了方便其他研究人员。
2020-08-15 cs.CL
Does a Hybrid Neural Network based Feature Selection Model Improve Text Classification?
IIIT-Hyderabad(海得拉巴国际信息技术学院)
文本分类是自然语言处理领域的一个基本问题。文本分类主要集中在对有助于分类文本数据的所有相关特征给予更多的重视。除此之外,文本可能具有冗余或高度相关的特征。这些特征增加了分类算法的复杂性。因此,许多降维方法被提出来与传统的机器学习分类器。将降维方法与机器学习分类器结合使用,取得了较好的效果。在本文中,我们提出了一种混合特征选择方法,通过结合各种基于过滤器的特征选择方法和快速文本分类器获得相关的功能。然后,我们提出了三种实现特征选择和神经网络管道的方法。我们观察到,当特征选择方法与神经网络一起使用时,训练时间减少。我们还观察到一些数据集的准确性略有提高。
2021-01-22 cs.CL
Efficient Data Selection for Domain Adaptation of ASR Using Pseudo-Labels and Multi-Stage Filtering
Idiap Research Institute(Idiap研究机构);Uniphore Systems(Uniphore系统);EPFL(瑞士联邦理工学院);University of Zurich(苏黎世大学);Brno University(布拉格大学)
针对标注与算力有限的机构微调ASR模型的难题,提出结合多策略的伪标签过滤方法,可将训练数据大幅缩减至原规模1.4%且保持相近识别性能。
2025-06-04 cs.CL cs.SD eess.AS
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications(北京邮电大学)
层次多标签学术文本分类(HMTC)是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法(AHMCA),该算法综合了文本、关键词和层次结构等特征,将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联,以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics(上海财经大学)
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前,忽略了标签文本中包含的暗示性信息。事实上,人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构,通过连体的BERT和名为IDEA(Interactive DoublE Attentions)的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息,这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法,具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Label prompt for multi-label text classification
Jilin University(吉林大学)
多标签文本分类的关键问题之一是如何利用标签之间的相关性。然而,在复杂和未知的标签空间中直接建模标签之间的相关性是非常具有挑战性的。受语言模型完形填空题思想的启发,本文提出了一种标签掩码多标签文本分类模型(LM-MTC)。LM-MTC能够通过预训练语言模型的强大能力来捕获标签之间的隐式关系。在此基础上,我们为每个潜在的标签分配不同的标记,并以一定的概率随机屏蔽标记,以建立基于标签的屏蔽语言模型(MLM)。我们将MTC和MLM一起进行训练,进一步提高了模型的泛化能力。在多个数据集上的大量实验证明了该方法的有效性。
2023-03-15 cs.AI cs.CL
Multimodal Consistency-Guided Reference-Free Data Selection for ASR Accent Adaptation
School of Computer Science and Technology(计算机科学与技术学院);Xinjiang University(新疆大学)
本文提出一种多模态一致性引导的参考自由数据选择方法,用于提升ASR在口音适应中的性能,通过减少噪声伪标签和优化查询相关性,实现更高效的口音适应。
2026-02-03 cs.CL cs.SD eess.AS
Cost-efficient Crowdsourcing for Span-based Sequence Labeling: Worker Selection and Data Augmentation
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);Department of Computer Science, The University of California, Davis(加州大学戴维斯分校计算机科学系)
本文提出一种基于CMAB的众包工作者选择算法及SES数据增强方法,有效应对序列标注中的标签依赖问题,在提升F1分数的同时大幅降低成本,并可无缝集成至RLHF系统。
2024-07-27 cs.AI cs.CL
One Size Does Not Fit All: Exploring Variable Thresholds for Distance-Based Multi-Label Text Classification
University of Antwerp (CLiPS)(安特卫普大学(CLiPS));Textgain
针对多标签文本分类中单一阈值不适用问题,提出利用验证集优化标签特定阈值的新方法,显著优于固定阈值和统一阈值方法。
2025-10-13 cs.AI cs.CL
LUMI: Unsupervised Intent Clustering with Multiple Pseudo-Labels
Leiden University(莱顿大学);Radboud University(拉德堡德大学)
LUMI通过多伪标签提升文本相似性,实现无监督意图聚类,优于现有方法并避免聚类数量估计需求。
2026-02-25 cs.CL cs.IR