LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting
University of Central Florida(中央佛罗里达大学);Anymate Me;Microsoft(微软)
本文提出 LLM-Mixer 框架,通过将多尺度时间序列分解与预训练冻结的 LLM 相结合,并辅以专门设计的文本提示,有效捕获短期波动与长期趋势,在多变量和单变量数据集上取得了优于现有模型的预测性能。
2025-06-01 cs.CL cs.LG
Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
训练语言模型从人类指令中学习zero-shot跨任务泛化已经引起了NLP社区的广泛关注。最近,指令微调(IT),微调预训练的语言模型上的大量收集的任务描述通过人工指令,已被证明是有效的指令学习看不见的任务。然而,它依赖于大量的人工标注的样本,这限制了它的推广。与标记数据不同,未标记数据通常是大量的,而且获取成本很低。在这项工作中,我们研究了如何使用未标记的数据来改进IT。我们首先从经验上探索了IT性能趋势与标记数据、指令和训练任务数量的关系。我们发现增加训练指令的数量至关重要,并且由于标记数据的稀缺,指令可能未得到充分利用。然后,我们提出了无标记数据增强指令微调(UDIT),以更好地利用IT期间的指令,通过构建伪标记的数据从无标记的纯文本。我们进行了广泛的实验,以显示UDIT的有效性,在各种情况下的任务和数据集。我们还全面分析了UDIT的关键因素,以研究如何更好地改善未标记数据的IT。该代码可在https://github.com/thu-coai/UDIT上公开获取。
2022-10-17 cs.CL
Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对思维链提示中解释差异影响下游任务准确率的问题,提出一种黑盒两阶段框架:利用留一法生成候选解释,并基于对数似然和准确率等代理指标结合银标签开发集搜索最优解释组合,有效提升了文本推理任务的提示效果。
2023-10-18 cs.CL
CLIP meets DINO for Tuning Zero-Shot Classifier using Unlabeled Image Collections
Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);The Johns Hopkins University(约翰斯·霍普金斯大学);IBM Research(IBM研究院)
本文提出无标签提示微调框架NoLA,结合DINO的视觉特征与LLM的文本知识,通过生成文本嵌入、训练对齐模块并微调CLIP视觉编码器,在11个数据集上超越LaFTer平均3.6%。
2025-04-10 cs.CL cs.CV cs.LG
When LLMs meet open-world graph learning: a new perspective for unlabeled data uncertainty
Department of Computer Science and Technology(计算机科学与技术系);Beijing Institude of Technology(北京理工大学);Ant Group(蚂蚁集团)
针对开放世界文本属性图学习中标签有限、未知类别节点处理不足及缺乏有效标注流程的问题,提出结合自适应标签可追溯性与图标注器的LLM框架OGA,经实验验证其有效且实用。
2025-05-21 cs.AI cs.LG
Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification
针对在未标注测试集上预训练可能导致基准偏向的问题,本文通过 25 个任务和 3 个模型的受控实验发现并无过度乐观证据,并建议少样本基准采用多个训练折。
2024-10-02 cs.CL cs.LG
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译(S2 ST)是翻译范式中最具挑战性的问题之一,由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据,通过应用各种声学效果,以提高S2 ST的性能所产生的合成数据。从经验上讲,我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
Document-Level $N$-ary Relation Extraction with Multiscale Representation Learning
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
大多数信息抽取方法都集中在单个句子中表达的二元关系上。然而,在高值域中,$n$元关系具有很大的需求(例如,精确肿瘤学中的药物-基因-突变相互作用)。这样的关系通常涉及在文档中相距很远的实体提及,然而现有的关于跨句子关系抽取的工作通常限于小的文本跨度(例如,连续三个句子),这严重限制了回忆。在本文中,我们提出了一种新的多尺度神经结构的文档级$n$ -ary关系抽取。我们的系统结合了在整个文档和整个子关系层次结构中的各种文本跨度上学习的表示。将系统的范围扩大到整个文档可以最大限度地提高潜在的召回率。此外,通过整合文档中的弱信号,多尺度建模提高了精度,即使在存在来自远程监督的噪声标签的情况下也是如此。生物医学机器阅读实验表明,我们的方法大大优于以前的$n$ -ary关系抽取方法。
2019-06-26 cs.CL
Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text
Chinese Academy of Social Sciences(中国社会科学院);University of Chinese Academy of Social Sciences(中国社会科学院大学);Rixin College, Tsinghua University(清华大学日新书院);Institute of Linguistics, Chinese Academy of Social Sciences(中国社会科学院语言研究所);Institute of Ethnology and Anthropology, Chinese Academy of Social Sciences(中国社会科学院民族学与人类学研究所);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
针对资源极度匮乏的西夏文分词问题,该研究结合传统词典与未标注文本,提出含可靠性校准词典格等的框架,借助TangutEncoder在分词级五折交叉验证中F1达0.911,实现了超出有限监督词汇的泛化。
2026-10-02 cs.CL
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation(微软公司)
针对预训练Transformer模型文本分类需大量标注数据的问题,提出READ方法,融合强化学习文本生成与半监督对抗学习,利用无标注数据生成多样合成文本提升泛化性,在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
The Use of Unlabeled Data versus Labeled Data for Stopping Active Learning for Text Classification
The College of New Jersey(新泽西学院)
训练数据的标注是建立文本分类系统的主要瓶颈。主动学习是减少需要标记的训练数据量的常用技术。主动学习的一个关键方面是确定何时停止标记数据。用于通知何时停止主动学习的三个潜在来源是附加的标记数据集、未标记数据集和在主动学习过程期间标记的训练数据。迄今为止,还没有人比较和对比基于这三种信息源的停止方法的优点和缺点。我们发现,使用未标记数据的停止方法比使用标记数据的方法更有效。
2019-04-22 cs.CL cs.IR cs.LG
A Semi-Supervised Approach for Low-Resourced Text Generation
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
最近,编码器-解码器神经模型在文本生成任务上取得了巨大的成功。然而,这类模型的一个问题是,它们的性能通常受到良好标记的数据的规模的限制,这是非常昂贵的。低资源(标记数据)问题在不同的任务生成任务中是很常见的,但未标记的数据通常是丰富的。本文提出了一种利用未标记数据来提高此类模型在低资源环境下的性能的方法。我们使用去噪自动编码器(DAE)和语言模型(LM)的强化学习(RL),以加强训练的编码器和解码器与未标记的数据。我们的方法表现出不同的文本生成任务的适应性,并作出了显着的改进,基本的文本生成模型。
2019-06-03 cs.CL
Domain-Adaptive Text Classification with Structured Knowledge from Unlabeled Data
Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);Sun Yat-sen University(中山大学)
领域自适应文本分类对于大规模预训练语言模型来说是一个具有挑战性的问题,因为它们通常需要昂贵的额外标记数据来适应新的领域。现有的作品通常无法利用跨域词之间的隐含关系。在本文中,我们提出了一种新的方法,称为领域自适应与结构化知识(DASK),提高领域自适应,利用词级语义关系。DASK首先构建一个知识图谱,以捕获目标领域中的枢轴术语(领域独立词)和非枢轴术语之间的关系。然后在训练过程中,DASK将相关的知识图谱信息注入到源领域文本中。对于下游任务,这些知识注入的文本被馈送到能够处理知识注入的文本数据的BERT变体中。由于知识注入,我们的模型根据非枢轴与枢轴的关系学习非枢轴的域不变特征。DASK通过在使用伪标签进行训练期间通过候选枢轴的极性得分动态推断来确保枢轴具有域不变行为。我们在广泛的跨域情感分类任务上验证了DASK,并观察到20个不同域对的绝对性能比基线提高了高达2.9%。代码将在https://github.com/hikaru-nara/DASK上提供。
2022-06-20 cs.CL
DECSELFMASK: Leveraging Unlabeled Text via Self-Relevance-Guided Masking for Decoder-Only Classification
Fondazione Bruno Kessler, Trento, Italy(布鲁诺·凯斯勒基金会,特伦托,意大利);University of Padova, Italy(帕多瓦大学,意大利)
提出DecSelfMask方法,利用相关性归因引导掩码策略从无标签数据创建自监督训练样本,通过下一词预测重构掩码部分,提升仅解码器模型在分类任务上的性能,在136个临床任务上平均Macro F1提升19.9点。
2026-09-02 cs.CL
FastClass: A Time-Efficient Approach to Weakly-Supervised Text Classification
Jilin University(吉林大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
弱监督文本分类的目的是训练分类器只使用类描述和未标记的数据。最近的研究表明,关键字驱动的方法可以在各种任务上实现最先进的性能。然而,这些方法不仅依赖于精心制作的类描述来获得类特定的关键字,而且还需要大量的未标记的数据,并需要很长的时间来训练。本文提出了FastClass,一种有效的弱监督分类方法。它使用密集文本表示从外部未标记的语料库中检索类相关文档,并选择一个最佳子集来训练分类器。与关键字驱动的方法相比,我们的方法不太依赖于初始类描述,因为它不再需要将每个类描述扩展为一组特定于类的关键字。在广泛的分类任务上的实验表明,该方法在分类精度方面经常优于关键字驱动模型,并且通常具有数量级更快的训练速度。
2022-12-15 cs.CL
Noised Consistency Training for Text Summarization
神经抽象摘要方法通常需要大量带标签的训练数据。然而,标记大量的摘要数据往往是禁止的,由于时间,财务和专业知识的限制,这限制了摘要系统的实用性,以实际应用。在本文中,我们认为,这种限制可以克服半监督的方法:一致性训练,这是利用大量的未标记的数据,以提高性能的监督学习在一个小的语料库。一致性正则化半监督学习可以将模型预测正则化为对应用于输入文章的小噪声不变。通过添加噪声未标记语料库来帮助正则化一致性训练,该框架在不使用完整数据集的情况下获得了比较性能。特别是,我们已经验证了利用大量未标记的数据可以体面地提高监督学习在标记数据集不足的情况下的性能。
2022-02-08 cs.CL
Constraint Multi-class Positive and Unlabeled Learning for Distantly Supervised Named Entity Recognition
University of Science and Technology of China(中国科学技术大学);School of Management(管理学院);School of Data Science(数据科学学院)
本文提出约束多类正样本与无标签学习(CMPU)方法,通过在风险估计器中引入约束因子缓解远程监督命名实体识别中的假阴性问题,并在两个基准数据集上验证了其优于现有方法的性能。
2025-04-07 cs.CL
Label Sleuth: From Unlabeled Text to a Classifier in a Few Hours
IBM Research(IBM研究院);University of Notre Dame(圣母大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Apple(苹果公司)
文本分类在许多现实场景中都很有用,为最终用户节省了大量时间。然而,构建自定义分类器通常需要编码技能和ML知识,这对许多潜在用户构成了重大障碍。为了消除这一障碍,我们引入了Label Sleuth,一个用于标记和创建文本分类器的免费开源系统。该系统的独特之处在于:(a)是一个无代码系统,使非专家可以访问NLP,(b)引导用户完成整个标记过程,直到他们获得自定义分类器,使该过程高效-从冷启动到分类器只需几个小时,以及(c)开放供开发人员配置和扩展。通过开源Label Sleuth,我们希望建立一个用户和开发人员社区,以扩大NLP模型的使用。
2022-10-31 cs.CL cs.HC
Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction
Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学);National University of Singapore(新加坡国立大学)
关系抽取是从文本中抽取实体关系以构建知识图谱的关键步骤,但它通常存在长尾问题。训练数据主要集中在少数几类关系上,导致对其余类型的关系缺乏足够的注释。本文提出了一种从未标记文本中学习关系原型的通用方法,通过在有足够训练数据的情况下,从关系类型中转移知识,从而实现长尾关系抽取。关系原型是实体间的一个隐含因素,它反映了关系的意义以及它们之间的接近程度,适用于迁移学习。具体来说,我们从文本中构建一个共现图,并捕获一阶和二阶实体近似用于嵌入学习。在此基础上,我们进一步优化了实体对到相应原型的距离,这可以很容易地适应几乎任意的RE框架。因此,通过实体对和大规模文本信息的语义近似关系,学习不常见或甚至看不见的关系类型将受益于此。我们在两个公开数据集上进行了广泛的实验:纽约时报和Google Distant Supervision。与八个最先进的基线相比,我们提出的模型实现了显著的改进(平均4.1%F1)。长尾关系的进一步结果证明了学习关系原型的有效性。我们进一步进行了消融研究,以调查不同的组件的影响,并将其应用到四个基本的关系抽取模型,以验证其泛化能力。最后,我们分析了几个例子的情况下,给出直观的印象,定性分析。我们的代码稍后会公布。
2020-11-27 cs.CL cs.LG
Semi-Supervised QA with Generative Domain-Adaptive Nets
Carnegie Mellon University(卡内基梅隆大学)
研究了半监督问答问题-利用未标记文本来提高问答模型的性能。我们提出了一个新的训练框架,生成域自适应网络。在这个框架中,我们训练一个生成模型来生成基于未标记文本的问题,并结合模型生成的问题和人工生成的问题来训练问答模型。我们开发了新的领域自适应算法,基于强化学习,以减轻模型生成的数据分布和人类生成的数据分布之间的差异。实验表明,我们提出的框架获得了显着的改善,从未标记的文本。
2017-04-22 cs.CL cs.LG
TextSETTR: Few-Shot Text Style Extraction and Tunable Targeted Restyling
University of Rochester(罗切斯特大学);Google Research(谷歌研究院);Stanford University(斯坦福大学)
我们提出了一种新的方法来解决文本风格迁移的问题。与以前的方法需要样式标记的训练数据,我们的方法利用现成的未标记的文本,依靠在相邻的句子之间的风格的隐式连接,并使用标记的数据只在推理时间。我们调整T5(Raffel等人,2020),一个强大的预训练文本到文本模型,从文本中提取样式向量,并使用它来调节解码器以执行样式传输。由于我们的无标签训练产生了一个对风格的许多方面进行编码的风格向量空间,因此我们将传输转换为“目标重新造型”向量操作,这些操作调整输入的特定属性,同时保留其他属性。我们证明,在未标记的亚马逊评论数据上进行训练,即使与完全在标记数据上训练的模型相比,也会产生一个在情感转移方面具有竞争力的模型。此外,将我们的新方法应用于未标记的Web文本的多样化语料库,导致单个模型能够沿着风格的多个维度(方言,情感,正式,礼貌,情感)进行转移,尽管没有额外的训练,并且在推理时只使用少数样本。
2021-06-23 cs.CL cs.LG
Unsupervised Neural Text Simplification
IBM Research(IBM研究院)
本文提出了第一次尝试无监督神经文本简化,只依赖于未标记的文本语料库。核心框架由一个共享的编码器和一对注意力解码器组成,并通过基于损失的鉴别和去噪来获得简化知识。该框架使用从en-Wikipedia dump收集的未标记文本进行训练。我们的分析(包括定量和定性涉及人类评估)的公共测试数据表明,该模型可以执行文本简化在词汇和句法水平,现有的监督方法的竞争力。添加一些标记对还可以进一步提高性能。
2019-08-21 cs.CL cs.LG
Exploring The Contribution of Unlabeled Data in Financial Sentiment Analysis
City University of Hong Kong(香港城市大学);USTC-CityU Joint Advanced Research Centre(中国科学技术大学-香港城市大学联合高等研究中心)
随着情感分析在各行各业的广泛应用,利用公开的Web数据进行情感分析已成为近年来文本分类领域的一个活跃的研究领域。研究人员认为,半监督学习是解决这个问题的有效方法,因为它能够减轻人工标记的努力,这通常是昂贵的和耗时的。然而,在文本分类中,对未标记数据的有效性存在长期的争论。这部分是由于理论分析中的许多假设在实践中往往不成立。我们认为,这个问题可能会进一步理解,在实验中增加一个额外的维度。这使我们能够在更广泛的视角下从偏见和差异的角度来解决这个问题。我们表明,众所周知的性能下降的问题所造成的未标记的数据可以再现为整个场景的一个子集。我们认为,如果要更好地平衡偏置方差的权衡更有效的特征选择方法,未标记的数据是很可能提高分类性能。然后,我们提出了一个特征选择框架,其中标记和未标记的训练样本都被认为是。我们讨论了它在实现这种平衡方面的潜力。此外,选择在金融情感分析中的应用是因为它不仅是一个重要的应用,而且数据具有更好的说明力。最后讨论了本研究在文本分类和金融情感分析中的应用。
2013-08-03 cs.CL cs.LG
Exploiting Unlabeled Data for Neural Grammatical Error Detection
Beihang University(北京航空航天大学);Tsinghua University(清华大学)
近年来,对非母语写作者语篇中语法错误的识别和纠正受到越来越多的关注。虽然已经建立了一些注释语料库,以促进数据驱动的语法错误检测和纠正方法,但它们在数量和覆盖范围方面仍然有限,因为人工注释是劳动密集型的,耗时的,昂贵的。在这项工作中,我们提出利用未标记的数据训练神经网络为基础的语法错误检测模型。其基本思想是将错误检测作为一个二元分类问题,并从未标记的数据中获得正面和负面的训练样本。我们引入了一个基于注意力的神经网络来捕获影响被检测单词的长距离依赖关系。实验表明,该方法的性能明显优于支持向量机和卷积网络与固定大小的上下文窗口。
2016-11-29 cs.CL
Disfluency Detection with Unlabeled Data and Small BERT Models
Google Research(谷歌研究院)
不流利检测模型现在对英语文本的准确率很高。然而,很少有探索已经做了改善的规模和推理时间的模型。与此同时,自动语音识别(ASR)模型正在从服务器端推理转向本地设备上的推理。转录管道中的支持模型(如不流利检测)必须遵循。在这项工作中,我们专注于不流利检测任务,专注于小型,快速,基于BERT架构的设备模型。我们证明,它是可能的训练不流利检测模型小到1.3 MiB,同时保持高性能。我们建立在以前的工作,显示了数据增强方法,如自我训练的好处。然后,我们评估了会话和书面文本之间的域不匹配对模型性能的影响。我们发现,领域自适应和数据增强策略对这些较小的模型有更明显的影响,相比传统的BERT模型。
2021-07-27 cs.CL
Noisy Positive-Unlabeled Learning with Self-Training for Speculative Knowledge Graph Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对真实知识图谱存在的假阴性、假阳性问题,本文将推测性推理任务建模为带噪声正样本-无标签学习问题,提出变分框架nPUGraph,通过自训练联合估计标签后验与更新模型,在多数据集上验证了有效性。
2023-06-13 cs.AI cs.CL cs.LG
Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自然语言推理(NLI)或识别文本蕴涵(RTE)的目的是预测一对句子(前提和假设)之间的关系是蕴涵、矛盾还是语义独立。尽管近年来深度学习模型在NLI方面表现出了良好的性能,但它们依赖于大规模昂贵的人工注释数据集。半监督学习(SSL)是一种流行的技术,通过利用未标记的数据进行训练来减少对人类注释的依赖。然而,尽管它在单句分类任务上取得了巨大的成功,其中使用未标记数据的挑战是分配“足够好”的伪标签,但对于NLI任务,未标记数据的性质更加复杂:数据中缺少一个句子(通常是假设)以及类标签,需要人工注释,这使得NLI的SSL更具挑战性。在本文中,我们提出了一种新的方法,将未标记的数据在SSL的NLI,我们使用一个条件语言模型,BART生成的假设为未标记的句子(用作前提)。我们的实验表明,我们的SSL框架成功地利用未标记的数据,并大大提高了四个NLI数据集在低资源设置的性能。我们在https://github.com/msadat3/SSL_for_NLI上发布代码。
2022-11-05 cs.CL
Diversity-Based Generalization for Unsupervised Text Classification under Domain Shift
George Mason University(乔治梅森大学)
领域自适应方法寻求从源域学习并将其推广到看不见的目标域。目前,用于主观文本分类问题的最先进的无监督领域自适应方法利用未标记的目标数据以及标记的源数据。在本文中,我们基于简单但有效的基于多样性的泛化思想,提出了一种用于单任务文本分类问题的领域自适应的新方法,该方法不需要未标记的目标数据,但仍然与最先进的技术相匹配。性能。多样性通过迫使模型不依赖于相同的特征进行预测,起到促进模型更好地泛化和不加选择地进行域转移的作用。我们将这一概念应用于神经网络中最容易解释的组件--注意层。为了产生足够的多样性,我们创建了一个多头注意力模型,并在注意力头之间注入多样性约束,使得每个头将以不同的方式学习。我们进一步扩展我们的模型,通过三训练和设计一个程序,在三训练分类器的注意力头之间有一个额外的多样性约束。使用亚马逊评论的标准基准数据集和新构建的危机事件数据集进行的广泛评估表明,我们的完全无监督方法与使用未标记目标数据的竞争基线相匹配。我们的研究结果表明,确保足够多样性的机器学习架构可以更好地推广;鼓励未来的研究设计无处不在的可用学习模型,而不使用未标记的目标数据。
2020-10-20 cs.CL cs.LG stat.ML
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting(RJ研究咨询公司);Baidu Inc.(百度公司);Rutgers University(罗格斯大学)
本文提出了一种新的半监督框架与卷积神经网络(CNN)的文本分类。与以前依赖于单词嵌入的方法不同,我们的方法从未标记的数据中学习小文本区域的嵌入,以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想,即使训练是在未标记的数据上完成的,也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
Uncertainty-aware Self-training for Text Classification with Few Labels
Microsoft Research AI(微软人工智能研究院)
最近大规模预训练语言模型的成功关键在于对下游任务的大量标记数据进行微调,这些数据通常是昂贵的。在这项工作中,我们研究了自我训练作为最早的半监督学习方法之一,以减少注释瓶颈,利用大规模的未标记的数据的目标任务。标准的自训练机制从未标记的池中随机采样实例,以伪标记和增强标记数据。在这项工作中,我们提出了一种方法,以提高自我训练,结合不确定性估计的基础神经网络利用贝叶斯深度学习的最新进展。具体来说,我们提出了(i)利用蒙特卡罗(MC)Dropout从未标记池中选择实例的获取函数,以及(ii)利用模型置信度进行自我训练的学习机制。作为一个应用程序,我们专注于五个基准数据集上的文本分类。我们展示了我们的方法,每个任务每个类只利用20-30个标记样本进行训练和验证,可以在3%以内执行完全监督的预训练语言模型,在数千个标记实例上进行微调,总准确率为91%,比基线提高高达12%。
2020-06-27 cs.CL cs.LG
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University(台湾大学)
从未标记的文本数据中学习连续表示已被越来越多地研究,以利于半监督学习。虽然解释离散表示相对容易,但由于训练的困难,学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN,它学习将文本编码成两个分离的表示,包括离散代码和连续噪声,其中离散代码表示可解释的主题,而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比,建议的TIGAN在六个不同的语料库上取得了优异的性能。此外,性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明,TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Lambda: Learning Matchable Prior For Entity Alignment with Unlabeled Dangling Cases
Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院)
针对未标注悬空案例的实体对齐问题,提出Lambda框架,结合KEESA编码器与iPULE算法,实现悬空检测与对齐,性能优于基线。
2024-11-09 cs.CL cs.IR
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore(迈索尔大学)
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法,直到实现期望的级别分区,使得每个分区包含单个类的标记文档。一旦获得所需的聚类,各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验,以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Relaxed Softmax for learning from Positive and Unlabeled data
Criteo Research(Criteo研究院);UPMC(巴黎第六大学)
近年来,softmax模型及其快速近似已经成为深度神经网络在处理多类预测时的事实损失函数。这种损失已经扩展到语言建模和推荐,这两个领域属于从正面和未标记数据中学习的框架。在本文中,我们强调了当前softmax损失和采样方案家族在正和未标记学习设置中应用时的不同缺点。我们提出了一个松弛的Softmax损失(RS)和一个新的负采样方案的基础上玻尔兹曼公式。我们表明,新的训练目标更适合于密度估计,项目相似性和下一个事件预测的任务,通过推动提升文本和推荐数据集对经典softmax的性能。
2019-09-17 cs.CL cs.LG stat.ML
Self-supervised Text-to-SQL Learning with Header Alignment Training
KAIST(韩国科学技术院);Kookmin Bank(国民银行)
由于我们可以在没有任何人为监督的情况下利用大量未标记的数据来训练模型并将知识转移到目标任务,因此自监督学习是深度学习最近在各个领域取得成功的事实上的组成部分。然而,在许多情况下,在自监督学习目标和任务特定目标之间存在差异。为了解决文本到SQL任务中的这种差异,我们提出了一种新颖的自监督学习框架。我们利用Text-to-SQL任务的特定属性和表内容的底层结构来训练模型,以从未标记的表数据中学习\textit{header-column}对齐任务的有用知识。我们能够将知识转移到带有注释样本的监督文本到SQL训练中,以便模型可以利用知识更好地执行\textit{header-span}对齐任务来预测SQL语句。实验结果表明,我们的自监督学习框架显着提高现有的强BERT为基础的模型,而不使用大型外部语料库的性能。特别是,我们的方法对于训练具有稀缺标记数据的模型是有效的。这项工作的源代码可以在GitHub上找到。
2021-03-11 cs.CL
Content-driven, unsupervised clustering of news articles through multiscale graph partitioning
Imperial College London(帝国理工学院)
全球各地产生的新闻和新闻内容数量激增,加上通过在线媒体广泛和即时获取信息,使得实时的监测新闻动态和舆论形成变得困难和耗时。现在越来越需要能够对原始文本进行预处理、分析和分类的工具,以提取可解释的内容;具体而言,就是确定主题和按内容对文章进行分组。我们在这里提出了这样一种方法,它将来自自然语言处理的强大向量嵌入与来自图论的工具结合在一起,这些工具利用图上的扩散动态来揭示跨尺度的自然分区。我们的框架使用最近的深度神经网络文本分析方法(Doc 2 vec)来表示矢量形式的文本,然后应用多尺度社区发现方法(马尔可夫稳定性)来划分文档矢量的相似性图。该方法允许我们以无监督的方式获得具有相似内容的文档集群,以不同的分辨率级别。我们展示了我们的方法,分析了Vox Media一年多来发表的9,000篇新闻文章的语料库。我们的研究结果表明,一致的分组的文件,根据内容,没有先验假设的数量或类型的集群被发现。多级聚类揭示了一个准层次结构的主题和子主题,提高了可理解性和改进的主题一致性相比,外部分类服务和标准的主题检测方法。
2018-08-03 cs.CL cs.IR cs.LG
Semi-supervised transfer learning for language expansion of end-to-end speech recognition models to low-resource languages
Samsung Research(三星研究院)
在本文中,我们提出了一个三阶段的训练方法,以提高低资源语言的语音识别的准确性。我们探索并提出了一种有效的技术组合,如迁移学习,编码器冻结,使用文本到语音(TTS)的数据增强和半监督学习(SSL)。为了提高低资源意大利语ASR的准确性,我们利用经过良好训练的英语模型,分别使用迁移学习,TTS增强和SSL的未标记文本语料库和未标记音频语料库。在第一阶段,我们使用来自训练有素的英语模型的迁移学习。这主要有助于从资源丰富的语言中学习声学信息。这个阶段实现了比基线降低约24%的相对字错误率(WER)。在第二阶段,我们利用未标记的文本数据,通过TTS数据增强,将语言信息纳入模型。我们还探索在这个阶段冻结声学编码器。TTS数据增强有助于我们进一步降低WER约21%。最后,在第三阶段,我们通过使用SSL从未标记的音频数据中将WER降低了另外4%。总的来说,我们的两遍语音识别系统在第一遍中具有单调组块注意力(MoChA),在第二遍中具有完全注意力,相对于基线,WER降低了约42%。
2021-11-19 cs.CL cs.SD eess.AS
Scalable Evaluation and Improvement of Document Set Expansion via Neural Positive-Unlabeled Learning
Bar Ilan University(巴伊兰大学);RIKEN(理化学研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Tokyo(东京大学)
我们考虑的情况下,用户已经收集了一个小的一组文档的内聚主题,他们希望从一个大的集合中检索更多的文档。信息检索(IR)解决方案将文档集视为查询,并在集合中查找相似的文档。我们建议通过将问题视为正未标记(PU)学习的实例来扩展IR方法-即,仅从正数据和未标记数据学习二进制分类器,其中正数据对应于查询文档,并且未标记数据是由IR引擎返回的结果。利用PU学习大型神经网络的文本是一个很大程度上未开发的领域。我们讨论了将PU学习应用于设置的各种挑战,包括未知的类先验,极不平衡的数据和模型的大规模准确评估,我们提出了解决方案并进行了经验验证。我们证明了该方法的有效性,使用一系列的实验检索PubMed摘要坚持细粒度的主题。我们展示了基础IR解决方案和其他基线的改进。
2021-01-14 cs.CL cs.LG
RecoBERT: A Catalog Language Model for Text-Based Recommendations
Microsoft(微软);Tel Aviv University(特拉维夫大学);Ariel University(Ariel大学);Bar-Ilan University(巴伊兰大学);Technion(以色列理工学院);cs.tau.ac.il(特拉维夫大学计算机科学系)
利用来自未标记文本的广泛的自我监督预训练的语言模型最近已被证明在各种语言理解任务中显着提高了最先进的性能。然而,目前还不清楚这些最新的模型是否以及如何用于进行基于文本的建议。在这项工作中,我们介绍了BERT,BERT为基础的方法学习目录专用的语言模型,基于文本的项目建议。我们提出了新的训练和推理程序对项目之间的相似性评分,不需要项目相似性标签。训练和推理技术都是为了利用文本目录的未标记结构,并最大限度地减少它们之间的差异。通过在推理过程中结合四个分数,BERBERT可以比其他技术更准确地推断基于文本的项目之间的相似性。此外,我们引入了一个新的语言理解任务的葡萄酒推荐使用相似性的基础上专业的葡萄酒评论。作为额外的贡献,我们发布了由人类葡萄酒专家制作的注释建议数据集。最后,我们评估了WEBERT,并将其与葡萄酒和时尚推荐任务中的各种最先进的NLP模型进行了比较。
2020-09-25 cs.CL cs.IR cs.LG
Mu$^{2}$SLAM: Multitask, Multilingual Speech and Language Models
Google Research(谷歌研究院);Google LLC(谷歌有限责任公司)
提出多任务多语言模型Mu$^{2}$SLAM,联合预训练语音与文本并利用监督任务对齐跨模态表示,在多语言语音翻译、识别及文本理解任务上取得显著提升。
2023-06-27 cs.CL cs.SD eess.AS