Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
Why Low-Resource NLP Needs More Than Cross-Lingual Transfer: Lessons Learned from Luxembourgish
SnT, University of Luxembourg（卢森堡大学SnT学院）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
本文探讨了低资源语言处理中跨语言迁移与语言特定努力的互补性，指出两者需结合以构建可持续的NLP流程。
2026-05-11 cs.AI cs.CL
Ultra-Fine Entity Typing
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们引入了一个新的实体类型任务：给定一个提到实体的句子，目标是预测一组自由形式的短语（例如摩天大楼，词曲作者或犯罪分子），这些短语描述了目标实体的适当类型。这种表述方式允许我们在大范围内使用一种新型的远距离监督：中心词，它表明它们出现在名词短语中的类型。我们表明，这些超细类型可以众包，并引入新的评估集，比现有的基准更加多样化和细粒度。我们提出了一个可以预测开放类型的模型，并使用多任务目标进行训练，该目标将我们的新头词监督与实体链接的先前监督相结合。实验结果表明，我们的模型在不同粒度下预测实体类型是有效的;它在现有的细粒度实体类型基准上达到了最先进的性能，并为我们新引入的数据集设置了基线。我们的数据和模型可从以下网站下载：http://nlp.cs.washington.edu/entity_type
2018-07-13 cs.AI cs.CL cs.LG
Preconditioned Visual Language Inference with Weak Supervision
Harvey Mudd College（哈维穆德学院）；Indian Institute of Technology（印度理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Southern California（南加州大学）
本文提出 PVLIR 任务，利用三种弱监督策略构建学习资源并建立人工验证测试集，评估并揭示 SOTA VLM 在前置条件常识推理上的不足。
2023-05-22 cs.AI cs.CL cs.CV
Sentiment Tagging with Partial Labels using Modular Architectures
Purdue University（普渡大学）
许多NLP学习任务可以分解为几个不同的子任务，每个子任务与部分标签相关联。在本文中，我们专注于一类流行的学习问题，序列预测应用于几个情感分析任务，并提出了一个模块化的学习方法，其中不同的子任务学习使用单独的功能模块，结合起来执行最终的任务，同时共享信息。我们的实验表明，这种方法有助于约束学习过程，并可以减轻一些监督工作。
2019-06-04 cs.CL cs.LG
Graphs of Research: Citation Evolution Graphs as Supervision for Research Idea Generation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）
本文提出GoR方法，通过提取种子论文的2跳引用邻域，构建引用演化有向无环图，利用结构化文本提示训练LLM生成研究想法，实验表明其在想法生成任务中优于基线模型。
2026-05-14 cs.AI cs.CL
Comparing BERT against traditional machine learning text classification
本文通过多场景实验比较 BERT 与基于 TF-IDF 的传统机器学习文本分类，证明 BERT 性能更优且不受文本语言等特征影响，支持其作为 NLP 默认方法。
2021-01-12 cs.CL cs.LG stat.ML
Ensemble Diversity Optimization for Subjective Supervision
School of Computing and Mathematics, Manchester Metropolitan University（曼彻斯特城市大学计算与数学学院）；School of Computer Science, Hubei University（湖北大学计算机科学学院）
研究针对主观NLP任务中注释者分歧问题，提出集成多样性优化（EDO）框架，通过统一目标联合优化集成权重等，经Gumbel-Softmax学习集成组成与大小，用有符号多样性正则化器防止集成崩溃，实验证明该方法有效提升概率校准，是模拟人类主观性的有效模型无关方法。
2026-07-10 cs.CL cs.LG
BioELX: Context-Aware Cross-lingual Biomedical Entity Linking without Task-Specific Supervision
University of Stuttgart, Germany（斯图加特大学）；Technical University of Berlin, Germany（柏林技术大学）
提出BioELX两阶段框架，通过维基数据多语言别名增强SapBERT检索器，并利用预训练LLM排序器进行上下文感知消歧，无需标注数据即在多个基准上取得最佳性能。
2026-09-03 cs.AI cs.CL
Combatting Human Trafficking in the Cyberspace: A Natural Language Processing-Based Methodology to Analyze the Language in Online Advertisements
本项目针对在线C2C市场中的人口贩卖问题，提出一种基于NLP的新方法，通过生成伪标签数据集并利用Transformer模型进行风险预测和有组织活动检测，同时引入Integrated Gradients可解释性框架，为执法提供可扩展的机器学习解决方案。
2023-11-22 cs.AI cs.CL cs.CY
COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks
IRIT, Université Paul-Sabatier（保罗-萨巴蒂埃大学 图卢兹计算机科学研究所）；IRT Saint-Exupéry（圣埃克苏佩里技术研究所）；Brown University（布朗大学）；SNCF（法国国家铁路公司）；IMT, Université Paul-Sabatier（保罗-萨巴蒂埃大学 图卢兹数学研究所）
COCKATIEL是一种基于概念的事后模型无关XAI技术，利用NMF和敏感性分析从Transformer模型末层生成忠实解释，在情感分析任务中无需监督即可发现与人类一致的概念。
2023-05-14 cs.CL stat.ML
The Annotation Bottleneck in Persian Text NLP: Persian as an Annotation-Scarce Language
本文提出波斯语是标注稀缺而非单纯低资源语言，通过三项定量交叉验证分析其34种文本资源，发现标注稀缺源于任务领域覆盖不均等问题，而非整体标注量不足。
2026-08-26 cs.CL
The Divergence Hypothesis: Unmasking Lexical Interference and Label Bias in Mental Health NLP
Doha Institute for Graduate Studies（多哈高等研究院）
该研究提出TSS诊断框架与DoD统计量，揭示心理健康NLP分类器的词汇干扰与标签偏差，可标记特定标签源的捷径学习，为相关模型审计提供支撑。
2026-08-24 cs.AI cs.CL
Structure-Preserving Document-Level Data Augmentation via Discourse Parsing
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳技术大学）
该研究针对现有数据增强忽略语篇结构的问题，提出基于LLMs和语篇解析的结构保留型文档级数据增强框架，在文本摘要和问答任务中提升了混合数据训练效果。
2026-10-15 cs.AI cs.CL
Classification of Radiological Text in Small and Imbalanced Datasets in a Non-English Language
Rigshospitalet（哥本哈根大学医院（ Rigshospitalet））；Medical University of Innsbruck（因斯布鲁克医科大学）；Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
针对丹麦语放射学报告小样本不平衡数据，比较类BERT、SetFit和LLM模型，发现领域预训练的类BERT表现最佳，但均不足以实现无监督分类，仅可用于辅助数据过滤以减少人工标注。
2024-09-30 cs.AI cs.CL
Representations Shape Weak-to-Strong Generalization: Theoretical Insights and Empirical Predictions
University of California, Los Angeles（加州大学洛杉矶分校）
本研究通过理论分析揭示弱到强泛化可由弱强模型内部表示主成分导出的核表征，并提出无需标签的度量以预测性能趋势，在分子预测和52个LLM的NLP任务中得到验证。
2025-06-17 cs.AI cs.LG
Learning from Explanations with Neural Execution Tree
Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）；Snap Research（Snap研究院）
虽然深度神经网络在一系列NLP任务上取得了令人印象深刻的性能，但这些数据饥渴的模型严重依赖于标记数据，这限制了它们在数据注释昂贵的场景中的应用。自然语言（NL）解释已经被证明是非常有用的附加监督，它可以提供足够的领域知识，用于在新实例上生成更多的标记数据，而注释时间仅增加一倍。然而，直接将它们应用于增强模型学习遇到了两个挑战：（1）NL解释是非结构化的，本质上是组合的，这需要一个模块化的模型来表示其语义;（2）NL解释通常具有大量的语言变体，导致召回率低，泛化能力有限。在本文中，我们提出了一种新的神经执行树（NExT）框架，以增加训练数据的文本分类使用NL解释。通过语义解析将NL解释转换为可执行的逻辑形式后，NExT将逻辑形式指定的不同类型的动作概括为标记数据实例，从而大大增加了每个NL解释的覆盖范围。两个NLP任务（关系抽取和情感分析）的实验表明，该方法优于基线方法。其扩展到多跳问答实现了性能增益与轻注释的努力。
2020-02-14 cs.CL
Utilizing Weak Supervision To Generate Indonesian Conservation Dataset
本文利用弱监督和标注函数从保护新闻文本构建印尼语NLP数据集，涵盖多类与情感分类，并用预训练模型进行基线实验，公开数据集与标注函数以促进研究。
2023-10-24 cs.CL
CausalBERT: Injecting Causal Knowledge Into Pre-trained Models with Minimal Supervision
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
最近的工作已经成功地将预训练的模型（如BERT）整合到NLP系统中。然而，现有的预训练模型缺乏因果知识，这阻碍了今天的NLP系统像人类一样思考。在本文中，我们研究了将因果知识注入到预训练模型中的问题。有两个基本问题：1）如何从非结构化文本中收集各种粒度的因果对; 2）如何有效地将因果知识注入预先训练的模型。为了解决这些问题，我们从以前的研究中扩展了CauseBERT的思想，并在各种数据集上进行实验以评估其有效性。此外，我们采用了一种基于正则化的方法，在注入因果知识的同时，用一个额外的正则化项来保留已经学习到的知识。在7个数据集上进行的广泛实验，包括4个因果对分类任务、2个因果QA任务和1个因果推理任务，证明了CauseBERT捕获了丰富的因果知识，优于所有基于预训练模型的最先进方法，实现了新的因果推理基准。
2021-08-08 cs.CL
Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach
Georgia Institute of Technology（佐治亚理工学院）
微调预训练语言模型（LM）在许多自然语言处理（NLP）任务中取得了巨大的成功，但在微调阶段仍然需要大量的标记数据。我们研究了仅使用弱监督而不使用任何标记数据来微调预训练LM的问题。这个问题是具有挑战性的，因为LM的高容量使得它们容易过拟合由弱监督生成的噪声标签。为了解决这个问题，我们开发了一个对比的自我训练框架，COSINE，使微调LM与弱监督。在对比正则化和基于置信度的重新加权的基础上，这种对比自训练框架可以逐步改善模型拟合，同时有效地抑制误差传播。在序列、标记和句子对分类任务上的实验表明，该模型在6个任务的7个基准测试中大幅优于最强基线，并在全监督微调方法下取得了有竞争力的性能。
2021-03-31 cs.CL cs.LG
Extracting Lifestyle Factors for Alzheimer's Disease from Clinical Notes Using Deep Learning with Weak Supervision
University of Minnesota（明尼苏达大学）；Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）
由于阿尔茨海默病（AD）没有有效的治疗方法，因此通过改变生活方式和干预措施进行预防变得更加重要。分析AD患者的电子健康记录（EHR）可以帮助我们更好地了解生活方式对AD的影响。然而，生活方式信息通常存储在临床叙述中。因此，该研究的目的是证明自然语言处理（NLP）模型对生活方式因素（例如，体力活动和过度饮食）。我们通过使用基于规则的NLP算法自动生成训练数据的标签。我们对预训练的双向编码器表示从Transformers（BERT）模型进行弱监督弱标记的训练语料库。这些模型包括BERT基础模型、PubMed BERT（摘要+全文）、PubMed BERT（仅摘要）、统一医学语言系统（UMLS）BERT、生物BERT和生物临床BERT。我们进行了两个案例研究：体力活动和过度饮食，以验证BERT模型在分类AD的生活方式因素中的有效性。这些模型进行了比较，在发达的黄金标准语料库（GSC）的两个案例研究。PubmedBERT（Abs）模型在体力活动方面表现最好，其精确度、召回率和F-1得分分别为0.96、0.96和0.96。关于对过度饮食进行分类，Bio BERT模型表现出最高的性能，具有完美的精确度、召回率和F-1分数。所提出的利用弱监督的方法可以显著增加样本量，这是训练深度学习模型所必需的。该研究还证明了BERT模型从临床记录中提取阿尔茨海默病生活方式因素的有效性。
2021-01-25 cs.CL cs.IR
MultiVerS: Improving scientific claim verification with weak supervision and full-document context
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
科学声明验证任务要求NLP系统标记支持或反驳输入声明的科学文档，并选择证明每个预测标签的证据句子（或理由）。在这项工作中，我们提出了MultiVerS，它预测了一个事实检查标签，并确定了理由，在一个多任务的方式的基础上共享编码的索赔和完整的文档上下文。这种方法实现了两个关键的建模目标。首先，它确保所有相关的上下文信息都被纳入每个标签决策。其次，它使模型能够从用文档级事实检查标签注释的实例中学习，但缺乏文档级的基本原理。这使得MultiVerS能够通过对使用高精度语法标记的科学文档进行训练来执行弱监督领域自适应。我们的方法在三个科学声明验证数据集上优于两个竞争基线，在零/Few-Shot领域自适应实验中表现特别出色。我们的代码和数据可在www.example.com上获得。
2022-05-09 cs.AI cs.CL
Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
OpenAI
该研究针对超人类模型难以被人类可靠监督的对齐难题，提出弱到强泛化现象，通过实验验证弱模型监督可使强模型表现优于监督者，还发现辅助置信度损失等方法能提升该泛化效果，为超人类模型对齐研究提供了实证可行的方向。
2023-12-14 cs.CL
Rare Disease Identification from Clinical Notes with Ontologies and Weak Supervision
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Health Data Research UK（英国健康数据研究所）
由于可用于机器学习的病例很少，并且需要临床专家进行数据注释，因此使用自然语言处理（NLP）从临床笔记中识别罕见疾病具有挑战性。我们提出了一种使用本体和弱监督的方法。该方法包括两个步骤：（i）文本到UMLS，将文本提及链接到统一医学语言系统（UMLS）中的概念，使用命名实体链接工具（例如SemEHR）和基于自定义规则和基于上下文表示的双向编码器表示（Transformers（BERT））的弱监督，以及（ii）UMLS到ORDO，将UMLS概念与孤儿罕见病本体（ORDO）中的罕见病匹配。使用MIMIC-III美国重症监护出院摘要作为案例研究，我们表明，文本到UMLS过程可以大大改善与弱监督，没有任何注释的数据，从领域专家。我们的分析表明，整个管道处理出院摘要可以显示罕见病病例，这些病例大多未在入院的手动ICD代码中捕获。
2021-07-29 cs.CL
STENCIL: Submodular Mutual Information Based Weak Supervision for Cold-Start Active Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对NLP领域主动学习在类别不平衡冷启动场景下的稀有类优化难题，提出基于子模互信息与文本样例的STENCIL弱监督方法，可显著提升整体准确率与稀有类F-1分数。
2024-07-12 cs.CL cs.LG
Language Model Self-improvement by Reinforcement Learning Contemplation
Nanjing University（南京大学）
提出无监督方法SIRLC，让LLM同时作为学生生成答案和教师评估打分，通过强化学习最大化评估分数来更新参数，无需外部标签即有效提升多种NLP任务性能。
2023-05-23 cs.CL cs.LG
Generalization of Medical Large Language Models through Cross-Domain Weak Supervision
University of Padua（帕多瓦大学）
提出ICFT框架，结合课程学习、双阶段记忆协调和参数高效微调，提升医疗LLMs的生成与泛化能力，在多任务中优于基线方法。
2025-02-02 cs.CL
Meta Self-Refinement for Robust Learning with Weak Supervision
Saarland University（萨尔大学）；Cornell University（康奈尔大学）
针对弱监督下深度神经网络易过拟合标签噪声、自训练框架误差传播严重的问题，提出元自精炼（MSR）框架，通过元梯度下降迭代优化教师模型伪标签，在8个NLP基准上准确率、F1值最高分别提升11.4%、9.26%。
2023-04-30 cs.CL
Instruction Tuning for Story Understanding and Generation with Weak Supervision
Singapore Institute of Management（新加坡管理学院）
提出“Weak to Strong Instruction Tuning”方法，通过使用不同清晰度的指令微调LLMs，显著提升了故事理解与生成的性能，在自动和人工评估中均优于现有技术。
2025-01-26 cs.CL
Neural Ranking Models with Weak Supervision
University of Amsterdam（阿姆斯特丹大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
尽管无监督深度神经网络在计算机视觉和NLP任务中取得了令人印象深刻的改进，但在信息检索的排名中尚未观察到这种改进。原因可能是排序问题的复杂性，因为当没有监督信号可用时，如何从查询和文档中学习并不明显。因此，在本文中，我们提出使用弱监督来训练神经排名模型，其中自动获得标签而无需人工注释器或任何外部资源（例如，点击数据）。为此，我们使用无监督排名模型（如BM 25）的输出作为弱监督信号。我们进一步训练一组简单而有效的排名模型的基础上前馈神经网络。我们研究了它们在各种学习场景（逐点和成对模型）下的有效性，并使用不同的输入表示（即，从将查询-文档对编码成密集/稀疏向量到使用词嵌入表示）。我们使用数以千万计的训练实例来训练我们的网络，并在两个标准集合上对其进行评估：同质新闻集合（Robust）和异构大规模Web集合（Cocktail Web）。我们的实验表明，采用适当的目标函数，让网络学习基于弱监督数据的输入表示，可以带来令人印象深刻的性能，在Robust和Cocktail Web集合上，与BM 25模型相比，MAP提高了13%和35%以上。我们的研究结果还表明，监督神经排名模型可以从大量弱标记数据的预训练中受益匪浅，这些数据可以很容易地从无监督IR模型中获得。
2017-05-29 cs.CL cs.IR cs.LG
Debate Helps Weak-to-Strong Generalization
Tongyi Lab（通义实验室）
本文结合可扩展监督与弱到强泛化，通过辩论让弱模型从强模型提取可信信息，并用集成弱模型提升监督稳健性，实验证明该方法能改善对齐。
2025-01-21 cs.AI cs.CL
Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education
University of Virginia（弗吉尼亚大学）；Curry School of Education, University of Virginia（弗吉尼亚大学柯里教育学院）；James Madison University（詹姆斯麦迪逊大学）
应用于会话代理开发的自然语言处理（NLP）组件的机器学习技术显示出有希望的结果，以提高会话代理可以提供的反馈的准确性和质量。开发特定于教育场景的对话代理所需的工作非常耗时，因为它需要领域专家对课堂视频等嘈杂数据源进行标记和注释。以前的注释建模方法依赖于标记数千个示例并计算注释者之间的一致性和多数投票，以便对必要的场景进行建模。这种方法虽然被证明是成功的，但忽略了标注数据点的个体注释者的优势，并且没有充分利用那些没有多数投票支持标注的示例。我们建议使用多任务弱监督方法结合主动学习来解决这些问题。这种方法比传统方法需要更少的标记，并且在精度，效率和时间要求方面比多数投票方法有显着提高（Ratner 2019）。我们证明了这种方法在谷歌拼图数据集的有效性，然后提出了一个方案，应用这种方法使用教学质量评估（IQA）来定义标签的类别。我们建议使用概率建模的注释器标记生成主动学习的例子，以进一步标记的数据。主动学习能够迭代地提高原始分类模型的训练性能和准确性。这种方法结合了最先进的弱监督和主动学习的标记技术，以优化教育领域的结果，并可进一步用于通过迁移学习减少教育领域内扩展场景的数据要求。
2020-10-23 cs.CL cs.CY cs.LG
