A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出利用小型语言模型提供软标签并筛选高价值训练样本，以提升大型语言模型预训练效率与质量，并通过统计框架和 Pile 实验验证其有效性。
2024-10-24 cs.CL cs.LG
Leveraging Large Language Models for Building Interpretable Rule-Based Data-to-Text Systems
Poznan University of Technology（波兹南理工大学）；Charles University（查理大学）
提出利用大型语言模型自动构建纯Python的、完全可解释的基于规则的数据到文本系统，在WebNLG上以更少幻觉和更高效率超越直接生成及微调模型。
2025-02-28 cs.AI cs.CL
Guiding Through Complexity: What Makes Good Supervision for Hard Math Reasoning Tasks?
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文探究弱教师模型如何有效监督LLM完成困难数学推理任务，发现高错误率的困难任务监督优于完美但简单的子任务监督，并揭示步骤级错误率是关键因素，补充子任务监督可进一步提升性能。
2025-02-25 cs.CL cs.LG
Weakly Supervised Veracity Classification with LLM-Predicted Credibility Signals
The University of Sheffield（谢菲尔德大学）
本文提出Pastel，一种利用LLM提取可信度信号并弱监督预测内容真实性的方法，在四个数据集上显著优于零样本检测，并接近监督式最先进系统的性能。
2024-11-04 cs.AI cs.CL cs.LG
VideoJudge: Bootstrapping Enables Scalable Supervision of MLLM-as-a-Judge for Video Understanding
Carnegie Mellon University（卡内基梅隆大学）
本文提出VideoJudge，一种基于生成器-评估器自举训练的3B/7B多模态LLM评估器，用于视频理解输出评估，在多数基准上超越更大模型，并证明视频输入对评估的关键性。
2025-09-25 cs.CL cs.CV
Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification
University of Chicago（芝加哥大学）；Fırat University（费拉特大学）
研究土耳其语多词表达分类，对比监督基线（BERTurk）与指令微调LLM在零样本、单样本和少样本提示下的表现，发现提示敏感性和演示偏差影响显著。
2026-06-05 cs.AI cs.CL
Utilizing Weak Supervision To Generate Indonesian Conservation Dataset
本文利用弱监督和标注函数从保护新闻文本构建印尼语NLP数据集，涵盖多类与情感分类，并用预训练模型进行基线实验，公开数据集与标注函数以促进研究。
2023-10-24 cs.CL
Unveiling the Potential of Knowledge-Prompted ChatGPT for Enhancing Drug Trafficking Detection on Social Media
West Virginia University（西弗吉尼亚大学）；University of Notre Dame（圣母大学）
本文首次系统研究利用ChatGPT等大语言模型检测社交媒体毒品贩运，提出知识知情提示框架和蒙特卡洛dropout提示优化方法，检测准确率较基线模型提升近12%，有效应对毒贩的欺骗性语言和委婉语。
2023-07-07 cs.AI cs.CL cs.SI
Code Execution as Grounded Supervision for LLM Reasoning
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）
针对可靠 CoT 监督难以获取的问题，本文利用程序执行的确定性提取可验证推理轨迹并转换为自然语言 CoT，从而提升 LLM 的跨任务推理能力并减少推理 token。
2025-10-17 cs.AI cs.CL
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation
Google Research（谷歌研究院）
在过去的几年里，在低资源神经机器翻译（NMT）中出现了两个有前途的研究方向。第一个重点是利用高资源语言，通过多语言NMT来提高低资源语言的质量。第二个方向采用具有自我监督的单语数据来预训练翻译模型，然后对少量监督数据进行微调。在这项工作中，我们加入了这两条研究路线，并证明了多语言NMT中自我监督的单语数据的有效性。我们提供三大成果：（i）使用单语数据可以显著提高多语言模型中低资源语言的翻译质量。(ii)自我监督提高了多语言模型中的zero-shot翻译质量。(iii)利用具有自我监督的单语数据为向多语言模型添加新语言提供了一条可行的途径，在没有任何并行数据或反向翻译的情况下，在ro-en翻译上获得多达33个BLEU。
2020-05-11 cs.CL cs.LG
Leveraging Large Language Models for Entity Matching
National Taiwan University of Science & Technology（台湾科技大学）
该愿景论文探讨了利用GPT-4等大型语言模型（LLMs）的先进语义理解能力解决实体匹配（EM）任务，分析了其优势与挑战，并回顾了LLMs如何增强弱监督和无监督方法及未来研究方向。
2024-05-31 cs.AI cs.CL
MergeDistill: Merging Pre-trained Language Models using Distillation
Google Research（谷歌研究院）
预训练的多语言语言模型（LM）在跨语言迁移方面取得了最先进的结果，但由于容量有限、预训练数据偏斜以及次优词汇表，它们通常导致语言的不公平表示。这促使创建了一个不断增长的预训练模型宇宙，其中每个模型都是在大量语言或特定领域数据的基础上进行训练的，这些数据具有精心策划的语言信息词汇。然而，这样做会使我们回到原点，并阻止人们利用多种语文的好处。为了解决频谱两端的差距，我们提出了MergeDistill，这是一个框架，可以使用任务不可知的知识蒸馏，以最小的依赖性最好地利用其资产的方式合并预先训练的LM。我们证明了我们的框架在实际环境中的适用性，利用预先存在的教师LM和培训学生LM，表现有竞争力，甚至优于教师LM训练的几个数量级的数据和固定的模型容量。我们还强调了教师选择的重要性及其对学生模型表现的影响。
2021-06-05 cs.CL
Dissecting Logical Reasoning in LLMs: A Fine-Grained Evaluation and Supervision Study
University of Notre Dame（诺丁汉大学）；MBZUAI（马克斯·普朗克人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）；INRIA（法国国家信息与自动化研究所）
提出FineLogic细粒度评估框架，从准确率、逐步合理性和表示探测三维度分析微调监督格式对LLM逻辑推理的影响，发现自然语言监督利于泛化，符号监督利于结构严谨性。
2025-10-09 cs.AI cs.CL cs.LO
AlphaMath Almost Zero: Process Supervision without Process
Tongyi Lab（通义实验室）
本文提出AlphaMath框架，通过结合蒙特卡洛树搜索（MCTS）和价值模型，无需人类或GPT-4的过程标注即可自动生成过程监督和步骤级评估信号，并采用步骤级束搜索策略提升推理效率，在数学推理任务上取得与最先进方法相当或更优的表现。
2024-09-27 cs.AI cs.CL
PSPU: Enhanced Positive and Unlabeled Learning by Leveraging Pseudo Supervision
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；Rongcheer Co., Ltd（融车科技有限公司）
针对PU学习因数据分布不一致导致的风险估计过拟合问题，提出伪监督PU学习框架PSPU，通过伪监督修正模型权重并加入一致性损失降噪，在多个数据集上性能优于现有方法且在工业异常检测任务表现出色。
2024-07-09 cs.CV cs.LG
Leveraging User-Triggered Supervision in Contextual Bandits
Google Research（谷歌研究院）
我们研究上下文强盗（CB）的问题，用户有时可以在给定的上下文中的最佳行动作出回应。例如，在文本预测或自动完成设置中出现这样的交互，其中简单地忽略差的建议，并且用户输入所需的文本。至关重要的是，这种额外的反馈仅在一部分上下文上由用户触发。我们开发了一个新的框架来利用这些信号，同时对它们的偏见性质保持稳健。我们还增加了标准的CB算法，以利用信号，并显示改进的遗憾保证所产生的算法在各种条件下的有益性和偏见固有的这种反馈。
2023-02-07 cs.LG stat.ML
Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision
University of Washington（华盛顿大学）；Waseda University（早稻田大学）
程序化弱监督（PWS）已经成为一种广泛的范式，以有效地综合训练标签。PWS的核心组成部分是标签模型，它通过聚合抽象为标签函数（LF）的多个噪声监督源的输出来推断真实标签。现有的统计标签模型通常只依赖于LF的输出，在对底层生成过程建模时忽略了实例特征。在本文中，我们试图通过建议的FABLE将实例特征纳入统计标签模型。特别是，它建立在贝叶斯标签模型的混合物上，每个模型对应于一个全局相关模式，并且混合成分的系数由基于实例特征的高斯过程分类器预测。我们采用一种基于辅助变量的变分推理算法来解决高斯过程和贝叶斯标签模型之间的非共轭问题。对11个基准数据集的广泛实证比较显示，FABLE在9个基线上实现了最高的平均性能。
2022-10-09 cs.LG stat.ME stat.ML
Leveraging Generative Adversarial Networks for Addressing Data Imbalance in Financial Market Supervision
New York University（纽约大学）；University of Southern California（南加州大学）；Columbia University（哥伦比亚大学）；Rice University（莱斯大学）
本研究提出利用生成对抗网络（GAN）生成合成数据以平衡金融市场数据集，显著提升了模型对市场操纵等少数高风险事件的预测准确性，优于传统采样方法。
2024-12-04 cs.LG q-fin.CP
MKA: Leveraging Cross-Lingual Consensus for Model Abstention
本工作提出一种多语言流水线，利用LLM的跨语言共识来校准模型置信度，使其在不确定时弃权（不执行），显著提升了多语言环境下的准确率。
2025-03-31 cs.CL cs.LG
Leveraging in-domain supervision for unsupervised image-to-image translation tasks via multi-stream generators
Tel-Aviv University（特拉维夫大学）
图像到图像翻译（I2I）任务的监督很难实现，但对结果质量有重要影响。在本文中，我们观察到，对于许多无监督I2I（UI2I）场景，一个域比另一个更熟悉，并提供域内先验知识，如语义分割。我们认为，对于复杂的场景，弄清楚的语义结构的域是很难的，特别是没有监督，但一个成功的I2I操作的重要组成部分。因此，我们介绍了两种技术，将这一宝贵的领域内的先验知识的翻译质量的好处：通过一个新的多流生成器架构，并通过一个语义分割为基础的正则化损失项。从本质上讲，我们建议根据语义掩码分割输入数据，明确引导网络对图像的不同区域采取不同的行为。此外，我们建议在翻译任务中训练一个语义分割网络，并利用此输出作为损失项，以提高鲁棒性。我们在城市数据上验证了我们的方法，在将白天图像转换为夜间图像的具有挑战性的UI2I任务中展示了卓越的质量。此外，我们还演示了如何用我们的增强图像增强目标数据集，以改进下游任务的训练，例如经典的检测任务。
2021-12-30 cs.AI cs.CV cs.LG
Leveraging Multi-Source Weak Social Supervision for Early Detection of Fake News
Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）
社交媒体极大地使人们能够以前所未有的速度参与在线活动。然而，这种不受限制的访问也加剧了网上错误信息和假新闻的传播，除非及早发现，否则可能会造成混乱和混乱。鉴于新闻事件的快速发展性质和有限的注释数据，最先进的假新闻检测系统面临着挑战，因为缺乏大量的注释训练实例，这些实例很难用于早期检测。在这项工作中，我们利用来自用户和内容参与（称为弱社会监督）的不同来源的多个弱信号，以及它们的互补实用程序来检测假新闻。我们共同利用有限的干净数据以及来自社交活动的弱信号，在元学习框架中训练深度神经网络，以估计不同弱实例的质量。在真实世界数据集上的实验表明，该框架在预测时不使用任何用户参与的情况下，在早期检测假新闻方面优于最先进的基线。
2020-04-03 cs.LG cs.SI stat.ML
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
研究在大规模视觉-语言-动作模型中，通过将离线监督纳入强化学习，结合离线与在线训练优点，提升训练效率。经实验验证，该混合方法在保持强大分布外能力的同时，所需训练预算减半，实现效率与性能双赢。
2026-07-23 cs.AI cs.CV cs.LG
Towards quantitative precision for ECG analysis: Leveraging state space models, self-supervision and patient metadata
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Oldenburg University（奥尔登堡大学）
本研究通过结合状态空间模型、自监督学习及患者元数据，显著提升心电图分析的定量精度，超越现有卷积模型，并揭示采样率与输入长度的最优设置。
2023-08-29 cs.LG eess.SP stat.ML
Pseudo-labelling Enhanced Media Bias Detection
University College Dublin（都柏林大学学院）；Insight Centre for Data Analytics（洞察数据分析中心）
通过弱监管或远程监管来利用未标记数据是开发更有效的文本分类模型的一种引人注目的方法。本文提出了一种简单而有效的数据增强方法，该方法利用伪标记的思想从有噪声的远程监督注释数据集中选择样本。实验结果表明，该方法提高了有偏新闻检测模型的准确性。
2021-07-16 cs.CL cs.IR cs.LG
Weak Supervision in Analysis of News: Application to Economic Policy Uncertainty
经济决策需要及时的数据分析，这促使大多数经济学家和决策者寻找非传统的补充数据来源。在这种情况下，文本数据正在被探索，以丰富传统的数据源，因为它很容易收集和高度丰富。我们的工作重点是研究文本数据，特别是新闻报道，用于衡量经济政策不确定性（EPU）的潜力。经济政策的不确定性是指公众无法预测他们在新政策和未来基本经济要素下的决策结果。量化EPU对政策制定者、经济学家和投资者来说非常重要，因为它影响他们对未来基本经济要素的预期，从而影响他们的政策、投资和储蓄决策。以前大多数使用新闻文章测量EPU的工作都是手动的或基于简单的关键字搜索。我们的工作提出了一种基于机器学习的解决方案，涉及弱监督，以根据经济政策的不确定性对新闻文章进行分类。弱监督被证明是一种有效的机器学习范式，用于在没有或缺乏训练集的低资源环境中应用机器学习模型，利用领域知识和知识。我们进一步生成了一个基于弱监管的EPU指数，我们使用该指数与爱尔兰宏观经济指标一起进行广泛的计量经济分析，以验证我们生成的指数是否预示着较弱的宏观经济表现
2022-09-20 cs.AI cs.CY cs.LG
Leveraging Visual Supervision for Array-based Active Speaker Detection and Localization
University of Surrey（萨里大学）
本文提出利用视觉监督的自监督学生-教师训练方法，使多通道音频CRNN独立于视觉进行主动说话人检测与定位，在遮挡场景下超越视听方法并达到与传统监督训练相当的性能。
2023-12-21 cs.LG cs.SD eess.AS
Leveraging Data Collection and Unsupervised Learning for Code-switched Tunisian Arabic Automatic Speech Recognition
Tunis Business School（突尼斯商学院）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）；Abshore；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）
本文针对突尼斯阿拉伯语方言ASR数据稀缺与语码转换难题，通过数据收集、自监督/半监督/少样本方法及人工评估构建并公开了多语混合语音识别模型与数据。
2023-09-25 cs.CL cs.LG cs.SD
Task Bias in Vision-Language Models
Columbia University（哥伦比亚大学）
来自语言的附带监督已经成为一种流行的学习通用视觉表示的方法，可以提示执行计算机视觉中的许多识别任务。我们对CLIP模型进行了深入的探索，并表明其视觉表示往往强烈倾向于解决某些任务。此外，表示将偏向于哪个任务是不可预测的，在图像之间几乎没有一致性。为了解决这个任务的偏见，我们展示了如何学习一个视觉提示，引导代表性的功能相关的他们感兴趣的任务。我们的研究结果表明，这些视觉提示可以是独立的输入图像，仍然有效地提供了一个条件反射机制，以引导视觉表示所需的任务。
2022-12-08 cs.CV cs.LG
Reliable Programmatic Weak Supervision with Confidence Intervals for Label Probabilities
Massachusetts Institute of Technology (MIT)（麻省理工学院）；BCAM-Basque Center for Applied Mathematics（BCAM应用数学巴斯克中心）；IKERBASQUE-Basque Foundation for Science（IKERBASQUE巴斯克科学基金会）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出一种程序化弱监督方法，通过分布不确定性集合为标签概率提供置信区间，提升预测可靠性，并在多个基准数据集上验证了其优于现有技术。
2025-08-05 cs.LG stat.ML
ULF: Unsupervised Labeling Function Correction using Cross-Validation for Weak Supervision
University of Vienna（维也纳大学）
提出基于k折交叉验证的无监督标注函数校正算法ULF，通过模型识别并校正保留LFs的偏差来优化LFs到类别的分配，有效提升弱监督学习且无需人工标注。
2024-01-03 cs.LG
Generating Multi-Agent Trajectories using Programmatic Weak Supervision
Caltech（加州理工学院）；Salesforce；STATS
我们研究了训练序列生成模型捕获协调的多智能体轨迹行为，如进攻篮球比赛的问题。在对这些设置进行建模时，设计分层模型通常是有益的，该模型可以使用中间变量来捕获长期协调。此外，这些中间变量应该以可解释和可操作的方式捕获有趣的高级行为语义。我们提出了一个层次化的框架，可以有效地学习这样的顺序生成模型。我们的方法的灵感来自最近的工作，利用编程产生的弱标签，我们扩展到时空制度。除了合成设置，我们展示了如何实例化我们的框架，以有效地模拟篮球运动员之间的复杂交互，并在很长一段时间内生成篮球游戏的真实多智能体轨迹。我们使用定量和定性评估来验证我们的方法，包括与专业体育分析师进行的用户研究比较。
2019-02-22 cs.LG stat.ML
Weak Supervision for Generating Pixel-Level Annotations in Scene Text Segmentation
University of Siena（锡耶纳大学）
为场景文本分割提供像素级监督本质上是困难和昂贵的，因此只有很少的小数据集可用于此任务。为了面对训练数据的稀缺性，基于卷积神经网络（CNN）的先前方法依赖于使用合成数据集进行预训练。然而，合成数据不能再现自然图像的复杂性和可变性。在这项工作中，我们建议使用弱监督学习的方法来减少合成和真实数据之间的域转移。利用COCO-Text和MLT数据集的边界框监督，我们生成真实图像的弱像素级监督。特别地，创建并发布COCO-文本-分割（COCO_TS）和MLT-分割（MLT_S）数据集。这两个数据集用于训练一个CNN，分割多尺度注意力网络（SMANet），它是专门设计来面对场景文本分割任务的一些特点。SMANet在所提出的数据集上进行端到端训练，实验表明COCO_TS和MLT_S是合成图像的有效替代方案，允许仅使用一小部分训练样本并显着提高性能。
2019-11-19 cs.CV cs.LG eess.IV
Learning from Indirect Observations
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）
弱监督学习是一种通过利用低质量但大规模的监督信号来缓解标记数据稀缺性的范例。虽然现有的工作主要集中在利用某种类型的弱监督，但我们提出了一个概率框架，从间接观察中学习，用于从现实世界问题中的广泛弱监督中学习，例如，噪声标签、互补标签和粗粒度标签。我们提出了一种基于极大似然原理的通用方法，该方法具有理想的理论性质，可以直接用于深度神经网络。具体地说，对间接观测值采用真目标判别模型，间接观测值是一个完全随机或确定性地依赖于真目标的随机变量。然后，最大化给定间接观测的似然性，隐式地得到真实目标的估计量。两个新的问题设置-从多类标签比例学习和从粗粒度标签学习的综合实验，说明了我们的方法的实用性，并演示了如何整合各种来源的弱监督。
2019-10-10 cs.LG stat.ML
