Meta-Learners for Few-Shot Weakly-Supervised Medical Image Segmentation
Institute of Mathematics and Statistics, Universidade de São Paulo（圣保罗大学数学与统计研究所）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；CNRS（法国国家科学研究中心）
提出通用元学习框架用于医学图像小样本弱监督分割，比较9种元学习器，发现基于度量的方法在域偏移小时更优，基于梯度和融合的方法泛化性更强。
2023-05-11 cs.CV cs.LG cs.NE
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior
Massachusetts Institute of Technology（麻省理工学院）
本文提出一个理论框架，通过引入低层控制器稳定模仿过程，并利用扩散模型等强大生成式模型进行纯监督行为克隆，证明了在满足全变差连续性条件下，模仿轨迹分布可在最优传输距离下逼近专家轨迹分布。
2023-10-24 cs.LG math.ST stat.ML
Local Boosting for Weakly-Supervised Learning
Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）；The Home Depot（家得宝）
针对弱监督学习中的噪声标签问题，提出LocalBoost框架，通过源内局部化训练与源间条件加权实现集成提升，并在七个数据集上显著优于基线方法。
2023-06-05 cs.LG
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
Lethal Dose Conjecture on Data Poisoning
University of Maryland（马里兰大学）
数据投毒考虑的是出于恶意目的扭曲机器学习算法训练集的对手。在这项工作中，我们揭示了一个关于数据投毒的基本原理的猜想，我们称之为致死剂量猜想。该猜想指出：如果需要$n$干净的训练样本来进行准确的预测，则在大小- $N$训练集中，在确保准确性的同时，仅可以容忍$Θ(N/n)$中毒的样本。从理论上讲，我们在多个案例中验证了这一猜想。我们还提供了一个更一般的角度来看，这一猜想通过分布歧视。深度分区聚合（DPA）及其扩展，有限聚合（FA）是最近的可证明的防御数据投毒的方法，其中它们通过使用给定学习器从训练集的不同子集训练的许多基础模型的多数投票进行预测。这个猜想意味着DPA和FA都是（渐近）最优的--如果我们有最有效的数据学习器，他们可以把它变成对抗数据投毒的最强大的防御之一。这概述了一种实用的方法，通过寻找数据高效的学习者来开发更强大的防御中毒。经验上，作为概念证明，我们表明，通过简单地使用不同的数据增强的基础学习，我们可以分别增加一倍和三倍的认证的鲁棒性DPA CIFAR-10和GTSRB不牺牲准确性。
2022-10-18 cs.AI cs.CR cs.CV
Neural Lyapunov Control
UCSD（加州大学圣地亚哥分校）
我们提出了新的方法学习控制策略和神经网络李雅普诺夫函数的非线性控制问题，可证明的稳定性保证。该框架包括一个学习者，试图找到控制和李雅普诺夫函数，和一个证伪器，发现反例，快速引导学习者走向解决方案。当证伪者没有找到反例时，该过程终止，在这种情况下，受控非线性系统是可证明稳定的。该方法大大简化了李雅普诺夫控制器的设计过程，提供了端到端的正确性保证，并且可以获得比现有的LQR和SOS/SDP等方法更大的吸引域。我们展示了新方法如何获得高质量的解决方案，具有挑战性的控制问题的实验。
2022-09-22 cs.LG cs.NE cs.RO
Masked Autoencoders are Scalable Learners of Cellular Morphology
Recursion（递归制药公司）
本文研究自监督掩码自编码器在细胞形态学图像上的可扩展性，证明CNN和ViT架构在大规模显微镜数据上训练后显著优于弱监督基线，其中ViT-L/8在推断已知生物学关系时相对提升高达28%。
2023-11-27 cs.AI cs.CV cs.LG
Dhvani: A Weakly-supervised Phonemic Error Detection and Personalized Feedback System for Hindi
Plaksha University（普拉克斯大学）
本文提出面向印地语的弱监督CAPT系统Dhvani，结合发音错误合成语音生成与个性化反馈方法，利用印地语音位正字法实现发音错误检测与纠正指导。
2025-06-02 cs.AI cs.LG eess.AS
Credal Self-Supervised Learning
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）
自训练是半监督学习的一种有效方法。其关键思想是让学习器本身根据其当前假设迭代地为未标记的实例生成“伪监督”。结合一致性正则化，伪标记在各个领域都表现出了良好的性能，例如在计算机视觉中。为了说明伪标签的假设性质，这些通常以概率分布的形式提供。尽管如此，有人可能会说，即使是概率分布也代表了过度的信息水平，因为它表明学习者精确地知道地面实况条件概率。因此，在我们的方法中，我们允许学习者以信任集的形式标记实例，即（候选）概率分布的集合。由于这种增强的表现力，学习者能够以更灵活和更忠实的方式表现不确定性和缺乏知识。为了从这种弱标记数据中学习，我们利用了最近在所谓的超集学习领域提出的方法。在详尽的实证评估中，我们将我们的方法与最先进的自我监督方法进行了比较，表现出竞争力，特别是在低标签场景中，包含高度的不确定性。
2021-11-04 cs.AI cs.LG stat.ML
Differentially-Private Decision Trees and Provable Robustness to Data Poisoning
Delft University of Technology（代尔夫特理工大学）
针对现有差分隐私决策树算法隐私-效用权衡差的问题，提出基于私有直方图的PrivaTree方法，在低隐私预算下选择良好分裂，显著提升隐私-效用权衡，并提供对后门攻击的鲁棒性理论保证。
2026-09-28 cs.CR cs.LG
Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology
Recursion；Valence Labs
本研究探讨弱监督分类器与自监督掩码自编码器在显微镜图像上的扩展性，提出通道无关的CA-MAE架构，证明其在多任务和跨实验条件数据集上表现优异，为构建细胞生物学基础模型提供支持。
2024-04-16 cs.AI cs.CV cs.LG
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Weakly Supervised Representation Learning with Sparse Perturbations
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
表示学习的理论旨在建立一种方法，这种方法可以用最少的领域知识或任何监督源来证明数据生成过程的反转。大多数先前的方法需要强分布假设的潜在变量和弱监督（辅助信息，如时间戳），以提供可证明的识别保证。在这项工作中，我们表明，如果一个人有微弱的监督，从观察所产生的稀疏扰动的潜变量-例如图像在强化学习环境中的行动移动个人精灵-识别是可以实现的未知的连续潜在分布。我们表明，如果扰动只适用于互斥块的潜伏期，我们确定的潜伏期到这些块。我们还表明，如果这些扰动块重叠，我们确定潜在的跨扰动共享的最小块。因此，如果存在仅在一个潜在变量中相交的块，则这样的潜在变量被识别为置换和缩放。我们提出了一个自然的估计过程，基于这一理论，并说明它的低维合成和基于图像的实验。
2022-06-02 cs.LG stat.ML
DysLexLens: A Low-Resource LLM Framework for Analysing Dyslexic Learners Insights from Online Forums
Swinburne University of Technology（斯威本科技大学）
提出DysLexLens框架，通过字典过滤、知识图谱推理和评估机制，从低资源论坛数据中分析阅读障碍学习者对AI工具的使用体验。
2026-06-29 cs.AI cs.CL cs.HC
Tell Me Where to Look: Guided Attention Inference Network
Northeastern University（东北大学）；Siemens Corporate Technology（西门子公司技术部）
只有粗糙标签的弱监督学习可以通过反向传播梯度获得深度神经网络的视觉解释，如注意力地图。然后，这些注意力图可用作诸如对象定位和语义分割之类的任务的先验。在一个通用的框架中，我们解决了以前建模这种注意力地图的方法的三个缺点：我们（1）第一次将注意力地图作为端到端训练的一个明确和自然的组成部分，（2）通过探索网络本身的监督来直接在这些地图上提供自我指导，以改善它们，（3）无缝地弥合使用弱监督和额外监督之间的差距。尽管它的简单，实验上的语义分割任务证明了我们的方法的有效性。我们显然超越了Pascal VOC 2012 val的最先进水平。测试集。此外，所提出的框架提供了一种方法，不仅解释了学习者的重点，但也反馈直接指导具体任务。在温和的假设下，我们的方法也可以被理解为现有的弱监督学习器的插件，以提高其泛化性能。
2018-02-27 cs.CV cs.LG
Group Contrastive Learning for Weakly Paired Multimodal Data
Research and Early Development (gRED), Genentech（Genentech 研究与早期发展部门）；UCLA（加州大学洛杉矶分校）；Biology Research | AI Development (BRAID), Genentech（Genentech 生物研究 | 人工智能开发部门）；Genentech Computational Sciences NYU（Genentech 计算科学与纽约大学）
GROOVE通过组级对比学习方法，有效处理弱配对多模态数据，提升跨模态匹配与填补任务的性能。
2026-02-03 cs.LG q-bio.QM stat.ML
Interaction-Grounded Learning for Contextual Markov Decision Processes with Personalized Feedback
University of Iowa（爱荷华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文提出了一种计算高效的算法，用于在具有个性化反馈的上下文性 Markov 决策过程中实现次线性遗憾保证，通过扩展奖励估计器构造并设计逆间隙加权算法，有效提升了多轮交互中学习个性化目标的能力。
2026-02-09 cs.LG stat.ML
A rigorous and robust quantum speed-up in supervised machine learning
University of California, Berkeley（加州大学伯克利分校）；IBM Quantum, T.J. Watson Research Center（IBM量子托马斯·J·沃森研究中心）
在过去的几年里，提出了几种量子机器学习算法，这些算法承诺量子速度超过经典算法。大多数这些学习算法要么假设量子访问数据-使得不清楚量子加速是否仍然存在，而不做出这些强有力的假设，要么本质上是启发式的，与经典算法相比没有可证明的优势。在本文中，我们建立了一个严格的量子加速监督分类使用通用的量子学习算法，只需要经典的数据访问。我们的量子分类器是一个传统的支持向量机，它使用容错量子计算机来估计核函数。数据样本被映射到量子特征空间，并且核条目可以被估计为量子线路的跃迁幅度。我们构建了一个家庭的数据集，并表明没有经典的学习者可以分类的数据逆多项式比随机猜测，假设广泛认为离散对数问题的硬度。同时，量子分类器实现了高精度，并且对有限采样统计引起的核条目中的加性错误具有鲁棒性。
2020-11-30 cs.LG quant-ph
Merging Weak and Active Supervision for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析器将来自用户的自然语言命令（NL）映射到可执行的含义表示（MR），其随后在特定环境中执行以获得用户期望的结果。这种解析器的全监督训练需要由领域专家标注的NL/MR对，这使得它们的收集成本很高。然而，弱监督语义解析器仅从NL和预期执行结果对中学习，留下了潜在的MR。虽然弱监督的成本较低，但从这种投入中学习会带来困难。它要求解析器用非常弱的学习信号搜索很大的空间，并且很难避免以错误的方式获得正确答案的虚假MR。这些因素导致在弱监督和完全监督设置下训练的解析器之间的性能差距。为了弥合这一差距，我们研究了弱监督和主动学习之间的交叉点，它允许学习者主动选择示例并查询手动注释作为额外的监督，以改进在弱监督下训练的模型。我们研究了不同的主动学习策略选择的例子查询，和各种形式的额外监督，这样的查询。我们在两个不同的数据集上评估我们的方法的有效性。在WikiSQL上的实验表明，通过仅注释1.8%的示例，我们在最先进的弱监督基线上提高了6.4%，实现了79.0%的准确率，与完全监督训练的模型仅相差1.3%。在WikiTableQuestions上与人工注释器的实验表明，我们的方法可以提高只有100个活动查询的性能，特别是对于从冷启动学习的弱监督解析器。
2019-11-29 cs.CL cs.LG
Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams
Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）；Johannes Kepler University（约翰内斯·开普勒大学）；La Trobe University（乐卓博大学）；Universitas Muhammadiyah Malang（玛琅穆罕默迪亚大学）
大规模数据流问题是指在传统计算平台下无法以可扩展的方式处理的高速信息流。这个问题还带来了昂贵的标签成本，使得部署完全监督算法不可行。另一方面，半监督的大规模数据流的问题很少在文献中探讨，因为大多数作品都是在传统的单节点计算环境中设计的，同时也是完全监督的方法。本文提出了弱监督可扩展教师强迫网络（WeScatterNet），以同时应对标记样本的稀缺性和大规模数据流。WeScatterNet是在Apache Spark的分布式计算平台下构建的，采用无数据模型融合策略，在并行计算阶段后进行模型压缩。它具有一个开放的网络结构，以解决全球和本地漂移的问题，同时集成了数据增强，注释和自动校正（$DA^3$）的方法来处理部分标记的数据流。WeScatterNet的性能进行了数值评估，在六个大规模的数据流问题，只有$25\%$标签比例。即使与具有$100\%$标签比例的完全监督学习器相比，它也显示出高度竞争性的性能。
2021-06-26 cs.AI cs.DC cs.LG
