Pianist Transformer: Towards Expressive Piano Performance Rendering via Scalable Self-Supervised Pre-Training
提出Pianist Transformer,通过统一MIDI表示进行大规模自监督预训练,结合非对称Transformer和音符级压缩,实现高效且富有表现力的钢琴演奏生成。
2026-06-26 cs.AI cs.MM cs.SD
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
An Adapter Based Pre-Training for Efficient and Scalable Self-Supervised Speech Representation Learning
Huawei R&D UK(华为英国研发中心)
我们提出了一种将预训练的自监督(SSL)语音表示转换为多种语言的方法。有大量未注释的语音,因此从原始音频创建自监督表示并在小的注释数据集上进行微调是构建语音识别系统的一个有前途的方向。SSL模型通常在预训练阶段对原始音频执行SSL,然后对一小部分注释数据进行微调。这些模型已经产生了ASR的最新结果。然而,这些模型的预训练非常昂贵。我们使用现有的wav2vec 2.0模型,并在利用现有模型知识的同时解决学习新语言表示的问题。至关重要的是,我们这样做不会灾难性地忘记现有的语言表征。我们使用适配器模块来加速预训练新的语言任务。我们的模型在学习新的语言任务时可以将预训练时间减少32%,并且在不忘记以前的语言表示的情况下学习这种新的音频语言表示。我们通过将这些语言表示应用于自动语音识别来进行评估。
2022-02-07 cs.CL cs.LG cs.SD
Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation
AIKO
该研究提出基于地理隔离的无标签代理指标,将其集成到MoCoV2和MAE预训练中,在CopernicusBench的三个下游任务上验证,可大幅降低预计算成本并提升下游性能。
2026-08-21 cs.CV cs.LG
LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
Brown University(布朗大学);New York University (NYU)(纽约大学);Meta-FAIR
针对现有JEPAs缺乏理论与实践指导的问题,本文提出具备理论支撑的自监督学习框架LeJEPA,通过SIGReg正则化约束嵌入分布,无需启发式规则,在多数据集与架构上取得了优异表现。
2025-11-14 cs.AI cs.CV cs.LG
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong(香港大学)
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时,弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中,我们提出了一种新的弱监督课程学习管道多标签对象识别,检测和语义分割。在这个管道中,我们首先获得训练图像的中间对象定位和像素标记结果,然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成,包括训练图像中的对象定位,过滤和融合对象实例,训练图像的像素标记,以及特定任务的网络训练。为了在训练图像中获得干净的对象实例,我们提出了一种新的算法,用于过滤,融合和分类从多个解决方案机制收集的对象实例。在该算法中,我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明,我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果,在弱监督语义分割的MS-COCO,PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
Rethinking Weak Supervision in Helping Contrastive Learning
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Qing Yuan Research Institute(清源研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对弱监督信息能否直接用于对比学习的问题,本文建立统一理论框架,通过谱聚类相似度图与误差界分析,揭示半监督标签可改善下游误差而带噪标签作用有限。
2023-06-07 cs.LG
Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud
Xiamen University(厦门大学);East China Normal University(华东师范大学);JD AI Research(京东人工智能研究院)
现有的大规模点云语义分割方法需要昂贵、繁琐且容易出错的手动逐点注释。直观的弱监督训练是降低标签成本的直接解决方案。然而,对于弱监督的大规模点云语义分割,标注过少必然导致网络学习效果不佳。我们提出了一个有效的弱监督方法包含两个组件来解决上述问题。首先,我们构建一个借口任务,\textit{i.e.,}点云着色,与自监督学习转移学习的先验知识,从大量的未标记的点云到一个弱监督网络。通过这种方式,弱监督网络的表示能力可以通过异构任务的指导来提高。此外,为了给未标记数据生成伪标签,提出了一种稀疏标签传播机制,利用生成的类原型来度量未标记点的分类置信度。我们的方法进行了评估大规模点云数据集与不同的场景,包括室内和室外。实验结果表明,大的增益对现有的弱监督和可比的结果完全监督的方法\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}。
2022-12-09 cs.AI cs.CV
Reducing Label Dependency in Human Activity Recognition with Wearables: From Supervised Learning to Novel Weakly Self-Supervised Approaches
The University of Texas at Arlington(德克萨斯理工大学)
本文提出了一种新型弱自监督学习框架,通过减少标注依赖性提升可穿戴设备人体活动识别的性能和效率。
2025-12-15 cs.HC cs.LG
Weakly-Supervised Audio-Visual Segmentation
CMU(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对音视频分割中像素级掩码标注成本高的问题,提出弱监督框架WS-AVS,通过多尺度多实例对比学习实现多尺度音视频对齐,在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
WeCromCL: Weakly Supervised Cross-Modality Contrastive Learning for Transcription-only Supervised Text Spotting
Baidu Inc.(百度公司)
针对仅转录监督文本定位无需边界标注的需求,提出弱监督跨模态对比学习模型WeCromCL,通过逐字符细粒度对比学习检测转录文本锚点作为伪标签,在四个基准上取得优于现有方法的性能。
2025-01-13 cs.AI cs.CV
Semi-weakly Supervised Contrastive Representation Learning for Retinal Fundus Images
Nanyang Technological University(南洋理工大学)
我们探讨了弱标签在学习医学图像的可转移表示中的价值。与手工标记的数据集相比,弱或不精确的标签可以以显著更低的成本大量获取,并且可以为深度神经网络等数据饥饿模型提供有用的训练信号。我们认为弱标签的形式伪标签,并提出了一个半弱监督对比学习(SWCL)的表示学习使用半弱注释图像的框架。具体来说,我们训练一个半监督模型,将标签从一个由不同图像级注释组成的小数据集传播到一个大型未标记数据集。使用传播的标签,我们生成一个补丁级数据集进行预训练,并制定一个多标签对比学习目标,以捕获编码在每个补丁的位置特定的功能。我们在七个公开的视网膜眼底数据集上实证验证了SWCL的迁移学习性能,包括三个疾病分类任务和两个解剖结构分割任务。我们的实验结果表明,在非常低的数据状态下,改进架构上的大规模ImageNet预训练仍然是一个非常强大的基线,最近提出的自监督方法在分割任务中表现不佳,可能是由于施加了强不变约束。我们的方法超越了所有先前的自监督方法和标准交叉熵训练,同时缩小了与ImageNet预训练的差距。
2021-08-04 cs.CV cs.LG
SNP2Vec: Scalable Self-Supervised Pre-Training for Genome-Wide Association Study
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Center for Neurodegenerative Diseases(香港神经退行性疾病中心);Shenzhen–Hong Kong Institute of Brain Science(深港脑科学研究所);HKUST Shenzhen Research Institute(香港科技大学深圳研究院)
自我监督的预训练方法在文本、图像和语音的理解方面带来了显着的突破。基因组学的最新发展也采用了这些用于基因组理解的预训练方法。然而,他们只专注于理解单倍体序列,这阻碍了他们对理解遗传变异的适用性,也称为单核苷酸多态性(SNP),这对全基因组关联研究至关重要。在本文中,我们介绍了SNP2Vec,这是一种用于理解SNP的可扩展的自监督预训练方法。我们应用SNP2Vec进行长序列基因组学建模,并评估我们的方法在中国队列中预测阿尔茨海默病风险的有效性。我们的方法显著优于现有的多基因风险评分方法和所有其他基线,包括完全用单倍体序列训练的模型。我们在https://github.com/HLTCHKUST/snp2vec上发布代码和数据集。
2022-04-14 cs.AI cs.LG
LocalEscaper: A Weakly-supervised Framework with Regional Reconstruction for Scalable Neural TSP Solvers
School of Computer Science, Huazhong University of Science and Technology, China(华中科技大学计算机学院);Department of Computer Science, Cornell University, United States(康奈尔大学计算机系)
针对神经TSP求解器中SL依赖高质量标注与RL效率低的问题,提出弱监督框架LocalEscaper,结合SL与RL优势在低质量标签上训练,并引入区域重建策略缓解局部最优问题,显著提升求解质量。
2025-09-17 cs.AI cs.LG
Scalable Semi-Supervised Aggregation of Classifiers
UC San Diego(加州大学圣地亚哥分校)
我们提出并经验评估一个有效的算法,学习聚集的二进制分类器的合奏的预测。该算法使用未标记数据的集合预测的结构,以产生显着的性能改进。它在不对集合的结构或起源做出假设的情况下做到了这一点,没有参数,并且像线性学习一样可扩展。我们经验证明这些性能增益与随机森林。
2015-11-11 cs.LG
Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams
Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学);Johannes Kepler University(约翰内斯·开普勒大学);La Trobe University(乐卓博大学);Universitas Muhammadiyah Malang(玛琅穆罕默迪亚大学)
大规模数据流问题是指在传统计算平台下无法以可扩展的方式处理的高速信息流。这个问题还带来了昂贵的标签成本,使得部署完全监督算法不可行。另一方面,半监督的大规模数据流的问题很少在文献中探讨,因为大多数作品都是在传统的单节点计算环境中设计的,同时也是完全监督的方法。本文提出了弱监督可扩展教师强迫网络(WeScatterNet),以同时应对标记样本的稀缺性和大规模数据流。WeScatterNet是在Apache Spark的分布式计算平台下构建的,采用无数据模型融合策略,在并行计算阶段后进行模型压缩。它具有一个开放的网络结构,以解决全球和本地漂移的问题,同时集成了数据增强,注释和自动校正($DA^3$)的方法来处理部分标记的数据流。WeScatterNet的性能进行了数值评估,在六个大规模的数据流问题,只有$25\%$标签比例。即使与具有$100\%$标签比例的完全监督学习器相比,它也显示出高度竞争性的性能。
2021-06-26 cs.AI cs.DC cs.LG
Scalable Semi-Supervised Learning over Networks using Nonsmooth Convex Optimization
Aalto University(阿尔托大学);The University of Michigan(密歇根大学);INRIA Nancy Grand Est(法国国家信息与自动化研究所南锡-大东部研究中心)
我们提出了一种可扩展的方法,用于从海量网络结构数据集进行半监督(转导)学习。我们的方法半监督学习是基于代表的基本假设作为一个图形信号与小的总变化。要求表示潜在假设的图形信号的小的总变化对应于形成半监督学习的基础的中心平滑假设,即,形成聚类的输入点具有相似的输出值或标签。我们制定的学习问题作为一个非光滑的凸优化问题,我们解决了呼吁Nesterovs最优一阶非光滑优化方法。我们还提供了一个消息传递公式的学习方法,它允许在大数据框架中实现高度可扩展性。
2016-11-02 cs.DC cs.LG
GAR: An efficient and scalable Graph-based Activity Regularization for semi-supervised learning
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的基于图的方法半监督学习的问题,它认为是一个自适应的邻接的例子在整个训练的无监督部分。使用神经网络模型的预测推断的例子的相邻性,该模型首先由监督预训练初始化。然后,根据一种新的无监督目标更新这些预测,该目标正则化另一个邻接,现在连接输出节点。从网络的预测中推断出的输出节点的邻接规则化,创建了一个更容易的优化问题,并最终使网络的预测变成最佳嵌入。最终,所提出的框架提供了一个有效的和可扩展的基于图的解决方案,这是自然的深层神经网络的操作机制。我们的研究结果表明,与最先进的生成方法的半监督学习的一个机器人到训练,低成本的框架相当的性能。
2020-08-05 cs.LG
Weakly Supervised Scalable Audio Content Analysis
Carnegie Mellon University(卡内基梅隆大学)
音频事件检测是多媒体数据内容分析的一项重要任务。当前大多数关于音频事件检测的工作是通过监督学习方法来驱动的。我们提出了一个弱监督学习框架,它可以利用大量的Web多媒体数据,显着减少注释工作和费用。具体来说,我们使用几个多实例学习算法,以表明通过弱标签的音频事件检测是可行的。我们还提出了一种新的可扩展的多实例学习算法,并表明其竞争力与其他多实例学习算法的音频事件检测任务。
2016-06-12 cs.LG cs.MM cs.SD
Scalable Semi-supervised Landmark Localization for X-ray Images using Few-shot Deep Adaptive Graph
PAII Inc.(PAII公司);Ping An Technology(平安科技);University of Rochester(罗切斯特大学);University of Maryland(马里兰大学);Chang Gung Memorial Hospital(长庚纪念医院)
界标定位在医学图像分析中具有重要的作用。基于学习的方法,包括CNN和GCN,已经证明了最先进的性能。然而,这些方法中的大多数都是完全监督的,并且严重依赖于对大型训练数据集的手动标记。本文在基于图的全监督DAG方法的基础上,提出了一种半监督的DAG方法,称为Few-Shot DAG,\ie five-shot DAG。它首先在标记数据上训练DAG模型,然后使用师生SSL机制在未标记数据上微调预训练模型。除了半监督损失之外,我们还提出了另一种损失,使用JS散度来调节中间特征图的一致性。我们广泛评估了我们的方法在骨盆,手和胸部地标检测任务。我们的实验结果表明,一致的和显着的改进,比以前的方法。
2021-04-29 cs.AI cs.CV cs.LG
Comments on 'Fast and scalable search of whole-slide images via self-supervised deep learning'
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
本文是针对Chen等人提出的SISH组织学图像搜索方法的评论,指出该方法是Yottixel的增量改进、未引用MinMax二值化原始文献且命名不当,同时提及实验对比方面的其他问题。
2023-06-14 cs.CV cs.LG eess.IV
RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心 (MCML))
提出统一前馈变压器RayDer,将相机估计、场景重建和渲染整合为单一骨干,实现自监督新视角合成的可扩展幂律缩放,在零样本开放集性能上媲美有监督方法。
2026-05-29 cs.AI cs.CV cs.LG
Scalable and Weakly Supervised Bank Transaction Classification
该研究提出一种基于弱监督、NLP与深度神经网络的可扩展银行交易分类方法,借助启发式规则与领域知识减少对人工标注的依赖,构建端到端数据流水线,性能优于市场领先方案,可支撑财务报告、风控等金融应用。
2023-06-10 cs.LG
Towards Scalable SOAP Note Generation: A Weakly Supervised Multimodal Framework
Department of Computer Science, University of Maryland, Baltimore County(计算机科学系,马里兰大学巴尔的摩县分校);Department of Dermatology, Johns Hopkins University School of Medicine(皮肤科系,约翰霍普金斯大学医学院)
针对临床手动生成SOAP病历负担重、标注数据需求大的问题,提出弱监督多模态框架,可基于有限输入生成结构化SOAP病历,性能对标主流大模型,并推出两个新的临床质量评估指标。
2025-06-12 cs.AI cs.CV cs.LG
Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
研究针对高维系统中智能系统自适应要求间的矛盾,聚焦回声状态网络,提出基于扰动学习成本正交分解的在线自监督学习规则,降低有效扰动维度,避免方差增长,为可扩展及硬件兼容学习提供设计原则。
2026-07-29 cs.LG cs.NE
Fast and Scalable Semi-Supervised Learning for Multi-View Subspace Clustering
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
针对现有多视图子空间聚类方法计算复杂度高的问题,提出了具备线性复杂度的FSSMSC方法,通过统一优化模型同步学习锚图与标签传播,结合交替更新算法和低维表示推导实现高效聚类,经多规模基准实验验证了其有效性与高效性。
2024-08-11 cs.LG
Diffusion Autoencoders are Scalable Image Tokenizers
Meta;GenAI, Meta(元公司生成式人工智能部门)
提出扩散分词器DiTo,利用单一扩散L2损失训练可扩展图像分词器,简化训练流程,在图像重建与生成任务中达到与有监督最先进方法相当或更优的质量。
2025-01-30 cs.AI cs.CV cs.LG
Scalable Semi-supervised Learning with Graph-based Kernel Machine
Deakin University(迪肯大学)
获取标签通常成本高昂,而在现代机器学习应用中,未标记的数据通常很容易获得。半监督学习提供了一个原则性的机器学习框架来解决这种情况,并已成功应用于许多实际应用和行业。然而,大多数现有的半监督学习方法在应用于现代和大规模数据集时遇到两个严重的限制:计算负担和内存使用需求。为此,我们在本文中提出了基于图的半监督核机器(GKM),一种方法,利用基于核的方法的泛化能力与几何和分布的信息,制定通过频谱图诱导数据的半监督学习的目的。我们提出的GKM可以直接求解的原始形式,使用随机梯度下降法与理想的收敛速度$O(\frac{1}{T})$。此外,我们的公式适用于机器学习文献中广泛的重要损失函数(例如,铰链、平滑铰链、Logistic、L1和ε不敏感)和平滑函数(即,$l_p(t) = |t|^p$与$p\ge1$)。我们进一步表明,著名的拉普拉斯支持向量机是一个特殊的情况下,我们的配方。我们在几个基准数据集上验证了我们提出的方法,以证明GKM适用于大规模数据集,因为它在内存使用方面是最佳的,并且产生了优异的分类精度,同时与最先进的基线相比,实现了显着的计算速度提高。
2017-04-06 cs.LG
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology(佐治亚理工学院)
本文提出Kempe Swap K-Means算法,通过双重迭代过程在约束空间中优化聚类,结合可控扰动提升全局搜索能力,实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Scalable Semi-Supervised SVM via Triply Stochastic Gradients
Nanjing University of Information Science & Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司);University of Western Ontario(西安大略大学);University of Pittsburgh(匹兹堡大学)
半监督学习(Semi-supervised learning,SSL)在大数据时代发挥着越来越重要的作用,因为它可以有效地利用大量未标记样本来提高分类器的性能。半监督支持向量机(S $^3$ VM)是最有吸引力的SSL方法之一,但将S $^3$ VM扩展到核学习仍然是一个悬而未决的问题。最近,提出了一种双随机梯度(DSG)算法来实现核方法的高效和可扩展的训练。然而,DSG的算法和理论分析是基于凸性假设的,这使得它们不适合于非凸问题,如S $^3$ VM。为了解决这个问题,在本文中,我们提出了一个三重随机梯度算法S $^3$ VM,称为TSGS $^3$ VM。具体地,为了处理S $^3$ VM中涉及的两种类型的数据实例,TSGS $^3$ VM在每次迭代中对标记实例和未标记实例以及随机特征进行采样以计算三重随机梯度。我们使用近似梯度来更新解。更重要的是,我们对TSGS $^3$ VM建立了新的理论分析,保证了TSGS $^3$ VM能够收敛到一个稳定点。在多种数据集上的大量实验结果表明,TSGS $^3$ VM比现有的S $^3$ VM算法更高效,可扩展性更好.
2019-07-26 cs.LG stat.ML
Multimodal Generative Models for Scalable Weakly-Supervised Learning
Stanford University(斯坦福大学)
在描述自然现象时,多种模态往往同时出现。学习这些模态的联合表示应该会产生更深入和更有用的表示。以前的多模态输入生成方法要么不学习联合分布,要么需要额外的计算来处理丢失的数据。在这里,我们介绍了一个多模态的变分自编码器(MVAE),使用产品的专家推理网络和子采样的训练范式来解决多模态推理问题。值得注意的是,我们的模型共享参数,以便在任何缺失模式的组合下有效地学习。我们在四个数据集上应用MVAE,并使用更少的参数匹配最先进的性能。此外,我们表明MVAE是直接适用于弱监督学习,是不完全监督的鲁棒性。然后,我们考虑两个案例研究,一个学习图像变换-边缘检测,着色,分割-作为一组模态,其次是两种语言之间的机器翻译。我们在这一系列任务中发现了有吸引力的结果。
2018-11-12 cs.LG stat.ML
Survival Reinforcement Learning: Toward Scalable Self-Supervised RL
Inria and École Normale Supérieure PSL Research University(Inria 和 法国国家科学研究中心巴黎大学)
提出生存强化学习(SRL),一种基于在线分类的方法,通过最大化智能体在目标状态停留时间来解决对比强化学习中的均匀性-容忍性困境,在长时程运动任务上性能提升2至8倍。
2026-09-21 cs.LG
Defect detection using weakly supervised learning
Democritus University of Thrace(德谟克利特色雷斯大学);Athena Research Centre(雅典娜研究中心)
本文研究在缺陷检测任务中弱监督学习对标注数据的需求,通过实验对比弱监督与全监督分类器,证明前者可在标注数据显著减少时达到相当性能。
2023-03-27 cs.AI cs.CV cs.LG
Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning
Fudan University(复旦大学);Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Florida State University(佛罗里达州立大学)
图表示学习近年来引起了人们的广泛关注。现有的图神经网络与完整的图形数据馈送是不可扩展的,由于有限的计算和存储器成本。因此,在大规模图形数据中获取丰富的信息仍然是一个巨大的挑战。此外,这些方法主要集中在监督学习和高度依赖于节点标签信息,这是昂贵的,以获得在现实世界中。而无监督的网络嵌入方法过分强调节点的邻近性,其学习到的表示很难直接用于下游应用任务。近年来,新兴的自监督学习为解决上述问题提供了一个潜在的解决方案。然而,现有的自我监督的作品也在完整的图数据上操作,并且在定义基于互信息的损失项时偏向于适合全局或非常局部(1跳邻域)的图结构。本文提出了一种基于子图对比度的自监督表示学习方法,即\textsc{Subg-Con},该方法利用中心节点与其采样子图之间的强相关性来获取区域结构信息。\textsc{Subg-Con}不是在完整的输入图数据上学习,而是使用一种新的数据增强策略,通过基于从原始图中采样的子图定义的对比损失来学习节点表示。与现有的图表示学习方法相比,\textsc{Subg-Con}在监督要求较低、模型学习可扩展性和并行性方面具有突出的性能优势。大量的实验验证了我们的工作的有效性和效率相比,经典和国家的最先进的图表示学习方法在多个现实世界的大规模基准数据集从不同的领域。
2020-11-22 cs.LG stat.ML
Constrained Labeling for Weakly Supervised Learning
Virginia Tech(弗吉尼亚理工大学);Tufts University(塔夫茨大学)
大型全监督数据集的管理已经成为机器学习的主要障碍之一。弱监督提供了一种替代监督学习的方法,通过使用来自不同来源的廉价、嘈杂且可能相关的标记函数进行训练。弱监督学习的关键挑战是结合不同的弱监督信号,同时导航错误中的误导性相关性。在本文中,我们提出了一种简单的无数据方法,通过定义一个约束空间的弱信号的可能标签和训练与随机标签在这个约束空间内结合弱监督信号。我们的方法是有效的和稳定的,收敛后的几个迭代的梯度下降。我们证明了理论条件下,随机标签的最坏情况下的错误减少的秩的线性约束。我们的实验表明,我们的方法优于其他弱监督方法在各种文本和图像分类任务。
2021-05-29 cs.AI cs.LG stat.ML
Weakly Supervised Scene Text Detection using Deep Reinforcement Learning
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
具有挑战性的场景文本检测领域需要复杂的数据注释,这是耗时和昂贵的。诸如弱监管等技术可以减少所需的数据量。本文提出了一种基于强化学习的弱监督场景文本检测方法。RL代理收到的奖励由神经网络估计,而不是从地面实况标签推断。首先,我们通过几种训练优化增强了现有的监督RL文本检测方法,使我们能够缩小与基于回归的算法的性能差距。然后,我们使用我们提出的系统在现实世界的数据上进行弱监督和半监督训练。我们的研究结果表明,在弱监督环境中进行训练是可行的。然而,我们发现在半监督环境中使用我们的模型,例如,当将标记的合成数据与未注释的真实世界数据相结合时,会产生最佳结果。
2022-01-13 cs.AI cs.CV cs.LG
Supervised learning of random quantum circuits via scalable neural networks
Università di Camerino(卡梅里诺大学);INFN-Sezione di Perugia(意大利国家核物理研究所佩鲁贾分部);CNR-INO(意大利国家研究委员会-国家光学研究所)
该研究提出可扩展的深度卷积神经网络,通过独热编码表示量子电路,在随机量子电路输出期望值预测任务中表现优于部分小型量子器件,且支持迁移学习外推大电路、具备强抗噪性。
2022-06-24 cond-mat.dis-nn cs.LG quant-ph
Masked Autoencoders are Scalable Learners of Cellular Morphology
Recursion(递归制药公司)
本文研究自监督掩码自编码器在细胞形态学图像上的可扩展性,证明CNN和ViT架构在大规模显微镜数据上训练后显著优于弱监督基线,其中ViT-L/8在推断已知生物学关系时相对提升高达28%。
2023-11-27 cs.AI cs.CV cs.LG
Self-Supervised Weight Templates for Scalable Vision Model Initialization
School of Computer Science and Engineering, Southeast University, Nanjing, China(计算机科学与工程学院,东南大学,南京,中国);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及其交叉应用重点实验室(东南大学),教育部,中国)
SWEET通过自监督方法学习共享权重模板和尺寸特定缩放器,实现视觉模型的可扩展初始化,提升不同深度和宽度架构的适应性与泛化能力。
2026-01-27 cs.CV cs.LG
A graphical heuristic for reduction and partitioning of large datasets for scalable supervised training
Gstech Technology Pvt. Ltd.(Gstech科技私人有限公司);RWTH Aachen University(亚琛工业大学)
提出了一种可扩展的图形方法,用于选择和划分分类任务训练阶段的数据集。对于启发式算法,要求聚类算法的计算成本与任务本身成合理的比例。该步骤通过使用近似最近邻方法构建底层分类模式的信息图来进行。所提出的方法由两种方法组成,一种用于减少给定的训练集,另一种用于划分所选择的/减少的集合。启发式算法针对大型数据集,因为主要目标是在不影响预测准确性的情况下显著减少训练计算运行时间。测试结果表明,这两种方法显着加快了训练任务相比,最先进的收缩启发式LIBSVM。此外,这些方法在预测精度方面紧随其后甚至超越。一个网络设计也提出了基于分区的分布式训练配方。增加的速度在训练运行时观察相比,串行实现的方法。
2019-07-24 cs.DC cs.LG stat.ML
Scalable semi-supervised dimensionality reduction with GPU-accelerated EmbedSOM
Faculty of Mathematics and Physics of Charles University(查理大学数学与物理学院);Luxembourg Centre for Systems Biomedicine, University of Luxembourg(卢森堡大学卢森堡系统生物医学中心);Institute of Haematology and Blood Transfusion(血液学与输血研究所);Institute of Organic Chemistry and Biochemistry(有机化学与生物化学研究所)
简化方法作为可视化工具在不同的科学领域有着广泛的应用。虽然存在许多不同的方法,但它们的性能通常不足以提供对许多当代数据集的快速洞察,并且无监督的使用模式阻止用户利用这些方法进行数据集探索和微调细节以提高可视化质量。我们提出了一种高性能的半监督降维软件,用于对具有数百万个数据点的高维数据集进行交互式用户可操纵的可视化。RISTOSOM建立在嵌入式SOM算法的GPU加速实现基础上,并辅以几种基于地标的算法,用于将无监督模型学习算法与用户监督相结合。我们展示了在现实数据集上的CNOSOM应用,它有助于生成高质量的可视化,其中包含用户指定的布局并专注于某些功能。我们相信半监督降维将提高单细胞细胞计数等科学领域的数据可视化可能性,并为数据集探索和注释的新方向提供快速有效的基础方法。
2022-01-03 cs.DC cs.LG stat.ML
Convex and Scalable Weakly Labeled SVMs
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);Hong Kong University of Science & Technology(香港科技大学)
在本文中,我们研究了弱标记数据的学习问题,其中的训练样本的标签是不完整的。这包括,例如,(i)标签部分已知的半监督学习;(ii)标签隐含已知的多实例学习;以及(iii)标签完全未知的聚类。与监督学习不同,弱标签学习涉及困难的混合编程(MIP)问题。因此,它的可扩展性很差,也可能陷入局部最小值。在本文中,我们专注于支持向量机,并提出了WellSVM通过一种新的标签生成策略。这导致原始MIP的凸松弛,其至少与现有凸半定规划(SDP)松弛一样紧。此外,WellSVM可以通过一系列SVM子问题来解决,这些子问题比以前的凸SDP松弛更具可扩展性。在三个弱标记学习任务上的实验,即(i)半监督学习;(ii)基于内容的信息检索中定位感兴趣区域的多示例学习;以及(iii)聚类,清楚地表明了改进的性能,并且WellSVM也很容易适用于大数据集。
2013-08-22 cs.LG
Graph Coarsening via Supervised Granular-Ball for Scalable Graph Neural Network Training
Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing Normal University(重庆师范大学);National Center for Applied Mathematics in Chongqing(重庆国家应用数学中心)
针对图神经网络可扩展性挑战,提出基于监督粒球计算的自适应图粗化方法,通过迭代分割图构建粗化网络,无需预定义粗化率,在大幅压缩图规模的同时保持准确率与鲁棒性。
2024-12-18 cs.LG
Weakly Supervised Label Learning Flows
Motional(莫申公司);Northeast Normal University(东北师范大学);Google(谷歌公司);Snorkel AI(Snorkel AI公司)
本文提出基于归一化流的弱监督学习通用框架标签学习流(LLF),通过逆向训练条件流并在弱信号约束空间内优化所有可能标签的条件似然,避免显式估计标签,在三个弱监督任务上优于多个基线。
2024-11-25 cs.LG
Bandit Label Inference for Weakly Supervised Learning
University of California, Berkeley(加州大学伯克利分校)
在许多应用程序中,缺少以期望的粒度级别注释的数据是一个反复出现的问题。大量的努力已经投入到开发弱监督的方法,适合每一个人的设置,这往往是精心设计,以利用弱监督制度的特殊属性,现有数据的形式和手头的任务的先验知识。不幸的是,很难使这些方法适应新的任务和/或数据形式,这通常需要不同的弱监管制度或模型。我们提出了一个通用的方法,可以解决任何弱监督学习问题,无论弱监督制度或模型。所提出的方法把任何现成的强监督分类器到一个弱监督分类器,并允许用户指定任何任意的弱监督制度通过一个损失函数。我们将该方法应用于几个不同的弱监管制度,并证明竞争力的结果相比,专门为这些设置设计的方法。
2015-09-22 cs.LG stat.ML
Proceedings of the First Workshop on Weakly Supervised Learning (WeaSuL)
欢迎来到WeaSuL 2021,第一次弱监督学习研讨会,与ICLR 2021共同举办。在这个研讨会中,我们希望推进理论,方法和工具,使专家能够表达自动数据注释的先验编码知识,这些知识可用于训练任意深度神经网络进行预测。ICLR 2021年弱监管研讨会旨在推进帮助现代机器学习方法从专家提供的知识中进行归纳的方法,并与可观察(未标记)数据进行交互。共有15篇论文被接受。所有接受的捐款都列在这些会议记录中。
2021-07-08 cs.LG
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们的目标是开发一个简单的和可扩展的强化学习算法,使用标准的监督学习方法作为子程序。我们的目标是一个算法,只利用简单和收敛的最大似然损失函数,同时也能够利用政策外的数据。我们提出的方法,我们称之为加权回归(AWR),由两个标准的监督学习步骤:一个回归到目标值的价值函数,另一个回归到加权目标行动的政策。该方法简单而通用,可以适应连续和离散的动作,并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时,将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR,并表明与许多成熟的最先进的RL算法相比,它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略,而无需额外的环境交互。此外,我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
Recent advances in weakly supervised learning: New supervision paradigms, assumption relaxations, and practical solutions
该文针对弱监督学习领域的实际需求,提出置信度差异分类的解决方法、更宽松假设下的互补标签学习方案,并给出部分标签学习的公平评估框架,推动了该领域的发展。
2026-08-12 cs.LG
Reliable Weakly Supervised Learning: Maximize Gain and Maintain Safeness
Nanjing University(南京大学);JD AI Research(京东人工智能研究院)
弱监督数据广泛存在,并引起了人们的广泛关注。然而,由于标签质量通常难以保证,有时使用弱监督数据会导致性能不理想,即,性能下降或性能增益差。此外,人工提高标签质量通常是不可行的,这导致弱监督学习有些难以依赖,针对这一关键问题,本文提出了一种简单新颖的弱监督学习框架。我们通过少量的验证数据来指导标签质量的优化,并确保性能的安全性,同时最大限度地提高性能。由于验证集是描述泛化风险的一个很好的近似,它可以有效地避免由于不正确的数据分布假设而导致的性能不佳。我们将这种潜在的考虑形式化为一种新的双层优化,并给出了一个有效的解决方案。大量的实验结果表明,新的框架取得了令人印象深刻的性能弱监督学习与少量的验证数据。
2019-04-22 cs.LG stat.ML
Scalable partial information decomposition for symptom networks via supervised embeddings
University of Amsterdam(阿姆斯特丹大学)
提出ePID,通过监督嵌入压缩症状网络实现可扩展部分信息分解,在PHQ-9和IRI数据上揭示冗余与协同贡献的差异,为症状网络分析提供新工具。
2026-09-15 cs.IT cs.LG math.IT
Self-Supervised Scalable Deep Compressed Sensing
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对深度压缩感知方法依赖标注真值数据、泛化性不足的问题,提出含SCL学习方案与SCNet网络的自监督可扩展方法,无需真值即可适配任意采样配置,性能优于现有自监督方法,具备媲美监督方法的潜力。
2024-08-14 cs.CV cs.LG eess.SP
Large-scale semi-supervised learning with online spectral graph sparsification
Inria Lille – Nord Europe(Inria里尔–北欧)
本文提出Sparse-HFS算法,通过O(n polylog(n))空间和O(m polylog(n))时间高效解决半监督学习问题。
2026-10-06 cs.LG stat.ML
Weakly Supervised Grammatical Error Correction using Iterative Decoding
Google AI(谷歌人工智能)
我们描述了一种语法错误纠正(GEC)方法,该方法可以有效地利用在大量弱监督双文本上训练的模型。我们训练的Transformer序列到序列模型的维基百科修订的4 B令牌,并采用迭代解码策略,是专为松散监督性质的维基百科训练语料库。在Lang-8语料库上进行微调和集成,在CoNLL'14基准测试中得到58.3的F0.5,在JFLEG上得到62.4的GLEU。弱监督训练和迭代解码的组合即使不使用任何标记的GEC数据也在CoNLL'14上获得48.2的F0.5。
2018-10-31 cs.CL cs.LG stat.ML
Weakly Supervised Learning Meets Ride-Sharing User Experience Enhancement
Nanjing University(南京大学);Didi Chuxing(滴滴出行)
弱监督学习的目的是处理稀缺的标记数据。以往的弱监督研究通常假设数据中只有一种弱监督。然而,在许多应用中,原始数据通常同时包含一种以上的弱监督。例如,在最大的在线拼车平台之一滴滴的用户体验提升中,乘车评论数据包含严重的标签噪音(由于乘客的主观因素)和严重的标签分布偏差(由于抽样偏差)。我们称之为“复合弱监督学习“。本文基于滴滴拼车评论数据,提出了CWSL方法来解决这一问题。具体而言,实例重新加权策略,以应付严重的标签噪声的评论数据,其中有害的噪声实例的权重很小。稳健的标准,如AUC,而不是准确度和验证性能进行了优化,以纠正偏倚的数据标签。交替优化和随机梯度方法加速了大规模数据的优化。在滴滴拼车评论数据上的实验清楚地验证了有效性。我们希望这项工作可以为弱监督学习在复杂的实际情况中的应用提供一些启示。
2020-01-19 cs.LG stat.ML