Pieceformer: Similarity-Driven Knowledge Transfer via Scalable Graph Transformer in VLSI
Georgia Institute of Technology(佐治亚理工学院)
提出Pieceformer框架,利用混合消息传递和图变换器实现可扩展的自监督图相似性评估,在VLSI设计知识迁移中降低MAE 24.9%并减少89%运行时间。
2025-06-18 cs.LG cs.SY eess.SY
Unsupervised Learning for Identifying High Eigenvector Centrality Nodes: A Graph Neural Network Approach
NTU Singapore(新加坡南洋理工大学)
现有的计算特征向量中心性(EC)的方法往往不足以鲁棒地以低时间复杂度确定EC或者对于大型网络来说不具有良好的可扩展性,因此使得它们实际上不可靠/计算昂贵。因此,开发一种在低计算时间内可扩展的方法是至关重要的。因此,我们提出了一个深度学习模型,用于识别具有高特征向量中心性的节点。在用监督学习方法识别高排名节点方面已经有一些先前的工作,但是在现实世界的情况下,图没有被标记,因此部署监督学习方法变得危险并且其使用变得不切实际。因此,我们设计了CUL(Centrality with无监督学习)方法,以无监督的方式学习网络中的相对EC分数。为了实现这一点,我们开发了一个基于编码器-解码器的框架,该框架将节点映射到各自的估计EC分数。在不同的合成和真实世界的网络上进行了广泛的实验。我们比较了CUL对EC估计类似的一些过去的作品的基线监督方法。据观察,即使在极少量的训练数据集上进行训练,CUL在识别排名较高的节点时也比其监督的对应节点提供了相对更好的准确性得分。我们还表明,CUL是更快,有一个更小的运行时间比传统的基线方法EC计算。该代码可在https://github.com/codexhammer/CUL上获得。
2021-11-08 cs.AI cs.LG cs.SI
Scalable Semi-Supervised SVM via Triply Stochastic Gradients
Nanjing University of Information Science & Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司);University of Western Ontario(西安大略大学);University of Pittsburgh(匹兹堡大学)
半监督学习(Semi-supervised learning,SSL)在大数据时代发挥着越来越重要的作用,因为它可以有效地利用大量未标记样本来提高分类器的性能。半监督支持向量机(S $^3$ VM)是最有吸引力的SSL方法之一,但将S $^3$ VM扩展到核学习仍然是一个悬而未决的问题。最近,提出了一种双随机梯度(DSG)算法来实现核方法的高效和可扩展的训练。然而,DSG的算法和理论分析是基于凸性假设的,这使得它们不适合于非凸问题,如S $^3$ VM。为了解决这个问题,在本文中,我们提出了一个三重随机梯度算法S $^3$ VM,称为TSGS $^3$ VM。具体地,为了处理S $^3$ VM中涉及的两种类型的数据实例,TSGS $^3$ VM在每次迭代中对标记实例和未标记实例以及随机特征进行采样以计算三重随机梯度。我们使用近似梯度来更新解。更重要的是,我们对TSGS $^3$ VM建立了新的理论分析,保证了TSGS $^3$ VM能够收敛到一个稳定点。在多种数据集上的大量实验结果表明,TSGS $^3$ VM比现有的S $^3$ VM算法更高效,可扩展性更好.
2019-07-26 cs.LG stat.ML
Multimodal Generative Models for Scalable Weakly-Supervised Learning
Stanford University(斯坦福大学)
在描述自然现象时,多种模态往往同时出现。学习这些模态的联合表示应该会产生更深入和更有用的表示。以前的多模态输入生成方法要么不学习联合分布,要么需要额外的计算来处理丢失的数据。在这里,我们介绍了一个多模态的变分自编码器(MVAE),使用产品的专家推理网络和子采样的训练范式来解决多模态推理问题。值得注意的是,我们的模型共享参数,以便在任何缺失模式的组合下有效地学习。我们在四个数据集上应用MVAE,并使用更少的参数匹配最先进的性能。此外,我们表明MVAE是直接适用于弱监督学习,是不完全监督的鲁棒性。然后,我们考虑两个案例研究,一个学习图像变换-边缘检测,着色,分割-作为一组模态,其次是两种语言之间的机器翻译。我们在这一系列任务中发现了有吸引力的结果。
2018-11-12 cs.LG stat.ML
Scalable Semi-Supervised Aggregation of Classifiers
UC San Diego(加州大学圣地亚哥分校)
我们提出并经验评估一个有效的算法,学习聚集的二进制分类器的合奏的预测。该算法使用未标记数据的集合预测的结构,以产生显着的性能改进。它在不对集合的结构或起源做出假设的情况下做到了这一点,没有参数,并且像线性学习一样可扩展。我们经验证明这些性能增益与随机森林。
2015-11-11 cs.LG
Scalable Semi-Supervised Learning over Networks using Nonsmooth Convex Optimization
Aalto University(阿尔托大学);The University of Michigan(密歇根大学);INRIA Nancy Grand Est(法国国家信息与自动化研究所南锡-大东部研究中心)
我们提出了一种可扩展的方法,用于从海量网络结构数据集进行半监督(转导)学习。我们的方法半监督学习是基于代表的基本假设作为一个图形信号与小的总变化。要求表示潜在假设的图形信号的小的总变化对应于形成半监督学习的基础的中心平滑假设,即,形成聚类的输入点具有相似的输出值或标签。我们制定的学习问题作为一个非光滑的凸优化问题,我们解决了呼吁Nesterovs最优一阶非光滑优化方法。我们还提供了一个消息传递公式的学习方法,它允许在大数据框架中实现高度可扩展性。
2016-11-02 cs.DC cs.LG
GAR: An efficient and scalable Graph-based Activity Regularization for semi-supervised learning
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的基于图的方法半监督学习的问题,它认为是一个自适应的邻接的例子在整个训练的无监督部分。使用神经网络模型的预测推断的例子的相邻性,该模型首先由监督预训练初始化。然后,根据一种新的无监督目标更新这些预测,该目标正则化另一个邻接,现在连接输出节点。从网络的预测中推断出的输出节点的邻接规则化,创建了一个更容易的优化问题,并最终使网络的预测变成最佳嵌入。最终,所提出的框架提供了一个有效的和可扩展的基于图的解决方案,这是自然的深层神经网络的操作机制。我们的研究结果表明,与最先进的生成方法的半监督学习的一个机器人到训练,低成本的框架相当的性能。
2020-08-05 cs.LG
Weakly Supervised Scalable Audio Content Analysis
Carnegie Mellon University(卡内基梅隆大学)
音频事件检测是多媒体数据内容分析的一项重要任务。当前大多数关于音频事件检测的工作是通过监督学习方法来驱动的。我们提出了一个弱监督学习框架,它可以利用大量的Web多媒体数据,显着减少注释工作和费用。具体来说,我们使用几个多实例学习算法,以表明通过弱标签的音频事件检测是可行的。我们还提出了一种新的可扩展的多实例学习算法,并表明其竞争力与其他多实例学习算法的音频事件检测任务。
2016-06-12 cs.LG cs.MM cs.SD
Comments on 'Fast and scalable search of whole-slide images via self-supervised deep learning'
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
本文是针对Chen等人提出的SISH组织学图像搜索方法的评论,指出该方法是Yottixel的增量改进、未引用MinMax二值化原始文献且命名不当,同时提及实验对比方面的其他问题。
2023-06-14 cs.CV cs.LG eess.IV
Self-supervised learning for fast and scalable time series hyper-parameter tuning
Purdue University(普渡大学);Facebook Inc.(脸书公司)
时间序列模型的超参数在时间序列分析中起着重要的作用。对于给定的模型,超参数的微小差异可能导致非常不同的预测结果,因此,选择好的超参数值是必不可少的。现有的大多数通用超参数整定方法,如网格搜索、随机搜索、贝叶斯最优搜索,都是基于一个关键部分-搜索,因此它们计算量大,并且不能应用于快速和可扩展的时间序列超参数整定(HPT)。我们提出了一个HPT的自监督学习框架(SSL-HPT),它使用时间序列特征作为输入,并产生最优的超参数。与其他基于搜索的算法相比,SSL-HPT算法在获得超参数方面的速度快6- 20倍,同时在各种应用中产生相当准确的预测结果。
2021-02-10 cs.LG
Scalable and Weakly Supervised Bank Transaction Classification
该研究提出一种基于弱监督、NLP与深度神经网络的可扩展银行交易分类方法,借助启发式规则与领域知识减少对人工标注的依赖,构建端到端数据流水线,性能优于市场领先方案,可支撑财务报告、风控等金融应用。
2023-06-10 cs.LG
Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams
Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学);Johannes Kepler University(约翰内斯·开普勒大学);La Trobe University(乐卓博大学);Universitas Muhammadiyah Malang(玛琅穆罕默迪亚大学)
大规模数据流问题是指在传统计算平台下无法以可扩展的方式处理的高速信息流。这个问题还带来了昂贵的标签成本,使得部署完全监督算法不可行。另一方面,半监督的大规模数据流的问题很少在文献中探讨,因为大多数作品都是在传统的单节点计算环境中设计的,同时也是完全监督的方法。本文提出了弱监督可扩展教师强迫网络(WeScatterNet),以同时应对标记样本的稀缺性和大规模数据流。WeScatterNet是在Apache Spark的分布式计算平台下构建的,采用无数据模型融合策略,在并行计算阶段后进行模型压缩。它具有一个开放的网络结构,以解决全球和本地漂移的问题,同时集成了数据增强,注释和自动校正($DA^3$)的方法来处理部分标记的数据流。WeScatterNet的性能进行了数值评估,在六个大规模的数据流问题,只有$25\%$标签比例。即使与具有$100\%$标签比例的完全监督学习器相比,它也显示出高度竞争性的性能。
2021-06-26 cs.AI cs.DC cs.LG
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们的目标是开发一个简单的和可扩展的强化学习算法,使用标准的监督学习方法作为子程序。我们的目标是一个算法,只利用简单和收敛的最大似然损失函数,同时也能够利用政策外的数据。我们提出的方法,我们称之为加权回归(AWR),由两个标准的监督学习步骤:一个回归到目标值的价值函数,另一个回归到加权目标行动的政策。该方法简单而通用,可以适应连续和离散的动作,并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时,将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR,并表明与许多成熟的最先进的RL算法相比,它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略,而无需额外的环境交互。此外,我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
A graphical heuristic for reduction and partitioning of large datasets for scalable supervised training
Gstech Technology Pvt. Ltd.(Gstech科技私人有限公司);RWTH Aachen University(亚琛工业大学)
提出了一种可扩展的图形方法,用于选择和划分分类任务训练阶段的数据集。对于启发式算法,要求聚类算法的计算成本与任务本身成合理的比例。该步骤通过使用近似最近邻方法构建底层分类模式的信息图来进行。所提出的方法由两种方法组成,一种用于减少给定的训练集,另一种用于划分所选择的/减少的集合。启发式算法针对大型数据集,因为主要目标是在不影响预测准确性的情况下显著减少训练计算运行时间。测试结果表明,这两种方法显着加快了训练任务相比,最先进的收缩启发式LIBSVM。此外,这些方法在预测精度方面紧随其后甚至超越。一个网络设计也提出了基于分区的分布式训练配方。增加的速度在训练运行时观察相比,串行实现的方法。
2019-07-24 cs.DC cs.LG stat.ML
SNP2Vec: Scalable Self-Supervised Pre-Training for Genome-Wide Association Study
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Center for Neurodegenerative Diseases(香港神经退行性疾病中心);Shenzhen–Hong Kong Institute of Brain Science(深港脑科学研究所);HKUST Shenzhen Research Institute(香港科技大学深圳研究院)
自我监督的预训练方法在文本、图像和语音的理解方面带来了显着的突破。基因组学的最新发展也采用了这些用于基因组理解的预训练方法。然而,他们只专注于理解单倍体序列,这阻碍了他们对理解遗传变异的适用性,也称为单核苷酸多态性(SNP),这对全基因组关联研究至关重要。在本文中,我们介绍了SNP2Vec,这是一种用于理解SNP的可扩展的自监督预训练方法。我们应用SNP2Vec进行长序列基因组学建模,并评估我们的方法在中国队列中预测阿尔茨海默病风险的有效性。我们的方法显著优于现有的多基因风险评分方法和所有其他基线,包括完全用单倍体序列训练的模型。我们在https://github.com/HLTCHKUST/snp2vec上发布代码和数据集。
2022-04-14 cs.AI cs.LG
Scalable semi-supervised dimensionality reduction with GPU-accelerated EmbedSOM
Faculty of Mathematics and Physics of Charles University(查理大学数学与物理学院);Luxembourg Centre for Systems Biomedicine, University of Luxembourg(卢森堡大学卢森堡系统生物医学中心);Institute of Haematology and Blood Transfusion(血液学与输血研究所);Institute of Organic Chemistry and Biochemistry(有机化学与生物化学研究所)
简化方法作为可视化工具在不同的科学领域有着广泛的应用。虽然存在许多不同的方法,但它们的性能通常不足以提供对许多当代数据集的快速洞察,并且无监督的使用模式阻止用户利用这些方法进行数据集探索和微调细节以提高可视化质量。我们提出了一种高性能的半监督降维软件,用于对具有数百万个数据点的高维数据集进行交互式用户可操纵的可视化。RISTOSOM建立在嵌入式SOM算法的GPU加速实现基础上,并辅以几种基于地标的算法,用于将无监督模型学习算法与用户监督相结合。我们展示了在现实数据集上的CNOSOM应用,它有助于生成高质量的可视化,其中包含用户指定的布局并专注于某些功能。我们相信半监督降维将提高单细胞细胞计数等科学领域的数据可视化可能性,并为数据集探索和注释的新方向提供快速有效的基础方法。
2022-01-03 cs.DC cs.LG stat.ML
A Scalable Technique for Weak-Supervised Learning with Domain Constraints
Intuit AI Research(财捷人工智能研究院)
提出一种可扩展端到端弱监督流水线,利用符号领域知识作为约束学习神经网络对未标记数据进行分类,通过同时考虑多个训练示例重写约束以利用高效优化技术,在MNIST变体任务上展现出显著优于先前方法的可扩展性。
2023-10-19 cs.AI cs.LG
Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
研究针对高维系统中智能系统自适应要求间的矛盾,聚焦回声状态网络,提出基于扰动学习成本正交分解的在线自监督学习规则,降低有效扰动维度,避免方差增长,为可扩展及硬件兼容学习提供设计原则。
2026-07-29 cs.LG cs.NE
Large-scale semi-supervised learning with online spectral graph sparsification
Inria Lille – Nord Europe(Inria里尔–北欧)
本文提出Sparse-HFS算法,通过O(n polylog(n))空间和O(m polylog(n))时间高效解决半监督学习问题。
2026-10-06 cs.LG stat.ML
Fast and Scalable Semi-Supervised Learning for Multi-View Subspace Clustering
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
针对现有多视图子空间聚类方法计算复杂度高的问题,提出了具备线性复杂度的FSSMSC方法,通过统一优化模型同步学习锚图与标签传播,结合交替更新算法和低维表示推导实现高效聚类,经多规模基准实验验证了其有效性与高效性。
2024-08-11 cs.LG
Scalable Semi-supervised Learning with Graph-based Kernel Machine
Deakin University(迪肯大学)
获取标签通常成本高昂,而在现代机器学习应用中,未标记的数据通常很容易获得。半监督学习提供了一个原则性的机器学习框架来解决这种情况,并已成功应用于许多实际应用和行业。然而,大多数现有的半监督学习方法在应用于现代和大规模数据集时遇到两个严重的限制:计算负担和内存使用需求。为此,我们在本文中提出了基于图的半监督核机器(GKM),一种方法,利用基于核的方法的泛化能力与几何和分布的信息,制定通过频谱图诱导数据的半监督学习的目的。我们提出的GKM可以直接求解的原始形式,使用随机梯度下降法与理想的收敛速度$O(\frac{1}{T})$。此外,我们的公式适用于机器学习文献中广泛的重要损失函数(例如,铰链、平滑铰链、Logistic、L1和ε不敏感)和平滑函数(即,$l_p(t) = |t|^p$与$p\ge1$)。我们进一步表明,著名的拉普拉斯支持向量机是一个特殊的情况下,我们的配方。我们在几个基准数据集上验证了我们提出的方法,以证明GKM适用于大规模数据集,因为它在内存使用方面是最佳的,并且产生了优异的分类精度,同时与最先进的基线相比,实现了显着的计算速度提高。
2017-04-06 cs.LG
Kempe Swap K-Means: A Scalable Near-Optimal Solution for Semi-Supervised Clustering
Georgia Institute of Technology(佐治亚理工学院)
本文提出Kempe Swap K-Means算法,通过双重迭代过程在约束空间中优化聚类,结合可控扰动提升全局搜索能力,实现高效且可扩展的半监督聚类解决方案。
2026-03-28 cs.LG
Scalable Semi-supervised Landmark Localization for X-ray Images using Few-shot Deep Adaptive Graph
PAII Inc.(PAII公司);Ping An Technology(平安科技);University of Rochester(罗切斯特大学);University of Maryland(马里兰大学);Chang Gung Memorial Hospital(长庚纪念医院)
界标定位在医学图像分析中具有重要的作用。基于学习的方法,包括CNN和GCN,已经证明了最先进的性能。然而,这些方法中的大多数都是完全监督的,并且严重依赖于对大型训练数据集的手动标记。本文在基于图的全监督DAG方法的基础上,提出了一种半监督的DAG方法,称为Few-Shot DAG,\ie five-shot DAG。它首先在标记数据上训练DAG模型,然后使用师生SSL机制在未标记数据上微调预训练模型。除了半监督损失之外,我们还提出了另一种损失,使用JS散度来调节中间特征图的一致性。我们广泛评估了我们的方法在骨盆,手和胸部地标检测任务。我们的实验结果表明,一致的和显着的改进,比以前的方法。
2021-04-29 cs.AI cs.CV cs.LG
LocalEscaper: A Weakly-supervised Framework with Regional Reconstruction for Scalable Neural TSP Solvers
School of Computer Science, Huazhong University of Science and Technology, China(华中科技大学计算机学院);Department of Computer Science, Cornell University, United States(康奈尔大学计算机系)
针对神经TSP求解器中SL依赖高质量标注与RL效率低的问题,提出弱监督框架LocalEscaper,结合SL与RL优势在低质量标签上训练,并引入区域重建策略缓解局部最优问题,显著提升求解质量。
2025-09-17 cs.AI cs.LG
RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心 (MCML))
提出统一前馈变压器RayDer,将相机估计、场景重建和渲染整合为单一骨干,实现自监督新视角合成的可扩展幂律缩放,在零样本开放集性能上媲美有监督方法。
2026-05-29 cs.AI cs.CV cs.LG
Survival Reinforcement Learning: Toward Scalable Self-Supervised RL
Inria and École Normale Supérieure PSL Research University(Inria 和 法国国家科学研究中心巴黎大学)
提出生存强化学习(SRL),一种基于在线分类的方法,通过最大化智能体在目标状态停留时间来解决对比强化学习中的均匀性-容忍性困境,在长时程运动任务上性能提升2至8倍。
2026-09-21 cs.LG
Scalable Deep Graph Clustering with Random-walk based Self-supervised Learning
The Ohio State University(俄亥俄州立大学);Kent State University(肯特州立大学);Augusta University(奥古斯塔大学)
本文提出可扩展深度图聚类算法RwSL,将拉普拉斯平滑与广义PageRank关联,利用随机游走图滤波器和自监督小批量训练,在百万级节点和18亿条边的图上实现高效聚类。
2023-01-18 cs.LG cs.SI
Semi-Supervised Learning with Deep Generative Models
Google DeepMind(谷歌DeepMind)
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法,并开发了新的模型,允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止,生成式方法要么不灵活,效率低下,要么不可扩展。我们表明,利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进,使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中,我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,使用精确-召回曲线下的面积(AUPRC)度量,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示,这些张量表示可以与其他图像源相结合,旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
Semi-Supervised Learning via Sparse Label Propagation
Aalto University(阿尔托大学);The University of Michigan(密歇根大学)
本文提出了一种新的基于部分标记的海量网络结构数据集的半监督学习方法,网络上的大数据我们对底层假设进行建模,该假设将数据点与标签联系起来,作为图形信号,定义在数据集固有的某些图形(网络)结构上。遵循监督学习的关键原则,即,相似的输入产生相似的输出,我们要求由标签引起的图信号具有小的总变化。因此,我们将学习数据点标签的问题公式化为非光滑凸优化问题,其相当于在经验损失之间进行平衡,即,与某些部分可用的标签信息的差异,以及由所学习的图形信号的总变化量化的平滑度。我们解决这个优化问题,呼吁最近提出的预处理变形流行的原始-对偶方法的Pock和Chambolle,这导致在一个稀疏的标签传播算法。这种学习算法允许高度可伸缩的实现,如在底层数据图上传递消息。通过将压缩感知的概念应用于学习问题,我们还能够提供底层网络结构的透明充分条件,从而可以准确学习标签。我们还提出了一个实现的消息传递公式允许在大数据框架中的高度可扩展的实现。
2017-05-15 cs.LG stat.ML
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Scalable Kernel Learning via the Discriminant Information
Princeton University(普林斯顿大学)
核近似方法创建显式的低维核特征映射,以处理标准技术的高计算和存储复杂性。这项工作研究了一种监督核学习方法来优化这种映射。我们利用判别信息标准,一种与判别分析有很强联系的类可分性度量。通过推广这种措施,以涵盖更广泛的内核映射和学习设置,我们开发了可扩展的方法来学习具有高鉴别力的内核功能。在几个数据集上的实验结果表明,我们的技术可以提高最先进的核学习方法的优化和泛化性能。
2020-02-14 cs.LG stat.ML
Towards Scalable SOAP Note Generation: A Weakly Supervised Multimodal Framework
Department of Computer Science, University of Maryland, Baltimore County(计算机科学系,马里兰大学巴尔的摩县分校);Department of Dermatology, Johns Hopkins University School of Medicine(皮肤科系,约翰霍普金斯大学医学院)
针对临床手动生成SOAP病历负担重、标注数据需求大的问题,提出弱监督多模态框架,可基于有限输入生成结构化SOAP病历,性能对标主流大模型,并推出两个新的临床质量评估指标。
2025-06-12 cs.AI cs.CV cs.LG
Supervised learning of random quantum circuits via scalable neural networks
Università di Camerino(卡梅里诺大学);INFN-Sezione di Perugia(意大利国家核物理研究所佩鲁贾分部);CNR-INO(意大利国家研究委员会-国家光学研究所)
该研究提出可扩展的深度卷积神经网络,通过独热编码表示量子电路,在随机量子电路输出期望值预测任务中表现优于部分小型量子器件,且支持迁移学习外推大电路、具备强抗噪性。
2022-06-24 cond-mat.dis-nn cs.LG quant-ph
Semi-Supervised Classification with Graph Convolutional Networks
University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究院)
我们提出了一种可扩展的方法,半监督学习的图形结构的数据,是基于一个有效的变种卷积神经网络,直接在图上操作。我们通过谱图卷积的局部一阶近似来激励我们的卷积架构的选择。我们的模型在图边缘的数量上线性缩放,并学习对局部图结构和节点特征进行编码的隐藏层表示。在引文网络和知识图谱数据集上的大量实验中,我们证明了我们的方法明显优于相关方法。
2017-02-22 cs.LG stat.ML
An Adapter Based Pre-Training for Efficient and Scalable Self-Supervised Speech Representation Learning
Huawei R&D UK(华为英国研发中心)
我们提出了一种将预训练的自监督(SSL)语音表示转换为多种语言的方法。有大量未注释的语音,因此从原始音频创建自监督表示并在小的注释数据集上进行微调是构建语音识别系统的一个有前途的方向。SSL模型通常在预训练阶段对原始音频执行SSL,然后对一小部分注释数据进行微调。这些模型已经产生了ASR的最新结果。然而,这些模型的预训练非常昂贵。我们使用现有的wav2vec 2.0模型,并在利用现有模型知识的同时解决学习新语言表示的问题。至关重要的是,我们这样做不会灾难性地忘记现有的语言表征。我们使用适配器模块来加速预训练新的语言任务。我们的模型在学习新的语言任务时可以将预训练时间减少32%,并且在不忘记以前的语言表示的情况下学习这种新的音频语言表示。我们通过将这些语言表示应用于自动语音识别来进行评估。
2022-02-07 cs.CL cs.LG cs.SD
Self-Supervised Weight Templates for Scalable Vision Model Initialization
School of Computer Science and Engineering, Southeast University, Nanjing, China(计算机科学与工程学院,东南大学,南京,中国);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及其交叉应用重点实验室(东南大学),教育部,中国)
SWEET通过自监督方法学习共享权重模板和尺寸特定缩放器,实现视觉模型的可扩展初始化,提升不同深度和宽度架构的适应性与泛化能力。
2026-01-27 cs.CV cs.LG
Scalable Graph Self-Supervised Learning
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对图自监督学习中损失计算复杂度随节点数和维度增加的问题,提出基于节点或维度采样的方法降低协方差矩阵计算成本,实验证明该方法在保持甚至提升下游性能的同时有效减少了计算开销。
2024-02-14 cs.AI cs.LG
Convex and Scalable Weakly Labeled SVMs
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);Hong Kong University of Science & Technology(香港科技大学)
在本文中,我们研究了弱标记数据的学习问题,其中的训练样本的标签是不完整的。这包括,例如,(i)标签部分已知的半监督学习;(ii)标签隐含已知的多实例学习;以及(iii)标签完全未知的聚类。与监督学习不同,弱标签学习涉及困难的混合编程(MIP)问题。因此,它的可扩展性很差,也可能陷入局部最小值。在本文中,我们专注于支持向量机,并提出了WellSVM通过一种新的标签生成策略。这导致原始MIP的凸松弛,其至少与现有凸半定规划(SDP)松弛一样紧。此外,WellSVM可以通过一系列SVM子问题来解决,这些子问题比以前的凸SDP松弛更具可扩展性。在三个弱标记学习任务上的实验,即(i)半监督学习;(ii)基于内容的信息检索中定位感兴趣区域的多示例学习;以及(iii)聚类,清楚地表明了改进的性能,并且WellSVM也很容易适用于大数据集。
2013-08-22 cs.LG
Analysis of Network Lasso for Semi-Supervised Regression
Aalto University(阿尔托大学)
我们将网络Lasso应用于涉及网络结构化数据的半监督回归问题。这种方法非常自然地适用于高度可扩展的学习算法,其形式是通过代表数据网络结构的经验图传递消息。通过使用一个简单的非参数回归模型,这是由聚类假设的动机,我们提供了一个网络Lasso的估计误差的分析。该分析揭示了保证网络Lasso准确的网络结构和可用训练数据的条件。值得注意的是,网络Lasso的准确性与经验图上存在足够大的网络流有关。因此,我们的分析揭示了网络Lasso和最大流问题之间的联系。
2018-12-27 cs.LG stat.ML
Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation
AIKO
该研究提出基于地理隔离的无标签代理指标,将其集成到MoCoV2和MAE预训练中,在CopernicusBench的三个下游任务上验证,可大幅降低预计算成本并提升下游性能。
2026-08-21 cs.CV cs.LG
LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
Brown University(布朗大学);New York University (NYU)(纽约大学);Meta-FAIR
针对现有JEPAs缺乏理论与实践指导的问题,本文提出具备理论支撑的自监督学习框架LeJEPA,通过SIGReg正则化约束嵌入分布,无需启发式规则,在多数据集与架构上取得了优异表现。
2025-11-14 cs.AI cs.CV cs.LG
Large-Scale Semi-Supervised Learning via Graph Structure Learning over High-Dense Points
The Chinese University of Hong Kong(香港中文大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);City University of Hong Kong(香港城市大学)
我们专注于开发一种新的可扩展的基于图的半监督学习(SSL)方法,用于少量的标记数据和大量的未标记数据。由于标记数据的缺乏和大规模未标记数据的可用性,现有的SSL方法通常会遇到次优性能,因为不适当的图或高计算复杂性的大规模优化问题。在本文中,我们提出了解决这两个具有挑战性的问题,通过构建一个适当的图为基础的SSL方法。与现有方法不同的是,我们同时学习一个小的顶点集来表征输入数据的高密度区域和一个图来描述这些顶点之间的关系。然后,提出了一种新的方法来构造图的输入数据从学习图的少数顶点与一些优选的属性。在不显式计算输入的构造图的情况下,提出了两种基于图的转换SSL方法,其计算复杂性与输入数据的个数成线性关系.在不同规模的合成数据和真实数据集上的大量实验表明,该方法不仅对大规模数据具有良好的可扩展性,而且在标签数量极少的情况下也能获得良好的分类性能.
2019-12-04 cs.LG stat.ML
Diffusion Autoencoders are Scalable Image Tokenizers
Meta;GenAI, Meta(元公司生成式人工智能部门)
提出扩散分词器DiTo,利用单一扩散L2损失训练可扩展图像分词器,简化训练流程,在图像重建与生成任务中达到与有监督最先进方法相当或更优的质量。
2025-01-30 cs.AI cs.CV cs.LG
Semi-supervised Learning with Contrastive Predicative Coding
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent(腾讯);Tsinghua University(清华大学)
半监督学习(SSL)提供了一个强大的框架,用于在标签有限或获取成本高昂时利用未标记的数据。基于深度神经网络的SSL算法最近在标准基准测试任务上被证明是成功的。然而,迄今为止,其中许多方法要么不灵活,效率低下,要么不可扩展。本文探讨了最近开发的对比预测编码技术,以提高深度学习模型在大部分标签缺失时的区分能力。本文提出了两个模型:cpc-SSL和一类条件变量~(ccpc-SSL)。它们通过提取(高维)数据的不同部分之间的共享信息来有效地利用未标记数据。所提出的方法是归纳的,并且可以很好地扩展到像ImageNet这样的非常大的数据集,使它们成为现实世界大规模应用的良好候选者。
2019-05-25 cs.LG stat.ML
Scalable partial information decomposition for symptom networks via supervised embeddings
University of Amsterdam(阿姆斯特丹大学)
提出ePID,通过监督嵌入压缩症状网络实现可扩展部分信息分解,在PHQ-9和IRI数据上揭示冗余与协同贡献的差异,为症状网络分析提供新工具。
2026-09-15 cs.IT cs.LG math.IT
PORTAL: Scalable Tabular Foundation Models via Content-Specific Tokenization
SAP France(思爱普法国);SAP SE(思爱普SE)
本文提出PORTAL框架,通过逐行预训练和内容特定分词,无需数据清洗即可处理多模态表格数据,并在分类和回归任务上达到最先进水平。
2024-10-17 cs.LG
Self-Supervised Scalable Deep Compressed Sensing
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对深度压缩感知方法依赖标注真值数据、泛化性不足的问题,提出含SCL学习方案与SCNet网络的自监督可扩展方法,无需真值即可适配任意采样配置,性能优于现有自监督方法,具备媲美监督方法的潜力。
2024-08-14 cs.CV cs.LG eess.SP
Semi-Supervised Phone Classification using Deep Neural Networks and Stochastic Graph-Based Entropic Regularization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Washington(华盛顿大学)
我们在深度神经网络的背景下描述了一个基于图的半监督学习框架,该框架使用基于图的熵正则化器来支持由数据诱导的图上的平滑解。这项工作的主要贡献是一个计算效率高,随机图形正则化技术,使用小批量是一致的图形结构,但也提供了足够的随机性(在小批量数据的多样性)的随机梯度下降方法收敛到好的解决方案。在这项工作中,我们专注于TIMIT语音语料库上的帧级电话分类精度的结果,但我们的方法是通用的,可扩展到更大的数据集。实验结果表明,当标记数据比例较低时,该方法与全监督方法相比,分类精度有了显著提高,在全标记情况下,该方法与其他方法相比具有较强的竞争力。
2018-05-30 cs.LG stat.ML
Robust Semi-Supervised Classification for Multi-Relational Graphs
Stony Brook University(石溪大学)
图正则化半监督学习已被有效地用于分类时,(i)通过图连接的实例,(ii)标记的数据是稀缺的。如果可用,在实例之间使用多个关系(或图)可以提高预测性能。另一方面,当这些关系具有不同的准确性水平,并表现出不同的相关性的任务,非常嘈杂和/或不相关的关系可能会恶化的性能。因此,需要制定一个有效的衡量方案。在这项工作中,我们提出了一个强大的和可扩展的多关系图正则化半监督分类方法。在凸优化方案下,我们同时推断多个图的权重以及解决方案。我们提供了一个仔细的分析推断的权重,基于此,我们设计了一个算法,过滤掉不相关的和嘈杂的图形,并产生权重成比例的信息的剩余图形。此外,所提出的方法是线性可扩展的w.r.t.多个图的并集中的边的数目。通过大量的实验,我们表明,我们的方法在不同的噪声模型下,以及在越来越多的噪声图形和噪声强度下,与基线列表和最先进的方法相比,可以产生更好的结果。
2015-10-19 cs.LG
Decoupled Self-supervised Learning for Non-Homophilous Graphs
The Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang University(浙江大学);Tongji University(同济大学)
针对现有图自监督学习依赖同配性假设的局限,提出解耦自监督学习框架DSSL,通过潜变量建模解耦邻域语义,推导证据下界并设计可扩展训练算法,在多类图基准上取得更优性能。
2023-10-02 cs.LG stat.ML
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
Affordable Uplift: Supervised Randomization in Controlled Experiments
Humboldt-Universität zu Berlin(柏林洪堡大学)
客户评分模型是可扩展直复营销的核心。可持续发展模型提供了一个用于业务决策的治疗增量效益的估计。隆升模型的训练和监测需要实验数据。然而,在随机治疗分配下收集数据是昂贵的,因为随机靶向偏离了既定的靶向政策。为了提高实验的成本效益,方便频繁的数据汇集和模型训练,我们引入了监督随机化。这是一种新的方法,将现有的评分模型整合到随机试验中,以针对相关客户,同时通过对主动样本选择的校正来确保治疗效果的一致估计。经验蒙特卡罗研究表明,监督随机化下的数据汇集具有成本效益,而下游隆起模型具有竞争力。
2019-10-01 cs.LG stat.AP stat.ML
Time Series Generation with Masked Autoencoder
The Hong Kong University of Science and Technology(香港科技大学);Beijing Normal University(北京师范大学)
本文证明了带外推器的掩码自编码器(ExtraMAE)是一种可扩展的自监督时间序列生成模型。ExtraMAE随机屏蔽原始时间序列的一些补丁,并通过恢复被屏蔽的补丁来学习时间动态。我们的方法有两个核心设计。首先,ExtraMAE是自我监督的。监控允许ExtraMAE有效和高效地捕获原始时间序列的时间动态。其次,ExtraMAE提出了一个外推器来解开解码器的两个工作:恢复潜在表示并将其映射回特征空间。这些独特的设计使ExtraMAE在时间序列生成方面始终显著优于最先进的(SoTA)基准。轻量级架构还使ExtraMAE快速且可扩展。ExtraMAE在时间序列分类、预测和插补等各种下游任务中表现出色。作为一种自我监督的生成模型,ExtraMAE允许明确管理合成数据。我们希望本文将开创一个新的时代的时间序列生成与自监督模型。
2022-05-19 cs.LG