Supervised Quantile Normalization for Low-rank Matrix Approximation
Google Research, Brain Team(谷歌研究院脑团队);New York University(纽约大学)
低秩矩阵分解是机器学习中的基本构建块,例如用于总结基因表达谱数据或单词文档计数。为了对离群值和特征之间的尺度差异具有鲁棒性,矩阵因子分解步骤通常在ad-hoc特征归一化步骤之前,例如\texttt{tf-idf}缩放或数据白化。我们建议在这项工作中学习这些归一化运算符与因子分解本身。更确切地说,给定$n$个体上测量的$d$特征的$d\times n$矩阵$X$,我们建议学习分位数归一化算子的参数,该分位数归一化算子可以对$X$和/或其因子分解$UV$的值进行逐行操作,以提高$X$本身的低秩表示的质量。通过引入使用最优传输构建的新的可微分位数归一化算子来促进这种优化,从而在现有工作的基础上提供新的结果(Cuturi et al. 2019)。我们证明了这些技术在合成和基因组学数据集上的适用性。
2020-07-03 cs.LG stat.ML
Self-Supervised Learning of Generative Spin-Glasses with Normalizing Flows
The RAND Corporation(兰德公司);Google Research(谷歌研究院)
自旋眼镜是一种通用的模型,可以在统计物理和计算机科学的界面上捕获多体系统的复杂行为,包括离散优化,图形模型中的推理和自动推理。由于其状态空间的组合爆炸,计算这种复杂系统的底层结构和动力学是非常困难的。在这里,我们开发了深度生成的连续自旋玻璃分布与规范化流模型相关性在一般的离散问题。我们使用一个自监督学习范例,通过自动生成的数据,从自旋玻璃本身。我们证明了自旋玻璃相的关键物理和计算性质可以成功地学习,包括亚稳态之间的多模态稳态分布和拓扑结构。值得注意的是,我们观察到,学习本身对应于训练的归一化流层内的自旋玻璃相变。逆归一化流学习执行可逆的多尺度粗粒度操作,这与典型的不可逆重整化群技术非常不同。
2020-01-10 cond-mat.dis-nn cs.LG quant-ph
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University(延世大学)
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题,提出采用特征归一化技术衔接模块,结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Normalizing self-supervised learning for provably reliable Change Point Detection
Applied AI Center Skoltech(斯科尔科沃科学技术研究院应用人工智能中心)
针对传统无监督变化点检测(CPD)的局限性及表示学习方法缺乏理论基础的问题,本文将谱归一化(SN)整合到深度表示学习中,证明其嵌入对CPD的信息性,且在三个标准数据集上显著优于现有方法。
2024-12-03 cs.AI cs.LG
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
Google Research(谷歌研究院)
自监督对比表示学习已被证明在视觉和自然语言领域取得了令人难以置信的成功,能够以数量级更少的标记数据实现最先进的性能。然而,这些方法是特定于域的,并且很少有人在现实世界的表格数据集上利用这种技术。我们提出了SCARF,一个简单的,广泛适用的技术对比学习,其中的意见是通过破坏一个随机子集的功能。当应用于在OpenML-CC 18基准测试的69个真实世界表格分类数据集上预训练深度神经网络时,SCARF不仅提高了全监督设置中的分类准确性,而且在存在标签噪声和半监督设置中也能做到这一点,其中只有一小部分可用的训练数据被标记。我们表明,SCARF补充现有的策略,并优于替代品,如自动编码器。我们进行全面的消融,详细说明一系列因素的重要性。
2022-03-15 cs.AI cs.LG
Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection
Global Energy Interconnection Development and Cooperation Organization(全球能源互联网发展合作组织);Beijing Key Laboratory of Mobile Computing and Pervasive Device, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所移动计算与新型终端北京市重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Microsoft Research(微软研究院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
无监督异常检测旨在通过仅对正常数据进行训练来构建模型以有效地检测不可见的异常。虽然以前的基于重建的方法已经取得了丰硕的进展,他们的推广能力是有限的,由于两个关键的挑战。首先,训练数据集只包含正常模式,这限制了模型的泛化能力。其次,现有模型学习的特征表示往往缺乏代表性,这阻碍了保持正常模式多样性的能力。在本文中,我们提出了一种新的方法称为自适应记忆网络与自监督学习(AMSL),以解决这些挑战,并提高泛化能力,在无监督的异常检测。基于卷积自动编码器结构,AMSL结合了一个自监督学习模块来学习一般的正常模式和一个自适应记忆融合模块来学习丰富的特征表示。在四个公开的多变量时间序列数据集上的实验表明,AMSL显著提高了性能相比,其他国家的最先进的方法。具体而言,在具有9亿个样本的最大CAP睡眠阶段检测数据集上,AMSL在准确性和F1评分方面均优于第二好基线\textbf{4} \%+。除了增强的泛化能力,AMSL对输入噪声也更鲁棒。
2022-01-03 cs.AI cs.LG
GPS-MTM: Capturing Pattern of Normalcy in GPS-Trajectories with self-supervised learning
ECE Department(电子工程系);University of California(加州大学)
GPS-MTM是一种基于双向Transformer和自监督掩码建模的轨迹基础模型,将移动分解为状态和动作两种模态,在多个基准数据集上优于现有方法,尤其擅长动态任务中的上下文推理。
2025-10-08 cs.AI cs.CV cs.LG
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research(Declic人工智能研究院);CESI LINEACT Laboratory(CESI LINEACT实验室);Université Paris-Est(巴黎东部大学);UPEC(巴黎第十二大学)
本文提出一种集成生成式自监督学习(SSL)与残差图Transformer的前沿方法,通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号,在多数据集上持续优于基线方法,增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
Semi-supervised Node Importance Estimation with Informative Distribution Modeling for Uncertainty Regularization
Cornell University(康奈尔大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对异构图中节点重要性仅有部分标注的问题,提出首个半监督框架 EASING,通过深度编码-解码器 DJE 的分布建模联合预测重要性与不确定性,并生成伪标签进行异方差正则化学习。
2025-05-12 cs.LG
PRISM: Prioritized Channel Importance with Semi-supervised Domain Adaptation for Cross-Subject EEG Emotion Recognition
School of Computing, T. J Watson College of Engineering and Applied Science, Binghamton University - State University of New York(计算学院、T.J Watson工程与应用科学学院、宾夕法尼亚州立大学宾夕法尼亚州立大学)
提出PRISM框架,通过可微分通道加权和置信度过滤伪标签的半监督域适应,解决脑电情绪识别中的通道冗余和跨被试差异问题,在三个数据集上超越现有方法。
2026-07-02 cs.LG
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN(巴黎第十三大学计算机科学实验室);Université Sorbonne Paris Nord(索邦巴黎北大学);INRIA Paris(法国国家信息与自动化研究所巴黎分部)
尽管变分自编码器(VAE)广泛用于半监督学习,但它们工作的原因仍不清楚。事实上,添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析,我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明,鉴于这一观察结果,有可能获得更精细的控制的效果,无监督的目标上的训练过程。使用重要性加权,我们得到两个新的目标,优先考虑部分观察到的潜在变量,或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进,并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
Importance of user inputs while using incremental learning to personalize human activity recognition models
University of Oulu(奥卢大学)
在这项研究中,用户输入的重要性进行了研究的背景下,个性化的人类活动识别模型,使用增量学习。使用来自三个身体位置的惯性传感器数据,并且分类基于Learn++集成方法。比较了三种不同的模型更新方法:非监督、半监督和监督。非监督方法完全依赖于预测标签,监督完全依赖于用户标记的数据,而所提出的半监督学习方法是这两者的组合。事实上,我们的实验表明,通过依赖于高置信度的预测标签,并要求用户只标记不确定的观察结果(根据所使用的基本分类器,从12%到26%的观察结果),几乎可以实现与使用监督方法一样低的出错率。事实上,差异小于2%-单位。此外,与非监督方法不同,半监督方法不会遭受剧烈的概念漂移,因此,非监督方法的出错率超过5%,比使用半监督方法高。
2019-05-28 cs.CV cs.HC cs.LG
Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning
Tencent Hunyuan(腾讯文言);Tencent Yuanbao(腾讯元宝);Peking University(北京大学);UESTC;University of New South Wales(新南威尔士大学)
本文提出EPI框架,通过动态调整参数隔离策略,减少训练中的任务干扰和遗忘,提升模型泛化能力。
2026-04-15 cs.CL cs.LG
Speaker Normalization for Self-supervised Speech Emotion Recognition
IBM Research AI(IBM研究院人工智能部门)
大的语音情感识别数据集很难获得,小的数据集可能包含偏见。而基于深度网络的分类器则倾向于利用这些偏见,并找到说话者特征等捷径。这些捷径通常会损害模型的泛化能力。为了解决这一挑战,我们提出了一个基于梯度的对手学习框架,学习语音情感识别任务,同时规范化扬声器的特征表示。我们证明了我们的方法在独立于说话者和依赖于说话者的设置上的有效性,并在具有挑战性的IEMOCAP数据集上获得了新的最先进的结果。
2022-11-06 cs.LG
Supervised Batch Normalization
针对批量归一化在多样数据分布下失效的问题,提出监督批量归一化,通过预识别数据模式实现有效归一化,在CIFAR-100上提升15.13%准确率,并在域适应中优于BN。
2024-05-27 cs.LG
Splines-Based Feature Importance in Kolmogorov-Arnold Networks: A Framework for Supervised Tabular Data Dimensionality Reduction
Research Group(研究组);African Institute for Mathematical Sciences, Research and Innovation Centre (AIMSRIC)(非洲数学科学研究所、研究与创新中心(AIMSRIC))
本文提出基于Kolmogorov-Arnold网络的特征选择方法,通过样条参数化特征变换并计算特征重要性,对比LASSO、随机森林等传统方法,在多个数据集上展示其在分类和回归任务中的竞争力。
2026-03-19 cs.LG
The Importance of Norm Regularization in Linear Graph Embedding: Theoretical Analysis and Empirical Demonstration
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
学习图中节点的分布式表示是网络分析中的一个重要基础,具有广泛的应用。线性图嵌入方法通过优化正边和负边的可能性同时约束嵌入向量的维度来学习这种表示。我们认为,这些方法的推广性能是由于通常认为的维数约束,而是嵌入向量的小范数。理论和经验证据都支持这一论点:(a)我们证明了这些方法的泛化误差可以通过限制向量的范数来限制,而不管嵌入维数如何;(b)我们证明了线性图嵌入方法的泛化性能与嵌入向量的范数相关,由于SGD的早期停止和消失梯度,嵌入向量的范数很小。我们进行了大量的实验来验证我们的分析,并展示了在实践中适当的范数正则化的重要性。
2018-10-12 cs.LG
Robust Image Analysis by L1-Norm Semi-supervised Learning
Peking University(北京大学)
通过对基于图的半监督学习的关键步骤拉普拉斯正则化给出新的L1范数形式,提出了一种新的L1范数半监督学习算法.由于我们的L1范数拉普拉斯正则化直接定义在归一化拉普拉斯矩阵的特征向量上,因此我们成功地将半监督学习表示为L1范数线性重建问题,可以通过稀疏编码有效地解决。通过只使用特征向量的一个小子集,我们进一步为我们的L1范数半监督学习开发了一个快速稀疏编码算法。由于稀疏编码所带来的稀疏性,该算法能够在一定程度上处理数据中的噪声,因此在抗噪声的图像分类以及视觉和文本词袋(BOW)模型的降噪等鲁棒图像分析中具有重要的应用。特别是,本文是第一次尝试获得强大的图像表示稀疏共同细化的视觉和文本BOW模型。实验结果表明,该算法具有良好的性能。
2013-01-10 cs.CV cs.LG
On the Importance of Calibration in Semi-supervised Learning
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Rutgers University(罗格斯大学)
最先进的(SOTA)半监督学习(SSL)方法通过结合一致性正则化和伪标记技术,在利用标记和未标记数据的混合方面非常成功。在伪标记过程中,模型对未标记数据的预测用于训练,因此,模型校准在减轻确认偏差方面很重要。然而,许多SOTA方法针对模型性能进行了优化,很少关注改善模型校准。在这项工作中,我们的经验表明,模型校准与模型性能密切相关,并建议通过近似贝叶斯技术来提高校准。我们引入了一系列新的SSL模型,这些模型针对校准进行了优化,并在CIFAR-10、CIFAR-100和ImageNet的标准视觉基准测试中证明了它们的有效性,测试精度提高了15.9%。此外,我们还证明了它们在其他现实和具有挑战性的问题中的有效性,例如类不平衡数据集和光子科学。
2022-10-10 cs.CV cs.LG physics.app-ph
Un-normalized hypergraph p-Laplacian based semi-supervised learning methods
EPHE-PSL University(巴黎高等实践研究学院-PSL大学)
大多数基于网络的机器学习方法都假设网络中两个相邻样本的标签很可能是相同的。然而,假设样本之间的成对关系是不完整的。一组样本显示非常相似的模式,往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将样本的特征数据集表示为超图。因此,在本文中,我们将提出非规范化超图p-Laplacian半监督学习方法。这些方法将应用于动物园数据集和20个新闻组数据集的小型版本。实验结果表明,这些基于非规范化超图p-Laplacian的半监督学习方法的准确率性能指标明显高于基于非规范化超图Laplacian的半监督学习方法(目前最先进的方法基于超图Laplacian的半监督学习方法用于p=2的分类问题)的准确率性能指标。
2019-04-28 cs.LG stat.ML
Learning the Prediction Distribution for Semi-Supervised Learning with Normalising Flows
University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
随着数据量的持续增长,标记过程日益成为瓶颈,从而产生了对利用未标记数据中信息的方法的需求。在图像分类的半监督学习(SSL)中已经取得了令人印象深刻的结果,接近完全监督的性能,只有一小部分数据被标记。在这项工作中,我们提出了一个概率原则的一般方法SSL,认为分布在标签的预测,标签的不同复杂性,从“一个热”向量的二进制向量和图像。我们的方法正则化了一个底层的监督模型,使用一个标准化流来学习标记数据预测的后验分布,作为未标记数据预测的先验。我们证明了这种方法在一系列具有不同输出复杂度的计算机视觉任务上的普遍适用性:分类,属性预测和图像到图像的翻译。
2020-07-06 cs.LG stat.ML
A Semi-Supervised Approach for Abnormal Event Prediction on Large Operational Network Time-Series Data
Department of Computer Science and Engineering(计算机科学与工程系);University of Minnesota, Twin Cities(明尼苏达大学,双城校区)
本文提出一种半监督方法,通过捕获网络时间序列间及跨时间点的依赖关系生成表示,利用有限标记数据和未标记数据学习可分离嵌入空间,在大型真实网络日志上显著优于现有异常事件检测方法。
2025-06-17 cs.LG
DRIFT: Decoupled Rollouts and Importance-Weighted Fine-Tuning for Efficient Multi-Turn Optimization
The Hong Kong University of Science(香港科学与技术大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对多轮交互中在线强化学习成本高而离线监督微调存在分布偏移的问题,提出DRIFT框架,通过将KL正则化强化学习目标等价转化为重要性加权监督学习,实现高效且稳定的多轮优化。
2026-05-29 cs.CL cs.LG
Importance Sampling CAMs for Weakly-Supervised Segmentation
Husqvarna Group(胡斯华纳集团);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
针对弱监督分割中CAMs仅关注判别区域且预测轮廓模糊的问题,提出基于重要性采样的随机类别预测和特征相似性损失项,显著提升了轮廓精度并保持了区域相似性。
2023-04-04 cs.CV cs.LG eess.IV
On the Importance of Gaussianizing Representations
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
受正态分布信息论性质启发,本文提出正态性归一化层,利用幂变换与加性高斯噪声促使神经网络特征表示服从正态分布,并通过实验证明其在泛化性能、模型规模变化适应性及鲁棒性方面的有效性。
2025-06-05 cs.LG
On normalization-equivariance properties of supervised and unsupervised denoising methods: a survey
Centre Inria de l’Université de Rennes(雷恩大学法国国家信息与自动化研究所中心)
本文综述了图像去噪中监督与无监督学习方法的主要原理和最新进展,并重点分析了大多数监督方法未能保证的归一化等变性特性及其重要性。
2024-02-23 cs.CV cs.LG
A novel evaluation methodology for supervised Feature Ranking algorithms
University of Groningen(格罗宁根大学)
在特征选择和可解释的人工智能领域中,都存在基于特征的重要性对其进行“排名”的愿望。这样的特征重要性排名可以用于:(1)减少数据集大小或(2)解释机器学习模型。然而,在文献中,这些特征排名并没有以系统、一致的方式进行评估。许多论文用不同的方式来讨论哪个特征重要性排名器最有效。本文填补了这一空白,提出了一种新的评价方法。通过使用合成数据集,可以预先知道特征重要性分数,从而允许更系统的评估。为了便于使用新方法进行大规模实验,在Python中构建了一个基准测试框架,称为fseval。该框架允许在HPC系统上并行运行和分布在机器上的实验。通过与名为Weights and Biases的在线平台集成,可以在实时仪表板上交互式地探索图表。该软件作为开源软件发布,并作为PyPi平台上的软件包发布。研究的结论是探索这样一个大规模的实验,以找到参与算法的优势和劣势,在许多方面。
2022-07-09 cs.AI cs.DC cs.LG
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
University of Michigan(密歇根大学)
无监督学习和监督学习是深度学习的关键研究课题。然而,随着用大量标签训练的高容量监督神经网络在许多计算机视觉任务中取得了显著的成功,大规模标记图像的可用性降低了无监督学习的重要性。受最近重新审视无监督学习重要性的趋势的启发,我们通过增强现有神经网络的解码路径来重建,在大规模环境中研究联合监督和无监督学习。首先,我们证明了预训练的大规模分类网络的中间激活几乎保留了输入图像的所有信息,除了一部分局部空间细节。然后,通过对整个增强架构进行端到端的训练,我们展示了监督任务的网络性能的改善。我们评估了几种变体的自动编码器,包括最近提出的“什么地方”的自动编码器,使用编码器池开关,研究架构设计的重要性。以ImageNet ILSVRC 2012协议下训练的16层VGGNet作为图像分类的强基线,我们的方法显著提高了验证集的准确性。
2016-06-21 cs.CV cs.LG
NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks
University of Oregon(俄勒冈大学);Baidu Research(百度研究院)
解释深度学习模型和模型预测的问题最近引起了人们的浓厚兴趣。许多成功的方法放弃了全局近似,以提供更忠实的局部解释模型的行为。LIME开发了多个可解释的模型,每个模型在数据流形的一个小区域上近似一个大的神经网络,SP-LIME聚合局部模型以形成全局解释。扩展这条研究路线,我们提出了一个简单而有效的方法,NormLIME聚合局部模型到全球和类特定的解释。一项人类用户研究强烈支持由NormLIME创建的特定于类的解释,而不是其他特征重要性度量。数值实验证实,NormLIME是有效的识别重要特征。
2019-10-15 cs.LG stat.ML
SFT-GO: Supervised Fine-Tuning with Group Optimization for Large Language Models
Center for Advanced AI, Accenture(Accenture高级人工智能研究中心)
针对现有监督微调对所有token一视同仁的局限,提出SFT-GO方法,按重要性分组token并优化最差组损失,提升模型在LLM基准上的性能。
2025-06-17 cs.AI cs.LG
PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear regression via Majorization Minimization with an application to semi-supervised graph learning
在本文中,我们考虑的问题,$\ell_{p}$范数线性回归,它有几个应用,如稀疏恢复,数据聚类,和半监督学习。这个问题,即使凸,不享有一个封闭的形式的解决方案。现有技术的算法是迭代的,但存在收敛问题,即,它们或者在p>3时发散,或者收敛到最优解对算法的初始化敏感。而且,这些算法不能推广到$p$的每个可能值。本文基于优化最小化原理,提出了一种求解$\ell_{P}$范数回归问题的迭代算法:并行迭代AlgOrithM(PROMPT),并证明了该算法是单调的,且对$p$的任意值都收敛于问题的最优解.该算法还可以快速更新回归变量的每个元素,这有助于有效地处理大规模数据,这是数据爆炸时代的常见情况。随后,我们表明,该算法也可以应用于基于图的半监督学习问题。我们通过数值模拟表明,该算法收敛到最优解的任何随机初始化,也比最先进的算法在收敛速度方面表现得更好。我们还评估了所提出的算法的性能,使用模拟和真实数据的基于图的半监督学习问题。
2021-10-23 cs.LG eess.SP
BR-SNIS: Bias Reduced Self-Normalized Importance Sampling
Centre de Mathématiques appliquées(应用数学中心);Ecole polytechnique(巴黎综合理工学院);HSE University(高等经济大学);AgroParisTech(巴黎高等农业与食品工业学院);KTH Royal Institute of Technology(KTH皇家理工学院)
重要性抽样(IS)是一种使用来自建议分布的独立样本和相关重要性权重来近似目标分布下的期望的方法。在许多应用中,目标分布仅知道到归一化常数,在这种情况下,可以使用自归一化IS(SNIS)。虽然使用自归一化可以对估计量的分散性产生积极影响,但它会引入偏差。在这项工作中,我们提出了一种新的方法,BR-SNIS,其复杂性基本上是相同的SNIS,并显着减少偏差,而不增加方差。这种方法是一种包装器,因为它使用与SNIS相同的建议样本和重要性权重,但巧妙地使用迭代采样-重要性响应(ISIR)来形成估计器的偏差减少版本。我们提出的算法与严格的理论结果,包括新的偏见,方差和高概率界,这些都是由数值例子说明。
2022-09-13 cs.LG stat.CO stat.ML
On Separate Normalization in Self-supervised Transformers
Tufts University(塔夫茨大学);Cornell University(康奈尔大学)
本文提出为自监督Transformer中的token和[CLS]符号分别设置独立归一化层,以更好捕捉各自特征,并在图像、自然语言和图任务上平均提升2.7%性能。
2023-11-28 cs.AI cs.CL cs.LG
NodeReg: Mitigating the Imbalance and Distribution Shift Effects in Semi-Supervised Node Classification via Norm Consistency
Soochow University(苏州大学);Westlake University(西湖大学)
提出NodeReg正则化方法,通过强制节点表示范数一致性,有效缓解半监督节点分类中邻居不平衡与噪声引发的分布外泛化问题,显著提升分类性能。
2025-03-05 cs.AI cs.LG
The importance of stain normalization in colorectal tissue classification with convolutional networks
Radboud University Medical Center(拉德堡德大学医学中心);Laboratorium Pathologie Oost Nederland(东荷兰病理学实验室)
在苏木精和伊红(H & E)染色的组织病理学图像中开发用于分析结直肠癌(CRC)的可靠成像生物标志物需要对图像中的主要组织成分进行准确且可再现的分类。在本文中,我们提出了一个基于卷积网络(ConvNets)的CRC组织分类系统。我们研究了染色归一化在H & E染色图像中CRC组织样本的组织分类中的重要性。此外,我们报告了ConvNets在一组直肠癌样本和一个独立的公开的结直肠H & E图像数据集上的性能。
2017-05-23 cs.CV cs.LG
Fast, Self Supervised, Fully Convolutional Color Normalization of H&E Stained Images
IIT Bombay(印度理工学院孟买分校);Nvidia(英伟达)
如果训练集和测试集的数据分布不同,深度学习算法的性能会急剧下降。由于染色方案、试剂品牌和技术人员习惯的差异,数字组织病理学图像中的颜色变化相当常见。颜色变化会给组织病理学中基于深度学习的自动诊断系统解决方案的部署带来问题。先前提出的颜色归一化方法考虑小块作为归一化的参考,这在分布外的源图像上产生伪影。这些方法也很慢,因为大多数计算都是在CPU而不是GPU上执行的。我们提出了一种颜色归一化技术,该技术在自监督训练和推理过程中速度很快。我们的方法基于轻量级的全卷积神经网络,并且可以很容易地连接到基于深度学习的管道作为预处理块。对于CAMELYON 17和MoNuSeg数据集上的分类和分割任务,所提出的方法比现有技术方法更快,并且准确性提高更大。
2020-11-30 cs.CV cs.LG eess.IV
Important Object Identification with Semi-Supervised Learning for Autonomous Driving
Honda Research Institute(本田研究院);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
场景中重要对象的准确识别是智能代理(例如,自动驾驶车辆)在复杂和动态环境中导航。大多数现有方法试图采用注意力机制来经由各种任务(例如,轨迹预测),其不强制对重要性估计的直接监督。相比之下,我们以明确的方式处理这个任务,并将其表述为二元分类(“重要”或“不重要”)问题。我们提出了一种新的方法,重要的对象识别在以自我为中心的驾驶场景中的对象的关系推理。此外,由于人类的注释是有限的和昂贵的获得,我们提出了一个半监督学习管道,使模型能够学习无限的未标记的数据。此外,我们建议利用自我车辆行为预测的辅助任务,以进一步提高重要性估计的准确性。所提出的方法进行评估的公共自我中心驾驶数据集(H3D)收集在复杂的交通场景。详细的烧蚀研究进行,以证明每个模型组件和培训策略的有效性。我们的方法也大大优于基于规则的基线。
2022-03-05 cs.AI cs.CV cs.LG
Confident Off-Policy Evaluation and Selection through Self-Normalized Importance Weighting
DeepMind(深度思维)
我们认为,在上下文的强盗设置的目的,获得一个强大的关闭政策的选择策略,其中的选择策略的价值进行评估的基础上,在一组建议(目标)的政策。我们提出了一种新的方法来计算一个任意的目标策略的值的下限给定的一些记录的数据在上下文强盗所需的覆盖范围。下限是围绕所谓的自归一化重要性加权(SN)估计量建立的。它结合了使用半经验的Efron-Stein尾不等式来控制浓度和一个新的乘法(而不是加法)控制的偏差。新的方法进行了评估,一些合成和真实的数据集,并被认为是优于其主要竞争对手,无论是在紧的置信区间和所选择的政策的质量。
2022-03-21 cs.LG stat.ML
Feature Importance Explanations for Temporal Black-Box Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
监督学习框架中的模型可以捕获对人类难以解释的特征的丰富且复杂的表示。现有的方法来解释这样的模型往往是特定的架构和数据的功能不具有随时间变化的组件。在这项工作中,我们提出了TIME,一种解释本质上具有时间性的模型的方法。我们的方法(i)使用基于模型不可知置换的方法来分析全局特征的重要性,(ii)确定显着特征的重要性,以及它们的时间顺序和本地化的影响窗口,(iii)使用假设检验来提供统计上的严谨性。
2021-02-23 cs.LG stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion(以色列理工学院);Meta AI Research(元人工智能研究院);The Hebrew University of Jerusalem(希伯来大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们遵循另一种方法:我们放松一致的边界假设,使用平均有界损失和平均有界梯度范数假设。在这种放松之后,我们提出了一个新的推广界,利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络,并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院);TAL Education Group(好未来教育集团)
针对低资源知识追踪中交互稀少、易过拟合且架构难选的问题,本文提出LoReKT框架,通过多源监督预训练与重要性机制微调提升迁移效果,并在六个公开数据集上验证了AUC和Accuracy优势。
2024-10-25 cs.AI cs.CL cs.CY
Self-Supervised Spatial-Temporal Normality Learning for Time Series Anomaly Detection
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);Chongqing School, University of Chinese Academy of Sciences(中国科学院大学重庆学院);Intelligent Game and Decision Lab (IGDL)(智能游戏与决策实验室);Singapore Management University(新加坡管理大学)
针对现有时间序列异常检测忽略空间语义的问题,提出STEN方法,结合时间顺序预测与空间距离预测学习正常模式,在五个基准上显著超越现有方法。
2024-06-28 cs.AI cs.LG
Strongly local p-norm-cut algorithms for semi-supervised learning and local graph clustering
Purdue University(普渡大学)
基于图的半监督学习是在给定一些示例节点(通常称为种子)的情况下学习图节点的标记函数的问题,通常假设图的边缘指示标记的相似性。这与局部图聚类或社区发现问题密切相关,即在给定种子周围找到节点的集群或社区。对于这个问题,我们提出了一个新的推广随机游走,扩散,或光滑函数的方法在文献中的凸p-范数截函数。我们的p-范数方法的需要是,在我们对现有方法的研究中,我们发现那些基于特征向量、谱、随机游走或线性系统的原则性方法通常难以捕获目标标签或目标聚类的正确边界。相比之下,1-norm或maxflow-mincut方法捕获边界,但不能从小种子集生长;使用两者的混合程序有许多难以设置的参数。在本文中,我们提出了一个推广的目标函数背后的这些方法涉及p-规范。为了解决p-范数割问题,我们给出了一个强局部算法-其运行时间取决于输出的大小,而不是图的大小。我们的方法可以被认为是Anderson-Chung-Lang推送过程的非线性推广,以有效地近似个性化的PageRank向量。我们的程序是通用的,可以解决其他类型的非线性目标函数,如p-范数变量的Huber损失。我们提供了一个理论分析,找到种植目标集群与我们的方法,并表明p-范数切割函数提高标准的Cheeger不等式的随机游走和谱方法。最后,我们证明了我们的新方法在合成和真实世界数据集的速度和准确性。我们的代码可在http://github.com/Meng…
2020-10-23 cs.LG cs.SI
Application of three graph Laplacian based semi-supervised learning methods to protein function prediction problem
University of Minnesota(明尼苏达大学)
蛋白质功能预测是现代生物学研究的重要课题。本文将基于非规范化、对称规范化和随机游走图拉普拉斯算子的半监督学习方法应用于由多个网络组合而成的集成网络,对多个网络中所有酵母蛋白的功能进行预测。这些多个网络是从Pfam结构域结构创建的网络,共同参与蛋白质复合物,蛋白质-蛋白质相互作用网络,遗传相互作用网络和从细胞周期基因表达测量创建的网络。由于凸优化方法具有较高的时间复杂度,因此采用固定权值对多个网络进行组合,而不是采用凸优化方法确定组合权值。这种简单的组合方法不会影响三种半监督学习方法的准确性性能度量。实验结果表明,基于非归一化和对称归一化图拉普拉斯算子的方法在集成网络中的性能略优于基于随机游走图拉普拉斯算子的方法。此外,这三种半监督学习方法对集成网络的准确性性能指标远远优于这三种方法对单个网络的最佳准确性性能指标。
2013-07-11 cs.CE cs.LG q-bio.QM
FIS-GAN: GAN with Flow-based Importance Sampling
Sichuan University(四川大学);Huazhong University of Technology(华中理工大学);New York University(纽约大学)
生成对抗网络(GAN)的训练过程在大多数情况下在潜在空间中采用均匀或高斯采样方法,这可能将大部分计算花费在可以正确处理且易于生成的示例上。从理论上讲,重要性采样通过对训练样本进行优先排序,加快了监督学习中的随机优化。在本文中,我们探讨了适应重要性采样到对抗学习的可能性。在潜空间中,用重要性采样代替均匀采样和高斯采样,用归一化流密度估计逼近潜空间后验分布。从经验上讲,MNIST和Fashion-MNIST的结果表明,我们的方法显着加快了GAN的优化,同时保持生成的样本的视觉保真度。
2022-12-16 cs.LG stat.ML
Supervised Fine Tuning on Curated Data is Reinforcement Learning (and can be improved)
Independent Research(独立研究者)
本文揭示精选数据上的监督微调等价于强化学习下界优化,提出重要性加权监督微调(iw-SFT)以优化更紧界并提升性能,在AIME 2024上达66.7%。
2025-09-06 cs.AI cs.LG
Semi-Supervised Learning for Anomaly Traffic Detection via Bidirectional Normalizing Flows
Xidian University(西安电子科技大学);Amazon(亚马逊);Chongqing University of Posts and Telecommunications(重庆邮电大学)
提出仅用正常流量训练的三阶段异常检测框架,通过双向流生成伪异常样本,在基准数据集上达到最先进性能。
2024-03-13 cs.AI cs.CR cs.LG
Enhancing Variable Importance in Random Forests: A Novel Application of Global Sensitivity Analysis
University of Naples Federico II(那不勒斯费德里科二世大学);University Pompeu Fabra(庞培法布拉大学);Barcelona School of Management(巴塞罗那管理学院);University of Bergen(卑尔根大学)
本文提出将全局敏感性分析应用于随机森林,以新颖方式对输入特征按可解释性重要性排序,模拟实验验证了其在效率与解释能力上的提升。
2024-07-19 cs.LG stat.AP stat.CO
Semi-supervised Neural Networks solve an inverse problem for modeling Covid-19 spread
Politecnico di Milano(米兰理工大学);Harvard University(哈佛大学)
研究COVID-19的动态对于了解限制措施的效率以及制定防御即将到来的传染浪潮的策略至关重要。在这项工作中,我们使用半监督神经网络研究了COVID-19的传播,并假设一部分被动的人群与病毒动态保持隔离。我们从一个无监督的神经网络开始,它学习不同建模参数和初始条件下微分方程的解。然后,一种监督方法通过估计生成函数的最佳条件来解决逆问题,以拟合那些感染COVID-19、从COVID-19中康复和因COVID-19而死亡的人的数据。这种半监督的方法结合了真实的数据,以确定不同国家的传播,被动人口和基本繁殖数的演变。
2020-10-10 cs.LG stat.ML
Supervised Time Series Classification for Anomaly Detection in Subsea Engineering
Norwegian University of Science and Technology(挪威科技大学);TechnipFMC(德希尼布FMC)
本研究利用监督机器学习分类算法对模拟物理系统(完好/破损两状态)的时间序列数据进行异常检测,通过统计离散度与降维预处理,提出基线方法并比较多种方法,证明机器学习在决策中的优势。
2024-03-12 cs.LG math.DS
Universal Bounds for Self-Normalized Kullback-Leibler Estimation
University of Toronto(多伦多大学);Microsoft Research(微软研究院);Harvard University(哈佛大学)
该研究证明了自归一化KL估计的通用有限样本界,将其应用于生成模型测试时对齐与相对熵编码,得到策略散度证书和编码代价的无矩界。
2026-10-12 cs.LG stat.ML
Why Self-Supervised Encoders Want to Be Normal
本文基于信息瓶颈原理,提出几何和信息论框架,通过信息瓶颈原理重构为率-失真问题,展示最优表示为预测流形的软聚类,并推导出SIGReg正则化方法,用于有限或无监督学习。
2026-04-30 cs.AI cs.IT cs.LG
Do Self-Supervised and Supervised Methods Learn Similar Visual Representations?
Apple(苹果公司)
尽管最近的一些视觉自我监督深度学习技术取得了成功,但对最终学习到的表示的研究有限。通过利用神经表征比较的最新进展,我们在这个方向上进行了探索,通过比较一个对比的自监督算法,以监督简单的图像数据在一个共同的架构。我们发现,这些方法通过不同的方式学习类似的中间表示,并且表示在最后几层中迅速发散。我们调查了这种分歧,发现这些层非常适合他们不同的学习目标。我们还发现,在中间层的对比目标隐含地适合监督的目标,但反过来是不正确的。我们的工作特别强调了学习的中间表示的重要性,并提出了辅助任务设计的关键问题。
2021-12-02 cs.CV cs.LG stat.ML
Supervised Video Summarization via Multiple Feature Sets with Parallel Attention
TIB -- Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心)
为视频中的特定帧或(短)片段分配重要性分数对于摘要至关重要,但也是一项困难的任务。以前的工作只利用一个来源的视觉特征。在本文中,我们提出了一种新的模型架构,结合三个功能集的视觉内容和运动来预测重要性分数。所提出的体系结构在融合运动特征和表示(静态)视觉内容的特征之前利用注意力机制,从图像分类模型导出。全面的实验评估报告两个著名的数据集,SumMe和TVSum。在这种情况下,我们确定了以前的工作如何使用这些基准数据集的方法问题,并提出了一个公平的评估方案,适当的数据分割,可用于未来的工作。当使用具有并行注意力机制的静态和运动特征时,我们改进了SumMe的最新结果,同时与其他数据集的最新结果不相上下。
2021-05-13 cs.AI cs.CV cs.IR