Initialization and Regularization of Factorized Neural Layers
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
分解层(由两个或多个矩阵的乘积参数化的操作)出现在各种深度学习环境中,包括压缩模型训练,某些类型的知识蒸馏和多头自注意架构。我们研究了如何初始化和正则化包含这些层的深层网络,研究了两个简单的,未充分研究的方案,频谱初始化和Frobenius衰减,以提高其性能。指导性的见解是为这些网络设计尽可能接近其良好调整的非分解对应物的优化例程;我们通过分析初始化和正则化方案如何影响梯度下降训练来支持这种直觉,借鉴现代尝试理解权重衰减和批量归一化的相互作用。从经验上讲,我们强调了光谱初始化和Frobenius衰减在各种设置中的好处。在模型压缩中,我们证明了它们使低秩方法在训练低内存残差网络的任务上显著优于非结构化稀疏性和张量方法;这些方案的类似物也提高了张量分解技术的性能。对于知识蒸馏,Frobenius衰变实现了一个简单的、过完备的基线,可以从过参数化训练中产生一个紧凑的模型,而不需要使用教师网络进行再训练或修剪。最后,我们展示了这两种方案如何应用于多头注意力,从而提高翻译和无监督预训练的性能。
2022-10-04 cs.AI cs.CL cs.CV
GloVeInit at SemEval-2020 Task 1: Using GloVe Vector Initialization for Unsupervised Lexical Semantic Change Detection
Delhi Technological University(德里理工大学)
本文介绍了SemEval2020任务1:无监督词汇语义变化检测的向量初始化方法。给定两个属于不同时间段的语料库和一组目标词,该任务要求我们分类一个词是否随着时间的推移获得或失去了一个意义(子任务1),并根据词义的变化对它们进行排名(子任务2)。所提出的方法是基于使用矢量映射方法来对齐GloVe嵌入。我们的想法是连续训练两个语料库的GloVe嵌入,同时使用第一个模型来初始化第二个。本文基于GloVe嵌入比SGNS嵌入更适合于向量插值方法的假设。它给出了这一假设背后的直观推理,并讨论了各种因素和超参数对所提出方法性能的影响。我们的模型在这两个子任务中在33个团队中排名第13和第10。已公开分享实施情况。
2020-07-10 cs.CL cs.LG
Domain Discrepancy Measure for Complex Models in Unsupervised Domain Adaptation
The University of Tokyo(东京大学);RIKEN(理化学研究所)
适当地评估领域之间的差异对于无监督领域自适应的成功至关重要。在本文中,我们首先指出,现有的差异措施是较少的信息时,使用复杂的模型,如深度神经网络,除了事实上,他们可以计算要求很高,其应用范围仅限于二进制分类。然后,我们提出了一种新的域差异的措施,称为配对假设差异(PHD),以克服这些缺点。PHD是计算效率高,适用于多类分类。通过泛化误差界分析,我们从理论上证明了PHD即使对复杂模型也是有效的。最后,我们通过实验证明了PHD的实用性。
2019-10-22 cs.LG stat.ML
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo(东京大学);RIKEN(理化学研究所)
无监督领域自适应是这样一种问题设置,其中源域和目标域中的数据生成分布不同,并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计,并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题,我们提出了一种新的差异称为源引导的差异(S盘),它利用标签在源域。因此,S盘可以有效地计算有限样本收敛保证。此外,我们表明,S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后,我们报告的实验结果表明,S盘的优势,现有的差异。
2018-11-19 cs.LG stat.ML
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架,通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
Unsupervised Deep Discriminant Analysis Based Clustering
Fuzhou University(福州大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
这项工作提出了一种无监督的深度判别分析聚类。该方法基于深度神经网络,旨在以无监督的方式最小化簇内差异并最大化簇间差异。该方法能够将数据投影到一个非线性的低维潜空间中,具有紧凑而清晰的分布模式,从而可以有效地识别数据簇。我们进一步提供了一个扩展的方法,使可用的图信息可以有效地利用,以提高聚类性能。大量的数值结果图像和非图像数据与图形信息的情况下,证明了所提出的方法的有效性。
2022-06-09 cs.LG
Cross-domain error minimization for unsupervised domain adaptation
Nanjing University(南京大学)
无监督领域自适应的目的是将知识从标记的源领域转移到未标记的目标领域。以往的方法主要集中在学习领域不变特征,以减少特征分布之间的差异,以及最大限度地减少源误差,并取得了显着的进展。然而,最近提出的理论表明,这样的策略是不够的一个成功的领域自适应。它表明,除了一个小的源误差,特征分布之间的差异和标记函数之间的差异应该是跨域小。标记函数之间的差异本质上是跨域误差,而现有方法忽略了跨域误差。为了克服这个问题,本文提出了一种新的方法,将所有的目标整合到一个统一的优化框架。此外,在以前的方法中广泛使用的不正确的伪标签会导致学习过程中的错误积累。为了解决这个问题,除了源分类器外,还利用目标领域的结构信息来获得伪标签,并提出了一种基于课程学习的策略来选择具有更准确伪标签的目标样本。实验结果表明,该方法的性能优于现有的方法。
2021-06-29 cs.LG
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc(苹果公司)
在这项工作中,我们连接两个不同的概念,无监督领域自适应:域之间的特征分布对齐,利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异(SWD)的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导,以检测远离源的支持的目标样本,并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
Unsupervised Multi-Source Federated Domain Adaptation under Domain Diversity through Group-Wise Discrepancy Minimization
University of Tübingen(图宾根大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
提出可扩展的联邦无监督多源域适应框架 GALA,通过组间差异最小化目标和基于温度的质心加权策略,解决大量异构源域下的计算开销与不稳定问题,并构建 Digit-18 基准验证其达到 SOTA 性能。
2025-10-10 cs.LG
Unsupervised Domain Adaptation across FMCW Radar Configurations Using Margin Disparity Discrepancy
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Infineon Technologies AG(英飞凌科技股份公司);Technical University of Berlin(柏林工业大学);Technical University of Munich(慕尼黑工业大学)
商业雷达传感越来越重要,机器学习算法是将这种无线电技术推广到监控或医疗保健等领域的关键组成部分之一。然而,雷达数据集仍然是稀缺的,一般还不能实现所有的雷达系统,环境条件或设计参数。因此,部署支持机器学习的雷达应用通常需要一定程度的微调。在这项工作中,我们考虑了在使用调频连续波进行深度学习人类活动分类的背景下,跨雷达配置的无监督域自适应问题。为此,我们专注于理论启发的边缘差异离散技术,这已经被证明是成功的计算机视觉领域。我们的实验将这种技术扩展到雷达数据,对于相同的分类问题,实现了与fewshot监督方法相当的精度。
2022-06-07 cs.LG eess.SP
Data-dependent Initializations of Convolutional Neural Networks
UC Berkeley(加州大学伯克利分校)
卷积神经网络像野火一样在计算机视觉中蔓延,影响了几乎所有可以想象的视觉任务。尽管如此,很少有研究人员敢于从头开始训练他们的模型。大多数工作都建立在少数ImageNet预训练模型中的一个上,并针对特定任务进行微调或调整。这在很大程度上是由于从头开始正确初始化这些网络的困难。初始权重的小的误校准导致梯度消失或爆炸,以及差的收敛特性。在这项工作中,我们提出了一个快速而简单的数据相关初始化过程,该过程设置网络的权重,以便网络中的所有单元以大致相同的速率进行训练,避免梯度消失或爆炸。我们的初始化与标准计算机视觉任务(如图像分类和目标检测)中当前最先进的无监督或自监督预训练方法相匹配,同时大约快了三个数量级。当与预训练方法相结合时,我们的初始化显著优于先前的工作,缩小了监督和无监督预训练之间的差距。
2016-09-22 cs.CV cs.LG
Artificial Neural Networks generated by Low Discrepancy Sequences
NVIDIA(英伟达)
提出利用低偏差序列在稠密图上生成稀疏神经网络,支持确定性初始化与从头稀疏训练,避免存储体冲突,在低计算复杂度下达到接近稠密网络的准确率。
2023-11-27 cs.LG
Weighted Joint Maximum Mean Discrepancy Enabled Multi-Source-Multi-Target Unsupervised Domain Adaptation Fault Diagnosis
Zhejiang University(浙江大学);University of Illinois Urbana–Champaign Institute(伊利诺伊大学厄巴纳-香槟分校研究院);Huazhong University of Science and Technology(华中科技大学)
本文提出加权联合最大均值差异实现的多源-多目标无监督域适应方法(WJMMD-MDA),通过改进的加权距离损失实现多源域与多目标域间的域对齐,学习域不变且具判别性的特征,首次在故障诊断领域实现多源-多目标场景下的跨域诊断,并在三个数据集上验证了其优越性。
2023-11-23 cs.AI cs.LG
Double Descent of Discrepancy: A Task-, Data-, and Model-Agnostic Phenomenon
Peking University(北京大学);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心)
本文发现相同训练设置下不同初始化网络在训练集上的输出差异存在双下降现象,并据此提出新的早停准则和数据质量评估方法。
2023-05-25 cs.LG
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China(电子科技大学)
无监督领域自适应(UDA)旨在将从标记良好的源领域学习到的知识推广到未标记的目标领域。最近,具有两个不同分类器(双分类器)的对抗性领域自适应已被引入到UDA中,其有效地对齐不同领域之间的分布。以前的双分类器对抗学习方法只关注两个不同分类器输出之间的相似性。然而,输出的相似性不能保证目标样本的准确性,即,即使两个分类器之间的差异很小,目标样本也可能匹配到错误的类别。为了挑战这个问题,在本文中,我们提出了一个跨域梯度差异最小化(CGDM)方法,显式地最小化由源样本和目标样本产生的梯度的差异。具体地说,梯度给出了目标样本的语义信息的线索,因此它可以作为一个很好的监督,以提高目标样本的准确性。为了计算目标样本的梯度信号,我们进一步通过基于聚类的自监督学习获得目标伪标签。在三个广泛使用的UDA数据集上进行的大量实验表明,我们的方法超越了许多以前的最先进的方法。代码可在https://github.com/lijin118/CGDM上获得。
2021-06-08 cs.AI cs.CV cs.LG
Unsupervised learning of regression mixture models with unknown number of components
Aix Marseille Université(艾克斯-马赛大学);CNRS(法国国家科学研究中心);ENSAM(法国国立高等工程技术学校);Université de Toulon(土伦大学)
回归混合模型在统计学、机器学习和数据分析中得到了广泛的研究。拟合回归混合是具有挑战性的,并且通常通过使用期望最大化(EM)算法通过极大似然来执行。然而,众所周知,初始化对于EM是至关重要的。如果不适当地执行初始化,则期望最大化算法可能导致不令人满意的结果。期望最大化算法还需要先验地给出聚类的数量;选择混合物组分的数量的问题需要使用模型选择标准来从一组预先估计的候选模型中选择一个。我们提出了一个新的完全无监督算法来学习未知数量的组件的回归混合模型。开发的无监督学习方法包括在惩罚极大似然估计进行了一个强大的期望最大化(EM)算法拟合多项式,样条和B-样条回归的混合物。所提出的学习方法是完全无监督的:1)随着学习的进行,它同时从数据中推断模型参数和回归混合成分的最佳数量,而不是像标准的基于模型的聚类中那样使用事后模型选择标准的双重方案,以及2)它不需要精确的初始化,不像回归混合的标准EM。所开发的方法适用于曲线聚类问题。模拟数据的数值实验表明,所提出的鲁棒期望最大化算法在初始化和根据实际聚类数检索最优划分方面具有良好的鲁棒性,并提供了准确的结果。在函数数据聚类的框架下对实际数据的应用,证实了所提出的方法在实际应用中的好处。
2014-09-24 cs.LG stat.ME stat.ML
A novel meta-learning initialization method for physics-informed neural networks
National Innovation Institute of Defense Technology, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院)
物理信息神经网络(PINN)已被广泛用于解决各种科学计算问题。然而,大量的训练成本限制了PINN用于一些实时应用。虽然已经提出了一些工作来提高PINN的训练效率,但很少考虑初始化的影响。为此,我们提出了一种新的基于爬行动物初始化的物理信息神经网络(NRPINN)。原始的Reptile算法是一种基于标记数据的元学习初始化方法。通过将偏微分方程(PDE)作为惩罚项添加到损失函数中,可以使用较少的标记数据甚至不使用任何标记数据来训练PINN。受此思想的启发,我们提出了新的爬行动物初始化,从参数化的偏微分方程中采样更多的任务,并调整损失的惩罚项。新的Reptile初始化可以通过监督、无监督和半监督学习从相关任务中获取初始化参数。然后,PINN与初始化参数可以有效地解决偏微分方程。此外,新的Reptile初始化也可以用于PINN的变体。最后,我们证明和验证NRPINN考虑两个正向问题,包括解决泊松,Burgers和薛定谔方程,以及逆问题,在偏微分方程中的未知参数估计。实验结果表明,NRPINN训练速度快,精度高,比PINN与其他初始化方法。
2021-07-23 cs.LG
R-divergence for Estimating Model-oriented Distribution Discrepancy
Macquarie University(麦考瑞大学)
针对现实数据非独立同分布、需判断数据集分布是否一致的问题,提出面向模型的R-散度,通过混合数据最小假设的经验风险差衡量分布差异,在多任务中达最优性能,还可用于训练鲁棒神经网络。
2023-10-02 cs.LG
Learning transferable and discriminative features for unsupervised domain adaptation
Nanjing University(南京大学);Jiangnan University(江南大学)
虽然取得了显著的进展,但在没有任何标记数据的情况下,很难诱导出有监督的分类器。无监督的领域自适应能够通过将知识从标记的源域转移到未标记的目标域来克服这一挑战。可转移性和可区分性是表征特征表示的优越性的两个关键标准,以实现成功的领域自适应。在本文中,一种新的方法称为\textit{learning TransFerable and Discriminative Features for unsupervised domain adaptation}(TFDF)提出了这两个目标同时优化。一方面,进行分布对齐以减少域差异并学习更多的可传递表示。在再生核希尔伯特空间(RKHS)中,我们采用了一种新的统计量\textit{Maximum Mean and Covariance Discrepancy}(MMCD),它不仅能捕获一阶统计信息,还能捕获二阶统计信息,而不是采用仅捕获一阶统计信息的\textit{Maximum Mean Discrepancy}(MMD)来度量分布差异.另一方面,我们建议通过流形正则化探索局部判别信息,并通过最小化所提出的\textit{class confusion}目标来学习更多的判别特征,分别探索全局判别信息。我们将这两个目标集成到\textit{Structural Risk Minimization}(RSM)框架中,并学习域不变分类器。在5个真实数据集…
2021-06-26 cs.LG stat.ML
Multi-Source Unsupervised Domain Adaptation with Prototype Aggregation
South China University of Technology(华南理工大学);Institute of International Services Outsourcing(国际服务外包研究院);Operation and Maintenance Center of Information and Communication(信息通信运维中心);CSG EHV Power Transmission Company(中国南方电网超高压输电公司)
针对多源领域自适应中类级差异量化、噪声伪标签不可用及源域可迁移性判别被忽略的问题,提出一种在类级和域级建模差异的原型聚合方法,通过互补机制提升自适应性能并在三个基准上优于多数最先进方法。
2024-12-20 cs.LG
Faster Predictive Coding Networks via Better Initialization
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Institute of Logic and Computation, Vienna University of Technology(维也纳技术大学逻辑与计算研究所);VERSES AI Research Lab(VERSES AI研究实验室)
本文提出了一种改进的初始化方法,通过优化预测编码网络的初始化以提升训练效率和性能。
2026-01-28 cs.LG
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University(里海大学)
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而,这两个域的对齐的统计表示没有得到很好的解决。在本文中,我们提出了深度最小二乘对齐(DLSA)估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失,以减少域的差异,通过最小化拟合线和截距之间的角度差异,并进一步学习域不变的功能。大量的实验表明,所提出的DLSA模型是有效的对齐域分布,并优于国家的最先进的方法。
2021-11-03 cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven(鲁汶大学)
本研究提出深度图卷积核机器GCKM用于半监督节点分类,由无监督邻域传播核层与半监督分类核模块构成,设计了对偶域端到端训练方案,在少标签场景下提升了分类性能。
2023-12-15 cs.LG
XB-MAML: Learning Expandable Basis Parameters for Effective Meta-Learning with Wide Task Coverage
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究院(UNIST));Graduate School of Artificial Intelligence, Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究院人工智能研究生院)
针对元学习难以覆盖广泛任务分布的问题,本文提出 XB-MAML,通过可扩展基参数的线性组合生成任务初始化,并依据基空间与微调参数差异自适应扩展基,在多领域基准上优于现有方法。
2024-03-11 cs.LG
The Information Geometry of Unsupervised Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
如果下游任务事先未知,强化学习(RL)代理如何准备解决这些任务?一种方法是无监督的技能发现,这是一类学习一组策略而不访问奖励函数的算法。这样的算法与表示学习算法(例如,对比学习)在监督学习中,因为两者都是预训练算法,其最大化对互信息目标的某种近似。虽然先前的工作已经表明,通过这种方法学习的技能集可以加速下游RL任务,但先前的工作很少分析这些技能学习算法是否是最优的,甚至什么最优性概念适用于它们。在这项工作中,我们表明,基于互信息最大化的无监督技能发现算法不会学习对每个可能的奖励函数都是最佳的技能。然而,我们发现,技能的分布提供了一个最佳的初始化,最大限度地减少对adversarially选择的奖励函数的遗憾,假设某种类型的适应过程。我们的分析还提供了这些技能学习方法的几何视角。
2021-10-06 cs.LG
Cluster-based Input Weight Initialization for Echo State Networks
Technische Universität Dresden(德累斯顿工业大学);Ghent University(根特大学);Princeton University(普林斯顿大学)
回声状态网络(ESN)是一种特殊类型的递归神经网络(RNN),其中输入和递归连接传统上是随机生成的,并且只训练输出权重。尽管最近成功的ESN在各种任务的音频,图像和雷达识别,我们假设,一个纯粹的随机初始化是不是理想的方式初始化ESN。这项工作的目的是提出一个无监督的初始化的输入连接使用的$K$ -均值算法的训练数据。我们表明,对于各种各样的数据集,这种初始化执行相当于或优于随机初始化的ESN,同时需要显着减少水库神经元。此外,我们讨论了这种方法提供了一个机会,估计一个合适的大小的水库的基础上先验知识的数据。
2022-01-20 cs.AI cs.LG cs.NE
Variance Matters: Improving Domain Adaptation via Stratified Sampling
Institute of Sound and Vibration Research(声学与振动研究所);University of Southampton(南安普顿大学)
本文提出VaRDASS方法,通过分层抽样减少领域适应中的方差,提升领域差异估计精度和目标领域性能。
2025-12-04 cs.LG
Unsupervised Disentanglement without Autoencoding: Pitfalls and Future Directions
Boston University(波士顿大学);Google Research(谷歌研究院)
解开的视觉表示在很大程度上是通过生成模型(例如变分自编码器(VAE))来研究的。虽然先前的工作集中在用于分离表示学习的生成方法上,但由于生成模型的当前限制,这些方法不能扩展到大型数据集。相反,我们探索正则化方法与对比学习,这可能会导致解开表示,是足够强大的大规模数据集和下游应用程序。然而,我们发现,由于优化和初始化的敏感性,无监督的解纠缠是难以实现的,在任务性能的权衡。我们评估了下游任务的解纠缠,分析了每种正则化方法的优缺点,并讨论了未来的发展方向。
2021-08-14 cs.CV cs.LG
Deep Bayesian Unsupervised Source Separation Based on a Complex Gaussian Mixture Model
National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院);RIKEN AIP(理化学研究所人工智能研究中心);Kyoto University(京都大学)
提出了一种仅利用多通道混合信号训练神经声源分离的无监督方法。传统的神经元分离方法需要大量的监督数据才能获得良好的性能。虽然基于空间信息的多通道方法可以在没有这样的训练数据的情况下工作,但是它们通常对参数初始化敏感,并且随着源彼此靠近而退化。所提出的方法使用基于称为复高斯混合模型(cGMM)的空间模型的成本函数。该模型的时间-频率(TF)掩模和波达方向(DOA)的源作为潜在变量,并用于训练分离和定位网络,分别估计这些变量。这种联合训练在统一的深度贝叶斯框架中解决了空间模型的频率排列模糊性。此外,预先训练的网络不仅可以用于进行单声道分离,而且可以用于有效地初始化多声道分离算法。模拟语音混合的实验结果表明,我们的方法优于传统的初始化方法。
2019-08-29 cs.LG cs.SD eess.AS
Risk Bounds for Unsupervised Cross-Domain Mapping with IPMs
Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
最近的经验成功的无监督跨域映射算法,两个域之间的共享共同的特点,是没有得到很好的理论支持的理由。考虑到这种映射中明显的模糊性,这一空白尤其令人不安。我们使用基于IPM的对抗训练方法,并推导出一种新的风险界限,该界限通过三项之和来上限学习映射$h$和目标映射$y$之间的风险:(i)$h$与通过相同跨域映射算法学习的最远替代映射之间的风险,(ii)目标域和通过对源域的样本应用假设$h^*$获得的域之间的最小差异,其中$h^*$是可通过相同算法选择的假设。的界限是直接相关的奥卡姆剃刀,并鼓励选择的最小架构,支持一个小的映射差异和(iii)的近似误差项,减少的复杂性的类的鉴别器的增加,经验表明是小的。该界限导致了多种算法后果,包括用于超参数选择和用于跨域映射GANs中的早期停止的方法。我们还展示了一种新的能力,无监督学习估计每个特定样本的映射的信心。
2020-11-02 cs.LG stat.ML
Unsupervised Visual Domain Adaptation: A Deep Max-Margin Gaussian Process Approach
Rutgers University(罗格斯大学)
在无监督领域自适应中,众所周知,目标域误差可以通过具有使源域和目标域彼此不可区分的共享输入表示来可证明地减少。最近研究表明,不仅匹配边际输入分布,而且输出(类)分布的对齐也很关键。后者可以通过最小化预测器(分类器)的最大差异来实现。在本文中,我们采用了这一原则,但提出了一个更系统和有效的方法来实现假设一致性通过高斯过程(GP)。GP允许我们从潜在随机函数的后验分布中定义/归纳分类器的假设空间,将学习变成一个简单的大边界后验分离问题,比以前基于对抗性极大极小优化的方法更容易解决。我们制定了一个学习目标,有效地推动后验,以尽量减少最大的差异。这进一步证明是等价于最大限度地提高利润和最小化的目标域中的类预测的不确定性,在经典的(半)监督学习的一个行之有效的原则。实证结果表明,我们的方法在几个基准领域自适应数据集上与现有方法相当或优于现有方法。
2019-02-23 cs.LG stat.ML
Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models
Department of Statistics and Actuarial Science, University of Waterloo, Canada(滑铁卢大学统计与精算科学系);Cheriton School of Computer Science, University of Waterloo, Canada(滑铁卢大学切尔顿计算机科学学院);Department of Statistics, Harvard University, United States of America(哈佛大学统计系)
该研究基于单指标模型,分析无监督预训练与迁移学习对高维单层神经网络在线随机梯度下降训练样本复杂度的影响,证明其可带来多项式甚至指数级的样本效率提升。
2025-06-11 cs.LG stat.ML
A Signal Propagation Perspective for Pruning Neural Networks at Initialization
University of Oxford(牛津大学);Australian National University(澳大利亚国立大学)
网络修剪是压缩深度神经网络的一种有前途的途径。一种典型的修剪方法首先训练模型,然后删除冗余参数,同时最大限度地减少对学习内容的影响。或者,最近的一种方法表明,修剪可以在训练之前的初始化中完成,基于称为连接敏感性的显着性标准。然而,目前还不清楚为什么修剪一个未经训练的、随机初始化的神经网络是有效的。在这项工作中,通过注意到连接敏感性作为一种形式的梯度,我们正式表征初始化条件,以确保可靠的连接敏感性测量,这反过来又产生有效的修剪结果。此外,我们分析了由此产生的修剪网络的信号传播特性,并引入了一个简单的,无数据的方法来提高其可训练性。我们修改现有的修剪在初始化方法导致所有测试的网络模型的图像分类任务的改进结果。此外,我们实证研究监督修剪的效果,并证明我们的信号传播的角度来看,结合无监督修剪,可以在各种情况下,修剪应用于非标准的任意设计的架构是有用的。
2020-02-16 cs.CV cs.LG stat.ML
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University(罗格斯大学);Toutiao AI Lab(今日头条AI实验室);Snap Research(Snap研究)
在本文中,我们提出了因子化对抗网络(FAN)解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间,该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间,分别用于源域和目标域。无监督领域自适应通过对抗训练来实现,以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明,所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外,我们收集了两个比现有基准数据集大得多的真实世界的标记数据集,并在基线上得到了显着的改进,证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Unsupervised Self-Training for Sentiment Analysis of Code-Switched Data
Carnegie Mellon University(卡内基梅隆大学)
情感分析是理解社交媒体内容的一项重要任务,如客户评论,Twitter和Facebook提要等。在世界各地的多语言社区中,大量的社交媒体文本的特点是存在语码转换。因此,建立能够处理代码转换数据的模型变得非常重要。然而,带注释的代码转换数据是稀缺的,需要无监督的模型和算法。我们提出了一个通用的框架,称为无监督的自我训练,并显示其应用程序的代码转换数据的情感分析的特定用例。我们使用预训练的BERT模型的能力进行初始化,并以无监督的方式对其进行微调,仅使用由zero-shot传输产生的伪标签。我们测试我们的算法在多种代码转换语言,并提供了一个详细的分析,学习动态的算法的目的是回答这个问题-“我们的无监督模型理解代码转换语言,还是只是学习它的表示?'.我们的无监督模型与有监督模型竞争良好,与针对两类问题训练的有监督模型相比,其性能达到1-7\%(加权F1分数)。
2021-10-01 cs.CL cs.LG
On Using Quasirandom Sequences in Machine Learning for Model Weight Initialization
Toronto Metropolitan University(多伦多都会大学)
本文研究用 Sobol' 拟随机序列替代伪随机数生成器进行神经网络权重初始化,在多种架构、数据集和优化器组合上的实验表明,该方法在 60% 的实验中能提升准确率或加快收敛,从而改善模型训练。
2024-08-05 cs.CV cs.LG
Unsupervised Transfer Learning for Spatiotemporal Predictive Networks
School of Software, BNRist, Research Center for Big Data, Tsinghua University(清华大学软件学院、北京智源人工智能研究院、大数据研究中心)
本文探讨了一个新的研究问题,跨多时空预测任务的无监督迁移学习。与大多数现有的迁移学习方法专注于解决监督任务之间的差异不同,我们研究如何将知识从一个动物园的无监督学习模型转移到另一个预测网络。我们的动机是,来自不同来源的模型有望从不同的角度理解复杂的时空动态,从而有效地补充新的任务,即使任务有足够的训练样本。在技术上,我们提出了一个可微的框架,称为可转移记忆。它自适应地从多个预训练的RNN的记忆状态库中提取知识,并通过一种称为可转移记忆单元(TMU)的新型递归结构将其应用于目标网络。与微调相比,我们的方法在时空预测的三个基准上产生了显着的改进,并且即使从不太相关的借口中也能使目标任务受益。
2020-09-24 cs.LG stat.ML
Unsupervised Learning of GMM with a Uniform Background Component
Florida State University(佛罗里达州立大学)
高斯混合模型是无监督学习中研究最多、最成熟的模型之一。然而,离群值经常出现在数据中,并可能影响聚类估计。在本文中,我们研究了一个新的模型,该模型假设数据来自一些高斯以及一个统一的“背景”组件的混合,假设包含离群值和其他非有趣的观察。我们开发了一种新的方法,鲁棒性的损失最小化的基础上,表现良好的聚类,如GMM与一个统一的背景。我们给我们的聚类算法,以获得最佳的聚类结果,以高概率的理论保证。此外,我们证明了我们的算法的结果不依赖于初始值或局部最优值,参数调整是一个简单的任务。通过数值模拟,我们证明了我们的算法具有较高的准确性,并取得了最好的聚类结果给出了足够大的样本量。最后,在真实数据集上与典型聚类方法的实验比较证明了该算法在实际应用中的潜力。
2020-03-20 cs.LG stat.ML
K-means for Evolving Data Streams
Basque Center for Applied Mathematics(巴斯克应用数学中心)
目前,世界范围内产生的数据量正在以无法衡量的方式增长,因此必须不断处理大量无监督数据。无监督数据分析的主要方法之一是聚类。在流数据场景中,数据由不断增加的批量样本序列组成,其中可能会发生概念漂移现象。在本文中,我们正式定义的流$K$ -手段(S $K$ M)的问题,这意味着重新启动的错误功能时,发生的概念漂移。我们提出了一个替代误差函数,不依赖于概念漂移检测。我们证明,代理是一个很好的近似S $K$ M错误。因此,我们建议一种算法,最大限度地减少这种替代错误每次一个新的批次到达。我们提出了一些初始化技术的流数据的情况下,以及。除了提供理论结果外,实验证明了非平凡初始化方法的收敛误差的改善。
2021-09-17 cs.LG stat.ML
Learning to Adapt by Minimizing Discrepancy
The Pennsylvania State University(宾夕法尼亚州立大学);Interactions, LLC(Interactions有限责任公司)
我们探索是否可以从序列数据中学习有用的时间神经生成模型,而无需通过时间进行反向传播。我们调查的可行性,一个更神经认知接地的方法在无监督生成建模的序列的背景下。具体来说,我们建立在预测编码的概念,这在认知科学中已经获得了影响力,在神经框架。为此,我们开发了一种新型架构--时间神经编码网络及其学习算法--差异减少。底层的定向生成模型是完全递归的,这意味着它采用结构反馈连接和时间反馈连接,产生信息传播周期,创建本地学习信号。这有助于在架构内部实现统一的自底向上和自顶向下的信息传输方法。我们所提出的算法在弹跳球生成建模问题上显示出了希望。可以进行进一步的实验,以探索我们的方法的优点和缺点。
2017-11-30 cs.LG stat.ML
CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classification
Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE(机器学习系,Mohamed bin Zayed人工智能大学,阿布扎赫德,阿联酋);JD Explore Academy, Beijing, China(京东探索研究院,北京,中国);Department of Computer Science and Technology, National University of Defense Technology, Changsha, China(计算机科学与技术系,国防科技大学,长沙,中国);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen, China(计算机科学与技术学院,哈尔滨工业大学,深圳,中国);Department of Computer Science, University of California, Los Angeles, USA(计算机科学系,加州大学洛杉矶分校,美国)
本文提出CoCo框架,通过图卷积网络和分层图核网络双分支提取图拓扑信息,并结合多视图对比学习减小域差异,在无监督域自适应图分类任务中显著优于基线方法。
2025-07-12 cs.AI cs.LG
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下,寻求缓解源域和目标域之间的分布差异。生成对抗网络(GANs)通过生成特定于训练领域的图像,在领域自适应方面表现出了显着的改进。然而,大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息,因此当源和目标领域数据在语义上不同时,这些方法降低了性能。在本文中,我们提出了一个端到端的新的语义一致的生成对抗网络(SCGAN)。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性,它超过了国家的最先进的性能,在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers
Florida State University(佛罗里达州立大学)
本文提出一种基于损失最小化的鲁棒聚类算法,解决带异常值的高斯混合模型的大规模聚类问题,提供理论保证并可作为 k-means 初始化策略,在 ImageNet 等大规模数据集上表现优异。
2023-02-28 cs.LG stat.ML
Autoencoders as Weight Initialization of Deep Classification Networks for Cancer versus Cancer Studies
University of Porto(波尔图大学);Faculty of Engineering, University of Porto(波尔图大学工程学院);INESC TEC - Institute for Systems and Computer Engineering, Technology and Science(INESC TEC——系统与计算机工程、技术与科学研究所)
癌症仍然是我们这个时代最具破坏性的疾病之一。自动分类肿瘤样品的一种方法是通过分析其衍生的分子信息(即,其基因表达特征)。在这项工作中,我们的目标是区分三种不同类型的癌症:甲状腺癌,皮肤癌和胃癌。为此,我们比较了用作深度神经网络权重初始化的去噪自动编码器(DAE)的性能。虽然我们在这项工作中解决了不同的领域问题,但我们采用了Ferreira等人的相同方法。在我们的实验中,我们在训练分类模型时评估了两种不同的方法:(a)在预训练DAE之后固定权重,以及(b)允许对整个分类网络进行微调。此外,我们应用两种不同的策略将DAE嵌入到分类网络中:(1)仅导入编码层,以及(2)插入完整的自动编码器。我们最好的结果是通过DAE进行无监督特征学习,然后将其完全导入分类网络,然后通过监督训练进行微调,在识别甲状腺癌样本时实现了98.04% +/- 1.09的F1得分。
2020-01-15 cs.LG stat.ML
Semi-Supervised and Unsupervised Deep Visual Learning: A Survey
University of Tübingen(图宾根大学);University of Surrey(萨里大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
最先进的深度学习模型通常使用大量昂贵的标记训练数据进行训练。然而,需要详尽的手动注释可能会降低模型在有限标签制度中的泛化能力。半监督学习和无监督学习为从大量未标记的视觉数据中学习提供了有前途的范例。这些范式的最新进展表明,利用未标记数据来改进模型泛化并提供更好的模型初始化具有强大的好处。在本调查中,我们从统一的角度回顾了最近用于视觉识别的半监督学习(SSL)和无监督学习(UL)的高级深度学习算法。为了全面了解这些领域的最新技术,我们提出了一个统一的分类法。我们对现有的代表性SSL和UL进行了全面而深入的分析,以突出其在不同学习场景和不同计算机视觉任务中的应用中的设计原理。最后,我们讨论了SSL和UL的新兴趋势和开放性挑战,以阐明未来的关键研究方向。
2022-08-24 cs.AI cs.CV cs.LG
Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization
Technische Universität München(慕尼黑工业大学)
我们引入了一个基于学习的算法来获得一个测量矩阵的压缩感知相关的恢复问题。重点在于具有恒模约束的矩阵,其通常表示混合预编码/组合架构中的模拟移相器的网络。我们将具有限制等距性质的矩阵解释为从高维超球面到低维超球面的点的映射。我们认为,低维超球面上的点,即在矩阵的范围内,应均匀分布,以增加对测量噪声的鲁棒性。这个概念是正式的优化问题,它使用的目标函数中的最大平均差异度量之一。最近在神经网络相关主题中这种度量的成功激励了基于机器学习的问题的解决方案。数值实验显示出比通常在压缩感知上下文中采用的随机测量矩阵更好的性能。此外,我们适应的方法从文献中的常数模量约束。该方法也可以与随机矩阵竞争,如果将其用作初始化,则与所提出的基于学习的方法很好地协调。最后,我们描述了其他结构矩阵约束,例如,也可以考虑Toeplitz约束。
2021-10-14 cs.IT cs.LG eess.SP
Semi-Supervised Translation with MMD Networks
Yale University(耶鲁大学)
本文通过引入一种混合监督和无监督代价函数来改进神经网络结构中的半监督学习。无监督组件使用网络输出和目标数据集之间的最大平均离散(MMD)距离的可微估计器进行训练。我们介绍了一个$n$通道网络的概念和几种方法来提高这些网络的性能的基础上监督预初始化,多尺度内核。这项工作调查的有效性,这些方法对语言翻译的质量很少是已知的\textit{a priori}。我们还提出了一个彻底的调查超参数空间的这种方法的合成数据。
2018-10-28 cs.CL cs.LG stat.ML
Community Detection by ELPMeans: An Unsupervised Approach That Uses Laplacian Centrality and Clustering
Salahaddin University-Erbil(萨拉赫丁大学埃尔比勒分校)
本文提出无监督社区检测方法ELPMeans,结合拉普拉斯中心性、层次聚类与K-means,解决中心节点初始化和社区数未知问题,提高准确性并降低时间复杂度。
2025-02-27 cs.LG cs.SI
Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints
KU Leuven(鲁汶大学)
我们介绍了Constr-DRKM,一个深度内核方法的无监督学习解开数据表示。我们建议通过对潜在变量的正交约束来增强用于核PCA的原始深度限制核机公式,以促进解纠缠,并使其能够在不首先定义稳定目标的情况下进行优化。在说明了一个端到端的训练过程的基础上,二次惩罚优化算法与热启动,我们定量评估所提出的方法的有效性,在解开特征学习。我们证明了四个基准数据集,这种方法执行类似的整体$β$ -VAE的一些解纠缠指标时,很少的训练点是可用的,而不太敏感的随机性和超参数选择比$β$ -VAE。我们还提出了一个确定性的初始化Constr-DRKM的训练算法,显着提高了结果的再现性。最后,我们经验性地评估和讨论了所提出的方法中层数的作用,检查了每一层中每个主成分的影响,并表明较低层中的组件作为局部特征检测器捕获数据分布的广泛趋势,而更深层中的组件使用前一层学习的表示,更准确地再现更高级别的特征。
2020-11-25 cs.LG stat.ML
Neural Low-Discrepancy Sequences
MIT(麻省理工学院);CMU(卡内基梅隆大学);Harvard University(哈佛大学)
提出NeuroLDS,首个基于机器学习的有限低差异序列生成框架,通过监督预训练和无监督微调两步学习,在多个应用中显著优于传统方法。
2026-05-31 cs.LG cs.NA math.NA
Unsupervised Domain Adaptation: from Simulation Engine to the RealWorld
Department of Electrical Engineering and Computer Sciences, University of California Berkeley(加州大学伯克利分校电气工程与计算机科学系)
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而,在许多应用中,获取大量的标记数据是非常昂贵或耗时的。为了应对有限的标记训练数据,许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记的目标域。不幸的是,跨域的直接传输通常由于域偏移和数据集偏差而表现不佳。领域自适应是一种机器学习范例,旨在从源域学习一个模型,该模型可以在不同(但相关)的目标域上表现良好。本文对计算机视觉应用中最新的无监督领域自适应方法进行了总结和比较。我们将非深度方法分为样本重新加权和中间子空间变换两类,而深度策略包括基于差异的方法,对抗生成模型,对抗判别模型和基于重建的方法。我们还讨论了一些潜在的方向。
2018-03-24 cs.CV cs.LG stat.ML
Spatial Graph Convolutional Neural Network via Structured Subdomain Adaptation and Domain Adversarial Learning for Bearing Fault Diagnosis
Tarbiat Modares University(塔比阿特莫达雷斯大学)
近年来,无监督域自适应算法在变工况下的轴承故障诊断中取得了显著的效果。然而,大多数UDA方法不考虑数据的几何结构。此外,普遍采用的全局域自适应技术,忽略了子域之间的关系。本文通过提出新的深度子域自适应图卷积神经网络(DSAGCN)来解决上述挑战,该网络具有两个关键特征:首先,图卷积神经网络(GCNN)用于对数据结构进行建模。其次,对抗域自适应和局部最大均值差异(LMMD)方法同时应用于对齐子域的分布,并减少相关子域和全局域之间的结构差异。利用CWRU和Paderborn方位数据集验证了DSAGCN方法的有效性和在比较模型间的优越性。实验结果表明,对齐结构化子域以及域自适应方法,以获得一个准确的数据驱动的模型在无监督故障诊断的意义。
2021-12-11 cs.LG cs.SY eess.SP
Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy
University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);University of California at Berkeley(加州大学伯克利分校)
我们提出了一种方法来优化的代表性和可重复性的样本从两个概率分布,通过最大化估计功率的统计检验的基础上的最大均值差异(MMD)。这种优化的MMD被应用于生成对抗网络(GAN)的无监督学习设置,其中模型试图生成真实的样本,而模型试图将这些样本与数据样本区分开来。在此上下文中,MMD可用于两个角色:第一,作为直接在样本上或在样本的特征上的标记。第二,MMD可以用于评估生成模型的性能,通过测试模型的样本对参考数据集。在后一个角色中,优化的MMD特别有用,因为它给出了模型和数据分布如何不同的可解释指示,即使在单个模型样本不容易通过眼睛或分类器区分的情况下。
2021-01-14 cs.AI cs.LG cs.NE