Unsupervised Motion Representation Learning with Capsule Autoencoders
School of Computing(计算机学院);NUS Graduate School(新加坡国立大学研究生院);National University of Singapore(新加坡国立大学)
我们提出了运动胶囊自动编码器(MCAE),它解决了运动表示的无监督学习中的一个关键挑战:变换不变性。MCAE在两级层次结构中对运动进行建模。在较低的水平,时空运动信号被划分为短,本地和语义不可知的片段。在更高的级别中,片段被聚合以形成完整长度的语义感知片段。对于这两个级别,我们表示运动与一组学习的变换不变的模板和相应的几何变换,通过使用胶囊自动编码器的一种新颖的设计。这导致视点变化的鲁棒且高效的编码。MCAE是在一个新的Trajectory20运动数据集和各种真实世界的基于机器人的人类动作数据集上进行评估的。值得注意的是,它在Trajectory20上实现了比基线更好的结果,在无监督的基于动作识别任务上具有更少的参数和最先进的性能。
2021-10-01 cs.CV cs.LG
Self-Supervised Learning from Structural Invariance
Mila - Québec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);CHU Sainte-Justine(圣约斯特医院);HEC Montréal(蒙特利尔高等商学院);CIFAR AI Chair(CIFAR人工智能 chair)
研究自监督学习中一对多映射问题,引入潜变量处理条件不确定性,推导变分下界,得出正则项,所提AdaSSL方法适用于多种自监督目标,在多领域有应用。
2026-07-07 cs.LG
Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation
Stanford University(斯坦福大学)
我们考虑无监督领域自适应(UDA),其中来自源域的标记数据(例如,照片)和来自目标域的未标记数据(例如,草图)用于学习目标域的分类器。常规UDA方法(例如,域对抗训练)学习域不变特征以改进对目标域的泛化。在本文中,我们证明了对比预训练,即在未标记的源数据和目标数据上学习特征,然后在标记的源数据上进行微调,与强UDA方法相比具有竞争力。然而,我们发现对比预训练不会学习域不变特征,这与传统的UDA直觉不同。我们从理论上证明,对比预训练可以通过分解域和类信息来学习跨域细微变化的特征,但仍然可以推广到目标域。我们的研究结果表明,域不变性是不必要的UDA。我们在基准视觉数据集上实证验证了我们的理论。
2022-12-02 cs.CV cs.LG
A Deep Representation for Invariance And Music Classification
Center for Brains, Minds and Machines(大脑、心智与机器中心)
听觉皮层中的表征可能基于类似于视觉腹侧流的机制;模块用于构建对变换的不变性以及用于组合性和选择性的多个层。在本文中,我们提出了使用这样的计算模块提取不变的和歧视性的音频表示。建立在层次结构的不变性理论,我们提出了一种新的,中级表示的声学信号,使用经验分布的投影在一组模板和它们的变换。在这样的假设下,通过构造,该模板字典由类似的类组成,并且对方差诱导信号变换(例如移位和缩放)的轨道进行采样,所得到的签名在理论上保证是唯一的、对变换不变性的并且对变形稳定。然后,投影和池化模块可以构成深度网络的层,用于学习复合表示。我们提出的主要理论和计算方面的框架不变的音频表示的无监督学习,经验评估音乐流派分类。
2014-04-01 cs.LG cs.SD stat.ML
Multi-Domain Causal Representation Learning via Weak Distributional Invariances
FAIR at Meta(Meta人工智能研究院);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);University of Michigan(密歇根大学)
针对多域因果表征学习中过度简化的单节点完美干预假设,本文利用潜在变量在支撑集、方差等分布性质上的弱不变性,证明自编码器可识别稳定潜在变量集合。
2023-12-11 cs.LG stat.ML
Unsupervised Adversarial Invariance
USC Information Sciences Institute(南加州大学信息科学研究所)
包含关于目标变量的所有信息但不受干扰因素影响的数据表示有利于监督学习算法,因为它可以防止监督学习算法学习这些因素与目标之间的关联,从而减少过拟合。我们提出了一种新的无监督的不变性归纳框架神经网络,通过预测任务和重建任务之间的竞争性训练,再加上解纠缠,学习分裂表示的数据,而不需要任何标记的有害因素或领域知识的信息。我们描述了这个框架的对抗实例,并提供其工作分析。我们的无监督模型优于最先进的方法,这是监督,在诱导不变性的固有滋扰因素,有效地使用合成数据增强学习不变性,和领域自适应。我们的方法可以应用于任何预测任务,例如,二进制/多类分类或回归,不失一般性。
2018-09-26 cs.LG stat.ML
RoPAD: Robust Presentation Attack Detection through Unsupervised Adversarial Invariance
USC Information Sciences Institute(南加州大学信息科学研究所)
对于企业、个人和社会应用,现在对使用计算机视觉从图像自动认证身份的需求越来越大。然而,目前的认证技术仍然容易受到呈现攻击。我们提出了RoPAD,这是一种用于呈现攻击检测的端到端深度学习模型,它采用无监督对抗不变性来忽略图像中的视觉干扰物,以提高鲁棒性并减少过拟合。实验结果表明,该框架在多个基准数据集上表现出最先进的表现攻击检测性能。
2019-03-20 cs.CV cs.LG
Adversarial Unsupervised Representation Learning for Activity Time-Series
University of Minnesota(明尼苏达大学);Nanyang Technological University(南洋理工大学);Qatar Computing Research Institute(卡塔尔计算研究所)
充足的体力活动和宁静的睡眠在预防和治疗许多慢性疾病方面发挥着重要作用。能够主动筛查和监测这些慢性疾病将是整体健康的一大步。可穿戴设备的快速普及提供了一个重要的新来源,使实时跟踪用户的生活方式成为可能。在本文中,我们提出了一种新的无监督表示学习技术称为activity2vec,学习和“总结”离散值的活动时间序列。它学习具有三个组成部分的表示:(i)时间段中活动水平的共同出现和幅度,(ii)时间段的相邻上下文,以及(iii)通过对抗训练促进主体不变性。我们评估我们的方法使用线性分类器的四个障碍预测任务。实证评估表明,我们提出的方法的规模和性能优于许多强大的基线。对抗机制通过提升主体不变特征来帮助提高我们表示的泛化能力。我们还表明,在一天的水平上使用表示效果最好,因为人类活动是按照日常惯例进行的
2018-11-14 cs.LG stat.ML
A survey of statistical learning techniques as applied to inexpensive pediatric Obstructive Sleep Apnea data
Brown University(布朗大学);Ohio State University(俄亥俄州立大学);University of Alberta(阿尔伯塔大学);C. H. Robinson(C.H.罗宾逊公司);Wilfrid Laurier University(威尔弗里德·劳雷尔大学)
据估计,儿童阻塞性睡眠呼吸暂停影响1-5%的小学学龄儿童,并可能导致其他有害的健康问题。快速诊断和治疗对儿童的生长和发育至关重要,但症状的多变性和可用数据的复杂性使其成为一项挑战。我们通过关注来自问卷调查和颅面测量的廉价数据,迈出了简化过程的第一步。在探索性数据分析的过程中,我们应用了相关网络、拓扑数据分析中的Mapper算法和奇异值分解。然后,我们应用各种监督和无监督学习技术,从统计,机器学习和拓扑结构,从支持向量机到贝叶斯分类器和流形学习。最后,我们分析了这些方法的结果,并讨论了多数据源算法向前发展的影响。
2021-08-08 cs.LG q-bio.QM stat.AP
Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
对比自监督学习在许多下游任务(如分割和目标检测)上的表现优于监督预训练。然而,目前的方法仍然主要应用于像ImageNet这样的策展数据集。在本文中,我们首先研究数据集中的偏差如何影响现有的方法。我们的研究结果表明,目前的对比方法在以下几个方面的效果令人惊讶:(i)对象与场景为中心,(ii)统一与长尾,以及(iii)一般与特定领域的数据集。其次,考虑到该方法的一般性,我们试图通过微小的修改来实现进一步的收益。我们表明,学习额外的不变性-通过使用多尺度裁剪,更强的增强和最近的邻居-提高了表示。最后,我们观察到MoCo在使用多作物策略进行训练时学习空间结构化表示。该表示可用于语义段检索和视频实例分割而无需微调。此外,结果与专业模型相当。我们希望这项工作能为其他研究人员提供有益的研究。代码和模型可在https://github.com/wvangansbeke/Revisiting-Contrastive-SSL上获得。
2021-12-14 cs.CV cs.LG
Learning Without Augmenting: Unsupervised Time Series Representation Learning via Frame Projections
ETH Zürich(苏黎世联邦理工学院)
本文提出一种通过帧投影生成视图的无监督时间序列表示学习方法,无需数据增强即可提升性能,适用于多个时间序列任务。
2026-01-15 cs.AI cs.LG
CLDG: Contrastive Learning on Dynamic Graphs
Beihang University(北京航空航天大学)
针对动态图对比学习中增强导致语义变化的问题,提出CLDG框架,利用时间平移不变性提取持久信号,在七个数据集上超越八个无监督基线,并大幅减少参数与训练时间。
2024-12-19 cs.AI cs.LG
SE-VGAE: Unsupervised Disentangled Representation Learning for Interpretable Architectural Layout Design Graph Generation
National University of Singapore(新加坡国立大学);National Supercomputing Centre, Singapore(新加坡国家超级计算中心);Singapore Data Science Consortium(新加坡数据科学联盟)
本文提出无监督解耦表示学习框架SE-VGAE,通过集成边增强编码器、潜在空间解耦模块和风格解码器生成建筑布局图,并贡献大规模基准数据集,开创了该领域的解耦表示学习。
2024-06-25 cs.AI cs.LG
Info3D: Representation Learning on 3D Objects using Mutual Information Maximization and Contrastive Learning
Autodesk AI Lab(Autodesk AI 实验室)
计算机视觉的一个主要任务是从三维数据中表示、理解和提取结构。为了实现这一目标,无监督学习是一个强大而必要的工具。目前用于3D形状分析的大多数无监督方法使用对齐的数据集,需要重建对象,并且在下游任务上性能恶化。为了解决这些问题,我们建议扩展InfoMax和3D形状的对比学习原则。我们表明,我们可以最大限度地提高3D对象和他们的“块”之间的互信息,以改善对齐数据集的表示。此外,我们可以通过最大化3D对象与其几何变换版本之间的互信息来实现SO ${(3)}$群中的旋转不变性。最后,我们进行了聚类、迁移学习、形状检索等实验,取得了较好的效果。
2020-08-22 cs.CV cs.LG eess.IV
Support and Invertibility in Domain-Invariant Representations
MIT(麻省理工学院);NYU(纽约大学)
学习领域不变表示已经成为无监督领域自适应的一种流行方法,并且通常通过调用一套特定的理论结果来证明。我们认为,有两个重大缺陷,在这种论点。首先,所讨论的结果仅适用于固定的表示,并且不考虑在不可逆变换中丢失的信息。其次,域不变性通常是一个过于严格的要求,并不总是导致一致的估计,即使在强大和有利的假设。在这项工作中,我们给泛化界无监督域自适应,通过承认不可逆性的成本,适用于任何表示函数。此外,我们发现,惩罚密度之间的距离往往是浪费,并提出了一个界的基础上测量的程度,支持的源域覆盖的目标域。我们在著名的基准测试上进行实验,说明了当前标准实践的不足。
2019-07-03 cs.LG stat.ML
Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration
JD AI Research(京东人工智能研究院);Sun Yat-sen University(中山大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们的工作揭示了现有主流自监督学习方法的结构性缺陷。鉴于自监督学习框架通常认为流行的完美实例级不变性假设是理所当然的,我们仔细研究了背后的陷阱。特别是,我们认为,现有的增强管道生成多个积极的意见,自然会引入外的分布(OOD)的样本,破坏下游任务的学习。对投入产生各种积极的增加并不总是有利于下游任务。为了克服这个固有的缺陷,我们引入了一个轻量级的潜变量模型UOTA,针对自监督学习的视图采样问题。UOTA自适应地搜索最重要的采样区域产生视图,为鲁棒的自监督学习方法提供了可行的选择。我们的方法直接推广到许多主流的自监督学习方法,无论损失的性质是否具有对比性。我们经验表明,UOTA的优势,国家的最先进的自我监督的范例与明显的利润率,这很好地证明了存在的面向对象的样本问题嵌入在现有的方法。特别是,我们从理论上证明了该建议的优点归结为保证估计方差和偏差减少。代码可在https://github.com/ssl-codelab/uota获得。
2021-12-15 cs.AI cs.CV cs.LG
Towards Histopathological Stain Invariance by Unsupervised Domain Augmentation using Generative Adversarial Networks
University of Strasbourg(斯特拉斯堡大学);University of Belgrade(贝尔格莱德大学);University of Kragujevac(克拉古耶瓦茨大学);Hannover Medical School(汉诺威医学院);University Clinic, Freiburg(弗赖堡大学诊所)
监督式深度学习方法在数字病理学中的应用受到限制,因为它们对域转移敏感。数字病理学是一个容易因许多来源而产生高度变异性的领域,包括评价使用不同染色方案染色的几个连续组织切片的常见做法。获得每个染色剂的标签是非常昂贵和耗时的,因为它需要高水平的领域知识。在这篇文章中,我们提出了一种基于对抗性图像到图像翻译的无监督增强方法,这有助于训练染色不变的监督卷积神经网络。通过在一种常用的染色模式上训练网络,并将其应用于包括相应但不同染色的组织结构的图像,所提出的方法证明了对其他方法的显着改进。这些益处在七种不同染色模式(PAS、Jones H&E、CD 68、天狼星红、CD 34、H&E和CD 3)中的肾小球分割问题中得到说明,并且对所学习的表示的分析证明了它们的染色不变性。
2020-12-22 cs.CV cs.LG eess.IV
Unsupervised Disentanglement of Content and Style via Variance-Invariance Constraints
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);New York University Shanghai(上海纽约大学);Carnegie Mellon University(卡内基梅隆大学)
提出无监督 V3 框架,利用内容与风格在样本内外的方差-不变性统计差异学习解耦表示,并在多模态任务中实现优于无监督方法的解耦及少样本分布外泛化。
2025-03-15 cs.AI cs.LG
Improving Transferability of Representations via Augmentation-Aware Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云科技);LG AI Research(LG人工智能研究院)
最近的无监督表示学习方法已被证明是有效的,在一系列的视觉任务,通过学习表示不变的数据增强,如随机裁剪和颜色抖动。然而,如果下游任务依赖于数据增强的特性,例如,位置或颜色敏感。这不仅仅是无监督学习的问题;我们发现即使在监督学习中也会发生这种情况,因为它也学会为实例的所有增强样本预测相同的标签。为了避免这样的失败并获得更通用的表示,我们建议优化一个辅助的自监督损失,称为AugSelf,它学习增强参数的差异(例如,裁剪位置、颜色调整强度)。我们的直觉是,AugSelf鼓励在学习表征中保留增强感知信息,这可能有利于它们的可转移性。此外,AugSelf可以很容易地融入到最近最先进的表示学习方法中,而额外的训练成本可以忽略不计。大量的实验表明,我们简单的想法一致地提高了在各种迁移学习场景中通过监督和无监督方法学习的表示的可迁移性。该代码可在https://github.com/hankook/AugSelf上获得。
2021-11-18 cs.AI cs.CV cs.LG
Exploiting Spatial Invariance for Scalable Unsupervised Object Tracking
Mila(米拉研究所);McGill University(麦吉尔大学)
在视觉世界中检测和跟踪对象的能力是任何智能代理的关键技能,因为它是任何对象级推理过程的必要前提。此外,重要的是,智能体学会在没有监督的情况下跟踪对象(即不访问带注释的训练视频),因为这将允许智能体在最少的人工帮助下开始在新环境中操作。近年来,学习发现和跟踪视频中的对象的任务(我们称之为\textit{unsupervised object tracking})越来越突出;然而,解决这个问题的大多数架构仍然难以处理包含许多对象的大型场景。在目前的工作中,我们提出了一个架构,以及采用空间不变的计算(卷积和空间注意力)和表示(空间局部对象规范方案)的大场景,多对象设置的规模。在一系列实验中,我们展示了我们的架构的一些有吸引力的功能;最值得注意的是,它在跟踪具有许多对象的杂乱场景中的对象时优于竞争方法,并且它可以很好地推广到比训练期间遇到的视频更大和/或包含更多对象的视频。
2019-11-20 cs.CV cs.LG stat.ML
Establishing Central Sensitization Inventory Cut-off Values in patients with Chronic Low Back Pain by Unsupervised Machine Learning
University of Groningen, University Medical Center Groningen(格罗宁根大学,格罗宁根大学医学中心)
本研究通过无监督机器学习为慢性下背痛患者确定中枢敏化量表截断值,发现总体最佳截断值为35,女性为34,男性为35,并提示性别相关截断值需谨慎解读。
2023-11-20 cs.AI cs.LG q-bio.NC
Contrast to Detect: Dynamic Graph Contrastive Regularization for Unsupervised Anomaly Detection in Multivariate Time Series
School of Computer Science, University of Bristol(布里斯托大学计算机科学学院);School of Engineering Mathematics, University of Bristol(布里斯托大学工程数学学院)
提出ContrastAD框架,通过动态图对比学习将结构演化转化为学习信号,结合多视角编码器和频率感知注意力混合器,实现无监督多变量时间序列异常检测。
2026-05-22 cs.LG
Robustness and Adaptation to Hidden Factors of Variation
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
我们在这里解决了AI鲁棒性的一个具体的、尚未得到广泛解决的方面,即寻求模型性能对数据中隐藏的变化因素的不变性/不敏感性。为此,我们采用了两步策略,a)通过生成模型进行无监督发现导致模型表现不佳的敏感因素,b)干预模型,使其性能不受这些敏感因素的影响。我们考虑3个独立的干预鲁棒性,包括:数据增强,语义一致性和对抗对齐。我们使用衡量不变性(不敏感性)和整体性能(效用)之间的权衡的指标来评估我们的方法,并显示我们的方法在3种设置(无监督,半监督和泛化)下的好处。
2022-03-03 cs.CV cs.LG
Learning robust visual representations using data augmentation invariance
University of Osnabrück(奥斯纳布吕克大学);MRC Cognition and Brain Sciences Unit, University of Cambridge(剑桥大学MRC认知与脑科学组)
为图像对象分类训练的深度卷积神经网络与灵长类动物腹侧视觉流中发现的表征表现出显着的相似性。然而,人工和生物网络仍然表现出重要的差异。在这里,我们调查这样一个属性:增加不变性,以保持身份的图像变换发现沿腹流。尽管有理论证据表明不变性应该从优化过程中自然出现,但我们提出的经验证据表明,为对象分类训练的卷积神经网络的激活对数据增强中常用的身份保持图像变换并不鲁棒。作为一种解决方案,我们提出了数据增强不变性,一个无监督学习的目标,提高了鲁棒性的学习表示,通过促进增强图像样本的激活之间的相似性。我们的研究结果表明,这种方法是一种简单而有效的(训练时间增加10%)方法,可以提高模型的不变性,同时获得类似的分类性能。
2019-06-11 cs.CV cs.LG
Standardized CycleGAN training for unsupervised stain adaptation in invasive carcinoma classification for breast histopathology
Primaa
为解决乳腺浸润性癌分类中的染色泛化难题,本文提出基于CycleGAN的无监督染色转换与增强策略,并引入一种无需视觉检查的标准化停止准则来优化CycleGAN训练,显著提升了多中心不同染色数据下的分类性能。
2024-01-08 cs.CV cs.LG eess.IV
A Vision Inspired Neural Network for Unsupervised Anomaly Detection in Unordered Data
Airbus(空中客车公司)
无监督机器学习领域的一个基本问题是检测与罕见和不寻常的感兴趣观察相对应的异常;原因包括拒绝,调节或进一步调查。异常被直观地理解为不寻常或不一致的东西,其发生会立即引起注意。更正式的异常是那些观察,根据适当的随机变量建模,其发生的期望相对于一组先前的兴趣是小于一个,这样的定义和理解已被用来开发的参数自由感知异常检测算法。目前的工作旨在建立重要的和实际的联系所使用的感知算法和前几十年的神经生理学和计算神经科学的研究方法,特别是在视网膜和视觉皮层的信息处理。该算法被概念化为一个神经元模型,它形成了一个无监督的神经网络的核心,学习信号作为异常的意外观察。网络和神经元都显示出在生物过程中观察到的特性,包括:即时智能;并行处理;冗余;全局退化;对比度不变性;无参数计算,动态阈值和非线性处理。作为一个具体的应用,该网络建立了一个鲁棒的、精确的单变量和多变量数据异常检测模型。
2022-05-13 cs.CR cs.LG cs.NE
Unsupervised Ranking of Multi-Attribute Objects Based on Principal Curves
Hebei University(河北大学)
无监督排序在评估应用中面临一个关键挑战,即没有可用的基础事实。当PageRank及其变体在相关主题中显示出良好的解决方案时,它们仅适用于链接结构数据的排名。在这项工作中,我们专注于多属性数据的无监督排名,这在评估任务中也很常见。为了克服这一挑战,我们提出了无监督排名方法设计和评估的五个基本元规则:尺度和平移不变性、严格单调性、线性/非线性能力、平滑性和参数大小的显式性。这些元规则被认为是无监督排名任务的高级知识。受[8]和[14]中工作的启发,我们提出了一种排名主曲线(RPC)模型,该模型学习一维流形函数来对多属性观测执行无监督排名任务。此外,RPC被建模为一个三次Bézier曲线与控制点限制在一个超立方体的内部,从而遵守所有的五个元规则,推断出一个合理的排名列表。以控制点作为模型参数,人们能够理解所学习的流形并从语义上解释排名列表。在两个不同排序应用的开放数据集上进行了RPC模型的数值实验。与现有方法相比,新模型能够给出更合理的排序结果。
2014-02-19 cs.AI cs.LG stat.ML
Unsupervised Joint Image Transfer and Uncertainty Quantification Using Patch Invariant Networks
University of Innsbruck(因斯布鲁克大学)
在大量成对训练数据不丰富的应用中,无监督图像传输能够实现模态内和模态间图像转换。为了确保从输入到目标域的结构保持映射,用于不成对图像传输的现有方法通常基于循环一致性,由于逆映射的学习而导致额外的计算资源和不稳定性。本文提出了一种新的方法,不依赖于任何配对的训练数据的单向域映射。通过使用GAN结构和基于补丁不变性的新的发电机损耗来实现适当的转移。更具体地说,在不同的尺度上对发生器输出进行评估和比较,这也导致对高频细节的关注增加以及隐含的数据增强。这种新的补丁损失也提供了可能性,准确地预测任意的不确定性,通过建模的输入依赖的比例尺地图的补丁残差。所提出的方法进行了全面评估三个完善的医疗数据库。与四种最先进的方法相比,我们在这些数据集上观察到了更高的准确性,这表明所提出的方法在考虑不确定性的情况下用于未配对图像传输的巨大潜力。建议框架的实现在这里发布:\url{https://github.com/anger-man/unsupervised-image-transfer-and-uq}。
2022-09-02 cs.CV cs.LG eess.IV
Time-Series Domain Adaptation via Sparse Associative Structure Alignment: Learning Invariance and Variance
Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
时间序列数据的领域自适应在工业界经常遇到,但在学术界受到的关注有限。现有的时间序列数据的领域自适应方法大多借鉴了非时间序列数据的方法来提取域不变表示。然而,时间序列数据的两个特殊困难尚未解决。1)对不同时间戳之间的域不变和复杂依赖进行建模不是一个简单的任务。2)域变量信息很重要,但如何利用它们几乎没有得到充分利用。幸运的是,不同领域之间因果结构的稳定性激发了我们探索时间序列数据背后的结构。基于这一启发,我们研究了域不变的非加权稀疏联想结构和结构的域变强度。为了实现这一目标,我们提出了稀疏关联结构对齐通过学习不变性和方差(SASA-IV),一个模型,同时对齐不变的未加权的备用关联结构,并考虑时间序列无监督领域自适应的变化信息。技术上,我们提取域不变的未加权稀疏关联结构与单向对齐的限制,并通过一个精心设计的自回归模块嵌入域变量的强度。实验结果不仅证明了我们的模型在三个真实世界的数据集上产生了最先进的性能,而且还提供了一些关于知识转移的有见地的发现。
2022-05-07 cs.LG
Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学)
手术手势自动识别在机器人辅助微创手术中具有重要意义。然而,现有的方法假设训练和测试数据来自同一个域,这遭受严重的性能下降时,域间隙存在,如模拟器和真实的机器人。在本文中,我们提出了一种新的无监督领域自适应框架,可以同时转移多模态知识,即,从模拟器到真实机器人的运动学和视觉数据。它通过使用视频中的时间线索和多模态中的固有相关性来识别手势,从而利用增强的可转移特征来弥补域差距。具体来说,我们首先提出了一个MDO-K来对齐运动学,它利用时间连续性来传输具有较小间隙而不是位置值的运动方向,从而减轻适应负担。此外,我们提出了一个KV-Relation-ATT来传递运动学和视觉的共生信号。这些特征伴随着相关相似性,为增强模型的域不变性提供了更多的信息。两种特征对齐策略在端到端学习过程中使模型相互受益。我们广泛地评估我们的手势识别方法,使用DESK数据集与peg传输过程。实验结果表明,在不使用任何注释的情况下,该方法在ACC和F1评分中分别提高了12.91%和20.16%。
2021-07-17 cs.CV cs.LG cs.RO
From Lab to Factory: Pitfalls and Guidelines for Self-/Unsupervised Defect Detection on Low-Quality Industrial Images
Linnæus University(林奈大学)
针对低质量工业图像上的无监督缺陷检测,本文指出常用方法在现实中的鲁棒性问题,评估两种先进模型,为从业者提供识别数据与模型问题的指南,并改进经验风险估计框架。
2025-06-20 cs.CV cs.LG stat.AP
ARGUS: Adaptive Rotation-Invariant Geometric Unsupervised System
ARGUS通过自适应旋转不变几何方法,在高维数据中有效检测分布漂移,具备O(N)复杂度和细胞级空间定位,适用于非常高维数据场景。
2026-02-17 cs.AI cs.CL cs.LG
Domain Generalization In Robust Invariant Representation
Massachusetts Institute of Technology(麻省理工学院);University of California San Diego(加州大学圣迭戈分校);Thapar Institute of Engineering and Technology(塔帕尔工程技术学院)
本文研究不变表示在分布外数据上的泛化能力,通过实验证明对已见域变换保持不变的模型能学到对分布偏移鲁棒的非结构化潜在表示,使不变性成为资源受限训练中的理想性质。
2024-02-25 cs.AI cs.LG
DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration
UC San Diego(加州大学圣地亚哥分校);Sun Yat-sen University(中山大学)
DreamSAC通过基于哈密顿的对称探索方法,学习物理不变性以提升3D物理模拟中的外推泛化能力。
2026-03-08 cs.AI cs.CV cs.LG
Robust Temporally Coherent Laplacian Protrusion Segmentation of 3D Articulated Bodies
Oxford Brookes University(牛津布鲁克斯大学);Technische Universität München(慕尼黑工业大学);INRIA Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心)
在运动分析和理解中,重要的是能够将合适的模型或结构拟合到观测数据的时间序列,以便以紧凑的方式描述运动模式,并区分它们。在无监督的上下文中,即,没有运动对象的先验模型可用,必须以自底向上的方式从数据中学习这种结构。近年来,体积的方法,其中的运动是从多个摄像机捕捉和体素集表示的身体是建立从摄像机的意见,已经获得地面由于有吸引力的功能,如固有的视图不变性和鲁棒性闭塞。自动的,无监督的分割的移动体沿整个序列,在时间上连贯和鲁棒的方式,有可能提供一种手段,构建一个自下而上的模型的移动体,并跟踪运动线索,可以在以后利用运动分类。诸如局部线性嵌入(LLE)的谱方法在这种情况下可以是有用的,因为它们保留“突出”,即,3D体积的高曲率区域,铰接形状,同时改善它们在低维空间中的分离,使它们以这种方式更容易聚类。因此,在本文中,我们提出了一种光谱方法,无监督和时间相干的身体突起分割沿时间序列。体积形状在嵌入空间中聚集,簇在时间上传播以确保一致性,并合并或分割以适应身体拓扑结构的变化。密集体素集数据的合成和真实序列的实验。这支持了所提出的方法在完全无监督的方式下随着时间的推移对身体部位进行一致聚类的能力,其对采样密度和形状质量的鲁棒性,以及其自底向上模型构建的潜力
2014-05-26 cs.CV cs.GR cs.LG