Representation Learning for Sequence Data with Deep Autoencoding Predictive Components
Cornell University(康奈尔大学);Google(谷歌公司);Salesforce Research(Salesforce研究院)
我们提出了深度自动编码预测组件(DAPC)-一种用于序列数据的自监督表示学习方法,基于序列数据的有用表示应该在潜在空间中呈现简单结构的直觉。我们鼓励这种潜在的结构,最大限度地提高潜在的特征序列,这是过去和未来的窗口之间的互信息在每个时间步的预测信息的估计。与对比学习常用的互信息下界不同,我们采用的预测信息估计在高斯假设下是精确的。此外,它可以在没有负采样的情况下计算。为了减少由强大的编码器提取的潜在空间的退化,并保留输入中的有用信息,我们用具有挑战性的掩码重建损失来正则化预测信息学习。我们证明,我们的方法恢复噪声动态系统的潜在空间,提取预测任务的预测功能,并提高自动语音识别时,用于预训练编码器上大量的未标记的数据。
2021-02-28 cs.LG
Masked Autoencoder for Self-Supervised Pre-training on Lidar Point Clouds
Chalmers University of Technology(查尔姆斯理工大学);Zenseact
Masked autocoding已经成为文本、图像和最近的点云的Transformer模型的成功预训练范例。原始汽车数据集是自监督预训练的合适候选者,因为与3D目标检测(OD)等任务的注释相比,它们的收集成本通常较低。然而,用于点云的掩码自编码器的开发仅集中在合成和室内数据上。因此,现有的方法已经针对具有均匀点密度的小而密集的点云定制了它们的表示和模型。在这项工作中,我们研究了掩蔽自动编码的点云在汽车设置,这是稀疏的,其中的点密度可以在同一场景中的对象之间的显着变化。为此,我们提出了体素-MAE,一个简单的掩蔽自动编码预训练方案,专为体素表示。我们预先训练了基于Transformer的3D物体检测器的主干,以重建被掩蔽的体素,并区分空体素和非空体素。我们的方法在具有挑战性的nuScenes数据集上将3D OD性能提高了1.75 mAP点和1.05 NDS。此外,我们表明,通过使用Voxel-MAE进行预训练,我们只需要40%的注释数据就可以超越随机初始化的等价数据。代码可在https://github.com/georghess/voxel-mae获得
2023-03-09 cs.CV cs.LG
Autoencoding Random Forests
King’s College London(伦敦国王学院);Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱比锡预防研究与流行病学研究所);University of Bremen(不来梅大学)
本文提出基于随机森林的自编码方法,通过低维嵌入和解码技术实现数据压缩与重构,适用于多种数据类型,提升可视化和聚类效果。
2026-01-15 cs.AI cs.LG stat.ML
Masked Autoencoding for Scalable and Generalizable Decision Making
UCLA(加州大学洛杉矶分校);UC Berkeley(加州大学伯克利分校)
本文提出MaskDP,通过掩码自编码对状态-动作轨迹进行自监督预训练,使模型具备零样本迁移、技能推断和离线强化学习能力,并展现出良好的扩展性和数据高效微调性能。
2023-05-27 cs.AI cs.LG
HGAurban: Heterogeneous Graph Autoencoding for Urban Spatial-Temporal Learning
The University of Hong Kong(香港大学);The University of Queensland(昆士兰大学);University of California, Los Angles(加州大学洛杉矶分校);National University of Singapore(新加坡国立大学)
提出HGAurban异构时空图掩码自编码器,通过生成式自监督学习联合处理节点特征与图结构,有效克服数据噪声和稀疏性问题,在多项时空挖掘任务中优于现有方法。
2025-08-14 cs.LG
Exploring single-song autoencoding schemes for audio-based music structure analysis
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩计算机科学与应用研究所)
深度神经网络学习复杂数据关系和表示的能力现在已经建立,但它通常依赖于大量的训练数据。这项工作探讨了一个“特定于作品”的自动编码方案,其中低维自动编码器被训练来学习特定于给定歌曲的潜在/压缩表示,然后可以用来推断歌曲结构。这样的模型不依赖于监督,也不依赖于注释,这是众所周知的,收集起来很繁琐,而且在音乐结构分析中经常是模棱两可的。我们报告说,当在RWC-Pop数据集上使用Log Mel谱图表示时,所提出的无监督自动编码方案达到了具有3秒容差的监督最先进方法的性能水平。
2022-03-07 cs.LG cs.SD eess.AS
Advanced Weakly-Supervised Formula Exploration for Neuro-Symbolic Mathematical Reasoning
The University of Tokyo(东京大学)
针对神经符号推理中中间标签难获取且大模型生成指令不可靠的问题,提出利用问题输入与最终输出的弱监督来探索中间标签的高级方法,并在 Mathematics 数据集上验证了其有效性。
2025-02-02 cs.AI cs.LG
Self-Supervised Correspondence in Visuomotor Policy Learning
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨使用自监督对应提高泛化性能和样本效率的可视化策略学习。以前的工作主要使用的方法,如自动编码,基于姿势的损失,和端到端的策略优化,以训练可视化策略的视觉部分。相反,我们提出了一种使用自监督密集视觉对应训练的方法,并表明这使得可视化策略学习具有令人惊讶的高泛化性能,具有适度的数据量:使用模仿学习,我们展示了广泛的硬件验证具有挑战性的操作任务,只有50个示范。我们学习的策略可以概括各类对象,对可变形对象配置做出反应,并在各种背景中操纵无纹理对称对象,所有这些都具有闭环,实时基于视觉的策略。模拟模仿学习实验表明,与自动编码和端到端训练相比,对应训练提供了样本复杂度和泛化优势。
2019-09-16 cs.CV cs.LG cs.RO
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习,特别是与基于范例的对比自监督学习(SSL)。具体化表示从分子图中学习,符号表示从相应的化学知识图谱(KG)中学习。我们使用化学KG增强分子图与符号(语义)知识,并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例,并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
MAE-AST: Masked Autoencoding Audio Spectrogram Transformer
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在本文中,我们提出了一个简单而强大的改进,最近的自我监督音频频谱图Transformer(SSAST)模型的语音和音频分类。具体来说,我们利用了SSAST在预训练期间使用非常高的掩蔽率(75%)的见解,这意味着绝大多数自我注意力计算都是在掩码令牌上执行的。我们通过将Masked Autoencoders are Scalable Vision Learners(MAE)的编码器-解码器架构集成到SSAST中来解决这个问题,其中深度编码器仅对未掩蔽的输入进行操作,而浅解码器对编码器输出和掩码令牌进行操作。我们发现,MAE类预训练可以提供3倍的加速和2倍的内存使用减少香草SSAST使用当前的音频预训练策略与普通的模型和输入大小。当对仅使用编码器的下游任务进行微调时,我们发现我们的方法在各种下游任务上的性能优于SSAST。我们进一步对不同的预训练策略进行了全面的评估,并探讨了视觉和听觉领域之间MAE风格预训练的差异。
2022-03-30 cs.AI cs.CL cs.LG
Weakly Supervised Reasoning by Neuro-Symbolic Approaches
College of Computer Science, Sichuan University(四川大学计算机学院);University of Alberta(阿尔伯塔大学)
本文提出神经符号方法,将符号潜在结构与神经网络结合,通过强化学习或松弛形式实现弱监督推理,并在表格查询、句法、信息抽取和规则推理等任务中验证有效性。
2023-09-19 cs.AI cs.CL cs.LG
Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training
KU Leuven(鲁汶大学)
本文提出贝叶斯框架 GEDI,联合生成模型与自监督判别目标学习符号表示,可无缝接入神经符号框架,并在多个图像基准上显著提升聚类与小数据性能。
2023-04-22 cs.AI cs.LG
Autoencoding Variational Autoencoder
DeepMind
变分自编码器(VAE)是否一致地对从其解码器生成的典型样本进行编码?本文表明,这个问题的答案可能是令人惊讶的是“不”;(名义上训练)VAE不一定摊销推理的典型样本,它是能够产生的。我们研究的影响,这种行为的学习表示,并通过引入自我一致性的概念来修复它的后果。我们的方法取决于一个替代的建设变分近似分布的真实后验的扩展VAE模型与马尔可夫链之间交替的编码器和解码器。该方法可以用于从头开始训练VAE模型或给定已经训练的VAE,它可以作为后处理步骤以完全自监督的方式运行,而无需访问原始训练数据。我们的实验分析表明,用我们的自一致性方法训练的编码器会导致对对抗攻击引入的输入扰动具有鲁棒性(不敏感)的表示。我们在ColorMnist和CelebA基准数据集上提供了实验结果,这些数据集量化了学习到的表示的属性,并将该方法与针对所需属性专门训练的基线进行了比较。
2020-12-07 cs.LG stat.ML
Scaling Self-Supervised Representation Learning for Symbolic Piano Performance
本文将 SimCLR 框架适配于符号音乐,基于约 6 万小时数据预训练生成式自回归 Transformer 模型,生成对比 MIDI 嵌入,在钢琴续写与 MIR 分类基准上达到 SOTA 且具强泛化能力。
2025-06-30 cs.AI cs.LG cs.SD
SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
Carnegie Mellon University(卡内基梅隆大学);Virginia Tech(弗吉尼亚理工大学)
SNIP通过符号与数值域间的对比学习统一预训练,增强跨域嵌入相似性,在数学性质预测和符号回归等任务上优于全监督基线,尤其在小数据场景下表现突出。
2024-03-15 cs.AI cs.LG
DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly Detection
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本文提出 DASVDD,通过联合训练自编码器并最小化潜在空间超球体体积,结合重构误差与球心距离形成异常分数,缓解超球体坍缩并提升异常检测性能。
2024-01-20 cs.LG
Variational decomposition autoencoding improves disentanglement of latent representations
Dept. of Biomedical Engineering, Khalifa University of Science and Technology(生物医学工程系,哈利法大学);School of Electrical and Computer Engineering, Aristotle University of Thessaloniki(电气与计算机工程学院,亚里士多德大学)
变分分解自编码器通过信号分解模型和对比自监督任务,提升高维动态信号的潜在表示解耦能力,适用于语音识别和情感分类等任务。
2026-11-02 cs.AI cs.LG eess.AS
Extracting Symbolic Sequences from Visual Representations via Self-Supervised Learning
Universidad Nacional Autónoma de México(墨西哥国立自治大学);Posgrado en Ciencia e Ingeniería de la Computación(计算机科学与工程研究生课程);Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas(应用数学与系统研究所)
本文提出扩展DINO框架,利用自监督学习从视觉数据生成离散符号序列,并通过解码器交叉注意力实现可解释性,为高层场景理解奠定基础。
2025-03-06 cs.CV cs.LG
A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning
University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
通过结合利用数据分布的不同方面的方法,半监督学习(SSL)已经取得了很大进展,例如,一致性正则化依赖于$p(x)$的属性,而熵最小化与标签分布$p(y|x)$有关。专注于后者,我们提出了一个概率模型的歧视SSL,它反映了其经典的生成对应。在假设$y|x$是确定性的情况下,潜在变量的先验变得离散。我们发现,几个著名的SSL方法可以被解释为近似这一先验,并可以改进。我们扩展的歧视性模型神经符号SSL,标签功能满足逻辑规则,通过显示这些规则直接与上述先验,从而证明了一个家庭的方法,统计学习和逻辑推理,并将它们与常规SSL统一。
2021-05-31 cs.LG cs.LO stat.ML
Imperative Learning: A Self-supervised Neuro-Symbolic Learning Framework for Robot Autonomy
University at Buffalo(布法罗大学);Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学);ETH Zürich(苏黎世联邦理工学院);Purdue University(普渡大学)
命令式学习通过自监督神经符号框架提升机器人自主性,结合神经网络与符号推理,解决数据依赖与泛化能力不足的问题。
2025-12-24 cs.AI cs.CV cs.LG
SIEVE: Overcoming Topological Obstruction in Equivariant Self-Supervised Learning
SolverX;UIUC(伊利诺伊大学厄巴纳-香槟分校);Max Planck Institute of Mathematics(马克斯·普朗克数学研究所)
该研究针对3D点云掩码自编码与SE(3)等变网络的拓扑不兼容问题,提出SIEVE框架,通过球形投影掩码规避拓扑崩溃,其生成的嵌入在下游点云任务中表现优于基线,尤其在未见过形状类别的泛化上提升显著。
2026-10-16 cs.AI cs.CV cs.LG
Supervised Symbolic Music Style Translation Using Synthetic Data
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
对风格转移和领域翻译的研究已经清楚地证明了基于深度学习的算法在艺术风格方面操纵图像的能力。最近,已经进行了几次尝试来将这种方法扩展到音乐(符号和音频两者),以便能够以类似的方式转换音乐风格。在这项研究中,我们专注于象征性音乐,目的是改变作品的“风格”,同时保持其原有的“内容”。与目前的方法相反,由于缺乏“对齐”数据(即以多种风格演奏的同一音乐作品),这些方法本质上被限制为无监督的,我们为此任务开发了第一个完全监督的算法。我们的方法的核心在于一个合成数据生成方案,它允许我们产生几乎无限数量的对齐数据,从而避免了上述问题。鉴于这种数据生成方案,我们提出了一种编码器-解码器模型,用于在许多不同风格之间翻译符号音乐符号。我们的实验表明,尽管我们的模型完全基于合成数据进行训练,但即使对于真实的(非合成的)录音,也能够产生具有音乐意义的声音。
2019-07-04 cs.LG cs.SD eess.AS
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures
University of Trento(特伦托大学);Ipazia S.p.A.(Ipazia公司);Fondazione Bruno Kessler (FBK)(布鲁诺·凯塞勒基金会)
研究旨在解码大语言模型表示,提出超维探针,结合符号表示与神经探测,利用向量符号架构和超向量代数统一先前方法,能深入提取输入特征并支持输出分析,实验表明其可在多场景提取语义信息,推进了语义理解。
2026-10-22 cs.AI cs.CL cs.LG
MrSQM: Fast Time Series Classification with Symbolic Representations
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学)
时间序列的符号表示已被证明是有效的时间序列分类,许多最近的方法,包括SAX-VSM,BOSS,WEASEL和MrSEQL。其关键思想是将数值时间序列转换为时域或频域中的符号表示,即,符号序列,然后从这些序列中提取特征。在实现高精度的同时,现有的符号分类器在计算上昂贵。在本文中,我们提出了MrSQM,一个新的时间序列分类器,它使用多种符号表示和有效的序列挖掘,提取重要的时间序列特征。我们研究了四种符号序列的特征选择方法,从完全监督,无监督和混合。我们提出了一种新的方法,最佳的监督符号特征选择在所有的子序列空间,通过适应卡方界开发的判别模式挖掘,时间序列。我们在UEA/UCR基准测试的112个数据集上进行了大量的实验,结果表明MrSQM可以快速提取有用的特征,并使用经典的逻辑回归算法学习准确的分类器。有趣的是,我们发现,一个非常简单和快速的特征选择策略可以是非常有效的相比,更复杂和昂贵的方法。MrSQM推进了符号时间序列分类器的发展,它是一种有效的方法,可以实现高精度,快速运行。
2022-03-14 cs.LG
An Approach to Symbolic Regression Using Feyn
Abzu;Abzu Barcelona(Abzu巴塞罗那)
在这篇文章中,我们介绍了监督机器学习工具Feyn。为该工具提供动力的模拟引擎称为QLattice。QLattice是一个受Richard Feynman路径积分公式启发的监督机器学习工具,它探索了许多解决给定问题的潜在模型。它将这些模型公式化为可以解释为数学方程的图形,允许用户完全决定可解释性,复杂性和模型性能之间的权衡。我们简要介绍了QLattice的内部工作原理,并展示了如何将Python包Feyn应用于科学问题。我们展示了它与传统机器学习方法的不同之处,它与它们的共同点,以及它与符号回归的一些共同点。我们描述了这种方法的好处,而不是黑箱模型。为了说明这一点,我们使用一个基本的数据集来完成一个调查工作流程,并展示QLattice如何帮助您推理功能之间的关系并进行数据发现。
2021-04-12 cs.AI cs.ET cs.LG
What's Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团)
本文提出掩码图自编码器MaskGAE,通过掩码边重建任务改进图自编码器的自监督学习,并从理论和实验上证明其在链路预测和节点分类上的优越性。
2023-05-29 cs.AI cs.LG
Learning to Unscramble: Simplifying Symbolic Expressions via Self-Supervised Oracle Trajectories
Rutgers University(罗格斯大学)
本文提出基于自监督Oracle轨迹的方法,通过训练策略网络简化复杂数学表达式,在高能物理问题中实现高准确率的符号简化。
2026-04-11 cs.LG cs.SC hep-ph
Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression
Toyota Research Institute(丰田研究所)
我们考虑从原始数据中学习自由形式的符号表达式的问题,例如在任何科学领域中通过实验产生的数据。科学现象的准确和可解释的模型是科学研究的基石。简单但可解释的模型,如线性或逻辑回归和决策树往往缺乏预测准确性。或者,精确的黑盒模型,如深度神经网络,提供了很高的预测准确性,但不容易承认人类的理解,以丰富的科学理论的现象。科学上的许多重大突破都围绕着具有高预测精度的简约方程模型的发展,例如牛顿定律,万有引力和麦克斯韦方程。以前的工作自动搜索方程模型的数据结合特定领域的遗传学以及计算昂贵的技术,如遗传编程和蒙特卡洛搜索。我们开发了一个深度神经网络(MACSYMA)来解决符号回归问题,作为一个端到端的监督学习问题。MACSYMA可以生成描述数据集的符号表达式。该任务的计算复杂性被降低为神经网络的前馈计算。我们在一个由不同长度和不同噪声水平的数据表组成的合成数据集上训练我们的神经网络,为此神经网络必须学习逐个令牌地产生正确的符号表达式。最后,我们通过在行为科学的公共数据集上运行来验证我们的技术。
2021-12-07 cs.AI cs.LG
Self-Supervised Hierarchical Metrical Structure Modeling
NYU Shanghai(上海纽约大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们提出了一种新的方法来模拟分层韵律结构的符号音乐和音频信号在一个自我监督的方式与最小的领域知识。该模型对节拍对齐的音乐信号进行训练和推理,并预测从节拍、小节到小节级别的8层分层韵律树。训练过程不需要任何层次的韵律标记,除了节拍,纯粹依靠韵律规律性和声音间一致性的本质作为归纳偏差。我们在实验中表明,该方法在符号音乐和音频信号的多个韵律结构分析任务上实现了与监督基线相当的性能。所有演示、源代码和预训练模型都可以在GitHub上公开获得。
2023-01-25 cs.LG cs.SD eess.AS
Longitudinal Self-Supervised Learning
Stanford University(斯坦福大学);SRI International(SRI国际)
纵向神经成像数据的机器学习分析通常基于监督学习,这需要大量的地面实况标签来提供信息。由于在神经科学中,地面实况标签通常缺失或获取成本高昂,因此我们在分析中通过将因子解纠缠与自监督学习相结合来避免它们,以识别随着时间的推移每个个体所获得的多个MRI的变化和重复。具体来说,我们提出了一个新的定义,通过制定一个多变量之间的映射因素(例如,脑年龄)与MRI和潜像表示相关联。然后,通过自监督学习将在纵向序列的采集过程中演变的因素从该映射中解脱出来,使得单个因素的变化引起表示空间中沿一个方向的变化。我们实现这个模型,命名为纵向自监督学习(LSSL),通过一个标准的自动编码结构与余弦损失解开大脑年龄的图像表示。我们将LSSL应用于两项纵向神经影像学研究,以突出其在从MRI中提取脑年龄信息并揭示与神经退行性疾病和神经心理疾病相关的信息特征方面的优势。此外,与其他几种表示学习技术相比,LSSL学习的表示通过记录更快的收敛和更高(或类似)的预测准确性来促进监督分类。
2021-06-26 cs.CV cs.LG stat.ML
ExpPoint-MAE: Better interpretability and performance for self-supervised point cloud transformers
University of Patras(帕特雷大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
该研究针对点云自监督Transformer,探究掩码自编码预训练与动量对比方案的效果,分析数据量、跨域行为及微调影响,提出的解冻策略在分类任务上取得Transformer模型中的SOTA结果。
2024-04-10 cs.CV cs.LG
LBS Autoencoder: Self-supervised Fitting of Articulated Meshes to Point Clouds
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs(Facebook现实实验室)
我们提出了LBS-AE;一个自监督自动编码算法,用于将铰接网格模型拟合到点云。作为输入,我们采取一系列的点云注册以及艺术家操纵的网格,即模板网格配备了线性混合蒙皮(LBS)变形空间参数化的骨架层次结构。作为输出,我们学习了一个基于LBS的自动编码器,该编码器从输入点云生成配准网格。为了弥合艺术家定义的几何体和捕获的点云之间的差距,我们的自动编码器模型与模板几何体的姿势相关的偏差。在训练过程中,我们的方法利用LBS变形来引导学习过程,而不是使用显式的对应关系,例如关键点或姿势监督。为了避免错误的点对点对应关系导致的局部最小值,我们利用了基于部分分割的结构化倒角距离,这些部分分割是使用自我监督同时学习的。我们展示了真实捕获的手的定性结果,并报告了对身体登记的FAUST基准的定量评估。我们的方法实现的性能优于其他无监督的方法和方法使用监督的例子。
2019-04-22 cs.CV cs.LG
AASAE: Augmentation-Augmented Stochastic Autoencoders
Grid AI Labs(Grid人工智能实验室);New York University(纽约大学)
最近的自监督学习方法可以分为两种范式:对比和非对比方法。它们的成功在很大程度上归功于数据增强管道,该管道生成单个输入的多个视图,这些视图保留了底层语义。在这项工作中,我们介绍了增强随机自动编码器(AASAE),另一种替代自监督学习,基于自动编码。我们从传统的变分自编码器(VAE)开始,通过替换KL发散正则化,这是不可知的输入域,数据增强,明确鼓励内部表示编码域特定的不变性和等变性。我们凭经验评估所提出的AASAE对图像分类,类似于最近的对比和非对比学习算法已被评估。我们的实验证实了数据增强作为KL发散正则化的替代的有效性。AASAE在CIFAR-10上的表现优于VAE 30%,在STL-10上为40%,在Imagenet上为45%。在CIFAR-10和STL-10上,AASAE的结果在很大程度上与自监督学习的最新算法相当。
2022-02-07 cs.LG
RePAIR: Predictive Self-Supervised Representation Learning in Chess
University of Zurich(苏黎世大学)
提出RePAIR架构,融合MAE、JEPA和BERT,通过掩码和迭代细化学习国际象棋序列的紧凑表示,无需强化学习即可推理棋子移动。
2026-11-20 cs.LG
A Scalable Technique for Weak-Supervised Learning with Domain Constraints
Intuit AI Research(财捷人工智能研究院)
提出一种可扩展端到端弱监督流水线,利用符号领域知识作为约束学习神经网络对未标记数据进行分类,通过同时考虑多个训练示例重写约束以利用高效优化技术,在MNIST变体任务上展现出显著优于先前方法的可扩展性。
2023-10-19 cs.AI cs.LG
Ti-MAE: Self-Supervised Masked Time Series Autoencoders
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Ltd.(华为技术有限公司)
多变量时间序列预测在各种应用和场景中越来越受欢迎。最近,对比学习和基于transformer的模型在许多长期序列预测任务中取得了良好的性能。然而,在现有的方法中仍然存在一些问题。首先,对比学习的训练范式与下游预测任务不一致,导致预测结果不准确。第二,现有的基于变换器的模型,诉诸于历史时间序列数据中的相似模式来预测未来值,通常会引起严重的分布偏移问题,并且与自监督方法相比,不能充分利用序列信息。为了解决这些问题,我们提出了一个新的框架,名为Ti-MAE,其中输入的时间序列被假定为遵循一个完整的分布。具体来说,Ti-MAE随机屏蔽嵌入的时间序列数据,并学习自动编码器在点级别重建它们。Ti-MAE采用掩模建模(而不是对比学习)作为辅助任务,在现有的表示学习和基于生成式变换器的方法之间架起了桥梁,在保持原始时间序列数据利用率的同时,减少了上下游预测任务之间的差异。在几个公开的真实世界数据集上的实验表明,我们的掩码自动编码框架可以直接从原始数据中学习强表示,从而在时间序列预测和分类任务中获得更好的性能。
2023-01-21 cs.LG
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja(拉里奥哈大学)
在本文中,我们描述了一种新的方法,半监督机器学习的数学基础。利用符号计算和计算机代数的方法,利用持久同调的概念,得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-Supervised Neural Processes for Articulated Object Interactions
Massachusetts Institute of Technology(麻省理工学院)
针对机器人操作中带标签动作数据稀缺的问题,提出半监督神经过程(SSNP)自适应奖励预测模型,利用少量带交互标签物体与大量无交互视觉数据联合训练,在开门任务中性能优于其他半监督方法且数据用量少。
2024-11-28 cs.LG cs.RO
Weakly Supervised Concept Learning for Object-centric Visual Reasoning
University of Lübeck(吕贝克大学);University of Bamberg(巴马克大学);University of Ulm(乌尔姆大学)
本文提出一种高效的弱监督方案,结合槽式架构和VAE实现对象中心推理任务中的符号 grounding,减少监督至1%并提升域泛化能力。
2026-05-05 cs.AI cs.CV cs.LG
Survey on Self-supervised Representation Learning Using Image Transformations
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
深度神经网络需要大量的训练数据,而在现实世界中,可用于训练目的的数据稀缺。为了解决这些问题,自监督学习(SSL)方法被使用。SSL使用几何变换(GT)是一种简单而强大的技术,用于无监督表示学习。虽然多篇调查论文已经回顾了SSL技术,但没有一篇只关注使用几何变换的技术。此外,这些方法没有在审查它们的文件中深入讨论。我们提出这项工作的动机是几何变换已被证明是无监督表示学习中强大的监督信号。此外,许多这样的作品取得了巨大的成功,但没有得到太多的关注。我们提出了一个简洁的调查SSL的方法,使用几何变换。我们列出了六个使用图像变换的代表性模型,包括基于预测和自动编码变换的模型。我们回顾他们的架构以及学习方法。我们还比较了这些模型在CIFAR-10和ImageNet数据集上的对象识别任务中的性能。我们的分析表明,AETv 2在大多数设置中表现最佳。在某些设置中,具有特征解耦的旋转也表现良好。然后,我们从观察到的结果中获得见解。最后,我们总结的结果和见解,以及突出开放的问题要解决,并指出各种未来的方向。
2022-02-17 cs.CV cs.LG
Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies
提出符号机制数据归因(SMDA)框架,通过稀疏自编码器特征拟合岭回归,分解微调样本对行为策略的影响,揭示安全行为中的系统性漏洞和特征间干扰。
2026-10-16 cs.AI cs.CL cs.LG
Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods
DeepMind(深度思维);NYU Center for Neural Systems(纽约大学神经科学中心)
自监督方法在迁移学习中取得了显着的成功,通常可以达到与监督预训练相同或更好的精度。大多数先前的工作都是通过添加复杂的数据增强、多视图或冗长的训练计划来增加预训练计算。在这项工作中,我们研究了一个相关的,但正交的问题:给定一个固定的FLOP预算,什么是最好的数据集,模型和(自)监督训练方法,以获得高精度的代表性视觉任务?考虑到大型数据集的可用性,这种设置通常与学术和行业实验室更相关。我们研究了五个大规模数据集(JFT-300 M,ALIGN,ImageNet-1 K,ImageNet-21 K和COCO)和六种预训练方法(CLIP,DINO,Simplified,BYOL,Masked Autoencoding和监督)。在类似的方式,我们表征他们的FLOP和CO $_2$足迹,相对于他们的准确性时,转移到一个规范的图像分割任务。我们的分析揭示了预训练方法的计算效率及其对数据集质量的依赖性存在很大差异。特别是,我们的研究结果质疑了人们普遍持有的假设,即自我监督方法本身就可以扩展到大型的、未经管理的数据。因此,我们提倡(1)更加关注数据集的管理,(2)在总计算成本的背景下报告准确性。
2022-10-18 cs.CV cs.LG
GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning
KU Leuven(鲁汶大学)
自监督学习是利用大量未标记数据的一种流行而强大的方法,文献中已经提出了各种各样的训练目标。在这项研究中,我们进行了贝叶斯分析的国家的最先进的自监督学习目标,并提出了一个统一的制定基于似然学习。我们的分析提出了一种将自监督学习与生成模型相结合的简单方法,允许这两种看似不同的方法进行联合训练。我们将这种组合框架称为GEDI,它代表GEnerative和DIscriminative培训。此外,我们展示了一个实例的GEDI框架集成基于能量的模型与基于集群的自监督学习模型。通过对合成数据和真实数据(包括SVHN、CIFAR10和CIFAR100)的实验,我们表明GEDI在聚类性能方面远远优于现有的自监督学习策略。我们还证明了GEDI可以集成到一个神经符号框架中,以解决小数据制度中的任务,在那里它可以使用逻辑约束,以进一步提高聚类和分类性能。
2023-02-07 cs.AI cs.CV cs.LG
A Multi-Grained Self-Interpretable Symbolic-Neural Model For Single/Multi-Labeled Text Classification
Ant Group(蚂蚁集团);ShanghaiTech University(上海科技大学)
基于层堆叠架构的深度神经网络在历史上一直存在固有的可解释性差的问题。同时,符号概率模型具有清晰的可解释性,但如何将其与神经网络相结合,以提高其性能仍有待探索。在本文中,我们试图通过一个结构化的语言模型来结合这两个系统进行文本分类。我们提出了一个符号神经模型,可以学习显式预测类标签的文本跨度从选区树,而不需要任何访问跨度级的黄金标签。由于结构化语言模型学习以自监督的方式预测选区树,因此仅需要原始文本和选区级标签作为训练数据,这使得它本质上是一个通用的选区级自解释分类模型。我们的实验表明,我们的方法可以实现良好的预测精度在下游任务。同时,预测的广度标签在一定程度上符合人类的理性。
2023-03-06 cs.CL cs.LG
Capturing cross-session neural population variability through self-supervised identification of consistent neuron ensembles
University of Edinburgh(爱丁堡大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Feinberg School of Medicine(范伯格医学院);Northwestern(西北大学)
从记录的神经活动中解码刺激或行为是研究中询问大脑功能的常用方法,也是脑机接口和脑机接口的重要组成部分。甚至从小的神经群体进行可靠的解码也是可能的,因为高维神经元群体活动通常占据可用合适的潜在变量模型来表示的低维流形。然而,随着时间的推移,单个神经元的活动漂移和神经记录设备的不稳定性可能是相当大的,使得在数天和数周内稳定解码变得不切实际。虽然不能在单个神经元水平上预测这种漂移,但是当底层流形随时间稳定时,连续记录会话上的群体水平变化(诸如不同的神经元集合和记录数据中一致神经元的变化排列)可以是可学习的。跨会话对一致神经元与不熟悉神经元的分类以及说明在记录会话上记录数据集中的一致记录神经元的顺序的偏差然后可以维持解码性能。在这项工作中,我们证明了深度神经网络的自监督训练可以用来补偿这种会话间的变化。因此,顺序自动编码模型可以在未来几天内为完全不可见的记录会话保持最先进的行为解码性能。我们的方法只需要一个单一的记录会话来训练模型,并且是迈向可靠的,无需重新校准的脑机接口的一步。
2023-01-05 cs.LG q-bio.NC
Concept Representation Learning with Contrastive Self-Supervised Learning
IBM
面向概念的深度学习(CODL)是一种应对深度学习未来挑战的通用方法:(1)在很少或没有外部监督的情况下学习,(2)处理来自与训练样本不同分布的测试样本,以及(3)将深度学习与符号AI集成。在CODL中,就像在人类学习中一样,概念表示是基于概念范例学习的。对比自监督学习(CSSL)提供了一种很有前途的方法来做到这一点,因为它:(1)使用数据驱动的关联,摆脱语义标签,(2)支持增量和持续学习,摆脱(大型)固定数据集,(3)适应紧急目标,摆脱固定目标(任务)。我们讨论了使用CSSL的概念表示学习的主要方面。这些包括双层概念表示,CSSL特征表示,范例相似性度量和自监督关系推理,增量和连续CSSL,以及对比自监督概念(类)增量学习。讨论利用了认知神经科学和CSSL的最新发现。
2022-02-03 cs.LG
LASER: A Neuro-Symbolic Framework for Learning Spatial-Temporal Scene Graphs with Weak Supervision
University of Pennsylvania(宾夕法尼亚大学);University of Central Florida(中央佛罗里达大学)
针对时空场景图学习依赖人工标注的问题,提出神经符号框架LASER,以视频字幕为弱监督,通过大语言模型提取逻辑规范并结合多损失与可微分符号推理器训练生成器,在多个数据集上性能超越全监督基线。
2025-10-27 cs.CV cs.LG cs.LO
Breaking the Data Barrier in Learning Symbolic Computation: A Case Study on Variable Ordering Suggestion for Cylindrical Algebraic Decomposition
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院);Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究所);Chongqing School, University of Chinese Academy of Sciences(中国科学院大学重庆学院)
本研究通过预训练和微调Transformer模型,改进了圆柱代数分解中变量顺序建议的效率,提升了符号计算的性能。
2026-07-27 cs.LG cs.SC
FIGARO: Generating Symbolic Music with Fine-Grained Artistic Control
ETH Zürich(苏黎世联邦理工学院)
本文提出FIGARO模型,通过自监督描述到序列任务结合高层特征与领域知识,实现细粒度可控的符号音乐生成,并取得最先进结果。
2024-02-22 cs.LG cs.SD eess.AS
Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning
Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany(图腾机器人感知与学习实验室,图腾施塔德大学,德国);Hessian.AI(海斯堡人工智能);Robotics Institute Germany (RIG)(德国机器人研究所(RIG))
提出MSDP框架,通过掩码自编码和跨模态预测学习多感官表示,并采用非对称架构(评论家使用交叉注意力提取动态特征,演员使用稳定池化表示)加速策略学习,在模拟和真实机器人任务中展现出鲁棒性和高效性。
2026-06-11 cs.LG cs.RO
BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals
The Pennsylvania State University(宾夕法尼亚州立大学);Institute for Computational and Data Sciences, The Pennsylvania State University(宾夕法尼亚州立大学计算与数据科学研究所)
针对fMRI脑网络表示学习中Fixed-FC无法捕捉时间动态且Dynamic-FC易受噪声影响的问题,提出区域感知自监督框架BrainMAE,通过图注意力机制和掩码自编码捕捉时间动态并提升鲁棒性,在四个下游任务中显著优于基线。
2024-06-24 cs.LG q-bio.NC q-bio.QM
Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders
University of California, Davis(加州大学戴维斯分校);University of California San Diego(加州大学圣迭戈分校);Simula Research Laboratory(西穆拉研究院);Purdue University(普渡大学)
本研究提出一种非对称图自编码器,可融合半监督信息,仅需低复杂度编码操作就能区分复杂流形结构,推导了相关理论界,实验验证其在多类流形及真实数据上的有效性。
2024-10-04 cs.LG cs.NA math.NA