Dictionary-Assisted Supervised Contrastive Learning
New York University（纽约大学）
社会科学中的文本分析通常涉及使用专业词典来推理抽象概念，例如对经济的看法或社交媒体上的滥用。这些词典允许研究人员传授领域知识，并记录与感兴趣的概念相关的单词的微妙用法。我们引入了词典辅助监督对比学习（DASCL）目标，允许研究人员在微调预训练的语言模型时利用专门的词典。首先对文本进行关键字简化：一个通用的固定标记替换语料库中出现在词典中与感兴趣的概念相关的任何单词。在微调过程中，有监督的对比目标使同一类的原始文本和关键词简化文本的嵌入更接近，同时使不同类的嵌入进一步分开。同一个类的关键字简化文本在文本上比它们的原始文本更相似，这额外地将同一个类的嵌入更紧密地结合在一起。与单独使用交叉熵和替代对比和数据增强方法相比，组合DASCL和交叉熵提高了少样本学习设置和社会科学应用中的分类性能指标。
2022-10-27 cs.CL cs.LG
Weakly-supervised Dictionary Learning
Oregon State University（俄勒冈州立大学）
我们提出了一个概率建模和推理框架的判别分析字典学习下的弱监督设置。字典学习方法已被广泛用于低级别信号去噪和恢复以及高级分类任务等任务，这些任务可应用于音频和图像分析。综合字典学习旨在联合学习字典和相应的稀疏系数，以提供准确的数据表示。这种方法对于去噪和信号恢复是有用的，但可能导致次优分类性能。相比之下，分析字典学习提供了一种将数据映射到适合分类的稀疏判别表示的变换。我们考虑了弱监督设置下的时间序列数据的分析字典学习问题，其中信号被分配有全局标签而不是瞬时标签信号。我们提出了一个歧视性的概率模型，采用基数控制的潜在瞬时标签信号的标签信息和稀疏性约束。我们提出了期望最大化（EM）的最大似然估计（MLE）的建议模型的过程。为了便于计算效率的E-步骤，我们提出了一个链和一个新的树图的图形模型的重新制定。所提出的模型的性能证明在合成和真实世界的数据。
2018-02-05 cs.LG eess.SP stat.ML
End-to-End Supervised Product Quantization for Image Search and Retrieval
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
乘积量化是一种基于字典的哈希方法，是领先的无监督哈希技术之一。虽然它忽略了标签，但它利用特征来构造可以近似特征空间的查找表。近年来，一些作品通过以监督的方式学习二进制表示，在哈希基准上取得了最先进的结果。这项工作提出了深度产品量化（DPQ），一种技术，导致更准确的检索和分类比最新的最先进的方法，同时具有类似的计算复杂性和产品量化方法的内存占用。据我们所知，这是引入基于字典的表示的第一项工作，该表示受到乘积量化的启发，并且是端到端学习的，因此受益于监督信号。DPQ通过使用直通估计器显式地学习软表示和硬表示，以实现高效和准确的非对称搜索。我们的方法获得了广泛的检索和分类实验的最先进的结果。
2020-01-17 cs.CV cs.LG
Supervised Dictionary Learning with Auxiliary Covariates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
有监督字典学习（SDL）是一种经典的机器学习方法，它同时寻找特征提取和分类任务，这些任务不一定是先验对齐的目标。SDL的目标是学习一个类判别字典，它是一组潜在的特征向量，可以很好地解释观察到的数据的特征和标签。本文对SDL进行了系统的研究，包括SDL的理论、算法和应用。首先，我们提供了一个新的框架，“升降机”SDL作为一个凸问题，在一个组合的因素空间，并提出了一个低秩投影梯度下降算法，指数收敛到全局最小的目标。我们还制定生成模型的SDL和提供全球估计保证的真实参数取决于超参数制度。其次，作为一个非凸约束优化问题，我们提供了一个有效的块坐标下降算法的SDL是保证找到一个$\varepsilon$ -平稳点的目标在$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$迭代。对于相应的生成模型，我们建立了一个新的约束和正则化极大似然估计问题的非渐近局部一致性结果，这可能是独立的利益。第三，我们将SDL应用于通过监督主题建模的不平衡文档分类，以及从胸部X射线图像中检测肺炎。我们还提供了模拟研究表明，SDL变得更有效时，有一个最好的重建和最好的歧视字典之间的差异。
2022-06-14 cs.LG math.ST stat.ML
Alternative Learning Paradigms for Image Quality Transfer
University College London（伦敦大学学院）；University of Exeter（埃克塞特大学）
本文提出两种图像质量迁移（IQT）的新学习范式：无监督的IQT-SRep和结合监督与无监督的IQT-DDL，以在分布外数据上避免监督方法的偏差，提升低场MRI图像质量。
2024-11-08 cs.CV cs.LG eess.IV
Spatially Aware Dictionary-Free Koopman Eigenfunction Identification for Modeling and Control
Department of Aviation Technology, University of Defence（航空技术系，国防大学）
本文提出了一种无字典特征函数识别方法，通过空间结构和主本征值提升Koopman预测器的准确性，适用于非线性动力系统建模与控制。
2026-10-27 cs.LG
Learning Discriminative Multilevel Structured Dictionaries for Supervised Image Classification
Institut National de Recherche en Informatique et Automatique (INRIA)（法国国家信息与自动化研究所）；METU（中东技术大学）
使用过完备字典的稀疏表示已被证明是许多信号处理应用中的强大工具，例如去噪，超分辨率，修复，压缩或分类。表示的稀疏性在很大程度上取决于字典对手头数据的适应程度。在本文中，我们提出了一种方法，学习结构化的多级字典与歧视性的限制，使他们非常适合监督像素分类的图像。一个多级树结构的判别字典学习每个类，与学习目标有关的重建误差的图像补丁周围的像素在每个类代表字典。在初始分配的类标签的图像像素的稀疏表示的基础上学习的字典，最终的分类是通过平滑的标签图像与图切割方法和腐蚀方法实现的。应用到一组常见的纹理图像，我们的监督分类方法显示出与最先进的竞争力的结果。
2018-02-28 cs.LG stat.ML
Task-Aware Neural Architecture Search
Duke University（杜克大学）
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索（NAS）中的最新技术已被证明是有竞争力的或优于传统的手工设计，尽管它们需要领域知识，并且通常使用有限的搜索空间。在本文中，我们提出了一种新的框架神经架构搜索，利用字典的基本任务和目标任务和原子之间的相似性的模型字典，因此，产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法，我们可以在搜索空间中评估和发现最佳架构，而无需完全训练网络。实验结果表明，我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而，由于以下几个原因，它们不是最佳选择：手工制作发音词典需要大量的努力，发音变化，人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法，该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明，该方法基于半监督训练的深度神经网络，在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
Dictionary learning for fast classification based on soft-thresholding
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；The University of Edinburgh（爱丁堡大学）
基于稀疏表示的分类器最近被证明在许多视觉识别和分类任务中提供了优异的结果。然而，在测试时计算稀疏表示的高成本是限制这些方法在大规模问题中或在计算能力受限的情况下的适用性的主要障碍。我们认为在本文中一个简单而有效的替代稀疏编码的特征提取。我们研究的分类方案，适用于软阈值非线性映射的字典，其次是线性分类器。提出了一种新的监督字典学习算法适合这种低复杂度的分类架构。字典学习问题，联合学习字典和线性分类器，被转换为一个凸（DC）的差异规划和有效地解决了迭代DC求解器。我们在几个数据集上进行实验，并表明我们的学习算法，利用分类问题的结构优于一般的学习过程。我们的简单分类器的基础上软阈值也与最近的稀疏编码分类器，当字典学习适当的竞争。与其他分类器相比，所采用的分类方案在测试阶段还需要更少的计算时间。该方案显示了充分训练的软阈值映射分类的潜力，并为视觉问题的非常有效的分类方法的发展铺平了道路。
2014-10-02 cs.CV cs.LG stat.ML
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL（太平洋西北国家实验室）
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的（稀疏）和，即Kruskal因子分析（KFA）。KFA是非参数的，并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习，允许在大数据集上进行字典学习。在引入KFA之后，该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进（例如，BPFA）、张量分解和卷积神经网络（CNN）在多路去噪、盲修复和图像分类中的应用。与其他方法相比，修复结果的PSNR改善在几种情况下超过1dB，我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Density-Aware Hyper-Graph Neural Networks for Graph-based Semi-supervised Node Classification
South China University of Technology（华南理工大学）；Concordia University（康考迪亚大学）
基于图的半监督学习可以利用标记数据和未标记数据之间的连接关系，在许多人工智能应用中表现出优于最先进的技术。基于图的半监督节点分类算法最具挑战性的问题之一是如何利用数据间的隐含信息来提高分类性能。传统的基于图的半监督学习研究主要集中在数据之间的成对连接上。然而，实际应用中的数据相关性可能超出成对和更复杂。密度信息已被证明是一个重要的线索，但它很少深入探讨现有的基于图的半监督节点分类方法。为了开发一种灵活有效的基于图的半监督节点分类模型，我们提出了一种新的密度感知超图神经网络（DA-HGNN）。在我们提出的方法中，超图是用来探索数据之间的高阶语义相关性，并提出了一个密度感知的超图注意力网络来探索高阶连接关系。在不同的基准数据集上进行了大量的实验，结果表明了所提出的方法的有效性。
2022-01-27 cs.CV cs.LG
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
DRL-Based Resource Allocation for Motion Blur Resistant Federated Self-Supervised Learning in IoV
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科技大学国家信息科学与技术研究中心）；Qualcomm（高通）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室及电信工程学院）；Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系）；Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对车联网中联邦自监督学习的隐私与运动模糊问题，提出基于SimCo的抗模糊方法BFSSL，并设计DRL资源分配方案以最小化能耗和延迟，仿真验证其有效性。
2025-06-18 cs.CV cs.LG cs.NI
Convolutional dictionary learning based auto-encoders for natural exponential-family distributions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
我们介绍了一类自编码器神经网络，它是为来自自然指数族的数据定制的（例如，计数数据）。这些架构的灵感来自于在具有稀疏约束的卷积生成模型中学习滤波器的问题，通常被称为卷积字典学习（CDL）。我们的工作是第一个结合卷积生成模型和深度学习的想法，用于自然建模的非高斯分布数据（例如，二项式和泊松）。这种观点为我们提供了一个可扩展的和灵活的框架，可以重新用于生成模型上的各种任务和假设。具体而言，用于求解CDL（无监督任务）的迭代优化过程被映射到展开和约束的神经网络，对输入进行迭代调整以考虑生成分布。我们还表明，该框架可以很容易地扩展到判别训练，适合监督任务。我们证明了1）以无监督的方式拟合生成模型来学习神经尖峰数据背后的潜在刺激，与其他基线相比，可以获得更好的拟合优度，2）与最先进的监督泊松图像去噪算法相比，具有竞争力的性能，参数明显较少，以及3）浅二项式自动编码器的梯度动态。
2020-06-28 cs.LG stat.AP stat.ML
Confident Kernel Sparse Coding and Dictionary Learning
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
近年来，基于核的稀疏编码（K-SRC）由于其在特征空间中的非线性数据结构的有效表示而受到特别的关注。然而，现有的K-SRC方法的训练和测试优化框架之间缺乏一致性。在这项工作中，我们提出了一种新的信心K-SRC和字典学习算法（CKSC），其重点是基于其在核空间中的表示的数据的判别重建。CKSC的重点是通过加权贡献来重建每个数据样本，这些贡献对其相应的数据类别有信心。我们采用新的判别条件，将此方案应用于我们算法中的训练和测试框架。这种特定的设计增加了这些优化框架的一致性，并提高了召回阶段的区分性能。此外，CKSC直接将监督信息用于其词典学习框架中，以增强词典的区分性结构。对于实证评估，我们在DynTex++和UTKinect等多变量时间序列基准上实现了我们的CKSC算法。我们的索赔有关的优越性能的算法是合理的，通过比较其分类结果的国家的最先进的K-SRC算法。
2019-03-12 cs.LG stat.ML
Zero-Shot Image Classification Using Coupled Dictionary Embedding
USC Information Sciences Institute（南加州大学信息科学研究所）；Vanderbilt University（范德堡大学）；Wayve；HRL Laboratories（HRL实验室）；University of Pennsylvania（宾夕法尼亚大学）；SK Telecom（SK电信）
零样本学习（Zero-shot learning，缩写为ZRL）是一种基于语义信息对图像进行分类的框架。在本文中，我们提出了一种新的基于耦合字典学习的CNOL算法。其核心思想是图像的视觉特征和语义属性可以在一个中间空间中共享相同的稀疏表示。我们使用的图像从看到的类和语义属性从看到的和看不见的类来学习两个字典，可以稀疏地表示图像的视觉和语义特征向量。在CPDL测试阶段，在没有标记数据的情况下，可以通过仅使用视觉数据找到联合稀疏表示来将来自未见过的类的图像映射到属性空间。然后在属性空间中对图像进行分类，给出看不见的类的语义描述。我们还提供了一个属性感知的配方，以解决域转移和hubness的问题，在CNOL。提供了大量的实验，以证明我们的方法对最先进的BLOG算法在基准BLOG数据集上的优越性能。
2021-10-23 cs.CV cs.LG stat.ML
Hiding Data Helps: On the Benefits of Masking for Sparse Coding
Duke University（杜克大学）；Brown University（布朗大学）
本文研究过实现字典在噪声下难以恢复真实字典的问题，提出受自监督学习启发的掩码目标，证明其恢复最优性并通过实验验证优于标准重建目标。
2023-06-01 cs.AI cs.LG
Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
本文提出一种基于LZW压缩和标签互信息精炼的轻量级监督字典学习框架，用于文本分类，在有限词汇数据集上以约10%参数量接近顶尖模型性能，并引入IPAR度量评估信息论表现。
2024-04-28 cs.CL cs.LG eess.SP
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz（加州大学圣克鲁兹分校）
新兴的广域监测系统（WAMS）带来了电网的态势感知的显着改善。然而，新引入的系统可能会增加网络攻击的风险，这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器（Hoeffding adaptive tree）和半监督学习技术来处理事件和入侵检测问题，以准确区分网络攻击和常规系统扰动。首先，我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后，标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况：短路故障，线路维护，远程跳闸命令注入，继电器设置的变化，以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明，我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
Multimodal Scale Consistency and Awareness for Monocular Self-Supervised Depth Estimation
Navinfo Europe（四维图新欧洲）
密集的深度估计对于自动驾驶的场景理解是必不可少的。然而，最近的单目视频的自监督方法遭受跨长序列的尺度不一致。利用无处不在的全球定位系统（GPS）的数据，我们解决了这一挑战，提出了一个动态加权的GPS到规模（g2s）的损失，以补充外观为基础的损失。我们强调，GPS只需要在多模态训练，而不是在推理。通过GPS捕获的帧之间的相对距离提供了独立于相机设置和场景分布的比例信号，从而产生更丰富的学习特征表示。通过对多个数据集的广泛评估，我们在推理过程中展示了尺度一致性和感知深度估计，即使在使用低频GPS数据进行训练时也能提高性能。
2021-03-03 cs.CV cs.LG cs.RO
Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
弱监督学习通过减少训练过程中对强监督的需求，已经成为目标检测的一种引人注目的工具。然而，主要的挑战仍然存在：（1）对象实例的区分可能是模糊的;（2）检测器倾向于关注有区别的部分，而不是整个对象;（3）没有地面真理，对象建议必须是冗余的高召回，导致显着的内存消耗。应对这些挑战是困难的，因为它往往需要消除不确定性和琐碎的解决方案。针对这些问题，我们开发了一个实例感知和上下文为中心的统一框架。它采用了一个实例感知的自训练算法和一个可学习的混凝土DropBlock，同时设计了一个内存高效的顺序批量反向传播。我们提出的方法在COCO（$12.1\% ~AP$，$24.8\% ~AP_{50}$），VOC 2007（$54.9\% ~AP$）和VOC 2012（$52.1\% ~AP$）上实现了最先进的结果，大大提高了基线。此外，该方法是第一个基准ResNet为基础的模型和弱监督视频目标检测。代码、模型和更多细节将在https://github.com/NVlabs/wetectron上提供。
2020-10-21 cs.CV cs.LG eess.IV
Persian Wordnet Construction using Supervised Learning
University of Tehran（德黑兰大学）
本文提出了一种自动监督的波斯语词网构建方法。使用波斯语语料库和双语词典，波斯语单词和普林斯顿WordNet同义词之间的初始链接已经生成。这些链接将被区分为正确的或不正确的，采用七个功能在一个训练有素的分类系统。整个方法只是一个分类系统，它已经在包含FarsNet作为一组正确实例的训练集上训练过。最先进的自动派生的波斯语词网的结果是实现。该词网包含16，000多个词和22，000多个同义词，准确率为91.18%。
2017-04-11 cs.CL cs.LG stat.ML
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University（北京大学）；University of Twente（特文特大学）
首次提出自监督对比学习的增强感知误差界，揭示数据增强引发的权衡对监督风险的影响，并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
A Framework for Generative and Contrastive Learning of Audio Representations
Stanford University（斯坦福大学）
在本文中，我们提出了一个框架，对比学习音频表示，在一个自我监督的框架工作，没有访问任何地面真理标签。自监督对比学习的核心思想是映射音频信号及其各种增强版本（代表音频的突出方面，如音高，音色等）。到一个空间，在那里它们靠近在一起，并与其他不同的信号分开。此外，我们还探索了基于最先进的Transformer架构的生成模型，用于学习音频信号的潜在空间，而无需访问任何标签。在这里，我们将较小规模的音频信号映射到离散字典元素，并训练Transformers来预测下一个字典元素。我们只使用数据作为监督的方法，而不需要标签作为训练深度神经网络的监督。然后，我们使用一个线性分类器头，以评估我们的模型的性能，为自我监督的对比和生成Transformer为基础的表示，学习。我们的系统实现了相当大的性能，相比一个完全监督的方法，与地面实况标签的访问训练的神经网络模型。这些表示方法具有大规模音频数据的可用性，在音频理解任务的各种任务中显示出希望
2021-03-16 cs.LG cs.SD eess.AS
Towards Principled Evaluations of Sparse Autoencoders for Interpretability and Control
本文提出以有监督特征字典为参照，在具体任务中从近似、控制和可解释性三维度评估 SAE，并在 GPT-2 Small 的 IOI 任务中揭示其控制局限及特征遮蔽、过度分裂现象。
2024-05-20 cs.LG
BiTimeCrossNet: Time-Aware Self-Supervised Learning for Pediatric Sleep
Department of Computer Science, UNC Chapel Hill（UNC夏洛特分校计算机科学系）；School of Data Science and Society, UNC Chapel Hill（UNC夏洛特分校数据科学与社会学院）
BiTimeCrossNet通过引入时间信息和交叉注意力机制，在儿童睡眠分析中实现更高效的多模态自监督学习。
2026-02-02 cs.LG
CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification
Fudan University（复旦大学）；Arcplus Group PLC（华东建筑集团股份有限公司）
多变量时间序列的自监督表示学习是一个具有挑战性的课题，近年来引起了人们越来越多的研究兴趣。以前的许多工作都集中在自监督学习的借口任务上，通常忽视了MTS编码的复杂问题，导致结果不尽如人意。本文从编码器和托词任务两个方面解决了这一问题，提出了一个统一的通道感知自监督学习框架CaSS。具体来说，我们首先设计了一个新的基于transformer的编码器的并行感知Transformer（CaT），以捕捉MTS的不同时间通道之间的复杂关系。其次，我们结合了两个新的借口任务下一个趋势预测（NTP）和上下文相似性（CS）的自我监督表示学习与我们提出的编码器。在几个常用的基准数据集上进行了大量的实验。实验结果表明，与以往的自监督MTS表示学习方法相比，该框架取得了新的进步（在LSST数据集上提高了+7.70\%），可以很好地应用于下游MTS分类.
2022-03-08 cs.AI cs.LG
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo（滑铁卢大学）
有监督的降维策略已经引起了极大的兴趣。然而，当前的监督降维方法难以针对以大数据集为特征的情况进行缩放，因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战，但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战，在这项研究中，我们探索了一个新的方向，通过监督随机投影（SRP）的概念，以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是，而不是执行计算上禁止大规模数据的谱分解（或其近似），而是通过利用核近似理论和希尔伯特-施密特独立准则（HSIC）度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明，所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法（例如，SPCA和KSPCA），同时实现1-2个数量级更好的计算性能。因此，这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；University of Innsbruck（因斯布鲁克大学）
基于稀疏性的方法在信号处理领域有着悠久的历史，并已成功地应用于各种图像重建问题。所涉及的稀疏化变换或字典通常使用反映信号的假定属性的模型来预先训练，或者在重构期间自适应地学习，从而产生所谓的盲压缩感知方法。然而，通过这样做，变换从未结合生成信号的物理模型进行显式训练。此外，适当地选择所涉及的正则化参数仍然是一项具有挑战性的任务。另一个最近出现的正则化方法的训练范例是使用迭代神经网络（INN）-也称为展开网络-它包含物理模型。在这项工作中，我们构建了一个INN，它可以用作监督和物理信息的在线卷积字典学习算法。我们评估了所提出的方法，将其应用到一个现实的大规模动态MR重建问题，并将其与其他几个最近发表的作品。我们表明，所提出的INN改进了两种传统的模型不可知的训练方法，并且与深度INN相比也产生了有竞争力的结果。此外，它不需要选择正则化参数，并且与深度INN相比，每个网络组件都是完全可解释的。
2022-06-09 cs.LG eess.IV eess.SP
Hierarchy-Aware Supervised Uncertainty Estimation for Black-box LLM Taxonomic Reasoning
Vector Institute for AI（向量人工智能研究所）；University of Guelph（圭尔夫大学）
针对黑盒LLM在生物多样性监测分类推理中置信度估计难的问题，提出层级感知监督估计器，提升了微AUROC，验证了层级结构对弃权规则的重要性。
2026-08-25 cs.AI cs.LG
Semi-Supervised Generation with Cluster-aware Generative Models
Technical University of Denmark（丹麦理工大学）
使用大量未标记数据训练的深度生成模型已被证明在无监督学习领域非常强大。许多现实生活中的数据集包含少量标记的数据点，这些数据点通常在训练生成模型时被忽略。我们提出了一个具有感知能力的生成模型，它使用未标记的信息来推断一个潜在的表示，该表示对数据的自然聚类进行建模，并使用额外的标记数据点来细化该聚类。当利用标记信息时，模型的生成性能显着提高，在排列不变MNIST上获得-79.38 nats的对数似然，同时还实现了具有竞争力的半监督分类精度。该模型也可以完全无监督地进行训练，并且仍然可以提高相关方法的对数似然性能。
2017-04-03 cs.AI cs.LG stat.ML
Position-Aware Self-supervised Representation Learning for Cross-mode Radar Signal Recognition
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））
RadarPos通过位置感知自监督学习提升跨模式雷达信号识别的判别能力和鲁棒性。
2026-01-30 cs.AI cs.LG eess.SP
Multimodal-Aware Weakly Supervised Metric Learning with Self-weighting Triplet Loss
Dalian University of Technology（大连理工大学）
近年来，我们目睹了从弱监督数据中学习合适的距离度量的兴趣激增。大多数现有的方法旨在将所有相似的样本拉得更近，而将不相似的样本推得尽可能远。然而，当数据集的某些类别表现出多峰分布时，这些目标相互冲突，因此很难同时满足。此外，为了确保有效的度量，许多方法需要重复的特征值分解过程，这是昂贵的和数值不稳定的。因此，如何从弱监督数据中学习合适的距离度量仍然是一个开放但具有挑战性的问题。为了解决这个问题，在本文中，我们提出了一种新的弱监督度量学习算法，命名为Multimodal Aware weakly supervised Metric Learning（MDaML）。MDaML将数据空间划分为多个聚类，并为每个样本分配局部聚类中心和权重。然后，将其与加权三元组损失相结合，可以进一步增强局部可分性，这鼓励局部不相似样本与局部相似样本保持较大的距离。同时，MDaML将度量学习问题转化为SPD流形上的无约束优化问题，利用黎曼共轭梯度下降（RCGD）算法可以有效地求解该问题.在13个数据集上进行的大量实验验证了所提出的MDaML的优越性。
2021-02-03 cs.AI cs.LG cs.MM
