MARGIN: Margin-Aware Regularized Geometry for Imbalanced Vulnerability Detection
College of Artificial Intelligence and Computer Science, Northwest Normal University（人工智能与计算机科学学院，西北师范大学）
本文提出MARGIN框架，通过自适应边缘度量学习和超球体原型建模，解决漏洞检测中频率和难度不平衡问题，提升分类和检测性能。
2026-07-09 cs.CR cs.LG cs.SE
Guided Manifold Alignment with Geometry-Regularized Twin Autoencoders
Department of Statistics（统计学系）；Department of Computer Science（计算机科学系）；Neuroscience Center（神经科学中心）；Neuroscience Center and Department of Psychology（神经科学中心和心理学系）；Department of Psychology（心理学系）
针对传统流形对齐难以样本外扩展的问题，提出几何正则化孪生自编码器引导框架，结合预训练对齐与多任务学习提升跨域泛化、嵌入一致性和诊断预测性能。
2025-09-26 cs.LG stat.ML
Reconstruction Regularized Deep Metric Learning for Multi-label Image Classification
School of Computer Science and Engineering and Big Data Research Center, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院与大数据研究中心）；PingAn Health Technology Co.,Ltd.（平安健康科技股份有限公司）
在本文中，我们提出了一种新的深度度量学习方法来解决多标签图像分类问题。为了更好地学习图像特征和标签之间的相关性，我们尝试探索一个潜在空间，其中图像和标签分别通过两个独特的深度神经网络嵌入。为了捕获图像特征和标签之间的关系，我们的目标是从两个不同的视图学习嵌入空间上的\emph{two-way}深度距离度量，即，一个图像与其标签之间的距离不仅小于该图像与其标签的最近邻居之间的距离，而且小于该标签与对应于该标签的最近邻居的其他图像之间的距离。此外，用于恢复正确标签的重建模块被并入整个框架中作为正则化项，使得标签嵌入空间更具代表性。我们的模型可以以端到端的方式进行训练。公开的图像数据集上的实验结果证实了我们的方法的有效性与国家的最先进的。
2020-07-27 cs.CV cs.LG stat.ML
Connecting Graph Convolutional Networks and Graph-Regularized PCA
Carnegie Mellon University（卡内基梅隆大学）
GCN模型的图卷积算子最初是从谱图卷积的局部一阶近似出发的。这项工作站在一个不同的观点;建立一个\textit{mathematical connection between graph convolution and graph-regularized PCA}（GPCA）。基于这种联系，通过堆叠图卷积层形成的GCN架构与堆叠GPCA有着密切的关系。我们的经验表明，通过GPCA与1层或2层MLP配对的\textit{unsupervised}嵌入在包括Open Graph Benchmark \footnote{\url{https://ogb.stanford.edu/}}在内的五个数据集上的半监督节点分类任务上实现了与GCN相似甚至更好的性能。这表明GCN的威力是由基于图的正则化驱动的。此外，我们扩展GPCA的（半）监督设置，并表明它是等价于GPCA上的一个图扩展与“鬼”的边缘之间的节点相同的标签。最后，我们利用发现的关系，设计一个有效的初始化策略的基础上堆叠GPCA，使GCN收敛速度更快，并实现强大的性能在大量的层。值得注意的是，所提出的初始化是通用的，适用于其他GNN。
2021-03-02 cs.LG stat.ML
DR-SNE: Density-Regularized Stochastic Neighbor Embedding
DR-SNE是SNE的简单扩展，通过加入对齐归一化逆邻域尺度轮廓的正则项，在保留相对局部浓度的同时改善邻域保真度，适用于需关注局部浓度相对变化的降维场景。
2026-08-25 cs.LG
WL-Align: Weisfeiler-Lehman Relabeling for Aligning Users across Networks via Regularized Representation Learning
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Beijing Institute of Technology（北京理工大学）；Hong Kong Baptist University（香港浸会大学）
已经发现使用图表示学习跨网络对齐用户是有效的，其中对齐在低维嵌入空间中完成。然而，实现高度精确的对齐仍然具有挑战性，特别是当遇到与标记锚具有长距离连接的节点时。为了缓解这一限制，我们有目的地设计了WL-Align，它采用正则化的表示学习框架来学习不同的节点表示。它扩展了Weisfeiler-Lehman同构测试，并在“跨网络Weisfeiler-Lehman重新标记”和“保持邻近性的表示学习“的交替阶段学习对齐。跨网络的Weisfeiler-Lehman重标记是通过迭代基于锚的标签传播和基于相似性的散列来实现的，以高效和鲁棒的方式利用已知锚到不同节点的连接性。表示学习模块保留了各个网络内的二阶邻近性，并通过跨网络Weisfeiler-Lehman哈希标签进行正则化。在真实世界和合成数据集上的大量实验表明，我们提出的WL-Align优于最先进的方法，在“精确匹配”场景中实现了显着的性能改进。WL-Align的数据和代码可在https://github.com/ChenPengGang/WLAlignCode上获得。
2022-12-29 cs.AI cs.LG cs.SI
Incomplete Multi-view Clustering via Graph Regularized Matrix Factorization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The University of Queensland（昆士兰大学）
不完整视图的聚类是多视图聚类中的一个挑战。在本文中，我们提供了一种新颖而简单的方法来解决这个问题。具体地说，该方法同时利用每个视图的局部信息和视图间的互补信息来学习所有样本的共同潜在表示，从而大大提高了所获得的表示的紧凑性和可区分性。与传统的图嵌入方法相比，该方法不需要引入额外的正则化项和相应的惩罚参数来保持数据的局部结构，因此不会增加额外参数选择的负担.通过对每个视图的基矩阵施加正交约束，该方法能够处理样本外。此外，所提出的方法可以被看作是一个统一的框架，多视图学习，因为它可以处理不完整和完整的多视图聚类和分类任务。在多个多视图数据集上进行的大量实验证明，该方法可以显着提高聚类性能。
2018-09-17 cs.CV cs.LG
Tree-Regularized Tabular Embeddings
Amazon（亚马逊公司）
本文提出利用预训练树集成结构生成 T2V/T2T 二值化表格嵌入，并在 88 个 OpenML 二分类数据集上验证其性能、鲁棒性及作为通用编码器的可扩展性。
2024-03-01 cs.LG
RAFEN -- Regularized Alignment Framework for Embeddings of Nodes
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
针对动态图节点嵌入随演化需保持可比的问题，本文提出 RAFEN 框架，将对齐项融入训练过程以增强现有嵌入方法，并在六个真实数据集上验证其可取得相当或更优性能。
2023-04-19 cs.LG
No Pairs Left Behind: Improving Metric Learning with Regularized Triplet Objective
University of California, Merced（加州大学默塞德分校）；Google（谷歌）
我们提出了一种新的制定的三重目标函数，提高度量学习没有额外的样本挖掘或开销成本。我们的方法的目的是显式正则化之间的距离的正样本和负样本在一个三重相对于锚负距离。作为初始验证，我们表明我们的方法（称为No Pairs Left Behind [NPLB]）改进了标准基准数据集上传统和当前最先进的三重目标公式。为了展示NPLB在现实世界复杂数据上的有效性和潜力，我们在一个大规模的医疗数据集（英国生物银行）上评估了我们的方法，证明了我们的模型学习的嵌入在测试的下游任务上显著优于所有其他当前表示。此外，我们提供了一个新的模型不可知的单次健康风险定义，当与学习的表示一起使用时，实现了对受试者未来健康并发症的最准确预测。我们的研究结果表明，NPLB是一个简单而有效的框架，可以改进现有的深度度量学习模型，展示度量学习在更复杂的应用中的潜在影响，特别是在生物和医疗领域。
2022-10-18 cs.AI cs.LG
Adversarially Regularized Graph Autoencoder for Graph Embedding
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）
图嵌入是在低维空间中表示图数据的一种有效方法。现有的嵌入算法主要关注于保持图的拓扑结构或最小化图的重构误差，但大多忽略了图中潜码的分布，这往往导致嵌入效果不佳。在本文中，我们提出了一种新的对抗图嵌入框架的图形数据。该框架将图中的拓扑结构和节点内容编码为紧凑表示，在该紧凑表示上训练解码器以重建图结构。此外，通过对抗性训练方案，潜在表示被强制匹配先验分布。为了学习鲁棒的嵌入，开发了两种对抗方法，对抗正则化图自动编码器（ARGA）和对抗正则化变分图自动编码器（ARVGA）。真实世界的图上的实验研究验证了我们的设计，并证明我们的算法优于基线的链接预测，图聚类和图形可视化任务的大幅度提高。
2019-01-08 cs.LG stat.ML
Spectral embedding of regularized block models
Institut Polytechnique de Paris（巴黎理工学院）
谱嵌入是一种常用的图形数据表示技术。已经提出了几种正则化技术来提高嵌入的质量，例如聚类等下游任务。在本文中，我们解释了一个简单的块模型的完整的图形正则化的影响，其中一个常数被添加到邻接矩阵的所有条目。具体来说，我们证明了正则化迫使谱嵌入集中在最大的块上，使得表示对噪声或离群值不那么敏感。我们在合成数据和真实数据上说明了这些结果，展示了正则化如何提高标准聚类得分。
2019-12-23 cs.LG stat.ML
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization
Stanford University（斯坦福大学）
提出了一种新的基于草图的求解L2正则化最小二乘问题的随机算法。我们考虑两个最流行的随机嵌入，即高斯嵌入和子采样随机阿达玛变换（SRHT）。虽然目前的最小二乘优化的随机求解器规定的嵌入维数至少大于数据维数，我们表明，嵌入维数可以减少到有效的优化问题的尺寸，并仍然保持高概率收敛保证。在这方面，我们推导出尖锐的矩阵偏差不等式在椭球高斯和SRHT嵌入。具体来说，我们改进了经典高斯浓度界的常数，而对于SRHT嵌入，我们的偏差不等式涉及一种新的技术方法。利用这些界限，我们能够设计一个实用的和自适应的算法，不需要事先知道的有效尺寸。我们的方法从初始嵌入维数等于1开始，经过迭代，嵌入维数最多增加到有效维数。因此，我们的算法提高了最先进的计算复杂性求解正则化最小二乘问题。此外，我们在数值上表明，它优于标准的迭代求解器，如共轭梯度法及其预处理版本在几个标准的机器学习数据集。
2020-10-23 cs.LG stat.ML
Regularized Non-negative Spectral Embedding for Clustering
Beihang University（北京航空航天大学）
谱聚类是一种将数据点分成组的流行技术，特别是对于复杂的数据集。谱聚类家族中的算法通常由多个单独的阶段组成（例如相似性矩阵构建，低维嵌入和作为后处理的K-Means聚类），由于不同阶段之间可能存在不匹配，因此可能导致次优结果。在本文中，我们提出了一个端到端的单阶段学习方法聚类称为正则化非负谱嵌入（RNSE），扩展了谱聚类与自适应学习的相似性矩阵，同时利用非负约束，以促进一步聚类（直接从数据点到聚类标签）。两个有充分根据的方法，连续交替投影和战略乘法更新，解决了相当具有挑战性的优化问题的RNSE。在合成数据集和真实数据集上进行的大量实验表明，RNSE的聚类性能优于一些最先进的竞争对手。
2019-11-01 cs.LG stat.ML
Graph-RISE: Graph-Regularized Image Semantic Embedding
Google AI（谷歌人工智能）
学习图像表示以捕获细粒度语义一直是一项具有挑战性的重要任务，可以实现许多应用，如图像搜索和聚类。在本文中，我们提出了图正则化图像语义嵌入（Graph-RISE），这是一个大规模的神经图学习框架，允许我们训练嵌入来区分前所未有的O（40 M）超细粒度语义标签。Graph-RISE在多个评估任务上优于最先进的图像嵌入算法，包括图像分类和三重排序。我们提供的案例研究表明，定性，图像检索的基础上，图形上升有效地捕捉语义，并与最先进的，区分细微差别的水平，更接近人类的感知。
2019-02-14 cs.CV cs.LG stat.ML
OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Amazon Web Services（亚马逊云科技）；Carnegie Mellon University（卡内基梅隆大学）
图神经网络（GNN）是目前在图结构数据建模中占主导地位的方法，但其对图结构的高度依赖性极大地阻碍了其广泛应用。相比之下，图正则化的MLP（GR-MLP）隐式地将图结构信息注入模型权重中，而它们的性能在大多数任务中很难与GNN相匹配。这促使我们研究GR-MLP性能有限的原因。在本文中，我们首先证明了从传统GR-MLP学习的节点嵌入遭受维度崩溃，这是一种最大的几个特征值主导嵌入空间的现象，通过经验观察和理论分析。因此，学习的节点表示的表达能力受到限制。我们进一步提出了OrthoReg，一种新的GR-MLP模型，以减轻尺寸崩溃的问题。通过节点嵌入的相关矩阵上的软正则化损失，OrthoReg明确鼓励正交节点表示，从而可以自然避免维度折叠表示。在传统的直推式半监督分类任务和冷启动场景下的归纳式节点分类任务上的实验证明了该方法的有效性和优越性。
2023-01-31 cs.LG
Asymptotics of $\ell_2$ Regularized Network Embeddings
Columbia University（哥伦比亚大学）
解决大型网络上的预测任务（例如节点分类或链接预测）的常见方法是通过学习网络节点的欧几里德嵌入开始，然后可以应用传统的机器学习方法。这包括DeepWalk和node2vec等方法，它们通过优化在随机梯度下降的每次迭代中在图的子样本上形成的随机损失来学习嵌入。在本文中，我们研究了添加一个$\ell_2$惩罚的嵌入向量的这些类型的方法的训练损失的影响。我们证明了，在一些交换假设的图形，这渐近导致学习一个graphon与核范数型的惩罚，并保证学习的嵌入向量的渐近分布。特别地，惩罚的确切形式取决于作为随机梯度下降的一部分使用的子采样方法的选择。我们还说明了经验，连接节点协变量的$\ell_2$正则化node2vec嵌入导致可比的，当不优越，性能的方法，将节点协变量和网络结构在一个非线性的方式。
2022-12-18 cs.LG math.ST stat.ML
Cascade Adversarial Machine Learning Regularized with a Unified Embedding
Georgia Institute of Technology（佐治亚理工学院）
在训练过程中注入对抗性示例，称为对抗性训练，可以提高对单步攻击的鲁棒性，但对未知的迭代攻击则不行。为了应对这一挑战，我们首先展示了迭代生成的对抗图像可以在使用相同策略训练的网络之间轻松传输。受这一观察的启发，我们提出了级联对抗训练，它转移了对抗训练最终结果的知识。我们从零开始训练网络，除了从正在训练的网络中注入一步对抗图像外，还注入从已经防御的网络中迭代生成的对抗图像。我们还建议利用嵌入空间进行分类和低级（像素级）相似性学习，以忽略未知的像素级扰动。在训练过程中，我们注入对抗图像，而不替换它们相应的干净图像，并惩罚两个嵌入（干净和对抗）之间的距离。实验结果表明，级联对抗训练与我们提出的低级别相似性学习有效地提高了对迭代攻击的鲁棒性，但对一步攻击的鲁棒性下降。我们表明，结合这两种技术也可以提高最坏情况下的黑盒攻击场景下的鲁棒性。
2018-03-17 cs.LG stat.ML
Text classification with word embedding regularization and soft similarity measure
Masaryk University（马萨里克大学）；Faculty of Informatics（信息学院）
自从Mikolov等人的开创性工作以来，词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量，如软余弦度量（SCM）和词移动者距离（WMD），被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色，但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度，但其在文本分类上的性能从未与WMD进行过比较。最近，两种词嵌入正则化技术被证明可以减少存储和内存成本，并提高训练速度，文档处理速度以及词类比，词相似性和语义文本相似性的任务性能。然而，这些技术对文本分类的影响尚未得到研究。在我们的工作中，我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估，我们使用$k$ NN分类器和六个标准数据集：BBCSPORT，TWITTER，OHSUMED，REUTERS-21578，AMAZON和20 NEWS。我们发现，与非正则化词嵌入相比，正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序，通过Cholesky分解得到这样的正则化嵌入。我们还表明，具有正则化词嵌入的SCM在文本分类方面明显优于WMD，并且速度快了10，000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
Multi-View Network Embedding Via Graph Factorization Clustering and Co-Regularized Multi-View Agreement
The Pennsylvania State University（宾夕法尼亚州立大学）；Google LLC（谷歌有限责任公司）
现实世界的社交网络和数字平台由通过多种类型的关系（链接）链接到其他个体或实体的个体（节点）组成。基于每种类型的链路的这种网络的子网络对应于底层网络的不同视图。在实际应用中，每个节点通常只链接到其他节点的一个小子集。因此，解决诸如节点标记等问题的实际方法必须处理由此产生的稀疏网络。虽然低维网络嵌入提供了一个有前途的方法来解决这个问题，大多数当前的网络嵌入方法主要集中在单视图网络。本文提出了一种新的多视点网络嵌入（MVNE）算法，用于从多视点网络中构造低维节点嵌入。MVNE将使用图因子分解聚类（GFC）的单视图网络嵌入（SVNE）的方法适配并扩展到使用目标函数的多视图设置，该目标函数基于底层多视图图的局部和全局结构来最大化视图之间的一致性。我们的实验与几个基准的真实世界的单视图网络表明，基于GFC的SVNE产生的网络嵌入的竞争力或优于那些由国家的最先进的单视图网络嵌入方法时，嵌入用于标记网络中的未标记节点。我们的实验与几个多视图网络表明，MVNE大大优于单视图方法的综合视图和国家的最先进的多视图方法。我们进一步表明，即使当目标是预测标签的节点在一个单一的目标视图，MVNE优于它的单视图对应建议的MVNE是能够提取的信息，是有用的标签节点在目标视图中的所有视图。
2019-02-18 cs.LG cs.SI
Crime Event Embedding with Unsupervised Feature Selection
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的事件嵌入算法的犯罪数据，可以共同捕捉时间，位置和复杂的自由文本组件的每个事件。嵌入是通过正则化的限制玻尔兹曼机（RBM），我们引入了一种新的方式来规范施加$\ell_1$惩罚RBM的观测变量的条件分布。这种正则化的选择执行特征选择，并且它还导致有效的计算，因为梯度可以以闭合形式计算。特征选择迫使嵌入基于最重要的关键字，这捕获了常见的操作方式（M。O.）的犯罪系列通过对大规模犯罪数据集的数值实验，我们证明了我们的正则化RBM可以实现更好的事件嵌入，并且所选特征具有高度的人类理解可解释性。
2018-11-04 cs.LG stat.ML
Learning Graph Embedding with Adversarial Training Methods
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；City University of Hong Kong（香港城市大学）
图嵌入旨在将图转换为向量，以促进后续的图分析任务，如链接预测和图聚类。图嵌入的大多数方法都集中在保持图的结构或最小化图数据的重建误差。他们大多忽略了潜在代码的嵌入分布，不幸的是，这可能会导致在许多情况下表现较差。在本文中，我们提出了一个新的逆向正则化框架图嵌入。通过采用图卷积网络作为编码器，我们的框架嵌入的拓扑信息和节点内容到一个矢量表示，从该图解码器进一步构建重建输入图。对抗性训练原则被应用于强制我们的潜码匹配先验高斯或均匀分布。基于这个框架，我们推导出两种对抗模型的变体，对抗正则化图自动编码器（ARGA）及其变分版本，对抗正则化变分图自动编码器（ARVGA），以有效地学习图嵌入。我们还利用ARGA和ARVGA的其他潜在变体来深入了解我们的设计。通过对12种链接预测算法和20种图聚类算法的实验比较，验证了本文提出的方法的有效性。
2019-07-29 cs.LG stat.ML
AGNN: Alternating Graph-Regularized Neural Networks to Alleviate Over-Smoothing
Fuzhou University（福州大学）；University of Vienna（维也纳大学）
针对GCN过度平滑问题，本文提出交替图正则化神经网络AGNN，通过图嵌入层的周期性投影缓解过度平滑，并利用改进的Adaboost策略聚合多层输出，在实验中优于现有模型。
2023-04-14 cs.AI cs.LG
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI；Università della Svizzera Italiana（瑞士意大利语区大学）；Vita-Salute San Raffaele University（圣拉斐尔生命健康大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）；Université de Sherbrooke（舍布鲁克大学）
两个数据样本是否来自不同的分布？最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间（RKHS）中，以通过嵌入之间的距离来比较分布。我们发现，正则化最大均值离散度（RMMD），我们的新措施，基于内核的假设检验，即使样本量很小，也会产生实质性的改善，并擅长于假设检验，涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布，并评估功率控制。在以下方面获得了出色的结果：具有挑战性的EEG数据，MNIST，Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Attention Regularized Laplace Graph for Domain Adaptation
Shanghai Jiao Tong University（上海交通大学）；Ecole Centrale de Lyon（里昂中央理工学院）；LIRIS, CNRS（法国国家科学研究中心图像与信息系统实验室）
在领域自适应（DA）中利用流形学习，基于图嵌入的DA方法已经显示出其通过拉普拉斯图保持数据流形的有效性。然而，目前的图嵌入DA方法存在两个问题：1）。它们只关心嵌入中底层数据结构的保存，而忽略了需要考虑类内相似性和类间不相似性的子领域自适应，从而导致负迁移; 2）.流形学习是分别跨不同的特征/标签空间提出的，从而阻碍了统一的综合流形学习。在本文中，从我们以前的DGA-DA，我们提出了一种新的DA方法，即注意正则拉普拉斯图为基础的领域自适应（ARG-DA），以弥补上述问题。具体来说，通过加权不同的子领域自适应任务的重要性，我们提出了注意力正则拉普拉斯图类感知DA，从而产生注意力正则DA。此外，使用一个专门设计的FEEL策略，我们的方法动态统一对齐的流形结构在不同的特征/标签空间，从而导致全面的流形学习。综合实验验证了所提出的DA方法的有效性，它始终优于国家的最先进的DA方法在7个标准DA基准，即，37个跨域图像分类任务，包括对象，面部和数字图像。深入分析所提出的DA方法进行了讨论，包括灵敏度，收敛性和鲁棒性。
2022-10-15 cs.CV cs.LG
Topologically penalized regression on manifolds
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；University of California（加利福尼亚大学）；Laboratoire de Probabilités et Statistiques Mathématiques（数学概率与统计实验室）；Université de Paris（巴黎大学）
研究了紧致流形M上的一个回归问题。为了利用数据的基本几何和拓扑，回归任务是在流形的Laplace-Beltrami算子的前几个本征函数的基础上执行的，这些本征函数是用拓扑惩罚正则化的。所提出的惩罚是基于子水平集的本征函数或估计函数的拓扑结构。整体的方法是产生有前途的和有竞争力的性能在各种应用程序的合成和真实的数据集。我们还提供了回归函数估计的理论保证，其预测误差和平滑度（在拓扑意义上）。总之，这些结果支持我们的方法的相关性的情况下，目标函数是“拓扑光滑”。
2022-06-10 cs.LG math.ST stat.TH
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh（匹兹堡大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Xidian University（西安电子科技大学）；University of Sydney（悉尼大学）
图像聚类是计算机视觉最重要的应用之一，在文献中得到了广泛的研究。然而，现有的聚类方法在处理大规模、高维数据时，大多缺乏效率和可扩展性。在本文中，我们提出了一个新的聚类模型，称为DEeP嵌入正则化的聚类（DEPICT），它有效地将数据映射到一个有区别的嵌入子空间，并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数，使用相对熵（KL发散）最小化，正则化的集群分配的频率之前。一个交替的策略，然后推导出优化的目标，通过更新参数和估计集群分配。此外，我们在自动编码器中使用重建损失函数作为数据相关的正则化项，以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性，我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数，并同时训练所有网络层。实验结果表明，DEPICT的优越性和更快的运行时间在现实世界的聚类任务，其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
Graph Regularized Autoencoder and its Application in Unsupervised Anomaly Detection
Texas A&M University（德克萨斯农工大学）；BAE Systems, Inc.（BAE系统公司）
对于包括异常检测和聚类在内的许多无监督学习任务来说，先验性降低是至关重要的第一步。自动编码器是一种流行的降维机制。为了对嵌入非线性低维流形的高维数据进行有效的降维，需要使用某种测地距离度量来区分数据样本。受测地线距离近似器（如ISOMAP）的成功启发，我们提出使用最小生成树（MST），一种基于图的算法，来近似局部邻域结构并生成数据点之间的结构保持距离。我们使用这种基于MST的距离度量来取代自编码器嵌入函数中的欧氏距离度量，并开发了一种新的图形正则化自编码器，该编码器在20个基准异常检测数据集上优于各种替代方法。我们进一步将MST正则化器纳入两个生成对抗网络，并发现使用MST正则化器大大提高了两个生成对抗网络的异常检测性能。我们还在聚类应用程序中的两个数据集上测试了我们的MST正则化自动编码器，并见证了其卓越的性能。
2021-03-11 cs.LG stat.ML
Learning Regularized Positional Encoding for Molecular Prediction
Apple Inc.（苹果公司）；ByteDance Inc.（字节跳动）
机器学习已成为一种很有前途的分子建模方法。位置量，如原子间距离和键角，在分子物理学中起着至关重要的作用。现有的作品依赖于仔细的手工设计他们的表现。为了以更端到端的方法对预测分子性质的复杂非线性进行建模，我们建议使用连续和可微的可学习嵌入对位置量进行编码。正则化技术，以鼓励嵌入沿物理维度的平滑性。我们实验了各种分子性质和力场预测任务。在插入所提出的位置编码方法后，观察到三种不同模型架构的性能改善。此外，学习的位置编码允许更容易的基于物理的解释。我们观察到，类似的物理任务有类似的学习位置编码。
2022-11-23 cs.LG physics.chem-ph q-bio.BM
Information-Regularized Attention for Visual-Centric Reasoning
FAIR at Meta（Meta 的 FAIR 部门）；Rochester Institute of Technology（罗切斯特理工学院）
针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题，提出信息正则化注意力机制，通过随机注意力显式调控视觉信息注入，改善表示学习稳定性。
2026-07-02 cs.CV cs.LG
A Differentially Private Text Perturbation Method Using a Regularized Mahalanobis Metric
Amazon Alexa（亚马逊 Alexa）
平衡隐私-效用权衡是许多处理敏感客户数据的实用机器学习系统的关键要求。隐私保护文本分析的一种流行方法是噪声注入，其中文本数据首先映射到连续的嵌入空间，通过从适当的分布中采样球形噪声来扰动，然后投影回离散的词汇空间。虽然这允许扰动允许所需的度量差分隐私，但是通常在该扰动数据上建模的下游任务的效用是低的，因为球形噪声不考虑嵌入空间中不同单词周围的密度的可变性。特别是，即使噪声尺度很大，稀疏区域中的单词也可能不变。%使用该机制的全局敏感性可能会在嵌入空间的密集区域中向单词添加太多噪声，导致高效用损失，而使用局部敏感性可能会通过添加的噪声的规模泄漏信息。在本文中，我们提出了一个文本扰动机制的基础上精心设计的正则化变体的马氏度量来克服这个问题。对于任何给定的噪声尺度，该度量添加椭圆噪声以说明嵌入空间中的协方差结构。沿着不同方向的噪声尺度的这种异质性有助于确保稀疏区域中的单词具有足够的替换可能性，而不会牺牲整体效用。我们提供了一个文本扰动算法的基础上，这个度量和正式证明其隐私保证。此外，我们的经验表明，我们的机制提高了隐私统计，以实现相同水平的效用相比，国家的最先进的拉普拉斯机制。
2020-10-22 cs.CL cs.CR cs.LG
Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations
Carnegie Mellon University（卡内基梅隆大学）
数据增强是提高神经网络鲁棒性的最常用技术之一。除了直接用原始样本和增强样本训练模型外，还引入了大量方法来正则化原始样本及其增强对应样本的嵌入/表示之间的距离。在本文中，我们将探讨这些不同的正则化选择，寻求对如何正则化嵌入的一般理解。我们的分析表明，正则化的理想选择对应于各种假设。通过不变性测试，我们认为，如果模型要在比精度驱动设置更广泛的背景下使用，则正则化是重要的，因为非正则化方法在学习不变性概念方面受到限制，尽管同样具有高精度。最后，我们还表明，我们确定的通用方法（平方$\ell_2$范数正则化增强）优于最近的几种方法，这些方法都是专门为一个任务设计的，比我们的复杂得多，在三个不同的任务。
2020-11-25 cs.LG
GeRA: Label-Efficient Geometrically Regularized Alignment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对多模态编码器对齐需大量配对数据的问题，提出半监督的GeRA方法，利用无标签数据流形几何和扩散算子构建的几何损失项实现高效对齐，适用于多模态，在少配对数据下对齐效果优于主流基线。
2023-10-07 cs.CL cs.CV cs.LG
Semi-supervised dual graph regularized dictionary learning
CEA（法国原子能和替代能源委员会）；LIST（信息技术与系统实验室（CEA下属））；Laboratoire AIM（AIM实验室）；CNRS（法国国家科学研究中心）；Paris 7（巴黎第七大学）；Irfu（核物理与粒子物理研究所（CEA下属））
在本文中，我们提出了一种半监督字典学习方法，该方法使用标记和未标记数据中的信息，并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法（LLE）相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明，我们的方法提供了显着的改进，比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM，可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
Learning low bending and low distortion manifold embeddings
University of Bonn（波恩大学）
自编码器是机器学习中广泛使用的工具，用于将高维数据转换为低维表示，该表示仍显示输入的基本特征。编码器提供从输入数据流形到潜在空间中的嵌入，该潜在空间然后可以用于进一步处理。例如，学习流形上的插值可以通过潜在空间中的新流形表示来简化。这种进一步处理的效率在很大程度上取决于嵌入的规则性和结构。在本文中，通过损失函数来正则化嵌入到潜在空间中，该损失函数促进尽可能等距和平坦的嵌入。所需的训练数据包括输入流形上的附近点对以及它们的局部距离和它们的局部弗雷歇平均值。该规律性损失函数甚至允许对编码器自身进行训练。损失泛函计算通过蒙特卡洛积分，这是一致的几何损失函数直接定义在嵌入映射。使用编码不同数据流形的图像数据执行数值测试。结果表明，在潜空间中得到了光滑流形嵌入。这些嵌入足够规则，使得流形上不太远的点之间的插值可以很好地近似于潜空间中的线性插值。
2021-04-27 cs.LG
Hyper-Laplacian Regularized Concept Factorization in Low-rank Tensor Space for Multi-view Clustering
针对张量多视图聚类中自表示复杂度高且忽略非线性结构与奇异值差异的问题，提出HLRCF方法。该方法结合概念分解、超图拉普拉斯正则化与自加权张量Schatten p范数，在低秩张量空间中提取非线性局部结构并自适应分配权重，有效降低了计算复杂度并提升了聚类性能。
2023-08-01 cs.LG
Survival-oriented embeddings for improving accessibility to complex data structures
LMU Munich（慕尼黑大学）
深度学习擅长分析非结构化数据，最近的进展允许将这些技术扩展到生存分析。在临床放射学的背景下，这使得例如，将非结构化体积图像与风险评分或预期寿命的预后相关联，并支持临床决策。然而，医疗应用与高关键性相关联，因此，无论是医务人员还是患者通常都不接受黑盒模型作为决策的理由或基础。除了对新技术的厌恶之外，这是由于许多机器学习方法缺乏可解释性，透明度和问责制。我们提出了一个危险正则化的变分自编码器，它支持在生存分析的背景下直接解释深度神经架构，这是一个与医疗保健高度相关的领域。我们将所提出的方法应用于肝脏肿瘤患者的腹部CT扫描及其相应的生存时间。
2021-11-03 cs.LG
WalkingTime: Dynamic Graph Embedding Using Temporal-Topological Flows
Carnegie Mellon University（卡内基梅隆大学）
在过去的四年中，人们越来越关注动态网络嵌入。现有的动态嵌入方法，但是，考虑的问题仅限于一系列的全球性，离散状态的拓扑结构的演变。我们提出了一种新的嵌入算法，WalkingTime，基于一个根本不同的处理时间，允许本地考虑连续发生的现象;而其他人认为全球时间步长是一阶公民的动态环境，我们持有的流组成的时间和拓扑局部相互作用作为我们的原语，没有任何离散化或对齐的时间相关的属性是必要的。保留字：动态网络，表示学习，动态图嵌入，时间相关路径，时间拓扑流，时间随机游走，时间网络，实属性知识图谱，流图，在线网络，异步图，异步网络，图形算法，深度学习，网络分析，数据挖掘，网络科学
2021-11-22 cs.LG cs.SI
FibeRed: Fiberwise Dimensionality Reduction of Topologically Complex Data with Vector Bundles
Northeastern University（东北大学）
现有的降维算法很难将具有非平凡大规模拓扑结构的数据集嵌入到低维欧氏空间中。我们建议使用向量束对拓扑复杂的数据集进行建模，以这样一种方式，即基空间占大规模拓扑，而纤维占局部几何。这允许减少纤维的维数，同时保持大规模拓扑。我们形式化这一观点，并作为一个应用程序，我们描述了一种算法，它需要作为输入的数据集连同它在欧几里得空间的初始表示，假设恢复其大规模拓扑的一部分，并输出一个新的表示，集成本地表示，通过本地线性降维，沿初始的全球表示。我们证明了这种算法的例子来自动力系统和化学。在这些例子中，我们的算法能够学习拓扑上忠实的嵌入数据在较低的目标维度比各种众所周知的基于度量的降维算法。
2023-03-15 cs.CG cs.LG math.AT
Topological Fraud Detection in Latent Transaction Spaces
提出在拓扑匿名化嵌入上结合迭代无监督过滤与监督式精准识别的欺诈检测方法，实现超低延迟、隐私保护的分流，无需泄露个人身份信息即可标记可疑活动。
2026-10-14 cs.CR cs.LG
Regularized Graph Structure Learning with Semantic Knowledge for Multi-variates Time-Series Forecasting
Ant Group（蚂蚁集团）；AI School, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
多变量时间序列预测是许多应用的关键任务，而图时间序列网络由于其能够同时捕获时空相关性而被广泛研究。然而，大多数现有的工作更侧重于学习与显式的先验图结构，而忽略了潜在的信息，从隐式图结构，产生不完整的结构建模。最近的一些工作试图直接学习内在或隐含的图结构，但缺乏一种将显式先验结构和隐式结构结合在一起的方法。在本文中，我们提出了正则化图结构学习（RGSL）模型，将显式先验结构和隐式结构结合在一起，并随着图结构一起学习预测深度网络。RGSL由两个创新模块组成。首先，我们通过节点嵌入推导出一个隐式的稠密相似矩阵，并使用基于Gumbel Softmax技巧的正则化图生成（RGG）来学习稀疏图结构。其次，我们提出了一个拉普拉斯矩阵混合模块（LM 3）来融合显式图和隐式图。我们在三个真实的数据集上进行了实验。实验结果表明，该模型在学习有意义的图结构的同时，性能明显优于现有的图预测算法。我们的代码和模型在https://github.com/alipay/RGSL.git上公开提供。
2022-10-12 cs.CV cs.LG
Topologically-Informed Atlas Learning
University of Michigan（密歇根大学）
我们提出了一种新的技术，使流形学习准确地嵌入包含孔的数据流形，而不丢弃任何拓扑信息。流形学习的目标是通过学习坐标图将高维数据嵌入到低维的欧几里得空间中，但它要求整个流形可以嵌入到单个图表中。这对于有孔的流形是不可能的。在这种情况下，有必要学习一个图集：一个涵盖整个流形的图表集合。我们从许多小图表开始，并以自下而上的方法将它们组合起来，其中图表仅在这样做不会引入有问题的拓扑特征的情况下进行组合。当不再可能组合任何图表时，每个图表都单独嵌入标准流形学习技术，完成地图集的构建。我们通过构建具有挑战性的合成流形的地图集，从运动捕捉数据中学习人体运动嵌入，以及学习关节对象的运动学模型来展示我们的方法的有效性。
2022-03-09 cs.AI cs.LG cs.RO
Structure-Regularized Interpretable TCR-Epitope Prediction
Department of Computer Science, Tulane University（杜兰大学计算机科学系）；Department of Biochemistry and Molecular Biology, Tulane University School of Medicine（杜兰大学医学院生物化学与分子生物学系）
提出TCR-SRIM模型，结合蛋白质语言模型嵌入与可解释接触原型，在TCR-XAI基准上实现最优预测性能和解释质量，并揭示生成结构对模型学习的影响。
2026-07-01 cs.CE cs.LG q-bio.BM
META-CODE: Community Detection via Exploratory Learning in Topologically Unknown Networks
Yonsei University（延世大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
在社交网络中发现社区结构作为各种网络分析任务的基本问题已经获得了相当大的关注。然而，由于隐私问题或访问限制，网络结构通常是未知的，从而使得建立的社区发现方法在没有昂贵的数据采集的情况下无效。为了应对这一挑战，我们提出了META-CODE，这是一种新型的端到端解决方案，用于通过易于收集的节点元数据辅助的探索性学习来检测具有未知拓扑的网络中的重叠社区。具体来说，META-CODE由三个步骤组成：1）初始网络推理，2）基于我们新的重建损失训练的图神经网络（GNN）的节点级社区联系嵌入，以及3）通过基于社区联系的节点查询进行网络探索，其中步骤2和3迭代执行。实验结果表明，META-CODE表现出（a）优于基准方法重叠社区发现，（b）我们的训练模型的有效性，（c）快速网络探索。
2022-08-23 cs.AI cs.IR cs.LG
Adaptive Locally Linear Embedding
Ferdowsi University of Mashhad（马什哈德费尔多西大学）；Center of Excellence in Soft Computing and Intelligent Information Processing, Ferdowsi University of Mashhad（马什哈德费尔多西大学软计算与智能信息处理卓越中心）
本文提出自适应局部线性嵌入（ALLE），通过数据驱动的动态度量替代欧氏距离，以拓扑邻域包含关系重新定义邻近性，从而在复杂高维数据降维中实现更优的邻域保持和更准确的嵌入。
2025-04-09 cs.AI cs.LG
A Novel Regularized Principal Graph Learning Framework on Explicit Graph Representation
The State University of New York at Buffalo（纽约州立大学布法罗分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Technology, Sydney（悉尼科技大学）
许多科学数据集都是高维的，分析通常需要通过保留数据的最重要结构来进行可视化操作。主曲线是用于此目的的广泛使用的方法。然而，许多现有的方法仅适用于具有非自组织结构的数据，这对于实际应用来说是相当限制的。有一些方法可以克服上述问题，但它们要么需要复杂的人为制定的规则，缺乏收敛性保证和适应不同任务的灵活性，或不能获得显式的数据结构。为了解决这些问题，我们开发了一个新的正则化主图学习框架，该框架基于反向图嵌入捕获底层图结构的局部信息。作为展示，模型，可以学习生成树或加权无向$\ell_1$图提出了一种新的学习算法，学习一组主要的点和图结构的数据，同时。新算法简单，收敛性有保证。然后，我们扩展所提出的框架来处理大规模的数据。在各种合成数据集和六个真实世界数据集上的实验结果表明，该方法与基线相比，可以正确地揭示底层结构。
2016-01-17 cs.AI cs.LG stat.ML
Latent Skill Embedding for Personalized Lesson Sequence Recommendation
Cornell University（康奈尔大学）
在线课程中的学生生成大量数据，可用于个性化学习过程和提高教育质量。在本文中，我们提出了潜在技能嵌入（LSE），学生和教育内容的概率模型，可用于推荐个性化的课程序列，以帮助学生准备具体的评估。类似于推荐系统的协同过滤，该算法不要求学生或内容由特征描述，但它使用访问轨迹来学习表示。我们制定这个问题作为一个正规化的最大似然嵌入的学生，经验教训，并从历史的学生内容的互动评估。对自适应学习技术公司Knewton的大规模数据进行的实证评估表明，该方法预测评估结果与基准模型具有竞争力，并且能够区分导致掌握和失败的课程序列。
2016-02-23 cs.AI cs.CY cs.LG
Signed Network Embedding with Application to Simultaneous Detection of Communities and Anomalies
The Chinese University of Hong Kong（香港中文大学）；Southern University of Science and Technology（南方科技大学）
本文提出一种统一的带符号网络嵌入模型，通过低秩加稀疏分解同时捕捉平衡结构与异常效应，实现社区与异常检测，并给出理论保证与实验验证。
2023-10-16 cs.LG cs.SI stat.ML
