Vector-Valued Graph Trend Filtering with Non-Convex Penalties
Carnegie Mellon University（卡内基梅隆大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
这项工作研究了分段光滑图信号的去噪，这些信号在图上表现出不均匀的光滑度，其中每个节点处的值可以是向量值。我们扩展了图趋势滤波框架，使用一系列非凸正则化器对向量值图信号进行去噪，这些正则化器比现有的凸正则化器具有更好的恢复性能。利用预言不等式，我们建立了一般图的非凸方法的一阶稳定点的统计错误率。此外，我们提出了一个基于ADMM的算法来解决所提出的方法，并建立其收敛性。在合成和真实数据上进行了数值实验，用于去噪，支持恢复，事件检测和半监督分类。
2019-11-18 cs.LG eess.SP stat.ML
Graph-dependent shrinkage priors for Bayesian trend filtering
Scuola Internazionale Superiore di Studi Avanzati (SISSA)（高等国际研究学院）；Cornell University（康奈尔大学）
该研究提出图依赖收缩先验的贝叶斯趋势滤波框架，通过在趋势、局部收缩、MCMC采样环节利用图，提升了数据估计精度与计算效率，成功应用于美国县域失业数据的时空建模与预测。
2026-08-26 stat.ME stat.ML
A Cross Validation Framework for Signal Denoising with Applications to Trend Filtering, Dyadic CART and Beyond
本研究构建了通用的信号去噪交叉验证框架，将其应用于趋势滤波、Dyadic CART等方法，证明其交叉验证版本收敛速率接近最优调参版本，还拓展至高维回归lasso、矩阵估计奇异值阈值法，填补了相关理论空白。
2023-05-03 math.ST stat.ML stat.TH
Inhomogeneous graph trend filtering via a l2,0 cardinality penalty
Indiana University School of Medicine（印第安纳大学医学院）；University of Southampton（南安普顿大学）；Indiana University（印第安纳大学）
针对图上非齐次分段光滑信号估计问题，提出带ℓ₂,₀范数惩罚的GTF模型，证明其等价于共享分配矩阵的k-means聚类与最小图割，设计两种求解方法，实验验证其在多任务上性能与效率更优。
2025-01-13 cs.LG cs.SI stat.ML
Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering
University of California, Davis（加州大学戴维斯分校）；Amazon（亚马逊）
在本文中，我们考虑推荐系统的边信息的形式图。现有的协同过滤算法主要利用直接的邻域信息，并有很难利用超过1-2跳的更深的邻域。利用更深层次的图形信息的主要警告是，当合并来自这些邻域的信息时，时间和空间复杂度快速增长。在本文中，我们提出了使用图DNA，一种新的深度邻域感知图编码算法，用于开发更深层次的邻域信息。DNA编码使用布隆过滤器（一种空间高效的概率数据结构）在线性时间内计算近似的深度邻域信息，并导致图中节点数量为对数的每节点编码。它可以与基于特征和基于图正则化的协同过滤算法结合使用。与直接使用高阶图信息相比，图DNA具有内存和时间效率高的优点，并提供额外的正则化。我们在真实世界的数据集上进行了实验，表明图DNA可以很容易地与4种流行的协同过滤算法一起使用，并始终导致性能提升，而计算和内存开销很少。
2019-05-29 cs.AI cs.LG stat.ML
Label Efficient Semi-Supervised Learning via Graph Filtering
The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
基于图的方法已经被证明是半监督学习最有效的方法之一，因为它们可以利用标记和未标记数据样本之间的连接模式来提高学习性能。然而，现有的基于图的方法要么是有限的，在他们的能力，联合建模图结构和数据特征，如经典的标签传播方法，或需要大量的标记数据的训练和验证，由于高模型的复杂性，如最近的基于神经网络的方法。在本文中，我们解决标签有效的半监督学习从图过滤的角度。具体来说，我们提出了一个图形过滤框架，将图形相似性注入到数据特征中，将它们作为图形上的信号，并应用低通图形过滤器来提取有用的数据表示进行分类，其中可以通过方便地调整图形过滤器的强度来实现标签效率。有趣的是，这个框架统一了两种看似非常不同的方法--标签传播和图卷积网络。在图过滤框架下重新审视它们会带来新的见解，从而提高它们的建模能力并降低模型复杂性。在四个引文网络和一个知识图谱上的各种半监督分类任务和一个用于zero-shot图像识别的半监督回归任务上的实验验证了我们的发现和建议。
2019-06-28 cs.AI cs.LG stat.ML
Graph filtering for data reduction and reconstruction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
提出了一种新的方法，利用数据的相似性，量化在一个图上，以提高重建性能的主成分分析。数据降维和重构的任务被公式化为图过滤操作，使得能够通过邻接矩阵利用图中的数据节点的连通性。未知的减少和重建过滤器的确定，通过优化的均方误差成本，需要的数据，以及他们的图形邻接矩阵。在图谱域中工作使得能够导出用于更新矩阵滤波器抽头的简单梯度下降递归。在真实图像数据集上的数值实验表明，该方法的重建性能优于标准主成分分析。
2018-09-25 cs.LG stat.ML
One-class Collaborative Filtering with Random Graphs: Annotated Version
Microsoft Research（微软研究院）；Microsoft（微软）
单类协同过滤的祸根在于对缺失类的潜在信号进行解释和建模。本文提出了一种新的贝叶斯生成模型的隐式协同过滤。它构成了Xbox Live架构的核心组件，与以前的方法不同，它描绘了用户不喜欢某个项目的可能性，而不是简单地不考虑它。潜在信号被视为一个未观察到的随机图，将用户与他们可能遇到的项目联系起来。我们演示了如何通过随机梯度下降和平均场变分推断的组合，可以实现大规模的分布式学习随机图样本。细粒度的比较是针对现实世界数据的最新基线进行的。
2014-09-24 cs.LG stat.ML
Improving Classification Accuracy with Graph Filtering
IMT Atlantique（大西洋矿业电信学院）；Orange Labs（奥兰治实验室）
在机器学习中，分类器通常对训练数据中的噪声敏感。在这项工作中，我们的目标是减少类内噪声的帮助下，图过滤，以提高分类性能。考虑图是通过连接属于同一类的训练集的样本，根据它们在潜在空间中的表示的相似性来获得的。我们表明，所提出的图过滤方法具有渐近减少类内方差的效果，同时保持均值。虽然我们的方法一般适用于所有分类问题，但它在Few-Shot设置中特别有用，其中类内噪声可能会由于小样本选择而产生巨大影响。使用标准化的基准领域的视觉，我们凭经验证明所提出的方法的能力，稍微提高国家的最先进的结果在这两种情况下的Few-Shot和标准分类。
2021-01-25 cs.LG stat.ML
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
EPFL（洛桑联邦理工学院）
在这项工作中，我们有兴趣将卷积神经网络（CNN）从低维规则网格（其中表示图像，视频和语音）推广到高维不规则域，如社交网络，大脑连接组或单词嵌入，由图形表示。我们在谱图论的背景下提出了一种CNN的公式，它提供了必要的数学背景和有效的数值方案来设计图上的快速局部卷积滤波器。重要的是，所提出的技术提供了与经典CNN相同的线性计算复杂性和恒定学习复杂性，同时对任何图形结构都是通用的。在MNIST和20NEWS上的实验证明了这种新颖的深度学习系统学习图上的局部、静态和组合特征的能力。
2017-02-05 cs.LG stat.ML
A Graphical Model Formulation of Collaborative Filtering Neighbourhood Methods with Fast Maximum Entropy Training
Australian National University（澳大利亚国立大学）；NICTA
用于协同过滤的项目邻域方法在项目集合上学习加权图，其中每个项目都连接到它最相似的项目。然后，用户对项目的评级的预测由相邻项目的评级给出，通过它们的相似性加权。本文提出了一种新的邻域方法，我们称之为项目字段，从而形成一个无向图形模型的项目图。由此产生的预测规则是一个简单的推广的经典方法，它考虑到非局部信息的图形，允许其最好的结果时，使用显着较少的边缘比其他邻域方法。提出了一种基于Bethe近似的快速近似最大熵训练方法，该方法采用简单的梯度上升过程。当在Movielens数据集上使用预先计算的充分统计数据时，我们的方法比最大似然方法快两个数量级。
2012-06-18 cs.IR cs.LG stat.ML
RGCF: Refined Graph Convolution Collaborative Filtering with concise and expressive embedding
Hefei University of Technology（合肥工业大学）
图卷积网络（GCN）已经引起了极大的关注，并成为最流行的学习图表示的方法。近年来，许多努力都集中在将GCN集成到推荐任务中，并取得了显着的进展。其核心是明确地捕捉用户-项目二分图中节点之间的高阶连接性。然而，我们从理论和经验上发现，这些基于GCN的推荐方法存在一个固有的缺点，GCN直接应用于聚合相邻节点会引入噪声和信息冗余。因此，这些模型捕捉不同节点之间的高阶连接的能力是有限的，导致推荐任务的次优性能。其主要原因是GCN结构中的非线性网络层不适合协同过滤场景中的非语义特征（如独热ID特征）的提取。在这项工作中，我们开发了一个新的基于GCN的协同过滤模型，命名为精炼图卷积协同过滤（RGCF），其中用户（项目）的嵌入的建设是从几个方面精心重新设计的聚合过程中的图。与最先进的基于GCN的推荐相比，RGCF更能够捕获图内部的隐式高阶连接性，并且结果向量表示更具表达力。我们在三个公开的百万级数据集上进行了广泛的实验，证明我们的RGCF显著优于最先进的模型。我们在https://github.com/hfutmars/RGCF上发布代码。
2020-07-11 cs.IR cs.LG stat.ML
Better Conditional Density Estimation for Neural Networks
绝大多数的神经网络文献集中在预测点值为一组给定的响应变量，条件的特征向量。在许多情况下，我们需要对响应变量的完整联合条件分布建模，而不是简单地进行点预测。在本文中，我们提出了两种新的方法，这样的条件密度估计（CDE）：多尺度网络（MSN）和CDE趋势过滤。多尺度网络通过将密度分解为一系列半空间并学习每个分裂的布尔概率，将CDE回归任务转换为分层分类任务。CDE趋势过滤将k阶图趋势过滤惩罚应用于多项式分类器网络的未归一化对数，图中的每条边对应于离散化密度版本上的相邻点。我们比较了这两种方法对普通的多项式分类器网络和混合密度网络（MDN）的模拟数据集和三个真实世界的数据集。结果表明，这两种方法是互补的：MSNs工作在一个高的数据每功能制度和CDE-TF是非常适合于少样本每功能的情况下，过度拟合是一个主要问题。
2016-06-07 stat.ML
Autoregressive Moving Average Graph Filtering
TU Berlin（柏林工业大学）
本文提出了一种自回归移动平均图滤波器，能够近似任意图频响应并实现信号去噪和插值。该方法适用于静态和时变场景，通过二维滤波处理时变图信号。
2016-09-21 cs.LG cs.SY eess.SY
Learning Sparse Graphs for Prediction and Filtering of Multivariate Data Processes
我们使用底层图模型解决多变量数据过程的预测问题。我们开发了一种方法，学习稀疏的部分相关图的调谐免费和计算效率的方式。具体来说，图结构是递归学习的，而不需要交叉验证或参数调整，通过建立在一个超参数的自由框架。我们的方法不需要图是无向的，也适应不同的噪声水平在不同的node.Experiments使用真实世界的数据集表明，所提出的方法提供了显着的性能增益的预测，在与这些数据集经常相关的图相比。
2018-11-15 stat.CO stat.ML
Multi-Component Graph Convolutional Collaborative Filtering
Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Beijing Jiaotong University（北京交通大学）
推荐系统中用户与项目的交互可以自然地建模为一个用户-项目二部图。近年来，我们看到了一个新兴的研究努力，探索用户项目图的协同过滤方法。然而，用户-物品交互的形成通常源于高度复杂的潜在购买动机，例如高性价比或引人注目的外观，这些都不可否认地由边缘表示。现有的方法仍然保持不同的购买动机之间的差异未被探索，从而无法捕捉细粒度的用户偏好。因此，在本文中，我们提出了一种新的多组件图卷积协同过滤（MCCF）的方法来区分潜在的购买动机下观察到的显式用户项目的交互。具体来说，MCCF内部有两个精心设计的模块：分解器和合并器。前者首先对用户-物品图中的边进行分解，识别出可能引起购买关系的潜在成分;后者则自动对这些潜在成分进行重组，得到统一的嵌入进行预测。此外，稀疏正则化和加权随机抽样策略，以减轻过拟合问题，加快优化。在三个真实数据集和一个合成数据集上的实验结果不仅显示了MCCF的显著性能增益，而且很好地证明了考虑多个分量的必要性。
2019-11-25 cs.IR cs.LG stat.ML
Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
图卷积网络（Graph Convolutional Network，GCN）是一种基于图的表示学习模型，它通过迭代地堆叠多层卷积聚合操作和非线性激活操作来实现。近年来，在基于协同过滤的推荐系统中，一些研究者将用户与项目的交互行为视为二分图，用GCN对更高层的协同信号进行建模。这些基于GCN的推荐模型表现出优越的性能相比，传统的作品。然而，这些模型遭受训练困难与非线性激活大型用户项图。此外，大多数基于GCN的模型由于图卷积操作的过度平滑效应而不能对更深的层进行建模。在本文中，我们重新GCN基于CF模型从两个方面。首先，我们经验性地表明，去除非线性将提高推荐性能，这与简单图卷积网络中的理论是一致的。其次，我们提出了一个残差网络结构，是专门为CF与用户项交互建模，它体现了在图卷积聚合操作与稀疏用户项交互数据的过平滑问题。该模型是一个线性模型，易于训练，规模大的数据集，并产生更好的效率和有效性在两个真实的数据集。我们在https://github.com/newlei/LRGCCF上发布源代码。
2020-01-28 cs.IR cs.LG stat.ML
PENDANTSS: PEnalized Norm-ratios Disentangling Additive Noise, Trend and Sparse Spikes
RWTH Aachen University（亚琛工业大学）；Univ. Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）；IFP Energies nouvelles（法国石油与新能源研究院）
去噪、去趋势、去卷积：通常的恢复任务，传统上解耦。耦合公式需要复杂的不适定反问题。我们提出PENDANTSS的联合趋势去除和盲反卷积稀疏峰状信号。它混合了一个简约的先验假设，即平滑趋势和噪声可以通过低通滤波在一定程度上分离。我们结合广义准范数比SOOT/SPOQ稀疏惩罚$\ell_p/\ell_q$与BEADS三元辅助源分离算法。这导致了一个收敛和有效的工具，一个新的信任区域块交替可变度量的前向-后向方法。当应用于典型的峰值分析化学信号时，它优于可比方法。提供可复制的代码。
2023-02-16 cs.LG eess.SP math.OC
