Diversity in Faces
IBM Research（IBM研究院）
人脸识别是人工智能（AI）领域的一个长期挑战。目标是创建准确检测、识别、验证和理解人脸的系统。在使这些系统准确方面存在显著的技术障碍，特别是在不受约束的设置中，这是由于与姿势、分辨率、照明、遮挡和视点相关的混杂因素。然而，随着神经网络的最新进展，人脸识别已经达到了前所未有的准确性，这在很大程度上是建立在数据驱动的深度学习方法之上的。虽然这令人鼓舞，但限制面部识别准确性和公平性的一个关键方面是固有的面部多样性。每张脸都不一样。每一张脸都反映了我们的独特之处。我们的遗产的各个方面--包括种族、民族、文化、地理--以及我们的个人身份--年龄、性别和其他明显的自我表达表现，都反映在我们的脸上。我们希望人脸识别对每一张脸都同样准确。人脸识别需要公平。当我们依靠数据驱动的方法来创建人脸识别技术时，我们需要确保训练数据的必要平衡和覆盖。然而，仍然存在关于如何表示和提取相关面部特征以及定量测量面部多样性的科学问题。为了实现这一目标，人脸多样性（DiF）提供了一个100万张带注释的人脸图像数据集，用于推进人脸多样性的研究。这些注释是使用科学文献中十种成熟的面部编码方案生成的。面部编码方案提供了人类可解释的面部特征的定量测量。我们相信，通过将提取的编码方案应用于大量人脸，我们可以加速研究和开发，以创建更公平、更准确的人脸识别系统。
2019-04-08 cs.CV
Deep Convolutional Neural Network Features and the Original Image
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Maryland（马里兰大学）
基于深度卷积神经网络（DCNN）的人脸识别算法在无约束观看条件下识别人脸的任务上取得了进展。这些网络通过学习大量人脸图像获得的紧凑的基于特征的人脸表示进行操作。虽然DCNN产生的学习特征对视点、照明和外观的变化具有高度鲁棒性，但人们对这种网络顶层出现的人脸代码的性质知之甚少。我们分析了两种人脸识别算法产生的DCNN特征。在第一组实验中，我们使用DCNN的顶级特征作为线性分类器的输入，旨在预测图像的元数据。结果表明，DCNN特征包含了关于人脸的偏航和俯仰以及人脸是来自静态图像还是视频帧的准确信息。在第二组实验中，我们测量了单个DCNN特征以视图相关或视图不变方式操作的程度。我们发现，依赖于视图的编码是身份的一个特征，而不是DCNN的特征--一些身份以依赖于视图的方式编码，而另一些身份以独立于视图的方式编码。在我们的第三次分析中，我们可视化了500个身份的24，000多张图像的DCNN特征空间。空间中心的图像均为低质量（例如，极端视图、面部遮挡、低分辨率）。图像质量作为距原点的距离的函数单调增加。该结果表明，图像质量信息在DCNN特征中可用，使得一致的平均特征值反映可靠地指示差或不可用的图像的编码失败。结合起来，这些结果提供了对支持DCNN中人脸鲁棒表示的编码机制的深入了解。
2016-11-06 cs.CV
Graph Regularized Tensor Sparse Coding for Image Representation
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）
稀疏编码是一种无监督学习方法，近年来受到越来越多的关注。然而，传统的SC矢量化的输入图像，这破坏了固有的空间结构的图像。在本文中，我们提出了一种新的图正则化张量稀疏编码（GTSC）的图像表示。GTSC通过采用新提出的管张量表示来保持图像中基本结构的局部邻近性。同时，它考虑了固有的几何特性，通过施加图正则化，已成功地应用于揭示图像数据的几何分布。此外，GTSC返回的稀疏表示具有更好的物理解释作为关键操作（即，循环卷积）保持了移位不变性。图像聚类实验结果表明了该方法的有效性。
2017-03-27 cs.CV
Sparse Coding on Symmetric Positive Definite Manifolds using Bregman Divergences
College of Engineering and Computer Science, Australian National University（澳大利亚国立大学工程与计算机科学学院）；NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
介绍了对称正定矩阵的稀疏编码和字典学习，这两种方法在机器学习、计算机视觉等领域有着广泛的应用。与传统的稀疏编码方案，工作在向量空间中，在本文中，我们讨论如何SPD矩阵可以描述的字典原子，其中的原子也是SPD矩阵的稀疏组合。我们建议通过两种类型的Bregman矩阵发散将SPD矩阵的空间嵌入到Hilbert空间中来寻求稀疏编码。这不仅导致执行稀疏编码的有效方式，而且还导致用于字典学习的在线和迭代方案。我们将所提出的方法应用到几个计算机视觉任务中，图像由区域协方差矩阵表示。我们提出的算法优于国家的最先进的方法在广泛的分类任务，包括人脸识别，动作识别，材料分类和纹理分类。
2014-08-30 cs.CV
Deep Sparse Band Selection for Hyperspectral Face Recognition
West Virginia University（西弗吉尼亚大学）
高光谱成像系统收集和处理来自电磁光谱中特定波长的信息。可见光谱中的多光谱带的融合已经被利用来改善所有常规宽带人脸图像的人脸识别性能。在本书的这一章中，我们提出了一个新的卷积神经网络（CNN）框架，该框架采用结构稀疏学习技术来选择最佳光谱带，以获得所有光谱带上的最佳人脸识别性能。具体来说，在这种方法中，来自所有波段的图像都被馈送到CNN，然后通过采用组Lasso算法来正则化CNN第一层中的卷积滤波器，以在网络训练期间将冗余波段归零。与通常手动或以贪婪方式选择有用波段的其他方法相反，我们的方法自动选择最佳光谱波段，以在所有光谱波段上实现最佳的人脸识别性能。此外，实验结果表明，我们的方法优于国家的最先进的波段选择方法的人脸识别几个公开可用的高光谱人脸图像数据集。
2019-08-15 cs.CV
FaceNet2ExpNet: Regularizing a Deep Face Recognition Net for Expression Recognition
University of Maryland, College Park（马里兰大学学院公园分校）；Siemens Healthcare Technology Center, Princeton, New Jersey（西门子医疗技术中心（普林斯顿））
可用于表情识别研究的数据集相对较小，这使得用于表情识别的深度网络的训练非常具有挑战性。虽然微调可以部分缓解这个问题，但性能仍然低于可接受的水平，因为深度特征可能包含来自预训练域的冗余信息。在本文中，我们提出了FaceNet 2 ExpNet，一个新的想法训练的表情识别网络的基础上静态图像。我们首先提出了一个新的分布函数来模拟表达网络的高级神经元。在此基础上，精心设计了两阶段训练算法。在预训练阶段，我们训练表达式网络的卷积层，由面网络正则化;在细化阶段，我们添加全连接层到预训练的卷积层，并训练整个网络。可视化显示，用我们的方法训练的模型捕获了改进的高级表达式语义。在CK+、Oulu-CASIA、TFD和SFEW四个公共表达数据库上的实验结果表明，该方法取得了比现有方法更好的结果。
2016-09-22 cs.CV
Interest Point Detection based on Adaptive Ternary Coding
Nanyang Technological University（南洋理工大学）；School of Electrical and Electronics Engineering（电气与电子工程学院）；Rapid-Rich Object Search (ROSE) Lab（快速丰富对象搜索实验室）
本文提出了一种自适应像素三进制编码机制，并在此基础上设计了一种具有对比度不变和抗噪声能力的兴趣点检测器。局部区域中的每个像素被自适应地编码为三种状态之一：亮、不确定和暗。局部区域的斑点显著性通过亮像素和暗像素的空间分布来测量。从该斑点显著性测量中提取兴趣点。通过标记三值亮、不确定和暗的状态，该检测器对图像噪声和量化误差具有更强的鲁棒性。此外，三进制编码的自适应策略，它依赖于两个阈值，自动收敛到测量的局部区域的中值，使这种编码是不敏感的图像局部对比度。因此，所提出的检测器是不变的照明变化。在标准数据集上以及人脸识别应用中取得了最先进的结果。
2018-12-31 cs.CV
Fast and Reliable Probabilistic Face Embeddings in the Wild
National University of Defense Technology（国防科技大学）
概率人脸嵌入（PFE）通过将数据的不确定性融入到特征表示中，可以提高无约束场景下的人脸识别性能。然而，现有的PFE方法往往是过于自信的估计不确定性，是太慢，适用于大规模的人脸匹配。本文提出了一种正则化的概率人脸嵌入方法，以提高PFE的鲁棒性和速度。具体而言，在PFE中使用的互似然分数（MLS）度量被简化，以加速人脸特征对的匹配。然后，提出了一种输出约束损失来惩罚不确定输出的方差，从而使神经网络的输出正则化。此外，提出了一种识别保持损失来提高MLS度量的鉴别能力，并提出了一种多层特征融合模块来提高神经网络的不确定性估计能力。综合实验结果表明，该方法在9个基准测试中均能取得与现有方法相当或更好的识别效果，提高了风险控制人脸识别的性能。我们工作的代码在GitHub（https：//github.com/KaenChan/ProbFace）中公开。
2021-06-22 cs.CV
Diversity Regularized Spatiotemporal Attention for Video-based Person Re-identification
CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong（香港中文大学-商汤联合实验室，香港中文大学）；Argo AI（阿戈人工智能公司）
基于视频的人重新识别匹配跨非重叠相机的人的视频剪辑。大多数现有的方法通过对每个视频帧进行整体编码并计算所有帧的聚合表示来解决这个问题。在实践中，人们往往是部分闭塞，这可能会破坏提取的特征。相反，我们提出了一个新的时空注意力模型，自动发现一组不同的独特的身体部位。这允许从所有帧中提取有用的信息，而不会屈服于遮挡和未对准。该网络学习多个空间注意力模型，并采用多样性正则化项来确保多个模型不会发现相同的身体部位。从局部图像区域中提取的特征由空间注意力模型组织，并使用时间注意力组合。因此，网络使用整个视频序列中最好的可用图像块来学习面部、躯干和其他身体部位的潜在表示。对三个数据集的广泛评估表明，我们的框架在多个指标上的表现优于最先进的方法。
2018-03-27 cs.CV
Patch-based Face Recognition using a Hierarchical Multi-label Matcher
Computational Biomedicine Lab（计算生物医学实验室）
本文提出了一种分层多标签匹配器，用于基于块的人脸识别。在签名生成中，人脸图像被迭代地划分为多层次的补丁。分别针对二维人脸图像和纹理提升图像引入了两种不同类型的面片划分和签名。匹配器训练包括三个步骤。首先，建立局部分类器来学习每个补丁的局部匹配。其次，局部补丁之间定义的层次关系被用来学习每个补丁的全局匹配。介绍了三种学习全局匹配的方法：多数表决、l1正则化加权和决策规则。最后，将不同层次的全局匹配组合起来作为最终匹配。不同人脸识别任务的实验结果表明，所提出的匹配器的有效性，在画廊泛化的成本。与UR 2D系统相比，该匹配器在UHDB 31数据集和IJB-A数据集上的Rank-1准确率分别提高了3%和0.18%。
2018-04-03 cs.CV
l0-Regularized Sparse Coding-based Interpretable Network for Multi-Modal Image Fusion
Department of EE, IIT Kharagpur, India（印度IIT Kharagpur电子工程系）；Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur, India（印度IIT Kharagpur幸福科学卓越中心）；Department of E&ECE, IIT Kharagpur, India（印度IIT Kharagpur电子工程与电子学系）
本文提出基于l0正则化稀疏编码的可解释网络FNet，用于多模态图像融合，通过分离独特和共同特征提升融合质量并增强下游任务性能。
2025-12-11 cs.CV
Dense 3D Face Correspondence
The University of Western Australia（西澳大学）；University of Adelaide（阿德莱德大学）
我们提出了一种算法，自动建立大量的3D面之间的密集对应。从自动检测到的稀疏对应的外边界的3D人脸，该算法三角形化现有的对应关系，并扩大他们迭代匹配点的独特的表面曲率沿三角形边缘。在穷尽关键点匹配之后，通过从大三角形的质心演化水平集测地线曲线来生成三角形内均匀分布的点，从而建立进一步的对应关系。从密集的对应的脸构造一个可变形模型（K3DM），并提出了一个算法变形K3DM，以适应不可见的脸。该算法在不可见的面部的刚性对齐和可变形模型的正则化变形之间迭代。我们已经广泛地评估了所提出的算法的合成数据和真正的3D人脸从FRGCv2，博斯普鲁斯海峡，BU3DFE和UND耳数据库使用定量和定性基准。我们的算法实现了密集的对应关系，平均定位误差为1.28毫米的合成脸和检测$14$人体测量地标看不见的真实面孔从FRGCv2数据库中的3毫米精度。此外，我们的可变形模型拟合算法在FRGCv2和博斯普鲁斯数据库上分别达到了98.5%和98.6%的人脸识别准确率。我们的稠密模型也能够推广到看不见的数据集。
2019-08-15 cs.CV
Head Pose Estimation of Occluded Faces using Regularized Regression
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了回归方法估计头部姿态从闭塞的2-D人脸图像。该过程主要涉及从其被遮挡的图像重建面部，然后进行分类。典型的重建方法假设被遮挡区域的像素误差是独立的。然而，这种假设在遮挡的情况下是不正确的，因为其固有的连续性。因此，我们使用核范数作为度量，可以很好地描述误差的结构。我们还使用基于LASSO回归的l1正则化来改进重建。接下来，我们实现核范数正则化回归（NR），以及我们提出的方法，用于重建和后续分类。最后，我们比较了性能的方法的头部姿态估计的准确性方面的闭塞的脸。
2016-02-02 cs.CV
Joint Representation Classification for Collective Face Recognition
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
基于稀疏表示的分类（SRC）技术在人脸识别等领域有着广泛的应用，它分为表示编码和分类两个步骤。对于一组给定的测试图像，SRC将基图像上的每一幅图像编码为稀疏表示，然后将其分类到具有最小表示误差的类。该方案利用个体表示而不是集体表示来对这样一组图像进行分类，这样做显然忽略了给定图像之间的相关性。本文提出了一种用于集体人脸识别的联合表示分类方法。JRC考虑了多个图像的相关性以及单个表示。在假设给定的人脸图像通常彼此相关的情况下，JRC同时对所有测试图像进行编码，以便于识别。为此，测试输入对齐成一个矩阵和联合表示编码被制定为一个广义的$l_{2,q}-l_{2,p}$ -最小化问题。为了统一求解任何$q\in[1,2]$和$p\in (0,2]$的诱导优化问题，提出了一种迭代二次法（IQM）。IQM被证明是一个严格的下降算法收敛到最优解。此外，提出了一种更实用的大规模情况下的IQM。在三个公开数据库上的实验结果表明，与现有的人脸识别算法相比，采用实用的IQM算法的JRC不仅节省了大量的计算量，而且在集体人脸识别中取得了更好的性能。
2015-05-18 cs.CV math.OC
Feature Selection via Sparse Approximation for Face Recognition
Institute of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
受生物视觉系统的启发，具有巨大基数的过完备局部特征在人脸识别中的应用越来越广泛。因此，特征选择变得越来越重要，在人脸数据描述和识别中起着至关重要的作用。本文提出了一种基于正则化框架的可训练特征选择人脸识别算法。通过在最小平方误差（MSE）准则下引入稀疏惩罚项，将特征选择问题转化为组合稀疏逼近问题，并利用贪婪算法或凸松弛算法求解.此外，基于同一框架，我们提出了一个稀疏Ho-Kashyap（HK）过程，同时获得最佳稀疏解和相应的边际向量的MSE准则。该方法用于选择最具信息量的人脸图像的Gabor特征进行识别，在基准人脸数据库上的实验结果证明了该方法的有效性。
2011-02-14 cs.AI cs.CV
Robust Face Recognition by Constrained Part-based Alignment
Zhejiang University（浙江大学）；University of Macau（澳门大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
开发可靠、实用的人脸识别系统是计算机视觉研究的一个长期目标。现有的文献表明，像素级的人脸对齐是实现高精度人脸识别的关键。通过假设一个人的脸作为分段平面表面，其中每个表面对应于一个面部的一部分，我们在本文中开发了一个约束部分为基础的对齐（CPA）算法的人脸识别跨姿态和/或表情。我们提出的算法是基于一个可训练的CPA模型，它学习各个部分的外观证据和不同部分之间的树形结构的形状配置。给定一个探头面，CPA同时对齐所有的部分，通过拟合它们的外观证据与考虑约束的树结构的形状配置。这个目标被制定为一个规范的最小化问题，正则化的图形似然。CPA可以很容易地与许多现有的分类器集成，以执行基于部分的人脸识别。在基准人脸数据集上的大量实验表明，CPA优于或等同于现有的方法，用于在姿态、表情和/或光照变化下进行鲁棒的人脸识别。
2015-01-20 cs.CV cs.LG
Spatial-Spectral Regularized Local Scaling Cut for Dimensionality Reduction in Hyperspectral Image Classification
Advanced Technology Development Centre, Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校先进技术开发中心）；Department of Electrical Engineering, Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校电气工程系）
分辨率约简（DR）方法在提供高光谱图像（HSI）分类的鉴别信息和减少计算负担方面受到了广泛的关注。然而，由于高维谱的训练样本有限，DR方法面临许多挑战。为了解决这个问题，提出了一种基于图的空间和光谱正则化局部尺度切割（SSRLSC）的HSI数据DR。该方法的基本思想是利用光谱和空间域的信息，以实现更好的分类精度比光谱域对应。在SSRLSC中，引导滤波器最初用于平滑和均匀化HSI数据的像素，以保持像素的一致性。其次是生成类间和类内相异度矩阵在光谱和空间域的正则化局部尺度切割（RLSC）和相邻像素局部尺度切割（NPLSC）分别。最后，我们通过优化更新的空间-光谱类间和总类相异度来获得投影矩阵。两个流行的现实世界的HSI数据集的DR算法的有效性说明。
2018-12-07 cs.CV cs.LG stat.ML
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
最近的进展表明，广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题，这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核（与Bregman矩阵发散的对称版本有关），我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本，可以有效地解决。此外，我们提出了一个算法学习黎曼字典（用于稀疏编码），紧密联系的斯坦内核。几个分类任务（人脸识别，纹理分类，人的重新识别）的实验表明，所提出的稀疏编码方法实现了显着的改善，在歧视的准确性，在比较国家的最先进的方法，如张量稀疏编码，黎曼局部保持投影，和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Co-regularized Multi-view Sparse Reconstruction Embedding for Dimension Reduction
Dalian Maritime University（大连海事大学）
随着信息技术的发展，我们已经进入了一个数据爆炸的时代，产生了大量的、充满冗余信息的数据。由于降维是将高维数据嵌入到低维子空间中以避免冗余信息的重要工具，因此引起了国内外研究者的兴趣。然而，面对多视图特征，大多数降维方法难以充分理解多视图特征，并结合这些特征的兼容性和互补性信息直接构造低维子空间。此外，大多数多视图降维方法不能处理来自高维非线性空间的特征。因此，如何构造一种能够处理高维非线性空间中多视点特征的多视点降维方法具有重要意义和挑战性。为了解决这一问题，本文提出了一种新的多视点稀疏重构嵌入方法（CMSRE）。CMSRE利用多视图稀疏重构的相关性，能够从多视图中学习非线性流形的局部稀疏结构，并为它们构造有意义的低维表示.由于所提出的共正则化方案，从多个视图的稀疏重建的相关性被CMSRE尽可能多地保留。此外，稀疏表示在每个视图的特征之间产生更有意义的相关性，这有助于CMSRE获得更好的性能。基于文档分类、人脸识别和图像检索等应用的各种评价表明了该方法在多视图降维方面的有效性。
2019-04-01 cs.AI cs.CV
Face Spoofing Detection by Fusing Binocular Depth and Spatial Pyramid Coding Micro-Texture Features
Shanghai Jiao Tong University（上海交通大学）
鲁棒特征对人脸欺骗检测至关重要，因为各种情况使得特征空间的划分非常复杂。因此，在本文中，提出了两个新的和强大的反欺骗功能。第一个是基于双目相机的深度特征，称为模板面部匹配双目深度（TFBD）特征。第二个是一个高层次的微纹理的基础上的功能称为空间金字塔编码微纹理（SPMT）功能。除了这两个新功能之外，还介绍了新型模板人脸配准算法和空间金字塔编码算法。基于这两个鲁棒特征实现了多模态人脸欺骗检测。在一个广泛使用的数据集和一个我们自己构建的综合数据集上进行了实验。实验结果表明，融合了本文提出的特征的人脸欺骗检测方法具有较强的鲁棒性和时间效率，同时优于其他最先进的传统方法。
2018-03-13 cs.CV
Generative Face Video Coding Techniques and Standardization Efforts: A Review
City University of Hong Kong（香港城市大学）；Alibaba Group（阿里巴巴集团）
本文综述生成式人脸视频编码（GFVC）技术进展与标准化工作，构建统一编码框架，梳理相关算法与标准化活动，分析挑战与应用并展望未来趋势，可支撑超低码率通信等场景。
2023-11-05 cs.CV
Interactive Face Video Coding: A Generative Compression Framework
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；School of Computer Science, Peking University（北京大学计算机学院）；DAMO Academy, Alibaba Group（阿里巴巴集团 DAMO 院）；Shenzhen Research Institute, City University of Hong Kong（香港城市大学深圳研究学院）
本文提出交互式人脸视频编码（IFVC）框架，通过基于内部维度增加（IDI）的可控语义表示和深度生成模型，实现超紧凑、低延迟且支持语义级交互的人脸视频压缩，在率失真性能上超越VVC等标准。
2025-09-18 cs.CV
Group Sparse Coding for Image Denoising
The Australian National University（澳大利亚国立大学）
GSR [3]中的组稀疏表示在图像去模糊和图像修补方面取得了很好的效果，其成功的主要原因是利用了自然图像块之间的稀疏性和非局部自相似性（NSS），并解决了正则化优化问题。然而，直接自适应GSR[3]的图像去噪方法效果不稳定且不令人满意，为了克服这些问题，本文提出了一种渐进式的自适应GSR [3]模型的图像去噪算法，实验表明该算法的性能优于一些现有的方法。
2022-12-22 cs.CV
Regularized Compression of MRI Data: Modular Optimization of Joint Reconstruction and Coding
University of Cambridge（剑桥大学）；Rice University（莱斯大学）
磁共振成像（MRI）处理链从关键的采集阶段开始，为医学诊断图像重建提供原始数据。这个流程通常包括一个近乎无损的数据压缩阶段，它能够以二进制格式进行数字存储和/或传输。在这项工作中，我们提出了一个框架，用于联合优化的MRI重建和有损压缩，产生压缩表示的医学图像，实现质量和比特率之间的改进的权衡。此外，我们证明，有损压缩甚至可以提高重建质量相比，无损压缩的基础上设置。我们的方法有一个模块化的优化结构，实现使用交替方向乘法器（ADMM）技术和最先进的图像压缩技术（BPG）作为一个黑盒模块迭代应用。这建立了与所选择的有损压缩标准兼容的医疗数据压缩方法。所提出的算法的一个主要的新颖性是在总变差正则化添加到模块化压缩过程中，导致更高质量的解压缩图像，而无需任何额外的处理在/后的解压缩阶段。我们的实验表明，我们的正则化为基础的联合MRI重建和压缩的方法往往实现显着的PSNR增益4至9 dB之间的高比特率相比，非正则化的解决方案的联合任务。与基于正则化的解决方案相比，我们的优化方法在高比特率下提供了0.5至1 dB的PSNR增益，这是医学图像压缩的兴趣范围。
2020-11-09 cs.CV eess.IV
Perceptual Conversational Head Generation with Regularized Driver and Enhanced Renderer
Megvii Research（旷视研究院）；Wuhan University（武汉大学）
本文报告了我们为ACM Multimedia ViCo 2022对话头部生成挑战赛提供的解决方案，该挑战赛旨在基于音频和参考图像生成生动的面对面对话视频。我们的解决方案专注于使用正则化训练通用音频到头驱动程序，并组装高视觉质量的渲染器。我们仔细调整了音频到行为模型，并使用前景-背景融合模块对生成的视频进行后处理。在官方排行榜上，我们在倾听头生成轨道中获得第一名，在说话头生成轨道中获得第二名。我们的代码可在https://github.com/megvii-research/MM2022-ViCoPerceptualHeadGeneration上获得。
2022-08-02 cs.CV
Generative Models at the Frontier of Compression: A Survey on Generative Face Video Coding
DAMO Academy, Alibaba Group（阿里达摩院）；Hupan Lab（虎斑实验室）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；CNRS, CentraleSupelec, Laboratoire desSignaux et Systèmes, Université Paris-Saclay（法国巴黎萨克雷大学信号与系统实验室）；Alibaba Group（阿里集团）
本文综述生成式人脸视频编码（GFVC），系统梳理方法、基准、质量评价数据库、标准化路径与低复杂度系统，展示其在超低码率下超越 VVC 的高保真人脸通信潜力。
2025-06-09 cs.CV
BioMetricNet: deep unconstrained face verification through learning of metrics regularized onto Gaussian distributions
Politecnico di Torino（都灵理工大学）
我们提出了BioMetricNet：一个用于深度无约束人脸验证的新框架，它学习正则化度量来比较面部特征。与流行的方法（如FaceNet）不同，所提出的方法不会对面部特征施加任何特定的度量;相反，它通过学习一种潜在的表示来塑造决策空间，在这种表示中，匹配和非匹配对被映射到明确分离且行为良好的目标分布上。特别是，网络联合学习最佳特征表示和遵循目标分布的最佳度量，以用于区分人脸图像。在本文中，我们提出了这个一般的框架，第一种面部验证，并将其调整为高斯分布。这种选择使得能够使用简单的线性决策边界，该决策边界可以被调谐以实现假警报和真实接受率之间的期望折衷，并且导致可以以封闭形式书写的损失函数。对公开可用的数据集进行了广泛的分析和实验，如野外标签人脸（LFW），Youtube人脸（YTF），野外正面轮廓中的名人（CFP），以及具有挑战性的数据集，如跨年龄LFW（CALFW），跨姿势LFW（CPLFW），在野生年龄数据集（CARDB）显示了显着的性能改善，并证实了BioMetricNet的有效性和优越性，超过现有的国家的，艺术方法。
2020-08-13 cs.CV cs.LG
Correlation Preserving Sparse Coding Over Multi-level Dictionaries for Image Denoising
National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）
本文提出了一种基于相关保持稀疏编码的图像去噪方法。由于基集之间的不稳定和不可靠的相关性会限制字典驱动去噪方法的性能，因此在编码过程中采用了两种有效的正则化策略。具体地说，基于图的正则化器是建立在保持全局相似性相关，它可以自适应地捕获的几何结构和区别性特征的纹理补丁。特别地，图中的边权重通过寻求非负低秩构造来获得。此外，鲁棒的局部约束编码不仅可以自动保持空间邻域信息，而且可以在学习过完备字典时保持噪声块中存在的内部一致性。实验结果表明，我们提出的方法达到了最先进的去噪性能的PSNR和主观视觉质量。
2016-12-23 cs.CV
Sparse Coding and Counting for Robust Visual Tracking
Dalian University of Technology（大连理工大学）
本文提出了一种新的稀疏编码和计数方法下的贝叶斯框架下的视觉跟踪。与现有方法相比，该方法采用L0和L1范数的组合来正则化增量更新线性基的线性系数。稀疏性约束使跟踪器能够有效地处理困难的挑战，例如遮挡或图像损坏。为了实现实时处理，我们提出了一个快速有效的数值算法求解所提出的模型。虽然这是一个NP难问题，建议加速邻近梯度（APG）的方法是保证快速收敛到一个解决方案。此外，我们提供了一个封闭的解决方案，结合L0和L1正则化表示，以获得更好的稀疏性。在具有挑战性的视频序列上的实验结果表明，该方法在准确性和速度上都达到了最先进的结果。
2016-05-28 cs.CV
Optimization Methods for Convolutional Sparse Coding
The Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏和卷积约束形成了物理过程中产生的许多优化问题的自然先验。检测语音和音乐段落中的主题，超分辨率图像，压缩视频和重建谐波运动都可以利用卷积引入的冗余。然而，解决涉及稀疏和卷积约束的问题仍然是一个困难的计算问题。在本文中，我们提出了一个一致的框架中的卷积稀疏编码的概述。该目标涉及迭代优化基函数的卷积最小二乘项，然后是稀疏系数的L1正则化最小二乘项。我们讨论了一系列用于解决卷积稀疏编码目标的优化方法，以及使每种方法适用于不同应用的属性。特别是，我们集中在计算复杂性，速度ε收敛，内存使用，和隐含的边界条件的影响。我们提出了一系列涵盖不同信号和应用领域的示例，以说明卷积稀疏编码的普遍适用性以及可用优化方法的有效性。
2014-06-10 cs.CV
GRACE: Graph-Regularized Attentive Convolutional Entanglement with Laplacian Smoothing for Robust DeepFake Video Detection
National Cheng Kung University（成功大学）；Institute of Data Science（数据科学研究院）
本文提出GRACE方法，通过图卷积网络结合图拉普拉斯先验和稀疏约束，将时空特征相互纠缠并去除噪声，以提升噪声面部序列下DeepFake视频检测的鲁棒性。
2024-09-01 cs.CV
A Boosting Method to Face Image Super-resolution
Xiamen University（厦门大学）；Wuhan University of Technology（武汉理工大学）
近年来稀疏表示在人脸图像超分辨率方面取得了巨大的成功。传统的基于稀疏性的方法对人脸图像块进行稀疏编码，并通过$\ell_{2}$ -范数度量表示保真度。这样的稀疏编码模型同样地正则化所有的面部块，然而，这忽略了用于图像重建的不同面部块的不同性质。提出了一种基于AdaBoost的加权块超分辨率方法。具体来说，在AdaBoost操作的每次迭代中，每个面部块根据模型在其上的性能自动加权，以便突出那些对下一步提高重建能力更关键的块。这样，通过AdaBoost训练过程，我们可以更专注于具有更丰富信息的补丁（人脸区域）。在标准人脸数据库上的各种实验结果表明，我们提出的方法在客观指标和视觉质量方面都优于最先进的方法。
2018-05-04 cs.CV
Beyond GFVC: A Progressive Face Video Compression Framework with Adaptive Visual Tokens
City University of Hong Kong（香港城市大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
本文提出渐进式人脸视频压缩框架 PFVC，利用自适应视觉 Token 实现重建鲁棒性与带宽智能的权衡，相比 VVC 和 GFVC 算法获得更优的编码灵活性和率失真性能。
2024-10-11 cs.CV eess.IV
BRULÈ: Barycenter-Regularized Unsupervised Landmark Extraction
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
图像特征的无监督检索对于许多计算机视觉任务来说是至关重要的，其中注释缺失或稀缺。在这项工作中，我们提出了一种新的无监督的方法来检测图像中的地标，验证它对人脸关键点提取的流行任务。该方法基于在潜在空间中自动编码想要的地标的思想，同时丢弃不必要的信息（并有效地保留可解释性）。通过一种新的两步正则化方法实现了可解释的潜在空间表示（瓶颈只包含想要的关键点）。第一个正则化步骤评估从一组给定的地标到某个平均值（重心Wasserstein距离）的运输距离。第二正则化步骤通过对初始图像和编码的界标同步地应用随机几何变形来控制与重心的偏差。我们使用300-W，CelebA和MAFL数据集在无监督和半监督训练场景中证明了该方法的有效性。所提出的正则化范例被证明可以防止过拟合，并且检测质量被证明可以超越最先进的人脸模型。
2021-03-30 cs.CV
A Lightweight Dual-Mode Optimization for Generative Face Video Coding
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Fudan University（复旦大学）；Hupan Lab（虎扑实验室）
本文提出一种轻量级生成式人脸视频编码框架，通过架构精简与两阶段自适应通道剪枝的双模式优化，在保持重建质量的同时实现 90.4% 参数减少和 88.9% 计算节省，性能优于 VVC 标准。
2025-08-19 cs.CV eess.IV
Diffusion Model Regularized Implicit Neural Representation for CT Metal Artifact Reduction
ShanghaiTech University（上海科技大学）
本文提出一种结合扩散模型和隐式神经表示的框架，用于改进CT图像中金属伪影的抑制效果。
2025-12-09 cs.CV
Deep Convolutional Sparse Coding Network for Pansharpening with Guidance of Side Information
Xi'an Jiaotong University（西安交通大学）
泛锐化是遥感领域的一个基本问题。提出了一种基于边信息部分引导的卷积稀疏编码模型。其核心思想是将低分辨率多光谱图像分解为全色图像相关特征图和全色图像无关特征图，其中全色图像相关特征图利用全色图像的边信息进行正则化。利用算法展开技术的原理，将该模型推广为一个深度神经网络，称为SCSC泛锐化神经网络（SCSC-PNN）。在三颗卫星上进行的数值实验表明，SCSC-PNN算法优于其他算法。这些代码可在https://github.com/xsxjtu/SCSC-PNN上获得。
2021-03-10 cs.CV eess.IV
Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）；Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-南洋理工大学全球电子可持续性合作实验室）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出Pleno-Generation框架，通过带宽智能和可扩展表示实现全比特率覆盖的生成式人脸视频压缩，兼顾高保真重建与率失真性能。
2025-02-24 cs.CV eess.IV
torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出torchdistill框架的重大升级版，通过与Hugging Face库集成实现免编码的深度学习研究复现，成功复现BERT在GLUE基准上的结果并发布27个微调模型，同时扩展支持计算机视觉任务。
2023-10-26 cs.CL cs.CV cs.LG
Scalable Face Image Coding via StyleGAN Prior: Towards Compression for Human-Machine Collaborative Vision
Communication University of China（中国传媒大学）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
利用StyleGAN先验构建三层可扩展编码，通过逐层熵变换器减少冗余，实现极低比特率下优于VVC的人机协同人脸图像压缩。
2023-12-25 cs.AI cs.CV cs.MM
Discriminative Sparse Coding on Multi-Manifold for Data Representation and Classification
稀疏编码作为一种有效的数据表示方法在计算机视觉、医学成像和生物信息学等领域得到了广泛的应用。然而，传统的稀疏编码算法及其多种正则化变体（图稀疏编码和拉普拉斯稀疏编码）都是以无监督的方式学习码书和编码，忽略了训练集中可用的类信息。为了解决这个问题，本文提出了一种新的歧视性稀疏编码方法的基础上多流形，通过学习歧视性的类条件码书和稀疏码的数据特征空间和类标签。首先，根据类标签将整个训练集划分为多个流形。然后，我们将稀疏编码公式化为流形-流形匹配问题，并学习类条件码本和代码，以最大化不同类的流形边缘。最后，我们提出了一个基于数据点流形匹配误差的策略来分类未标记的数据点。体细胞突变识别和乳腺肿瘤超声图像分类任务的实验结果表明，所提出的数据表示分类方法的有效性。
2013-04-03 cs.CV cs.LG stat.ML
Perceptual Quality Assessment of Face Video Compression: A Benchmark and An Effective Method
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文构建了包含3240个压缩人脸视频片段的大规模CFVQA数据库，并提出FAVOR质量评估指标，系统解决了人脸视频压缩中多样化失真的感知质量评估问题。
2023-10-29 cs.AI cs.CV cs.LG
Transformational Sparse Coding
University of Washington（华盛顿大学）
物体识别系统面临的一个基本问题是物体及其特征可能出现在不同的位置、尺度和方向上。当前的深度学习方法试图通过池化来实现对局部翻译的不变性，从而在该过程中丢弃特征的位置。其他方法显式地学习同一特征的转换版本，导致表示的大小迅速爆炸。我们认为，模型应该学习对象的功能与他们的转换，以实现等变性，而不是放弃丰富和有用的信息，功能转换，以实现不变性。我们提出了一种新的无监督学习模型的基础上稀疏编码，可以学习对象的功能与他们的仿射变换直接从图像。从自然图像学习的基础上的结果表明，我们的方法匹配传统的稀疏编码的重建质量，但具有显着更少的自由度，同时学习从数据的转换。这些结果为扩大无监督学习的规模打开了大门，从而允许以与灵长类视觉皮层的腹侧+背侧流结构一致的方式进行深度特征+转换学习。
2017-12-08 cs.CV
Nonconvex ${L_ {1/2}} $-Regularized Nonlocal Self-similarity Denoiser for Compressive Sensing based CT Reconstruction
Hunan University of Science and Technology（湖南科技大学）；Nanjing First Hospital, Nanjing Medical University（南京医科大学附属南京第一医院）；University of Macau（澳门大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
基于压缩感知的计算机断层摄影（CT）图像重建旨在通过稀疏视图投影数据来降低辐射风险。从不完全投影中获得令人满意的图像质量通常具有挑战性。近年来，非凸${L_ {1/2}} $ -范数在稀疏恢复方面取得了很好的效果，但由于其非凸性，在成像方面的应用并不令人满意。本文提出了一种基于${L_ {1/2}} $的正则化非局部自相似（NSS）算法，该算法将低秩近似与组稀疏编码（GSC）框架相结合，用于CT重建问题。具体地说，我们首先将CT重建问题分解为两个子问题，然后使用我们的${L_ {1/2}} $正则化NSS去噪器进一步提高CT图像质量。我们不是从GSC的角度优化非凸问题，而是基于两个简单而重要的方案，通过低秩最小化来重建CT图像，这两个方案建立了基于GSC的去噪器和低秩最小化之间的等价关系。进一步，加权奇异值阈值（WSVT）算子被用来优化得到的非凸${L_ {1/2}} $最小化问题。在此之后，我们提出的去噪集成与CT重建问题的交替方向乘法器（ADMM）框架。在典型临床CT图像上的大量实验结果表明，我们的方法可以进一步实现比流行的方法更好的性能。
2022-05-15 cs.CV eess.IV
Learning A Task-Specific Deep Architecture For Clustering
Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Michigan State University（密歇根州立大学）；Hefei University of Technology（合肥工业大学）
虽然基于稀疏编码的聚类方法已被证明是成功的，但它们在效率和可扩展性方面的瓶颈限制了实际使用。近年来，深度学习被证明是一种高效、高效、可扩展的特征学习工具。在本文中，我们建议在深度学习的背景下模拟基于稀疏编码的聚类管道，从而产生一个精心制作的深度模型，从两者中受益。基于图正则化稀疏编码算法构造了一种前馈网络结构TAGnet。然后，使用任务特定的损失函数从头到尾训练它。我们发现，将深度学习与稀疏编码相结合不仅有利于模型性能，还有利于模型的初始化和解释。此外，通过将辅助聚类任务引入中间特征层次，我们制定了DTAGnet并获得了进一步的性能提升。大量的实验表明，该模型获得显着的利润超过几个国家的最先进的方法。
2015-10-16 cs.CV cs.LG stat.ML
Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression
City University of Hong Kong（香港城市大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
在无数以视觉数据为中心的应用程序中，对视觉信息的复杂表示对最终效用的优化起着基础性的作用。随着提出了许多方法来有效地压缩纹理和视觉特征，分别为人类视觉感知和机器智能服务，很少有人致力于研究它们之间的相互作用。在这里，我们调查的特征和纹理压缩的集成，并表明，一个通用的和协作的视觉信息表示可以实现分层的方式。特别地，我们研究了可伸缩编码框架中的特征和纹理压缩，其中基础层作为深度学习特征和增强层目标以完美地重建纹理。基于深度神经网络强大的生成能力，通过特征级纹理重建进一步填补了基本特征层和增强层之间的空白，旨在进一步从特征构建纹理表示。因此，原始纹理和重构纹理之间的残差可以在增强层中进一步传达。为了提高所提出的框架的效率，基层神经网络的训练，在多任务的方式，使学习的功能享受高质量的重建和高精度的分析。我们进一步展示了人脸图像压缩的框架和优化策略，并在码率保真度和码率精度方面取得了良好的编码性能。
2021-04-19 cs.CV eess.IV
Geometric Sparse Coding in Wasserstein Space
Tufts University（塔夫茨大学）
Wasserstein字典学习是一种无监督的方法，用于学习概率分布的集合，这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标，该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据，但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据，这使得系数的解释具有挑战性，并且当在下游任务中使用学习的系数时，也可能导致经验性能差。相反，在欧氏空间中的稀疏字典学习的动机，我们提出了一个几何稀疏正则化的Wasserstein空间，促进表示的数据点只使用附近的字典元素。我们表明，这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外，当数据被生成为固定分布的Wasserstein重心时，该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验，我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典，在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
