Collaborative representation-based robust face recognition by discriminative low-rank representation
Jiangnan University（江南大学）
我们考虑的鲁棒人脸识别的问题，其中的训练和测试样本可能会损坏，因为伪装和遮挡。传统的子空间学习方法和最近提出的基于稀疏表示的分类（SRC）的性能可能会下降时，损坏的训练样本提供。另外，由于稀疏性约束，基于稀疏性的方法是耗时的。为了在一定程度上缓解上述问题，在本文中，我们提出了一个歧视性的低秩表示方法的协作表示为基础（DLRR-CR）的鲁棒人脸识别。DLRR-CR不仅获得了一个干净的字典，它进一步迫使不同类的子字典是尽可能独立的，通过引入一个结构不相干正则化项。同时，可以学习一个低秩投影矩阵，以消除测试样本中可能的腐败。在我们提出的方法，具有封闭形式的解决方案，利用基于协作表示的分类（CRC）方法。在公开人脸数据库上的实验结果验证了该方法的有效性和鲁棒性。
2019-12-17 cs.CV cs.LG
Learning Locality-Constrained Collaborative Representation for Face Recognition
Sichuan University（四川大学）；National University of Singapore（新加坡国立大学）
低维流形模型和稀疏表示模型是两种众所周知的简洁模型，它们表明每个数据都可以用一些特征来描述。流形学习通常是通过保持一些期望的局部几何结构从原始空间降维到一个低维空间。通常通过使用成对距离来确定结构，例如，欧氏距离或者，稀疏表示将数据点表示为来自相同子空间的点的线性组合。然而，在实际应用中，在成对距离方面的附近点可能不属于同一子空间，反之亦然。因此，探索如何通过将这两种模型集成在一起来获得更好的表示是有趣和重要的。为此，本文提出了一种新的编码算法--局部约束协同表示（LCCR），该算法通过引入局部一致性来提高数据表示的鲁棒性和区分度。局部性项源自生物学观察，即相似的输入具有相似的代码。LCCR的目标函数有一个解析解，它不涉及局部极小。基于ORL、AR、Extended Yale B和Multiple PIE四个公共人脸数据库的实验表明，LCCR算法在人脸正面图像中具有良好的识别性能，可以有效地识别不同表情、光照以及各种遮挡和破坏的人脸。
2013-03-30 cs.CV
DuetFace: Collaborative Privacy-Preserving Face Recognition via Channel Splitting in the Frequency Domain
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）
随着人脸识别系统的广泛应用，人们越来越担心原始人脸图像可能会暴露于恶意意图，从而导致个人隐私泄露。本文介绍了DuetFace，一种新的隐私保护的人脸识别方法，采用协同推理在频域。从一个违反直觉的发现开始，人脸识别可以实现令人惊讶的良好性能，只有视觉上无法区分的高频通道，这种方法设计了一个可信的分裂频率通道的关键性可视化和操作的服务器端模型上的非关键通道。然而，由于缺少视觉信息，该模型对面部特征的关注度降低。为了补偿，该方法引入了一个插件的交互式块，以允许注意力从客户端转移，通过产生一个功能掩模。通过导出和覆盖面部感兴趣区域（ROI）来进一步细化掩模。在多个数据集上进行的大量实验验证了所提出的方法在保护人脸图像免受不期望的视觉检查、重建和识别方面的有效性，同时保持了高的任务可用性和性能。实验结果表明，该方法的识别精度和计算量与未受保护的ArcFace相当，并且优于现有的隐私保护方法。源代码可在https://github.com/Tencent/TFace/tree/master/recognition/tasks/duetface上获得。
2022-07-15 cs.AI cs.CR cs.CV
Non-negative Sparse and Collaborative Representation for Pattern Classification
稀疏表示（SR）和协作表示（CR）已成功地应用于许多模式分类任务，如人脸识别。在本文中，我们提出了一种新的模式分类的非负稀疏和协作表示（NSCR）。每个测试样本的NSCR表示是通过寻找一个非负的稀疏和协作表示向量来获得的，该向量将测试样本表示为训练样本的线性组合。我们观察到，非负性可以使SR和CR更有区分力和更有效的模式分类。基于建议的NSCR，我们提出了一个基于NSCR的模式分类器。在基准数据集上的大量实验表明，所提出的基于NSCR的分类器在各种具有挑战性的模式分类任务上优于以前的基于SR或CR的方法，以及最先进的深度方法。
2022-05-12 cs.CV
Multi-task Image Classification via Collaborative, Hierarchical Spike-and-Slab Priors
The Pennsylvania State University（宾夕法尼亚州立大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
在图像分类问题中，利用稀疏表示分类（SRC）的区分能力已经取得了令人满意的结果。最近，它已被证明，使用\emph{class-specific}尖峰和板坯先验结合类特定的字典从SRC是特别有效的低训练场景。作为一个逻辑的扩展，我们建立在这个框架的多任务的情况下，其中相同的物理现象的多种表示是可用的。我们的实验表明，从不同的相机视图挖掘联合信息的好处，多视角人脸识别。
2015-01-30 cs.CV
Unlocking the power of partnership: How humans and machines can work together to improve face recognition
National Institute of Standards and Technology（美国国家标准与技术研究院）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；School of Behavioral and Brain Sciences（行为与脑科学学院）
本研究明确人机协同提升人脸识别准确率的适用条件，提出智能人机融合方法，其性能优于单独机器或全人机融合，可降低低性能人员对准确率的影响。
2026-08-26 cs.CV
Deep Collaborative Multi-Modal Learning for Unsupervised Kinship Estimation
University of Macau（澳门大学）
亲属关系验证是计算机视觉中一个长期存在的研究挑战。呈现在面孔上的视觉差异对亲属系统的识别能力有显著影响。我们认为，聚合多种视觉知识可以更好地描述对象的特征，精确的亲属关系识别。通常，年龄不变特征可以表示更自然的面部细节。由于衰老的生物效应，这种与年龄相关的转换对于人脸识别至关重要。然而，现有的方法主要集中在使用单视图的图像特征的亲属关系识别，而更有意义的视觉属性，如种族和年龄直接忽略了在特征学习步骤。为此，我们提出了一种新的深度协作多模态学习（DCML），以自适应的方式整合面部属性中的底层信息，以加强面部细节，从而实现有效的无监督亲属关系验证。具体来说，我们构建了一个精心设计的自适应特征融合机制，它可以共同利用互补的属性从不同的视觉角度来产生复合功能，并提请更多的关注最翔实的组件的空间特征地图。特别地，基于一种新的注意力机制，提出了一种自适应加权策略，通过自适应地减少信道中的信息冗余，增强了不同属性之间的相关性。为了验证所提出的方法的有效性，广泛的实验评估进行了四个广泛使用的数据集表明，我们的DCML方法总是优于一些国家的最先进的亲属关系验证方法。
2021-09-07 cs.CV
Sparse, Collaborative, or Nonnegative Representation: Which Helps Pattern Classification?
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
稀疏表示（SR）和协作表示（CR）在模式分类中的应用已经在人脸识别和对象分类等任务中得到了广泛的研究。尽管基于SR/CR的分类器取得了成功，但无论是$\ell_{1}$ -范数稀疏性还是$\ell_{2}$ -范数协作性带来了基于SR/CR的分类器的成功，仍然是可论证的。在本文中，我们研究了使用非负表示（NR）的模式分类，这在很大程度上被忽略了以前的工作。我们的分析表明，NR可以提高同质样本的表示能力，同时限制异质样本的表示能力，使表示稀疏和歧视的同时，从而提供了一个更有效的解决方案，基于表示的分类比SR/CR。我们的实验表明，建议NR分类器（NRC）优于以前的表示为基础的分类。以深度特征作为输入，它还在各种视觉分类任务上实现了最先进的性能。
2018-12-05 cs.CV
Landmarks-assisted Collaborative Deep Framework for Automatic 4D Facial Expression Recognition
University of Oulu（奥卢大学）
我们提出了一种新的地标辅助的自动4D FER的协作端到端的深度框架。使用4D面部扫描数据，我们计算其各种几何图像，然后使用秩池生成其动态图像，随时间推移封装重要的面部肌肉运动。同样，给定的3D地标作为二进制图像投影在2D平面上，并且卷积层用于为每个地标视频提取特征向量序列。在训练阶段，动态图像用于训练端到端深度网络，而地标图像的特征向量用于训练长短期记忆（LSTM）网络。当动态图像和地标图像使用所提出的深度框架在多视图上协作时，获得最终改进的表情预测集。从广泛采用的BU-4DFE数据库在全球使用的设置下的广泛实验中获得的性能结果证明，我们提出的协作框架优于最先进的4D FER方法，并达到了96.7%的有前途的分类准确率，证明了其有效性。
2020-02-07 cs.CV
Hu-Fu: Hardware and Software Collaborative Attack Framework against Neural Networks
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）
近年来，深度学习（Deep Learning，DL），特别是卷积神经网络（Convolutional Neural Network，CNN）发展迅速，被广泛应用于图像分类、人脸识别、图像分割、人体检测等领域。由于其卓越的性能，基于DL的模型在许多领域都有广泛的应用，其中一些领域对安全性非常重要，例如智能监控和自动驾驶。由于云计算的延迟和隐私问题，嵌入式加速器在这些安全关键领域很受欢迎。然而，由于加速器和部署工具（或神经网络模型）通常由第三方公司提供，因此将硬件/软件木马插入到加速器和神经网络模型中可能会损害嵌入式DL系统的鲁棒性。所幸的是，插入硬件木马只能实现非弹性攻击，也就是说，硬件木马可以轻易攻破整个系统或交换两个输出，但无法让CNN将未知图片识别为目标。虽然插入软件木马具有更大的攻击自由度，但它往往需要篡改输入图像，这对攻击者来说并不容易。因此，在本文中，我们提出了一个软硬件协同攻击框架注入隐藏的神经网络木马，它作为一个后门，而不需要操纵输入图像，是灵活的，为不同的场景。我们测试了我们的攻击框架用于图像分类和人脸识别任务，并在CIFAR10和YouTube Faces上分别获得了92.6%和100%的攻击成功率，同时保持了与正常模式下未受攻击模型几乎相同的准确率。此外，我们展示了一个特定的攻击场景，其中人脸识别系统受到攻击，并给出了一个特定的错误答案。
2018-12-12 cs.CR cs.CV
Automatic 4D Facial Expression Recognition via Collaborative Cross-domain Dynamic Image Network
University of Oulu（奥卢大学）
提出了一种基于协同跨域动态图像网络（CCDN）的4D人脸表情识别方法。给定一个4D人脸扫描数据，我们首先计算其几何图像，然后将它们的相关信息结合在所提出的跨域图像表示中。然后，所获取的集合用于通过秩池化来生成跨域动态图像（CDI），所述秩池化在单个图像方面封装随时间的面部变形。对于训练阶段，这些CDIs被馈送到端到端深度学习模型中，并且所得到的预测在多视图上协作，以获得表达分类的性能增益。此外，我们提出了一个4D增强方案，不仅扩大了训练数据规模，但也引入了显着的面部肌肉运动模式，以提高FER性能。在广泛采用的设置下，对常用的BU-4DFE数据集进行了广泛的实验，结果表明，我们提出的方法优于最先进的4D FER方法，准确率达到96.5%，表明其有效性。
2020-02-07 cs.CV
The Effect of Wearing a Mask on Face Recognition Performance: an Exploratory Study
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸识别作为一种方便、非接触的准确身份验证方法，已成为我们日常生活中必不可少的一部分。在自动边境控制门进行身份验证或安全登录电子设备等过程越来越依赖于这些技术。最近的COVID-19大流行增加了卫生和非接触式身份验证的价值。然而，疫情导致口罩的广泛使用，这对控制疫情至关重要。戴口罩对人脸识别的影响是目前研究较少的敏感问题。我们提出了一个专门收集的数据库，其中包含三个会话，每个会话有三个不同的捕获指令，以模拟现实的用例。我们进一步研究了蒙面脸探头的行为上的三个性能最好的人脸识别系统，两个学术解决方案和一个商业现货（COTS）系统的效果。
2020-08-20 cs.CV
Color Face Recognition using High-Dimension Quaternion-based Adaptive Representation
University of Macau（澳门大学）
最近，四元数协同表示为基础的分类（QCRC）和四元数稀疏表示为基础的分类（QSRC）已被提出用于彩色人脸识别。它们可以获得不同颜色通道之间的相关信息。然而，它们的性能在不同的条件下是不稳定的。例如，QSRC在某些情况下比QCRC表现得更好，但在其他情况下表现得更差。为了从QCRC中基于四元数的$e_2$ -范数最小化和QSRC中基于四元数的$e_1$ -范数最小化中受益，我们提出了基于四元数的自适应表示（QAR），其使用基于四元数的$e_p$ -范数最小化（$1 \le p \le 2$）用于彩色人脸识别。为了获得不同颜色通道之间的高维相关信息，我们进一步提出了基于高维四元数的自适应表示（HD-QAR）。实验结果表明，所提出的QAR和HD-QAR实现更好的识别率比QCRC，QSRC和几个国家的最先进的方法。
2017-11-19 cs.CV
Face Completion with Semantic Knowledge and Collaborative Adversarial Learning
University of Rochester（罗切斯特大学）；Siemens Healthineers（西门子医疗）；Tencent X-Lab（腾讯X实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
与传统的背景修复方法不同，传统的背景修复方法从与背景相似的图像块中推断出缺失区域，人脸修复需要关于目标对象的语义知识以获得逼真的输出。当前图像修补方法利用生成对抗网络（GANs）来实现这种语义理解。然而，在对抗学习中，语义知识是隐式学习的，因此并不总是保证良好的语义理解。在这项工作中，我们提出了一个合作的对抗性学习方法，面对完成明确诱导的培训过程。我们的方法是制定下一个新的生成框架称为协作GAN（collaGAN），它允许更好的语义理解的目标对象，通过协作学习的多个任务，包括面部完成，地标检测，和语义分割。与collaGAN一起，我们还引入了一个修复集中方案，使得模型更强调修复而不是自动编码。大量的实验表明，所提出的设计确实是有效的，合作对抗学习提供了更好的面部特征表示。与其他生成式图像修补模型和单任务学习方法相比，我们的解决方案在所有任务上都具有优异的性能。
2022-03-23 cs.CV
Dictionary Integration using 3D Morphable Face Models for Pose-invariant Collaborative-representation-based Classification
Jiangnan University（江南大学）；University of Surrey（萨里大学）；Anyvision
本文提出了一种基于3DMM的字典集成算法，用于基于姿态不变协同表示的人脸分类。为此，我们首先将3DMM拟合到字典的2D人脸图像，以重建每个图像的3D形状和纹理。通过合并原始和渲染的虚拟样本以创建扩展字典，3D面部用于渲染具有任意姿态变化的多个虚拟2D面部图像以增强训练数据。其次，为了减少信息冗余的扩展字典和提高稀疏性的重建系数向量使用协作表示为基础的分类（CRC），我们利用一个在线消除计划，以优化扩展字典确定最具代表性的训练样本为给定的查询。最终的目标是执行姿态不变的人脸分类使用建议的字典集成方法和在线修剪策略下的CRC框架。一组著名的人脸数据集的实验结果表明，该方法的优点，特别是其鲁棒性的姿态变化。
2016-11-25 cs.CV
HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
现有的人脸恢复研究通常依赖于退化先验或显式指导标签进行训练，这通常导致对具有异构退化和丰富背景内容的真实世界图像的泛化能力有限。在本文中，我们研究了更具有挑战性和实用的“双盲”版本的问题，通过解除这两种类型的先验的要求，被称为“面翻新”（FR）。具体来说，我们制定FR作为一个语义指导的生成问题，并解决它的协同抑制和补充（CSR）的方法。这导致了HiFaceGAN，这是一个包含多个嵌套CSR单元的多阶段框架，这些单元基于从前端内容自适应抑制模块中提取的分层语义指导逐步补充面部细节。在合成和真实人脸图像上进行的大量实验已经验证了HiFaceGAN在各种具有挑战性的恢复子任务中的卓越性能，证明了其对真实世界人脸处理应用的通用性，鲁棒性和泛化能力。
2021-05-22 cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络，从多序列或多视角人脸图像实现人脸超分辨率，其统一的身份表示可提升行人重识别性能，效果优于现有方法。
2026-07-31 cs.CV
Masked Face Recognition: Human vs. Machine
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
最近的COVID-19大流行使人们更加关注卫生和非接触式身份验证方法。然而，疫情导致口罩的广泛使用，这对控制疫情至关重要。在协作环境中戴口罩对人脸识别（FR）的影响是目前敏感但研究不足的问题。最近的报告已经解决了这一问题，通过评估掩蔽探针的自动FR解决方案的性能的影响。然而，这种解决方案在某些过程中可能会失败，导致由人类专家执行验证任务。这项工作提供了一个联合评估和深入分析的人脸验证性能的人类专家相比，最先进的自动FR解决方案。这涉及人类专家的广泛评估和4种自动识别解决方案。这项研究的结论是，在人类和机器的验证行为之间的相关性的不同方面，有一套带回家的消息。
2022-04-24 cs.CV cs.CY
Gaze to Insight: A Scalable AI Approach for Detecting Gaze Behaviours in Face-to-Face Collaborative Learning
UCL Knowledge Lab, University College London（伦敦大学学院UCL知识实验室）；UCL Center for Artificial Intelligence, University College London（伦敦大学学院UCL人工智能中心）
本文提出一种可扩展的AI方法，利用预训练模型自动检测面对面协作学习中的目光行为，无需人工标注数据，实现高F1分数和跨配置鲁棒性。
2026-04-09 cs.CV
Visual Diver Face Recognition for Underwater Human-Robot Interaction
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Minnesota Robotics Institute（明尼苏达机器人研究所）
本文提出了一种用于水下机器人识别水肺潜水员的深度学习面部识别方法。具体来说，所提出的方法是能够识别潜水员水下的面具和呼吸器严重模糊的脸。我们在这项研究中的贡献是对个人的面部特征和图像退化从水下光学失真的显着闭塞强大的面部识别。凭借正确识别潜水员的能力，自主水下航行器（AUV）将能够与人类-机器人团队中的正确人员进行协作任务，并确保只接受那些有权指挥机器人的人的指令。我们证明，我们提出的框架是能够学习判别功能，从现实世界中的潜水员面临着通过不同的数据增强和生成技术。实验评估表明，该框架实现了3倍的预测精度相比，最先进的（SOTA）算法，非常适合嵌入式推理机器人平台。
2020-11-18 cs.CV cs.RO
Ego-Motion Alignment from Face Detections for Collaborative Augmented Reality
Snap Inc.（Snap公司）
在多个智能眼镜佩戴者之间共享虚拟内容是无缝协作增强现实体验的基本特征。为了实现共享，在每组眼镜上独立运行的底层6D自我姿态跟踪器的局部坐标系必须在空间上和时间上相对于彼此对准。在本文中，我们提出了一种新的轻量级解决方案，这个问题，这是被称为自我运动对齐。我们表明，检测彼此的脸或眼镜与跟踪器自我构成充分条件的问题，空间相关的本地坐标系。重要的是，检测到的眼镜可以作为可靠的锚点，为目标实际使用带来足够的准确性。提出的想法使我们能够放弃传统的视觉定位步骤与基准标记或场景点作为锚。提出了一种新的求解二次特征值问题的封闭形式的最小求解器，并引入了高斯置信传播对它进行了改进。实验验证了所提出的方法，并显示其较高的实用潜力。
2020-10-05 cs.CV
Collaborative Face Experts Fusion in Video Generation: Boosting Identity Consistency Across Large Face Poses
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；National University of Singapore（新加坡国立大学）
本文提出协作面部专家融合方法，通过动态融合身份、语义和细节专家信号，提升大姿态下视频生成的身份一致性，并构建了大规模姿态标注数据集。
2025-12-05 cs.CV
FedFR: Joint Optimization Federated Framework for Generic and Personalized Face Recognition
National Taiwan University（台湾大学）；Microsoft AI R&D Center, Taiwan（微软台湾AI研发中心）
当前最先进的基于深度学习的人脸识别（FR）模型需要大量的人脸身份用于集中训练。然而，由于日益增长的隐私意识，禁止在用户设备上访问面部图像以不断改进面部识别模型。联邦学习（Federated Learning，FL）是一种解决隐私问题的技术，它可以在客户端之间不共享数据的情况下协同优化模型。在这项工作中，我们提出了一个基于FL的框架称为FedFR，以提高通用的人脸表示的隐私意识的方式。此外，该框架通过提出的解耦特征定制模块，为相应的客户端联合优化个性化模型。客户端特定的个性化模型可以满足本地设备处注册身份的优化面部识别体验的需要。据我们所知，我们是第一个在FL设置中探索个性化人脸识别的人。该框架被验证为优于以前的方法在几个通用的和个性化的人脸识别基准与不同的FL场景。源代码和我们提出的FL设置下的个性化FR基准可在https://github.com/jackie840129/FedFR上获得。
2022-03-21 cs.AI cs.CV
Collaborative Diffusion for Multi-Modal Face Generation and Editing
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
本文提出 Collaborative Diffusion，通过元网络 dynamic diffuser 协调多个预训练单模态扩散模型，在无需重训的情况下实现多模态人脸生成与编辑。
2023-04-20 cs.CV
Collaborative Representation for Classification, Sparse or Non-sparse?
Academic Center for Computing and Media Studies, Kyoto University（京都大学学术计算与媒体研究中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
基于稀疏表示的分类方法（SRC）是一种简单、有效、鲁棒的人脸识别方法。随着它变得流行，对强制稀疏性的必要性的怀疑开始出现，并且初步实验结果表明，简单地将基于$l_1$ -范数的正则化改变为计算上更有效的基于$l_2$ -范数的非稀疏版本将导致类似甚至更好的性能。然而，情况并非总是如此。给定一个新的分类任务，仍然不清楚哪种正则化策略（即，使系数稀疏或非稀疏）是更好的选择，而无需尝试两者进行比较。在本文中，我们提出了据我们所知的第一个研究解决这个问题，大量的不同的分类实验的基础上。我们提出了一个评分函数，用于预先选择正则化策略，仅使用数据集大小，特征维数和来自给定特征表示的判别分数。此外，我们表明，当字典学习是考虑，非稀疏表示有更显着的优势稀疏表示。这项工作有望丰富我们对稀疏/非稀疏协作表示分类的理解，并激励进一步的研究活动。
2014-03-06 cs.AI cs.CV cs.LG
Face Photo-Sketch Recognition Using Bidirectional Collaborative Synthesis Network
Sungkyunkwan University（成均馆大学）
这项研究的特点是一个基于深度学习的框架，以解决给定的人脸草图图像与人脸照片数据库匹配的问题。照片-草图匹配的问题是具有挑战性的，因为1）在照片和草图之间存在大的模态差距，以及2）配对的训练样本的数量不足以训练基于深度学习的网络。为了避免大模态差距的问题，我们的方法是使用两个模态之间的中间潜在空间。我们通过采用双向（照片->草图和草图->照片）协作合成网络，有效地对齐了这两种模态在这个潜在空间中的分布。利用类StyleGAN架构，使中间潜在空间具有丰富的表示能力。为了解决训练样本不足的问题，我们引入了一个三步训练计划。在公共合成人脸草图数据库上的广泛评估证实了我们的方法与现有的最先进的方法相比具有优越的性能。所提出的方法可以用于匹配其他模态对。
2021-08-23 cs.CV cs.LG
Collaborative Regression of Expressive Bodies using Moderation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
从图像中恢复有表达能力的人对于理解人类行为至关重要。估计3D身体，面部或手部的方法已经取得了显着进展，但分别。人脸方法可以恢复精确的3D形状和几何细节，但需要严格的裁剪，并在极端视图和低分辨率下挣扎。全身方法对各种姿势和分辨率都很鲁棒，但只能提供粗略的3D人脸形状，而没有皱纹等细节。为了两全其美，我们引入了PIXIE，它可以从单个图像中生成具有逼真面部细节的可动画化全身3D化身。为此，PIXIE使用了两个关键的观察结果。首先，现有的工作结合了身体，面部和手部专家的独立估计，平等地信任他们。PIXIE引入了一种新颖的主持人，融合了专家的特征，并根据他们的信心进行加权。所有部位专家都可以为整体做出贡献，使用SMPL-X在所有身体部位共享的形状空间。其次，人类的形状与性别高度相关，但现有的工作忽略了这一点。我们将训练图像标记为男性，女性或非二进制，并训练PIXIE以推断具有新颖形状损失的"性别" 3D身体形状。除了3D身体姿势和形状参数外，PIXIE还可以估计表情，照明，面部表情和3D面部表面位移。定量和定性评估表明，PIXIE估计更准确的全身形状和详细的面部形状比最先进的状态。模型和代码可在www.example.com。
2021-10-15 cs.CV
Hierarchical Sparse and Collaborative Low-Rank Representation for Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们设计了一个协作层次稀疏和低秩（C-HiSLR）模型，这是自然的识别人类情感的视觉数据。以前的尝试需要显式表达式组件，这些组件通常不可用且难以恢复。相反，我们的模型利用低秩属性表达的面部框架和救援不精确的稀疏表示，将组稀疏。对于CK+数据集，C-HiSLR在原始表情面部上的表现与应用于手动准备的情感的基于稀疏表示的分类（SRC）一样具有竞争力。C-HiSLR在真阳性率方面的表现甚至优于SRC。
2015-04-01 cs.CV
Scalable Face Image Coding via StyleGAN Prior: Towards Compression for Human-Machine Collaborative Vision
Communication University of China（中国传媒大学）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
利用StyleGAN先验构建三层可扩展编码，通过逐层熵变换器减少冗余，实现极低比特率下优于VVC的人机协同人脸图像压缩。
2023-12-25 cs.AI cs.CV cs.MM
A sparsity augmented probabilistic collaborative representation based classification method
Zhenjiang College（镇江学院）；Jiangnan University（江南大学）
为了提高图像识别的性能，提出了一种基于稀疏增强概率协同表示的分类方法（SA-ProCRC）。该方法首先通过ProCRC得到稠密系数，然后用稀疏系数对稠密系数进行增广，最后通过正交匹配追踪（OMP）算法得到稀疏系数。与传统的需要明确计算每类重构残差的方法不同，该方法利用训练样本的增广系数和标签矩阵对测试样本进行分类。实验结果表明，该方法对人脸和场景图像都能取得较好的效果.我们提出的SA-ProCRC的源代码可以在https://github.com/yinhefeng/SAProCRC上访问。
2019-12-27 cs.CV
Sparseness helps: Sparsity Augmented Collaborative Representation for Classification
The University of Western Australia（西澳大学）
许多分类方法首先使用所有类的训练样本来表示测试样本。然后使用这种协作表示来标记测试样本。这是一个共同的信念，稀疏的表示是成功的关键，这种分类方案。然而，最近，有人声称，这是合作，而不是稀疏，使计划有效。这种说法是有吸引力的，因为它允许放弃计算上昂贵的稀疏约束的表示。在本文中，我们首先扩展了支持这一主张的分析，然后表明稀疏显着有助于改进分类，因此不应该完全忽略计算增益。受这一结果的启发，我们增加了密集的合作表示与稀疏表示，并提出了一个有效的分类方法，利用所得的表示。增强表示和分类方法精心地一起工作，以实现更高的准确性和更低的计算时间相比，最先进的基于协作表示的分类方法。基准人脸，对象和动作数据库上的实验表明，我们的方法的有效性。
2015-11-29 cs.CV
Collaborative Training of Balanced Random Forests for Open Set Domain Adaptation
Hanyang University（汉阳大学）
本文介绍了一种用于领域自适应任务的平衡随机森林与卷积神经网络协同训练算法。在实际应用中，大多数领域自适应算法面临着噪声、训练数据不足和开集分类等问题。在这种情况下，传统的方法遭受过拟合，并未能成功地将源的知识转移到目标域。为了解决这些问题，提出了以下两种技术。首先，我们介绍了优化的决策树构造方法与卷积神经网络，在每个节点上的数据被分成相等的大小，同时最大化的信息增益。由于偶数分裂约束，它在深层特征上生成平衡的决策树，这有助于提高区分能力和减少过拟合问题。其次，为了解决域对齐问题，我们提出了域对齐损失，它惩罚源和目标域数据的不均匀分割。通过协同优化标记源数据的信息增益以及未标记目标数据分布的熵，所提出的CoBRF算法实现了显着优于国家的最先进的方法的性能。
2020-02-10 cs.CV
HeatV2X: Scalable Heterogeneous Collaborative Perception via Efficient Alignment and Interaction
Beijing Institute of Technology（北京理工大学）
针对V2X协同感知中智能体异构、框架难以扩展的问题，提出HeatV2X框架，通过双阶段微调与专用适配器实现高效对齐交互，以低训练开销在公开数据集上取得超越现有SOTA的感知性能。
2025-11-13 cs.CV
A Cloud-Edge-Terminal Collaborative System for Temperature Measurement in COVID-19 Prevention
Tongji University（同济大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）
为防止2019冠状病毒病（COVID-19）的传播，我们在公共区域进行初步体温测量及口罩检测。然而，现有的温度测量方法面临着安全性和部署的问题。为了在人脸部分遮挡的情况下实现安全、准确的温度测量，提出了一种基于轻量级红外测温模型的云-边缘-终端协同系统。利用具有RGB透镜和热透镜的双目相机来同时捕获图像对。然后，提出了一种基于多任务级联卷积网络（MTCNN）的移动检测模型，实现了RGB图像上的人脸对齐和掩模检测。为了准确的温度测量，我们通过仿射变换将RGB图像上的面部标志转换为热图像，并在前额上选择更准确的温度测量区域。收集的信息实时的上传到云端，用于COVID-19预防。实验表明，该检测模型仅为6.1M，平均检测速度为257 ms。在1米的距离上，室内温度测量的误差约为3%。也就是说，所提出的系统可以实现在公共区域的实时温度测量。
2021-07-11 cs.CV cs.HC eess.SP
A Wireless Collaborated Inference Acceleration Framework for Plant Disease Recognition
Southwest Minzu University（西南民族大学）；Beihang University（北京航空航天大学）；Beijing University of Technology（北京工业大学）；Beijing Forestry University（北京林业大学）
本文提出边缘设备与云服务器协同的植物病害识别推理加速框架，通过深度强化学习剪枝DNN模型并结合贪心策略确定最优分割点，在保持识别精度的同时显著提升推理速度并降低能耗。
2025-05-05 cs.AI cs.CV cs.LG
