Beyond Landmark Extraction: A Framework for Robust Geometric Feature Evaluation in Structured Image Classification
Case Western Reserve University(凯斯西储大学)
本文针对结构化图像分类问题,提出鲁棒几何特征构建框架,以静态手势识别为案例,发现混合几何表示性能最优,将特征构建视为基础建模决策。
2026-11-09 cs.CV
PELE scores: Pelvic X-ray Landmark Detection by Pelvis Extraction and Enhancement
针对骨盆 X 射线中组织叠加干扰关键点检测的问题,提出利用 CT 三维解剖先验的 PELE 骨盆提取模块,并在 850 张图像上验证其达到最先进性能。
2023-06-07 cs.CV eess.IV
2nd Place and 2nd Place Solution to Kaggle Landmark Recognition andRetrieval Competition 2019
Baidu Inc.(百度公司)
提出了一个基于检索的地标检索与识别挑战系统,该系统包括五个部分:特征提取与匹配,得到候选队列;数据库扩充与查询扩展搜索;识别结果的重排序与局部特征匹配。在识别挑战包括:地标和非地标识别,多个识别结果投票和重新排序使用识别和检索结果的组合。所有模型都是由PaddlePaddle框架训练和预测的。使用我们的方法,我们在Google Landmark Recognition 2019中获得了第二名,在Google Landmark Retrieval 2019中获得了第二名。源代码可以在这里找到。
2019-06-16 cs.CV
Image Subset Selection Using Gabor Filters and Neural Networks
Carleton University(卡尔顿大学)
本文提出了一种从互联网上收集的地标性大图像中自动选择现代和历史图像子集的方法。该选择取决于使用Gabor滤波的主导特征的提取。从初步图像集中仔细选择特征并将其作为训练数据馈送到神经网络中。该方法收集了大量的原始地标图像,包括现代和历史地标图像和非地标图像。然后,该方法处理这些图像,将它们分类为地标和非地标图像。分类性能在很大程度上取决于候选特征的地标的数量。
2015-04-08 cs.CV
L2GSCI: Local to Global Seam Cutting and Integrating for Accurate Face Contour Extraction
Kitware, Inc.(Kitware公司);The Education University of Hong Kong(香港教育大学)
现有的人脸配准算法能够鲁棒地沿着人脸轮廓找到一组特征点。然而,标志稀疏,缺乏曲线细节,特别是在下巴和脸颊区域,存在大量的凹凸弯曲信息。本文提出了一种从局部到全局的缝切割和融合算法(L2GSCI),用于提取连续、精确的人脸轮廓。我们的方法在粗略的初始曲线的帮助下分三步工作。首先,我们沿着初始曲线对小的和重叠的正方形进行采样。其次,L2GSCI的接缝切割部分在每个正方形区域中提取局部接缝。最后,L2GSCI的接缝集成部分将所有冗余接缝连接在一起,形成连续完整的面曲线。总体而言,该方法比现有的人脸对齐算法更直接,但可以实现像素级连续的人脸曲线,而不是离散和稀疏的地标。此外,在两个人脸基准数据集(即,LFPW和HELEN)的实验结果表明,该方法能够精确地显示人脸轮廓的凹凸弯曲细节,与现有的人脸对齐方法相比,其性能有了显著的提高。
2017-03-05 cs.CV
Optimising for the Unknown: Domain Alignment for Cephalometric Landmark Detection
University of Oxford(牛津大学)
本研究针对头影测量标志点检测任务,提出含区域面部提取模块与X射线伪影增强的域对齐策略,在2024 MICCAI CL-Detection挑战赛中取得MRE 1.186mm第一、2mm SDR 82.04%第三的成绩。
2026-10-12 cs.CV
H3DE-Net: Efficient and Accurate 3D Landmark Detection in Medical Imaging
School of Computer Science USTC(计算机科学学院 中国科学技术大学);School of Computer Science(计算机科学学院);Shanghai Jiao Tong University(上海交通大学);ShanghaiTech University(上海科技大学);Sciences College(科学学院);School of Information Science, NENU(信息科学学院 南京师范大学);Technical University of Munich (TUM)(慕尼黑技术大学);Stanford University(斯坦福大学)
针对医学影像3D关键点检测中精度与效率难平衡的问题,提出结合CNN与轻量级注意力机制的H3DE-Net,采用分层路由和多尺度融合,在公开CT数据集上达SOTA性能并已开源。
2025-10-21 cs.CV
Colonoscopy Landmark Detection using Vision Transformers
Intuitive Surgical, Inc.(直觉外科公司)
结肠镜检查是一种常规的门诊程序,用于检查结肠和直肠的任何异常,包括息肉,憩室和结肠结构狭窄。临床医生的大量时间花费在结肠镜检查程序期间拍摄的后处理快照上,用于维护医疗记录或进一步调查。自动执行此步骤可以节省时间并提高流程的效率。在我们的工作中,我们收集了一个由120个结肠镜视频和2416个在手术过程中拍摄的快照组成的数据集,这些视频和快照已经由专家进行了注释。此外,我们还开发了一种新的基于视觉变换器的地标检测算法,该算法可从结肠镜检查期间拍摄的快照中识别关键解剖地标(阑尾口、回盲瓣/盲肠地标和直肠后屈)。我们的算法在预处理过程中使用自适应伽马校正,以保持所有图像的亮度一致。然后,我们使用一个视觉Transformer作为特征提取的骨干和一个完全连接的基于网络的分类器头分类一个给定的帧分为四类:三个地标或非地标帧。我们将视觉Transformer(ViT-B/16)主干与经过类似训练的ResNet-101和ConvNext-B主干进行了比较。我们报告的准确率为82%的视觉Transformer骨干上的测试数据集的快照。
2022-09-27 cs.AI cs.CV cs.LG
Human and Sheep Facial Landmarks Localisation by Triplet Interpolated Features
University of Cambridge(剑桥大学)
在本文中,我们提出了一种方法定位人脸和绵羊的面部标志。我们引入了一种新的特征提取方案,称为三重插值特征,用于级联形状回归框架的每次迭代。它是能够提取特征,从相似的语义位置给定的估计形状,即使当头部姿势变化很大,面部地标分布非常稀疏。此外,我们研究了训练数据不平衡对模型性能的影响,并提出了一个训练样本增强方案,产生更多的初始化训练样本的少数。更具体地,使训练样本的扩增数与样本位置处的拟合概率密度函数的值负相关。我们评估所提出的计划对人类和绵羊的面部标志定位。在基准的300w人脸数据集上,我们证明了我们提出的方法的好处,并显示出非常有竞争力的性能时,与其他方法相比。在一个新创建的绵羊人脸数据集上,我们得到了非常好的性能,尽管我们只有有限数量的训练样本和一组稀疏的地标被注释。
2015-09-16 cs.CV
Maximized Posteriori Attributes Selection from Facial Salient Landmarks for Face Recognition
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Dr. B. C. Roy Engineering College(B. C. 罗伊工程学院);Jadavpur University(贾达普大学);University of Sassari(萨萨里大学)
本文提出了一种鲁棒的和动态的人脸识别技术的基础上提取和匹配的设计概率图的SIFT特征相关的独立的人脸区域。人脸匹配策略是基于匹配的个人显着的面部图,其特征在于SIFT功能连接到面部标志,如眼睛和嘴。为了减少人脸匹配的错误,应用Dempster-Shafer决策理论融合从每对显著人脸特征中获得的个体匹配分数。该算法与ORL和IITK人脸数据库进行了评估。实验结果表明,所提出的人脸识别技术的有效性和潜力的情况下,部分遮挡的脸。
2010-04-12 cs.CV
Boosting Facial Action Unit Detection Through Jointly Learning Facial Landmark Detection and Domain Separation and Reconstruction
School of Electronic and Information Communications, Huazhong University of Science and Technology(华中科技大学电子与信息通信学院)
本文提出一种新的AU检测框架,通过多任务学习联合优化AU域分离与重构及面部关键点检测,并引入基于对比学习的特征对齐方案,在两个基准上优于现有最先进方法。
2024-03-04 cs.AI cs.CV cs.LG
CQVPR: Landmark-aware Contextual Queries for Visual Place Recognition
Nagoya University(名古屋大学)
本文提出CQVPR方法,通过可学习上下文查询自动融合landmark及其周围场景信息,并引入查询匹配损失,在多个数据集上超越现有视觉地点识别方法。
2025-03-11 cs.CV
Proto-Former: Unified Facial Landmark Detection by Prototype Transformer
School of Information Engineering, Zhongnan University of Economics and Law(中南财经政法大学信息工程学院);School of Computer Science and Engineering (SCSE), Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Computer Science, Wuhan University(武汉大学计算机学院);Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, College of Computer and Information Technology, China Three Gorges University(湖北工业大学水电工程智能视觉监测重点实验室,计算机与信息学院)
提出Proto-Former,一个基于原型Transformer的统一面部关键点检测框架,通过自适应原型感知编码器、渐进式解码器和原型感知损失实现多数据集联合训练,性能优于现有方法。
2025-10-17 cs.CV
Joint Super-Resolution and Alignment of Tiny Faces
Northeastern University(东北大学)
小人脸的超分辨率(SR)和界标定位是高度相关的任务。一方面,地标定位可以获得更高的精度与人脸的高分辨率(HR)。另一方面,面部SR将受益于面部属性(如地标)的先验知识。因此,我们提出了一个联合对齐和SR网络,同时检测面部标志和超分辨率微小的脸。更具体地说,共享的深度编码器被应用于通过利用互补信息来提取两个任务的特征。为了利用分层编码器的代表能力,共享的特征提取模块的中间层被融合以形成有效的特征表示。然后,融合的特征被馈送到特定于任务的模块,以并行地检测地标和超分辨率面部图像。大量的实验表明,该模型显着优于国家的最先进的地标定位和SR的人脸。我们展示了微小面部的地标定位的大的改进(即,16*16)。此外,所提出的框架对于低分辨率(LR)面部(即,64*64)与现有的人力资源方法(即,256*256)。至于SR,所提出的方法恢复更清晰的边缘和更多的细节LR人脸图像比其他国家的最先进的方法,我们定性和定量地证明。
2019-11-19 cs.CV
MetaCloth: Learning Unseen Tasks of Dense Fashion Landmark Detection from a Few Samples
The University of Hong Kong(香港大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
最近用于时尚地标检测的先进方法主要通过在具有大量注释地标的大规模时尚数据集上训练卷积神经网络来驱动。然而,这种大规模的注释在现实世界的应用中是困难和昂贵的,因此,可以从少量的标记的数据很好地概括的模型是期望的。我们调查这个问题的Few-Shot时尚地标检测,只有少数标记的样本是一个看不见的任务。这项工作通过元学习提出了一个名为MetaFabric的新颖框架,该框架能够仅使用少量注释样本就学习密集时尚地标检测的看不见的任务。与之前专注于解决“N路K-shot”任务的元学习工作不同,其中每个任务通过为每个类别使用K个注释样本进行训练来预测N个类别(N对于所有可见和不可见的任务都是固定的),MetaCloth中的任务使用K个样本检测不同服装类别的N个不同地标,其中N在任务之间变化,因为不同的服装类别通常具有不同数量的地标。因此,MetaCloth中不同的可见和不可见任务的参数数量是不同的。MetaCloth经过精心设计,可以为不同的任务动态生成不同数量的参数,并通过一组良好的初始化参数,从一些带注释的样本中学习可泛化的特征提取网络。大量的实验表明,MetaCloth的性能大大优于其同行。
2021-12-06 cs.CV
Vision-Depth Landmarks and Inertial Fusion for Navigation in Degraded Visual Environments
Autonomous Robots Lab, University of Nevada, Reno(内华达大学雷诺分校自主机器人实验室)
本文提出了一种视觉,深度和惯性数据的紧密融合的方法,以扩展机器人的导航能力,在GPS拒绝,照明不足,无纹理的环境。视觉和深度信息融合在特征检测和描述符提取水平,以增强一个传感模态与其他。这些多模态功能,然后进一步集成与惯性传感器的线索,使用扩展的卡尔曼滤波器估计的机器人姿态,传感器偏置项,和地标位置同时作为过滤器状态的一部分。通过一组手持式和微型飞行器实验证明,所提出的算法在具有挑战性的视觉退化环境中使用来自轻量级和低成本传感器的RGB-D信息和来自IMU的数据可靠地执行。
2019-03-05 cs.CV cs.RO
Progressive Face Super-Resolution via Attention to Facial Landmark
人脸超分辨率(SR)是SR域的一个子字段,专门针对人脸图像的重建。人脸重建的主要挑战是在不失真的情况下恢复基本的面部特征。我们提出了一种新的人脸SR方法,该方法可以生成逼真的8倍超分辨率人脸图像,并完全保留面部细节。为此,我们采用了渐进式训练方法,通过将网络分成连续的步骤来实现稳定的训练,每个步骤都产生具有逐渐更高分辨率的输出。我们还提出了一种新的面部注意力损失,并将其应用于每一步,通过乘以像素差和热图值来专注于更详细地恢复面部属性。最后,我们提出了一个压缩版本的最先进的人脸对齐网络(FAN)的地标热图提取。通过提出的FAN,我们可以提取适合人脸SR的热图,并减少整体训练时间。实验结果表明,我们的方法优于国家的最先进的方法在定性和定量测量,特别是在感知质量。
2019-08-22 cs.CV
DenseSeg: Joint Learning for Semantic Segmentation and Landmark Detection Using Dense Image-to-Shape Representation
University of Lübeck(吕贝克大学);EchoScout GmbH(EchoScout有限公司);University Hospital Schleswig-Holstein(石勒苏益格-荷尔斯泰因大学医院)
提出DenseSeg,利用密集图像到形状表示和全卷积架构联合学习语义分割与地标检测,在胸部X光和儿科腕部数据集上达到或超越最先进水平,且无需对地标显式训练即可添加新地标。
2024-12-16 cs.CV
Automatic Landmark Detection and Registration of Brain Cortical Surfaces via Quasi-Conformal Geometry and Convolutional Neural Networks
The Chinese University of Hong Kong(香港中文大学);Massachusetts Institute of Technology(麻省理工学院)
在医学成像中,表面配准被广泛用于在解剖结构之间执行系统比较,其中一个主要示例是高度卷积的大脑皮层表面。为了获得有意义的配准,一种常见的方法是识别表面上的突出特征,并在它们之间建立低失真映射,其中特征对应关系被编码为地标约束。现有的配准工作主要集中在使用手动标记的地标和解决高度非线性优化问题,这是耗时的,因此阻碍了实际应用。在这项工作中,我们提出了一个新的框架,使用准共形几何和卷积神经网络的自动地标检测和注册的大脑皮层表面。我们首先开发了一个地标检测网络(LD-网),允许自动提取地标曲线给定两个规定的起点和终点的基础上的表面几何形状。然后,我们利用检测到的地标和准共形理论实现表面配准。具体而言,我们开发了一个系数预测网络(CP-网),用于预测与所需的基于地标的注册和映射网络称为磁盘Beltrami求解器网络(DBS-网)的Beltrami系数预测生成准共形映射从预测的Beltrami系数,与双射保证准共形理论。实验结果表明,我们提出的框架的有效性。总之,我们的工作为基于表面的形态测量和医学形状分析铺平了新的道路。
2022-08-15 cs.CV cs.GR
Taylor3DNet: Fast 3D Shape Inference With Landmark Points Based Taylor Series
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海高效节能定制人工智能芯片工程研究中心)
本文提出 Taylor3DNet,利用离散地标点及其 Taylor 级数系数表示三维隐式场,将查询点评估简化为低阶 Taylor 计算,从而在多种重建任务中显著加速且不降低精度。
2023-07-16 cs.CV
BioFace3D: A fully automatic pipeline for facial biomarkers extraction of 3D face reconstructions segmented from MRI
La Salle - Universitat Ramon Llull(拉蒙·柳利大学拉萨尔学院);Universitat de Barcelona(巴塞罗那大学);FIDMAG, Sisters Hospitallers Research Foundation(仁爱修女会研究基金会FIDMAG研究所);CIBERSAM(精神健康生物医学研究网络);Hospital de Sant Pau i la Santa Creu(圣保禄圣十字医院)
BioFace3D提出了一种从MRI重建三维面部模型并全自动提取面部生物标志物的流程,通过标志点配准和几何形态测量学实现客观定量分析,以辅助遗传及精神类疾病的诊断。
2024-10-01 cs.CV q-bio.QM
GoDP: Globally optimized dual pathway system for facial landmark localization in-the-wild
University of Houston(休斯顿大学)
人脸特征点定位是姿态不变人脸识别的一个基本模块。最常用的人脸标志点检测方法是级联回归,它由两个步骤组成:特征提取和人脸形状回归。最近的方法使用深度卷积网络来提取每个步骤的鲁棒特征,而整个系统可以被视为深度级联回归架构。在这项工作中,不是采用深度回归网络,而是提出了一种全局优化的双路径(GoDP)深度架构,通过解决级联像素标记问题来识别目标像素,而无需诉诸高级推理模型或复杂的堆栈架构。所提出的端到端系统依赖于距离感知的softmax函数和双通道提案细化架构。结果表明,它优于国家的最先进的级联回归为基础的方法在多个野外人脸对齐数据库。该模型在AFLW数据库上实现了1.84的归一化平均误差(NME),比3DDFA高61.8%。人脸识别实验表明,GoDP,加上DPM-headhunter,能够提高44.2%的rank-1识别率相比,Dlib工具箱在一个具有挑战性的数据库。
2017-12-19 cs.CV
POSTER++: A simpler and stronger facial expression recognition network
Hangzhou Dianzi University(杭州电子科技大学)
人脸表情识别在人机交互等实际应用中扮演着重要的角色。POSTER通过双流金字塔交叉融合设计,有效地将面部标志和图像特征相结合,在FER中实现了最先进的(SOTA)性能。然而,POSTER的结构无疑是复杂的。它会导致昂贵的计算成本。为了减轻POSTER的计算压力,本文提出了POSTER++。它在三个方向上改进了POSTER:交叉融合、双流和多尺度特征提取。在交叉融合中,我们使用基于窗口的交叉注意力机制代替普通的交叉注意力机制。在双流设计中,我们删除了图像到地标的分支。对于多尺度特征提取,POSTER++将图像与地标的多尺度特征相结合,以取代POSTER的金字塔设计。在几个标准数据集上的大量实验表明,我们的POSTER++以最小的计算成本实现了SOTA FER性能。例如,POSTER++在RAF-DB上达到92.21%,在AffectNet(7 cls)上达到67.49%,在AffectNet(8 cls)上达到63.77%,仅使用8.4G浮点运算(FLOPs)和43.7M参数(Param)。这证明了我们改进的有效性。
2023-02-12 cs.CV
Dynamic Attention-controlled Cascaded Shape Regression Exploiting Training Data Augmentation and Fuzzy-set Sample Weighting
University of Surrey(萨里大学);Jiangnan University(江南大学)
我们提出了一种新的级联形状回归(CSR)架构,即动态注意力控制的CSR(DAC-CSR),用于无约束人脸上的鲁棒面部标志点检测。我们的DAC-CSR分为三个级联的子任务:面部限界框细化,一般CSR和注意力控制的CSR。前两个阶段细化初始面部边界框并输出中间面部标志。然后,使用在线动态模型选择方法来选择合适的特定领域的CSR进一步的地标细化。我们的DAC-CSR的关键创新是容错机制,使用模糊集样本加权的注意力控制特定领域的模型训练。此外,我们提倡使用简单但有效的2D轮廓人脸生成器进行数据增强,并使用上下文感知的特征提取来更好地表示面部特征。在具有挑战性的数据集上获得的实验结果证明了我们的DAC-CSR的优点。
2017-04-04 cs.CV
Deepfake Detection Via Facial Feature Extraction and Modeling
Grand Canyon University(大峡谷大学)
本文提出仅利用面部关键点检测 Deepfake 的方法,通过识别面部运动细微不一致替代原始图像处理,并在 RNN、ANN 和 CNN 上验证其有效性。
2025-07-24 cs.AI cs.CV
Face Feature Visualisation of Single Morphing Attack Detection
Hochschule Darmstadt(达姆施塔特应用技术大学)
针对单一人脸变形攻击检测,本文可视化比较多类人脸特征提取算法,并通过留一法实验表明 DCT 更适合合成图像、BSIF 更适合关键点特征。
2023-04-25 cs.CV
Less is More: Simultaneous View Classification and Landmark Detection for Abdominal Ultrasound Images
Siemens Healthineers(西门子医疗);Vanderbilt University(范德堡大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
腹部超声检查是最常见的超声检查,需要大量的人工努力来采集标准腹部器官视图,在文本中注释视图,并记录临床相关的器官测量结果。因此,器官的自动视图分类和界标检测可以有助于简化检查工作流程。然而,这是一个具有挑战性的问题,不仅考虑到来自超声模态的固有困难,低对比度和大变化,而且任务间的异质性,即,一个分类任务用于所有视图,然后一个界标检测任务用于每个相关视图。虽然卷积神经网络(CNN)在超声图像分析方面比传统的机器学习方法表现出更有前途的结果,但由于大多数现有超声扫描仪上的计算和存储器资源有限,部署多个网络(每个任务一个)变得不切实际。为了克服这些限制,我们提出了一个多任务学习框架,通过一个单一的网络来处理所有的任务。该网络被集成为同时执行视图分类和地标检测;它还配备了全局卷积核、坐标约束和条件对抗模块,以利用性能。在一项基于187,219幅超声图像的实验研究中,使用所提出的简化方法,我们实现了(1)视图分类准确性优于两名临床专家之间的一致性,以及(2)基于地标的测量误差与用户间的差异性相当。多任务方法还受益于在所有任务的训练过程中共享特征提取,因此,优于单独解决每个任务的方法。
2018-06-04 cs.CV
Landmark Detection for Medical Images using a General-purpose Segmentation Model
University of Vienna(维也纳大学);Orthopaedic Hospital Speising(骨科医院Speising);University of Leeds(利兹大学)
本文提出结合YOLO和SAM模型,用于提高骨科骨盆放射影像中解剖标志物和复杂轮廓的分割精度。
2026-02-20 cs.AI cs.CV eess.IV
BCRNet: Enhancing Landmark Detection in Laparoscopic Liver Surgery via Bezier Curve Refinement
National University of Singapore, Singapore(新加坡国立大学);Harbin Institute of Technology, Harbin, China(哈尔滨工业大学)
BCRNet通过贝塞尔曲线细化策略,结合多模态特征提取、自适应曲线提议初始化和层次化曲线细化机制,显著提升了腹腔镜肝脏手术中曲线解剖地标的检测精度,在L3D和P2ILF数据集上优于现有方法。
2025-06-18 cs.CV
LM-PCVMNet: Pediatric Cervical Vertebral Maturation Analysis with Deep Fusion of Landmarks and Metadata
Nankai University(南开大学);Yanbian University(延边大学);Haihe Lab of ITAI(海河实验室(智能网联与人工智能实验室));Tianjin Stomatological Hospital(天津市口腔医院)
提出LM-PCVMNet,融合地标、热图调制和元数据对比损失,实现儿科CVM自动分期,并发布PCVM+数据集,性能优于现有模型。
2026-09-16 cs.CV eess.IV
Prawn Morphometrics and Weight Estimation from Images using Deep Learning for Landmark Localization
James Cook University(詹姆斯·库克大学);The University of Sydney(悉尼大学)
提出一种结合 Kronecker 特征融合、关键点定位与全连接回归的深度学习框架,用于黑虎虾图像的体重估计和形态测量,并在 8164 张图像上验证其优于现有方法。
2023-07-15 cs.CV
Automatic Facial Expression Recognition Using Features of Salient Facial Patches
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
从显著性人脸图像中提取具有区分性的特征对有效的人脸表情识别起着至关重要的作用。人脸特征点的准确检测提高了人脸图像中显著块的定位。本文提出了一种新的框架,表情识别使用的外观特征选择的面部补丁。几个突出的面部补丁,根据面部标志的位置,提取的情绪诱导过程中活跃。进一步处理这些活动块以获得包含用于对每对表情进行分类的区别性特征的显著块,从而选择不同的面部块作为不同的表情类对的显著块。利用这些特征采用一对一的分类方法。此外,已经提出了一种自动化的免学习的面部标志检测技术,该技术实现了与其他最先进的标志检测方法类似的性能,但需要的执行时间显著减少。该方法在不同分辨率下表现良好,为低分辨率图像中的表情识别提供了一种解决方案。在CK+和JAFFE人脸表情库上的实验表明了该系统的有效性。
2015-05-15 cs.CV
Discrete Deep Feature Extraction: A Theory and New Architectures
ETH Zurich(苏黎世联邦理工学院);University of Vienna(维也纳大学)
针对连续时间的情况,在2012年的Mallat和2015年的Wiatowski和Bölcskei中,为特征提取的深度卷积神经网络的数学理论迈出了第一步。本文考虑离散的情况下,介绍了新的卷积神经网络架构,并提出了一个数学框架,他们的分析。具体来说,我们建立变形和平移的局部和全局性质的敏感性结果,我们研究如何在相应的特征向量中反映输入信号的某些结构属性。我们的理论适用于一般过滤器和一般Lipschitz连续非线性和池运营商。手写体数字分类和面部标志点检测实验-包括特征重要性评估-补充了理论研究结果。
2016-05-26 cs.CV cs.IT cs.LG
Spontaneous Emotion Recognition from Facial Thermal Images
Indian Institute of Technology(印度理工学院)
计算机视觉中的一个关键研究领域是处理和理解包含人脸的图像。最常见的任务包括人脸检测,面部标志定位,人脸识别和面部表情分析。其他更专业的任务,如情感计算,从视频中提取生命体征或分析社交互动,通常需要执行上述任务中的一项或多项。在我们的工作中,我们分析了大量的热红外图像中的面部图像处理任务,这些任务目前使用基于规则的方法解决或根本没有解决,可以用现代的基于学习的方法来解决。我们已经使用USTC-NVIE数据库进行训练的一些机器学习算法的面部标志定位。
2020-12-13 cs.CV cs.HC eess.IV
Feature Aggregation Network for Building Extraction from High-resolution Remote Sensing Images
Institut Polytechnique de Paris(巴黎理工学院)
针对高分辨率遥感图像中建筑物细粒度提取的挑战,提出Feature Aggregation Network (FANet),通过结合全局与局部特征提取模块及注意力机制,实现了精细的建筑物提取,并在多个数据集上验证了其卓越性能。
2023-09-12 cs.CV
Deep Face Feature for Face Alignment
University of Science and Technology of China(中国科学技术大学);Cardiff University(卡迪夫大学)
在本文中,我们提出了一种基于深度学习的图像特征提取方法,专门针对人脸图像设计。为了训练特征提取模型,我们构建了一个大规模的照片级真实感人脸图像数据集,该数据集具有多视角人脸图像之间的真实对应关系,这些图像是通过逆绘制过程从真实照片合成的。使用从不同视图渲染的面部图像之间的对应关系来训练深度面部特征(DFF)。使用经过训练的DFF模型,我们可以为人脸图像的每个像素提取一个特征向量,该特征向量可以区分不同的面部区域,并且在匹配和对齐等面部相关任务中比通用特征描述符更有效。基于DFF,我们开发了一种鲁棒的人脸对齐方法,该方法迭代更新地标,姿态和3D形状。大量的实验表明,我们的方法可以实现国家的最先进的结果,在高度无约束的人脸图像的人脸对齐。
2018-03-12 cs.CV
Recognizing Gender from Human Facial Regions using Genetic Algorithm
Institute of Engineering and Management, Kolkata(加尔各答工程与管理学院);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Indian Institute of Technology, Bhubaneswar(印度理工学院布巴内斯瓦尔分校);National Institute of Technology, Durgapur(杜尔加布尔国立理工学院)
最近,从面部图像中识别性别已经获得了很多重要性。有一些研究工作集中在特征提取,以获得性别特定的信息,从面部图像。然而,分析不同的面部区域及其融合有助于从面部图像中确定人的性别。在本文中,我们提出了一种新的方法来识别性别的正面人脸图像是强大的背景,光照,强度和面部表情。在我们的框架中,首先正面的人脸图像被划分成一些不同的区域,根据Chehra模型所获得的面部标志点,由Asthana等人。该模型提供了49个面部标志点,覆盖不同的区域的脸,例如,额头,左眼,右眼,嘴唇。接着,使用界标点将面部图像分割成面部区域,并且从每个区域提取特征。指南针LBP功能,LBP功能的变体,已被用于在我们的框架,以获得歧视性的性别特定的信息。在此之后,基于支持向量机的分类器已被用于计算来自每个面部区域的概率分数。最后,从各个区域获得的分类分数与基于遗传算法的学习相结合,以提高整体分类精度。实验已经在流行的人脸图像数据集上进行,如Adience,cFERET(彩色FERET),LFW和两个草图数据集,即CUFS和CUFSF。通过实验,我们已经观察到,所提出的方法优于现有的方法。
2017-12-05 cs.CV
Multi-label Relation Modeling in Facial Action Units Detection
Fuxi AI Lab(伏羲人工智能实验室);Netease(网易)
本文描述了一种人脸动作单元检测的方法。所涉及的动作单元(AU)包括AU 1(内眉提升器)、AU 2(外眉提升器)、AU 4(下眉器)、AU 6(脸颊提升器)、AU 12(唇角拉起器)、AU 15(唇角抑制器)、AU 20(唇拉伸器)和AU 25(唇部)。我们的工作依赖于FG-2020竞赛发布的数据集:野外情感行为分析(ABAW)。该方法包括数据预处理、特征提取和AU分类。数据预处理包括人脸纹理和特征点的检测。通过神经网络提取纹理静态特征和界标动态特征,并将其融合为特征潜在表示。最后,融合后的特征作为初始隐层状态的递归神经网络与可训练的查找AU表。RNN的输出是AU分类的结果。采用0.5 $\times$准确度+ 0.5 $\times$ F1评价检测准确度。本方法经组委会规定的验证数据,达到了0.56.
2020-02-08 cs.CV eess.IV
Towards End-to-End Face Recognition through Alignment Learning
Tsinghua University(清华大学)
在过去的十年中,人们提出了许多有效的人脸识别方法。虽然这些方法在许多方面有本质的不同,但它们的共同做法是在特征提取之前基于人脸结构的先验知识来具体地对准面部区域。在大多数系统中,人脸对齐模块是独立实现的。这实际上给端到端人脸识别模型的设计和训练带来了困难。在本文中,我们研究了端到端人脸识别中对齐学习的可能性,其中既不需要面部标志的先验知识,也不需要人工定义的几何变换。具体地,空间Transformer层被插入到卷积神经网络(CNN)中的特征提取层之前以用于面部识别。只有人类身份线索用于驱动神经网络自动学习最合适的几何变换和最合适的面部区域的识别任务。为了确保可重复性,我们的模型完全在公开可用的CASIA-WebFace数据集上进行训练,并在Labeled Face in the Wild(LFW)数据集上进行测试。我们已经实现了99.08%的验证准确度,这是最先进的基于单一模型的方法相媲美。
2017-01-25 cs.CV
VisioPhysioENet: Visual Physiological Engagement Detection Network
Department of Computer Science(计算机科学系);Center for Machine Vision(机器视觉中心);Signal Analysis, University of Oulu, Finland(信号分析中心,奥卢大学,芬兰);State Key Lab of Blockchain(区块链国家重点实验室);Data Security, Zhejiang University, China(数据安全,浙江大学,中国)
本文提出VisioPhysioENet多模态系统,通过两级方法提取视觉(Dlib+OpenCV)和生理(平面正交皮肤法)特征并整合,在DAiSEE数据集上准确率达63.09%,比同类双特征模型高8.6%。
2025-08-20 cs.CV
J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学);Tianjin University(天津大学);Monash University(莫纳什大学);East China Normal University(华东师范大学)
面部动作单元(AU)检测和面部对齐是两个高度相关的任务,因为面部界标可以提供精确的AU位置,以便于提取有意义的局部特征用于AU检测。然而,大多数现有的AU检测工作通过将人脸对齐作为预处理来独立地处理这两个任务,并且通常使用地标来标记每个AU的固定区域或注意力。在本文中,我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架,这是以前没有探索过的。特别地,首先学习多尺度共享特征,并将人脸对齐的高层特征输入AU检测。此外,为了提取精确的局部特征,我们提出了一个自适应注意力学习模块,以自适应地细化每个AU的注意力图。最后,组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。大量的实验表明,我们的框架(i)在具有挑战性的BP 4D,DISFA,GFT和BP 4D+基准测试中显着优于最先进的AU检测方法,(ii)可以自适应地捕获每个AU的不规则区域,(iii)在人脸对齐方面实现了有竞争力的性能,(iv)在部分遮挡和非正面姿势下也能很好地工作。我们方法的代码可以在https://github.com/ZhiwenShao/PyTorch-JAANet上找到。
2020-09-24 cs.CV
Evaluation of the Spatio-Temporal features and GAN for Micro-expression Recognition System
Feng Chia University(逢甲大学);NTUNHS(台湾新竹护理健康大学);Xiamen University Malaysia(厦门大学马来西亚分校);Xiamen University(厦门大学)
由于人工智能的发展和进步,在人脸表情识别系统中建立了大量的工作。与此同时,微表情的检测和分类也是近年来各个研究领域的研究热点。在本文中,我们首先回顾了传统的基于光流识别系统的过程,包括面部标志注释,光流引导的图像计算,特征提取和情感类别分类。其次,提出了一些改进特征提取部分的方法,如利用GAN生成更多的图像样本。特别地,计算光流的几个变化,以生成最佳图像,从而导致高识别精度。接下来,GAN,一个生成器和鉴别器的组合,用于生成新的“假”图像,以增加样本大小。第三,提出了一种改进的卷积神经网络。为了验证所提出的方法的有效性,结果进行了评估自发微表达数据库,即SMIC,CASME II和SAMM。本文报告了F1分数和准确性性能指标。
2019-04-03 cs.CV
Statistical shape representations for temporal registration of plant components in 3D
University of Lincoln(林肯大学);University of Cambridge(剑桥大学)
针对野外机器人跨时间关联植物三维扫描的难题,提出无标志点形状压缩与PCA形状空间表示,结合形状、位置和旋转信息将番茄叶片时间匹配真正率提升至75%。
2023-06-06 cs.CV
End-To-End Face Detection and Recognition
Zhejiang University(浙江大学)
几十年来,人们提出了许多人脸检测和识别的方法,并取得了令人满意的结果。常见的人脸识别流程包括:1)人脸检测,2)人脸对齐,3)特征提取,4)相似度计算,这些流程是相互分离和独立的。人脸分析阶段的分离导致了模型的冗余计算,难以进行端到端的训练。在本文中,我们提出了一种新的端到端的可训练卷积网络框架,用于人脸检测和识别,其中直接学习几何变换矩阵来对齐人脸,而不是预测人脸标志。在训练阶段,我们的单个CNN模型仅由面部边界框和个人身份进行监督,这些边界框和个人身份可从WIDER FACE \cite{Yang2016}数据集和CASIA-WebFace \cite{Yi2014}数据集公开获得。在人脸检测数据集和基准数据集(FDDB)\cite{Jain2010}数据集和野生标记人脸(LFW)\cite{Huang2007}数据集上进行测试,人脸检测任务的召回率达到89.24%,人脸识别任务的验证准确率达到98.63%,与最新的人脸检测和人脸识别结果相当。
2017-03-31 cs.CV
Deep Adaptive Attention for Joint Facial Action Unit Detection and Face Alignment
Shanghai Jiao Tong University(上海交通大学);Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学)
人脸动作单元(AU)检测和人脸对齐是两个高度相关的任务,因为面部界标可以提供精确的AU位置,以便于提取有意义的局部特征用于AU检测。现有的AU检测方法通常将人脸对齐作为一个预处理过程,独立处理这两个任务。在本文中,我们提出了一个新的端到端的联合AU检测和人脸对齐的深度学习框架,这是以前没有探索过的。特别地,首先学习多尺度共享特征,并将人脸对齐的高级特征输入AU检测。此外,为了提取精确的局部特征,我们提出了一个自适应注意力学习模块,以自适应地细化每个AU的注意力图。最后,组合的局部特征与人脸对齐特征和全局特征相结合进行AU检测。在BP4D和DISFA基准测试上的实验表明,我们的框架显着优于最先进的AU检测方法。
2018-07-24 cs.CV
ArteryX: A Reliable End-to-End Toolbox for Standardized Intracranial Artery Feature Extraction from 3D TOF-MRA
Department of Neurology, University of Rochester(罗切斯特大学神经科部);Department of Physics, University of Rochester(罗切斯特大学物理系);Department of Imaging Sciences, University of Rochester(罗切斯特大学影像科学系);Department of Electrical & Computer Engineering, University of Rochester(罗切斯特大学电气与计算机工程系);Department of Biomedical Engineering, University of Rochester(罗切斯特大学生物医学工程系)
提出ArteryX工具箱,通过标准化动脉分类、集成分割处理和图构建,提取形态、拓扑和复杂性特征,在三个数据集上验证其优于iCafe,并降低人工校正负担。
2026-06-25 cs.CV eess.IV
Robust Facial Expression Classification Using Shape and Appearance Features
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
人脸表情识别有着广泛的应用前景,在过去的十年中引起了研究者的广泛关注。特征提取是表情分析中的一个重要步骤,它有助于快速准确地识别表情。本文提出了一种将形状和外观特征相结合形成混合特征向量的方法。我们提取了金字塔直方图的相似性(PHOG)作为形状描述符和本地二进制模式(LBP)的外观特征。建议的框架涉及到一种新的方法,从主动面部补丁提取混合功能。活动面部贴片位于在不同表情期间经历主要变化的面部区域上。在检测到面部标志之后,对活动补丁进行本地化,并从这些补丁计算混合特征。使用面部的小部分而不是整个面部来提取特征,降低了计算成本,并且防止了用于分类的特征的过拟合。首先利用线性判别分析对特征进行降维,然后利用支持向量机对降维后的特征进行分类。在两个公开数据库上的实验结果表明,在识别所有的表达类有前途的准确性。
2015-05-15 cs.CV
Fine-Grained 3D Facial Reconstruction for Micro-Expressions
本文提出细粒度3D面部重建方法,通过结合全局动态特征和局部丰富特征,提升微表情重建的几何精度和感知细节。
2026-03-07 cs.CV
Human Face Expressions from Images - 2D Face Geometry and 3D Face Local Motion versus Deep Neural Features
Institute of Radioelectronics and Multimedia Technology(无线电电子学与多媒体技术研究所);Faculty of Electronics and Information Technology(电子与信息技术学院);Warsaw University of Technology(华沙理工大学)
利用CNN/MMOD人脸检测器在网络摄像头场景下比较了几种用于识别可见人类情感的计算机算法。识别涉及四种面部表情:微笑、惊讶、愤怒和中性。在特征提取阶段,人脸描述面临以下三个概念:(a)由68个特征点(FP 68)表示的静态二维人脸几何结构;(b)由8个不同人脸部位的运动参数定义的动态三维人脸几何结构(c)作为灰度像素的2D阵列的静态2D视觉描述(称为面部原始图像)。在分类阶段,分析了两种主要模型的性能:(a)具有内核选项的支持向量机(SVM);(b)具有各种相关张量处理层和块的卷积神经网络(CNN)。这些模型针对人脸的正面视图进行训练,同时针对任意头部姿势进行测试。对于几何特征,成功率(准确性)表明相对于SVM分类器,CNN的性能几乎增加了三倍。对于原始图像,CNN在准确性上优于其最佳几何对应物(AU/CNN)约30%,而最佳SVM解决方案则差近四倍。对于F分数,也观察到原始/CNN相对于几何/CNN和几何/SVM的高优势。我们的结论是,相反的CNN基于情感分类器,泛化能力wrt人类头部姿势是基于SVM的情感分类器差。
2019-01-31 cs.CV