PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$
ByteDance Inc.(字节跳动公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
三维人头的合成与重建是近年来计算机视觉和计算机图形学领域的研究热点。现有的最先进的3D生成对抗网络(GANs)用于3D人类头部合成要么限于近正面视图,要么难以在大视角下保持3D一致性。我们提出了PanoHead,第一个3D感知的生成模型,它可以在$360^\circ$中实现高质量的完整头部视图一致的图像合成,具有不同的外观和详细的几何形状,仅使用野外非结构化图像进行训练。在其核心,我们提升了最近的3D GANs的表示能力,并在从具有广泛分布视图的野外图像进行训练时弥合了数据对齐差距。具体来说,我们提出了一种新的两阶段自适应图像对齐鲁棒的3D GAN训练。我们进一步介绍了一种三网格神经体积表示,有效地解决了广泛采用的三平面公式中的正面和背面特征纠缠。我们的方法在3D神经场景结构的对抗学习中灌输了2D图像分割的先验知识,从而实现了在不同背景下的可合成头部合成。受益于这些设计,我们的方法显着优于以前的3D GANs,生成具有准确几何形状和多样化外观的高质量3D头部,即使是长波浪和非洲发型,也可以从任意姿势渲染。此外,我们表明,我们的系统可以重建完整的3D头从单一的输入图像个性化逼真的3D化身。
2023-03-23 cs.CV
What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);AI Lab, The Yangtze River Delta(长三角人工智能实验室);Li Auto Inc.(理想汽车);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学)
本研究通过受控实验揭示VLA动作头性能主要由初始化决定,提出对齐的动作头与容量扩展策略,并构建了高效紧凑模型EffVLA,在低延迟下匹配或超越开源VLA。
2026-09-24 cs.CV cs.RO
ChimeraLoRA: Multi-Head LoRA-Guided Synthetic Datasets
Graduate School of AI, POSTECH(POSTECH人工智能研究生院);Dept. of CSE, POSTECH(POSTECH计算机科学与工程系);NAVER AI Lab(NAVER人工智能实验室)
ChimeraLoRA通过结合类别共享LoRA和图像特定LoRA,生成多样且细节丰富的合成数据集,提升下游分类性能。
2026-03-10 cs.CV
PanoLAM: Large Avatar Model for Gaussian Full-Head Synthesis from One-shot Unposed Image
HKUST(香港科技大学);Tongyi Lab, Alibaba Group(阿里云实验室);Fudan University(复旦大学)
提出PanoLAM框架,通过双分支结构和从粗到细的流水线,利用合成数据训练,实现从单张无姿态图像快速前馈重建高保真高斯全头模型。
2026-10-14 cs.CV
Modified CycleGAN for the synthesization of samples for wheat head segmentation
University of Calgary(卡尔加里大学);University of Saskatchewan(萨斯喀彻温大学)
本文提出先用计算模拟生成大规模标注数据,再用改进CycleGAN缩小模拟与真实图像的域差距,合成真实感小麦穗分割数据集并训练语义分割模型,在内部和外部数据集上取得最高83.6%的Dice分数,且方法可推广至其他密集重复模式图像。
2024-02-23 cs.AI cs.CV
Comparative clinical evaluation of "memory-efficient" synthetic 3d generative adversarial networks (gan) head-to-head to state of art: results on computed tomography of the chest
Politecnico di Milano(米兰理工大学);Fondazione IRCCS Policlinico San Matteo Pavia(圣马泰奥基金会IRCCS帕维亚医院);Università degli studi di Pavia(帕维亚大学);IULM University(IULM大学)
本研究提出内存高效的CRF-GAN,通过集成条件随机场提升三维医学图像合成质量,在胸部CT上以更低FID/MMD、更低内存和更快训练速度优于HA-GAN,并经放射科医生评估确认其临床适用潜力。
2025-04-20 cs.AI cs.CV eess.IV
Deep Entwined Learning Head Pose and Face Alignment Inside an Attentional Cascade with Doubly-Conditional fusion
Datakalab;LIP6, Sorbonne Université, CNRS(索邦大学CNRS LIP6实验室);ISIR, Sorbonne Université, CNRS(索邦大学CNRS智能与机器人系统研究所)
头部姿态估计和面部对齐构成了许多依赖于面部分析的应用的骨干预处理。虽然两者都是密切相关的任务,但它们通常被单独解决,例如通过从地标位置推断头部姿势。在本文中,我们提出了一个注意级联内的面部对齐和头部姿势的任务。该级联使用几何传输网络来集成异构注释,以提高地标定位精度。此外,我们提出了一个双条件融合方案,以选择相关的特征图,其区域,基于当前的头部姿势和地标定位估计。我们的经验表明,在我们的架构内缠绕头部姿势和地标定位目标的好处,并建议AC-DC模型提高了国家的最先进的精度在多个数据库的人脸对齐和头部姿势估计任务。
2020-04-14 cs.CV cs.LG
Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image Captioning
Guangxi University(广西大学);Guangxi Key Laboratory of Multimedia Communications and Network Technology(广西多媒体通信与网络技术重点实验室)
针对纯文本图像字幕生成中模态鸿沟与训练推理不一致的问题,提出结合合成图文对、优化伪特征、引入显著物体辅助的方法,实现了基准数据集上的SOTA性能。
2023-12-14 cs.CL cs.CV
k-SALSA: k-anonymous synthetic averaging of retinal images via local style alignment
Broad Institute of MIT and Harvard(麻省理工学院-哈佛大学博德研究所);Korea University(高丽大学);NAVER CLOVA;Harvard Medical School(哈佛医学院);Ophthalmic Consultants of Boston(波士顿眼科顾问诊所)
现代机器学习在视网膜图像分析中的应用为眼科疾病以外的广泛人类健康状况提供了有价值的见解。此外,通过提供丰富多样的训练数据集合,数据共享是充分实现机器学习模型潜力的关键。然而,视网膜图像的个人识别性质,包括每个人独特的血管结构,通常会阻止这些数据被公开共享。虽然先前的工作已经探索了基于其他领域(例如面部图像)中的图像的合成平均的图像去识别策略,但是现有技术在保护视网膜图像中的隐私和临床实用性方面面临困难,正如我们在我们的工作中所证明的那样。因此,我们引入了k-SALSA,这是一种基于生成对抗网络(GAN)的框架,用于合成视网膜眼底图像,该图像总结了给定的私有数据集,同时满足k-匿名的隐私概念。k-SALSA汇集了最先进的技术,用于训练和反转GANs,以实现视网膜图像的实际性能。此外,k-SALSA利用一种称为局部样式对齐的新技术来生成合成平均值,该合成平均值最大化源图像中细粒度视觉图案的保留,从而提高所生成图像的临床实用性。在糖尿病视网膜病变的两个基准数据集(EyePACS和APTOS)上,我们证明了我们对现有方法在图像保真度、分类性能和缓解成员推断攻击方面的改进。我们的工作代表了更广泛地共享视网膜图像以进行科学合作的一步。代码可在https://github.com/hcholab/k-salsa上获得。
2023-03-20 cs.CR cs.CV
Controlling Avatar Diffusion with Learnable Gaussian Embedding
University of Science and Technology of China(中国科学技术大学)
针对数字人生成扩散模型控制信号表征能力有限、数据集多样性不足的问题,提出可学习高斯嵌入的控制信号表征与大规模合成数据集,提升了头部生成的真实感、表达性与3D一致性。
2025-03-20 cs.CV cs.GR
Face Alignment Assisted by Head Pose Estimation
University of Cambridge(剑桥大学);Queen Mary University of London(伦敦玛丽女王大学);Harvard University(哈佛大学)
在本文中,我们提出了一个监督的初始化方案级联人脸对齐的基础上显式头部姿态估计。我们首先研究了大多数最先进的人脸对齐方法的失败案例,并观察到这些失败通常具有一个共同的全局属性,即头部姿态变化通常很大。受此启发,我们提出了一种深度卷积网络模型,用于可靠和准确的头部姿势估计。而不是使用一个平均的脸的形状,或随机选择的形状级联的脸对齐初始化,我们提出了两个方案,用于生成初始化:第一个依赖于预测的平均3D脸的形状(表示由3D面部地标)到2D图像估计的头部姿势;第二个搜索最近的邻居形状从训练集根据头部姿势距离。通过这样做,初始化更接近实际形状,这提高了收敛的可能性,进而提高了面部对齐性能。我们在基准300 W数据集上展示了所提出的方法,并在头部姿态估计和面部对齐方面表现出非常有竞争力的性能。
2015-07-18 cs.CV
3D Face Alignment Through Fusion of Head Pose Information and Features
Soongsil University(崇实大学)
本研究提出一种融合头部姿态信息与人脸对齐网络特征图的3D人脸对齐新方法,结合双维度多维度特征网络与知识蒸馏训练策略,在多个基准数据集上取得了与当前最优方法相当的性能。
2023-08-25 cs.CV
Optimizing Knowledge Distillation in Transformers: Enabling Multi-Head Attention without Alignment Barriers
针对Transformer知识蒸馏中师生注意力头数量不对齐的问题,提出无需额外参数或架构修改的Squeezing-Heads Distillation方法,通过线性近似压缩多头注意力图实现不同头数模型间的无缝知识迁移,在多任务上优于基线并取得最先进结果。
2025-02-11 cs.CV
Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data
针对3DMM限制单样本4D头部合成的问题,提出利用大规模合成数据,通过对抗学习生成多视角训练数据,并结合基于transformer的可动画三平面重建器与解耦学习策略,实现了优于现有技术的4D头部合成。
2024-06-03 cs.CV
ResiDual Transformer Alignment with Spectral Decomposition
University of Trieste(的里雅斯特大学);Sapienza University of Rome(罗马第一大学(萨皮恩扎大学));Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文分析视觉Transformer残差流的谱几何特性,发现残差贡献的专业化现象,提出ResiDual技术通过谱对齐放大任务相关成分,在70组实验中实现微调级零样本分类性能。
2025-04-14 cs.CV cs.LG
AHS: Adaptive Head Synthesis via Synthetic Data Augmentations
KAIST(韩国国立科学技术院);Korea University(韩国大学);FLIPTION
本文提出AHS方法,通过合成数据增强解决头部合成中视角和表情多样性的限制,提升真实场景下的泛化能力。
2026-04-17 cs.CV
PTalker: Personalized Speech-Driven 3D Talking Head Animation via Style Disentanglement and Modality Alignment
College of Computer Science and Electronic Engineering(计算机科学与电子工程学院);Hunan University(湖南大学);School of Electronic Information(电子信息学院);Central South University(中南大学)
PTalker通过风格解耦和模态对齐实现个性化语音驱动的3D对话头动画,提升唇同步精度与真实感。
2025-12-27 cs.CV
An Efficient Multitask Neural Network for Face Alignment, Head Pose Estimation and Face Tracking
University of Technology Sydney(悉尼科技大学)
虽然卷积神经网络(CNN)显著提高了人脸相关算法的性能,但在实际使用中同时保持准确性和效率仍然具有挑战性。最先进的方法采用更深的网络以获得更好的性能,这使得它对于移动应用不太实用,因为更多的参数和更高的计算复杂性。因此,我们提出了一个有效的多任务神经网络,对准跟踪和姿态网络(ATPN)的人脸对准,人脸跟踪和头部姿态估计。具体来说,为了用更少的层实现更好的性能,我们在浅层和深层特征之间引入了一个快捷连接。我们发现,浅层特征与人脸边界高度对应,可以提供人脸的结构信息,对人脸对齐至关重要。此外,我们根据人脸对齐结果生成一个廉价的热图,并将其与特征融合,以提高其他两个任务的性能。基于热图,网络可以利用地标的几何信息和外观信息来估计头部姿势。热图还为面部跟踪提供了注意力线索。人脸跟踪任务还为我们节省了每帧的人脸检测过程,这也大大提高了基于视频的任务的实时性。我们在四个基准数据集上实验验证了ATPN,WFLW,300 VW,WIDER Face和300 W-LP。实验结果表明,与其他光照模型相比,该模型具有更少的参数和更低的计算复杂性。
2022-04-29 cs.CV
Semantic Head Enhanced Pedestrian Detection in a Crowd
Tsinghua University(清华大学);University of Science & Technology Beijing(北京科技大学)
人群中的行人检测是一项具有挑战性的任务,因为类内遮挡。头部区域由于其稳定的外观、可见性以及相对于身体的位置,自然是一个强有力的线索。受此启发,我们采用了一个额外的分支进行语义头部检测与传统的身体分支并行。我们不使用手动标记头部区域,而是使用直接从身体框推断的弱注释,将其命名为“语义头部”。通过这种方式,头部检测被公式化为使用标记盒的特定部分来检测人体的相应部分,这令人惊讶地提高了性能和对遮挡的鲁棒性。此外,头部-身体对齐结构显式地探索通过引入对齐损失,其功能在自我监督的方式。在此基础上,我们提出了头体对齐网络(HBAN)在这项工作中,旨在提高行人检测充分利用人体头部先验。通过对CityPersons数据集的综合评价,验证了HBAN的有效性.
2019-11-27 cs.CV
Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling
Department of Computer Science and Artificial Intelligence, DaSCI Institute, University of Granada, Granada, Spain(计算机科学与人工智能系,DaSCI研究所,格拉纳达大学,格拉纳达,西班牙);Department of Mathematics ``Tullio Levi-Civita'', University of Padova, Padova, Italy(托里利-西维塔数学系,帕多瓦大学,帕多瓦,意大利)
本文提出利用预训练视觉模型的分类头作为语义原型,通过权重重用实现视觉-语言对齐,提升跨模态检索、零样本和少样本分类任务的性能。
2026-05-21 cs.CV
Angle Range and Identity Similarity Enhanced Gaze and Head Redirection based on Synthetic data
The University of Tokyo(东京大学);CyberAgent Inc.(CyberAgent公司)
本文提出一种基于单目3D人脸重建数据增强的方法,解决了全脸图像中大角度视线与头部重定向的精度和真实感问题,并提出了保持未见对象身份与图像质量的框架。
2023-09-11 cs.CV
Mind the Heads: Topological Representation Alignment for Multimodal LLMs
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);University of Pisa(比萨大学);AMD Silo AI
提出头级表示对齐(HeRA)方法,在注意力头级别强制跨模态对齐,通过对比目标匹配局部拓扑结构,选择对齐最差的头进行训练,有效提升视觉任务性能并减少幻觉。
2026-06-24 cs.AI cs.CL cs.CV
Multi-task head pose estimation in-the-wild
Universidad Politécnica de Madrid(马德里理工大学);ETSII, Universidad Rey Juan Carlos(胡安·卡洛斯国王大学工程学院)
我们提出了一种基于深度学习的多任务方法来估计图像中的头部姿态。我们贡献了一个网络架构和训练策略,利用人脸姿态、对齐和可见性之间的强依赖关系,为所有三个任务生成一个性能最好的模型。我们的架构是一个编码器-解码器CNN与残留块和横向跳过连接。我们表明,头部姿态估计和基于地标的人脸对齐的组合显着提高了前一个任务的性能。此外,姿势任务在瓶颈层、编码器末端的位置,以及取决于空间信息(诸如可见性和对准)的任务在最终解码器层中的位置,也有助于提高最终性能。在实验中进行的模型优于国家的最先进的人脸姿态和可见性任务。通过包括最终的地标回归步骤,它还产生与最先进水平相当的面部对齐结果。
2022-02-04 cs.CV
DAD-3DHeads: A Large-scale Dense, Accurate and Diverse Dataset for 3D Head Alignment from a Single Image
Ukrainian Catholic University(乌克兰天主教大学);CTU in Prague(布拉格捷克理工大学);University of Sussex(萨塞克斯大学);Imperial College London(帝国理工学院)
本文提出大规模三维头部数据集DAD-3DHeads及模型DAD-3DNet,通过3.5K关键点标注和FLAME网格重建,在头部姿态估计、面部形状重建和密集对齐等多项任务上达到或超越最先进水平。
2022-04-11 cs.AI cs.CV
Synthetic Prior for Few-Shot Drivable Head Avatar Inversion
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Darmstadt(达姆施塔特工业大学);Google(谷歌公司)
提出 SynShot 方法,利用大规模合成数据学习先验,结合 3D Gaussian splatting 和卷积编解码器,通过少样本微调实现可泛化的逼真可驱动头部头像反演。
2025-03-31 cs.CV
Efficient Branching Cascaded Regression for Face Alignment under Significant Head Rotation
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
尽管近年来对人脸对齐的兴趣很大,但绝大多数工作都集中在近正面的人脸上。算法通常会在剖面上崩溃,或者对于实时应用程序来说太慢。在这项工作中,我们提出了一种有效的方法来面对对齐,可以处理180度的头部旋转在一个统一的方式(例如,而不求助于基于视图的模型)使用二维训练数据。我们的方法的基础是级联形状回归(CSR),这是最近出现的领先战略。我们提出了一个泛化的传统CSR,我们称之为分支级联回归(BCR)。传统的CSR是单轨的;也就是说,它们以直线从一个级联水平进展到下一个级联水平,每个回归变量都试图拟合整个数据集。相反,我们在每个级联级别之后将回归问题拆分为两个或更多个更简单的问题。直观地,每个回归量然后可以对更简单的目标函数(即,具有较少的冲突梯度方向)。在BCR框架内,我们使用结构化点分布模型(SPDM)同时建模和推断姿势相关的地标可见性和面部形状。我们建议学习任务特定的特征映射功能,自适应地标的可见性,并使用SPDM参数作为回归目标,而不是二维地标坐标。此外,我们引入了一个新的野外轮廓面数据集来验证我们的方法。
2016-11-10 cs.CV
Compressing Video Calls using Synthetic Talking Heads
IIIT-Hyderabad(印度海得拉巴国际信息技术学院);University of Bath(巴斯大学)
我们利用现代先进的说话头生成,提出了一个端到端的系统说话头视频压缩。我们的算法间歇性地传输枢轴帧,而其余的谈话头部视频是通过动画生成的。我们使用最先进的人脸重现网络来检测非枢轴帧中的关键点,并将其传输到接收器。然后计算密集流以扭曲枢轴帧以重建非枢轴帧。传输关键点而不是全帧会导致显著的压缩。我们提出了一种新的算法,以自适应地选择最适合的枢轴帧在定期提供一个平滑的体验。我们还提出了一个帧内插器在接收端,以进一步提高压缩水平。最后,人脸增强网络提高了重建质量,显著改善了几个方面,如世代的清晰度。我们在基准数据集上定性和定量地评估了我们的方法,并将其与多种压缩技术进行了比较。我们在https://cvit.iiit.ac.in/research/projects/cvit-projects/talking-video-compression上发布了演示视频和其他信息。
2022-10-07 cs.CV
Bidirectional Regression for Monocular 6DoF Head Pose Estimation and Reference System Alignment
Department of Electronics and Communications Engineering, Kwangwoon University(韩国 Kwangwoon 大学电子与通信工程系);Department of Software Engineering, Dankook University(韩国 Dankook 大学软件工程系);School of Computer Science, University of Birmingham(英国 Birmingham 大学计算机科学学院)
提出TRGv2网络,通过双向回归联合推断面部landmarks与6DoF姿态并引入参考系统对齐策略校正跨数据集偏差,在准确性与效率上超越现有方法。
2025-10-31 cs.CV
HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment
Shanghai Jiao Tong University(上海交通大学);University of Edinburgh(爱丁堡大学)
该研究针对视觉-语言模型预填充成本过高的问题,提出基于PAQ指标的头部自适应视觉Token剪枝方法,在18个基准上实现最优权衡,在LLaVA-1.5-7B上仅保留5.6% Token即可维持99.1%的原始性能,优于基线AutoPrune。
2026-08-26 cs.CV
Enhancing Facial Expression Recognition in Head-Mounted Displays with Synthetic Data
University of Pittsburgh(匹兹堡大学)
针对头戴式显示器中面部表情识别数据稀缺问题,提出数据合成框架,从正视图图像生成头戴式相机视图图像,经3D重建、相机系统渲染及纹理空间对齐网络,实验表明合成数据训练模型效果更好。
2026-07-07 cs.CV
MimiQ: Low-Bit Data-Free Quantization of Vision Transformers with Encouraging Inter-Head Attention Similarity
Seoul National University(首尔大学);Google(谷歌);KAIST(韩国科学技术院)
针对低比特设置下视觉Transformer(ViT)无数据量化效果不佳的问题,提出MimiQ方法,通过增强头间注意力相似性对齐合成数据与全精度模型的注意力图,显著提升量化性能,达到新的最先进水平。
2025-04-14 cs.AI cs.CV cs.LG
FaceLift: Learning Generalizable Single Image 3D Face Reconstruction from Synthetic Heads
University of California, Merced(加州大学梅尔塞德斯分校);Adobe Research(Adobe研究)
针对单目三维人脸重建视图覆盖不全、一致性差及域差距问题,提出FaceLift方法,结合多视角潜扩散模型与合成数据集,实现高质量360度三维头部重建,泛化性与性能均优于现有方法。
2025-08-01 cs.CV cs.GR
Towards Arbitrary-View Face Alignment by Recommendation Trees
The Chinese University of Hong Kong(香港中文大学);SenseTime Group(商汤集团);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
学习同时处理任意视图的面部对齐,例如正面和侧面视图,似乎比我们想象的更具挑战性。困难在于i)适应不同视图中表现出的复杂外观-形状关系,以及ii)包含由于自遮挡和不同界标协议而变化的界标点集。大多数现有的研究通过训练多个视点特定的模型来解决这个问题,并进行头部姿势估计以进行模型选择。该解决方案是直观的,但是性能非常容易受到不准确的头部姿势估计的影响。在这项研究中,我们通过学习模型推荐树(EMRT),这是能够选择最佳的模型配置,而无需事先头部姿势估计的包围来解决这个缺点。统一框架无缝处理不同的视点和地标协议,并通过直接优化地标位置进行训练,从而在任意视图人脸对齐方面产生卓越的结果。这是第一个研究,执行人脸对齐的完整AFLW数据集与不同的意见,包括个人资料视图的脸。国家的最先进的性能也报告了MultiPIE和AFW数据集包含frontaland轮廓视图的面孔。
2015-11-20 cs.CV
Synthetic to Real Adaptation with Generative Correlation Alignment Networks
Boston University(波士顿大学)
从3D CAD模型渲染的合成图像对于增强对象识别算法的训练数据是有用的。然而,生成的图像是非真实感的,并且不匹配真实图像统计。这会导致较大的域差异,导致在合成数据上训练的模型在真实域上表现不佳。最近的工作已经显示了深度卷积神经网络生成逼真图像的巨大潜力,但尚未利用生成模型来解决合成到真实领域自适应。在这项工作中,我们提出了一个深度生成相关对齐网络(DGCAN)合成图像使用一种新的域自适应算法。DGCAN利用形状保持损失和低水平的统计匹配损失来最小化深特征空间中合成图像和真实图像之间的域差异。实验表明,在新生成的数据上训练现成的分类器可以显着提高在真实图像域(PASCAL VOC 2007基准和Office数据集)上测试时的性能,改进了几种现有的方法。
2017-03-18 cs.CV
Fourier Angle Alignment for Oriented Object Detection in Remote Sensing
Beijing Institute of Technology(北京理工大学);University of Hong Kong(香港大学);Tohoku University(东北大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Hong Kong Generative AI Research and Development Center(香港生成式人工智能研究与发展中心)
本文提出傅里叶角对齐方法,通过频谱分析角度信息并对其对齐,提升遥感中旋转目标检测的性能,实验显示在DOTA数据集上取得新的SOTA结果。
2026-03-13 cs.CV
Avatar Fingerprinting for Authorized Use of Synthetic Talking-Head Videos
NVIDIA(英伟达)
针对合成说话头像可能未经授权使用他人外貌的问题,本文提出 avatar fingerprinting,构建真实/合成视频通话数据集,并通过与外貌无关的运动特征识别表情驱动身份,实现 0.85 AUC 且可泛化到新生成器。
2024-08-05 cs.CV
Tree-gated Deep Mixture-of-Experts For Pose-robust Face Alignment
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Datakalab
人脸对齐包括在人脸图像上对齐形状模型。它是计算机视觉中的一个活跃领域,因为它是许多人脸分析和合成应用的预处理。目前最先进的方法已经在“简单”数据集上表现良好,具有适度的头部姿势变化,但对于姿势高达90°的“野外”数据可能不鲁棒。为了增加对变化因素(例如,头部姿势或遮挡)的集合的鲁棒性,给定层(例如,回归器或上游CNN层)可以由使用专家集合而不是单个专家的混合专家模型(MoE)层代替。该混合物的权重可以作为门控函数来学习,以联合学习专家和相应的权重。在本文中,我们建议使用树结构的门,允许分层加权的专家(树-MoE)。我们研究了使用树-MoE层在不同的上下文中的框架中的人脸对齐级联回归,首先强调相关的,更专业的特征提取器取决于高层次的语义信息,如头部姿势(姿势树-MoE),其次作为一个整体更强大的回归层。我们在几个具有挑战性的人脸对齐数据集上进行了大量的实验,证明了我们的方法优于最先进的方法。
2019-10-21 cs.CV
Understanding Hessian Alignment for Domain Generalization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文针对域泛化中Hessian与梯度对齐作用理解不足的问题,基于OOD可迁移性理论开展分析,解释了现有正则化方法的成功机制,提出两种无需直接计算Hessian的高效对齐方法,在多类OOD场景基准测试中取得了良好性能。
2023-08-22 cs.CV cs.LG stat.ML
HoloFace: Augmenting Human-to-Human Interactions on HoloLens
Warsaw University of Technology(华沙理工大学)
我们提出了HoloFace,这是一个用于Microsoft HoloLens的面部对齐,头部姿态估计和面部属性检索的开源框架。HoloFace实现了两种最先进的面部对齐方法,可以互换使用:一种在本地运行,另一种在远程后端运行。头部姿态估计是通过将可变形的3D模型拟合到使用面部对准定位的地标来完成的。头部姿势提供头部的旋转和在世界空间中的位置。拟合的3D面部模型的参数提供面部属性的估计,例如张嘴或微笑。上述信息可以一起用于增强HoloLens用户看到的人的面部,从而增强他们的交互。潜在的使用场景包括面部识别、情感识别、眼睛注视跟踪等。我们通过用各种对象和动画增强通过HoloLens看到的人的面孔来展示我们框架的功能。
2018-02-01 cs.CV
Towards MOOCs for Lipreading: Using Synthetic Talking Heads to Train Humans in Lipreading at Scale
IIIT Hyderabad(海得拉巴国际信息技术研究所);University of Bath(巴斯大学)
许多患有某种形式听力损失的人认为唇读是他们日常交流的主要方式。然而,寻找资源来学习或提高一个人的唇读技能可能是具有挑战性的。在COVID-19大流行期间,由于限制与同龄人和语言治疗师的直接互动,这一情况进一步恶化。如今,在线MOOC平台,如Coursera和Udemy,已成为许多类型技能发展的最有效培训形式。然而,在线唇读资源是稀缺的,因为创建这样的资源是一个广泛的过程,需要数月的人工努力来记录雇用的演员。由于手动管道,这些平台在词汇、支持的语言、口音和扬声器方面也受到限制,并且具有很高的使用成本。在这项工作中,我们研究的可能性,取代真正的人类说话的视频与合成生成的视频。合成数据可以很容易地包含更大的词汇表、口音的变化,甚至本地语言和许多说话者。我们提出了一个端到端的自动化流水线开发这样一个平台,使用国家的最先进的说话头视频生成器网络,文本到语音模型,和计算机视觉技术。然后,我们进行了广泛的人类评估,使用经过深思熟虑的唇读练习,以验证我们设计的平台对现有唇读平台的质量。我们的研究具体指出了我们的方法在开发大规模唇读MOOC平台方面的潜力,该平台可以影响数百万听力损失患者。
2022-10-04 cs.CV cs.CY
SRA-Seg: Synthetic to Real Alignment for Semi-Supervised Medical Image Segmentation
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
SRA-Seg通过合成到现实的特征对齐,利用SA损失和软边缘融合技术,在仅用10%真实标注数据和90%合成数据的情况下,显著提升了医学图像分割性能。
2026-02-03 cs.CV
Vision Transformer attention alignment with human visual perception in aesthetic object evaluation
Escuela de Informática y Telecomunicaciones, Universidad Diego Portáles(戴维·波特莱斯大学信息与电信学院);Department of Specific Didactics, University of Cordoba(科尔多瓦大学特定教学系);Facultad de Ingeniería y Ciencias, Universidad Adolfo Ibáñez(阿道弗·伊巴涅斯大学工程与科学学院)
本文通过眼动实验与 DINO 预训练 ViT 的注意图对比,发现特定注意头和高斯参数下可较好对齐人类审美视觉注意。
2025-07-23 cs.AI cs.CV cs.LG
Photo-realistic 360 Head Avatars in the Wild
Microsoft(微软);University of Oxford(牛津大学)
为人类交流提供沉浸式3D体验需要一种方法来获得360度照片般逼真的人类化身。为了让所有人都能获得这些体验,只有像手机摄像头这样的商品硬件才能捕获创建化身所需的数据。为了从任何角度真实地渲染化身,我们需要从所有角度训练图像和相机姿势。然而,我们不能依赖于在所有图像的前景或背景中存在可跟踪的特征以用于估计姿势,特别是从头部的侧面或背面。为了克服这一点,我们提出了一种新的地标检测器训练的合成数据,以估计从360度的手机视频的人的头部用于在多阶段的优化过程中使用,创建一个照片般逼真的化身相机姿势。我们使用合成数据进行验证实验,并在从手机视频训练的360度化身上展示我们的方法。
2022-10-20 cs.CV
SVLTA: Benchmarking Vision-Language Temporal Alignment via Synthetic Video Situation
University of Science and Technology of China(中国科学技术大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出合成视觉-语言时序对齐基准SVLTA,通过仿真环境中的可控生成方法构建合理、多样且平衡的数据分布,以诊断性评估模型在时序问答、分布偏移敏感性和时序对齐适应方面的能力。
2025-04-08 cs.CV
GAMMA: Generalizable Alignment via Multi-task and Manipulation-Augmented Training for AI-Generated Image Detection
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
GAMMA通过多任务和操控增强训练,提升AI生成图像检测的泛化能力与鲁棒性。
2026-01-23 cs.CV
Unsupervised Synthetic Image Attribution: Alignment and Disentanglement
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);The University of Sydney(悉尼大学)
本文提出无监督合成图像属性识别方法,通过对比自监督学习和信息最大化损失实现概念对齐与解耦,优于监督方法。
2026-01-30 cs.AI cs.CV
Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry
MCQ-Scan;IMT Lille Douai(IMT里尔-杜埃国立高等工程师学校);Univ. Lille(里尔大学);CNRS UMR 9189 CRIStAL(法国国家科研中心UMR 9189 CRIStAL)
从单幅输入图像中恢复人脸的三维几何结构是计算机视觉中一个具有挑战性的研究领域。在本文中,我们提出了一种使用基于深度学习和几何技术的混合方法从单个或多个图像重建3D头部的新方法。我们提出了一个编码器-解码器网络的基础上的U-网架构和训练的合成数据。它可以从一张输入照片中预测像素法向量和地标图。地标用于姿态计算和优化问题的初始化,这反过来又通过使用参数变形模型和法向量场来重建3D头部几何形状。通过对单视图和多视图设置的定性和定量评估测试,实现了最先进的结果。尽管该模型仅在合成数据上训练,但它成功地恢复了真实世界图像的3D几何形状和精确姿态。
2021-04-28 cs.CV
PASE: Phoneme-Aware Speech Encoder to Improve Lip Sync Accuracy for Talking Head Synthesis
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University(航空航天信息安全部分和可信计算重点实验室、教育部、网络安全科学与工程学院、武汉大学);School of Cyber Science and Engineering, Wuhan University(网络安全科学与工程学院、武汉大学);School of Police Information, Shandong Police College(警务信息学院、山东警察学院)
提出音素感知语音编码器PASE,通过引入音素嵌入作为对齐锚点并采用对比对齐模块,解决音素-视位对齐模糊问题,在NeRF和3DGS框架下分别提升唇形同步精度13.7%和14.2%,且可无缝集成至现有流程。
2025-10-15 cs.CV cs.GR
Three ways to improve feature alignment for open vocabulary detection
DeepMind(深度思维);MIT(麻省理工学院);University of Oxford(牛津大学)
zero-shot开放词汇检测的核心问题是如何将视觉特征和文本特征进行匹配,从而使检测器在不可见类上表现良好。以前的方法是从头开始训练特征金字塔和检测头,这打破了在预训练期间建立的视觉-文本特征对齐,并努力防止语言模型忘记看不见的类。我们提出了三种方法来缓解这些问题。首先,使用一个简单的方案来增加文本嵌入,防止过度拟合到训练过程中看到的少量类,同时节省内存和计算。其次,特征金字塔网络和检测头被修改为包括可训练的门控快捷方式,这鼓励视觉-文本特征对齐并在检测训练开始时保证它。最后,自我训练的方法是用来利用更大的语料库的图像-文本对,从而提高检测性能的类没有人类注释的边界框。我们的三种方法进行了评估的zero-shot版本的LVIS基准,他们中的每一个都表现出明显的和显着的好处。我们的最终网络在mAP-all指标上达到了最新的水平,并展示了mAP-rare的竞争性能,以及向COCO和Objects 365的卓越传输。
2023-03-23 cs.AI cs.CV cs.LG
Synth-Align: Improving Trustworthiness in Vision-Language Model with Synthetic Preference Data Alignment
针对大型视觉语言模型(LVLMs)的幻觉问题,本文提出Synth-Align pipeline,利用奖励模型作为人类偏好代理生成合成偏好数据,通过DPO训练后对齐提升模型可信度,增强的LLaVA-1.5-7B在多项指标上显著改善。
2025-11-12 cs.CV
Synthetic Captions for Open-Vocabulary Zero-Shot Segmentation
Meta;KU Leuven(鲁汶大学)
本研究通过将图像与VLMs生成的低成本、可扩展合成描述进行密集对齐,结合了生成式VLM与表示学习两条路线,在零样本开放词汇分割基准上超越了先前工作且数据效率更高。
2025-09-15 cs.CV
SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera
我们提出了一个解决方案,以自我为中心的3D身体姿态估计从单眼图像捕获向下看鱼眼摄像头安装在头戴式VR设备的边缘。这种不寻常的视角导致图像具有独特的视觉外观,具有严重的自遮挡和透视扭曲,导致下半身和上半身之间的分辨率存在巨大差异。我们提出了一种编码器-解码器架构,其具有新颖的多分支解码器,该多分支解码器设计用于考虑2D预测中的不同不确定性。对合成和真实世界数据集的定量评估表明,我们的策略比最先进的以自我为中心的方法在准确性上有了实质性的提高。为了解决缺乏标记数据的问题,我们还引入了一个大型照片级真实感合成数据集。xR-EgoPose提供高质量的渲染,呈现不同肤色,体型和服装的人,执行一系列动作。我们的实验表明,我们新的合成训练语料库中的高可变性导致了对真实世界镜头的良好泛化,以及对真实世界数据集的最新结果的状态。此外,在Human3.6M基准测试上的评估表明,从第三人称的角度来看,我们的方法在更经典的3D人体姿势问题上的性能与顶级方法相当。
2020-11-02 cs.CV
Alignment Free and Distortion Robust Iris Recognition
University of Chinese Academy of Sciences(中国科学院大学);CRIPAC CASIA(中国科学院自动化研究所模式识别国家重点实验室(CRIPAC));NLPR CASIA(中国科学院自动化研究所国家模式识别实验室)
虹膜识别是一种可靠的个人身份识别方法,但其准确性仍有很大的提高空间,特别是在约束较少的情况下。例如,头部姿势的自由移动可能导致虹膜图像之间的大的旋转差异。光照变化会引起虹膜纹理的不规则变形。为了鲁棒地匹配具有头部旋转的类内虹膜图像,现有的解决方案通常需要在虹膜图像预处理中通过确定范围内的穷举搜索或在虹膜特征匹配中通过最小汉明距离的暴力搜索来进行精确的对准操作。在野外环境下,虹膜旋转的不确定性比在约束条件下大得多,在一定范围内进行穷举搜索是不可行的。本文提出了一个统一的特征级解决方案,在野外的对齐自由和失真鲁棒虹膜识别。提出了一种新的基于深度学习的方法--无对齐虹膜网络(AFINet),该方法使用可训练的VLAD(局部聚集描述符向量)编码器NetVLAD来解耦局部表示与其空间位置之间的相关性。同时采用可变形卷积算法,通过自适应密集采样克服虹膜纹理失真。在三个公开的虹膜图像数据库和模拟退化数据库上进行的大量实验结果表明,AFINet的识别性能明显优于现有的虹膜识别方法。
2019-12-01 cs.CV
MSGAT: Multi-Head Spiking Graph Attention with Similarity-Space Fusion for Image-Text Retrieval
Peking University(北京大学)
该研究针对脉冲神经网络在图像-文本检索中跨模态语义结构捕捉不足的问题,提出MSGAT与Sim-Fuse策略,在Flickr30K、MSCOCO数据集上实现优于现有方法的性能,能耗降低55%。
2026-10-09 cs.AI cs.CV