CLIP-Gaze: Towards General Gaze Estimation via Visual-Linguistic Model
Hikvision Research Institute(海康威视研究院)
针对视线估计方法跨域性能下降的问题,提出基于预训练视觉-语言模型的CLIP-Gaze框架,通过特征分离、个性化提示优化及样本关系优化提升泛化能力,跨域实验表现优于现有方法。
2024-03-08 cs.CV
Enhancing 3D Gaze Estimation in the Wild using Weak Supervision with Gaze Following Labels
IDIAP(IDIAP研究所);EPFL(洛桑联邦理工学院)
提出自训练弱监督框架ST-WSGE和模态无关的视线变换器GaT,利用二维视线跟随标签生成三维伪标签,显著提升无约束环境下三维视线估计的域内与跨域泛化性能。
2025-02-27 cs.CV
Confidence-aware 3D Gaze Estimation and Evaluation Metric
Colorado School of Mines(科罗拉多矿业学院)
针对深度学习三维视线估计中不可靠和过度自信的问题,提出置信度感知模型同时预测角度与不确定性,并基于眼部特征退化与不确定性上升的因果关系评估有效性,精度与最先进方法相当。
2025-02-24 cs.CV
See Through the Noise: Improving Domain Generalization in Gaze Estimation
Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通大数据挖掘与具身智能重点实验室)
本文提出 SeeTN 框架,通过缓解标签噪声提升 gaze 估计的领域泛化能力,通过构建语义嵌入空间和引入新的亲和力正则化,增强语义结构对齐和领域不变 gaze 关系,提升鲁棒性。
2026-04-17 cs.AI cs.CV
NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation
Hikvision Research Institute(海康威视研究院)
注视估计是许多视觉任务的基本基础。然而,获取具有3D注释的注视数据集的高成本阻碍了注视估计模型的优化和应用。在这项工作中,我们提出了一种新的头-眼重定向参数模型的基础上神经辐射场,它允许密集的视线数据生成视图一致性和准确的视线方向。此外,我们的头眼重定向参数化模型可以将人脸和眼睛解耦,分别进行神经渲染,从而达到分别控制人脸、身份、光照和眼睛注视方向等属性的目的。因此,不同的3D感知的凝视数据集可以通过操纵属于不同的人脸属性在一个无监督的方式的潜在代码获得。在多个基准测试上的实验证明了该方法在视线估计任务的领域泛化和领域自适应方面的有效性。
2022-12-30 cs.CV
Real-time Appearance-based Gaze Estimation for Open Domains
Huawei Technologies Canada(华为技术加拿大);University of Toronto(多伦多大学)
本文提出一种鲁棒的外观基注视估计框架,通过扩展图像空间和多任务学习提升泛化能力,实现在移动设备上的高精度实时注视跟踪。
2026-10-02 cs.CV
Utilizing Eye Gaze to Enhance the Generalization of Imitation Networks to Unseen Environments
The Hong Kong University of Science and Technology(香港科技大学)
通过模仿学习的基于视觉的自动驾驶通过对原始驾驶员视图图像和动作的数据对进行训练来模仿人类驾驶员的行为。然而,还有其他线索,例如凝视行为,可从人类驾驶员获得,尚未被利用。先前的研究表明,新手人类学习者可以从观察专家的凝视模式中受益。我们在这里展示了深度神经网络也可以从中受益。我们展示了不同的方法来整合凝视信息到模仿网络。我们的研究结果表明,凝视信息的整合提高了网络对未知环境的泛化性能。
2019-08-27 cs.CV cs.LG cs.RO
UniGaze: Towards Universal Gaze Estimation via Large-scale Pre-Training
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);Delft University of Technology(代尔夫特理工大学)
本文提出 UniGaze,首次用大规模野外面部数据进行自监督预训练以提升视线估计的跨域泛化,并通过多种跨数据集协议验证其效果。
2025-03-13 cs.CV
EyeTAG: Eye Trajectory-Aware Gaze Estimation
Soongsil University(崇实大学)
EyeTAG提出因果多帧视线估计框架,利用显式一阶视线先验(差分轨迹标记)捕捉受试者不变运动,通过交叉注意力融合面部与眼睛流,在Gaze360上平均角度误差降低约1.0°,在EVE上与最强基线相当,消融实验证明差分公式消除系统性扫视偏差。
2026-10-02 cs.CV cs.LG
Contrastive Weighted Learning for Near-Infrared Gaze Estimation
通过使用深度学习,基于外观的注视估计已经非常成功。许多后续工作改进了用于注视估计的领域泛化。然而,尽管在用于凝视估计的领域泛化方面已经取得了很大进展,但最近的大多数工作都集中在跨数据集性能上-考虑照明,头部姿势和照明的不同分布。虽然改进RGB图像的不同分布中的注视估计是重要的,但是基于近红外图像的注视估计对于黑暗环境中的注视估计也是至关重要的。此外,对于回归任务,仅依赖于监督学习也存在固有的局限性。本文致力于解决这些问题,并提出了GazeCWL,一种新的框架与近红外图像使用对比学习的视线估计。这利用了用于数据增强的对抗攻击技术和专门用于回归任务的新型对比损失函数,该回归任务有效地聚类了潜在空间中不同样本的特征。在基于红外图像的视线估计中,我们的模型优于以前的领域泛化模型,比基线模型的性能提高了45.6%,同时比最先进的模型提高了8.6%,证明了我们的方法的有效性.
2022-12-08 cs.CV cs.LG
Gaze360: Physically Unconstrained Gaze Estimation in the Wild
Toyota Research Institute(丰田研究院);Massachusetts Institute of Technology(麻省理工学院)
了解人们在看什么是一个信息丰富的社会线索。在这项工作中,我们提出了Gaze360,一个大规模的凝视跟踪数据集和方法,用于在无约束图像中进行鲁棒的3D凝视估计。我们的数据集由室内和室外环境中的238名受试者组成,这些受试者在各种头部姿势和距离上进行了标记的3D凝视。它是同类中最大的公开数据集,无论是主题还是种类,都是通过简单有效的收集方法实现的。我们提出的3D凝视模型扩展了现有模型,以包含时间信息并直接输出凝视不确定性的估计。我们通过消融研究证明了我们的模型的好处,并通过对其他最近的凝视基准数据集的交叉数据集评估显示其泛化性能。此外,我们提出了一个简单的自我监督的方法来提高跨数据集领域自适应。最后,我们展示了我们的模型估计客户注意力在超市设置的应用。我们的数据集和模型可以在http://gaze360.csail.mit.edu上找到。
2019-10-22 cs.CV
Rotation-Constrained Cross-View Feature Fusion for Multi-View Appearance-based Gaze Estimation
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
提出一种利用相机间相对旋转矩阵约束的可旋转特征提取与跨视角融合方法,用于多视角外观式视线估计,显著提升对未见头部姿态的泛化性能。
2023-11-15 cs.CV
Weakly-Supervised Physically Unconstrained Gaze Estimation
NVIDIA(英伟达);Rochester Institute of Technology(罗切斯特理工学院);Lunit Inc.(Lunit公司)
物理上不受约束的注视估计的主要挑战是获取具有野外和室外场景的3D注视注释的训练数据。相比之下,在不受约束的环境中,人类交互的视频是丰富的,可以更容易地用帧级活动标签进行注释。在这项工作中,我们解决了以前从未探索过的问题,即从人类互动的视频中进行弱监督的凝视估计。我们利用的洞察力,强大的凝视相关的几何约束存在时,人们执行的活动“看着对方”(LAEO)。为了从LAEO标签中获得可行的3D凝视监督,我们提出了一种训练算法以及几种专门为该任务设计的新型损失函数。通过两个大规模CMU-Panoptic和AVA-LAEO活动数据集的弱监督,我们在(a)半监督凝视估计的准确性和(b)最先进的物理上不受约束的野外凝视估计基准Gaze360上的跨领域泛化方面显示出显着的改进。我们在www.example.com上开源我们的代码。
2021-05-20 cs.CV
ARGaze: Autoregressive Transformers for Online Egocentric Gaze Estimation
Department of Computer Science, University of Texas at Dallas, Richardson, TX, USA.(德克萨斯大学达拉斯分校计算机科学系);College of Computing, Georgia Institute of Technology, Atlanta, GA, USA(佐治亚理工学院计算机学院);Department of Computer Science, University of Wisconsin-Madison, Madison, WI, USA(威斯康星大学麦迪逊分校计算机科学系);Allen School of Computer Science, University of Washington, USA(华盛顿大学阿伦计算机科学学院)
ARGaze通过自回归变换器模型,利用时间连续性提升在线第一人称注视估计的鲁棒性与准确性。
2026-02-04 cs.CV
Appearance Debiased Gaze Estimation via Stochastic Subject-Wise Adversarial Learning
Korea University(高丽大学);Kyungpook National University(庆北国立大学)
针对注视估计对个体外观过拟合的问题,提出SAZE框架,通过Fgen-Net、对抗损失和逐训练步随机重选受试者子集实现外观泛化,并在MPIIGaze与EyeDiap上达到最优性能。
2024-01-25 cs.CV
LG-Gaze: Learning Geometry-aware Continuous Prompts for Language-Guided Gaze Estimation
Hikvision Research Institute(海康威视研究院)
本文提出语言引导视线估计框架LG-Gaze,将视线估计重构为视觉-语言对齐问题,利用视觉-语言模型先验知识学习连续几何敏感特征,通过多模态对比回归损失和几何感知插值提升泛化能力,在四个跨域评估任务中验证了有效性。
2024-11-13 cs.CV
Modeling State Shifting via Local-Global Distillation for Event-Frame Gaze Tracking
City University of Hong Kong(香港城市大学);Xidian University(西安电子科技大学)
本文提出基于状态转移建模与局部-全局去噪蒸馏的两阶段事件-帧注视估计框架,通过锚定状态选择和去噪扩散蒸馏提升泛化能力,性能超越现有方法15%。
2024-06-28 cs.CV
Semi-Supervised Gaze Estimation via Disentangled Subspace Contrastive Learning
National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, China(合成视觉基础科学国家重点实验室,四川大学,成都,中国);College of Computer Science, Sichuan University, Chengdu, China(计算机学院,四川大学,成都,中国)
提出一种半监督学习框架DSCL,通过雅可比正则化解耦特征为俯仰角和偏航角子空间,并利用子空间内序数对比学习,仅用5%-20%标注数据即可达到竞争性能。
2026-05-26 cs.CV
Driver Gaze Zone Estimation using Convolutional Neural Networks: A General Framework and Ablative Analysis
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
驾驶员注视已被证明是智能车辆中驾驶员注意力的极好替代。随着最近高度自动驾驶车辆的激增,驾驶员注视可以用于确定向人类驾驶员的切换时间。虽然在个性化驾驶员注视区估计系统中已经有了显著的改进,但是仍然缺乏对不同主体、视角和尺度不变的通用系统。我们使用卷积神经网络(CNN)向这个广义系统迈进了一步。我们为此任务微调了4种流行的CNN架构,并对它们的输出进行了广泛的比较。我们还对不同的输入图像补丁进行了实验,并研究了图像大小如何影响性能。为了训练和测试网络,我们收集了一个大型的自然驾驶数据集,包括11次长距离驾驶,由10名受试者驾驶两辆不同的汽车。我们的最佳性能模型在跨学科测试中达到了95.18%的准确率,优于当前最先进的技术。最后,我们评估了我们的最佳性能模型上公开可用的哥伦比亚凝视数据集,包括来自56名受试者的图像,具有不同的头部姿势和凝视方向。在没有任何训练的情况下,我们的模型成功地在这个不同的数据集上编码了不同的注视方向,表现出良好的泛化能力。
2018-04-25 cs.CV
Self-Supervised Multi-View 3D Gaze Target Estimation via Probabilistic Ray Marching
University of Strasbourg(斯特拉斯堡大学);IHU Strasbourg(斯特拉斯堡大学医院研究所);Indian Institute of Technology (IIT) Madras(印度理工学院马德拉斯分校)
本文提出自监督方法Self-MVGTE,首次直接估计3D注视目标,利用概率射线行进框架处理噪声伪标签,在MVGT数据集上超越全监督方法。
2026-09-09 cs.CV
SARAH: Spatially Aware Real-time Agentic Humans
Meta Reality Labs(Meta现实实验室)
SARAH提出了一种实时、完全因果的方法,实现具有空间意识的对话运动,通过结合因果变换器VAE和流匹配模型,在VR中实现自然的人机交互。
2026-02-20 cs.CV
DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation
University of Zagreb Faculty of Electrical Engineering and Computing(Zagreb大学电子工程与计算学院)
DHECA-SuperGaze通过双头眼交叉注意力和超分辨率技术提升无约束注视估计的精度和泛化能力。
2025-05-13 cs.CV
HybridGazeNet: Geometric model guided Convolutional Neural Networks for gaze estimation
Horizon Robotics(地平线机器人)
作为理解人类意图的关键线索,人类注视为人机交互(HCI)应用提供了关键信号。基于外观的视线估计直接从眼睛图像中回归视线向量,近年来基于卷积神经网络(ConvNets)架构和开源的大规模视线数据集取得了很大进展。然而,将基于模型的知识编码到CNN模型中以进一步提高注视估计性能仍然是一个需要探索的课题。在本文中,我们提出了HybridGazeNet(HGN),一个统一的框架,编码的几何眼球模型到基于外观的CNN架构明确。HybridGazeNet由多分支网络和不确定性模块组成,使用混合策略进行训练。在多个具有挑战性的凝视数据集上的实验表明,与现有的SOTA方法相比,HybridGazeNet具有更好的准确性和泛化能力。代码将在稍后发布。
2021-11-23 cs.CV cs.HC
3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views
Huawei Technologies(华为技术有限公司);Imperial College London(伦敦帝国理工学院);InsightFace
针对视线估计模型泛化性差的问题,提出将视线估计转化为密集3D眼部网格回归,结合带伪标注的大规模合成数据集与多视图监督框架训练通用模型,实现了显著的性能提升。
2023-12-12 cs.CV
Is Geometry Enough? An Evaluation of Landmark-Based Gaze Estimation
Department of Industrial Engineering and Mathematical Sciences, Università Politecnica delle Marche(工业工程与数学科学系,帕尔米塞大学);Department of Science and Information Technology, Università Pegaso(科学与信息科技系,佩加索大学)
本文评估了基于面部标记的注视估计方法,通过标准化流程提取和归一化三个大型数据集的标记,并训练轻量级回归模型,发现其在跨域评估中与ResNet18基线相当,表明稀疏几何特征能有效支持鲁棒的注视估计。
2026-03-25 cs.AI cs.CV
OmniGaze: Reward-inspired Generalizable Gaze Estimation In The Wild
Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学);Nanjing Forestry University(南京林业大学)
OmniGaze提出半监督框架,利用大规模未标注数据和奖励模型评估伪标签可靠性,实现野外3D视线估计的域泛化,在多个数据集上达到最先进性能并具备零样本泛化能力。
2025-10-16 cs.CV
Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);City University of Hong Kong(香港城市大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校);School of Biomedical Engineering, ShanghaiTech University(上海科技大学生物医学工程学院);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);Shanghai Clinical Research and Trial Center(上海临床研究与试验中心);University of Georgia(佐治亚大学);Massachusetts General Hospital(麻省总医院)
针对医学跨模态特征隐式对齐、泛化不足的问题,本文提出EGMA框架,利用放射科医生诊断时同步采集的视线数据显式引导图像与文本对齐,并在四个数据集的分类和检索任务上取得SOTA表现。
2024-06-14 cs.CL cs.CV
Cross-Dataset Gaze Estimation by Evidential Inter-intra Fusion
Beijing Jiaotong University(北京交通大学);Lenovo Research(联想研究院)
针对跨数据集注视估计中分布偏移导致性能下降的问题,提出证际内-际间融合框架,通过单数据集分支与跨数据集分支结合及不确定性估计,提升源域和未见域的泛化性能。
2025-01-23 cs.CV cs.LG
Causally Guided Gaussian Perturbations for Out-Of-Distribution Generalization in Medical Imaging
Beihang University(北洋大学)
针对医学影像等领域分布外泛化难题,提出轻量框架因果引导高斯扰动(CGP),借助视觉Transformer的软因果掩码注入空间变化噪声,引导模型关注因果特征,在WILDS基准Camelyon17上优于现有最优基线。
2025-09-30 cs.CV
L2CS-Net: Fine-Grained Gaze Estimation in Unconstrained Environments
Otto-von-Guericke-University(奥托·冯·格里克大学)
人类注视是在诸如人机交互和虚拟现实等各种应用中使用的关键线索。最近,卷积神经网络(CNN)方法在预测注视方向方面取得了显著进展。然而,由于眼睛外观的独特性、闪电条件以及头部姿势和注视方向的多样性,估计野外注视仍然是一个具有挑战性的问题。在本文中,我们提出了一个强大的基于CNN的模型,用于预测无约束环境中的凝视。我们建议分别回归每个注视角度,以提高每个角度的预测精度,这将提高整体注视性能。此外,我们使用两个相同的损失,每个角度一个,以改善网络学习并提高其泛化能力。我们评估我们的模型与两个流行的数据集收集无约束的设置。我们提出的模型在MPIIGaze和Gaze360数据集上分别达到了3.92°和10.41°的最新精度。我们在https://github.com/Ahmednull/L2CS-Net上开源代码。
2022-03-07 cs.CV cs.LG cs.RO
GCISG: Guided Causal Invariant Learning for Improved Syn-to-real Generalization
Agency for Defense Development (ADD)(国防发展局);Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院)
当训练数据稀缺时,使用人工生成的数据训练深度学习模型可以是一种替代方案,但由于较大的域差距,它的泛化性能较差。在本文中,我们使用因果框架的数据生成的域差距的特点。我们假设真实数据和合成数据具有共同的内容变量,但具有不同的风格变量。因此,在合成数据集上训练的模型可能具有较差的泛化能力,因为模型学习了滋扰样式变量。为此,我们提出了因果不变性学习,鼓励模型学习一种风格不变的表示,以增强从同步到真实的泛化。此外,我们提出了一个简单而有效的特征提取方法,防止灾难性遗忘的语义知识的真正领域。总之,我们将我们的方法称为引导因果不变的Syn-to-real泛化,它有效地提高了syn-to-real泛化的性能。我们实证验证了所提出的方法的有效性,特别是,我们的方法实现了国家的最先进的视觉同步到真正的领域泛化任务,如图像分类和语义分割。
2023-02-18 cs.CV
Causality-inspired Latent Feature Augmentation for Single Domain Generalization
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The University of British Columbia(不列颠哥伦比亚大学)
本文针对单域泛化提出因果启发的潜在特征增强方法,通过学习特征级变换元知识生成多样化隐式变换,从而捕获稳定域不变因果特征,并在多个基准上超越现有单域和多源域泛化方法。
2024-06-10 cs.CV
MAGE: A Multi-task Architecture for Gaze Estimation with an Efficient Calibration Module
Institute of Medical Robotics, School of Biomedical Engineering, Shanghai Jiao Tong University(医学机器人研究所,生物医学工程学院,上海交通大学)
提出MAGE多任务架构,结合Easy-Calibration校准模块,从面部图像预测6自由度视线信息,在多个数据集上达到最先进性能。
2025-05-22 cs.CV cs.HC
Meta-Causal Feature Learning for Out-of-Distribution Generalization
Shandong University(山东大学)
因果推理已经成为处理分布外泛化问题的有力工具,其目的是提取不变特征。然而,传统的方法应用因果学习器从多个数据分裂,这可能会导致偏见的表示学习从不平衡的数据分布和困难的不变特征学习从异构源。为了解决这些问题,本文提出了一种平衡元因果学习器(BMCL),它包括一个平衡任务生成模块(BTG)和一个元因果特征学习模块(MCFL)。具体来说,BTG模块学习生成平衡的子集,通过一个自学的分区算法的样本类和上下文的比例的约束。MCFL模块训练适应不同分布的元学习者。在NICO++数据集上进行的实验验证了BMCL可以有效地识别用于分类的类不变视觉区域,并且可以作为一个通用框架来提高最先进方法的性能。
2022-08-22 cs.CV
EM-Net: Gaze Estimation with Expectation Maximization Algorithm
School of Computer and Information Science, Chongqing Normal University(重庆师范大学计算机与信息科学学院)
针对现有视线估计方法依赖大模型与大数据、计算资源需求高的问题,提出结合期望最大化算法的轻量级模型EM-Net,通过GAM与分层特征学习提升性能与泛化性,在仅用半量训练数据时仍优于对比方法且抗噪性良好。
2024-12-11 cs.CV cs.LG
EllSeg-Gen, towards Domain Generalization for head-mounted eyetracking
Rochester Institute of Technology(罗切斯特理工学院)
在自然环境中的人类注视行为的研究,需要的算法是鲁棒的成像条件下广泛的注视估计。然而,算法往往无法识别的特征,如虹膜和瞳孔质心的反射伪影和闭塞的存在。以前的工作表明,卷积网络在提取凝视特征方面表现出色,尽管存在这种伪影。然而,这些网络在训练过程中看不见的数据上往往表现不佳。这项工作遵循的直觉是,用多个数据集联合训练卷积网络可以学习眼睛部分的广义表示。我们比较了用多个数据集训练的单个模型与在单个数据集上训练的模型池的性能。结果表明,在眼睛图像表现出更高的外观变异性的数据集上测试的模型受益于多集训练。相比之下,特定于眼睛的模型更好地推广到具有较低外观变化的眼睛图像上。
2022-05-04 cs.CV cs.HC cs.RO
Domain Generalization via Contrastive Causal Learning
Zhejiang University(浙江大学)
领域泛化(DG)的目标是从一组源域中学习一个模型,该模型可以很好地泛化到看不见的目标域。基于不变因果机制的思想,人们一直致力于学习由对象决定但对领域变化不敏感的鲁棒因果效应。尽管因果效应具有不变性,但它们很难被量化和优化。受人类通过先验知识适应新环境的能力的启发,我们开发了一种新的对比因果模型(CCM),将看不见的图像转换为已知图像的特征,并量化基于已知知识的因果效应。考虑到DG中的域转移对转移的影响,我们提出了一个更具包容性的因果图来描述DG任务。基于此因果图,CCM控制域因子来切断多余的因果路径,并使用剩余部分通过前门准则来计算图像对标签的因果影响。具体来说,CCM由三个部分组成:(i)领域条件监督学习,它教导CCM图像和标签之间的相关性,(ii)因果效应学习,它帮助CCM测量图像对标签的真实因果效应,(iii)对比相似性学习,它聚类属于同一类的图像特征,并提供相似性的量化。最后,我们在多个数据集上测试了CCM的性能,包括PACS,THEOHOME和TerraIncognita。大量的实验表明,CCM优于以往的DG方法具有明显的优势。
2022-10-06 cs.CV
Semi-supervised Contrastive Regression for Estimation of Eye Gaze
CSIR- Central Electronics Engineering Research Institute(CSIR-中央电子工程研究所)
本文提出一种半监督对比回归框架,通过新的对比损失范式在小规模标注数据下提升注视方向估计的泛化性能,并优于现有对比学习方法。
2023-08-05 cs.AI cs.CV cs.HC
Causality-based Dual-Contrastive Learning Framework for Domain Generalization
领域泛化(DG)本质上是分布外泛化的一个子分支,它从多个源域训练模型并泛化到看不见的目标域。近年来,出现了一些领域泛化算法,但大多数算法都是采用不可转移的复杂体系结构设计的。此外,对比学习已经成为一个有前途的解决方案,在DG的简单性和效率。然而,现有的对比学习忽略了域的变化,造成严重的模型混乱。在本文中,我们提出了一个双重对比学习(DCL)模块的特征和原型的对比。此外,我们设计了一个新的因果融合注意力(CFA)模块,融合不同的意见,一个单一的图像,以获得原型。此外,我们引入了一个基于相似性的硬对挖掘(SHM)策略,利用多样性变化的信息。大量的实验表明,我们的方法优于国家的最先进的算法在三个DG数据集。所提出的算法也可以作为一个即插即用的模块,而不使用域标签。
2023-03-22 cs.CV
Implicit Non-Causal Factors are Out via Dataset Splitting for Domain Generalization Object Detection
Chongqing University(重庆大学);Chongqing University of Posts and Telecommunications(重庆邮电大学);Chongqing Normal University(重庆师范大学);Lingnan University(岭南大学)
本文提出GB-DAL方法,通过数据集分割和模拟非因果因素模块提升领域泛化目标检测的性能。
2026-01-27 cs.CV
GazeGAN - Unpaired Adversarial Image Generation for Gaze Estimation
Technion(以色列理工学院);Google Inc.(谷歌公司)
最近的研究已经证明了通过对来自手机前置摄像头的图像进行推断来估计移动设备上的注视的能力,并且不需要专门的硬件。虽然这提供了广泛的潜在应用,例如在人机交互、医学诊断和可访问性(例如,作为运动障碍患者的输入的免提凝视),当前的方法是有限的,因为它们依赖于从真实用户收集数据,这是一个繁琐且昂贵的过程,难以跨设备扩展。已经有一些尝试使用可以模拟各种头部姿势和相机设置的3D模型来合成眼睛区域数据,然而这些缺乏真实感。在本文中,我们改进了最近提出的方法,并提出了一个生成对抗框架来生成具有高多样性的高分辨率彩色图像的大型数据集(例如,在主体中,头部姿势,相机设置)和真实性,同时保持凝视标签的准确性。所提出的方法对眼睛的扩展区域进行操作,甚至完成图像的缺失部分。使用这个丰富的合成数据集,而不使用来自真实用户的任何额外的训练数据,我们展示了对移动设备上估计2D凝视位置的最新技术的改进。我们进一步展示了模型性能的跨设备泛化,以及对不同头部姿势、模糊和距离的鲁棒性。
2017-11-27 cs.AI cs.CV cs.HC
A Generalized Label Shift Perspective for Cross-Domain Gaze Estimation
Sun Yat-Sen University(中山大学)
针对跨域视线估计现有特征域不变方法的不足,本文从广义标签偏移视角建模问题,提出基于截断高斯重加权和概率感知条件差异估计的校正框架,实验验证其跨域泛化性和多模型适用性。
2025-10-28 cs.AI cs.CV
ELF-UA: Efficient Label-Free User Adaptation in Gaze Estimation
Tongji University(同济大学);Concordia University(康考迪亚大学)
本文提出ELF-UA方法,仅用目标用户少量未标注图像即可实现个性化注视估计,并通过领域自适应泛化界设计元学习损失,有效利用无ID标注源数据和未标注个体数据。
2024-06-13 cs.CV cs.LG
A Causal Inspired Early-Branching Structure for Domain Generalization
The University of Adelaide(阿德莱德大学);Tencent AI Lab(腾讯AI实验室);Alibaba DAMO Academy(阿里巴巴达摩院)
针对域泛化中语义与域特定特征纠缠问题,提出因果启发的早分支结构及随机域采样策略,增强因果特征识别,提升模型在未知域上的泛化性能。
2024-03-13 cs.CV
Federated Out-of-Distribution Generalization: A Causal Augmentation View
School of Software, Shandong University(山东大学软件学院);AIM Lab, Faculty of IT, Monash University(莫纳什大学信息技术学院人工智能实验室)
本文提出联邦因果增强方法 FedCAug,通过因果区域定位和反事实样本生成打破属性与类别的虚假相关性,在保护隐私的同时显著提升了模型的分布外泛化能力。
2025-04-28 cs.CV
CauDR: A Causality-inspired Domain Generalization Framework for Fundus-based Diabetic Retinopathy Grading
The Chinese University of Hong Kong(香港中文大学);Zigong First People’s Hospital(自贡市第一人民医院);Zhejiang Lab(之江实验室)
针对DR分级模型跨成像设备泛化不足的问题,本文提出因果启发框架CauDR,通过SCM与do-操作消除虚假关联,并构建4DR基准,取得SOTA性能。
2023-09-27 cs.CV
Bridge: Basis-Driven Causal Inference Marries VFMs for Domain Generalization
University of Twente(代尔夫特理工大学);Drexel University(德雷塞尔大学)
本文提出Bridge框架,通过因果推断与视觉基础模型结合,解决领域泛化中因分布差异导致的性能下降问题,通过学习低秩基并过滤冗余信息提升检测性能。
2026-04-29 cs.CV
Causal Prompt Calibration Guided Segment Anything Model for Open-Vocabulary Multi-Entity Segmentation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
针对 SAM 在开放词汇多实体分割中的提示偏差问题,提出 CPC-SAM,通过 CaPL 学习去混杂的因果提示并以双层优化实现一致且最优的分割。
2025-05-10 cs.CV
SLYKLatent: A Learning Framework for Gaze Estimation Using Deep Facial Feature Learning
Lagos State University(拉各斯州大学);Queen’s University Belfast(女王大学贝尔法斯特分校);Vrije University Amsterdam(阿姆斯特丹自由大学)
SLYKLatent通过自监督预训练、三分支补丁网络和逆方差加权损失,显著提升了跨数据集视线估计的准确性和泛化能力。
2024-11-13 cs.AI cs.CV cs.HC
CausalCLIP: Causally-Informed Feature Disentanglement and Filtering for Generalizable Detection of Generated Images
本文提出CausalCLIP框架,通过解耦因果与非因果特征并利用因果推理原理过滤,提升生成图像检测的泛化能力,实验表明在不同生成模型上准确率和平均精度均优于现有方法。
2026-03-22 cs.CV
Causal Transportability for Visual Recognition
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
视觉表征是物体识别任务的基础,但它们通常包含鲁棒和非鲁棒特征。我们的主要观察结果是,图像分类器在分布外的样本上可能表现不佳,因为非鲁棒特征和标签之间的虚假相关性可以在新的环境中改变。通过分析程序的分布外泛化与因果图,我们表明,标准的分类失败,因为图像和标签之间的关联是不跨设置运输。然而,我们发现,因果效应,切断所有来源的混淆,保持不变的跨域。这促使我们开发一种算法来估计用于图像分类的因果效应,该算法是可移植的(即,不变量)。在不观察其他变量的情况下,我们证明了我们可以使用深度模型中的表示作为代理,在经验假设下推导出因果效应的被估量。理论分析,实证结果和可视化表明,我们的方法捕捉因果不变性,提高整体泛化。
2022-04-26 cs.CV
Causality Inspired Representation Learning for Domain Generalization
Beijing Institute of Technology(北京理工大学);Alibaba Group(阿里巴巴集团)
领域泛化本质上是一个分布外问题,旨在将从多个源领域学习到的知识泛化到一个未知的目标领域。主流是利用统计模型来建模数据和标签之间的依赖关系,旨在学习独立于领域的表示。然而,统计模型是对现实的肤浅描述,因为它们只需要对依赖性而不是内在的因果机制进行建模。当相关性随目标分布而变化时,统计模型可能无法推广。在这方面,我们引入了一个一般的结构因果模型来形式化DG问题。具体来说,我们假设每个输入都是由因果因素(其与标签的关系在各个领域都是不变的)和非因果因素(与类别无关)的混合构成的,并且只有前者导致分类判断。我们的目标是从输入中提取因果因素,然后重建不变的因果机制。然而,理论上的想法是远离实际的DG,因为所需的因果/非因果因素是不可观察的。我们强调,理想的因果因素应满足三个基本属性:分离的非因果的,共同独立的,因果关系足以分类。在此基础上,我们提出了一个因果启发表示学习(CIRL)算法,强制表示满足上述性质,然后使用它们来模拟因果因素,从而提高泛化能力。在几个广泛使用的数据集上的实验结果验证了该方法的有效性。
2022-03-27 cs.CV cs.LG
A causal view of compositional zero-shot recognition
NVIDIA Research(英伟达研究院);Bar-Ilan University(巴伊兰大学);Technion - Israel Institute of Technology(以色列理工学院)
人们很容易识别新的视觉类别,这些类别是已知组件的新组合。这种组合泛化能力对于视觉和语言等现实世界领域的学习至关重要,因为新组合的长尾主导了分布。不幸的是,学习系统在合成泛化方面遇到了困难,因为它们通常建立在与类标签相关的特征上,即使这些特征对类来说不是“必要的”。这会导致来自新分布的样本的一致错误分类,如已知成分的新组合。在这里,我们描述了一种基于因果思想的合成泛化方法。首先,我们从因果关系的角度描述了组合零样本学习,并建议将zero-shot推理视为寻找“哪种干预导致了图像?".第二,我们提出了一个启发式的嵌入模型,学习相关(混淆)训练数据的视觉对象的基本组件的解纠缠表示。我们在两个数据集上评估了这种方法,用于预测属性-对象对的新组合:一个控制良好的合成图像数据集和一个由细粒度类型的鞋子组成的真实数据集。与强基线相比,我们显示出了改进。
2020-11-01 cs.CV
A Shift in Perspective on Causality in Domain Generalization
CHAI Hub(CHAI中心);The University of Edinburgh(爱丁堡大学);University of Manchester(曼彻斯特大学);Archimedes, Athena Research Center(阿奇米德与雅典研究所);King's College London(伦敦国王学院);University College London(伦敦大学学院);National and Kapodistrian University of Athens(雅典国家与卡波迪斯蒂亚纳大学)
本文重新审视因果建模在域泛化中的泛化承诺,通过调和现有文献中的矛盾,提出更细致的因果作用理论,并提供交互式演示。
2025-08-18 cs.AI cs.CV cs.LG