GazeSAM: What You See is What You Segment
Northwestern University(西北大学)
本文提出 GazeSAM 系统,将眼动追踪获得的注视数据作为 SAM 的提示,实现放射科医生“所见即所分割”的实时医学图像自动分割。
2023-04-26 cs.CV
What we see and What we don't see: Imputing Occluded Crowd Structures from Robot Sensing
Univ Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、雷恩第一大学计算机科学研究所);CIMAT, A.C.(墨西哥数学研究中心)
我们认为,在拥挤的环境中的移动机器人的导航,其中车载传感的人群通常是有限的闭塞。我们解决的问题,推断人类占用的机器人周围的空间,在盲点,超出其传感能力的范围。这个问题是相当未探索的,尽管它对机器人人群导航的效率和安全性,这需要估计和预测周围的人群状态it.In这项工作中,我们提出了第一个解决方案的样本预测可能的人类存在的基础上的状态的一组较少的感知到的人周围的机器人以及以前的观察人群活动的重要影响。
2021-09-17 cs.CV cs.RO
What You See is (Usually) What You Get: Multimodal Prototype Networks that Abstain from Expensive Modalities
Duke University(杜克大学);University of Maine(缅因大学)
本文提出了一种多模态原型网络,通过避免昂贵的遗传数据来提高物种检测的效率和可解释性。
2025-11-24 cs.CV
Can Current AI Models Count What We Mean, Not What They See? A Benchmark and Systematic Evaluation
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Stony Brook University(石溪大学)
本文提出PairTally基准数据集,用于评估细粒度意图驱动的视觉计数能力,发现当前最先进模型在视觉模糊场景下仍难以可靠计数用户意图所指的物体。
2025-09-17 cs.CV
Copy What Is Seen, Generate What Is Not: Training-Free Anomaly-Aware Video Restoration
New York University(纽约大学);University of Technology Sydney(悉尼科技大学)
提出AVR,用冻结预训练模型弥合无训练异常检测与视频修复的差距,仅在无可复制证据处生成内容,在监控数据集上实现高保真修复并优于先检测后生成流程。
2026-09-17 cs.CV
What You See Is What Matters: A Novel Visual and Physics-Based Metric for Evaluating Video Generation Quality
Stanford University(斯坦福大学)
针对现有视频生成质量评估指标忽视人类视觉视角及物理一致性的问题,提出VAMP指标,通过外观分数(跨帧视觉一致性)和运动分数(物体运动真实性)评估视频,实验验证其相比传统方法更全面,能有效捕捉视觉保真度与时间一致性。
2024-11-24 cs.CV
What you get is not always what you see: pitfalls in solar array assessment using overhead imagery
Duke University(杜克大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
将小型分布式太阳能光伏(PV)阵列有效地整合到电网中需要获得高质量的数据:单个太阳能光伏阵列的位置和电力容量。不幸的是,国家级的小型太阳能光伏数据库并不存在;那些存在的数据库空间分辨率有限,通常汇总到州或国家一级。虽然已经发表了几种有前途的太阳能光伏探测方法,但评估这些模型性能的策略往往是高度异质性的研究。这些方法在能源评估实际应用中的比较结果具有挑战性,可能意味着报告的性能评估过于乐观。异质性有多种形式,我们在这项工作中探索了其中的每一种形式:空间聚合的水平,地面实况的验证,训练和验证数据集的不一致性,以及训练和验证数据来源的位置和传感器的多样性程度。对于每一个,我们从文献中讨论新兴的做法,以解决他们或建议未来的研究方向。作为我们调查的一部分,我们评估了两个大区域的太阳能光伏识别性能。我们的研究结果表明,传统的性能评估的太阳能光伏从卫星图像的自动识别可能是乐观的,由于在验证过程中的共同限制。这项工作的成果旨在为能源研究人员和专业人士提供信息,并促进自动化太阳能光伏评估技术的大规模实际应用。
2022-07-25 cs.CV
Where Am I and What Will I See: An Auto-Regressive Model for Spatial Localization and View Prediction
Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出自回归框架GST,通过相机分词联合建模单目相机位姿估计与新视图预测,证明两项任务协同优化可相互提升。
2024-10-24 cs.CV
Downscaling Attack and Defense: Turning What You See Back Into What You Get
Center for Security and Emerging Technology, Georgetown University(乔治敦大学安全与新兴技术中心);Georgetown University(乔治敦大学)
作为计算机视觉系统预处理的一部分,图像的嵌入易受攻击。可以创建图像,使得图像在机器视觉尺度下与其他尺度下完全不同,并且一些常见计算机视觉和机器学习系统的默认设置容易受到攻击。我们表明,防御是存在的,是微不足道的管理提供防御者意识到的威胁。这些攻击和防御有助于确立输入净化在机器学习中的作用。
2020-10-07 cs.AI cs.CR cs.CV
READ More than What You See: Reinforcement Learning for Accurate and Coherent Audio Description Generations
City University of Hong Kong(香港城市大学);Baidu Inc(百度公司);Tsinghua University(清华大学)
提出首个基于强化学习的音频描述生成框架READ,通过序列级优化和连贯性奖励,显著提升生成准确性与连贯性。
2026-06-23 cs.CV
LookWhere? Efficient Visual Recognition by Learning Where to Look and What to See from Self-Supervision
Carleton University(卡尔顿大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
LookWhere通过自监督学习高效视觉识别,同时学习计算位置和内容,提升高分辨率输入的识别性能并减少计算成本。
2026-02-05 cs.CV
What You Hear Is What You See: Audio Quality Metrics From Image Quality Metrics
University of Bristol(布里斯托尔大学);Universitat de Valencia(瓦伦西亚大学)
本研究提出利用图像感知度量通过频谱图评估音频质量,基于听觉与视觉神经机制相似性,并定制心理声学度量,在音乐数据集上验证了其与人类感知质量的相关性。
2023-08-30 cs.CV cs.LG cs.SD
Aligning What EEG Can See: Structural Representations for Brain-Vision Matching
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出EEG-可见层选择策略和分层互补融合框架,通过将EEG信号与中间视觉层对齐,解决跨模态信息不匹配问题,提升零样本视觉解码性能。
2026-03-07 cs.CV
Seeing What Matters: Generalizable AI-generated Video Detection with Forensic-Oriented Augmentation
University Federico II of Naples(那不勒斯费德里科二世大学);NVIDIA(英伟达)
本文提出基于小波分解的面向取证数据增强策略,引导检测器关注生成架构引入的低级伪影,从而在仅用单一生成模型训练的情况下显著提升AI生成视频检测的跨模型泛化能力。
2025-11-06 cs.CV
Learning to See: You Are What You See
Goldsmiths University of London(伦敦大学金史密斯学院);University of the Arts London(伦敦艺术大学)
作者提出了一种视觉工具,作为艺术作品《学习看》创作的一部分。该作品探讨了人工神经网络中的偏见,并提供了专门训练用于现实世界表示的操纵机制。对这些表征的探索充当了发展对世界的视觉理解和/或视觉词汇的过程的隐喻。这些表征可以被实时的探索和操纵,并且以这样一种方式产生,以反映特定的创造性观点,这些观点质疑人工神经网络和人类如何构建意义之间的关系。
2020-02-28 cs.CV cs.GR cs.HC
Have a Look at What I See
The University of Haifa(海法大学);The Interdisciplinary Center(跨学科中心)
我们提出了一种方法,用于指导摄影师旋转她/他的智能手机相机,以获得与同一场景的另一个图像重叠的图像。另一张照片是由另一位摄影师从不同的角度拍摄的。我们的方法是适用的,即使当图像没有重叠的视野。我们的方法的简单应用包括出于社交目的分享对感兴趣区域的关注,或者添加缺失图像以改善运动结果的结构。我们的解决方案使用场景的其他图像,这些图像通常可用,因为许多人经常使用智能手机相机。这些图像可以从现场的其他摄影师那里在线获得。我们的方法避免了3D场景重建,而是依赖于一个新的表示,该表示由两个轴,x和y上的场景点的空间顺序。这种表示允许使用极线点转移有效地选择一系列点并投影到摄影师的图像上。将这些极线叠加在摄像机的实时预览上,可以产生一个方便的界面来指导用户。该方法在具有挑战性的图像数据集上进行了测试,并成功地将摄影师从一个视图引导到非重叠的目的地视图。
2015-05-19 cs.CV
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
PKU(北京大学);MIT-IBM Computing Research Lab(麻省理工学院-IBM计算研究实验室);UW–Madison(威斯康星大学麦迪逊分校);CASIA(中国科学院自动化研究所);CMU(卡内基梅隆大学);PolyU(香港理工大学);HKU(香港大学)
ViewCraft协同演化多模态智能体的证据接口与读取过程,在8个基准上平均提升任务分数6.1个百分点,学习到的技能可跨执行器迁移且性能优于直接执行。
2026-10-14 cs.CV
LangLoc: "Tell Me What You See"
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学);Microsoft(微软公司);HUN-REN SZTAKI(匈牙利科学院计算机与自动化研究所)
研究从自然语言进行室内细粒度定位,用含CLIP语义特征的双分支GATv2编码器检索场景,通过射线投射物体可见性估计位置和方向,用贝叶斯对话模块解决歧义,贡献基准数据集。
2026-07-07 cs.CV
What You See is What You Get: Principled Deep Learning via Distributional Generalization
EPFL(洛桑联邦理工学院);UC San Diego(加州大学圣地亚哥分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
在机器学习中,在训练时间和测试时间具有类似的行为$-$,我们称之为“所见即所得”(WYSIWYG)属性$-$。然而,使用标准随机梯度下降(SGD)训练的模型不一定具有此属性,因为它们的复杂行为(如鲁棒性或子群性能)在训练和测试时间之间可能会有很大差异。相比之下,我们证明了差分私有(DP)训练可证明确保了高级别的WYSIWYG属性,我们使用分布式泛化的概念对其进行量化。应用这种联系,我们引入了新的概念工具,通过将泛化问题减少到优化问题来设计深度学习方法:为了减轻测试时的不必要行为,可以证明在训练数据上减轻这种行为是足够的。通过应用这种新颖的设计原理,它绕过了SGD的“病态”,我们构建了简单的算法,在几个分布式鲁棒性应用中与SOTA竞争,显着提高了DP-SGD的隐私与不同影响的权衡,并减轻了对抗训练中的鲁棒过拟合。最后,我们还改进了DP,稳定性和分布推广的理论界限。
2022-10-17 cs.AI cs.CR cs.CV
What Do You See? Enhancing Zero-Shot Image Classification with Multimodal Large Language Models
Google Research(谷歌研究)
本文提出一种基于多模态大语言模型的零样本图像分类方法,通过生成图像文本表示并融合跨模态特征,在十个基准上平均提升6.2个百分点,无需针对数据集进行提示工程。
2025-06-25 cs.CV
What You See is What You Get: Exploiting Visibility for 3D Object Detection
Carnegie Mellon University(卡内基梅隆大学);Argo AI
3D传感的最新进展为计算机视觉带来了独特的挑战。一个基本的挑战是为3D传感器数据找到良好的表示。大多数流行的表示(如PointNet)是在处理真正的3D数据(例如从网格模型中采样的点)的背景下提出的,忽略了3D传感器数据(如LiDAR扫描)实际上是2.5D的事实。我们认为,将2.5D数据表示为(x,y,z)点的集合从根本上破坏了关于自由空间的隐藏信息。在本文中,我们证明了这样的知识可以通过3D光线投射有效地恢复,并很容易纳入基于批处理的梯度学习。我们描述了一种简单的方法来增强基于体素的网络的可见性:我们添加一个体素化的可见性图作为额外的输入流。此外,我们表明,可见性可以结合两个关键的修改常见的国家的最先进的3D探测器:合成数据增强虚拟对象和时间聚合的激光雷达扫描在多个时间帧。在NuScenes 3D检测基准测试中,我们表明,通过添加额外的可见性输入流,我们可以显着提高最先进的3D检测器的整体检测精度。
2020-12-21 cs.CV cs.RO
Tell Me What You See: Text-Guided Real-World Image Denoising
Tel Aviv University(特拉维夫大学)
针对极低光照下真实图像去噪难题,本文提出将摄影师可提供的文本场景描述作为额外先验,并利用文本引导扩散模型显著提升合成与真实图像的去噪重建性能。
2025-03-16 cs.CV eess.IV
I Know What You See: Power Side-Channel Attack on Convolutional Neural Network Accelerators
The Chinese University of Hong Kong(香港中文大学);Sangfor Technologies Inc.(深信服科技股份有限公司)
深度学习已成为各种感知问题的事实上的计算范式,包括许多隐私敏感应用,例如在线医学图像分析。毫无疑问,这些深度学习系统的数据隐私是一个严重的问题。与以往研究侧重于利用深度学习模型的隐私泄漏不同,本文提出了对深度学习模型实现的第一次攻击。具体来说,我们对基于FPGA的卷积神经网络加速器进行攻击,并且在不知道神经网络中的详细参数的情况下,我们设法从收集的功率迹线恢复输入图像。对于MNIST数据集,我们的功率侧信道攻击能够实现高达89%的识别准确率。
2019-11-29 cs.CV cs.LG
What You See Is What You Detect: Towards better Object Densification in 3D detection
针对3D检测中全形状补全误差上界高的问题,提出仅补全可见部分的WYSIWYD方法,由帧内视锥分割变换器和网格深度补全网络组成,在KITTI和NuScenes上提升性能达12.2%。
2023-11-14 cs.CV cs.RO
What You See is What You Ask: Evaluating Audio Descriptions
CVIT, IIIT Hyderabad(计算机视觉与人工智能技术研究所,IIIT海得拉巴)
针对现有自动音频描述(AD)研究仅用裁剪片段和单参考评估的不足,该研究量化了AD创作的主观性,提出在数分钟连贯视频层面评估AD的ADQA问答基准,发现现有方法远逊于人工AD,并推出公开排行榜。
2025-10-01 cs.AI cs.CL cs.CV
From Sora What We Can See: A Survey of Text-to-Video Generation
Newcastle University(纽卡斯尔大学)
本文以Sora为切入点开展文本生成视频领域综述,梳理相关算法分类、常用数据集与指标,指出领域挑战并提出未来研发方向。
2024-05-17 cs.AI cs.CV
Do You See What I See? Coordinating Multiple Aerial Cameras for Robot Cinematography
University of São Paulo(圣保罗大学);Carnegie Mellon University(卡内基梅隆大学)
空中摄影术大大扩展了电影制作人的能力。自主无人机(UAV)的最新进展进一步增加了航空摄像机的潜在影响,其系统可以在非结构化的混乱环境中安全地跟踪行动者。然而,专业制作需要同时使用多个摄像机来记录同一场景的不同视点,这些视点被实时的编辑成最终的镜头,或者在后期制作中。这种极端的动作协调对于无脚本的动作场景来说尤其困难,这是航空相机的常见用例。在这项工作中,我们开发了一个实时的多无人机协调系统,能够记录动态目标,同时最大限度地提高拍摄多样性,避免碰撞和相机之间的相互可见性。我们验证了我们的方法在多个杂乱的环境中的照片逼真的模拟器,并部署系统使用两个无人机在现实世界的实验。我们表明,我们的协调方案具有较低的计算成本,平均只需要1.17毫秒,计划在10秒的时间范围内的3架无人机的团队。补充视频:https://youtu.be/m2R3anv2ADE
2021-03-31 cs.CV cs.MA cs.RO
TeLL Me what you cant see
University of Padua(帕多瓦大学)
本文提出一种法医嫌疑人照片增强框架,通过可定制的数据增强生成高质量图像,在保持生物特征一致性的同时提升识别准确性和鲁棒性,适用于执法应用。
2025-03-25 cs.CV cs.CY
What does LIME really see in images?
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);LJAD(LJAD(暂缺通用中文名,保留原文));Polytech Nice(尼斯综合理工学院)
现代算法在某些计算机视觉任务(如物体识别)上的性能现在接近人类。这一成功是以依赖于数百万个参数的复杂架构为代价的,并且理解如何进行特定预测变得非常具有挑战性。可解释性方法就是为了给我们这种理解。在本文中,我们研究石灰,也许是最流行的。在理论方面,我们表明,当生成的例子的数量是大的,LIME解释集中在一个极限解释,我们给出了一个明确的表达。我们进一步研究基本形状检测器和线性模型。作为这种分析的结果,我们发现了LIME和综合梯度之间的联系,这是另一种解释方法。更确切地说,LIME解释类似于LIME的预处理步骤中使用的超像素上的积分梯度之和。
2021-07-25 cs.CV cs.LG
What you see is what you get: Experience ranking with deep neural dataset-to-dataset similarity for topological localisation
University of Oxford(牛津大学);Oxa(Oxa公司)
提出基于Visual DNA的深度数据集相似性方法,通过比较神经元激活统计特征对视觉经验进行排序,实现无需真值的高效鲁棒拓扑定位。
2023-10-20 cs.CV cs.RO
What You See is What You Classify: Black Box Attributions
Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出训练第二个深度网络Explainer为预训练黑盒分类器生成掩码形式的归因,单次前向传播即可高效生成更清晰精确的特定类别掩码,在视觉和定量上优于现有方法。
2022-10-07 cs.AI cs.CV cs.LG
I see what you hear: a vision-inspired method to localize words
Apple(苹果公司)
本文探讨了使用视觉目标检测技术的语音数据中的单词定位的可能性。目标检测已经在当代文献中针对视觉数据进行了深入的研究。注意,音频可以被解释为一维图像,对象定位技术可以从根本上用于单词定位。基于这个想法,我们提出了一个轻量级的解决方案,字检测和定位。我们使用限界框回归进行单词本地化,这使我们的模型能够检测给定音频流中关键字的出现,偏移和持续时间。我们用LibriSpeech进行实验,并训练一个模型来本地化1000个单词。与现有的工作相比,我们的方法减少了94%的模型大小,并提高了6.5%的F1分数。
2022-10-24 cs.CV cs.LG cs.SD
Do You See What I Mean? Visual Resolution of Linguistic Ambiguities
MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
理解语言与整合通过感知获得的复杂上下文信息的能力密切相关。在这项工作中,我们提出了一个新的任务接地语言理解:消除歧义的一个句子给定的视觉场景,描绘了一个可能的解释,该句子。为此,我们引入了一个新的多模态语料库,包含歧义句,代表了广泛的句法,语义和话语的歧义,再加上视频,可视化的不同解释,为每个句子。我们通过扩展一个视觉模型来解决这个问题,该模型可以确定一个句子是否由视频描述。我们演示了如何调整这样的模型,以识别相同的基本句子的不同解释,允许在不同的歧义类型的统一的方式消除歧义的句子。
2016-03-26 cs.AI cs.CL cs.CV
Explain What You See: Open-Ended Segmentation and Recognition of Occluded 3D Objects
Imperial College London(帝国理工学院);University of Groningen(格罗宁根大学)
Local-HDP(Local Hierarchical Dirichlet Process)是一种分层贝叶斯方法,最近被用于开放式3D对象类别识别。这种方法已被证明是有效的实时机器人应用。然而,该方法对高度遮挡不鲁棒。我们分两步解决这个限制。首先,我们提出了一种新的语义3D对象部分分割方法,具有本地HDP的灵活性。这种方法被证明是适合于开放式的情况下,3D对象或对象部分的数量是不固定的,可以随着时间的推移而增长。我们表明,所提出的方法具有较高的百分比,平均交叉工会,使用较少的学习实例。其次,我们将这种技术与最近推出的基于论证的在线增量学习方法相结合,从而使模型能够处理高度的遮挡。我们表明,由此产生的模型产生一组明确的解释的3D对象类别识别任务。
2023-01-17 cs.AI cs.CV
See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity
University of New South Wales(新南威尔士大学);CSIRO’s Data 61(联邦科学与工业研究组织数据61所);Lehigh University(理海大学);Neuroscience Research Australia(澳大利亚神经科学研究所)
最近的研究表明,使用一个两阶段的监督框架,以产生图像,描绘人类的感知视觉刺激的EEG,指的是EEG视觉重建。然而,它们无法再现精确的视觉刺激,因为决定合成图像是什么的是人类指定的图像注释,而不是它们的数据。此外,合成的图像往往受到噪声EEG编码和生成模型的不稳定训练的影响,使其难以识别。相反,我们提出了一个单阶段的EEG视觉检索范式,其中两种模式的数据是相关的,而不是他们的注释,使我们能够恢复确切的视觉刺激的EEG剪辑。我们最大限度地提高了互信息之间的EEG编码和相关的视觉刺激,通过优化的对比自我监督的目标,导致两个额外的好处。第一,它使EEG编码能够处理训练期间可见的视觉类别,因为学习并不针对类别注释。此外,模型不再需要生成视觉刺激的每个细节,而是专注于跨模态对齐并在实例级别检索图像,确保可区分的模型输出。实证研究进行了最大的单一主题EEG数据集,测量大脑活动引起的图像刺激。我们证明了所提出的方法完成了现有方法无法完成的实例级EEG视觉检索任务。我们还研究了一系列EEG和视觉编码器结构的影响。此外,对于一个主要研究的语义级脑电视觉分类任务,尽管不使用类注释,所提出的方法优于国家的最先进的监督脑电视觉重建方法,特别是在开放类识别的能力。
2022-08-18 cs.CV cs.HC cs.MM
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
我们提出了一个系统,演示了事件的组成结构,与语言的组成结构相一致,可以与视频动作识别中的底层聚焦机制相互作用,从而提供了一种媒介,不仅用于自上而下和自下而上的集成,而且用于视觉和语言之间的多模态集成。我们展示了参与者(名词)扮演的角色,他们的特点(形容词),执行的动作(动词),这样的行动(副词)的方式,并改变参与者(介词)之间的空间关系的形式,整个间接的语法描述介导的,指导活动识别过程。此外,我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务:注意力的集中,视频的原始描述的生成,以及基于查询的视频搜索,简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University(清华大学)
最近的进展自动生成的图像字幕表明,它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中,我们提出了一个图像字幕系统,利用图像和句子之间的并行结构。在我们的模型中,生成下一个单词的过程,给定先前生成的单词,与视觉感知体验一致,其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动,编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息,从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试,并与几个流行数据集上发表的结果进行了对比。我们表明,使用基于区域的注意力或特定场景的背景下,改善系统没有这些组件。此外,结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
Generate What You Can't See - a View-dependent Image Generation
Poznan University of Technology(波兹南理工大学)
为了实现自主操作,机器人应该探索环境并为周围的每个物体建立模型。一种常见的方法是仔细扫描整个工作空间。这是很费时间的。而且,要想获得对环境的全面了解,往往也不可能获得所有必要的观点。人类可以依靠过去的经验来完成被遮挡物体的形状完成。因此,我们提出了一种方法,从不同的观点,使用一个单一的输入RGB图像生成的对象的图像。训练深度神经网络以从多个视点想象对象外观。我们展示了整个管道,它将单个RGB图像作为输入,并返回对象的RGB和深度图像序列。该方法利用基于CNN的对象检测器从自然场景中提取对象。然后,所提出的网络生成一组RGB和深度图像。我们在合成数据集和真实图像上都显示了结果。
2019-03-15 cs.CV cs.RO
Do you see what I see? An Ambiguous Optical Illusion Dataset exposing limitations of Explainable AI
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本文提出一个新颖的交织动物对视错觉数据集,通过识别注视方向和眼睛线索等视觉概念对模型准确性的影响,揭示了可解释AI在感知歧义上的局限性,为研究人机视觉偏差与对齐提供了基础。
2025-05-27 cs.AI cs.CV cs.LG
AI-Generated Images: What Humans and Machines See When They Look at the Same Image
Austrian Institute of Technology(奥地利技术研究院)
本文探讨了如何通过多种架构和微调策略开发更有效的AI生成图像检测器,提供人类可理解的解释。研究基于大规模逼真伪造图像数据集,评估了最新文本到图像AI生成器的性能,并整合16种可解释AI方法,通过调查100名参与者收集的文本和视觉反馈,优化解释清晰度。
2026-05-07 cs.AI cs.CV
MindGPT: Interpreting What You See with Non-invasive Brain Recordings
Zhejiang University(浙江大学)
本文提出 MindGPT,通过视觉引导交叉注意力编码器并结合 GPT,从非侵入式 fMRI 信号中端到端解码所见刺激的自然语言描述,还揭示 HVC 对语言语义更关键。
2023-09-27 cs.AI cs.CV
What do Deep Networks Like to See?
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Kaiserslautern(凯撒斯劳滕工业大学)
我们提出了一种新的方法来测量和理解卷积神经网络,通过量化他们让输入信号的数量。为了做到这一点,自动编码器(AE)对来自具有固定参数的预训练分类器的梯度进行了微调。我们比较了在一组图像分类器(AlexNet,VGG 16,ResNet-50和Inception~v3)上进行微调的AE的重建样本,并发现了实质性差异。AE根据反向传播梯度中编码的信息,学习保留输入空间的哪些方面,忽略哪些方面。当一个分类器的信号被第二个分类器使用时,测量精度的变化,出现了全阶关系。该顺序直接取决于每个分类器的输入信号,但与分类精度或网络大小无关。通过测量原始图像和来自不同微调AE的自动编码重建之间的归一化互信息,提供了这种现象的进一步证据。这些发现在神经网络理解领域开辟了新天地,为推理、调试和解释其结果开辟了新途径。我们在文献中提出了四个具体的例子,现在可以用模型使用的输入信号来解释观测结果。
2018-03-22 cs.CV cs.LG
What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs
University of California, San Diego(加利福尼亚大学圣迭戈分校);NVIDIA(英伟达)
本文提出将神经体渲染扩展至原始2D图像分辨率,采用基于学习的采样器减少5倍深度样本,实现全像素渲染并解析高保真3D几何,在FFHQ和AFHQ上达到SOTA。
2024-01-04 cs.AI cs.CV cs.GR
What Do You See? Evaluation of Explainable Artificial Intelligence (XAI) Interpretability through Neural Backdoors
Purdue University(普渡大学)
可解释人工智能(XAI)方法已经被提出来解释深度神经网络如何通过模型显着性解释来预测输入,这些解释突出了被认为对在特定目标上做出决策很重要的输入部分。然而,它仍然具有挑战性,以量化其可解释性的正确性,因为目前的评估方法要么需要从人类的主观输入或自动评估招致高计算成本。在本文中,我们提出了后门触发模式-隐藏的恶意功能,导致错误分类-自动评估显着性的解释。我们的主要观察是,触发器为输入提供了基础事实,以评估XAI方法识别的区域是否与其输出真正相关。由于后门触发器是导致故意错误分类的最重要特征,因此强大的XAI方法应该在推理时显示它们的存在。我们介绍了三个补充指标,用于系统评估XAI方法生成和评估七个最先进的无模型和模型特定的posthoc方法的解释,通过36个模型特洛伊木马专门制作的触发器使用颜色,形状,纹理,位置和大小。我们发现六种使用局部解释和特征相关性的方法都不能完全突出触发区域,只有无模型方法才能揭示整个触发区域。
2020-09-22 cs.AI cs.CV cs.LG
Looking Beyond What You See: An Empirical Analysis on Subgroup Intersectional Fairness for Multi-label Chest X-ray Classification Using Social Determinants of Racial Health Inequities
Massachusetts Institute of Technology(麻省理工学院);University at Buffalo(布法罗大学)
本文针对胸部X光多标签分类中的交叉群体公平性问题,提出通过平衡数据集重训练预训练模型最后一层并结合公平约束与类别平衡微调的框架,在MIMIC-CXR上实现了准确性与公平性的最优权衡。
2024-03-27 cs.AI cs.CV cs.CY
Tell What You Hear From What You See -- Video to Audio Generation Through Text
University of Washington(华盛顿大学)
提出多模态生成框架VATT,通过文本提示和音频字幕实现可控的视频到音频生成,在客观和主观评估中均表现出色。
2025-04-04 cs.AI cs.CV cs.LG