Learning to See: You Are What You See
Goldsmiths University of London(伦敦大学金史密斯学院);University of the Arts London(伦敦艺术大学)
作者提出了一种视觉工具,作为艺术作品《学习看》创作的一部分。该作品探讨了人工神经网络中的偏见,并提供了专门训练用于现实世界表示的操纵机制。对这些表征的探索充当了发展对世界的视觉理解和/或视觉词汇的过程的隐喻。这些表征可以被实时的探索和操纵,并且以这样一种方式产生,以反映特定的创造性观点,这些观点质疑人工神经网络和人类如何构建意义之间的关系。
2020-02-28 cs.CV cs.GR cs.HC
In What Ways Are Deep Neural Networks Invariant and How Should We Measure This?
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学);Colorado State University(科罗拉多州立大学);National Geospatial-Intelligence Agency(国家地理空间情报局)
人们常说,深度学习模型对某些特定类型的转换是“不变的”。然而,这一声明的含义在很大程度上取决于它所处的背景。在本文中,我们探讨了深度学习模型的不变性和等变性的本质,目的是更好地理解它们在形式层面上实际捕获这些概念的方式。我们引入了一个家庭的不变性和等变性指标,使我们能够量化这些属性的方式,解开他们从其他指标,如损失或准确性。我们使用我们的指标来更好地理解用于在网络中构建不变性的两种最流行的方法:数据增强和等变层。我们得出了一系列关于深度学习模型中的不变性和等变性的结论,从使用预训练权重初始化模型是否会影响训练模型的不变性,到通过训练学习的不变性可以推广到分布外数据的程度。
2022-10-07 cs.CV cs.LG
What does LIME really see in images?
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);LJAD(LJAD(暂缺通用中文名,保留原文));Polytech Nice(尼斯综合理工学院)
现代算法在某些计算机视觉任务(如物体识别)上的性能现在接近人类。这一成功是以依赖于数百万个参数的复杂架构为代价的,并且理解如何进行特定预测变得非常具有挑战性。可解释性方法就是为了给我们这种理解。在本文中,我们研究石灰,也许是最流行的。在理论方面,我们表明,当生成的例子的数量是大的,LIME解释集中在一个极限解释,我们给出了一个明确的表达。我们进一步研究基本形状检测器和线性模型。作为这种分析的结果,我们发现了LIME和综合梯度之间的联系,这是另一种解释方法。更确切地说,LIME解释类似于LIME的预处理步骤中使用的超像素上的积分梯度之和。
2021-07-25 cs.CV cs.LG
What You See is What You Get: Principled Deep Learning via Distributional Generalization
EPFL(洛桑联邦理工学院);UC San Diego(加州大学圣地亚哥分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
在机器学习中,在训练时间和测试时间具有类似的行为$-$,我们称之为“所见即所得”(WYSIWYG)属性$-$。然而,使用标准随机梯度下降(SGD)训练的模型不一定具有此属性,因为它们的复杂行为(如鲁棒性或子群性能)在训练和测试时间之间可能会有很大差异。相比之下,我们证明了差分私有(DP)训练可证明确保了高级别的WYSIWYG属性,我们使用分布式泛化的概念对其进行量化。应用这种联系,我们引入了新的概念工具,通过将泛化问题减少到优化问题来设计深度学习方法:为了减轻测试时的不必要行为,可以证明在训练数据上减轻这种行为是足够的。通过应用这种新颖的设计原理,它绕过了SGD的“病态”,我们构建了简单的算法,在几个分布式鲁棒性应用中与SOTA竞争,显着提高了DP-SGD的隐私与不同影响的权衡,并减轻了对抗训练中的鲁棒过拟合。最后,我们还改进了DP,稳定性和分布推广的理论界限。
2022-10-17 cs.AI cs.CR cs.CV
What Do Deep CNNs Learn About Objects?
University of Masschusetts Lowell(马萨诸塞大学洛厄尔分校)
深度卷积神经网络学习非常强大的图像表示,但大部分能力隐藏在数百万个深层参数中。这些参数究竟代表什么?最近的工作已经开始分析CNN表示,发现,例如,它们对某些2D变换是不变的Fischer et al.(2014),但被特定类型的图像噪声所混淆Nguyen et al.(2014)。在这项工作中,我们深入研究并提出问题:CNN对由3D形状,姿势和照片写实主义引起的对象类变化有多不变?
2015-04-09 cs.CV
AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning
Boston University(波士顿大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院 MIT-IBM沃森人工智能实验室)
多任务学习是计算机视觉中一个开放的、具有挑战性的问题。使用深度神经网络进行多任务学习的典型方式是通过共享所有初始层并在特定点分支的手工方案,或者通过具有额外特征共享/融合机制的单独任务特定网络。与现有的方法不同,我们提出了一种自适应共享方法,称为AdaShare,它决定在哪些任务中共享什么,以实现最佳的识别精度,同时考虑资源效率。具体来说,我们的主要思想是通过特定于任务的策略来学习共享模式,该策略选择性地选择在多任务网络中为给定任务执行哪些层。我们使用标准的反向传播,有效地优化了特定于任务的策略和网络权重。在几个具有挑战性和多样性的基准数据集上进行的实验,以及不同数量的任务,很好地证明了我们的方法比最先进的方法的有效性。项目页面:https://cs-people.bu.edu/sunxm/AdaShare/project.html。
2020-11-18 cs.CV cs.LG
GazeSAM: What You See is What You Segment
Northwestern University(西北大学)
本文提出 GazeSAM 系统,将眼动追踪获得的注视数据作为 SAM 的提示,实现放射科医生“所见即所分割”的实时医学图像自动分割。
2023-04-26 cs.CV
What You See is (Usually) What You Get: Multimodal Prototype Networks that Abstain from Expensive Modalities
Duke University(杜克大学);University of Maine(缅因大学)
本文提出了一种多模态原型网络,通过避免昂贵的遗传数据来提高物种检测的效率和可解释性。
2025-11-24 cs.CV
What You See is What You Classify: Black Box Attributions
Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出训练第二个深度网络Explainer为预训练黑盒分类器生成掩码形式的归因,单次前向传播即可高效生成更清晰精确的特定类别掩码,在视觉和定量上优于现有方法。
2022-10-07 cs.AI cs.CV cs.LG
Deep saliency: What is learnt by a deep network about saliency?
University of Exeter(埃克塞特大学);Department of Computer Science, College of Engineering, Mathematics and Physical Sciences, University of Exeter, UK(埃克塞特大学工程、数学与物理科学学院计算机科学系(注:此处按要求提取到大学级别,故主要机构为University of Exeter))
深度卷积神经网络在广泛的问题上取得了令人印象深刻的性能,在既定的基准上击败了现有技术,但通常仍不清楚这些系统学习的表示是什么以及它们如何实现这种性能。本文研究了显着性检测的具体问题,其中基准测试目前由基于CNN的方法主导,并通过可视化人工神经元的感受野来研究学习表示的属性。我们证明了在显着性检测任务上微调预训练的网络会导致网络更深层的深刻变革。此外,我们认为,这种转变导致出现的感受野概念上类似的中心-环绕过滤器假设的视觉显着性的早期研究。
2018-03-22 cs.CV
Can Current AI Models Count What We Mean, Not What They See? A Benchmark and Systematic Evaluation
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Stony Brook University(石溪大学)
本文提出PairTally基准数据集,用于评估细粒度意图驱动的视觉计数能力,发现当前最先进模型在视觉模糊场景下仍难以可靠计数用户意图所指的物体。
2025-09-17 cs.CV
What is (missing or wrong) in the scene? A Hybrid Deep Boltzmann Machine For Contextualized Scene Modeling
Middle East Technical University(中东技术大学)
场景模型允许机器人推理场景中有什么,还有什么应该在它,什么不应该在it.In本文中,我们提出了一个混合玻尔兹曼机(BM)的场景建模对象之间的关系是集成的。为了能够做到这一点,我们扩展了BM,以包括可见(对象)节点之间的三向边,并使网络共享不同对象之间的关系。我们评估我们的方法对几个基线模型(深度玻尔兹曼机,限制玻尔兹曼机)的场景分类数据集,并表明它在几个场景推理任务中表现更好。
2018-08-20 cs.CV cs.RO
Decoupling What to Count and Where to See for Referring Expression Counting
针对指代表达计数中模型因标注点位置忽略属性区域特征的问题,提出W2-Net框架,通过双查询机制解耦计数对象与观察区域,结合子类别可分离匹配策略,在REC-8K数据集上大幅提升计数与定位性能。
2025-10-28 cs.CV
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University(清华大学)
最近的进展自动生成的图像字幕表明,它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中,我们提出了一个图像字幕系统,利用图像和句子之间的并行结构。在我们的模型中,生成下一个单词的过程,给定先前生成的单词,与视觉感知体验一致,其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动,编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息,从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试,并与几个流行数据集上发表的结果进行了对比。我们表明,使用基于区域的注意力或特定场景的背景下,改善系统没有这些组件。此外,结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
I see what you hear: a vision-inspired method to localize words
Apple(苹果公司)
本文探讨了使用视觉目标检测技术的语音数据中的单词定位的可能性。目标检测已经在当代文献中针对视觉数据进行了深入的研究。注意,音频可以被解释为一维图像,对象定位技术可以从根本上用于单词定位。基于这个想法,我们提出了一个轻量级的解决方案,字检测和定位。我们使用限界框回归进行单词本地化,这使我们的模型能够检测给定音频流中关键字的出现,偏移和持续时间。我们用LibriSpeech进行实验,并训练一个模型来本地化1000个单词。与现有的工作相比,我们的方法减少了94%的模型大小,并提高了6.5%的F1分数。
2022-10-24 cs.CV cs.LG cs.SD
Do you see what I see? An Ambiguous Optical Illusion Dataset exposing limitations of Explainable AI
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本文提出一个新颖的交织动物对视错觉数据集,通过识别注视方向和眼睛线索等视觉概念对模型准确性的影响,揭示了可解释AI在感知歧义上的局限性,为研究人机视觉偏差与对齐提供了基础。
2025-05-27 cs.AI cs.CV cs.LG
What You See is What You Read? Improving Text-Image Alignment Evaluation
Google Research(谷歌研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出SeeTRUE评估集及两种自动对齐判定方法,在文本-图像对齐任务上超越先前方法,并能定位错位与重排候选。
2023-12-26 cs.CL cs.CV
What Else Can Fool Deep Learning? Addressing Color Constancy Errors on Deep Neural Network Performance
York University(约克大学);Samsung AI Center(三星人工智能中心)
有一些针对局部图像操作的积极研究,这些图像操作可以欺骗深度神经网络(DNN)产生错误的结果。本文探讨了一种类型的全球图像操纵,可以产生类似的不利影响。具体来说,我们探讨了由错误应用的计算颜色恒定性(在摄影中称为白平衡(WB))引起的强烈色偏如何对DNN的图像分割和分类性能产生负面影响。此外,我们还讨论了用于提高DNN鲁棒性的现有图像增强方法如何不适合对WB错误进行建模。为了解决这个问题,提出了一种新的增强方法,可以模拟准确的颜色恒定性退化。我们还探索了预处理训练和测试图像与最近的WB校正算法,以减少不正确的白平衡图像的影响。我们在不同的数据集上检查了增强和预处理策略,并在CIFAR-10,CIFAR-100和ADE 20 K数据集上展示了显着的改进。
2019-12-15 cs.CV
What Catches the Eye? Visualizing and Understanding Deep Saliency Models
Center for Research in Computer Vision(计算机视觉研究中心);University of Exeter(埃克塞特大学);University of Central Florida(中佛罗里达大学)
近年来,深度卷积神经网络已经证明了固视预测的高性能。然而,他们如何实现这一点的探索较少,他们仍然是黑箱模型。在这里,我们试图揭示深层显着性模型的内部结构,并研究它们提取哪些特征用于固定预测。具体来说,我们使用一个简单而强大的架构,仅由一个CNN和一个单一的分辨率输入,结合一个新的损失函数的像素级固定预测在自由观看自然场景。我们表明,我们简单的方法是等同于或优于国家的最先进的复杂的显着性模型。此外,我们提出了一种与显着性模型评估指标相关的方法,用于可视化深层模型以进行固定预测。我们的方法揭示了固定预测的深层模型的内部表示,并提供证据表明,显着性,如人类所经历的,可能涉及高层次的语义知识,除了低层次的感知线索。我们的研究结果可以用来衡量当前显着性模型和人类观察者间模型之间的差距,并建立新的模型来缩小这一差距。
2018-03-22 cs.CV
What You See Is What Matters: A Novel Visual and Physics-Based Metric for Evaluating Video Generation Quality
Stanford University(斯坦福大学)
针对现有视频生成质量评估指标忽视人类视觉视角及物理一致性的问题,提出VAMP指标,通过外观分数(跨帧视觉一致性)和运动分数(物体运动真实性)评估视频,实验验证其相比传统方法更全面,能有效捕捉视觉保真度与时间一致性。
2024-11-24 cs.CV
What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?
University of Cambridge(剑桥大学)
有两种主要类型的不确定性可以建模。随机不确定性捕获观测中固有的噪声。另一方面,认识上的不确定性解释了模型中的不确定性--如果有足够的数据,这种不确定性可以解释清楚。传统上,在计算机视觉中很难对认知不确定性进行建模,但随着新的贝叶斯深度学习工具的出现,这一点现在已经成为可能。我们研究了在贝叶斯深度学习模型中对视觉任务的认知与任意不确定性建模的好处。为此,我们提出了一个贝叶斯深度学习框架,结合了输入依赖的任意不确定性和认知不确定性。我们研究模型的框架下,每像素的语义分割和深度回归任务。此外,我们明确的不确定性公式导致这些任务的新的损失函数,这可以被解释为学习衰减。这使得损失对噪声数据更加鲁棒,也在分割和深度回归基准上给出了新的最先进的结果。
2017-10-05 cs.CV
What You See is What You Get: Exploiting Visibility for 3D Object Detection
Carnegie Mellon University(卡内基梅隆大学);Argo AI
3D传感的最新进展为计算机视觉带来了独特的挑战。一个基本的挑战是为3D传感器数据找到良好的表示。大多数流行的表示(如PointNet)是在处理真正的3D数据(例如从网格模型中采样的点)的背景下提出的,忽略了3D传感器数据(如LiDAR扫描)实际上是2.5D的事实。我们认为,将2.5D数据表示为(x,y,z)点的集合从根本上破坏了关于自由空间的隐藏信息。在本文中,我们证明了这样的知识可以通过3D光线投射有效地恢复,并很容易纳入基于批处理的梯度学习。我们描述了一种简单的方法来增强基于体素的网络的可见性:我们添加一个体素化的可见性图作为额外的输入流。此外,我们表明,可见性可以结合两个关键的修改常见的国家的最先进的3D探测器:合成数据增强虚拟对象和时间聚合的激光雷达扫描在多个时间帧。在NuScenes 3D检测基准测试中,我们表明,通过添加额外的可见性输入流,我们可以显着提高最先进的3D检测器的整体检测精度。
2020-12-21 cs.CV cs.RO
A Deeper Dive Into What Deep Spatiotemporal Networks Encode: Quantifying Static vs. Dynamic Information
York University(约克大学);Vector Institute for AI(向量人工智能研究所);Ryerson University(瑞尔森大学);University of Guelph(圭尔夫大学);Samsung AI Centre Toronto(三星多伦多人工智能中心)
深度时空模型被用于各种计算机视觉任务中,例如动作识别和视频对象分割。目前,对这些模型在其中间表示中捕获了哪些信息的理解有限。例如,虽然已经观察到动作识别算法受到单个静态帧中的视觉外观的严重影响,但是与对动态信息(例如,运动)的偏置相比,不存在用于评估潜在表示中的这种静态偏置的定量方法。我们通过提出一种新的方法来量化任何时空模型的静态和动态偏差来应对这一挑战。为了显示我们的方法的有效性,我们分析了两个广泛研究的任务,动作识别和视频对象分割。我们的主要发现有三个方面:(一)大多数检查时空模型偏向于静态信息,虽然,某些双流架构与交叉连接显示出更好的平衡之间的静态和动态信息捕获。(ii)一些通常被认为偏向于动态的数据集实际上偏向于静态信息。(iii)架构中的各个单元(通道)可以偏向静态、动态或两者的组合。
2022-06-06 cs.CV
What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective
Tianjin University(天津大学);Dalian University of Technology(大连理工大学);Harbin Institute of Technology(哈尔滨工业大学)
最近的工作表明,全局协方差池(GCP)有能力提高深度卷积神经网络(CNN)在视觉分类任务上的性能。尽管取得了相当大的进展,但GCP对深度CNN有效性的原因尚未得到很好的研究。在本文中,我们试图从优化的角度来理解深度CNN从GCP中受益。具体来说,我们从优化损失的Lipschitz性和梯度的预测性方面探讨了GCP对深度CNN的影响,并表明GCP可以使优化景观更加平滑,梯度更具预测性。此外,我们还讨论了深度CNN的GCP和二阶优化之间的联系。更重要的是,上述发现可以解释用于训练深度CNN的协方差池的几个优点,这些优点之前没有被认识到或充分探索,包括网络收敛的显著加速(即,用GCP训练的网络可以支持学习率的快速衰减,在显著减少训练时期的数量的同时实现有利的性能,对由图像破坏和扰动产生的失真示例具有更强的鲁棒性,并且对不同的视觉任务具有良好的泛化能力,例如,目标检测和实例分割。我们使用各种深度CNN模型对多样化的任务进行了广泛的实验,结果为我们的发现提供了强有力的支持。
2020-03-25 cs.CV
Tell Me What You See: Text-Guided Real-World Image Denoising
Tel Aviv University(特拉维夫大学)
针对极低光照下真实图像去噪难题,本文提出将摄影师可提供的文本场景描述作为额外先验,并利用文本引导扩散模型显著提升合成与真实图像的去噪重建性能。
2025-03-16 cs.CV eess.IV
What You See is What You Ask: Evaluating Audio Descriptions
CVIT, IIIT Hyderabad(计算机视觉与人工智能技术研究所,IIIT海得拉巴)
针对现有自动音频描述(AD)研究仅用裁剪片段和单参考评估的不足,该研究量化了AD创作的主观性,提出在数分钟连贯视频层面评估AD的ADQA问答基准,发现现有方法远逊于人工AD,并推出公开排行榜。
2025-10-01 cs.AI cs.CL cs.CV
Teaching Vision-Language-Action Models What to See and Where to Look
School of Electronic Information Engineering, Beihang University(北京航空航天大学电子信息工程学院);National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);DiDi(滴滴出行);State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络安全科学与技术学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
提出DriveTeach-VLA框架,通过驾驶感知视觉蒸馏和2D轨迹引导提示,教VLA模型关注驾驶相关区域,实现端到端自动驾驶轨迹预测,在NAVSIM和nuScenes上达到最优性能。
2026-07-03 cs.CV
What you get is not always what you see: pitfalls in solar array assessment using overhead imagery
Duke University(杜克大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
将小型分布式太阳能光伏(PV)阵列有效地整合到电网中需要获得高质量的数据:单个太阳能光伏阵列的位置和电力容量。不幸的是,国家级的小型太阳能光伏数据库并不存在;那些存在的数据库空间分辨率有限,通常汇总到州或国家一级。虽然已经发表了几种有前途的太阳能光伏探测方法,但评估这些模型性能的策略往往是高度异质性的研究。这些方法在能源评估实际应用中的比较结果具有挑战性,可能意味着报告的性能评估过于乐观。异质性有多种形式,我们在这项工作中探索了其中的每一种形式:空间聚合的水平,地面实况的验证,训练和验证数据集的不一致性,以及训练和验证数据来源的位置和传感器的多样性程度。对于每一个,我们从文献中讨论新兴的做法,以解决他们或建议未来的研究方向。作为我们调查的一部分,我们评估了两个大区域的太阳能光伏识别性能。我们的研究结果表明,传统的性能评估的太阳能光伏从卫星图像的自动识别可能是乐观的,由于在验证过程中的共同限制。这项工作的成果旨在为能源研究人员和专业人士提供信息,并促进自动化太阳能光伏评估技术的大规模实际应用。
2022-07-25 cs.CV
What is YOLOv5: A deep look into the internal features of the popular object detector
Huddersfield University(哈德斯菲尔德大学)
本研究全面分析了YOLOv5目标检测模型的架构、训练方法及性能,详细探讨了其关键组件与从Darknet到PyTorch的过渡,揭示了其在受限边缘部署场景中流行的原因。
2024-07-30 cs.CV
What have we learned from deep representations for action recognition?
TU Graz(格拉茨工业大学);York University, Toronto(多伦多约克大学);University of Oxford(牛津大学)
随着深度模型的成功导致其在计算机视觉的所有领域的部署,了解这些表示如何工作以及它们捕获了什么变得越来越重要。在本文中,我们通过可视化双流模型所学习的内容来揭示深度时空表示,以便识别视频中的动作。我们发现,本地检测器的外观和运动对象出现,形成分布式表示识别人类的行动。主要意见如下。首先,跨流融合能够学习真实的时空特征,而不是简单地分离外观和运动特征。其次,网络可以学习高度类特定的本地表示,也可以学习可以服务于一系列类的通用表示。第三,在整个网络的层次结构中,特征变得更加抽象,并且对数据的某些方面表现出越来越大的不变性,这些方面对所需的区别不重要(例如,不同速度下的运动模式)。第四,可视化不仅可以用来阐明学习的表示,而且还可以揭示训练数据的特性,并解释系统的失败案例。
2018-01-04 cs.CV
FrameOracle: Learning What to See and How Much to See in Videos
University of Science and Technology of China(中国科学技术大学)
提出FrameOracle轻量模块,预测相关帧及其数量,通过课程学习从弱代理信号到强监督,在多个VLM和基准上以更少帧数保持或提升精度。
2026-06-16 cs.CV
Seeing through the Human Reporting Bias: Visual Classifiers from Noisy Human-Centric Labels
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);Microsoft Research(微软研究院)
当人类注释者可以选择在图像中标记什么时,他们会对忽略什么和提及什么做出自己的主观判断。我们将这些嘈杂的“以人为中心”的注释称为表现出人类报告偏见。这种注释的示例包括在照片共享网站上或在包含图像标题的数据集中找到的图像标签和关键字。在本文中,我们使用这些嘈杂的注释学习视觉上正确的图像分类器。这样的注释不使用一致的词汇,并错过了大量的信息存在于图像中,但是,我们证明了这些注释中的噪声表现出结构,可以建模。我们提出了一种算法,以解耦人类的报告偏见从正确的视觉接地标签。我们的结果对于报告“图像中的内容”与“值得说的内容”具有高度的可解释性。“我们通过各种指标和数据集证明了该算法的有效性,包括MS COCO和Yahoo Flickr 100M。我们表现出显着的改进,传统算法的图像分类和图像描述,在某些情况下,现有的方法的性能增加一倍。
2016-04-12 cs.CV
Do You See What I See? Coordinating Multiple Aerial Cameras for Robot Cinematography
University of São Paulo(圣保罗大学);Carnegie Mellon University(卡内基梅隆大学)
空中摄影术大大扩展了电影制作人的能力。自主无人机(UAV)的最新进展进一步增加了航空摄像机的潜在影响,其系统可以在非结构化的混乱环境中安全地跟踪行动者。然而,专业制作需要同时使用多个摄像机来记录同一场景的不同视点,这些视点被实时的编辑成最终的镜头,或者在后期制作中。这种极端的动作协调对于无脚本的动作场景来说尤其困难,这是航空相机的常见用例。在这项工作中,我们开发了一个实时的多无人机协调系统,能够记录动态目标,同时最大限度地提高拍摄多样性,避免碰撞和相机之间的相互可见性。我们验证了我们的方法在多个杂乱的环境中的照片逼真的模拟器,并部署系统使用两个无人机在现实世界的实验。我们表明,我们的协调方案具有较低的计算成本,平均只需要1.17毫秒,计划在10秒的时间范围内的3架无人机的团队。补充视频:https://youtu.be/m2R3anv2ADE
2021-03-31 cs.CV cs.MA cs.RO
What You See Is What You Detect: Towards better Object Densification in 3D detection
针对3D检测中全形状补全误差上界高的问题,提出仅补全可见部分的WYSIWYD方法,由帧内视锥分割变换器和网格深度补全网络组成,在KITTI和NuScenes上提升性能达12.2%。
2023-11-14 cs.CV cs.RO
Where Am I and What Will I See: An Auto-Regressive Model for Spatial Localization and View Prediction
Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出自回归框架GST,通过相机分词联合建模单目相机位姿估计与新视图预测,证明两项任务协同优化可相互提升。
2024-10-24 cs.CV
What Affects Learned Equivariance in Deep Image Recognition Models?
Delft University of Technology(代尔夫特理工大学);Synerise
本文提出改进的等变性度量方法,发现习得平移等变性与ImageNet验证准确率相关,并证实数据增强、降低模型容量和卷积归纳偏置能提升神经网络中的习得等变性。
2023-04-07 cs.AI cs.CV
From Sora What We Can See: A Survey of Text-to-Video Generation
Newcastle University(纽卡斯尔大学)
本文以Sora为切入点开展文本生成视频领域综述,梳理相关算法分类、常用数据集与指标,指出领域挑战并提出未来研发方向。
2024-05-17 cs.AI cs.CV
What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs
University of California, San Diego(加利福尼亚大学圣迭戈分校);NVIDIA(英伟达)
本文提出将神经体渲染扩展至原始2D图像分辨率,采用基于学习的采样器减少5倍深度样本,实现全像素渲染并解析高保真3D几何,在FFHQ和AFHQ上达到SOTA。
2024-01-04 cs.AI cs.CV cs.GR
Seeing What a GAN Cannot Generate
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
尽管生成对抗网络(GANs)取得了成功,但模式坍塌仍然是GAN训练期间的一个严重问题。到目前为止,很少有工作集中在理解和量化哪些模式已经被模型丢弃。在这项工作中,我们可视化的模式坍塌在分布水平和实例水平。首先,我们部署了一个语义分割网络,将生成的图像中分割对象的分布与训练集中的目标分布进行比较。统计信息的差异揭示了被GAN忽略的对象类。第二,给定所识别的省略对象类,我们直接可视化GAN的省略。特别是,我们比较具体的差异,个别照片和他们的近似反演的GAN。为此,我们放松了反演问题,并解决了反演GAN层而不是整个生成器的易处理问题。最后,我们使用这个框架来分析最近在多个数据集上训练的几个GANs,并识别它们的典型故障案例。
2019-10-24 cs.CV cs.GR cs.LG
TeLL Me what you cant see
University of Padua(帕多瓦大学)
本文提出一种法医嫌疑人照片增强框架,通过可定制的数据增强生成高质量图像,在保持生物特征一致性的同时提升识别准确性和鲁棒性,适用于执法应用。
2025-03-25 cs.CV cs.CY
What's Cracking? A Review and Analysis of Deep Learning Methods for Structural Crack Segmentation, Detection and Quantification
Glasgow Caledonian University(格拉斯哥卡利多尼亚大学)
表面裂缝是潜在结构故障的一个非常常见的指标。它们的早期检测和监测是结构健康监测的重要因素。如果不加以处理,它们会随着时间的推移而变大,需要昂贵的维修或保养。随着计算机视觉和深度学习算法的最新进展,用于该监测过程的裂缝的自动检测和分割已成为人们感兴趣的主要课题。这篇综述旨在为研究人员提供利用深度学习的裂缝分析算法领域内已发表工作的概述。它概述了通过将计算机视觉算法应用于结构健康监测环境中的表面裂纹来解决的各种任务,并对最近进行裂纹分类,检测,分割和量化的完全,半和无监督方法进行了深入的评论。此外,本文还重点介绍了用于裂缝的流行数据集以及用于评估这些算法性能的指标。最后,潜在的研究差距进行了概述,并提供了进一步的研究方向。
2022-02-08 cs.CV
READ More than What You See: Reinforcement Learning for Accurate and Coherent Audio Description Generations
City University of Hong Kong(香港城市大学);Baidu Inc(百度公司);Tsinghua University(清华大学)
提出首个基于强化学习的音频描述生成框架READ,通过序列级优化和连贯性奖励,显著提升生成准确性与连贯性。
2026-06-23 cs.CV
Do You See What I Mean? Visual Resolution of Linguistic Ambiguities
MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
理解语言与整合通过感知获得的复杂上下文信息的能力密切相关。在这项工作中,我们提出了一个新的任务接地语言理解:消除歧义的一个句子给定的视觉场景,描绘了一个可能的解释,该句子。为此,我们引入了一个新的多模态语料库,包含歧义句,代表了广泛的句法,语义和话语的歧义,再加上视频,可视化的不同解释,为每个句子。我们通过扩展一个视觉模型来解决这个问题,该模型可以确定一个句子是否由视频描述。我们演示了如何调整这样的模型,以识别相同的基本句子的不同解释,允许在不同的歧义类型的统一的方式消除歧义的句子。
2016-03-26 cs.AI cs.CL cs.CV
What Do Compressed Deep Neural Networks Forget?
Google Brain(谷歌大脑);MILA(米拉研究所);Google(谷歌)
深度神经网络修剪和量化技术已经证明,有可能实现高水平的压缩,而对测试集精度的降低令人惊讶地小。然而,这种性能度量掩盖了模型压缩技术对不同类和图像影响的显著差异。我们发现,具有完全不同数量的权重的模型具有可比的顶线性能指标,但在数据集的一个狭窄子集上的行为差异很大。这个数据点的小子集,我们称之为修剪识别样本(PIE),系统地受到稀疏性的影响。压缩不成比例地影响数据分布的代表性不足的长尾上的模型性能。PIE对非典型或嘈杂的图像进行过度索引,这些图像对人类和算法进行分类都更具挑战性。我们的工作提供了对深度神经网络中容量的作用以及压缩所引起的权衡的直觉。考虑到压缩模型在野外的广泛部署,理解这种不同的影响至关重要。
2021-09-06 cs.AI cs.CV cs.HC
See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity
University of New South Wales(新南威尔士大学);CSIRO’s Data 61(联邦科学与工业研究组织数据61所);Lehigh University(理海大学);Neuroscience Research Australia(澳大利亚神经科学研究所)
最近的研究表明,使用一个两阶段的监督框架,以产生图像,描绘人类的感知视觉刺激的EEG,指的是EEG视觉重建。然而,它们无法再现精确的视觉刺激,因为决定合成图像是什么的是人类指定的图像注释,而不是它们的数据。此外,合成的图像往往受到噪声EEG编码和生成模型的不稳定训练的影响,使其难以识别。相反,我们提出了一个单阶段的EEG视觉检索范式,其中两种模式的数据是相关的,而不是他们的注释,使我们能够恢复确切的视觉刺激的EEG剪辑。我们最大限度地提高了互信息之间的EEG编码和相关的视觉刺激,通过优化的对比自我监督的目标,导致两个额外的好处。第一,它使EEG编码能够处理训练期间可见的视觉类别,因为学习并不针对类别注释。此外,模型不再需要生成视觉刺激的每个细节,而是专注于跨模态对齐并在实例级别检索图像,确保可区分的模型输出。实证研究进行了最大的单一主题EEG数据集,测量大脑活动引起的图像刺激。我们证明了所提出的方法完成了现有方法无法完成的实例级EEG视觉检索任务。我们还研究了一系列EEG和视觉编码器结构的影响。此外,对于一个主要研究的语义级脑电视觉分类任务,尽管不使用类注释,所提出的方法优于国家的最先进的监督脑电视觉重建方法,特别是在开放类识别的能力。
2022-08-18 cs.CV cs.HC cs.MM
What you see is what you get: Experience ranking with deep neural dataset-to-dataset similarity for topological localisation
University of Oxford(牛津大学);Oxa(Oxa公司)
提出基于Visual DNA的深度数据集相似性方法,通过比较神经元激活统计特征对视觉经验进行排序,实现无需真值的高效鲁棒拓扑定位。
2023-10-20 cs.CV cs.RO
What Can I Do Around Here? Deep Functional Scene Understanding for Cognitive Robots
University of Maryland(马里兰大学)
对于具有通过其末端执行器与物理环境交互的能力的机器人,理解周围场景不仅仅是图像分类或对象识别的任务。为了执行实际任务,机器人对视觉场景有功能性的理解是至关重要的。在这里,我们解决了从任意室内场景中定位和识别功能区域的问题,制定为基于两阶段深度学习的检测管道。一个新的场景功能测试床,这是从两个公开的室内场景数据集编译,用于评估。我们的方法在新的数据集上进行了定量评估,证明了从任意室内场景中有效识别功能区域的能力。我们还证明,我们的检测模型可以推广到新的室内场景,通过交叉验证它与来自两个不同的数据集的图像。
2016-02-02 cs.CV cs.RO
What can I do here? Leveraging Deep 3D saliency and geometry for fast and scalable multiple affordance detection
University of Bristol(布里斯托大学)
本文开发和评估了一种新的方法,允许在视觉恢复pointclouds的可扩展性和多实例的方式检测启示。我们的方法与其他方法相比具有许多优势,因为它基于高度并行化的一次性学习,在商品硬件中速度很快。该方法是混合的,因为它使用几何表示以及能够识别3D场景显著性的最先进的深度学习方法。几何组件允许紧凑和有效的表示,提高了深度网络架构的性能,而深度网络架构本身已经证明是不够的。此外,我们的方法不仅允许预测输入场景是否提供或不提供的相互作用,而且还允许这些相互作用发生的对象的姿势。我们的预测与众包的人类判断非常一致,因为它们以87%的概率被首选,显示出高的改进率,性能比仅深度学习的基线高出近四倍(4倍),并且比以前的技术快七倍(7倍)。
2018-12-03 cs.CV cs.RO
Explain What You See: Open-Ended Segmentation and Recognition of Occluded 3D Objects
Imperial College London(帝国理工学院);University of Groningen(格罗宁根大学)
Local-HDP(Local Hierarchical Dirichlet Process)是一种分层贝叶斯方法,最近被用于开放式3D对象类别识别。这种方法已被证明是有效的实时机器人应用。然而,该方法对高度遮挡不鲁棒。我们分两步解决这个限制。首先,我们提出了一种新的语义3D对象部分分割方法,具有本地HDP的灵活性。这种方法被证明是适合于开放式的情况下,3D对象或对象部分的数量是不固定的,可以随着时间的推移而增长。我们表明,所提出的方法具有较高的百分比,平均交叉工会,使用较少的学习实例。其次,我们将这种技术与最近推出的基于论证的在线增量学习方法相结合,从而使模型能够处理高度的遮挡。我们表明,由此产生的模型产生一组明确的解释的3D对象类别识别任务。
2023-01-17 cs.AI cs.CV
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
VCIP, CS, Nankai University(南开大学计算机科学与技术学院);Tongyi Lab, Alibaba Group(阿里云实验室);NKIARI, Shenzhen Futian(深圳福田国家信息研究所)
本文提出SWIM方法,通过对齐视觉和语言表示,仅从文本提示中实现细粒度物体理解,解决了传统方法需要显式视觉提示的问题,通过构建NL-Refer数据集和多层交叉注意力图提升文本-视觉对齐性能。
2026-05-18 cs.AI cs.CV cs.HC