What we see and What we don't see: Imputing Occluded Crowd Structures from Robot Sensing
Univ Rennes, Inria, CNRS, IRISA(雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、雷恩第一大学计算机科学研究所);CIMAT, A.C.(墨西哥数学研究中心)
我们认为,在拥挤的环境中的移动机器人的导航,其中车载传感的人群通常是有限的闭塞。我们解决的问题,推断人类占用的机器人周围的空间,在盲点,超出其传感能力的范围。这个问题是相当未探索的,尽管它对机器人人群导航的效率和安全性,这需要估计和预测周围的人群状态it.In这项工作中,我们提出了第一个解决方案的样本预测可能的人类存在的基础上的状态的一组较少的感知到的人周围的机器人以及以前的观察人群活动的重要影响。
2021-09-17 cs.CV cs.RO
Anime Style Space Exploration Using Metric Learning and Generative Adversarial Networks
University of Southern California(南加州大学);Pinscreen;USC Institute for Creative Technologies(南加州大学创意技术研究所)
基于深度学习的图像之间的风格转移最近已经成为一个热门的研究领域。对“风格”进行编码的常见方式是通过基于由某种预训练的神经网络或某种其他形式的特征统计提取的特征的格拉姆矩阵的特征表示。这样的定义是基于人为的武断决定,可能无法最好地捕捉风格的真正含义。为了更好地理解“风格”,我们提出了一种基于度量学习的方法来显式编码艺术品的风格。特别是,我们的风格的定义捕捉艺术家之间的差异,如分类性能所示,这样的风格表示可以解释,操纵和可视化通过风格调节图像生成通过生成对抗网络。我们运用这种方法来探索动漫肖像插图的风格空间。
2018-05-21 cs.CV stat.ML
What You Hear Is What You See: Audio Quality Metrics From Image Quality Metrics
University of Bristol(布里斯托尔大学);Universitat de Valencia(瓦伦西亚大学)
本研究提出利用图像感知度量通过频谱图评估音频质量,基于听觉与视觉神经机制相似性,并定制心理声学度量,在音乐数据集上验证了其与人类感知质量的相关性。
2023-08-30 cs.CV cs.LG cs.SD
What I See Is What You See: Joint Attention Learning for First and Third Person Video Co-analysis
Beihang University(北京航空航天大学);Hunan University(湖南大学);Peng Cheng Laboratory(鹏城实验室)
近年来,越来越多的视频被可穿戴相机从第一人称视角捕获。这种第一人称视频提供了除传统第三人称视频之外的附加信息,因此具有广泛的应用。然而,用于分析第一人称视频的技术可能与用于第三人称视频的技术根本不同,并且从两个视角探索共享信息甚至更加困难。在本文中,我们提出了一种新的方法,第一和第三人称视频共同分析。在我们的方法的核心是“联合注意”的概念,表示可学习的表示,对应于共享的注意区域在不同的观点,从而连接两个观点。为此,我们开发了一个具有三重损失的多分支深度网络,通过自监督学习从第一和第三人称视频中提取联合注意力。我们评估我们的方法在公共数据集上的跨视点视频匹配任务。我们的方法优于国家的最先进的定性和定量。我们还演示了如何学习联合注意可以通过一组额外的实验受益于各种应用程序。
2019-04-16 cs.CV
Deep Ensemble Art Style Recognition
School of Electrical and Computer Eng.(电气与计算机工程学院);National Technical University of Athens(雅典国立技术大学)
本文针对艺术风格识别,比较8种深度网络并提出堆叠集成方法,结合多模型特征与元分类器,在WikiArt上取得68.55%的最先进准确率。
2024-05-19 cs.AI cs.CV
What You See is What You Get: Principled Deep Learning via Distributional Generalization
EPFL(洛桑联邦理工学院);UC San Diego(加州大学圣地亚哥分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
在机器学习中,在训练时间和测试时间具有类似的行为$-$,我们称之为“所见即所得”(WYSIWYG)属性$-$。然而,使用标准随机梯度下降(SGD)训练的模型不一定具有此属性,因为它们的复杂行为(如鲁棒性或子群性能)在训练和测试时间之间可能会有很大差异。相比之下,我们证明了差分私有(DP)训练可证明确保了高级别的WYSIWYG属性,我们使用分布式泛化的概念对其进行量化。应用这种联系,我们引入了新的概念工具,通过将泛化问题减少到优化问题来设计深度学习方法:为了减轻测试时的不必要行为,可以证明在训练数据上减轻这种行为是足够的。通过应用这种新颖的设计原理,它绕过了SGD的“病态”,我们构建了简单的算法,在几个分布式鲁棒性应用中与SOTA竞争,显着提高了DP-SGD的隐私与不同影响的权衡,并减轻了对抗训练中的鲁棒过拟合。最后,我们还改进了DP,稳定性和分布推广的理论界限。
2022-10-17 cs.AI cs.CR cs.CV
I Know What You See: Power Side-Channel Attack on Convolutional Neural Network Accelerators
The Chinese University of Hong Kong(香港中文大学);Sangfor Technologies Inc.(深信服科技股份有限公司)
深度学习已成为各种感知问题的事实上的计算范式,包括许多隐私敏感应用,例如在线医学图像分析。毫无疑问,这些深度学习系统的数据隐私是一个严重的问题。与以往研究侧重于利用深度学习模型的隐私泄漏不同,本文提出了对深度学习模型实现的第一次攻击。具体来说,我们对基于FPGA的卷积神经网络加速器进行攻击,并且在不知道神经网络中的详细参数的情况下,我们设法从收集的功率迹线恢复输入图像。对于MNIST数据集,我们的功率侧信道攻击能够实现高达89%的识别准确率。
2019-11-29 cs.CV cs.LG
What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs
University of California, San Diego(加利福尼亚大学圣迭戈分校);NVIDIA(英伟达)
本文提出将神经体渲染扩展至原始2D图像分辨率,采用基于学习的采样器减少5倍深度样本,实现全像素渲染并解析高保真3D几何,在FFHQ和AFHQ上达到SOTA。
2024-01-04 cs.AI cs.CV cs.GR
Seeing What a GAN Cannot Generate
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
尽管生成对抗网络(GANs)取得了成功,但模式坍塌仍然是GAN训练期间的一个严重问题。到目前为止,很少有工作集中在理解和量化哪些模式已经被模型丢弃。在这项工作中,我们可视化的模式坍塌在分布水平和实例水平。首先,我们部署了一个语义分割网络,将生成的图像中分割对象的分布与训练集中的目标分布进行比较。统计信息的差异揭示了被GAN忽略的对象类。第二,给定所识别的省略对象类,我们直接可视化GAN的省略。特别是,我们比较具体的差异,个别照片和他们的近似反演的GAN。为此,我们放松了反演问题,并解决了反演GAN层而不是整个生成器的易处理问题。最后,我们使用这个框架来分析最近在多个数据集上训练的几个GANs,并识别它们的典型故障案例。
2019-10-24 cs.CV cs.GR cs.LG
GazeSAM: What You See is What You Segment
Northwestern University(西北大学)
本文提出 GazeSAM 系统,将眼动追踪获得的注视数据作为 SAM 的提示,实现放射科医生“所见即所分割”的实时医学图像自动分割。
2023-04-26 cs.CV
What does LIME really see in images?
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);LJAD(LJAD(暂缺通用中文名,保留原文));Polytech Nice(尼斯综合理工学院)
现代算法在某些计算机视觉任务(如物体识别)上的性能现在接近人类。这一成功是以依赖于数百万个参数的复杂架构为代价的,并且理解如何进行特定预测变得非常具有挑战性。可解释性方法就是为了给我们这种理解。在本文中,我们研究石灰,也许是最流行的。在理论方面,我们表明,当生成的例子的数量是大的,LIME解释集中在一个极限解释,我们给出了一个明确的表达。我们进一步研究基本形状检测器和线性模型。作为这种分析的结果,我们发现了LIME和综合梯度之间的联系,这是另一种解释方法。更确切地说,LIME解释类似于LIME的预处理步骤中使用的超像素上的积分梯度之和。
2021-07-25 cs.CV cs.LG
What You See is What You Classify: Black Box Attributions
Swiss Data Science Center(瑞士数据科学中心);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出训练第二个深度网络Explainer为预训练黑盒分类器生成掩码形式的归因,单次前向传播即可高效生成更清晰精确的特定类别掩码,在视觉和定量上优于现有方法。
2022-10-07 cs.AI cs.CV cs.LG
What You See is (Usually) What You Get: Multimodal Prototype Networks that Abstain from Expensive Modalities
Duke University(杜克大学);University of Maine(缅因大学)
本文提出了一种多模态原型网络,通过避免昂贵的遗传数据来提高物种检测的效率和可解释性。
2025-11-24 cs.CV
I see what you hear: a vision-inspired method to localize words
Apple(苹果公司)
本文探讨了使用视觉目标检测技术的语音数据中的单词定位的可能性。目标检测已经在当代文献中针对视觉数据进行了深入的研究。注意,音频可以被解释为一维图像,对象定位技术可以从根本上用于单词定位。基于这个想法,我们提出了一个轻量级的解决方案,字检测和定位。我们使用限界框回归进行单词本地化,这使我们的模型能够检测给定音频流中关键字的出现,偏移和持续时间。我们用LibriSpeech进行实验,并训练一个模型来本地化1000个单词。与现有的工作相比,我们的方法减少了94%的模型大小,并提高了6.5%的F1分数。
2022-10-24 cs.CV cs.LG cs.SD
See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity
University of New South Wales(新南威尔士大学);CSIRO’s Data 61(联邦科学与工业研究组织数据61所);Lehigh University(理海大学);Neuroscience Research Australia(澳大利亚神经科学研究所)
最近的研究表明,使用一个两阶段的监督框架,以产生图像,描绘人类的感知视觉刺激的EEG,指的是EEG视觉重建。然而,它们无法再现精确的视觉刺激,因为决定合成图像是什么的是人类指定的图像注释,而不是它们的数据。此外,合成的图像往往受到噪声EEG编码和生成模型的不稳定训练的影响,使其难以识别。相反,我们提出了一个单阶段的EEG视觉检索范式,其中两种模式的数据是相关的,而不是他们的注释,使我们能够恢复确切的视觉刺激的EEG剪辑。我们最大限度地提高了互信息之间的EEG编码和相关的视觉刺激,通过优化的对比自我监督的目标,导致两个额外的好处。第一,它使EEG编码能够处理训练期间可见的视觉类别,因为学习并不针对类别注释。此外,模型不再需要生成视觉刺激的每个细节,而是专注于跨模态对齐并在实例级别检索图像,确保可区分的模型输出。实证研究进行了最大的单一主题EEG数据集,测量大脑活动引起的图像刺激。我们证明了所提出的方法完成了现有方法无法完成的实例级EEG视觉检索任务。我们还研究了一系列EEG和视觉编码器结构的影响。此外,对于一个主要研究的语义级脑电视觉分类任务,尽管不使用类注释,所提出的方法优于国家的最先进的监督脑电视觉重建方法,特别是在开放类识别的能力。
2022-08-18 cs.CV cs.HC cs.MM
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University(清华大学)
最近的进展自动生成的图像字幕表明,它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中,我们提出了一个图像字幕系统,利用图像和句子之间的并行结构。在我们的模型中,生成下一个单词的过程,给定先前生成的单词,与视觉感知体验一致,其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动,编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息,从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试,并与几个流行数据集上发表的结果进行了对比。我们表明,使用基于区域的注意力或特定场景的背景下,改善系统没有这些组件。此外,结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
What You See is What You Read? Improving Text-Image Alignment Evaluation
Google Research(谷歌研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出SeeTRUE评估集及两种自动对齐判定方法,在文本-图像对齐任务上超越先前方法,并能定位错位与重排候选。
2023-12-26 cs.CL cs.CV
Can Current AI Models Count What We Mean, Not What They See? A Benchmark and Systematic Evaluation
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Stony Brook University(石溪大学)
本文提出PairTally基准数据集,用于评估细粒度意图驱动的视觉计数能力,发现当前最先进模型在视觉模糊场景下仍难以可靠计数用户意图所指的物体。
2025-09-17 cs.CV
Decoupling What to Count and Where to See for Referring Expression Counting
针对指代表达计数中模型因标注点位置忽略属性区域特征的问题,提出W2-Net框架,通过双查询机制解耦计数对象与观察区域,结合子类别可分离匹配策略,在REC-8K数据集上大幅提升计数与定位性能。
2025-10-28 cs.CV
Do you see what I see? An Ambiguous Optical Illusion Dataset exposing limitations of Explainable AI
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本文提出一个新颖的交织动物对视错觉数据集,通过识别注视方向和眼睛线索等视觉概念对模型准确性的影响,揭示了可解释AI在感知歧义上的局限性,为研究人机视觉偏差与对齐提供了基础。
2025-05-27 cs.AI cs.CV cs.LG
What You See is What You Ask: Evaluating Audio Descriptions
CVIT, IIIT Hyderabad(计算机视觉与人工智能技术研究所,IIIT海得拉巴)
针对现有自动音频描述(AD)研究仅用裁剪片段和单参考评估的不足,该研究量化了AD创作的主观性,提出在数分钟连贯视频层面评估AD的ADQA问答基准,发现现有方法远逊于人工AD,并推出公开排行榜。
2025-10-01 cs.AI cs.CL cs.CV
What You See is What You Get: Exploiting Visibility for 3D Object Detection
Carnegie Mellon University(卡内基梅隆大学);Argo AI
3D传感的最新进展为计算机视觉带来了独特的挑战。一个基本的挑战是为3D传感器数据找到良好的表示。大多数流行的表示(如PointNet)是在处理真正的3D数据(例如从网格模型中采样的点)的背景下提出的,忽略了3D传感器数据(如LiDAR扫描)实际上是2.5D的事实。我们认为,将2.5D数据表示为(x,y,z)点的集合从根本上破坏了关于自由空间的隐藏信息。在本文中,我们证明了这样的知识可以通过3D光线投射有效地恢复,并很容易纳入基于批处理的梯度学习。我们描述了一种简单的方法来增强基于体素的网络的可见性:我们添加一个体素化的可见性图作为额外的输入流。此外,我们表明,可见性可以结合两个关键的修改常见的国家的最先进的3D探测器:合成数据增强虚拟对象和时间聚合的激光雷达扫描在多个时间帧。在NuScenes 3D检测基准测试中,我们表明,通过添加额外的可见性输入流,我们可以显着提高最先进的3D检测器的整体检测精度。
2020-12-21 cs.CV cs.RO
A Powerful Generative Model Using Random Weights for the Deep Image Representation
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
深度可视化的成功在多大程度上是由于训练?我们可以使用未经训练的随机权重网络进行深度可视化吗?为了解决这个问题,我们使用未经训练的随机权重卷积神经网络为三个流行的深度可视化任务探索新的强大的生成模型。首先,我们反转特征空间中的表示,并从白噪声输入中重建图像。重建质量在统计上高于应用于具有相同架构的良好训练的网络的相同方法。接下来,我们使用多层表示的缩放相关性来合成纹理,我们的结果与原始自然纹理和基于训练网络的合成纹理几乎无法区分。第三,通过以各种艺术作品的风格重铸图像的内容,我们创建了具有高感知质量的艺术图像,与Gatys等人在预训练网络上的先前工作具有高度竞争力。据我们所知,这是第一次使用未经训练的深度神经网络进行图像表示。我们的工作提供了一个新的和迷人的工具来研究深度网络架构的表示,并揭示了对深度可视化的新理解。
2016-06-16 cs.CV cs.LG cs.NE
Tell Me What You See: Text-Guided Real-World Image Denoising
Tel Aviv University(特拉维夫大学)
针对极低光照下真实图像去噪难题,本文提出将摄影师可提供的文本场景描述作为额外先验,并利用文本引导扩散模型显著提升合成与真实图像的去噪重建性能。
2025-03-16 cs.CV eess.IV
Do You See What I See? Coordinating Multiple Aerial Cameras for Robot Cinematography
University of São Paulo(圣保罗大学);Carnegie Mellon University(卡内基梅隆大学)
空中摄影术大大扩展了电影制作人的能力。自主无人机(UAV)的最新进展进一步增加了航空摄像机的潜在影响,其系统可以在非结构化的混乱环境中安全地跟踪行动者。然而,专业制作需要同时使用多个摄像机来记录同一场景的不同视点,这些视点被实时的编辑成最终的镜头,或者在后期制作中。这种极端的动作协调对于无脚本的动作场景来说尤其困难,这是航空相机的常见用例。在这项工作中,我们开发了一个实时的多无人机协调系统,能够记录动态目标,同时最大限度地提高拍摄多样性,避免碰撞和相机之间的相互可见性。我们验证了我们的方法在多个杂乱的环境中的照片逼真的模拟器,并部署系统使用两个无人机在现实世界的实验。我们表明,我们的协调方案具有较低的计算成本,平均只需要1.17毫秒,计划在10秒的时间范围内的3架无人机的团队。补充视频:https://youtu.be/m2R3anv2ADE
2021-03-31 cs.CV cs.MA cs.RO
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
VCIP, CS, Nankai University(南开大学计算机科学与技术学院);Tongyi Lab, Alibaba Group(阿里云实验室);NKIARI, Shenzhen Futian(深圳福田国家信息研究所)
本文提出SWIM方法,通过对齐视觉和语言表示,仅从文本提示中实现细粒度物体理解,解决了传统方法需要显式视觉提示的问题,通过构建NL-Refer数据集和多层交叉注意力图提升文本-视觉对齐性能。
2026-05-18 cs.AI cs.CV cs.HC
What You See Is What You Detect: Towards better Object Densification in 3D detection
针对3D检测中全形状补全误差上界高的问题,提出仅补全可见部分的WYSIWYD方法,由帧内视锥分割变换器和网格深度补全网络组成,在KITTI和NuScenes上提升性能达12.2%。
2023-11-14 cs.CV cs.RO
What You See Is What Matters: A Novel Visual and Physics-Based Metric for Evaluating Video Generation Quality
Stanford University(斯坦福大学)
针对现有视频生成质量评估指标忽视人类视觉视角及物理一致性的问题,提出VAMP指标,通过外观分数(跨帧视觉一致性)和运动分数(物体运动真实性)评估视频,实验验证其相比传统方法更全面,能有效捕捉视觉保真度与时间一致性。
2024-11-24 cs.CV
Teaching Vision-Language-Action Models What to See and Where to Look
School of Electronic Information Engineering, Beihang University(北京航空航天大学电子信息工程学院);National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);DiDi(滴滴出行);State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络安全科学与技术学院);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
提出DriveTeach-VLA框架,通过驾驶感知视觉蒸馏和2D轨迹引导提示,教VLA模型关注驾驶相关区域,实现端到端自动驾驶轨迹预测,在NAVSIM和nuScenes上达到最优性能。
2026-07-03 cs.CV
What you get is not always what you see: pitfalls in solar array assessment using overhead imagery
Duke University(杜克大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
将小型分布式太阳能光伏(PV)阵列有效地整合到电网中需要获得高质量的数据:单个太阳能光伏阵列的位置和电力容量。不幸的是,国家级的小型太阳能光伏数据库并不存在;那些存在的数据库空间分辨率有限,通常汇总到州或国家一级。虽然已经发表了几种有前途的太阳能光伏探测方法,但评估这些模型性能的策略往往是高度异质性的研究。这些方法在能源评估实际应用中的比较结果具有挑战性,可能意味着报告的性能评估过于乐观。异质性有多种形式,我们在这项工作中探索了其中的每一种形式:空间聚合的水平,地面实况的验证,训练和验证数据集的不一致性,以及训练和验证数据来源的位置和传感器的多样性程度。对于每一个,我们从文献中讨论新兴的做法,以解决他们或建议未来的研究方向。作为我们调查的一部分,我们评估了两个大区域的太阳能光伏识别性能。我们的研究结果表明,传统的性能评估的太阳能光伏从卫星图像的自动识别可能是乐观的,由于在验证过程中的共同限制。这项工作的成果旨在为能源研究人员和专业人士提供信息,并促进自动化太阳能光伏评估技术的大规模实际应用。
2022-07-25 cs.CV
FrameOracle: Learning What to See and How Much to See in Videos
University of Science and Technology of China(中国科学技术大学)
提出FrameOracle轻量模块,预测相关帧及其数量,通过课程学习从弱代理信号到强监督,在多个VLM和基准上以更少帧数保持或提升精度。
2026-06-16 cs.CV
From Sora What We Can See: A Survey of Text-to-Video Generation
Newcastle University(纽卡斯尔大学)
本文以Sora为切入点开展文本生成视频领域综述,梳理相关算法分类、常用数据集与指标,指出领域挑战并提出未来研发方向。
2024-05-17 cs.AI cs.CV
Seeing through the Human Reporting Bias: Visual Classifiers from Noisy Human-Centric Labels
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);Microsoft Research(微软研究院)
当人类注释者可以选择在图像中标记什么时,他们会对忽略什么和提及什么做出自己的主观判断。我们将这些嘈杂的“以人为中心”的注释称为表现出人类报告偏见。这种注释的示例包括在照片共享网站上或在包含图像标题的数据集中找到的图像标签和关键字。在本文中,我们使用这些嘈杂的注释学习视觉上正确的图像分类器。这样的注释不使用一致的词汇,并错过了大量的信息存在于图像中,但是,我们证明了这些注释中的噪声表现出结构,可以建模。我们提出了一种算法,以解耦人类的报告偏见从正确的视觉接地标签。我们的结果对于报告“图像中的内容”与“值得说的内容”具有高度的可解释性。“我们通过各种指标和数据集证明了该算法的有效性,包括MS COCO和Yahoo Flickr 100M。我们表现出显着的改进,传统算法的图像分类和图像描述,在某些情况下,现有的方法的性能增加一倍。
2016-04-12 cs.CV
TeLL Me what you cant see
University of Padua(帕多瓦大学)
本文提出一种法医嫌疑人照片增强框架,通过可定制的数据增强生成高质量图像,在保持生物特征一致性的同时提升识别准确性和鲁棒性,适用于执法应用。
2025-03-25 cs.CV cs.CY
Do You See What I Mean? Visual Resolution of Linguistic Ambiguities
MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所)
理解语言与整合通过感知获得的复杂上下文信息的能力密切相关。在这项工作中,我们提出了一个新的任务接地语言理解:消除歧义的一个句子给定的视觉场景,描绘了一个可能的解释,该句子。为此,我们引入了一个新的多模态语料库,包含歧义句,代表了广泛的句法,语义和话语的歧义,再加上视频,可视化的不同解释,为每个句子。我们通过扩展一个视觉模型来解决这个问题,该模型可以确定一个句子是否由视频描述。我们演示了如何调整这样的模型,以识别相同的基本句子的不同解释,允许在不同的歧义类型的统一的方式消除歧义的句子。
2016-03-26 cs.AI cs.CL cs.CV
Where Am I and What Will I See: An Auto-Regressive Model for Spatial Localization and View Prediction
Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出自回归框架GST,通过相机分词联合建模单目相机位姿估计与新视图预测,证明两项任务协同优化可相互提升。
2024-10-24 cs.CV
What you see is what you get: Experience ranking with deep neural dataset-to-dataset similarity for topological localisation
University of Oxford(牛津大学);Oxa(Oxa公司)
提出基于Visual DNA的深度数据集相似性方法,通过比较神经元激活统计特征对视觉经验进行排序,实现无需真值的高效鲁棒拓扑定位。
2023-10-20 cs.CV cs.RO
READ More than What You See: Reinforcement Learning for Accurate and Coherent Audio Description Generations
City University of Hong Kong(香港城市大学);Baidu Inc(百度公司);Tsinghua University(清华大学)
提出首个基于强化学习的音频描述生成框架READ,通过序列级优化和连贯性奖励,显著提升生成准确性与连贯性。
2026-06-23 cs.CV
Explain What You See: Open-Ended Segmentation and Recognition of Occluded 3D Objects
Imperial College London(帝国理工学院);University of Groningen(格罗宁根大学)
Local-HDP(Local Hierarchical Dirichlet Process)是一种分层贝叶斯方法,最近被用于开放式3D对象类别识别。这种方法已被证明是有效的实时机器人应用。然而,该方法对高度遮挡不鲁棒。我们分两步解决这个限制。首先,我们提出了一种新的语义3D对象部分分割方法,具有本地HDP的灵活性。这种方法被证明是适合于开放式的情况下,3D对象或对象部分的数量是不固定的,可以随着时间的推移而增长。我们表明,所提出的方法具有较高的百分比,平均交叉工会,使用较少的学习实例。其次,我们将这种技术与最近推出的基于论证的在线增量学习方法相结合,从而使模型能够处理高度的遮挡。我们表明,由此产生的模型产生一组明确的解释的3D对象类别识别任务。
2023-01-17 cs.AI cs.CV