Rotation Adaptive Visual Object Tracking with Motion Consistency
Indian Institute of Space Science and Technology(印度空间科学技术研究院)
视觉目标跟踪的研究在过去的几年里有了很大的发展。跟踪范式中的检测跟踪方法的出现在许多方面都相当成功。最近,深度卷积神经网络已被广泛用于大多数成功的跟踪器。然而,标准方法是基于相关性或特征选择,对运动一致性考虑最少。因此,仍然需要通过运动一致性来捕获各种物理约束,这将提高准确性、鲁棒性以及更重要的旋转适应性。因此,本文的一个主要方面是研究旋转自适应视觉目标跟踪的结果。在其他关键贡献中,该论文还包括各种不同的方法,这些方法在许多具有挑战性的序列中比当前最先进的方法非常有效。
2017-11-22 cs.CV
A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning
Nanyang Technological University(南洋理工大学);The University of Sydney(悉尼大学);Tsinghua University(清华大学);The University of Queensland(昆士兰大学)
本文首次系统综述视觉强化学习中的数据增强技术,提出统一分析框架和分类法,并通过实证评估揭示如何利用增强数据提升样本效率与泛化能力。
2024-10-21 cs.AI cs.CV
Diffusion-Based Visual Art Creation: A Survey and New Perspectives
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本综述从艺术与技术双重视角探讨了基于扩散模型的视觉艺术创作领域,总结了其发展、技术挑战与应用,并展望了生成式AI改变艺术创作范式及增强人类创造力的未来方向。
2024-08-22 cs.AI cs.CV
Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting
本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题,提出Motion-as-Prompt框架,通过标记轨迹增强视觉提示,在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解
2026-08-13 cs.AI cs.CV
A Survey on Visual Anomaly Detection: Challenge, Approach, and Prospect
Huazhong University of Science and Technology(华中科技大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Youtu Lab, Tencent(腾讯优图实验室);Singapore Management University(新加坡管理大学)
本综述针对视觉异常检测(VAD)领域,梳理其研究背景与概念,指出训练数据稀缺、视觉模态多样、层级异常复杂三大挑战,从多维度分类阐述最新进展,并总结未来发展方向与核心贡献。
2024-01-29 cs.AI cs.CV
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China(电子科技大学)
视觉问答(VQA)是一项具有挑战性的任务,在计算机视觉和自然语言处理领域引起了越来越多的关注。但是,目前的视觉问答存在语言偏向的问题,降低了模型的鲁棒性,对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析,并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时,对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次,本文介绍了主要用于测试的数据集,并报告了各种现有方法的实验结果。最后,我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
TSOM: Small Object Motion Detection Neural Network Inspired by Avian Visual Circuit
Tsinghua University(清华大学);Zhengzhou University(郑州大学);Chinese Academy of Sciences(中国科学院);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文受鸟类Retina-OT-Rt视觉环路启发,提出TSOM神经网络,通过视网膜、SGC树突、SGC胞体和Rt四层结构实现复杂高空背景下的小目标运动检测,实验证明其具有生物学可解释性和有效性。
2024-04-01 cs.AI cs.CV
A Survey on Patients Privacy Protection with Stganography and Visual Encryption
在这项调查中,隐写术和视觉加密方法的三十个模型进行了讨论,以提供患者的隐私保护。
2022-01-23 cs.CV cs.MM
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia(西澳大利亚大学)
深度视觉模型在高风险领域有着广泛的应用。因此,它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查,重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献,我们不仅提供了现有技术的分类组织,而且还挖掘了一系列的评估指标,并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论,我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Survey of Visual Question Answering: Datasets and Techniques
Indian Institute of Technology Delhi(德里印度理工学院)
视觉问答是结合自然语言处理和计算机视觉技术的一个新的、令人兴奋的问题。我们提出了一个调查的各种数据集和模型,已用于解决这一任务。调查的第一部分详细介绍了VQA的各种数据集,并将它们与一些常见因素进行比较。本调查的第二部分详细介绍了VQA的不同方法,分为四种类型:非深度学习模型,无注意力的深度学习模型,有注意力的深度学习模型,以及不适合前三种模型的其他模型。最后,我们比较了这些方法的性能,并为未来的工作提供了一些方向。
2017-05-11 cs.AI cs.CL cs.CV
Deep Audio-Visual Learning: A Survey
Anhui University(安徽大学);University of the Chinese Academy of Sciences(中国科学院大学)
自深度学习开始成功使用以来,旨在利用音频和视觉模态之间的关系的视听学习引起了相当大的关注。研究人员倾向于利用这两种模式来提高以前考虑的单模态任务的性能,或解决新的挑战性问题。在本文中,我们提供了一个全面的调查最近视听学习发展。我们将当前的视听学习任务分为四个不同的子领域:视听分离与定位、视听对应学习、视听生成和视听表示学习。国家的最先进的方法,以及每个子字段的剩余挑战进行了进一步讨论。最后,我们总结了常用的数据集和性能指标。
2020-01-14 cs.CV
From Seeing to Moving: A Survey on Learning for Visual Indoor Navigation (VIN)
Arizona State University(亚利桑那州立大学)
视觉室内导航(VIN)任务已经引起了数据驱动的机器学习社区越来越多的关注,特别是最近报道的基于学习的方法的成功。由于这项任务的内在复杂性,研究人员试图从各种不同的角度来解决这个问题,其全部范围尚未在一份总体报告中得到体现。本调查首先总结了VIN任务的基于学习的方法的代表性工作,然后确定和讨论阻碍VIN性能的挥之不去的问题,以及激励未来的研究在这些关键领域值得探索的社会。
2022-07-02 cs.AI cs.CV cs.RO
Towards Visual Ego-motion Learning in Robots
Massachusetts Institute of Technology(麻省理工学院)
在过去的十年中,已经提出了许多基于模型的视觉里程计(VO)算法,通常限于相机光学器件的类型,或观察到的底层运动流形。我们设想机器人能够学习和执行这些任务,在最低限度的监督设置,因为他们获得更多的经验。为此,我们提出了一个完全可训练的解决方案,以视觉自我运动估计不同的相机光学。我们提出了一个视觉自我运动学习架构,通过混合密度网络(MDN)映射观察到的光流向量的自我运动密度估计。通过将该体系结构建模为条件变分自编码器(C-VAE),我们的模型能够为自我运动引起的场景流提供内省推理和预测。此外,我们提出的模型是特别适合自举自我运动学习的机器人在自我运动估计的监督,一个特定的摄像头传感器可以从标准的导航为基础的传感器融合策略(GPS/INS和车轮测距融合)。通过实验,我们展示了我们所提出的方法的实用性,使自主机器人的视觉自我运动估计的自监督学习的概念。
2017-05-29 cs.AI cs.CV cs.RO
Past and Future Motion Guided Network for Audio Visual Event Localization
近年来,视听事件本地化备受关注。它的目的是检测包含视听事件的片段,并从未经修剪的视频中识别事件类别。现有的方法利用音频引导的视觉注意力,使模型关注正在进行的事件的空间区域,致力于音频和视觉信息之间的相关性,而忽略了音频和空间运动之间的相关性。我们提出了一个过去和未来的运动提取(pf-ME)模块来挖掘视频中的视觉运动,嵌入到过去和未来的运动引导网络(PFAGN),和运动引导音频注意(MGAA)模块,以实现通过过去和未来的视觉运动聚焦在音频模态中的感兴趣的事件相关的信息。我们选择AVE作为实验验证数据集,实验表明,我们的方法在监督和弱监督设置中的性能优于最先进的。
2022-05-08 cs.CV
Visual Cue Integration for Small Target Motion Detection in Natural Cluttered Backgrounds
University of Lincoln(林肯大学);Guangzhou University(广州大学)
杂波背景下小目标的鲁棒检测对于未来人工视觉系统的搜索和跟踪应用具有重要意义。这种昆虫的视觉系统表现出了出色的能力,可以避开捕食者,找到猎物或识别同种-它们总是在视野中出现小的暗淡斑点。建立昆虫视觉通路的计算模型可以为检测运动小目标提供有效的解决方案。虽然已经提出了一些视觉系统模型,它们只利用小视场的视觉特征进行运动检测,其检测结果往往包含一些误报。为了解决这个问题,我们开发了一个新的视觉系统模型,用于小目标运动检测对杂乱的运动背景。与现有的模型相比,小视场和宽视场的视觉特征分别提取两个运动敏感的神经元检测小目标运动和背景运动。这两种类型的运动信息被进一步整合以滤除误报。大量的实验表明,该模型可以优于现有的模型的检测率。
2019-03-18 cs.CV
Visual Anomaly Detection for Images: A Survey
University of Chinese Academy of Sciences(中国科学院大学)
视觉异常检测是机器学习和计算机视觉领域的一个重要而又具有挑战性的问题。这个问题已经引起了相关研究界的相当大的关注。特别是近年来,深度学习的发展引发了人们对视觉异常检测问题的兴趣,并带来了各种新颖的方法。在本文中,我们对文献中用于视觉异常检测的经典方法和基于深度学习的方法进行了全面的调查。我们根据相关方法的基本原理对它们进行了分组,并仔细讨论了它们的假设、优点和缺点。我们的目的是帮助研究人员了解视觉异常检测方法的共同原则,并确定在这一领域有前途的研究方向。
2021-09-27 cs.CV
Visual Semantic Information Pursuit: A Survey
University of Surrey(萨里大学)
视觉语义信息包括两个重要部分:每个视觉语义单位的意义和这些视觉语义单位所传达的连贯的视觉语义关系。从本质上讲,前者是一个视觉感知任务,而后者对应于视觉上下文推理。由于深度学习的成功,视觉感知取得了显著的进步。而视觉语义信息追踪是一种结合视觉感知和视觉上下文推理的视觉场景语义解释任务,目前还处于初级阶段。它是许多不同的计算机视觉应用的核心任务,如目标检测,视觉语义分割,视觉关系检测或场景图生成。由于它有助于提高解释的准确性和一致性,视觉上下文推理通常与视觉感知结合在当前的深度端到端视觉语义信息追踪方法中。然而,对这一令人兴奋的领域的全面审查仍然缺乏。在本次调查中,我们为所有这些方法提供了统一的理论范式,然后概述了每个潜在方向的主要发展和未来趋势。介绍了常用的基准数据集、评价指标以及相应方法的比较。
2019-03-13 cs.CV
Motion and Context-Aware Audio-Visual Conditioned Video Prediction
National University of Singapore(新加坡国立大学)
本文将音视频条件视频预测解耦为运动与外观建模,利用音频-运动相关性预测光流,并通过运动记忆和上下文感知细化提升长期预测性能,在现有基准上取得有竞争力的结果。
2023-09-20 cs.CV
DL4SciVis: A State-of-the-Art Survey on Deep Learning for Scientific Visualization
University of Notre Dame(圣母大学)
自2016年以来,我们见证了人工智能+可视化(AI+VIS)研究的巨大增长。然而,现有的关于AI+VIS的调查论文集中在视觉分析和信息可视化上,而不是科学可视化(SciVis)。在本文中,我们调查了SciVis中的相关深度学习(DL)工作,特别是在DL4SciVis的方向:设计用于解决SciVis问题的DL解决方案。为了保持专注,我们主要考虑处理标量和矢量场数据但不包括网格数据的作品。我们从领域设置、研究任务、学习类型、网络结构、损失函数和评价指标六个维度对这些工作进行分类和讨论。本文最后讨论了剩余的差距,以填补沿所讨论的方面和重大挑战,我们需要解决作为一个社区。这项最先进的调查指导SciVis研究人员获得这一新兴主题的概述,并指出未来发展这项研究的方向。
2022-04-13 cs.AI cs.CV cs.GR
A Survey of Visual Sensory Anomaly Detection
Southern University on Science and Technology(南方科技大学);University of Surrey(萨里大学);Tencent(腾讯);Bielefeld University(比勒费尔德大学)
视觉异常检测是计算机视觉的一个重要问题,近年来随着人工智能的发展,视觉异常检测得到了迅猛发展。与在标签水平检测异常(语义偏移)的语义异常检测相比,视觉感知AD检测样本的异常部分(协变量偏移)。然而,没有提供全面的审查来总结计算机视觉社区的这一领域。在这次调查中,我们是第一个提供一个全面的审查视觉感觉AD和分类分为三个级别,根据异常的形式。此外,我们还根据监管级别对每种异常进行了分类。最后,我们总结了挑战,并为这个社区提供开放的方向。所有资源都可以在https://github.com/M-3LAB/awesome-visual-sensory-anomaly-detection上找到。
2022-02-14 cs.CV
MBA-VO: Motion Blur Aware Visual Odometry
ETH Zürich(苏黎世联邦理工学院);Microsoft Artificial Intelligence and Mixed Reality Lab(微软人工智能与混合现实实验室)
运动模糊是视觉里程计方法面临的主要挑战之一。在需要较长曝光时间的弱光条件下,即使相机运动相对较慢,也会出现运动模糊。在本文中,我们提出了一种新的混合视觉里程计管道与直接的方法,明确的模型和估计相机的局部轨迹内的曝光时间。这使我们能够主动补偿由于相机运动而发生的任何运动模糊。此外,我们还贡献了一个新的基准数据集的运动模糊感知视觉里程计。在实验中,我们表明,通过直接建模的图像形成过程中,我们能够提高鲁棒性的视觉里程计,同时保持可比的准确性,没有运动模糊的图像。
2021-03-25 cs.CV cs.RO
UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation
SJTU(上海交通大学)
UniMoCa是统一运动与相机控制的视觉代理框架,提出MCVP表征并构建MCVP-Video数据集,在Wan2.2 I2V上实现视频生成多方面性能提升且复杂度低
2026-08-04 cs.CV
Multivariate Spatial Data Visualization: A Survey
Zhejiang University(浙江大学)
多元空间数据在计算科学和工程模拟中起着重要的作用。多元数据中的潜在特征和隐藏关系可以帮助科学家深入理解科学过程,验证假设,并进一步发现新的物理或化学规律。在本文中,我们提出了一个全面的调查国家的最先进的多元空间数据可视化技术。本文首先介绍了多元空间数据的基本概念和特点,然后描述了多元空间数据可视化的三个主要任务:特征分类、融合可视化和相关性分析。最后,根据目前的研究现状,对多元数据可视化的研究方向进行了展望.
2019-08-18 cs.CV cs.HC
Survey of Visual-Semantic Embedding Methods for Zero-Shot Image Retrieval
Meisei University(明星大学)
视觉语义嵌入是一个有趣的研究课题,因为它是有用的各种任务,如视觉问答(VQA),图像-文本检索,图像描述,和场景图生成。在本文中,我们专注于zero-shot图像检索使用的句子作为查询,并提出了在这一领域的技术趋势的调查。首先,我们全面概述了该技术的历史,首先讨论了图像到文本匹配的早期研究以及该技术如何随着时间的推移而发展。此外,在实验中常用的数据集的描述和每种方法的评价结果的比较。我们还介绍了github上的实现,用于确认实验的准确性和进一步改进。我们希望这份调查报告将鼓励研究人员进一步发展他们对桥接图像和语言的研究。
2021-09-28 cs.CV
A Survey on Bias in Visual Datasets
CERTH-ITI(希腊研究与技术中心-信息技术研究所)
计算机视觉(CV)已经取得了显著的成果,在几项任务中超过了人类。尽管如此,如果处理不当,它可能会导致严重的歧视,因为CV系统高度依赖于它们所输入的数据,并且可以学习和放大这些数据中的偏差。因此,理解和发现偏见的问题至关重要。然而,目前还没有关于视觉数据集偏差的全面调查。因此,这项工作旨在:i)描述视觉数据集中可能出现的偏差; ii)回顾视觉数据集中偏差发现和量化方法的文献; iii)讨论收集偏差感知视觉数据集的现有尝试。我们研究的一个关键结论是,视觉数据集中的偏差发现和量化问题仍然是开放的,在这两种方法和可以解决的偏差范围方面都有改进的空间。此外,没有无偏差的数据集,因此科学家和从业者必须意识到数据集中的偏差,并将其明确化。为此,我们提出了一个清单,以发现不同类型的偏见在视觉数据集收集。
2022-06-23 cs.CV
Spatio-Temporal Feedback Control of Small Target Motion Detection Visual System
University of Lincoln(林肯大学);Guangzhou University(广州大学)
反馈对于动物视觉系统中的运动感知至关重要,其空间和时间动态通常由周围环境的运动模式形成。然而,这种时空反馈尚未被深入探讨,在设计神经网络,以检测小的运动目标,覆盖只有一个或几个像素的图像,而呈现非常有限的视觉功能。在本文中,我们解决小目标运动检测问题,通过开发一个视觉系统与时空反馈回路,并进一步揭示其在抑制假阳性背景运动,同时提高网络响应小目标的重要作用。具体来说,所提出的视觉系统是由两个互补的子网络。第一个子网络的目的是提取空间和时间的运动模式的杂乱背景的神经元集成编码。第二个子网络用于捕获小目标的运动信息,并整合来自第一个子网络的时空反馈信号以抑制背景误报。实验结果表明,提出的时空反馈视觉系统在识别复杂动态环境中的运动小目标方面比现有方法更具竞争力。
2022-11-18 cs.CV
Anomaly Detection in Road Traffic Using Visual Surveillance: A Survey
Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院)
计算机视觉在过去十年中已经发展成为许多应用的关键技术,取代了人类的监督。在本文中,我们提出了一个调查相关的视觉监控相关的研究异常检测在公共场所,主要集中在道路。首先,我们回顾了过去10年在这一领域进行的调查。由于一个典型的异常检测的基本组成部分是学习,我们强调更多的学习方法应用于视频场景。然后,我们总结了在过去六年中所做的重要贡献异常检测主要集中在功能,底层技术,应用场景和类型的异常使用单静态相机。最后,我们讨论了计算机视觉相关的异常检测技术的挑战和一些重要的未来的可能性。
2019-01-24 cs.CV
Survey of Recent Advances in Visual Question Answering
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Adobe Systems(Adobe 系统公司)
视觉问答(VQA)提出了一个独特的挑战,因为它需要理解和编码的多模态输入的能力-在图像处理和自然语言处理方面。该算法还需要学习如何在这种多模态表示上执行推理,以便正确回答问题。本文介绍了一个调查的不同方法,提出了解决问题的视觉问答。我们还描述了目前的艺术模型在后面的一部分文件。特别是,本文描述了各种算法提取图像特征,文本特征和这些被用来预测答案的方式所采取的方法。我们还简要讨论了评估VQA模型的实验,并报告了它们在不同数据集上的性能,包括新发布的VQA 2.0 [8]。
2017-09-24 cs.CV
A Survey on Data Curation for Visual Contrastive Learning: Why Crafting Effective Positive and Negative Pairs Matters
Yale University(耶鲁大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特校区)
本综述针对视觉对比学习中正负样本对设计影响表示质量等问题,构建现有正负样本对整理技术的分类体系并详细描述,助力优化对比预训练的有效性。
2025-02-12 cs.CV
Comparative survey of visual object classifiers
Universite Bourgogne - Franche-Comte(勃艮第-弗朗什孔泰大学)
视觉对象类的分类代表了计算机视觉中最复杂的领域之一。它总是具有挑战性的,以获得一个特定的检测器,描述符或分类器,提供预期的对象分类结果。因此,关键是要比较不同的检测,描述符和分类器方法,并选择一个或两个或三个的组合,以获得最佳结果。在本文中,我们提出了一个不同的特征描述符和分类器的比较调查。从特征描述符,SIFT(稀疏和密集)和HeuSIFT组合颜色描述符;从分类技术,支持向量分类器,K-最近邻,ADABOOST,和费舍尔在比较实际的实施调查。
2018-06-17 cs.CV eess.IV
Scene Motion Decomposition for Learnable Visual Odometry
Samsung AI Center Russia(三星俄罗斯人工智能中心)
光流(OF)和深度通常用于视觉里程计,因为它们提供了关于刚性场景中相机自运动的足够信息。我们重新制定的自我运动估计的问题作为一个问题的运动估计的三维场景相对于一个静态相机。整个场景运动可以表示为其可见点的运动的组合。使用OF和深度,我们根据6DoF来估计每个点的运动,并以运动图的形式表示结果,每个运动图都处理单个自由度。在这项工作中,我们提供运动地图作为输入到一个深度神经网络,预测场景运动的6DoF。通过我们对室外和室内数据集的评估,我们表明,与深度和OF的朴素堆叠相比,利用运动地图可以提高精度。我们工作的另一个贡献是一种新型的网络架构,它有效地利用了运动映射,并优于可学习的RGB/RGB-D基线。
2019-07-16 cs.CV
Integrating Motion into Vision Models for Better Visual Prediction
University of California San Diego(加州大学圣地亚哥分校)
我们展示了一种改进的视觉系统,它使用一种自监督的预测学习方法来学习其环境的模型。该系统包括一个云台相机,一个中央凹视觉输入,扫视反射伺服中央凹区域的预测误差高的地区,输入帧变换同步到相机的运动,和递归,分层机器学习技术的基础上的预测视觉模型。在早期的工作中,没有将摄像机运动集成到视觉模型中,预测受损,摄像机运动受到不希望的反馈效应。在这里,我们详细介绍了相机运动到预测学习系统的集成,并显示改进的视觉预测和扫视行为。从这些经验中,我们推测将额外的感觉和运动系统整合到自我监督的预测学习模型中。
2019-12-03 cs.CV
Bring Event into RGB and LiDAR: Hierarchical Visual-Motion Fusion for Scene Flow
Huazhong University of Science and Technology(华中科技大学);School of Artificial Intelligence and Automation(人工智能与自动化学院)
针对RGB与LiDAR直接融合场景流存在模态差距的问题,提出以事件为桥梁的分层视觉-运动融合框架,通过视觉、运动两阶段的同构空间互补融合提升场景流效果,经实验验证具有优越性。
2024-03-12 cs.CV
A Survey on Interpretability in Visual Recognition
本文综述了视觉识别中可解释性的发展,从意图、对象、呈现和方法学角度建立多维分类法,总结了关键评估指标,并探讨了多模态大语言模型的可解释性及实际应用。
2026-03-11 cs.CV
Visual Question Answering using Deep Learning: A Survey and Performance Analysis
Indian Institute of Information Technology(印度信息技术学院)
视觉问答(VQA)任务将处理数据的挑战与视觉和语言处理相结合,以回答有关给定图像的基本“常识”问题。给定图像和自然语言中的问题,VQA系统尝试使用图像的视觉元素和从文本问题收集的推断来找到其正确答案。在本次调查中,我们涵盖并讨论了VQA领域最近发布的数据集,这些数据集涉及各种类型的问题格式和机器学习模型的鲁棒性。接下来,我们将讨论新的深度学习模型,这些模型在VQA数据集上显示出有希望的结果。最后,我们给出并讨论了我们在vanilla VQA模型,Stacked Attention Network和VQA Challenge 2017获奖模型上计算的一些结果。我们还提供了详细的分析以及面临的挑战和未来的研究方向。
2020-12-23 cs.AI cs.CL cs.CV
3D Human Motion Prediction: A Survey
Jilin University(吉林大学);Zhejiang Gongshang University(浙江工商大学);Sichuan University(四川大学)
三维人体运动预测,即从给定的序列中预测未来的姿态,是计算机视觉和机器智能领域的一个重要课题,它可以帮助机器理解人类的行为。由于深度神经网络(DNN)的不断发展和理解以及大规模人体运动数据集的可用性,人体运动预测已经显着推进,学术界和工业界的兴趣激增。在此背景下,三维人体运动预测进行了全面的调查,回顾和分析现有文献中的相关工作的目的。此外,一个相关的分类,构建这些现有的方法进行分类的三维人体运动预测。在这项调查中,相关的方法分为三类:人体姿态表示,网络结构设计,和\textit{prediction target}。我们系统地回顾了自2015年以来人体运动预测领域的所有相关期刊和会议论文,并根据本次调查中提出的分类进行了详细介绍。在此基础上,分别对公共基准数据集、评价标准和性能比较进行了概述。最后讨论了现有方法的局限性,希望能为今后的探索铺平道路。
2022-03-07 cs.CV
Visual Affordance and Function Understanding: A Survey
University of New South Wales(新南威尔士大学);Data61-CSIRO(联邦科学与工业研究组织Data61);Australian National University(澳大利亚国立大学)
如今,机器人正在主导制造业,娱乐和医疗保健行业。机器人视觉旨在使机器人具有发现信息、理解信息并与环境交互的能力。这些功能需要一个代理,以有效地了解对象的启示和功能,在复杂的视觉领域。在这篇文献综述中,我们首先关注视觉启示,并总结了最新的技术水平以及开放的问题和研究空白。具体来说,我们讨论了子问题,如启示检测,分类,分割和高级推理。此外,我们涵盖功能场景理解和文献中使用的流行功能描述符。该调查还提供了必要的背景问题,揭示了其重要性,并强调了现有的挑战,供能和功能学习。
2018-07-18 cs.CV cs.RO
A Robust Visual System for Small Target Motion Detection Against Cluttered Moving Backgrounds
Guangzhou University(广州大学);University of Lincoln(林肯大学);Institute of Microelectronics of the Chinese Academy of Sciences(中国科学院微电子研究所)
在杂乱的运动背景下监视小物体是未来机器人视觉系统面临的一个巨大挑战。作为灵感的来源,昆虫非常善于寻找配偶和追踪猎物--它们总是在视野中呈现为小而暗的斑点。最近发现,昆虫对小目标运动的敏感性来自一类称为小目标运动检测器(STMD)的特定神经元。虽然已经提出了一些基于STMD的模型,这些现有的模型只使用运动信息的小目标检测和不能区分小目标的背景特征(称为假特征)的小目标。针对这一问题,提出了一种新的小目标运动检测视觉系统模型(STMD+),该模型由小眼、运动通道、对比度通道和蘑菇体4个子系统组成。与现有的基于STMD的模型相比,额外的对比度路径从亮度信号中提取方向对比度,以消除假阳性背景运动。蘑菇体将方向对比度和运动路径提取的运动信息集成在一起,用于小目标识别。大量的实验表明,显着的和一致的改进,建议的视觉系统模型比现有的STMD为基础的模型对假功能。
2019-04-08 cs.CV
Empowering Visually Impaired Individuals: A Novel Use of Apple Live Photos and Android Motion Photos
University of Delaware(特拉华大学)
针对视障人士拍摄图像质量欠佳的问题,本研究提倡使用Apple Live Photos和Android Motion Photos技术,实验证明其在物体分类和VideoQA任务中优于单帧图像。
2023-09-14 cs.CV
Visual Relationship Detection using Scene Graphs: A Survey
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
通过解码图像中描绘的视觉关系来理解场景一直是一个长期研究的问题。虽然深度学习的最新进展和深度神经网络的使用在许多任务上已经达到了接近人类的准确性,但在各种视觉关系检测任务中,人类和机器级别的性能之间仍然存在相当大的差距。早期的任务,如对象识别,分割和字幕,侧重于一个相对粗糙的图像理解的发展,最近已经引入了新的任务,以处理更精细的图像理解水平。场景图是一种更好地表示场景和其中存在的各种关系的技术。随着其在各种任务中的广泛应用,如视觉问答,语义图像检索,图像生成等,它已被证明是更深入和更好的视觉关系理解的有用工具。在本文中,我们提出了一个详细的调查场景图生成的各种技术,他们的功效表示视觉关系,以及它如何被用来解决各种下游任务。我们还试图分析该领域在未来可能取得进展的各种未来方向。作为第一篇对这一主题进行详细调查的论文之一,我们也希望对场景图进行简洁的介绍,并指导从业者开发应用方法。
2020-05-16 cs.CV
GSLAM: Initialization-robust Monocular Visual SLAM via Global Structure-from-Motion
Simon Fraser University(西蒙弗雷泽大学);Adobe Research(Adobe 研究院)
许多单目视觉SLAM算法都是从增量式运动恢复结构(SfM)方法衍生而来的。这项工作提出了一种新的单目SLAM方法,集成了全球SfM的最新进展。特别是,我们提出了两个主要的贡献视觉SLAM。首先,我们解决了视觉里程计问题的一种新的秩1矩阵分解技术,这是更强大的地图初始化的错误。其次,我们采用了最近的全局SfM方法的姿态图优化,这导致了一个多阶段的线性配方,使L1优化更好的鲁棒性假循环。这两种方法的组合生成更鲁棒的重建,并且比最近最先进的SLAM系统快得多(4倍)。我们还提出了一个新的数据集记录与地面实况摄像机运动的Vicon运动捕捉室,并比较我们的方法,它和现有的基准数据集上的系统。
2017-10-19 cs.CV
Visual Question Answering: A Survey of Methods and Datasets
The University of Adelaide(阿德莱德大学)
视觉问答(VQA)是一项具有挑战性的任务,越来越受到计算机视觉和自然语言处理界的关注。给定图像和自然语言中的问题,它需要对图像的视觉元素和一般知识进行推理以推断出正确的答案。在本调查的第一部分中,我们通过比较现代解决问题的方法来研究最先进的技术。我们分类的方法,他们的机制,以连接视觉和文本形式。特别是,我们研究了将卷积神经网络和递归神经网络相结合的常见方法,将图像和问题映射到一个共同的特征空间。我们还讨论了与结构化知识库接口的内存增强和模块化架构。在本调查的第二部分中,我们回顾了可用于训练和评估VQA系统的数据集。各种数据集包含不同复杂程度的问题,需要不同的推理能力和类型。我们深入研究的问题/答案对从视觉基因组项目,并评估的相关性的结构化注释的图像与场景图VQA。最后,我们讨论了有前途的未来方向的领域,特别是连接到结构化的知识库和使用自然语言处理模型。
2016-07-20 cs.CV
Robust Real-time RGB-D Visual Odometry in Dynamic Environments via Rigid Motion Model
Seoul National University(首尔大学)
本文提出了一种基于场景流更新刚体运动模型的动态环境下鲁棒实时的【形】视觉里程计。该算法包括空间运动分割和时间运动跟踪。空间分割首先通过使用基于网格的场景流生成几个运动假设,并对提取的运动假设进行聚类,分离彼此独立移动的对象。此外,我们使用一个双模式的运动模型,始终区分静态和动态部分的时间运动跟踪阶段。最后,该算法估计的相机的姿态,利用该区域分类为静态部分。为了评估动态刚性物体存在下的视觉里程计的性能,我们使用包含RGB-D图像和运动捕获数据的自收集数据集作为地面实况。我们比较我们的算法与最先进的视觉里程计算法。验证结果表明,该算法可以在动态环境中鲁棒和准确地估计相机的位姿。
2019-07-19 cs.CV cs.RO
SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation
The University of Hong Kong(香港大学);Ant Group(蚂蚁集团);Tongyi(通义);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Huazhong University of Science and Technology(华中科技大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
SynMotion通过联合语义指导和视觉适应,解决视频生成中语义与视觉信息的平衡问题,提出双嵌入语义理解机制和参数高效运动适配器,提升运动细节和时间一致性。
2026-04-28 cs.CV
Digital Twin Generation from Visual Data: A Survey
University of Bremen(不莱梅大学);Warsaw University of Technology(华沙技术大学);Bielefeld University(比勒菲尔德大学);Simon Fraser University(西蒙弗雷泽大学)
本文综述了从视觉数据生成数字孪生的最新方法,探讨了多种技术及其挑战,为实际应用提供了全面的视角。
2026-02-16 cs.CV
Deep Learning for Visual Speech Analysis: A Survey
National University of Defense Technology (NUDT)(国防科技大学);Naval University of Engineering(海军工程大学);Oulu University(奥卢大学)
本文综述了深度学习在视觉语音分析中的最新进展,涵盖基本问题、挑战、基准数据集、方法分类及性能,并指出研究空白与未来方向。
2024-03-14 cs.CV
MoGIC: Boosting Motion Generation via Intention Understanding and Visual Context
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有文本驱动运动生成方法在意图捕捉、视觉锚定上的不足,提出整合意图建模与视觉先验的MoGIC框架,搭配混合注意力机制,构建Mo440H基准,在多项任务上取得更优效果,推动可控运动合成与意图理解发展。
2025-10-03 cs.CV
Stereo-based Multi-motion Visual Odometry for Mobile Robots
Wuhan University(武汉大学)
随着计算机视觉的发展,视觉里程计被越来越多的移动机器人采用。然而,我们发现,不仅自己的姿势,但其他移动物体的姿势也是至关重要的机器人的决定。此外,当有明显的运动物体出现时,视觉里程计会受到很大的干扰。本文提出了一种基于立体视觉的多运动视觉里程计方法来获取机器人及其他运动物体的位姿。为了同时获得姿态,在传统的视觉里程计流水线中加入了连续运动分割模块和坐标转换模块。因此,所有移动对象的姿态可以被获取并转换到地面坐标系中。实验结果表明,所提出的多运动视觉里程计能有效消除运动目标对视觉里程计的影响,且每个运动目标的位置和方向RMSE(均方根误差)分别达到10 cm和3°。
2019-10-15 cs.CV cs.RO
Visual Looming from Motion Field and Surface Normals
Florida Atlantic University(佛罗里达大西洋大学)
隐现,传统上被定义为观察者视网膜中物体的相对膨胀,是感知威胁的基本视觉线索,可用于实现无碰撞导航。在本文中,我们推导出新的解决方案,获得视觉若隐若现定量从二维运动场产生的六个自由度的运动的观察者相对于一个局部表面在3D。我们还显示了视觉隐现和表面法线之间的关系。我们提出了新的方法来估计视觉若隐若现的光流空间导数,而不需要知道的范围。仿真结果表明,在一定的表面方向假设下,对投影的估计非常接近地面真实投影。此外,我们提出的视觉若隐若现的结果,使用真实的数据从KITTI数据集。并对这些方法的优点和局限性进行了讨论。
2022-10-20 cs.CV eess.IV
Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations
Tampere University(坦佩雷大学)
本文的目的是进行视听声声源分离,即~以基于声源的视频从混合物中分离分量音频。此外,我们的目标是查明输入视频序列中的源位置。最近的工作已经显示出令人印象深刻的视听分离结果时,使用源类型(例如人类演奏乐器)和预先训练的运动检测器(例如关键点或光流)的先验知识。然而,同时,这些模型也局限于某一特定的应用领域。在本文中,我们解决了这些限制,并作出以下贡献:i)我们提出了一个两阶段的架构,称为外观和运动网络(AMnet),其中的阶段专门用于外观和运动线索,分别。整个系统以自监督的方式进行训练:ii)引入音频-运动嵌入(AME)框架来显式地表示与声音相关的运动:iii)提出音频-运动Transformer结构,用于音频和运动特征的融合; iv)我们在两个具有挑战性的数据集上展示了最先进的性能(MUSIC-21和AVE),尽管我们不使用任何预先训练的关键点检测器或光流估计器。项目页面:https://ly-zhu.github.io/self-supervised-motion-representations
2021-04-17 cs.CV
Visual Prompting in Multimodal Large Language Models: A Survey
UC San Diego(加州大学圣地亚哥分校);Dartmouth College(达特茅斯学院);Rutgers University(罗格斯大学);UC Los Angeles(加州大学洛杉矶分校);Adobe Research(奥多比研究院);The University of New South Wales(新南威尔士大学);CSIRO’s Data61(联邦科学与工业研究组织Data61)
本文综述了多模态大语言模型中的视觉提示方法,涵盖提示分类、生成、组合推理及提示学习,并总结了提升模型对齐与感知的训练方法及未来展望。
2024-09-05 cs.CV cs.LG
Survey on the Analysis and Modeling of Visual Kinship: A Decade in the Making
Northeastern University(东北大学)
亲属关系识别是一个具有挑战性的问题,有许多实际应用。十年后取得了很大的进展和里程碑-我们现在能够调查研究并创造新的里程碑。我们回顾了公共资源和数据挑战,使许多人能够并激励他们在视觉领域自动亲属识别的观点上进行磨练。不同的任务描述的技术术语和语法一致的问题域和每个讨论和衡量的实用价值。国家的最先进的视觉亲属识别问题的方法,是否区分或产生,检查。作为其中的一部分,我们回顾了作为最近与2020年IEEE自动人脸和手势识别会议联合举行的数据挑战的一部分而提出的系统。我们以一致的方式为不同问题的进展状态建立据点。这项调查将成为今后十年工作的核心资源。为了十周年纪念,为各种基于亲属的任务提供了演示代码。通过视觉识别检测亲属并对亲属关系进行分类是一个在研究和实践中具有很高影响潜力的领域。
2021-02-24 cs.CV
Visual Text Meets Low-level Vision: A Comprehensive Survey on Visual Text Processing
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文全面综述视觉文本处理领域,提出层次化分类体系,分析文本特征集成方法,并基准测试现有技术,指出挑战与未来方向。
2024-02-05 cs.CV cs.LG
A Survey of Recent Advances and Challenges in Deep Audio-Visual Correlation Learning
INESC TEC;National Institute of Informatics(信息学研究所);ISEP, Polytechnic of Porto(波尔图理工学院ISEP);Graduate School of Advanced Science and Engineering, Hiroshima University(广岛大学先进科学与工程研究生院)
本文综述深度音视频相关性学习,梳理相关模型、任务范式、目标函数及可理解结构化知识的引导作用,并总结AVCL进展与未来方向。
2024-11-24 cs.AI cs.CV cs.MM