D-VAT: End-to-End Visual Active Tracking for Micro Aerial Vehicles
University of Perugia(佩鲁贾大学)
本文提出面向微型飞行器的端到端视觉主动跟踪方法D-VAT,基于深度强化学习直接由单目图像输出推力与角速度指令,在仿真和混合现实四旋翼平台上实现精确无碰撞跟踪并优于现有基线。
2024-04-07 cs.RO
The active visual sensing methods for robotic welding: review, tutorial and prospect
School of Computer Science and Technology, Huaibei Normal University(淮北师范大学计算机科学与技术学院)
本文系统综述了机器人焊接中的主动视觉感知方法,将其按用途分为焊缝跟踪、缺陷检测、三维熔池测量和路径规划四类,并提供三维标定教程及未来展望。
2024-03-06 cs.CV cs.RO
Integrating Audio-Visual Features for Multimodal Deepfake Detection
Cupertino High School(库比蒂诺高中);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
针对现有视听Deepfake检测方法常不及单模态分析的问题,提出结合细粒度识别与二分类、按单模态标签分四类的视听检测方法,提升域内和跨域检测性能。
2023-10-05 cs.CV
Integrating Motion into Vision Models for Better Visual Prediction
University of California San Diego(加州大学圣地亚哥分校)
我们展示了一种改进的视觉系统,它使用一种自监督的预测学习方法来学习其环境的模型。该系统包括一个云台相机,一个中央凹视觉输入,扫视反射伺服中央凹区域的预测误差高的地区,输入帧变换同步到相机的运动,和递归,分层机器学习技术的基础上的预测视觉模型。在早期的工作中,没有将摄像机运动集成到视觉模型中,预测受损,摄像机运动受到不希望的反馈效应。在这里,我们详细介绍了相机运动到预测学习系统的集成,并显示改进的视觉预测和扫视行为。从这些经验中,我们推测将额外的感觉和运动系统整合到自我监督的预测学习模型中。
2019-12-03 cs.CV
MASt3R-Fusion: Integrating Feed-Forward Visual Model with IMU, GNSS for High-Functionality SLAM
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院)
针对现有前馈点图回归SLAM未融合多传感器信息的不足,提出紧耦合IMU、GNSS的MASt3R-Fusion框架,通过分层因子图实现实时高精度全局一致建图,性能优于现有同类系统。
2025-11-16 cs.CV cs.RO
Food recognition and recipe analysis: integrating visual content, context and external knowledge
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所中国科学院智能信息处理重点实验室)
食物在我们个人和社会生活中的核心作用,再加上最近的技术进步,激发了人们对有助于更好地监测饮食习惯以及探索和检索食物相关信息的应用程序越来越感兴趣。我们回顾视觉内容,上下文和外部知识可以有效地集成到面向食品的应用程序,特别注重食谱分析和检索,食品推荐,和餐厅的背景下,作为新兴的方向。
2018-01-22 cs.CV cs.MM
2D GauSS-MI: Efficient Active Scene Reconstruction with Balanced Visual and Geometric Quality
The University of Hong Kong(香港大学)
提出基于2D高斯泼溅的主动重建框架,通过概率可靠性模型和互信息度量平衡视觉与几何质量,在八个Replica场景上以更低计算成本实现高效重建。
2026-09-21 cs.CV cs.RO
DBA-Fusion: Tightly Integrating Deep Dense Visual Bundle Adjustment with Multiple Sensors for Large-Scale Localization and Mapping
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院)
本文提出DBA-Fusion框架,通过因子图将深度稠密Bundle Adjustment与多传感器信息紧耦合,支持视觉-惯性融合及其他传感器集成,实现大规模环境下高精度实时稠密建图与定位。
2024-03-20 cs.CV cs.RO
Integrating Multiple Receptive Fields through Grouped Active Convolution
Korea Advanced Institute of Science and Technology(韩国科学技术院)
卷积网络在各种视觉任务中取得了巨大成功。这主要是由于对网络结构进行了大量的研究。在这项研究中,我们关注的不是架构,而是卷积单元本身。现有的卷积单元具有固定的形状,并且仅限于观察受限的感受野。在早期的工作中,我们提出了主动卷积单元(ACU),它可以自由定义其形状并自行学习。在本文中,我们提供了一个详细的分析,以前提出的单位,并表明它是一个有效的表示稀疏权重卷积。此外,我们将一个ACU扩展为一个分组的ACU,它可以在一个层中观察多个感受野。我们发现,一个天真的分组卷积的性能下降,通过增加组的数量;然而,所提出的单元保持准确性,即使参数的数量减少。在此基础上,我们提出了一种降维ACU,各种实验表明,我们的单元是有效的,可以取代现有的卷积。
2019-02-11 cs.CV
Improving the perception of visual fiducial markers in the field using Adaptive Active Exposure Control
Dartmouth College(达特茅斯学院)
针对水下光照剧烈变化导致视觉基准标记定位不准的问题,提出基于梯度的主动曝光控制方法,实验证明其显著提升AUV定位精度,可作为视觉状态估计的关键组件。
2024-04-18 cs.CV cs.RO
Visual saliency estimation by integrating features using multiple kernel learning
Hacettepe University(哈杰泰佩大学)
在过去的几十年里,通过不同的计算模型预测人类在哪里看图像已经取得了显著的成就。然而,如何确定不同的视觉特征对整体显著性的贡献仍然是一个悬而未决的问题。为了克服这个问题,最近一类模型将显著性估计公式化为监督学习问题,并相应地应用机器学习技术。在本文中,我们还解决了这个具有挑战性的问题,并提出使用多核学习(MKL)来结合来自不同特征维度的信息,并在中间级别进行整合。此外,我们建议使用最近提出的对象检测器的滤波器组的响应,称为对象库,作为额外的语义高级功能。在这里,我们表明,我们的MKL为基础的框架,以及提出的对象特定的功能提供了最先进的性能相比,SVM或AdaBoost为基础的显着性模型。
2013-07-22 cs.CV
PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures
Soochow University(苏州大学)
针对现有MLLM图像编码与提示词无关导致的信息缺失、冗余问题,提出PIP-MM框架,利用冻结LLM向量化提示词并经MLP对齐后替换图像编码器的class embedding,仅新增可训练MLP即可适配任意MLLM,在多基准上表现优异,减半视觉token仍能保持良好生成效果。
2024-10-30 cs.CV
Integrating Visual and Semantic Similarity Using Hierarchies for Image Retrieval
Laboratoire Interdisciplinaire des Environnements Continentaux, Université de Lorraine(洛林大学大陆环境跨学科实验室);Georgia Tech Europe(佐治亚理工学院欧洲校区);LTER- “Zone Atelier Moselle”(长期生态研究网络-“摩泽尔核心研究区”)
针对CBIR中视觉相似但语义不相关的检索问题,提出利用深度分类网络潜空间中类别重叠构建视觉层次,并将其融入距离度量,在CUB-200-2011、CIFAR100及硅藻显微图像用例中取得更优检索性能。
2023-08-16 cs.CV
Integrating both Visual and Audio Cues for Enhanced Video Caption
视频字幕是指为特定的短视频片段自动生成一个描述性的句子,近年来取得了显著的成功。然而,大多数现有的方法更多地关注视觉信息,而忽略了同步的音频线索。我们提出了三种多模态深度融合策略,以最大限度地发挥视听共振信息的优势。第一个探讨了从低阶到高阶对跨模态特征融合的影响。第二种方法通过共享相应前端网络的权值来建立视听短期依赖关系。第三个扩展的时间依赖性,长期通过共享多模态记忆跨视觉和听觉模态。大量的实验验证了我们的三个跨模态融合策略的有效性在两个基准数据集,包括微软研究视频到文本(MSRVTT)和微软视频描述(MSVD)。值得一提的是,共享权重可以有效地协调视听特征融合,并在BELU和METEOR指标上实现最先进的性能。此外,我们首先提出了一个动态的多模态特征融合框架,以处理部分模态丢失的情况。实验结果表明,即使在音频缺席模式下,我们仍然可以获得可比的结果与额外的音频模态推断模块的帮助。
2017-12-09 cs.CV
Integrating Scene Text and Visual Appearance for Fine-Grained Image Classification
Huazhong University of Science and Technology (HUST)(华中科技大学);EPITA Research and Development Laboratory(EPITA研发实验室);University of Rochester(罗切斯特大学)
自然图像中的文本包含丰富的语义,通常与对象或场景高度相关。在本文中,我们专注于充分利用场景文本的视觉理解的问题。其主要思想是将单词表示和深度视觉特征结合到一个全局可训练的深度卷积神经网络中。首先,通过场景文本阅读系统获得识别的单词。然后,我们将识别出的单词的词嵌入和深度视觉特征结合到一个单一的表示中,该表示由卷积神经网络进行优化,用于细粒度的图像分类。在我们的框架中,注意力机制被用来揭示每个识别词与给定图像之间的相关性,这进一步提高了识别性能。我们在两个数据集上进行了实验:Con-Text数据集和饮料瓶数据集,分别用于商业场所和饮料瓶的细粒度分类。实验结果一致表明,所提出的方法相结合的文本和视觉线索显着优于分类只有视觉表示。此外,我们已经表明,学习的表示提高了饮料瓶图像的检索性能的大幅度提高,使其在产品搜索中有潜在的用途。
2017-05-30 cs.CV
ActiveFreq: Integrating Active Learning and Frequency Domain Analysis for Interactive Segmentation
ActiveFreq结合主动学习与频域分析,通过AcSelect和FreqFormer提升交互分割的精度与效率,实现更少用户交互下的高质量标注。
2026-03-12 cs.CV
Integrating Semi-Supervised and Active Learning for Semantic Segmentation
University of Cambridge(剑桥大学);Cardiff University(卡迪夫大学)
本文提出一种结合改进半监督学习框架的新型主动学习方法,通过减少人工标注成本并提升模型性能。方法利用主动学习选择的标注数据和排除的未标注数据,通过伪标签自动校正模块提高分割精度。
2026-04-13 cs.AI cs.CV
Integrating Contextual Knowledge to Visual Features for Fine Art Classification
University of Bari Aldo Moro(巴里阿尔多·莫罗大学)
自动艺术品分析已经引起了模式识别和计算机视觉界日益增长的兴趣。然而,目前的大多数工作主要是完全基于数字化的艺术品图像,有时辅以一些元数据和文字评论。一个知识图谱,它整合了关于艺术品、艺术家、绘画流派等的丰富信息,可以为艺术领域中更强大的信息检索和知识发现工具提供有价值的资源。为此,本文提出了ArtGraph:一个基于WikiArt和DBpedia的艺术知识图谱。在Neo4j中实现的图已经提供了知识发现功能,而无需训练学习系统。此外,从图中提取的嵌入用于将“上下文”知识注入深度学习模型,以提高艺术品属性预测任务的准确性。
2021-09-28 cs.CV
Visual Framing of Science Conspiracy Videos: Integrating Machine Learning with Communication Theories to Study the Use of Color and Brightness
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Stanford University(斯坦福大学)
近年来,互联网上的科学阴谋视频呈爆炸式增长,挑战了科学认识论和公众对科学的理解。学者们已经开始研究阴谋信息中使用的说服技巧,如不确定性和恐惧,但对视觉叙事的了解甚少,特别是揭穿阴谋的视频与传播阴谋的视频中的视觉叙事如何不同。本文通过使用计算方法分析来自阴谋和反阴谋YouTube视频的数百万帧来解决理解阴谋视频中视觉框架的差距。我们发现阴谋视频倾向于使用较低的颜色变化和亮度,特别是在缩略图和视频的早期部分。本文还展示了研究人员如何在机器学习模型中整合文本和视觉特征,以研究社交媒体上的阴谋,并讨论了计算建模对数字时代有兴趣研究视觉操纵的学者的影响。本文提出的视觉和文本特征的分析可能是有用的,为未来的研究重点是设计系统,以确定互联网上的阴谋内容。
2021-11-18 cs.CV cs.LG cs.MM
PiLaMIM: Toward Richer Visual Representations by Integrating Pixel and Latent Masked Image Modeling
School of Computing(计算机学院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出PiLaMIM统一框架,通过单编码器与像素、潜在双解码器并引入CLS token,融合低层细节与高层语义,实验表明其在多数情况下优于MAE、I-JEPA和BootMAE。
2025-01-06 cs.CV
Integrating Boundary and Center Correlation Filters for Visual Tracking with Aspect Ratio Variation
Harbin Institute of Technology(哈尔滨工业大学);Dalian University of Technology(大连理工大学);The Hong Kong Polytechnic University(香港理工大学);University of California, Merced(加州大学默塞德分校)
纵横比变化是视觉跟踪中经常出现的问题,对跟踪性能有很大的影响。虽然许多相关滤波器(CF)为基础的跟踪器也被建议为规模自适应跟踪,很少有研究已经给出了处理纵横比的CF跟踪器的变化。在本文中,我们首次尝试通过引入一系列1D边界CF来定位视频中的左,右,顶部和底部边界来解决这个问题。这使得我们能够在跟踪过程中灵活地应对纵横比的变化。具体来说,我们提出了一种新的跟踪模型,集成1D边界和2D中心CF(IBCCF),其中边界和中心过滤器是由一个近正交正则化项。为了优化我们的IBCCF模型,我们开发了一个交替方向的乘数方法。在多个数据集上的实验表明,IBCCF可以有效地处理长宽比的变化,并在准确性和鲁棒性方面达到最先进的性能。
2017-10-05 cs.CV
T-Rex-Omni: Integrating Negative Visual Prompt in Generic Object Detection
针对开集目标检测中仅正提示易受视觉相似干扰物影响的问题,提出T-Rex-Omni框架,通过统一视觉提示编码器、NNC模块和NNH损失集成负视觉提示,提升零样本检测性能并缩小与文本提示方法的差距,在长尾场景表现突出。
2025-11-12 cs.CV
G2C: A Generator-to-Classifier Framework Integrating Multi-Stained Visual Cues for Pathological Glomerulus Classification
Peking University(北京大学);IBM Research - China(IBM中国研究院);Ant Financial Services Group(蚂蚁金融服务集团);IBM Research(IBM研究院);Johns Hopkins University(约翰斯·霍普金斯大学);National Clinical Research Center of Kidney Disease, Jinling Hospital(金陵医院国家肾脏疾病临床研究中心)
肾小球病理分型在肾病的诊断中起着关键作用。由于不同子类别之间的差异很微妙,医生经常参考不同染色方法的载玻片来做出决定。然而,在各种染色之间创建对应关系是劳动密集型的,这给收集数据和训练基于视觉的算法以辅助肾病诊断带来了重大困难。本文提供了一种替代的解决方案,整合多染色的视觉线索肾小球分类。我们的方法,命名为生成器到分类器(G2C),是一个两阶段的框架。给定来自指定染色剂的输入图像,首先应用几个生成器来估计其在其他染色方法中的外观,然后分类器结合来自不同染色剂的视觉线索进行预测(无论是病理性的,还是具有哪种类型的病理性)。我们以联合的方式优化这两个阶段。为了提供合理的初始化,我们在未配对的图像到图像翻译任务下在未标记的参考集中预训练生成器,然后将它们与分类器一起微调。我们在自己收集的肾小球类型分类数据集上进行实验(没有公开可用的数据集)。虽然联合优化稍微损害了生成的补丁的真实性,但它提高了分类性能,这表明更有效的视觉线索是以自动的方式提取的。我们还将我们的模型转移到乳腺癌分类的公共数据集上,并显着优于最先进的模型。
2019-03-07 cs.CV
LangXAI: Integrating Large Vision Models for Generating Textual Explanations to Enhance Explainability in Visual Perception Tasks
University of New Brunswick(新不伦瑞克大学);Quy Nhon AI, FPT Software(FPT软件公司归仁人工智能部门);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Software AG(软件AG公司)
LangXAI 框架将 XAI 与先进视觉模型结合,为分类、检测和分割任务生成文本解释,以高 BERTScore 验证其合理性,从而提升终端用户对视觉 AI 的理解与信任。
2024-02-19 cs.AI cs.CV
VILA-U: a Unified Foundation Model Integrating Visual Understanding and Generation
Tsinghua University(清华大学);MIT(麻省理工学院);NVIDIA(英伟达公司);UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校)
VILA-U是一个统一基础模型,通过单一自回归下一个token预测框架同时实现视觉与语言的理解与生成,省去扩散模型等额外组件,在简化结构的同时达到接近SOTA的性能。
2025-03-04 cs.CV cs.LG
Integrating Image Features with Convolutional Sequence-to-sequence Network for Multilingual Visual Question Answering
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本文针对多语言视觉问答任务,将预训练VQA模型提示和图像特征融入卷积序列到序列网络,在UIT-EVJVQA数据集上取得竞赛第三名。
2023-09-03 cs.CL cs.CV
HoughNet: Integrating near and long-range evidence for visual detection
Middle East Technical University(中东技术大学);Hacettepe University(哈塞特佩大学)
本文提出了HoughNet,一个单阶段,无锚,投票为基础的,自底向上的目标检测方法。受广义Hough变换的启发,HoughNet通过对某个位置的投票总和来确定该位置是否存在对象。基于对数极坐标投票场,从近距离和远距离位置收集投票。得益于这种投票机制,HoughNet能够整合近距离和远距离的、有类别条件的视觉识别证据,从而推广和增强当前的目标检测方法,这种方法通常只依赖于局部证据。在COCO数据集上,HoughNet的最佳模型实现了$46.4$ $AP$(和$65.1$ $AP_{50}$),在自下而上的目标检测方面与最先进的方法不相上下,并且优于大多数主要的一阶段和两阶段方法。我们进一步验证了我们的建议在其他视觉检测任务,即,视频对象检测,实例分割,3D目标检测和人体姿态估计的关键点检测的有效性,以及一个额外的“标签照片”图像生成任务,我们的投票模块的集成始终提高性能在所有情况下。代码可在https://github.com/nerminsamet/houghnet上获得。
2022-08-17 cs.CV
Integrating Reinforcement Learning with Visual Generative Models: Foundations and Advances
Institute of Artificial Intelligence (TeleAI)(人工智能研究所)
本文综述了将强化学习与视觉生成模型结合的方法,探讨了其在提升生成内容可控性、一致性和人类对齐方面的应用及未来研究方向。
2026-01-19 cs.CV
A Review on Visual Privacy Preservation Techniques for Active and Assisted Living
University of Alicante(阿利坎特大学)
本文综述了视觉隐私保护技术的发展现状,特别关注适用于主动和辅助生活(AAL)领域的技术。介绍了一种新的分类法,可以对最先进的视觉隐私保护方法进行分类。突出显示了分类法中的一个类别感知混淆方法。这些是一类视觉隐私保护技术,特别是当考虑到基于视频的AAL监控下的场景时。还探讨了针对机器学习模型的混淆。一个高层次的分类方案的不同层次的隐私设计连接到视觉隐私保护技术的拟议分类。最后,我们注意到在该领域存在的开放性问题,并向读者介绍了一些令人兴奋的途径,为未来的研究在视觉隐私领域。
2021-12-17 cs.CV
Integrating Language-Derived Appearance Elements with Visual Cues in Pedestrian Detection
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出利用大型语言模型从描述语料库中提取行人外观知识元素,并将其与视觉线索结合以增强行人检测,在CrowdHuman和WiderPedestrian两个基准上取得了最先进性能。
2024-04-30 cs.CV
A Real-Time Active Speaker Detection System Integrating an Audio-Visual Signal with a Spatial Querying Mechanism
Microsoft Corporation(微软公司)
本文提出一种面向低功耗边缘计算的实时因果神经网络主动说话人检测系统,利用视听信号与空间查询机制,在仅需127 MFLOPs/人的条件下实现优雅降级并有效处理多说话人复杂场景。
2023-09-15 cs.CV cs.LG cs.SD
Questions beyond Pixels: Integrating Commonsense Knowledge in Visual Question Generation for Remote Sensing
Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校);University of Tübingen(图宾根大学);Conservatoire National des Arts et Métiers(法国国立高等美术学院)
本文提出KRSVQG模型,通过整合常识知识和图像内容,生成丰富的问题以提升遥感图像的语义理解和应用。
2026-02-22 cs.CV
Embodied Visual Active Learning for Semantic Segmentation
Google(谷歌)
我们研究了具体的视觉主动学习的任务,其中一个代理设置为探索一个三维环境的目标,以获得视觉场景理解,积极选择的意见,要求注释。虽然在一些基准上是准确的,但今天的深度视觉识别管道在某些现实世界的场景中往往不能很好地推广,或者不寻常的观点。反过来,机器人感知需要针对移动系统操作的条件(包括杂乱的室内环境或不良照明)来改进识别能力的能力。这激发了所提出的任务,其中代理被放置在一个新的环境中,目的是提高其视觉识别能力。为了研究具体的视觉主动学习,我们开发了一个电池的代理-学习和预先指定的-和不同层次的知识的环境。代理配备了一个语义分割网络,并寻求获取信息的意见,移动和探索,以传播这些意见的附近的注释,然后通过在线再培训完善底层的分割网络。可训练的方法使用深度强化学习,其奖励函数平衡两个相互竞争的目标:任务性能,表示为视觉识别准确性,这需要探索环境,以及在主动探索期间请求的必要数量的注释数据。我们广泛评估建议的模型使用逼真的Matterport 3D模拟器,并表明,一个完全学习的方法优于可比的预先指定的同行,即使要求较少的注释。
2020-12-17 cs.CV
Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
本文提出Whisper-Flamingo,通过门控交叉注意力将视觉特征融入Whisper,在LRS2/LRS3上取得最先进AVSR性能,并支持多语言音视频识别与翻译。
2024-11-19 cs.CV cs.SD eess.AS
Sidekick Policy Learning for Active Visual Exploration
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院)
我们认为一个积极的视觉探索的情况下,代理必须智能地选择其相机运动,有效地重建整个环境,只有一个有限的一组狭窄的视野瞥见。虽然智能体在训练过程中对环境具有完全的可观察性,但一旦部署,它就只有部分可观察性,这受到它所看到的部分和允许的相机运动的限制。我们引入辅助策略学习来利用这种可观察性的不平衡。其主要思想是一个预备学习阶段,尝试简化版本的最终探索任务,然后通过奖励塑造或初始政策监督指导代理。为了支持解释所产生的政策,我们还开发了一种新的政策可视化技术。对360个场景和3D对象的主动视觉探索任务的结果表明,与现有方法相比,sidekicks始终提高了性能和收敛速度。代码,数据和演示都是可用的。
2018-07-29 cs.CV
ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR研究院)
提出主动声学采样任务及强化学习策略ActiveRIR,利用视听传感器引导智能体导航并确定最佳声学数据采样位置,以最少样本高效构建未映射室内环境的高质量声学模型。
2024-04-24 cs.CV cs.RO cs.SD
Act2See: Emergent Active Visual Perception for Video Reasoning
Carnegie Mellon University(卡内基梅隆大学);MIT(麻省理工学院)
本文提出Act2See框架,通过使VLMs在文本推理中主动交错视频帧,实现视频推理中的主动视觉感知,提升了推理质量并优于现有方法。
2026-05-03 cs.CV
VISTA: Internalizing Collective Visual Experience via On-Policy Distillation for Active Multimodal Agents
Tsinghua University(清华大学)
VISTA通过同策略蒸馏将同一输入的多轨迹视觉观察转化为共享监督,内化集体经验,提升主动多模态智能体的感知与推理性能。
2026-09-30 cs.CV
Active Object Localization in Visual Situations
Portland State University(波特兰州立大学);Santa Fe Institute(圣塔菲研究所)
我们描述了一种用于在视觉情况下执行对象的主动定位的方法。视觉情境是一个抽象的概念-例如,“拳击比赛”、“生日聚会”、“遛狗”、“等公共汽车”--这些图像实例更多地是通过它们共同的空间和语义结构而不是低级别的视觉相似性来联系的。我们的系统结合了特定情况的结构的给定和学习的知识,并将该知识适应于新的情况实例,因为它积极搜索对象。更具体地,系统学习描述相关对象之间的空间关系和其他关系的一组概率分布。系统使用这些分布来迭代地对测试图像上的对象提议进行采样,而且还连续地使用来自这些对象提议的信息来基于系统已经检测到的内容自适应地修改分布。我们测试我们的方法的能力,有效地定位对象,使用特定情况的图像数据集由我们的小组创建。我们比较了我们的方法的几个基线和变化的结果,并证明了使用情况知识和主动上下文驱动的本地化的强大优势。最后,我们将我们的方法与其他几种使用上下文以及主动搜索图像中的对象定位的方法进行对比。
2016-07-02 cs.CV
JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments
Monash University(莫纳什大学)
针对具身智能体在真实环境中因视野受限而缺乏主动证据获取的问题,提出JRDB-AVR基准和JRDB-AVR-Agent方法,通过图世界模型和求解实现主动视觉推理,实验显示当前模型存在答案与证据准确率差距,强调主动证据评估的必要性。
2026-10-27 cs.AI cs.CV cs.RO
Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
虽然在文本到图像合成方面已经做了很多研究,但很少有工作探索输入文本的语言结构的使用。这样的信息对于故事可视化甚至更重要,因为它的输入具有明确的叙事结构,需要被翻译成图像序列(或视觉故事)。在这个领域中的先前工作已经表明,在所生成的图像序列中在视觉质量、一致性和相关性方面有足够的改进空间。在本文中,我们首先探讨使用选区解析树使用基于transformer的递归架构编码结构化输入。其次,我们增加了结构化的输入与常识信息,并研究这种外部知识的视觉故事的生成的影响。第三,我们还通过边界框和密集字幕来整合视觉结构,以在双重学习设置中提供有关生成图像中的字符/对象的反馈。我们发现,在Visual Genome上训练的现成密集字幕模型可以改善来自不同目标域的图像的空间结构,而无需进行微调。我们使用故事内对比度损失(单词和图像子区域之间)对模型进行了端到端的训练,并在多个数据集的几个指标(和人工评估)中显示出显着的改进。最后,我们提供了一个分析的语言和视觉空间信息。代码和数据:https://github.com/adymaharana/VLCStoryGan。
2021-10-21 cs.AI cs.CL cs.CV
BAVS: Bootstrapping Audio-Visual Segmentation by Integrating Foundation Knowledge
University of Queensland(昆士兰大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);CSIRO(澳大利亚联邦科学与工业研究组织);Matrix Verse(矩阵宇宙)
针对现实场景中画外音、背景噪声干扰音频-视觉分割精准性的问题,提出两阶段自举框架BAVS,结合多模态基础知识与AVIS策略定位真实发声物体,在含噪场景下性能更优。
2023-08-20 cs.CV
Active Visual Exploration Based on Attention-Map Entropy
IDEAS NCBR;Jagiellonian University(雅盖隆大学);Warsaw University of Technology(华沙理工大学);Tooploox;Ardigen
本文提出注意力图熵(AME)方法,利用Transformer内部不确定性选择最具信息量的观测,无需额外损失即可简化训练,并在模拟视网膜传感器的实验中显著提升重建、分割和分类性能。
2023-08-08 cs.CV
Audio-Visual Activity Guided Cross-Modal Identity Association for Active Speaker Detection
University of Southern California(南加州大学)
视频中的主动说话人检测解决了将视频帧中可见的源面部与音频模态中的底层语音相关联的问题。导出这样的语音-面部关系的两个主要信息源是i)视觉活动及其与语音信号的交互,以及ii)说话者的身份以面部和语音的形式跨模态的共同出现。这两种方法都有其局限性:视听活动模型与其他频繁发生的声音活动(如大笑和咀嚼)混淆,而说话人的基于身份的方法仅限于具有足够消歧信息的视频,以建立语音-面部关联。由于这两种方法是独立的,我们在这项工作中研究它们的互补性。我们提出了一种新的无监督框架,以指导说话人的跨模态身份与视听活动的主动说话人检测。通过对来自两个基准数据集的娱乐媒体视频的实验,AVA主动说话人(电影)和视觉人物聚类数据集(电视节目),我们表明,这两种方法的简单后期融合提高了主动说话人检测性能。
2022-12-01 cs.CV cs.MM
Integrating Visual and X-Ray Machine Learning Features in the Study of Paintings by Goya
Centre for Visual Computing and Intelligent Systems(视觉计算与智能系统中心);University of Bradford(布拉德福德大学)
针对Goya画作真伪鉴定的计算挑战,提出一种对视觉和X射线图像应用相同特征提取与单类支持向量机的多模态机器学习框架,在24幅画作数据集上实现97.8%准确率,显著优于单模态方法。
2025-11-02 cs.CV cs.LG
TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning
Nanjing University(南京大学);Geely Automobile Research Institute (Ningbo) Co., Ltd.(吉利汽车研究院(宁波)有限公司);Goertek(歌尔股份有限公司)
TReVS提出无需训练的视觉令牌剪枝框架,融合文本相关性与视觉显著性,利用高方差注意力头,在LLaVA-1.5-7B上剪枝94.4%视觉令牌并保留92.8%性能。
2026-09-30 cs.AI cs.CV
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University(石溪大学)
针对部分可观测环境下主动视觉强化学习的双策略协调难题,提出SUGARL框架,以可学习的内在感觉运动奖励联合训练运动与感知策略,在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Active Learning for Visual Question Answering: An Empirical Study
Virginia Tech(弗吉尼亚理工大学);Georgia Tech(佐治亚理工学院)
我们提出了一个实证研究的主动学习视觉问答,其中一个深VQA模型从一个池中选择信息丰富的问题图像对和查询的答案,以最大限度地提高其性能在有限的查询预算。从人类学习中进行类比,我们探索了填鸭式(熵),好奇心驱动(预期模型变化)和目标驱动(预期错误减少)的主动学习方法,并提出了一种快速有效的目标驱动的主动学习评分函数,以在贝叶斯神经网络框架下为深度VQA模型选择问题图像对。我们发现,深度VQA模型需要大量的训练数据,然后才能开始提出信息性问题。但是,一旦它们这样做了,所有三种方法都优于随机选择基线,并实现了显着的查询节省。对于允许模型询问关于图像的一般问题但仅针对特定问题(例如,问题的答案是是或否),我们提出的目标驱动的评分功能表现最好。
2017-11-06 cs.CV
Active Visual Perception: Opportunities and Challenges
College of Computer Science and Engineering, Guilin University of Technology(桂林理工大学计算机科学与工程学院);New Engineering Industry College, Putian University(莆田大学新工程产业学院)
本文探讨了主动视觉感知在复杂环境中的应用与挑战,分析了其在机器人、自动驾驶等领域的潜力及面临的实时处理与多模态整合问题。
2026-10-16 cs.CV
AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention
LiAuto Inc.(LiAuto公司);Beijing University of Technology(北京理工大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对VLA模型忽视历史信息的问题,提出AVA-VLA框架,利用循环状态近似信念并引入主动视觉注意力动态重加权视觉令牌,在LIBERO和CALVIN等基准上取得最优性能。
2026-06-16 cs.CV cs.LG cs.RO
Toward Ambulatory Vision: Learning Visually-Grounded Active View Selection
KAIST(韩国科学技术院)
本文提出基于视觉的主动视角选择方法,通过仅利用当前图像中的视觉信息来选择最有信息量的视角,从而提升视觉问答的性能和泛化能力。
2025-12-15 cs.CV
Mind the GAP: Glimpse-based Active Perception improves generalization and sample efficiency of visual reasoning
IBM Research Europe(IBM欧洲研究院);Graz University of Technology(格拉茨工业大学)
受人类主动视觉理论启发,本文提出基于瞥视的主动感知(GAP)系统,通过利用瞥视位置及高分辨率视觉内容表征图像部分间关系,在多项视觉推理任务中实现了更高的样本效率和更好的分布外泛化性能。
2025-04-01 cs.CV
AVA-ActiveSpeaker: An Audio-Visual Dataset for Active Speaker Detection
Google AI Perception(谷歌AI感知部门)
主动说话者检测是视频分析算法的重要组成部分,适用于说话者日记化、会议视频重定位、语音增强和人机交互等应用。缺乏一个大的,仔细标记的视听数据集,这项任务的约束算法评估方面的数据多样性,环境和准确性。这使得比较和改进变得困难。在本文中,我们提出了AVA主动扬声器检测数据集(AVA-ActiveSpeaker),该数据集将公开发布,以促进算法开发并进行比较。该数据集包含视频中的时间标记的面部轨迹,其中每个面部实例被标记为说话或不说话,以及语音是否可听见。该数据集包含约365万个人类标记帧或约38.5小时的面部轨迹以及相应的音频。我们还提出了一种新的视听主动说话人检测方法,并分析了其性能,展示了其实力和数据集的贡献。
2019-05-25 cs.CV cs.MM cs.SD
Integrating Deep Metric Learning with Coreset for Active Learning in 3D Segmentation
UCLA(加利福尼亚大学洛杉矶分校);UC Berkeley(加利福尼亚大学伯克利分校);Horizon Robotics(Horizon Robotics(地平线机器人))
本文提出一种融合深度度量学习与Coreset的基于切片的主动学习方法,用于3D医学分割,在弱标注和完整标注下均优于现有方法,显著降低标注成本。
2024-11-24 cs.CV cs.LG