VisualWordGrid: Information Extraction From Scanned Documents Using A Multimodal Approach
Credit Agricole S.A(法国农业信贷银行)
我们介绍了一种新的方法,扫描文档表示执行字段提取。它允许在3轴张量中同时编码文本,视觉和布局信息,用作分割模型的输入。我们以几种方式改进了最近的Chargrid和Wordgrid \cite{chargrid}模型,首先考虑到视觉模态,然后通过提高其对小数据集的鲁棒性,同时保持较低的推理时间。我们的方法在公共和私人文档图像数据集上进行了测试,与最近的最先进的方法相比,表现出更高的性能。
2021-07-04 cs.CV cs.LG
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.(Sansan公司)
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题,本文探究多字段联合提取的优势,通过多模型与数据集实验验证其准确率提升效果,还分析了性能与字段数的关系并量化字段关联,为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
Bio-Inspired Representation Learning for Visual Attention Prediction
Northwestern Polytechnical University(西北工业大学);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
视觉注意力预测(VAP)是计算机视觉领域中一个重要而迫切的研究课题。现有的VAP方法大多基于深度学习。然而,他们没有充分利用低层次的对比度功能,同时产生的视觉注意力地图。提出了一种基于生物启发表示学习的视觉注意图生成方法。仿生表示学习同时结合了图像的低对比度和高语义特征,这是由于人眼对高对比度的图像块和高语义的图像对象非常敏感。该方法由三个主要步骤组成:1)特征提取,2)生物启发的表示学习和3)视觉注意图生成。首先,从改进的VGG 16中提取高级语义特征,而通过深度网络中的所提出的对比度特征提取块来提取低级对比度特征。其次,在生物启发的表示学习,无论是提取的低层次的对比度和高层次的语义特征相结合的设计密集连接的块,这是建议连接的各种功能规模的规模。最后,加权融合层被用来生成最终的视觉注意力地图的基础上获得的表示后,生物启发表示学习。大量的实验证明了该方法的有效性。
2021-03-09 cs.CV
MATrIX -- Modality-Aware Transformer for Information eXtraction
AWS AI(亚马逊云科技人工智能部门)
本文提出了一种用于可视化文档理解(VDU)领域的信息抽取的模态感知Transformer--MATrIX。VDU涵盖了从视觉丰富的文档中提取信息抽取,这些文档包括表单、发票、收据、表格、图表、演示文稿或广告。其中,文本语义和视觉信息相互补充,以提供对文档的全局理解。MATrIX以无监督的方式进行预训练,专门设计需要使用多模态信息(空间,视觉或文本)的任务。我们认为空间和文本模态一次在一个单一的令牌集。为了使注意更加灵活,我们在注意力机制中使用了一个学习到的模态感知相对偏差来调节不同模态的标记之间的注意。我们在3个不同的数据集上评估MATrIX,每个数据集都有很强的基线。
2022-05-17 cs.CV
Towards Robust Visual Information Extraction in Real World: New Dataset and Novel Solution
South China University of Technology(华南理工大学);Lenovo Research(联想研究院);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院);Xi’an Jiaotong University(西安交通大学)
视觉信息抽取(VIE)由于其在文档理解、自动阅卷、智能教育等方面的广泛应用,近年来引起了人们的广泛关注。现有的大多数工作都将该问题分解为文本检测和识别以及信息抽取等几个独立的子任务,在优化过程中完全忽略了它们之间的高度相关性。在本文中,我们提出了一个强大的视觉信息抽取系统(VIES)对现实世界的场景,这是一个统一的端到端的可训练的框架,同时文本检测,识别和信息抽取作为输入和输出的结构化信息。具体而言,信息抽取分支收集丰富的视觉和语义表示从文本识别多模态特征融合,反过来,提供更高层次的语义线索,有助于优化的文本识别。此外,针对公共基准测试的不足,我们构建了一个完全注释的数据集EPHOIE(https://github.com/HCIILAB/EPHOIE),这是第一个中文文本识别和视觉信息抽取基准测试。EPHOIE由1,494张具有复杂布局和背景的试卷头部图像组成,其中包括15,771个中文手写或打印文本实例。与最先进的方法相比,我们的VIES在EPHOIE数据集上表现出显着的优越性能,并在端到端场景下在广泛使用的SROIE数据集上实现了9.01%的F分数增益。
2021-01-24 cs.AI cs.CV cs.IR
Adaptive Substring Extraction and Modified Local NBNN Scoring for Binary Feature-based Local Mobile Visual Search without False Positives
The University of Tokyo(东京大学);KDDI R&D Laboratories, Inc.(KDDI研究与开发实验室);National Institute of Informatics(信息学研究所)
在本文中,我们提出了一个独立的移动视觉搜索系统的基础上二进制特征和袋视觉词框架。本研究的贡献是三方面的:(1)我们提出了一种自适应子串提取方法,自适应地从原始二进制向量中提取信息位,并将其存储在倒排索引中。这些子字符串用于优化基于视觉单词的匹配。(2)在图像检索的背景下,提出了一种改进的局部NBNN评分方法,该方法在对每个特征匹配进行评分时考虑了二值特征的密度。(3)为了抑制误报,我们引入了一个凸性检查步骤,对变换后的参考图像的配置施加凸性约束。与传统方法相比,该系统在不增加数据库大小的情况下,检索精度提高了11%。此外,我们的系统与凸性检查不会导致假阳性结果。
2016-10-20 cs.CV
Few-Shot Relation Extraction with Hybrid Visual Evidence
Virginia Tech(弗吉尼亚理工大学)
针对纯文本少样本关系抽取在上下文不足时性能受限的问题,提出MFS-HVE多模态模型,融合全局与局部视觉特征及文本语义,并通过三类注意力实现交互,实验证明视觉信息可显著提升关系预测性能。
2024-03-01 cs.CL cs.CV
TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院)
最近,从视觉丰富的文档(例如,门票和简历)由于其广泛的商业价值而成为热门和重要的研究课题。大多数现有的方法将此任务分为两个子部分:文本读取部分,用于从原始文档图像中获取纯文本;信息抽取部分,用于提取关键内容。这些方法主要侧重于改善第二部分,而忽略了这两个部分是高度相关的。本文提出了一个统一的端到端的信息抽取框架,从视觉丰富的文件,文本阅读和信息抽取可以加强通过一个精心设计的多模态上下文块。具体而言,文本阅读部分提供多模态特征,如视觉、文本和布局特征。开发多模态上下文块以融合所生成的多模态特征,甚至融合来自预训练的语言模型的先验知识,以更好地进行语义表示。信息抽取部分负责生成融合了上下文特征的关键内容。该框架可以以端到端的可训练方式进行训练,实现全局优化。更重要的是,我们定义和组视觉丰富的文档分为四个类别,跨越两个维度,布局和文本类型。对于每一个文献类别,我们都提供或推荐了相应的基准、实验设置和强基线,以弥补该研究领域缺乏统一评价标准的问题。在四种基准测试(从固定布局到可变布局,从全结构化文本到半非结构化文本)上的实验结果表明了该方法的有效性。数据,源代码和模型都是可用的。
2022-07-14 cs.CV
Video Event Extraction via Tracking Visual States of Arguments
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
视频事件提取的目的是从视频中检测出显著事件,并识别每个事件的论点以及它们的语义角色。现有的方法侧重于捕捉每帧的整体视觉场景,忽略了细粒度的参数级信息。受事件作为状态变化的定义的启发,我们提出了一种新的框架来检测视频事件,通过跟踪所有涉及的参数的视觉状态的变化,预计将提供最翔实的证据提取视频事件。为了捕捉参数的视觉状态变化,我们将它们分解为对象内像素的变化、对象的位移以及多个参数之间的交互。我们进一步提出了对象状态嵌入,对象运动感知嵌入和参数交互嵌入来编码和跟踪这些变化。各种视频事件提取任务的实验表明,显着的改进相比,国家的最先进的模型。特别是在动词分类上,我们在视频情景识别的F1@5中获得了3.49%的绝对增益(19.53%的相对增益)。
2022-11-05 cs.CL cs.CV
Local Visual Microphones: Improved Sound Extraction from Silent Video
Sharif University of Technology(谢里夫理工大学);University of Tehran(德黑兰大学)
声波引起附近物体的微小振动。文献中存在一些可以从视频中提取声音的技术。在本文中,我们研究在不同的图像位置的局部振动模式。我们表明,在图像中的不同位置振动不同。我们仔细地聚合局部振动,并产生一个声音质量,提高国家的最先进的。我们表明,局部振动可能有一个时间延迟,因为声波需要时间在空气中传播。我们利用这种现象来估计声音的方向。我们还提出了一种新的算法,加快了两到三个数量级的声音提取,并在20KHz的视频达到实时性能。
2018-01-29 cs.CV
Seeing through bag-of-visual-word glasses: towards understanding quantization effects in feature extraction methods
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
矢量量化的局部特征,经常使用的视觉词袋的方法是流行的视觉识别系统的骨干,由于其简单性和性能。尽管它们取得了成功,但词袋直方图基本上包含低级图像统计(例如,不同取向的边缘的数量)。问题仍然是有多少视觉信息是“量化损失”时,映射视觉特征的代码字?为了回答这个问题,我们提出了一个深入的分析,局部特征量化对人类识别性能的影响。我们的分析是基于恢复的视觉信息,通过反转量化的本地功能,并提出这些可视化与不同的码本大小的人类观察者。虽然特征反转技术已经存在了很长一段时间,但据我们所知,我们的技术是第一个可视化的技术,特别是特征量化的效果。因此,我们现在能够将常见图像分类流水线中的单步的与人类对应物进行比较。
2014-08-20 cs.CV
Training-free Quantum-Inspired Image Edge Extraction Method
National Institute of Technology Raipur(赖布尔国家理工学院)
针对现有边缘检测方法依赖训练或抗噪性差的问题,提出一种融合Sobel、Schrödinger波动方程及Canny-Laplacian算子的免训练量子启发模型,在多个数据集上达到最先进指标并具备强鲁棒性。
2025-01-31 cs.CV
ViStruct: Visual Structural Knowledge Extraction via Curriculum Guided Code-Vision Representation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
提出ViStruct训练框架,利用编程语言结构表示视觉信息并结合课程学习,提升视觉语言模型对多粒度视觉结构知识的抽取与理解能力。
2023-11-22 cs.CL cs.CV cs.LG
Human-Inspired Social Engagement Analysis via Interpretable Mutual Visual Attention
DIBRIS-Università degli Studi di Genova(热那亚大学DIBRIS学院);MaLGa - Machine Learning Genoa center(马耳他热那亚机器学习中心);Istituto Italiano di Tecnologia(意大利技术研究院)
该研究提出受互视觉注意心理学启发的可解释社交参与模型,结合头部姿态估计与几何推理,通过定量实验和定性可视化验证,可支持相关人员理解群体互动动态。
2026-08-26 cs.CV
Fast Cylinder and Plane Extraction from Depth Cameras for Visual Odometry
University of Surrey(萨里大学)
本文介绍了CAPE,一种从有组织的点云中提取平面和圆柱体片段的方法,该方法通过在平面单元格的网格上操作,以平均300 Hz的频率在单个CPU核心上处理640 x480深度图像。虽然,与最先进的平面提取相比,CAPE的延迟更一致并且快4-10倍,这取决于场景,但我们还根据经验证明,将CAPE应用于视觉里程计可以改善由圆柱形表面(例如隧道)组成的场景上的轨迹估计,而使用不知道曲线的平面提取方法会降低这些场景上的性能。为了在视觉里程计中使用这些几何基元,我们提出将基于点、线和平面的概率RGB-D里程计框架扩展到圆柱基元。在此框架下,CAPE在融合深度图上运行,并且对圆柱体的参数进行概率建模,以考虑不确定性并相应地对姿态优化残差进行加权。
2018-07-05 cs.CV cs.RO
Identify, locate and separate: Audio-visual object extraction in large video collections using weak supervision
Technicolor(特艺集团)
我们解决了弱标记数据的视听景物分析问题。为此,我们建立在我们以前的视听表示学习框架,在嘈杂的声学环境中进行对象分类,并集成音频源增强功能。这是可能的,通过一种新的使用非负矩阵分解的音频模态。我们的方法是建立在多实例学习范式。它的有效性是通过对具有挑战性的乐器表演视频数据集的实验来建立的。我们还显示了令人鼓舞的视觉对象定位结果。
2018-11-09 cs.CV cs.NE
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University(西安交通大学)
本文提出AVSepChain,将音视频目标语音提取分为语音感知与生成两阶段,通过交换音视频模态主导地位并引入对比语义匹配损失,缓解模态不平衡,在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Mask-Guided Feature Extraction and Augmentation for Ultra-Fine-Grained Visual Categorization
Griffith University(格里菲斯大学)
在细粒度视觉分类(FGVC)问题得到了很大发展的同时,超细粒度视觉分类(Ultra-FGVC)问题的研究还比较少。FGVC的目标是对来自相同物种的对象进行分类(非常相似的类别),而Ultra-FGVC的目标是以超细粒度对图像进行分类的更具挑战性的问题,即使是人类专家也可能无法识别视觉差异。Ultra-FGVC面临的挑战主要来自两个方面:一是由于训练样本的缺乏,Ultra-FGVC经常会出现过拟合问题;二是图像之间的类间方差比正常的FGVC任务小得多,这使得很难为每个类学习区分性特征。为了解决这些问题,本文提出了一种基于掩模引导的特征提取和特征增强方法,用于提取图像中具有鉴别力和信息量的区域,然后将这些区域用于增强原始特征图。该方法的优点在于,特征检测与提取模型只需要少量的目标区域样本进行训练,就可以在数据集中自动定位大量图像的目标区域,且检测精度较高。在两个公共数据集和十个最先进的基准方法上的实验结果一致地证明了所提出的方法在视觉和定量上的有效性。
2021-09-16 cs.CV
BI AVAN: Brain inspired Adversarial Visual Attention Network
Northwestern Polytechnical University(西北工业大学);University of Georgia(佐治亚大学);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
视觉注意是人脑中的一种基本机制,它启发了深层神经网络中注意力机制的设计。然而,大多数的视觉注意研究采用眼动追踪数据,而不是直接测量大脑活动来表征人类的视觉注意。此外,在人类视觉系统中,注意相关的物体和注意忽略的背景之间的对抗关系没有得到充分利用。为了弥合这些差距,我们提出了一种新的大脑启发的对抗性视觉注意力网络(BI-AVAN),直接从功能性大脑活动来表征人类的视觉注意力。我们的BI-AVAN模型模仿注意力相关/被忽视的对象之间的有偏竞争过程,以识别和定位人脑以无监督方式关注的电影帧中的视觉对象。我们使用独立的眼动跟踪数据作为基础事实进行验证,实验结果表明,我们的模型在推断有意义的人类视觉注意力和映射大脑活动与视觉刺激之间的关系时,取得了稳健和有希望的结果。我们的BI-AVAN模型有助于利用大脑的功能架构来激发和指导人工智能(AI)中的模型设计的新兴领域,例如,深度神经网络。
2022-10-27 cs.CV
Brain-inspired algorithms for processing of visual data
University of Twente(特文特大学)
对大脑视觉系统的研究引起了许多神经科学家的关注和兴趣,他们导出了组成视觉系统的某些类型神经元的计算模型,这些发现启发了图像处理和计算机视觉的研究人员利用这些模型来解决视觉数据处理问题。在本文中,我们回顾了图像处理和计算机视觉的方法,其设计是基于神经科学的发现,一些神经元在视觉皮层的功能。此外,我们分析了大脑视觉系统的层次组织与卷积网络(ConvNets)结构之间的联系。我们特别注意的一些神经元,提供视觉系统的变化输入刺激的稳定性提高的反应抑制的机制,并讨论其实施图像处理运营商和ConvNets。
2021-03-02 cs.CV eess.IV
Information Extraction from Visually Rich Documents with Font Style Embeddings
BNP Paribas(法国巴黎银行)
从文档中提取信息抽取是一个广泛的研究领域,具有广泛的工业应用。当前最先进的方法集中在扫描文档上,其方法结合了计算机视觉、自然语言处理和布局表示。我们建议挑战计算机视觉的使用,在这种情况下,令牌风格和视觉表示(即原生PDF文档)。我们在三个真实世界的复杂数据集上的实验表明,在LayoutLM模型中使用基于令牌样式属性的嵌入而不是原始视觉嵌入是有益的。根据数据集的不同,这样的嵌入会使加权F1分数提高0.18%到2.29%,而模型的最终可训练参数数量减少30.7%,从而提高效率和有效性。
2022-08-12 cs.CL cs.CV
Distributed Algorithms for Feature Extraction Off-loading in Multi-Camera Visual Sensor Networks
KTH Royal Institute of Technology(瑞典皇家理工学院)
实时视觉分析任务,如跟踪和识别,需要快速执行计算密集型算法。视觉传感器网络可以通过用处理节点增强传感器网络并以相机竞争处理节点同时试图最小化其任务完成时间的方式分配计算负担来执行这样的任务。在本文中,我们制定的问题最小化的所有摄像机传感器的完成时间作为一个优化问题。我们提出了完全分布式优化的算法,分析了平衡分配的存在,评估网络拓扑结构和视频特性的影响,以及中央协调的好处。我们的研究结果表明,有足够的信息,分布式优化可以提供较低的完成时间,此外,可预测的和稳定的性能可以实现额外的,稀疏的中央协调。
2017-05-15 cs.CV
EATEN: Entity-aware Attention for Single Shot Visual Text Extraction
Baidu Inc.(百度公司)
从图像中提取实体是许多OCR应用程序的关键部分,例如卡片,发票和收据的实体识别。现有的研究大多采用经典的检测和识别范式。本文提出了一个具有感知能力的注意力文本提取网络EATEN,它是一个端到端的可训练系统,可以在不进行任何后处理的情况下提取实体。在所提出的框架中,每个实体分别由其对应的实体感知解码器解析。此外,我们创新性地引入了一种状态转换机制,进一步提高了实体提取的鲁棒性。考虑到缺乏公共基准,我们构建了一个包含三个真实场景(训练票,护照和名片)的近60万张图像的数据集,该数据集可在https://github.com/beacandler/EATEN上公开获得。据我们所知,EATEN是第一个从图像中提取实体的Single Shot方法。在这些基准上进行的大量实验证明了EATEN的最新性能。
2019-09-20 cs.CV
Good Deep Features to Track: Self-Supervised Feature Extraction and Tracking in Visual Odometry
Chair of Cyber-Physical-Systems(网络物理系统教授职位);Institute of Automatic Control(自动控制研究所);Faculty of Mechanical Engineering(机械工程学院);RWTH Aachen University(亚琛工业大学)
针对视觉里程计在复杂环境下特征提取与跟踪性能下降的问题,提出利用任务特定反馈的自监督学习方法,增强深度特征的稳定性与信息量,提升泛化能力与可靠性。
2025-09-10 cs.CV cs.RO
Domain-Invariant Per-Frame Feature Extraction for Cross-Domain Imitation Learning with Visual Observations
UNIST(蔚山科学技术院);KAIST(韩国科学技术院)
针对视觉观测跨域模仿学习的挑战,提出DIFF-IL方法,通过单帧域不变特征提取、帧级时间标记技术提升任务性能,实验验证其在复杂视觉任务中的有效性。
2025-02-14 cs.AI cs.CV cs.LG
MoMuSE: Momentum Multi-modal Target Speaker Extraction for Real-time Scenarios with Impaired Visual Cues
The Hong Kong Polytechnic University(香港理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对真实场景中视觉线索受损导致AV-TSE稳定性下降的问题,提出MoMuSE模型,通过在记忆中保留动态更新的说话人身份动量并结合视觉线索引导,实现实时且显著改善的目标说话人语音提取。
2025-03-31 cs.CV cs.MM cs.SD
VCSE: Time-Domain Visual-Contextual Speaker Extraction Network
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);National University of Singapore(新加坡国立大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
说话人提取试图在多说话人场景中提取目标语音,并给出辅助参考。这种参考可以是听觉的,即,预先录制的语音、视频,即,嘴唇的运动,或上下文,即,语音序列不同模态的参考语提供了不同的互补信息,这些信息可以融合在一起,形成对目标说话者的自上而下的注意。以前的研究已经在一个单一的模型中引入了视觉和上下文模态。在本文中,我们提出了一个两阶段的时域视觉上下文说话人提取网络命名为VCSE,它结合了视觉和自我登记的上下文线索,逐步充分利用每一个模态。在第一阶段,我们预提取目标语音与视觉线索和估计潜在的语音序列。在第二阶段,我们细化预提取的目标语音与自注册的上下文线索。在真实世界唇读句子3(LRS3)数据库上的实验结果表明,我们提出的VCSE网络始终优于其他最先进的基线。
2022-10-09 cs.CL cs.CV cs.SD
Improving Visual Feature Extraction in Glacial Environments
University of Arizona(亚利桑那大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
冰川科学可以从自主机器人中受益匪浅,但以前的冰川机器人在这些无色和无特征的环境中存在感知问题,特别是视觉特征提取。这意味着视觉里程计和视觉导航失败。冰川学家使用近红外图像来揭示雪和冰的潜在异质空间结构,我们的理论是,这种隐藏的近红外结构可以产生比可见光更多和更高质量的特征。我们带着一个定制的摄像机去了山上的冰屋洞。去圣海伦斯验证我们的理论。相机装备包含两个相同的机器视觉相机,其中一个配备了多个滤光片,只能看到近红外光。我们提取的功能,从短视频剪辑内的冰屋洞在山。St. Helens,使用三种流行的特征提取器(FAST,SIFT和SURF)。我们量化的视觉导航的功能和质量的数量,通过比较得到的方向估计地面真相。我们的主要贡献是使用近红外长通滤波器,以提高视觉功能的数量和质量在冰冷的地形,无论使用的特征提取器。
2019-11-30 cs.CV cs.RO
Scalable Visual Attribute Extraction through Hidden Layers of a Residual ConvNet
University of Chile(智利大学);Snap Research(Snap 研究院);Impresee Inc.(Impresee 公司)
视觉属性在基于图像检索的实际应用中起着至关重要的作用。例如,从图像中提取属性允许电子商务搜索引擎产生具有更高精度的检索结果。构建属性提取器的传统方式是通过训练具有固定数量的类的基于convnet的分类器。然而,这种方法并不适用于属性数量频繁变化的实际应用程序。因此,在这项工作中,我们提出了一种从图像中提取视觉属性的方法,利用一般卷积网络隐藏层的学习能力来区分不同的视觉特征。我们使用在Imagenet上训练的resnet-50进行实验,我们评估其不同块的输出以区分颜色和纹理。我们的研究结果表明,第二块的resnet是适当的区分颜色,而第四块可以用于纹理。在这两种情况下,实现的属性分类的准确率优于93%。我们还表明,所提出的嵌入在底层特征空间中形成了局部结构,这使得可以应用诸如UMAP之类的缩减技术,保持高精度并广泛地减小特征空间的大小。
2021-03-31 cs.CV
Training-Free Neural Matte Extraction for Visual Effects
Google(谷歌);Google Research(谷歌研究院)
提出一种基于深度图像先验的免训练高质量神经蒙版提取方法,利用倒数第二层表示插值trimap约束,专门解决视觉特效制作中主体多变且缺乏训练数据的问题,并能保持视频时间一致性。
2023-06-29 cs.CV
Looking Beyond Corners: Contrastive Learning of Visual Representations for Keypoint Detection and Description Extraction
Technical University of Munich(慕尼黑工业大学)
可学习的关键点检测器和描述符开始优于传统的手工特征提取方法。最近关于视觉表示的自监督学习的研究推动了基于深度网络的可学习模型的性能不断提高。通过利用传统的数据增强和单应性变换,这些网络学会在极端光照变化等不利条件下检测角点。然而,它们的泛化能力仅限于通过经典方法或合成生成的数据先验检测到的角状特征。在本文中,我们提出了对应网络(CorrNet),它可以学习检测可重复的关键点,并通过空间约束下的无监督对比学习来提取有区别的描述。我们的实验表明,CorrNet不仅能够检测低级别的特征,如角点,而且还能够通过我们提出的联合引导反向传播其潜在空间来检测代表一对输入图像中相似对象的高级特征。我们的方法在视点变化下获得了有竞争力的结果,并在光照变化下获得了最先进的性能。
2022-07-11 cs.CV
Automatic Image Content Extraction: Operationalizing Machine Learning in Humanistic Photographic Studies of Large Visual Archives
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学);Finnish Environment Institute(芬兰环境研究所)
将机器学习工具应用于数字化图像档案,有可能彻底改变人文和社会科学中视觉研究的定量研究。能够处理比传统方法多百倍的照片,并使用广泛的变量来分析它们,将有助于更深入地了解材料。总的来说,这些变化将有助于将工作流程从简单的手动任务转移到要求更高的阶段。在本文中,我们介绍了自动图像内容提取(AICE)框架的机器学习为基础的搜索和分析的大型图像档案。我们开发了一个多学科的研究项目的框架,作为未来的摄影研究的框架,通过重新制定和扩展传统的视觉内容分析方法,以兼容当前和新兴的最先进的机器学习工具,并涵盖自动内容分析的新机器学习机会。所提出的框架可以应用于人文社会科学的几个领域,它可以调整和缩放到各种研究设置。我们还提供了不同的机器学习技术的当前状态的信息,并表明已经有各种公开可用的方法,适合于大规模的视觉内容分析任务。
2022-04-05 cs.CV
CoVA: Context-aware Visual Attention for Webpage Information Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
网页信息抽取是建立知识库的重要步骤。为此,经典的WIE方法利用网站的文档对象模型(DOM)树。然而,DOM树的使用带来了巨大的挑战,因为上下文和外观是以抽象的方式编码的。为了解决这一挑战,我们建议重新制定WIE作为一个上下文感知的网页目标检测任务。具体来说,我们开发了一个上下文感知的基于视觉注意力(CoVA)的检测管道,它结合了外观特征和DOM树的语法结构。为了研究这种方法,我们收集了一个新的大规模电子商务网站数据集,我们用四个标签手动注释每个Web元素:产品价格,产品标题,产品图像和背景。在这个数据集上,我们证明了所提出的CoVA方法是一个新的具有挑战性的基线,它改进了现有的最先进的方法。
2021-10-24 cs.AI cs.CL cs.CV
PorTEXTO: A European Portuguese Benchmark for Visual Text Extraction
NOVA School of Science and Technology(NOVA科学与技术学校);NOVA LINCS
提出PorTEXTO,首个针对现代欧洲葡萄牙语视觉文本提取的基准,通过结合前沿LVLM转录和母语者审核构建,发现合成到真实样本性能显著下降,多语言数据比模型规模更关键。
2026-09-15 cs.CV
Relation-Rich Visual Document Generator for Visual Information Extraction
National Taiwan University(台湾大学);E.SUN Financial Holding Co., Ltd.(玉山金融控股股份有限公司);National Kaohsiung Normal University(国立高雄师范大学)
针对富关系文档视觉信息抽取面临的布局多样性和数据稀缺问题,提出两阶段富关系视觉文档生成器RIDGE,通过LLMs生成含实体关系的内容并基于OCR结果生成布局,显著提升VIE模型性能。
2025-04-14 cs.CV
OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction
University of California, Berkeley(加州大学伯克利分校);Meta AI
OTTER通过文本感知的视觉特征提取,提升视觉-语言-动作模型的零样本泛化能力。
2025-12-30 cs.CV cs.RO
Open Visual Knowledge Extraction via Relation-Oriented Multimodality Model Prompting
Emory University(埃默里大学);Tongji University(同济大学);The Hong Kong University of Science and Technology(香港科技大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学)
本文提出OpenVik,通过开放式关系区域检测器和大型多模态模型提示生成无格式限制的视觉知识,并验证其在知识质量与视觉推理应用中的有效性。
2023-10-28 cs.AI cs.CL cs.CV
Modeling Entities as Semantic Points for Visual Information Extraction in the Wild
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团)
近年来,视觉信息抽取(VIE)由于其广泛的实际应用,在学术界和工业界都变得越来越重要。以前,已经提出了许多工程来解决这个问题。然而,用于评估这些方法的基准相对简单,即,具有真实世界复杂性的场景在这些基准中没有得到充分体现。作为这项工作的第一个贡献,我们为VIE策划并发布了一个新的数据集,其中的文档图像更具挑战性,因为它们来自真实的应用程序,并且模糊,部分遮挡和打印偏移等困难非常常见。所有这些因素都可能导致信息抽取失败。因此,作为第二个贡献,我们探索了一种替代方法,在这种恶劣的条件下,从文档图像中精确和鲁棒地提取关键信息。具体来说,与之前的方法(通常将视觉信息纳入多模式架构或以端到端的方式训练文本发现和信息抽取)相反,我们显式地将实体建模为语义点,即,实体的中心点用描述不同实体的属性和关系的语义信息来丰富,这可以极大地有利于实体标记和链接。在该领域的标准基准以及所提出的数据集上进行的大量实验表明,与以前的最先进的模型相比,所提出的方法可以在实体标记和链接上实现显着增强的性能。数据集可在https://www.modelscope.cn/datasets/damo/SIBR/summary上获得。
2023-03-29 cs.CV
Neuroscience-inspired Staged Representation Learning with Disentangled Coarse- and Fine-Grained Semantics for EEG Visual Decoding
School of Information and Communication Technology, Griffith University(信息与通信技术学院,格里菲斯大学)
本文提出了一种受神经科学启发的分阶段表征学习框架,通过解纠缠的粗粒度和细粒度语义来改进EEG视觉解码,解决了现有方法在人类视觉处理分阶段和层次特性方面的不足。
2026-05-21 cs.CV
Enhancing Visual Forced Alignment with Local Context-Aware Feature Extraction and Multi-Task Learning
Shanghai Jiao Tong University(上海交通大学)
本文提出一种结合局部上下文感知特征提取与多任务学习的视觉强制对齐新方法,并利用改进Viterbi算法进行后处理,在LRS2数据集上词级和音素级对齐准确率分别提升6%和27%。
2025-03-05 cs.CV
MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation
Peking University(北京大学);Pengcheng Laboratory(鹏城实验室);Beihang University(北京航空航天大学)
MEGA提出“先分割后网格”框架,利用空间视觉蒸馏和掩码引导神经重建,从3DGS场景提取对象级水密网格,实现准确3D占用并支持物理交互。
2026-10-02 cs.CV
Dual-Path Cross-Modal Attention for better Audio-Visual Speech Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
视听目标语音提取的目的是通过观察嘴唇运动从噪声混合物中提取特定说话人的语音,结合时域语音分离模型和视觉特征提取器(CNN)已经取得了重大进展。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。目前的大多数研究沿着时间维度对视觉特征进行上采样,使得音频和视频特征能够在时间上对齐。然而,我们认为嘴唇运动应该主要包含长期或电话级别的信息。基于这一假设,我们提出了一种新的方法来融合视听功能。我们观察到,对于DPRNN \cite{dprnn},块间维度的时间分辨率可以非常接近视频帧的时间分辨率。与\cite{sepformer}一样,DPRNN中的LSTM被块内和块间自注意力所取代,但在所提出的算法中,块间注意力将视觉特征作为额外的特征流。这可以防止视觉线索的上采样,从而实现更有效的视听融合。实验结果表明,与其他基于时域的音视频融合模型相比,该方法具有更好的融合效果。
2023-03-03 cs.CV cs.LG cs.MM
Cognitive-Inspired Hierarchical Attention Fusion With Visual and Textual for Cross-Domain Sequential Recommendation
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);The University of Liverpool(利物浦大学);Microsoft(微软公司)
该研究受人类认知启发,提出整合视觉与文本的层级注意力融合方法HAF-VT,基于冻结CLIP生成多模态嵌入,联合学习单跨域偏好,在四个电商数据集上跨域序列推荐效果优于现有方法。
2025-09-01 cs.CV
BIT: Biologically Inspired Tracker
South China University of Technology(华南理工大学);University of Macau(澳门大学);University of Technology Sydney(悉尼科技大学)
由于物体变形、尺度变化、光照变化和遮挡等多种因素引起的图像变化,视觉跟踪具有挑战性。鉴于人类视觉系统(HVS)优越的跟踪性能,理想的仿生模型设计有望改善计算机视觉跟踪。然而,由于对HVS中神经元的工作机制的不完全理解,这是一项困难的任务。本文旨在解决这一挑战的基础上,在视觉皮层腹侧流的视觉认知机制的分析,模拟浅神经元(S1单位和C1单位)提取低级别的生物启发特征的目标外观和模仿先进的学习机制(S2单位和C2单位)结合生成和判别模型的目标定位。此外,该框架采用快速Gabor逼近(FGA)和快速傅立叶变换(FFT)进行实时学习和检测。在大规模基准数据集上的大量实验表明,所提出的生物启发跟踪器在效率、准确性和鲁棒性方面优于最先进的方法。加速技术特别确保BIT保持大约每秒45帧的速度。
2019-04-23 cs.CV
An Audio-Visual Speech Separation Model Inspired by Cortico-Thalamo-Cortical Circuits
Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
受皮层-丘脑-皮层回路启发,提出新型CTCNet模型用于视听语音分离,通过自下而上学习与自上而下融合机制模拟大脑解剖连接组,在三个基准数据集上以更少参数显著优于现有方法。
2024-03-22 cs.CV cs.SD
StereoNeuroBayesSLAM: A Neurobiologically Inspired Stereo Visual SLAM System Based on Direct Sparse Method
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学脑启发智能科学与技术研究院);Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence (Fudan University), Ministry of Education(教育部计算神经科学与脑启发智能重点实验室(复旦大学));State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University(北京师范大学认知神经科学与学习国家重点实验室);School of Systems Science, Beijing Normal University(北京师范大学系统科学学院)
提出了一种基于方向稀疏方法的神经生物学视觉同时定位与地图构建(SLAM)系统,用于从运动的立体摄像机实时构建大规模环境的认知地图。核心SLAM系统主要包括贝叶斯吸引子网络,其利用海马中的头部方向(HD)细胞和内侧内嗅皮层(MEC)中的网格细胞的神经响应来分别表示机器人在环境中的头部方向和位置。采用直接稀疏方法对立体摄像机的速度信息进行了精确、鲁棒的估计。输入的旋转和平移速度分别由HD单元和网格单元网络积分。我们在KITTI里程计基准数据集上展示了我们的神经生物学启发的立体视觉SLAM系统。我们提出的SLAM系统是鲁棒的实时建立一个连贯的半度量拓扑地图从立体相机。认知地图的定性评价表明,我们提出的神经生物学启发的立体视觉SLAM系统优于我们以前的大脑启发的算法和神经生物学启发的单目视觉SLAM系统在跟踪精度和鲁棒性方面,这是更接近传统的国家的最先进的。
2020-03-06 cs.CV cs.RO eess.IV
Towards Accurate Emotion-Attributed Video Captioning via Fine-grained Emotion-Cause Pair Extraction
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Harbin Institute of Technology (Weihai)(哈尔滨工业大学(威海))
提出细粒度情感-原因对提取框架,通过概念感知视觉语义分解和视觉引导情感可解释学习,提升情感视频字幕的准确性和丰富性。
2026-06-07 cs.CV
A cortical-inspired sub-Riemannian model for Poggendorff-type visual illusions
INRIA Sophia Antipolis Méditerranée(法国国家信息与自动化研究所索菲亚·安提波利斯-地中海中心);CNRS(法国国家科学研究中心);UCA(蔚蓝海岸大学);INRIA(法国国家信息与自动化研究所);I3S(信息与系统科学实验室);Università di Padova(帕多瓦大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院)
我们认为威尔逊-考恩型模型的数学描述的方向依赖Poggendorff错觉。我们的建模改进了先前提出的两种皮质启发的方法,将亚黎曼热核嵌入到神经元相互作用项中,与V1基于局部和横向连接的固有各向异性功能架构一致。对于这两个模型的数值实现,我们考虑标准的梯度下降算法结合基于傅立叶的方法,有效地计算子拉普拉斯进化。我们的数值结果表明,使用的子黎曼内核允许再现数值视觉的误解和inpainting型的偏见,在一个更强的方式与以前的方法相比。
2021-01-29 cs.CV math.DG
More Than the Final Answer: Improving Visual Extraction and Logical Consistency in Vision-Language Models
Virginia Tech(弗吉尼亚理工大学);Adobe Research(Adobe研究院);Apple(苹果公司)
PeRL-VL通过解耦框架提升视觉语言模型的视觉提取和推理一致性,实现Pass@1准确率提升。
2025-12-13 cs.CV
Visual Information Extraction in the Wild: Practical Dataset and End-to-end Solution
Huazhong University of Science and Technology(华中科技大学);Tencent YouTu Lab(腾讯优图实验室)
针对现有VIE基准数据集场景单一、难以反映真实挑战的问题,本文提出了布局和实体更多样的大规模拍摄图像VIE数据集,以及结合对比学习缩小任务语义鸿沟的端到端VIE框架,在新数据集和SROIE上均取得性能提升。
2023-06-15 cs.CV
Visual Search Augmented Chain-of-Thought Reasoning for Attribute Value Extraction from Product Videos
Virginia Tech(弗吉尼亚理工大学);Amazon(亚马逊)
针对产品视频属性值提取,提出无需训练的ViS-CoT流水线,结合视觉聚类、搜索和交错思维链推理,在VideoAVE数据集上使多个视频VLM平均提升17.91个百分点micro-F1。
2026-09-09 cs.CL cs.CV
Achieving Fine-grained Cross-modal Understanding through Brain-inspired Hierarchical Representation Learning
School of Computing, University of Georgia, Athens, GA, USA(计算学院,佐治亚大学,亚特兰大,GA,USA)
NeuroAlign通过脑启发的分层表征学习,在fMRI-视频对齐中实现细粒度跨模态理解,提升跨模态检索性能。
2026-01-04 cs.CV
HIP: Hierarchical Point Modeling and Pre-training for Visual Information Extraction
Alibaba Group(阿里巴巴集团)
针对端到端视觉信息抽取中子任务衔接及现有方法的OCR误差、可解释性差等问题,提出将实体建模为分层点的HIP框架及配套分层预训练策略,性能超越现有最优方法且可解释性优异。
2024-11-02 cs.CV
A Robust Visual Sampling Model Inspired by Receptive Field
Peking University(北京大学);Capital Medical University(首都医科大学)
模拟视网膜中央凹的尖峰相机可以通过发射尖峰来报告每像素的亮度强度累积。作为一种具有高时间分辨率的仿生视觉传感器,它在计算机视觉中具有巨大的应用潜力。然而,目前Spike相机的采样模型容易受到量化和噪声的影响,无法有效地捕捉物体的纹理细节。本文提出了一种受感受野启发的鲁棒视觉采样模型,该模型采用高斯差分小波滤波器和高斯滤波器模拟感受野。采用类似于小波逆变换的方法,将RVSM的锋电位数据转换为图像。为了测试性能,我们还提出了一个高速运动尖峰数据集(HMD),包括各种运动场景。通过对HMD重建图像的比较,我们发现RVSM可以大大提高Spike相机的信息捕获能力。更重要的是,RVSM模拟感受野机制采集区域信息,能够有效滤除高强度噪声,极大地改善了Spike相机对噪声敏感的问题。此外,由于采样结构具有很强的通用性,RVSM也适用于其他神经形态视觉传感器。以上实验是在Spike相机模拟器上完成的。
2022-01-04 cs.CV