SpikeLogBERT: Energy-Efficient Log Parsing Using Spiking Transformer Networks
Swinburne Vietnam, FPT University（斯威本越南，FPT大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）；Academy of Cryptography Techniques（密码技术学院）；The University of Electro-Communications（电气通信大学）
提出SpikeLogBERT，一种基于脉冲神经网络的高能效日志解析框架，通过脉冲Transformer架构和BERT知识蒸馏，在HDFS数据集上达到0.99997解析精度，同时理论能耗降低62.6%。
2026-07-01 cs.CL cs.CV
Deep Human Parsing with Active Template Regression
Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
在这项工作中，人的解析任务，即分解成语义的时尚/身体区域的人的图像，制定为主动模板回归（ATR）问题，其中每个时尚/身体项目的归一化掩码表示为学习的掩码模板的线性组合，然后变形到一个更精确的掩码与活动的形状参数，包括每个语义区域的位置，规模和可见性。掩码模板系数和活动形状参数一起可以生成人类句法分析结果，因此被称为人类句法分析的结构输出。利用深度卷积神经网络（CNN）在输入的人类图像和用于人类解析的结构输出之间建立端到端关系。更具体地说，结构输出由两个独立的网络预测。第一个CNN网络具有最大池化，并被设计为预测每个标签掩码的模板系数，而第二个CNN网络没有最大池化，以保持对标签掩码位置的敏感性并准确地预测活动形状参数。对于一幅新的图像，融合两个网络的结构输出，生成每个像素的标签概率，最后使用超像素平滑来细化人工解析结果。一个大的数据集上的综合评价很好地证明了显着的优越性ATR框架比其他国家的最先进的人类解析。特别地，F1分数通过我们的ATR框架达到$64.38\%$，显著高于基于最先进算法的$44.76\%$。
2015-03-09 cs.CV
Learning AND-OR Templates for Professional Photograph Parsing and Guidance
Beijing Electronic Science and Technology Institute（北京电子科技学院）
针对摄影艺术中形成的风格化视觉“模板”，提出学习分层可重构AND-OR图像模板的框架，可用于摄影质量评估、拍摄指导及图像生成引导，效果接近人类评估水平。
2024-10-08 cs.CV
Deep Learning Technique for Human Parsing: A Survey and Outlook
Beijing University of Posts and Telecommunications（北京邮电大学）
本文综述了深度学习人体解析的三大子任务，提出基于Transformer的通用框架作为高性能基线，并指出未来研究方向。
2024-03-14 cs.CV
Understanding Humans in Crowded Scenes: Deep Nested Adversarial Learning and A New Benchmark for Multi-Human Parsing
National University of Singapore（新加坡国立大学）；National University of Defense Technology（中国人民解放军国防科技大学）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
尽管在检测、实例分割和人类解析等感知任务方面取得了显著进展，但计算机在拥挤场景中对人类的视觉理解，如群体行为分析、人员重新识别和自动驾驶等方面仍然表现不尽如人意。为此，模型需要全面感知多人图像中的语义信息和实例之间的差异，最近被定义为多人解析任务。在本文中，我们提出了一个新的大型数据库“多人解析（MHP）”的算法开发和评估，并提出了国家的最先进的理解人类在拥挤的场景。MHP包含25，403张精心注释的图像，具有58个细粒度的语义类别标签，每张图像涉及2-26人，并从各种视角，姿势，遮挡，交互和背景中捕获真实场景。我们进一步提出了一种新的深度嵌套对抗网络（NAN）模型，用于多人解析。NAN由三个生成对抗网络（GAN）类子网组成，分别执行语义显著性预测，实例不可知解析和实例感知聚类。这些子网形成了一个嵌套结构，并经过精心设计，以端到端的方式联合学习。NAN在我们的MHP和其他几个数据集上始终优于现有的最先进的解决方案，并作为一个强大的基线来推动未来的多人解析研究。
2018-07-06 cs.CV
Unveil: Unified Visual-Textual Integration and Distillation for Multi-modal Document Retrieval
State Key Laboratory of General Artificial Intelligence, Peking University（北京理工大学通用人工智能国家重点实验室）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所）；Key Laboratory of Target Cognition and Application Technology（目标认知与应用技术重点实验室）；Beijing Institute of Technology（北京理工大学）；Ucap Cloud（Ucap云）
提出Unveil框架，通过视觉-文本嵌入和知识蒸馏实现鲁棒的文档检索，兼顾布局与语义信息。
2026-05-23 cs.CL cs.CV
Plot2API: Recommending Graphic API from Plot via Semantic Parsing Guided Neural Network
Chongqing University（重庆大学）；Pengcheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）；Monash University（莫纳什大学）
基于绘图的图形API推荐（Plot2API）是一个未被研究但有意义的问题，它在软件工程和数据可视化方面有几个重要的应用，如初学者的绘图指导、图形API相关性分析和绘图代码转换。Plot2API是一项非常具有挑战性的任务，因为每个图通常与多个API相关联，并且由于参数的不同设置，同一API绘制的图形的外观可能会非常不同。此外，不同原料药的样品也极不平衡。考虑到Plot2API中缺乏技术，我们提出了一种新的深度多任务学习方法，称为语义解析引导神经网络（SPGNN），它将Plot2API问题转化为多标签图像分类和图像语义解析任务。在SPGNN中，最近先进的卷积神经网络（CNN）命名为EfficientNet被用作API推荐的骨干网络。同时，在特征学习中引入语义解析模块，充分利用语义相关的视觉信息，剔除可能混淆基于视觉信息的API推荐的外观相关视觉信息。此外，最近的数据增强技术称为随机擦除也被用于缓解API类别的不平衡。我们使用Stack Overflow中的图形API来收集图，并发布了三个新的Plot2API数据集，对应于R和Python程序设计语言的图形API，用于评估Plot2API技术的有效性。大量的实验结果不仅证明了我们的方法优于最近的深度学习基线，而且还显示了我们的方法在图形API推荐中的实用性。
2021-04-02 cs.AI cs.CV cs.SE
Parsing Geometry Using Structure-Aware Shape Templates
Stanford University（斯坦福大学）；Autodesk Inc.（欧特克公司）；TU Munich（慕尼黑工业大学）
现实生活中的人造物体通常表现出强大且易于识别的结构，这是其设计或预期功能的直接结果。结构通常以各个部分及其排列的形式出现。了解对象结构可以是对象识别和场景理解的重要线索-这是各种AR和机器人应用的关键目标。然而，在这些场景中使用的商品RGB-D传感器只产生原始的、无组织的点云，而没有关于捕获场景的结构信息。此外，所生成的数据通常是部分的，并且容易受到伪影和噪声的影响，这使得推断扫描对象的结构具有挑战性。在本文中，我们将大型形状集合组织成参数化的形状模板，以捕获对象的底层结构。模板允许我们将结构信息转移到新的对象和不完整的扫描上。我们采用了一个深度神经网络，它将部分扫描与其中一个形状模板进行匹配，然后将其匹配并拟合到集合中完整和详细的模型。这使我们能够忠实地标记其部件并指导扫描对象的重建。我们通过将其与其他最先进的方法进行比较来展示我们方法的有效性。
2018-09-05 cs.CV
Multimodal Contextualized Semantic Parsing from Speech
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SPICE任务及VG-SPICE数据集，通过融合语音和视觉信息构建场景图以增强代理上下文感知，并开发了AViD-SP模型，相关数据和模型已公开。
2024-06-10 cs.CL cs.CV cs.HC
Fine-grained Few-shot Recognition by Deep Object Parsing
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
我们提出了一种通过深度对象解析进行细粒度Few-Shot识别的新方法。在我们的框架中，一个对象由K个不同的部分组成，对于每个部分，我们学习一个模板字典，它在所有实例和类别中共享。通过估计这K个零件的位置和一组可以重建零件特征的活动模板来解析对象。我们识别测试实例，通过比较其活动模板和相对几何的部分位置对那些提出的Few-Shot实例。我们的方法是端到端可训练的，可以在卷积骨干上学习部分模板。为了对抗方向、姿势和大小等视觉失真，我们在多个尺度上学习模板，并在测试时解析和匹配这些尺度上的实例。我们表明，我们的方法是有竞争力的国家的最先进的，并凭借解析享有可解释性以及。
2022-10-13 cs.AI cs.CV
SalientDSO: Bringing Attention to Direct Sparse Odometry
University of Maryland, College Park（马里兰大学帕克分校）
虽然杂乱的室内场景具有大量有用的高层语义信息，可用于映射和定位，大多数视觉里程计（VO）算法依赖于使用的几何特征，如点，线和平面。最近，在这个想法的驱动下，语义标签和获取里程的联合优化在机器人社区中越来越流行。联合优化有利于获得准确的结果，但通常非常缓慢。与此同时，在视觉社区中，VO的直接和稀疏方法在速度和准确性之间取得了适当的平衡。我们合并了这两个社区的成功，并提出了一种方法，将语义信息的视觉显着性的形式，直接稀疏测距-一个非常成功的直接稀疏VO算法。我们还提出了一个框架过滤的视觉显着性的基础上场景解析。我们的框架SalientDSO依赖于广泛成功的基于深度学习的视觉显著性和场景解析方法，该方法驱动特征选择以获得高度准确和鲁棒的VO，即使每帧只有40个点特征。我们在ICL-NUIM和TUM monoVO数据集上对SalientDSO进行了广泛的定量评估，并表明我们的性能优于DSO和ORB-SLAM -文献中两种非常流行的最先进方法。我们还收集并公开发布了一个CVL-UMD数据集，其中包含两个室内杂乱序列，我们对其进行了定性评估。据我们所知，这是第一篇使用视觉显着性和场景解析来驱动直接VO中的特征选择的论文。
2018-02-28 cs.CV cs.RO
Learning Visual Symbols for Parsing Human Poses in Images
Nanjing University of Science and Technology（南京理工大学）；NICTA
解析图像中的人体姿态是人工智能主体提取关键视觉信息的基础。我们的目标是从图像中学习自包含的身体部位表示，我们称之为视觉符号，以及在此解析过程中的符号几何上下文。每个符号都是通过对几何信息所利用的视觉特征进行分类来单独学习的。在分类中，我们使用潜在的支持向量机，其次是一个有效的交叉验证过程来学习视觉符号。然后，这些符号自然地以细粒度定义身体部位的几何上下文。当组成部分的结构是一棵树，我们得出一个有效的方法来估计图像中的人体姿势。在两个大型数据集上的实验表明，我们的方法优于最先进的方法。
2013-04-23 cs.CV
Visual Self-Refine: A Pixel-Guided Paradigm for Accurate Chart Parsing
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港下的CPII）；Shanghai Innovation Institute（上海创新研究院）
本文提出视觉自校准范式，通过像素引导提升图表解析的准确性，并构建了新的挑战性基准测试ChartP-Bench。
2026-02-18 cs.CV
Weakly Supervised Visual Semantic Parsing
Columbia University（哥伦比亚大学）
场景图生成（SGG）的目的是从图像中提取实体、谓词及其语义结构，实现对视觉内容的深入理解，具有视觉推理和图像检索等多种应用。然而，现有的SGG方法需要数百万个手动注释的边界框来进行训练，并且计算效率低下，因为它们穷尽地处理所有对的对象建议以检测谓词。在本文中，我们首先提出了一个广义的SGG，即视觉语义解析，它解开实体和谓词识别，并使次二次性能的制定解决这两个限制。然后，我们提出了视觉语义解析网络，VSPNet，基于一个动态的，基于注意力的，二分消息传递框架，共同推断图形节点和边缘，通过迭代过程。此外，我们提出了第一个基于图的弱监督学习框架，基于一种新的图对齐算法，它使训练没有限界框注释。通过大量的实验，我们证明了VSPNet的性能显著优于弱监督基线，接近完全监督性能，同时速度快了好几倍。我们公开发布我们方法的源代码。
2020-03-31 cs.CV
Reinforced Label Denoising for Weakly-Supervised Audio-Visual Video Parsing
Shandong University（山东大学）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东省计算中心（国家超级计算济南中心））
本文提出基于联合强化学习的标签去噪方法RLLD，通过AVVP验证与软性内部奖励反馈机制实现标签去噪与视频解析的同步训练，实验证明其优于现有去噪技术并能提升其他AVVP模型的解析性能。
2024-12-27 cs.CV
PreFM: Online Audio-Visual Event Parsing via Predictive Future Modeling
Institute of Information Science, Beijing Jiaotong University（信息科学学院，北京交通大学）
本文提出在线音视频事件解析新范式On-AVEP及PreFM框架，通过预测性未来建模和模态无关鲁棒表示，在UnAV-100和LLP数据集上以更少参数大幅超越现有方法，实现高效实时多模态视频理解。
2025-10-23 cs.CV
LINK: Adaptive Modality Interaction for Audio-Visual Video Parsing
School of Logistics Engineering, Shanghai Maritime University（上海海事大学物流工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出LINK方法，通过动态调整模态输入并利用伪标签语义先验，缓解音视频模态不对齐带来的噪声，从而提升音视频视频解析性能。
2024-12-31 cs.CV
MM-Pyramid: Multimodal Pyramid Attentional Network for Audio-Visual Event Localization and Video Parsing
Fudan University（复旦大学）
视频中事件的识别和定位是视频理解的一项基本任务。由于事件可能发生在听觉和视觉模态，多模态的详细感知是必不可少的完整的场景理解。大多数以前的作品试图从整体的角度来分析视频。然而，它们没有考虑多尺度的语义信息，这使得模型难以定位不同长度的事件。在本文中，我们提出了一个多模态金字塔注意网络（\textbf{MM-Pyramid}）的事件定位。具体来说，我们首先提出了关注特征金字塔模块。该模块通过多个堆叠金字塔单元来捕获时间金字塔特征，每个堆叠金字塔单元由固定大小的注意力块和膨胀卷积块组成。我们还设计了一个自适应语义融合模块，它利用一个单位级的注意力块和一个选择性的融合块，以集成金字塔功能交互。在视听事件定位和弱监督视听视频解析任务上的实验验证了该方法的有效性。
2022-07-12 cs.CV
Auto-Parsing Network for Image Captioning and Visual Question Answering
Southeast University（东南大学）；Dartmouth College（达特茅斯学院）；Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）
为了提高基于transformer的视觉语言系统的有效性，我们提出了一个自动解析网络（APN）来发现和利用输入数据的隐藏树结构。具体来说，我们施加一个概率图形模型（PGM）参数化的注意力操作的每个自我注意力层，以纳入稀疏的假设。我们使用这个PGM将输入序列软分割成几个簇，每个簇可以被视为内部实体的父。通过堆叠这些PGM约束的自注意层，较低层中的聚类组成一个新的序列，并且较高层中的PGM将进一步分割该序列。迭代地，稀疏树可以被隐式地解析，并且该树的分层知识被并入到变换的嵌入中，其可以用于解决目标视觉语言任务。具体来说，我们展示了我们的APN可以在两个主要的视觉语言任务中加强基于Transformer的网络：字幕和视觉问答。此外，一个PGM概率为基础的分析算法，我们可以发现隐藏的输入结构是在推理。
2021-08-24 cs.CV
Unified Perceptual Parsing for Scene Understanding
Peking University（北京大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Bytedance Inc.（字节跳动公司）；Megvii Inc.（旷视科技有限公司）
人类在多个层面上识别视觉世界：我们毫不费力地对场景进行分类并检测内部的物体，同时还识别物体的纹理和表面以及它们的不同组成部分。在本文中，我们研究了一个新的任务，称为统一的感知解析，这需要机器视觉系统识别尽可能多的视觉概念，从一个给定的图像。一个多任务的框架，称为UPerNet和训练策略的开发，从异构图像注释学习。我们基准我们的框架上统一的感知解析，并表明它能够有效地分割广泛的概念，从图像。训练后的网络进一步应用于自然场景中的视觉知识发现。型号可在\url{https://github.com/CSAILVision/unifiedparsing}获得。
2018-07-26 cs.CV
Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing
National University of Singapore（新加坡国立大学）
针对弱监督音视频解析中早期融合纠缠不相关模态的问题，提出信使引导的中期融合变压器及跨音频预测一致性，减少不相关跨模态上下文，提升单模态事件检测性能。
2023-11-14 cs.CV
PhysLab: A Benchmark Dataset for Multi-Granularity Visual Parsing of Physics Experiments
Shandong University of Science and Technology（山东科技大学）；Cardiff University（卡迪夫大学）
本文提出首个记录学生物理实验过程的视频数据集PhysLab，包含620个长视频及多层级标注，支持动作识别、物体检测和HOI分析等任务，并通过基线评估揭示过程性教育视频解析的关键挑战。
2025-08-15 cs.CV
MeDocVL: A Visual Language Model for Medical Document Understanding and Parsing
Visual Computing Group (VCG)（视觉计算组）
MeDocVL通过训练驱动的标签细化和噪声意识的混合后训练策略，实现了对医疗文档的高精度解析，优于现有OCR和VLM方法。
2026-02-06 cs.CV
MUG: Pseudo Labeling Augmented Audio-Visual Mamba Network for Audio-Visual Video Parsing
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences, China（中国科学院自动化研究所基础模型研究中心）
本文提出伪标签增强音视频Mamba网络（MUG），通过跨模态随机组合单模态伪标签生成新数据，并利用AV-Mamba网络排除模态噪声，在LLP数据集各指标上显著提升了弱监督音视频解析性能。
2025-08-12 cs.CV
Multimodal Imbalance-Aware Gradient Modulation for Weakly-supervised Audio-Visual Video Parsing
Zhengzhou University（郑州大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peng Cheng Laboratory（鹏城实验室）
本文针对弱监督音视频视频解析中不同模态特征学习不平衡问题，提出动态梯度调制机制和模态分离决策单元，通过更精确地度量并平衡音频与视觉模态的学习过程，在公开基准上验证了方法的有效性。
2023-07-05 cs.CV
Molecular Identifier Visual Prompt and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Beihang University（北京航空航天大学）；Peking University（北京大学）；South China Normal University（华南师范大学）
本文提出IdtVP和Re3-DAPO方法，通过视觉提示和强化学习提升化学反应图解析的准确性和泛化能力，同时发布ScannedRxn基准数据集以评估模型鲁棒性。
2026-03-17 cs.CV
A Large-scale Distributed Video Parsing and Evaluation Platform
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
视觉监控系统已经成为现实世界中大视觉数据的最大数据源之一。然而，现有的视频分析系统仍然缺乏处理可伸缩性、可扩展性和易出错问题的能力，尽管在许多视觉识别任务和监控应用中已经取得了很大的进步，例如，行人/车辆检测、人员/车辆计数。此外，很少有算法探索大规模监控视频中的特定值/特征。为了解决大规模视频分析中的这些问题，本文结合Spark Streaming、Kafka和Hadoop Distributed Filesystem（HDFS）等先进的大数据处理技术，开发了一个可扩展的视频解析和评估平台。系统还设计了一个Web用户界面，收集用户对识别任务的满意度，以评价系统的性能。此外，在长期监控视频上运行的高度可扩展的平台使得开发更智能的增量算法以增强各种视觉识别任务的性能成为可能。
2016-11-29 cs.CV
Revisit Weakly-Supervised Audio-Visual Video Parsing from the Language Perspective
School of Computer Science, Hubei Luojia Laboratory, Wuhan University（武汉大学计算机学院，湖北珞珈实验室）
本文从语言视角解决弱监督音视频视频解析中的片段级标签噪声问题，通过语言提示与片段相似度生成片段级标签，并对不可靠片段动态重加权，显著超越现有方法。
2023-10-28 cs.CV
LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）
该研究提出 LOGICSEG，通过层次化一阶逻辑规则、模糊逻辑松弛与推理期矩阵约束，将符号逻辑融入神经语义分割，并在四个数据集上验证其有效性与通用性。
2023-09-28 cs.CV
Rethinking the constraints of multimodal fusion: case study in Weakly-Supervised Audio-Visual Video Parsing
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Technology Sydney（悉尼科技大学）；Australian AI Institute（澳大利亚人工智能研究所）
对于多模态任务，一个好的特征提取网络应该尽可能多地提取信息，并确保所提取的特征嵌入和其他模态特征嵌入具有极好的相互理解。在特征融合中，后者往往比前者更为关键。因此，选择最优的特征提取网络配置是多模态任务中一个非常重要的子问题。现有的研究大多忽略了这个问题或采用遍历的方法。本文将此问题建模为一个优化问题。借鉴数学中极值转换的一般做法，提出了一种将最优化问题转化为比较上界问题的新方法。与传统方法相比，减少了时间成本。同时，针对多模态时间序列问题中特征相似度和特征语义相似度不一致的问题，借鉴对比学习的思想，提出了一种多模态时间序列对比损失（MTSC）算法。基于上述问题，我们证明了我们的方法在视听视频解析任务中的可行性。大量的分析表明，我们的方法促进了不同模态特征的融合。
2021-05-30 cs.CV
Joint-Modal Label Denoising for Weakly-Supervised Audio-Visual Video Parsing
Nanjing University（南京大学）；SenseTime Research（商汤科技研究院）；CUHK - Sensetime Joint Lab（香港中文大学-商汤联合实验室）；Shanghai AI Laboratory（上海人工智能实验室）
本文重点研究弱监督的视听视频解析任务，其目的是识别属于每个模态的所有事件并定位它们的时间边界。这项任务是具有挑战性的，因为只有指示视频事件的整体标签被提供用于训练。然而，一个事件可能被标记，但不出现在模态之一，这导致一个模态特定的噪声标签问题。在这项工作中，我们提出了一个训练策略，以动态地识别和删除特定于模态的噪声标签。它的动机是两个关键的观察结果：1）网络倾向于首先学习干净的样本; 2）标记的事件至少会出现在一种模态中。具体来说，我们在每一个模态中对一个小批量中所有实例的损失进行单独排序，然后根据模态内和模态间损失之间的关系选择噪声样本。此外，我们还提出了一个简单而有效的噪声比估计方法，通过计算的比例，其置信度低于一个预设的阈值。我们的方法比以前的技术水平有很大的改进（例如，在段级视觉度量中从60.0%提高到63.8%），这证明了我们方法的有效性。代码和训练模型可在\url{https://github.com/MCG-NJU/JoMoLD}上公开获取。
2022-08-01 cs.CV
RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北航）；Peking University（北京大学）；South China Normal University（华南师范大学）；Northwestern Polytechnical University（西北工业大学）
RxnCaption通过将反应图解析转化为视觉提示引导的描述生成任务，提升化学反应数据的机器可读性，并构建大规模数据集推动AI在化学领域的应用。
2026-01-06 cs.CV
SceneParser: Hierarchical Scene Parsing for Visual Semantics Understanding
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Zhongguancun Academy（中关村学院）；Huazhong University of Science and Technology（华中科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；South China University of Technology（华南理工大学）；University of Oxford（牛津大学）；Peking University（北京大学）
本文提出SceneParser，通过分层解析任务构建场景-对象-部件-功能的层次结构，利用结构完成伪标签和课程学习提升结构感知能力，实验表明其在复杂场景理解中表现更优。
2026-05-14 cs.CV
DPR-CAE: Capsule Autoencoder with Dynamic Part Representation for Image Parsing
在许多计算机视觉任务中，将图像解析为对象、部分和关系的层次结构是重要的，也是具有挑战性的。本文提出了一种简单有效的胶囊自动编码器来解决这个问题，称为DPR-CAE。在我们的方法中，编码器将输入解析为一组部分胶囊，包括姿势，强度和动态矢量。解码器引入了一种新的动态部分表示（DPR）相结合的动态矢量和共享的模板库。然后，这些部件表示由相应的胶囊调节，以可解释的方式合成最终输出。此外，在DPR-CAE中引入了一个额外的修正不变模块，避免了直接学习场景与部件之间的不确定关系，使得该方法在$rm$ -MNIST和$rm$ -Fashion-MNIST上获得了较好的性能提升. DPR-CAE可以很容易地与现有的堆叠胶囊自动编码器相结合，实验结果表明，它显着提高了无监督对象分类方面的性能。我们的代码可以在附录中找到。
2021-09-07 cs.CV
Differentiable Parsing and Visual Grounding of Natural Language Instructions for Object Placement
National University of Singapore（新加坡国立大学）
我们提出了一种新的方法，PARSING和可视化Grounding（ParaGon），接地自然语言在对象放置任务。自然语言通常描述具有组合性和模糊性的对象和空间关系，这是有效的语言基础的两个主要障碍。对于组合性，ParaGon将语言指令解析为以对象为中心的图形表示，以单独地接地对象。对于模糊性，ParaGon使用一种新的基于粒子的图神经网络来推理具有不确定性的对象放置。从本质上讲，ParaGon将解析算法集成到概率，数据驱动的学习框架中。它是完全可区分的，并从数据中进行端到端的训练，以应对复杂，模糊的语言输入。
2023-03-13 cs.CV cs.LG cs.RO
CoLeaF: A Contrastive-Collaborative Learning Framework for Weakly Supervised Audio-Visual Video Parsing
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
针对弱监督音视频视频解析中跨模态学习损害未对齐事件检测及类别关系建模增加推理成本的问题，提出CoLeaF框架，优化跨模态信息整合并利用训练期跨类别关系，还提出新评估指标，在两个数据集上F值均有提升。
2024-07-15 cs.CV
Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）
视觉语言预训练（VLP）旨在从图像-文本对中学习多模态表示，并以微调的方式为下游视觉语言任务服务。主流的VLP模型采用CNN-Transformer架构，它用CNN嵌入图像，然后用Transformer对齐图像和文本。视觉内容之间的视觉关系在图像理解中起着重要的作用，是进行通道间对齐学习的基础。然而，由于局部感受野在建模远程依赖性方面的弱点，CNN在视觉关系学习方面存在局限性。因此，学习视觉关系和模态间对齐这两个目标被封装在同一个Transformer网络中。这样的设计可能会限制Transformer中的模态间对齐学习，忽略了每个目标的专用特性。为了解决这个问题，我们提出了一个完整的Transformer视觉嵌入VLP更好地学习视觉关系，并进一步促进跨模态对齐。具体来说，我们提出了一个名为通道间流（IMF）的指标来衡量视觉和语言通道之间的相互作用（即，模态间）。我们还在Transformer中设计了一种新的掩蔽优化机制--掩蔽特征回归（Masked Feature Regression，MFR），以进一步促进通道间学习。据我们所知，这是第一项研究，探讨Transformer的视觉特征学习VLP的好处。我们验证了我们的方法在广泛的视觉语言任务，包括图像文本检索，视觉问答（VQA），视觉蕴涵和视觉推理。我们的方法不仅优于最先进的VLP性能，而且还显示出对IMF指标的好处。
2021-11-09 cs.CV
LingDT-VL-OCR: Structure-Aware Document-Level Parsing with Fine-Grained Visual Reference
Ant Group（蚂蚁集团）
Agentar-Fin-OCR通过跨页整合与难度自适应学习提升金融文档解析精度，FinDocBench提供评估框架以验证模型性能。
2026-07-08 cs.CV
Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing
针对弱监督音视频解析缺乏片段级监督与跨模态对齐的问题，提出EMA引导的伪监督框架与类感知CMA损失，在LLP和UnAV-100数据集上达到SOTA。
2025-09-17 cs.CV cs.MM
CM-PIE: Cross-modal perception for interactive-enhanced audio-visual video parsing
University of Surrey（萨里大学）；Peking University（北京大学）；Renmin University of China（中国人民大学）；China Agricultural University（中国农业大学）
本文提出CM-PIE方法，通过片段级注意力与跨模态聚合模块，在弱标签下增强音视频交互，提升视频解析性能。
2023-10-11 cs.CV cs.MM
Improving Audio-Visual Video Parsing with Pseudo Visual Labels
Hefei University of Technology（合肥工业大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；Shanghai AI Lab（上海人工智能实验室）
视听视频解析是一项任务，以预测发生在视频片段中的每一个模态的事件。它通常以弱监督的方式执行，其中仅提供视频事件标签，即，标签的模态和时间戳是未知的。由于缺乏密集注释的标签，最近的工作试图利用伪标签来丰富监管。常用的策略是通过对每个模态的已知事件标签进行分类来生成伪标签。然而，标签仍然限于视频级别，并且事件时间戳的时间边界仍然未标记。在本文中，我们提出了一种新的伪标签生成策略，可以明确地分配标签到每个视频片段，利用先验知识从开放世界。具体来说，我们利用CLIP模型来估计事件在每个视频段的视觉模态的基础上产生段级的伪标签。提出了一种新的损失函数，通过考虑它们的类别丰富度和分段性来正则化这些标签。采用标签去噪策略，每当发生高的前向二进制交叉熵损失时，通过翻转它们来改善伪标签。我们在LLP数据集上进行了大量的实验，并证明了我们的方法可以在我们新提出的损失和标签去噪策略的帮助下生成高质量的分段级伪标签。我们的方法实现了最先进的视听视频解析性能。
2023-03-04 cs.CV cs.MM
EAR: Enhancing Uni-Modal Representations for Weakly Supervised Audio-Visual Video Parsing
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications（智能工程与自动化学院，北京邮电大学）；State Grid Corporation of China（国家电网公司）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）
本文提出EAR框架，通过增强伪标签生成器和AVVP模型的单模表示，提升视频解析的时序定位性能。
2026-05-09 cs.CV cs.MM
Synthetically Trained Icon Proposals for Parsing and Summarizing Infographics
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
本文提出一种合成数据生成策略，利用互联网抓取的图标增强信息图背景，训练图标提议机制，以38%精确率和34%召回率定位图标，并结合图标分类与文本提取实现多模态总结应用。
2018-07-27 cs.CV
Unified Multisensory Perception: Weakly-Supervised Audio-Visual Video Parsing
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
在本文中，我们引入了一个新的问题，命名为视听视频解析，其目的是将视频解析成时间事件片段，并将它们标记为可听，可见或两者兼而有之。这样的问题对于完整理解视频中描绘的场景至关重要。为了便于探索，我们收集了一个看，听，和解析（LLP）数据集调查视听视频解析在弱监督的方式。这个任务可以自然地表述为多模态多实例学习（MMIL）问题。具体而言，我们提出了一种新的混合注意力网络，同时探索单峰和跨模态的时间背景。我们开发了一个细心的MMIL池化方法，从不同的时间范围和方式自适应地探索有用的音频和视频内容。此外，我们发现和减轻模态偏见和嘈杂的标签问题与个人指导的学习机制和标签平滑技术，分别。实验结果表明，具有挑战性的视听视频解析，即使只有视频级的弱标签可以实现。我们提出的框架可以有效地利用单模态和跨模态的时间上下文，并减轻模态偏见和嘈杂的标签问题。
2020-07-21 cs.CV cs.MM cs.SD
Graphical Contrastive Losses for Scene Graph Parsing
Rutgers University（罗格斯大学）；Nvidia Corporation（英伟达公司）
大多数场景图解析器使用两阶段管道来检测视觉关系：第一阶段检测实体，第二阶段使用softmax分布预测每个实体对的谓词。我们发现，这样的管道，训练只有一个交叉熵损失超过谓词类，遭受两个常见的错误。第一种是实体实例混淆，当模型混淆了同一类型实体的多个实例（例如多个杯子）时发生。第二个是近端关系歧义，当多个主谓宾三元组与同一个谓词非常接近时，模型就会很难推断出正确的主宾配对（例如，错误配对的音乐家和他们的乐器）。我们提出了一套对比损失公式，专门针对这些类型的错误在场景图解析问题，统称为图形对比损失。这些损失明确地迫使模型通过特定于每种类型的混淆的边缘约束来消除相关和不相关实例的歧义。我们进一步构建了一个关系检测器，称为RelDN，使用上述管道来证明我们提出的损失的有效性。在测试集上，我们的模型比OpenImages Relationship Detection Challenge的获胜方法高出4.7\%（相对16.5\%）。我们还在Visual Genome和Visual Relationship Detection数据集上显示了比以前最好的方法更好的结果。
2019-08-16 cs.CV
Parsing Objects at a Finer Granularity: A Survey
School of Computer Science, Peking University（北京大学计算机学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
本文从部件关系学习的新视角综述细粒度视觉解析，整合近期研究与基准并提出新分类体系，针对部件分割和识别中的普遍挑战给出新解决方案，并展望未来研究方向。
2022-12-28 cs.CV
Robust Object Modeling for Visual Tracking
Nanjing University（南京大学）
本文提出ROMTrack框架，同时建模固有模板与混合模板特征以抑制干扰并提取目标相关特征，并引入变化令牌适应外观变化，在多个基准上取得最优性能。
2023-08-09 cs.CV
Robust Visual Tracking Revisited: From Correlation Filter to Template Matching
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一种新的基于匹配的跟踪器之间的关系，模板匹配和最近流行的相关滤波器为基础的跟踪器（CFTs）的调查。与CFTs中的相关操作相比，提出了一种复杂的相似性度量，称为“相互伙伴相似性”（MBS），以利用多个倒数最近邻的关系进行目标匹配。通过这样做，我们的跟踪器获得了强大的区分能力，区分目标和背景的实验和理论分析表明。此外，本文设计了一种新的在线模板更新策略--“记忆过滤”（MF），以取代CFTs中使用单一模板的不当更新策略，该策略旨在选择历史上一定数量的具有代表性和可靠性的跟踪结果来构建当前稳定且具有表达力的模板集。该方案有利于跟踪器全面“理解”目标的外观变化，“回忆”出一些稳定的结果。两个基准的定性和定量评估表明，所提出的跟踪方法对一些最近开发的CFTs和其他竞争对手的跟踪器表现良好。
2019-04-15 cs.CV
KE-RCNN: Unifying Knowledge based Reasoning into Part-level Attribute Parsing
身体部位层次的属性分析是一项基础性但具有挑战性的任务，它需要区域层次的视觉理解来提供身体部位的可解释细节。大多数现有的方法通过将具有属性预测头的区域卷积神经网络（RCNN）添加到两阶段检测器来解决这个问题，其中身体部位的属性从局部部分框中识别。然而，具有有限视觉线索的局部零件盒（即，由于身体部位的属性高度依赖于它们之间的综合关系，因此仅部分外观）导致不令人满意的解析结果。在这篇文章中，我们提出了一个知识嵌入RCNN（KE-RCNN），通过利用丰富的知识来识别属性，包括隐式知识（例如，衬衫的属性“臀部以上”需要衬衫-臀部的视觉/几何关系）和明确的知识（例如，"shorts“的部分不能具有" hoodie”或"lining“的属性）。具体而言，KE-RCNN由两个新组件组成，即，隐式知识编码器（IK-En）和显式知识解码器（EK-De）。前者旨在通过将部件-部件关系上下文编码到部件框中来增强部件级表示，而后者则提出在关于\textit{part-attribute}关系的先验知识的指导下解码属性。通过这种方式，KE-RCNN是即插即用的，可以集成到任何两级检测器中，例如，Attribute-RCNN、Cascade-RCNN、基于HRNet的RCNN和基于SwinTransformer的RCNN。在两个具有挑战性的基准上进行了广泛的实验，例如，Fashionpedia和Kinetics…
2022-06-21 cs.CV
Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Alberta（阿尔伯塔大学）；Hunan University（湖南大学）
该研究针对现有文档理解系统模块分离的问题，构建了统一文档解析数据集RPD，提出空间感知增强器，实验表明其增强模型在联合恢复阅读顺序与视觉语义上表现出色。
2026-10-14 cs.AI cs.CV
Investigating Modality Bias in Audio Visual Video Parsing
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们专注于视听视频解析（AVVP）的问题，涉及检测音频和视觉事件标签的时间边界。这项任务特别具有挑战性，因为它是弱监督的，只有事件标签作为每个视频的标签袋可用。AVVP的现有最先进模型使用混合注意力网络（HAN）来生成音频和视觉模态的跨模态特征，以及集中预测的音频和视觉片段级事件概率以产生视频级事件概率的注意力池化模块。我们提供了一个详细的分析，在现有的HAN架构，其中的模态是完全忽略在预测过程中的模态偏差。我们还提出了一个变种的特征聚合HAN，导致在F-分数的绝对增益约2%和1.6%的视觉和视听事件在两个段级和事件级，相比现有的HAN模型。
2022-11-11 cs.CV cs.MM cs.SD
Context-based Deep Learning Architecture with Optimal Integration Layer for Image Parsing
Central Queensland University（中央昆士兰大学）
深度学习模型最近在图像解析任务上很有效。然而，深度学习模型并不完全能够同时利用视觉和上下文信息。所提出的三层基于上下文的深层架构能够显式地将上下文与视觉信息集成。这里的新颖思想是具有视觉层以从基于二进制类的学习器学习视觉特征，上下文层以学习上下文，然后集成层通过基于遗传算法的最优融合从两者学习以产生最终决策。在基准数据集上评估的实验结果是有希望的。进一步的分析表明，优化的网络权重可以提高性能，并作出稳定的预测。
2022-04-13 cs.AI cs.CV cs.LG
Lightweight and Production-Ready PDF Visual Element Parsing
Oracle AI
本文提出一种轻量级PDF解析框架，通过空间启发式、布局分析和语义相似性结合，实现高准确率的视觉元素检测与标题关联，提升多模态RAG检索性能。
2026-04-25 cs.AI cs.CL cs.CV
GLAD: Generative Language-Assisted Visual Tracking for Low-Semantic Templates
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
GLAD通过生成式多模态融合提升低语义模板视觉跟踪性能，实现更高效的多模态特征融合与语义增强。
2026-01-31 cs.CV
