Learning to Refactor Action and Co-occurrence Features for Temporal Action Localization
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
时间动作定位的主要挑战是从各种共同发生的成分中检索微妙的人类动作，例如，上下文和背景，在一个未经修剪的视频。虽然先前的方法通过设计先进的动作检测器已经取得了实质性的进展，但是它们仍然受到这些共同出现的成分的影响，这些成分通常主导视频中的实际动作内容。在本文中，我们探讨了视频片段的两个正交但互补的方面，即，动作特征和同现特征。特别是，我们开发了一种新的辅助任务，通过解耦这两种类型的视频片段内的功能，并将它们重新组合，以生成一个新的功能表示更显着的动作信息，准确的动作定位。我们将我们的方法称为RefactorNet，它首先显式分解动作内容并规则化其同现特征，然后合成一个新的动作主导的视频表示。在THUMOS 14和ActivityNet v1.3上的大量实验结果和消融研究表明，我们的新表示与简单的动作检测器相结合，可以显着提高动作定位性能。
2022-06-23 cs.CV
Magic Layouts: Structural Prior for Component Detection in User Interface Designs
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了魔术布局，一种方法，用于解析屏幕截图或手绘草图的用户界面（UI）布局。我们的核心贡献是扩展现有的检测器，以利用UI设计的结构先验知识，实现UI组件的鲁棒检测;按钮，文本框等。具体来说，我们学习了移动UI布局的先验知识，对不同UI组件之间的常见空间同现关系进行编码。调节区域的建议，使用此之前导致性能增益的UI布局解析手绘UI和应用程序截图，我们展示了在上下文中的交互式应用程序，快速获取数字原型的用户体验（UX）设计。
2021-06-14 cs.CV cs.HC cs.LG
Spatially Constrained Location Prior for Scene Parsing
Central Queensland University（中央昆士兰大学）
语义上下文是一个重要的和有用的线索，在复杂的自然图像中的物体和环境的变化量很大的场景解析。本文提出了空间约束的位置先验（SCLP）的有效建模的全局和局部的语义上下文场景中的类间空间关系。与现有的研究集中在相对或绝对位置先验的对象，SCLP有效地结合了相对和绝对位置先验，通过计算空间受限的图像块中的对象共现频率。SCLP是通用的，并且可以与各种基于视觉特征的预测模型（诸如人工神经网络和支持向量机（SVM））结合使用，以在类别标签上实施空间上下文约束。使用SVM分类器和线性回归模型，我们证明了与斯坦福背景和SIFT Flow数据集上的最先进方法相比，SCLP的结合实现了卓越的性能。
2018-02-24 cs.CV
Decoding by Perturbation: Mitigating MLLM Hallucinations via Dynamic Textual Perturbation
The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））
本文提出Decoding by Perturbation方法，通过动态文本扰动缓解多模态大语言模型的幻觉问题，通过控制文本干预减少语言先验的影响，提升解码稳定性。
2026-04-14 cs.AI cs.CL cs.CV
Collecting and Annotating the Large Continuous Action Dataset
Purdue University（普渡大学）；SUNY Buffalo（纽约州立大学布法罗分校）
我们向社区提供了一个新的数据集，以支持行动识别研究。这个数据集在几个关键方面与以前的数据集不同。它明显更大。它包含具有长片段的流视频，这些长片段包含经常在空间和/或时间上重叠的多个动作发生。所有的动作都是在同一组背景中拍摄的，所以背景对动作类几乎没有线索。我们有五个人复制注释的时间范围的动作发生标记他们的类和测量一个令人惊讶的低水平的编码器间的协议。基线实验表明，最近的最先进的方法在这个数据集上表现不佳。这表明，这将是一个具有挑战性的数据集，以促进行动识别研究的进展。本手稿用于描述LCA数据集的新内容和特征，介绍拍摄数据集时所做的设计决策，并记录用于注释数据集的新方法。
2015-11-18 cs.CV
Divide and Conquer: Improving Multi-Camera 3D Perception with 2D Semantic-Depth Priors and Input-Dependent Queries
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；University of Oxford（牛津大学）
针对多相机3D感知中语义深度协同不足、初始查询输入无关的问题，提出融合语义深度先验的输入感知Transformer框架SDTR，在nuScenes和Lyft基准的检测与分割任务上实现SOTA性能。
2024-08-13 cs.CV
Language-guided Detection and Mitigation of Unknown Dataset Bias
The University of Tokyo（东京大学）
提出一种无需先验知识的语言引导框架，通过描述识别偏差关键词，并结合伪标签或文本生成图像的数据增强方法进行去偏差，性能优于无先验知识方法且媲美有先验知识方法。
2024-06-05 cs.CV
Non-parametric spatially constrained local prior for scene parsing on real-world data
School of Engineering and Technology, Central Queensland University（中央昆士兰大学工程与技术学院）
场景解析的目的是识别场景图像中每个像素的对象类别，它在图像内容理解和计算机视觉应用中起着核心作用。然而，从不受约束的真实世界数据中准确地解析场景仍然是一项具有挑战性的任务。在本文中，我们提出了非参数的空间约束局部先验（SCLP）的场景分析的现实数据。对于给定的查询图像，通过首先检索与查询图像最相似的训练图像的子集，然后从检索到的子集收集关于空间图像块之间和相邻超像素之间的对象共现统计的先验信息来学习非参数SCLP。SCLP在捕获查询图像中关于对象间相关性的长距离和短距离上下文方面都是强大的，并且可以有效地与传统的视觉特征相结合以改进分类结果。我们在SIFT Flow和PASCAL-Context基准数据集上的实验表明，与最先进的方法相比，与超像素级视觉特征结合使用的非参数SCLP实现了最佳性能之一。
2020-06-23 cs.CV cs.LG eess.IV
Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph Generation
Sun Yat-Sen University（中山大学）；Guangdong University of Technology（广东工业大学）
针对视频场景图生成任务，提出时空知识嵌入Transformer，将统计得到的时空关联先验融入多头交叉注意力机制学习关系表征，实验显示其mR@50较现有算法最高提升8.1%，性能显著优于当前方法。
2023-12-15 cs.CV
Uncovering the human motion pattern: Pattern Memory-based Diffusion Model for Trajectory Prediction
Beijing Key Laboratory of Intelligent Telecommunications Software and Multimedia（智能电信软件与多媒体北京市重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对轨迹预测中人类行为不确定性问题，提出Motion Pattern Priors Memory Network，通过构建运动模式聚类记忆库并引入寻址机制检索匹配模式，利用目标先验记忆令牌指导扩散模型生成预测，实现了最先进的预测精度。
2024-01-08 cs.CV
Scene Synthesis via Uncertainty-Driven Attribute Synchronization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Kuaishou Technology（快手科技）
开发深度神经网络以生成3D场景是神经合成中的一个基本问题，其直接应用于建筑CAD、计算机图形学以及生成虚拟机器人训练环境。这项任务是具有挑战性的，因为3D场景表现出不同的模式，从连续的，如对象大小和形状对之间的相对姿态，离散的模式，如对称关系的对象的出现和共现。本文介绍了一种新的神经场景合成方法，可以捕捉不同的特征模式的三维场景。我们的方法结合了基于神经网络和传统场景合成方法的优势。我们使用从训练数据中学习的参数先验分布，它提供了对象属性和相关属性的不确定性，以正则化前馈神经模型的输出。此外，我们的方法不是仅仅预测场景布局，而是预测一组过完备的属性。这种方法允许我们利用预测属性之间的基本一致性约束来修剪不可行的预测。实验结果表明，我们的方法大大优于现有的方法。生成的3D场景忠实地内插训练数据，同时保留连续和离散特征模式。
2021-09-01 cs.CV
Set-Constrained Viterbi for Set-Supervised Action Segmentation
Oregon State University（俄勒冈州立大学）
本文是关于弱监督动作分割的，其中地面实况仅指定训练视频中存在的一组动作，而不是它们的真实时间顺序。先前的工作通常使用独立标记视频帧以生成伪地面实况的分类器，以及用于训练分类器的多实例学习。我们通过指定一个HMM来扩展这个框架，该HMM考虑了动作类及其时间长度的共同出现，并通过显式地训练基于Viterbi的损失的HMM。我们的第一个贡献是制定一个新的集约束维特比算法（SCV）。给定视频，SCV生成满足地面实况的MAP动作分割。该预测在我们的HMM训练中用作逐帧伪地面真值。我们在训练方面的第二个贡献是对共享相同动作类的训练视频之间的特征亲和力进行了新的正则化。在Breakfast、MPII Cooking2和Hollywood Extended数据集上对动作分割和对齐进行的评估表明，与之前的工作相比，我们在这两项任务上的性能有了显着的提高。
2020-03-27 cs.CV
