Cooperative Cross-Stream Network for Discriminative Action Representation
University of Electronic Science and Technology of China（电子科技大学）
时空流模型在视频动作识别中取得了很大的成功。现有的大多数工作更多地关注设计有效的特征融合方法，以单独的方式对二流模型进行训练。然而，在现有的作品中，很难保证区分性和探索不同流之间的互补信息。在这项工作中，我们提出了一种新的合作跨流网络，调查在多个不同的方式的联合信息。联合时空流网络特征提取是通过端到端的学习方式完成的。它从连接块中提取不同模态的互补信息，旨在探索不同流特征的相关性。此外，与传统的ConvNet不同，传统的ConvNet只学习一个交叉熵损失的深度可分离特征，我们提出的模型通过联合优化同质和异质模态的模态排序约束和交叉熵损失，增强了深度学习特征的区分能力，并减少了不期望的模态差异。模态排序约束由模态内判别嵌入和模态间三元组约束组成，减少了模态内和跨模态特征的变化。在三个基准数据集上的实验表明，通过协同进行外观和运动特征提取，该方法可以获得与现有方法相比最先进或具有竞争力的性能。
2019-08-27 cs.CV
Deep Attentive Time Warping
Kyushu University（九州大学）；NTT Corporation（日本电信电话株式会社）；University of Helsinki（赫尔辛基大学）
提出基于二部图注意力机制的深度时间规整神经网络，通过度量学习实现任务自适应的局部对应预测，并利用DTW诱导预训练，在在线签名验证等任务上达到SOTA表现。
2023-09-13 cs.CV
Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
在多对象跟踪中，跟踪器在其存储器中维护场景中每个对象的外观和运动信息。该存储器用于寻找轨迹和检测之间的匹配，并基于匹配结果进行更新。许多方法孤立地对每个目标进行建模，并且缺乏使用场景中的所有目标来联合更新内存的能力。当场景中存在相似外观的对象时，这可能是有问题的。在本文中，我们解决的问题，同时考虑所有的轨道在内存更新过程中，只有一个小的空间开销，通过一个新的多轨道池模块。我们还提出了一个训练策略，适用于多轨池生成硬跟踪情节在线。我们表明，这些创新的组合结果在一个强有力的歧视性的外观模型，使贪婪的数据关联的使用，以实现在线跟踪性能。我们的实验证明了在公共多目标跟踪（MOT）数据集上实时的【形】，最先进的性能。
2021-01-28 cs.CV
Spatio-Temporal Joint Density Driven Learning for Skeleton-Based Action Recognition
Advanced Multimedia Research Lab, University of Wollongong, Australia（沃林根大学先进多媒体研究实验室）
本文提出时空关节密度（STJD）度量骨架动静交互，识别主关节引导自监督学习，并设计STJD-CL对比策略与STJD-MP重建方法，在多个数据集上显著提升动作识别性能。
2025-05-29 cs.CV
Focal and Global Spatial-Temporal Transformer for Skeleton-based Action Recognition
Zhengzhou University（郑州大学）；DAMO Academy, Alibaba Group (U.S.) Inc（阿里巴巴集团（美国）达摩院）；University of Wollongong（伍伦贡大学）
尽管Transformer在各种视觉任务中取得了很大的进步，但它仍然是基于视觉的动作识别的探索不足，只有少数尝试。此外，这些方法直接在空间和时间维度上计算所有关节的成对全局自注意，低估了判别性局部关节和短程时间动态的影响。在这项工作中，我们提出了一种新的焦点和全球时空Transformer网络（FG-STFormer），它配备了两个关键组件：（1）FG-SFormer：焦点关节和全球部分耦合空间Transformer。它迫使网络专注于分别为学习到的有区别的空间关节和人体部位建模相关性。选择性的局灶节点消除了无信息节点在积累相关性过程中的负面影响。同时，焦点关节和身体部位之间的相互作用被纳入通过相互交叉注意来增强空间依赖性。(2)FG-TFormer：焦点和全局时间Transformer。扩展时间卷积被集成到全局自注意力机制中，以显式地捕获关节或身体部位的局部时间运动模式，这对使时间Transformer工作至关重要。在NTU-60，NTU-120和NW-UCLA三个基准上的大量实验结果表明，我们的FG-STFormer超越了所有现有的基于变压器的方法，并与最先进的基于GCN的方法相媲美。
2022-10-06 cs.CV
Richly Activated Graph Convolutional Network for Robust Skeleton-based Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shandong University of Science and Technology（山东科技大学）；Artificial Intelligence Research, Chinese Academy of Sciences（中国科学院人工智能研究院）
目前基于骨架的人体动作识别方法通常使用完整的骨架。然而，在实际场景中，不可避免地要捕获不完整或有噪声的骨架，当一些信息关节被遮挡或干扰时，这可能会显着降低当前方法的性能。为了提高动作识别模型的鲁棒性，提出了一种多流图卷积网络（GCN），利用分布在所有骨骼关节上的足够的判别特征，通过分布式冗余表示降低了动作模型对非标准骨骼的敏感性.具体地说，骨干GCN是由一系列有序的流，这是负责学习的关节较少激活的前流的区别性功能。在这里，每个GCN流的骨架关节的激活程度测量的类激活地图（CAM），只有来自未激活的关节的信息将被传递到下一个流，通过它获得丰富的功能，在所有活动的关节。因此，所提出的方法被称为富活化GCN（RA-GCN）。与最先进的（SOTA）方法相比，RA-GCN在标准NTU RGB+D 60和120数据集上实现了相当的性能。更重要的是，在合成的遮挡和抖动数据集上，由于遮挡和干扰关节而导致的性能恶化可以通过利用所提出的RA-GCN来显着缓解。
2020-11-26 cs.CV
DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition
Facebook AI（Facebook人工智能）；Columbia University（哥伦比亚大学）；Univesity of Edinburgh（爱丁堡大学）
运动已被证明对于视频理解是有用的，其中运动通常由光流表示。然而，从视频帧计算流量是非常耗时的。最近的工作直接利用运动矢量和残差容易在压缩视频表示运动在没有成本。虽然这避免了流计算，但它也损害了准确性，因为运动矢量是有噪声的并且具有显著降低的分辨率，这使其成为辨别力较低的运动表示。为了解决这些问题，我们提出了一个轻量级的生成器网络，它减少了运动矢量中的噪声，并捕捉精细的运动细节，实现了更具鉴别力的运动提示（DMC）表示。由于光流是一种更精确的运动表示，我们训练DMC生成器使用重建损失和生成对抗损失来近似流，并结合下游动作分类任务。三个动作识别基准（HMDB-51，UCF-101，和一个子集的动力学）的广泛评估证实了我们的方法的有效性。我们的整个系统，包括生成器和分类器，被称为DMC网络，它获得了接近使用流量的高精度，并在推理时间比使用光流快两个数量级。
2019-05-07 cs.CV
Learning Compact Target-Oriented Feature Representations for Visual Tracking
Anhui University（安徽大学）；Sun Yat-Sen University（中山大学）
许多最先进的跟踪器通常采用预训练的卷积神经网络（CNN）模型进行相关滤波，其中深度特征通常在某些情况下是冗余的、有噪声的和较少区分的，并且跟踪性能因此可能受到影响。为了解决这个问题，我们提出了一种新的方法，它既具有良好的泛化能力的生成模型和良好的歧视性模型的歧视，视觉跟踪。特别是，我们学习紧凑的，歧视性的和面向目标的特征表示使用拉普拉斯编码算法，该算法利用输入的本地功能之间的依赖性在一个歧视性的相关滤波器框架。特征表示和相关滤波器通过快速求解器联合学习以相互增强，该快速求解器对跟踪速度只有非常小的计算负担。在三个基准数据集上的大量实验表明，该框架明显优于基线跟踪器，对帧速率的影响不大，并对最先进的方法进行了改进。
2019-08-05 cs.CV
Video Representation Learning Using Discriminative Pooling
Data61/CSIRO（联邦科学与工业研究组织数据61部）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；The Australian National University（澳大利亚国立大学）；MERL（三菱电机研究实验室）
用于视频中动作识别的流行深度模型为短片段生成独立的预测，然后将这些预测集中起来，为完整的视频片段分配动作标签。由于并非所有帧都可以表征潜在的动作-实际上，许多帧在多个动作中是共同的-对所有帧施加同等重要性的池化方案可能是不利的。为了解决这个问题，我们提出了区分池，基于这样的概念，即在所有短片段上生成的深度特征中，至少有一个特征是动作的特征。为此，我们学习一个（非线性）超平面，将这个未知但有区别的特征与其他特征分开。在大间隔设置中应用多实例学习，我们使用这个分离超平面的参数作为完整视频片段的描述符。由于这些参数与最大边缘框架中的支持向量直接相关，因此它们可以作为特征池的鲁棒表示。我们制定了一个联合目标和一个有效的求解器，学习这些超平面每个视频和相应的动作分类器的超平面。我们的池化方案在深度框架内是端到端可训练的。我们报告了三个基准数据集的实验结果，这些数据集涵盖了各种挑战，并展示了这些任务的最新性能。
2018-03-29 cs.CV
Action Recognition Based on Joint Trajectory Maps Using Convolutional Neural Networks
University of Wollongong（伍伦贡大学）；Tianjin University（天津大学）
近年来，卷积神经网络（ConvNets）在许多计算机视觉任务，特别是基于图像的识别中表现出了良好的性能。如何有效地使用ConvNets进行基于视频的识别仍然是一个悬而未决的问题。在本文中，我们提出了一个紧凑，有效而简单的方法来编码时空信息携带的$3D$骨架序列到多个$2D$图像，称为联合轨迹地图（JTM），和ConvNets被采用来开发实时人体动作识别的判别特征。所提出的方法已经在三个公共基准上进行了评估，即，MSRC-12 Kinect手势数据集（MSRC-12），G3 D数据集和UTD多模态人体动作数据集（UTD-MHAD），并取得了最先进的结果。
2016-11-13 cs.CV
DiMoP: Diffusion-Driven Motion Representation Learning With Frame-Level Pseudo-Classification for Skeleton-Based Action Recognition
University of Wollongong（伍伦贡大学）
DiMoP提出掩蔽与扩散驱动的运动表示学习方法，结合帧级伪分类，均匀学习弱中强运动，在NTU RGB+D 60/120和PKUMMD上达到最先进性能。
2026-09-29 cs.CV
Attention to Warp: Deep Metric Learning for Multivariate Time Series
Kyushu University（九州大学）；NTT Corporation（日本电信电话株式会社）
深度时间序列度量学习是具有挑战性的，因为在识别非匹配序列时难以在时间不变性与非线性失真之间进行权衡。提出了一种新的基于神经网络的时间序列分类和验证方法。这种方法使参数化的注意力模型适应时间扭曲，以获得更大和更自适应的时间不变性。它不仅对局部而且对大的全局失真都是鲁棒的，因此即使不满足单调性、连续性和边界条件的匹配对仍然可以成功地识别。该模型的学习进一步通过动态时间规整来指导，以施加时间约束，从而实现稳定的训练和更高的区分能力。它可以学习通过翘曲来增加类间的变化，从而可以有效地区分相似但不同的类。我们通过实验证明了所提出的方法与以前的非参数和深度模型相比的优越性，将其与深度在线签名验证框架相结合，在Unipen数据集上确认其在单字母手写分类中的良好行为后。
2021-06-21 cs.CV
Meet JEANIE: a Similarity Measure for 3D Skeleton Sequences via Temporal-Viewpoint Alignment
the Australian National University (ANU)（澳大利亚国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Curtin University（科廷大学）；Australian National University (ANU)（澳大利亚国立大学）
本文提出了一种用于3D骨架序列的联合时间和相机视角对齐方法JEANIE，通过模拟相机视角并联合调整时间块匹配来消除无用变化，在有监督和无监督的少样本动作识别任务中取得了最先进的结果。
2024-03-25 cs.AI cs.CV cs.LG
Joint Learning of Discriminative Low-dimensional Image Representations Based on Dictionary Learning and Two-layer Orthogonal Projections
本文在语言描述上存在一些不足之处，需要进一步完善。本文是根据一份会议文件的修订版编写的。现在有必要进一步解释这两篇论文的贡献之间的差异。
2019-03-27 cs.CV
Jointly Learning Non-negative Projection and Dictionary with Discriminative Graph Constraints for Classification
Shenzhen University（深圳大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Emory University（埃默里大学）
具有字典学习（DL）的稀疏编码已经显示出优异的分类性能。尽管有相当数量的现有作品，如何获得功能的字典可以更好地学习仍然是一个开放的和有趣的问题。许多当前流行的DL方法直接采用性能良好的精心制作的功能。虽然这种策略可能在经验上工作得很好，但它忽略了字典和特征之间的某些内在关系。我们提出了一个框架，其中的功能和字典共同学习和优化。该框架，名为联合非负投影和字典学习（JNPDL），使输入功能和字典之间的互动。非负投影导致基于部件的对象特征具有区分性，而DL寻求更合适的表示。判别图的约束，同时最大化类内的紧凑性和类间的可分性。在图像和图像集分类上的实验表明，JNPDL的性能优于几种最先进的方法。
2016-08-05 cs.CV
WAS-VTON: Warping Architecture Search for Virtual Try-on Network
Sun Yat-Sen University（中山大学）；UiT The Arctic University of Norway（挪威北极大学）；Momo Technology Company Limited（陌陌科技有限公司）；DarkMatter AI Research（暗物质人工智能研究院）
尽管基于图像的虚拟试穿最近取得了进展，但当前方法受到共享翘曲网络的约束，因此当面对需要不同翘曲操作的服装类别时，无法合成自然的试穿结果。在本文中，我们通过神经结构搜索（NAS）为虚拟试穿任务找到服装类别特定的翘曲网络来解决这个问题。我们引入了NAS-Warping模块，并精心设计了一个双层分层搜索空间，以确定最佳的网络级和操作级流量估计架构。给定包含不同数量的扭曲块的网络级搜索空间和具有不同卷积操作的操作级搜索空间，我们共同学习可重复扭曲单元和卷积操作的组合，专门用于服装-人对齐。此外，提出了一个NAS融合模块来合成更自然的最终试穿结果，这是通过利用特定的跳过连接来产生更好的融合特征来实现的，这些特征是无缝融合翘曲的衣服和未改变的人的部分所需的。我们采用一种高效稳定的一次性搜索策略来搜索上述两个模块。大量的实验表明，我们的WAS-VTON显着优于以前的固定架构的试穿方法，更自然的翘曲结果和虚拟的试穿结果。
2021-08-01 cs.CV
Attention Mechanism in Randomized Time Warping
The Japan Research Institute, Limited（日本研究机构有限公司）；Graduate School of Science and Technology, University of Tsukuba（筑波大学科学技术研究生院）；Tsukuba Institute for Advanced Research, Department of Computer Science, University of Tsukuba（筑波先进研究所计算机科学系，筑波大学）
本文揭示了随机时间规整可视为一种自注意力机制，其注意力作用于整个输入序列模式，相比Transformer的局部自注意力具有优势，并在Something-Something V2数据集上实现了5%的性能提升。
2025-08-22 cs.CV
Joint Discriminative and Generative Learning for Person Re-identification
NVIDIA Research（英伟达研究院）；NVIDIA CAI（英伟达人工智能计算中心）；University of Technology Sydney（悉尼科技大学）；Australian National University（澳大利亚国立大学）
由于不同摄像机之间存在显著的类内差异，人员重新识别（re-id）仍然具有挑战性。最近，人们越来越关注使用生成模型来增加训练数据并增强对输入变化的不变性。然而，现有方法中的生成流水线与判别性re-id学习阶段保持相对分离。因此，re-id模型通常以直接的方式在生成的数据上进行训练。在本文中，我们试图通过更好地利用生成的数据来改进学习的re-id嵌入。为此，我们提出了一个联合学习框架，耦合re-id学习和数据生成端到端。我们的模型包括一个生成模块，分别编码成一个外观代码和一个结构代码，每个人和一个判别模块，共享的外观编码器与生成模块。通过切换外观或结构代码，生成模块能够生成高质量的交叉ID合成图像，这些图像被在线反馈到外观编码器并用于改进鉴别模块。拟议的联合学习框架在不使用生成的数据的情况下，在基线上有了显着的改进，从而在几个基准数据集上实现了最先进的性能。
2021-05-19 cs.CV
DSeq-JEPA: Discriminative Sequential Joint-Embedding Predictive Architecture
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（人工智能向量研究所）；University of Fukui（福井大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Strasbourg（斯特拉斯堡大学）
DSeq-JEPA通过判别性顺序处理与JEPA目标结合，提升视觉表征的判别性和泛化能力，在多个任务中表现优于I-JEPA变体。
2026-08-06 cs.CV
Self-Similarity Based Time Warping
Duke University（杜克大学）
在这项工作中，我们探讨了对齐两个时间排序的点云，这是空间变换和重新参数化的版本。这具有多种应用，例如跨模态时间序列同步（例如，MOCAP到视频）和图像中离散曲线的对齐。大多数其他作品，解决这个问题，试图共同揭示两个点云之间的空间对齐和对应关系，或获得局部不变的空间变换，如曲率计算对应关系之前。相比之下，我们回避空间对齐完全使用自相似矩阵（SSM）作为代理的时间排序的点云，因为自相似矩阵是盲目的等距和尊重全球几何。我们的算法，被称为“等距盲动态时间弯曲”（IBDTW），是简单和一般的，我们表明，其相关的相异性措施下限的L1 Gromov-Hausdorff距离两个点集时，限制到翘曲路径。我们还提出了一个本地的，部分对齐扩展IBDTW的基础上史密斯沃特曼算法。这消除了对时间序列的繁琐手动裁剪的需要，这通常是全局对齐算法正常工作所必需的。
2017-11-20 cs.CV
Joint Discriminative and Metric Embedding Learning for Person Re-Identification
West Virginia University（西弗吉尼亚大学）；University of Misan（米桑大学）
人的重新识别是一项具有挑战性的任务，因为高的类内方差引起的不受限制的滋扰因素的变化，如姿势，照明，视点，背景和传感器噪声。最近的方法假设，功能强大的架构有能力学习的特征表示不变的滋扰因素，通过训练他们的损失，最大限度地减少类内方差和最大限度地提高类间分离，没有明确建模滋扰因素。主要的方法要么使用带有余量的判别损失，如带有附加角余量的softmax损失，要么使用度量学习损失，如带有批量硬挖掘三元组的三元组损失。由于softmax强制了特征归一化，因此它限制了监督特征嵌入的梯度流。我们通过加入损失并利用三重损失作为缺失梯度的代理来解决这个问题。我们通过增加预测属性的判别任务，进一步提高了对滋扰因素的不变性。我们广泛的评估强调，当只学习整体表示时，我们在三个最具挑战性的数据集上始终优于最先进的技术。这样的表示更容易在实际系统中部署。最后，我们发现加入损耗消除了在softmax损耗中具有裕度的要求，同时提高了性能。
2022-12-28 cs.CV
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
University of Washington（华盛顿大学）；University of Vermont（佛蒙特大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在本文中，我们介绍了一个概念上简单的网络，用于生成判别性组织级分割掩模，用于乳腺癌诊断。我们的方法有效地分割乳腺活检图像中不同类型的组织，同时预测用于识别图像中重要区域的判别图。我们的网络Y-Net通过添加一个用于区分映射生成的并行分支和支持卷积块模块化来扩展和推广U-Net，这允许用户在不改变网络拓扑的情况下调整网络效率。Y-Net提供了最先进的分割精度，同时学习的参数比最接近的竞争对手少6.6倍。与最先进的诊断分类方法相比，Y-Net的判别分割模板增加了描述能力，使诊断分类准确率提高了7%。源代码可在https://sacmehta.github.io/YNet上获得。
2018-06-04 cs.CV
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Texas A&M University（德克萨斯农工大学）；Decart AI（德卡特人工智能公司）
该研究提出VEDJE模型，通过压缩视频帧特征并结合特征变化预测辅助训练，在多个视频-文本检索数据集上提升R@1指标，缩小缓存规模后仍保持较高召回率，实现高效可扩展的视频检索。
2026-10-14 cs.CV
Residual Networks as Flows of Velocity Fields for Diffeomorphic Time Series Alignment
New York University Abu Dhabi（纽约大学阿布扎比分校）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；New York University（纽约大学）
非线性（大）时间扭曲是时间序列分析中一个具有挑战性的麻烦来源。在本文中，我们提出了一种新的双纯时间Transformer网络的成对和联合时间序列对齐。我们的ResNet-TW（Deep Residual Network for Time Warping）通过合成一个增量的非纯映射流来解决对齐问题。在流方程的控制下，我们的残差网络（ResNet）构建了速度场的平滑、流畅和规则的流，从而生成平滑和可逆的变换（即双态扭曲函数）。受优雅的大变形超纯度量映射（LDDMM）框架的启发，最终的变换是由时间相关的向量场流构建的，这些向量场正是我们残差网络的构建块。后者自然地被视为流方程的欧拉离散模式（常微分方程）。一旦经过训练，我们的ResNet-TW就可以通过一次廉价的前向传递来对齐看不见的数据。正如我们在单变量（来自UCR存档的84个数据集）和多变量时间序列（MSR Action-3D，Florence-3D和MSR Daily Activity）的实验中所示，ResNet-TW在联合对齐和分类方面具有竞争力的性能。
2021-06-22 cs.CV
Joint-SRVDNet: Joint Super Resolution and Vehicle Detection Network
National Institute of Standards and Technology（美国国家标准与技术研究院）；Colorado State University（科罗拉多州立大学）；West Virginia University（西弗吉尼亚大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰伦公司）
在许多国内和军事应用中，飞行器检测和超分辨率算法经常被独立开发和应用。然而，由于超分辨率图像中缺乏区分信息，因此在超分辨率图像上进行飞行器检测仍然是一项具有挑战性的任务。为了解决这个问题，我们提出了一个联合超分辨率和车辆检测网络（联合SRVDNet），试图从低分辨率的航空图像中生成有区别的，高分辨率的车辆图像。首先，使用多尺度生成对抗网络（MsGAN）将航空图像放大4倍，该网络具有多个中间输出，分辨率不断增加。其次，在使用MsGAN架构放大4倍的超分辨率图像上训练检测器，最后，将检测损失与超分辨率损失一起最小化，以鼓励目标检测器对后续的超分辨率训练敏感。该网络联合学习目标的分层和区分特征，并产生最佳的超分辨率结果。我们执行定量和定性评估我们提出的网络上VEDAI，xView和DOTA数据集。实验结果表明，与现有的4倍放大倍数的航空超分辨率方法相比，本文提出的框架实现了更好的视觉质量，提高了车辆检测的准确性.
2020-05-03 cs.CV
Weakly Supervised Temporal Anomaly Segmentation with Dynamic Time Warping
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
最近关于检测和定位时态异常的研究主要采用深度神经网络以无监督的方式学习时态数据的正常模式。与它们不同的是，我们的工作目标是充分利用实例级（或弱）异常标签，这些标签仅指示在每个时态数据实例中是否发生了任何异常事件。在本文中，我们提出了WETAS，一个新的框架，有效地识别异常的时间段（即，连续的时间点）。WETAS从实例级标签中学习判别特征，以便推断每个实例中正常和异常段的顺序，这可以用作粗略的分割掩码。WETAS通过对输入实例与其分割模板进行动态时间规整（DTW）对齐，得到时间分割结果，同时利用模板作为额外的监督，进一步增强了WETAS。我们的实验表明，WETAS在时间异常的定位方面大大优于其他基线，并且它提供了比点级检测方法更丰富的结果。
2021-08-15 cs.AI cs.CV cs.LG
TransFlow: Unsupervised Motion Flow by Joint Geometric and Pixel-level Estimation
我们解决无监督的光流估计自我为中心的运动。我们认为，光流可以作为两个连续的视频帧之间的几何扭曲，并设计了一个深层次的架构来估计这样的转换在两个阶段。首先，一个密集的像素级流计算与几何先验强加强空间约束。这种先验是驾驶场景的典型，其中视点与车辆运动一致。我们展示了如何用单应性来近似这种全局变换，以及如何使用空间Transformer层来计算这种变换所隐含的流场。然后，第二阶段细化预测，以馈送第二更深的网络。最终重构损失将帧X（t）的扭曲与后续帧X（t+1）进行比较，并指导两个估计。该模型被我们命名为TransFlow，与其他无监督算法相比表现良好，并且与监督方法相比具有更好的泛化能力，在未知数据上的错误减少了3倍。
2017-10-30 cs.CV
Efficient Discriminative Joint Encoders for Large Scale Vision-Language Reranking
INSIGHT Lab, Ben-Gurion University of the Negev（本·古里安内盖夫大学INSIGHT实验室）
EDJE通过离线预计算和轻量级注意力适配器，实现了高效视觉-语言重排序，显著降低存储和计算成本，提升大规模检索性能。
2026-02-22 cs.CV cs.LG
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology（合肥工业大学）；Soochow University（苏州大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Queensland（昆士兰大学）
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法，称为鲁棒柔性判别字典学习（RFOLD）。该算法主要通过增强对稀疏错误的鲁棒性，对局部性、重构错误和标签一致性进行更精确的编码，来提高数据的表示和分类能力。首先，为了对数据和原子中的噪声和稀疏错误具有鲁棒性，RFRST旨在联合恢复底层的干净数据和干净原子子空间，然后在恢复的子空间中执行DL并编码局部性。其次，为了使从非线性流形采样的数据能够潜在地处理，并通过避免过拟合来获得准确的重建，RFFLOW以灵活的方式最小化重建误差。第三，为了对标签一致性进行准确编码，RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四，为了更好地编码局部性，RFFNN定义了恢复原子上的拉普拉斯矩阵，包括原子在类内紧凑性和类间分离方面的标签信息，并与组稀疏码和分类器相关联，以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Joint Domain Alignment and Discriminative Feature Learning for Unsupervised Deep Domain Adaptation
Zhejiang University（浙江大学）
最近，计算机视觉和机器学习社区的深度领域自适应已经投入了相当大的努力。然而，大多数现有的工作只集中在学习共享的特征表示，通过最小化不同领域的分布差异。由于所有的磁畴对齐方法都只能减少而不能消除磁畴偏移。目标域样本分布在聚类边缘附近或远离其对应的类中心，很容易被从源域学习的超平面误分类。为了缓解这个问题，我们提出了联合域对齐和判别特征学习，这可能有利于域对齐和最终分类。提出了基于实例的鉴别特征学习方法和基于中心的鉴别特征学习方法，这两种方法都保证了域不变特征具有更好的类内紧致性和类间可分性。大量的实验表明，在共享特征空间中学习区分性特征可以显著提高深度领域自适应方法的性能。
2018-11-03 cs.CV cs.LG stat.ML
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
Multi-Year Vector Dynamic Time Warping Based Crop Mapping
Scientific and Technological Research Council of Turkey (TÜBİTAK) Space Technologies Research Institute (UZAY)（土耳其科学技术研究理事会（TÜBİTAK）空间技术研究所）；Informatics Institute, Middle East Technical University（中东技术大学信息学研究所）
最近通过基于监督学习的方法的自动化作物制图已经展示了相对于经典技术的前所未有的改进。然而，大多数作物制图研究仅限于同年作物制图，即用当年的标记数据预测同年的作物图。这些方法的分类精度大大降低跨年度映射。跨年度作物制图更有用，因为它允许使用以前标记的数据预测下一年的作物图。我们提出了矢量动态时间规整（VDTW），一种新的多年分类方法的基础上翘曲的物候向量之间的角距离。结果表明，所提出的VDTW方法是强大的时间和光谱变化补偿不同的耕作方式，气候和大气的影响，以及测量误差之间的年。我们还描述了一种方法，用于确定最具歧视性的时间窗口，允许有限的数据的高分类精度。我们使用2013年至2016年的Landsat 8时间序列图像对我们的方法进行了测试，用于对哈兰平原的玉米和棉花以及土耳其东南部Bismil平原的玉米，棉花和大豆进行分类。此外，我们还利用协调的陆地卫星哨兵数据测试了2017年和2018年美国堪萨斯州的VDTW玉米和大豆。与其他最先进的方法相比，VDTW方法在相同和交叉年份分别实现了99.85%和99.74%的总体准确率，与其他最先进的方法相比，即光谱角映射器（SAM），动态时间规整（DTW），时间加权DTW（TWDTW），随机森林（RF），支持向量机（SVM）和深度长短期记忆（LSTM）方法。所提出的方法可以扩展到其他作物类型和/或地理区域。
2019-11-27 cs.CV cs.LG stat.ML
Joint Projection and Dictionary Learning using Low-rank Regularization and Graph Constraints
University of Alberta（阿尔伯塔大学）
在本文中，我们的目标是同时学习判别字典和一个强大的投影矩阵从噪声数据。联合学习，使学习的投影和字典更好地相互适应，因此可以获得更准确的分类。然而，目前流行的联合降维和字典学习方法，将失败时，训练样本是噪声或严重损坏。为了解决这个问题，我们提出了一个联合投影和字典学习使用低秩正则化和图约束（JPDL-LR）。具体地说，字典的判别是通过对编码系数施加Fisher准则来实现的。此外，我们的方法显式编码的局部结构的数据，通过合并一个图形正则化项，进一步提高了判别能力的投影矩阵。受低秩表示去除离群值和噪声的最新进展的启发，我们对所有类的子字典实施低秩约束，使它们更加紧凑和鲁棒。在多个基准数据集上的实验结果验证了该方法在降维和图像分类方面的有效性和鲁棒性，特别是当数据包含大量噪声或变化时。
2016-12-06 cs.CV
Fine-grained Discriminative Localization via Saliency-guided Faster R-CNN
Peking University（北京大学）
区分定位是细粒度图像分类任务的关键，它需要识别同一基本类别中的数百个子类别。反映在对象的区分区域上，不同子类别之间的关键差异是微妙的和局部的。现有的方法一般采用两阶段的学习框架：第一阶段是定位对象的区分区域，第二阶段是对用于训练分类器的区分特征进行编码。然而，这些方法一般都有两个局限性：（1）分离的两阶段学习是耗时的。(2)区分性定位学习依赖于对象和部件注释，导致大量劳动消耗的标记。同时解决这两个重要的限制是非常具有挑战性的。现有的方法只关注其中之一。因此，本文提出了通过显着性引导的Faster R-CNN的区分定位方法，以同时解决上述两个限制，我们的主要创新和优势在于：（1）基于Faster R-CNN的端到端网络设计用于同时定位区分区域和编码区分特征，从而加快分类速度。(2)提出了显著性引导的定位学习方法，自动定位判别区域，避免了人工标注。两者联合使用，同时加快分类速度，消除对对象和零件注释的依赖。在广泛使用的CUB-200-2011数据集上，与现有的方法相比，该方法实现了最佳的分类精度和效率。
2017-09-25 cs.CV
Generative and Discriminative Learning for Distorted Image Restoration
Shanghai Jiao Tong University（上海交通大学）；Texas A&M University（得克萨斯农工大学）；University of Macau（澳门大学）
液化是一种常用的图像编辑技术，可用于图像失真。由于失真变化的不确定性，液化滤波器引起的失真图像的恢复是一个具有挑战性的任务。为了更有效地编辑图像，失真的图像需要自动恢复。本文研究的是畸变图像的复原问题，其特点是寻求畸变图像的适当变形和完善。现有的方法主要依靠硬件辅助或几何原理来解决自然现象引起的特定规则变形，但无法处理人工变形的不规则性和不确定性。为了解决这个问题，我们提出了一种新的基于深度神经网络的生成和判别学习方法，它可以学习各种重建映射并表示复杂和高维数据。该方法将任务分解为校正阶段和细化阶段。第一阶段生成网络预测从失真图像到校正图像的映射。然后，第二级生成网络进一步优化感知质量。由于没有可用的数据集或基准来探索这个任务，我们通过基于CelebA数据集的前向失真映射来创建失真人脸数据集（DFD）。实验结果表明，该方法是一种有效的图像复原方法。
2020-11-27 cs.CV eess.IV
Exemplar Based Deep Discriminative and Shareable Feature Learning for Scene Image Classification
Nanyang Technological University（南洋理工大学）；Advanced Digital Sciences Center（先进数字科学中心）；City University of Hong Kong（香港城市大学）
为了编码图像表示中的类相关性和类特定信息，我们提出了一种新的局部特征学习方法，称为深度判别和共享特征学习（DDSFL）。DDSFL旨在分层学习特征变换滤波器组，以将原始像素图像块变换为特征。学习的滤波器组被期望：（1）编码灵活数量的类别的共同视觉模式;（2）编码区分信息;以及（3）分层地提取不同视觉级别的模式。特别地，在DDSFL的每个单层中，可共享的过滤器被联合学习用于共享相似模式的类。过滤器的区分能力是通过强制来自同一类别的特征接近，而来自不同类别的特征彼此远离来实现的。此外，我们还提出了两种样本选择方法来迭代地选择训练数据，以提高学习的效率和效果。实验结果表明，DDSFL可以取得非常好的性能，并且对现有的Caffe特征有很好的补充作用。
2015-08-21 cs.CV
Disentangling Features in 3D Face Shapes for Joint Face Reconstruction and Recognition
Sichuan University（四川大学）；Michigan State University（密歇根州立大学）
本文提出了一种编码器-解码器网络，以解开形状特征在三维人脸重建从单一的2D图像，这样的任务，重建准确的3D人脸形状和学习判别人脸识别的形状特征，可以同时完成。与现有的3D人脸重建方法不同，我们提出的方法直接从单个2D图像回归密集的3D人脸形状，并处理身份和残差（即，基于具有潜在表示的复合3D面部形状模型，明确地和单独地在3D面部形状中识别（非身份）分量。我们设计了一个训练过程中提出的网络与联合损失测量人脸识别误差和三维人脸形状重建误差。为了构造训练数据，我们开发了一种方法，用于将3D变形模型（3DMM）拟合到受试者的多个2D图像。在MICC、BU 3DFE、LFW和YTF数据库上进行了综合实验。结果表明，我们的方法扩展了3DMM的能力，用于捕获有区别的形状特征和面部细节，从而优于现有的方法，无论是在三维人脸重建精度和人脸识别精度。
2018-03-30 cs.CV
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
Locality Constraint Dictionary Learning with Support Vector for Pattern Classification
Jiangnan University（江南大学）；Anqing Normal University（安庆师范大学）
判别式字典学习（Discriminative Dictionary Learning，缩写为Dictionary）由于其在各种模式分类任务中令人印象深刻的性能，最近受到了极大的关注。然而，原子的局部性并没有充分探讨在传统的分类方法，阻碍了他们的分类性能。在本文中，我们提出了一个局部约束字典学习与支持向量判别项（LCDL-SV），其中的局部信息是通过使用学习字典的图拉普拉斯矩阵来保持。为了在训练阶段共同学习分类器，将支持向量判别项并入所提出的目标函数中。此外，在分类阶段，测试数据的身份是由正则化的残差和学习的多类支持向量机。最后，利用替代策略解决由此产生的优化问题。基准数据库上的实验结果表明，我们提出的方法优于以前的字典学习方法的手工制作和深度功能。我们提出的LCDL-SV的源代码可以在https://github.com/yinhefeng/LCDL-SV上访问
2019-11-22 cs.CV
Fast Fine-grained Image Classification via Weakly Supervised Discriminative Localization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
细粒度的图像分类是指在每个基本类别中识别数百个子类别。现有的方法采用判别式定位，以找到子类别之间的关键区别。然而，它们通常有两个局限性：（1）区分定位依赖于区域建议方法来假设区分区域的位置，这是耗时的。(2)判别式定位的训练依赖于物体或零件的标注，这是非常耗时的。同时解决这两个关键限制是非常具有挑战性的，现有的方法只关注其中之一。因此，我们提出了一种用于快速细粒度图像分类的弱监督判别定位方法（WSDL），以同时解决这两个限制，其主要优点是：（1）为了提高分类速度，设计了n路端到端区分定位网络，该网络同时定位一幅图像的多个不同区分区域，以提高分类精度，并且共享区域建议网络生成的全图像卷积特征，以加速生成区域建议的过程，同时减少卷积运算的计算量。(2)提出了多层次注意力引导的定位学习方法，可以自动定位具有不同焦点的区分区域，无需使用物体和零件标注，避免了人工消耗。不同层次的注意力集中在图像的不同特征上，它们是互补的，可以提高分类的准确率。两者联合使用，同时提高分类速度，并消除对对象和部分注释的依赖。在2个广泛使用的细粒度图像分类数据集上，与现有的方法相比，我们的WSDL方法取得了最好的性能。
2017-09-30 cs.CV
Fisher Discriminative Least Squares Regression for Image Classification
Jiangnan University（江南大学）；University of Surrey（萨里大学）
判别最小二乘回归（DLSR）已被证明在多类图像分类任务中取得了有前途的性能。它的核心思想是通过联合使用$ε$ -dragoning技术和Fisher准则，迫使不同类别的回归标签向相反的方向移动，从而产生具有更宽边缘的判别回归模型。$ε$ -拖拽技术忽略了一个重要的问题：其非负松弛矩阵在优化中动态更新，这意味着拖拽值也可能导致来自同一类的标签不相关。为了学习更强大的判别投影以及回归标签，我们提出了一个Fisher正则化DLSR（FDLSR）框架，通过使用Fisher准则约束松弛标签。一方面，Fisher准则改善了松弛学习过程中松弛标签的类内紧性。另一方面，期望进一步增强$ε$ -dragetry技术的类间可分性。FDLSR首次尝试将Fisher判别准则和$ε$ -投影技术整合到一个统一的模型中，因为它们在判别投影的学习中是完全互补的。在各种数据集上的大量实验表明，所提出的FDLSR方法的性能优于其他国家的最先进的分类方法。本文的Matlab代码可在https://github.com/chenzhe207/FDLSR上获得。
2020-08-04 cs.CV
Semantic-Guided Multi-Attention Localization for Zero-Shot Learning
Rutgers University（罗格斯大学）；Hikvision Research Institute（海康威视研究院）；University of Delaware（特拉华大学）
零样本学习通过引入类的语义表示，将传统的对象分类扩展到不可见的类识别。现有的方法主要集中在学习适当的映射函数的视觉语义嵌入，而忽略了学习的区别性视觉特征的效果。本文研究了判别式区域定位的意义。我们提出了一个语义引导的多注意定位模型，该模型自动发现对象的最有区别的部分，用于零样本学习，而无需任何人工注释。我们的模型共同学习合作的全局和局部特征，从整个对象以及检测到的部分，分类对象的语义描述的基础上。此外，通过嵌入softmax损失和类中心三元组损失的联合监督，鼓励模型学习具有高类间分散性和类内紧凑性的特征。通过对三个广泛使用的零样本学习基准测试的综合实验，我们展示了多注意力定位的有效性，并且我们所提出的方法大大提高了最先进的结果。
2019-12-02 cs.CV
A Hybrid Generative and Discriminative PointNet on Unordered Point Sets
Georgia State University（佐治亚州立大学）
本文提出GDPNet，首个将联合能量基模型（JEM）扩展至点云的混合生成与判别PointNet，在保持强大分类能力的同时生成高质量点云样本。
2024-04-19 cs.CV
DMT-JEPA: Discriminative Masked Targets for Joint-Embedding Predictive Architecture
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Hanyang University ERICA（汉阳大学ERICA校区）
DMT-JEPA提出一种基于JEPA的判别性掩码目标方法，通过选择语义相似的邻近补丁并聚合其特征作为目标，增强局部语义理解，在多个视觉基准上表现优异。
2024-05-28 cs.AI cs.CV cs.LG
Discriminatively Learned Hierarchical Rank Pooling Networks
The Australian National University（澳大利亚国立大学）
在这项工作中，我们提出了新的时间编码方法的行动和活动分类扩展无监督的秩池时间编码方法在两个方面。首先，我们提出了“歧视性的排名池”，其中我们的视频表示和动作分类器的参数的共享权重估计共同为一个给定的训练数据集的标记向量序列使用的学习问题的双层优化制定。当从卷积神经网络（CNN）获得帧级特征向量时，我们对网络激活进行排序池，并以端到端的方式联合估计模型的所有参数，包括CNN滤波器和全连接权重，我们将其称为“端到端可训练的排序池化CNN”。重要的是，该模型可以利用任何现有的卷积神经网络架构（例如，AlexNet或VGG），而无需修改或引入附加参数。然后，我们扩展秩池的高容量的视频表示，称为“分层秩池”。分层秩池由秩池函数网络组成，其基于丰富的帧级特征对任意长视频片段进行时间语义编码。通过将非线性特征函数和时间子序列编码器一个堆叠在另一个之上，我们构建了视频动态行为的高容量编码网络。所得到的视频表示是描述整个视频剪辑的固定长度特征向量，其可以用作标准机器学习分类器的输入。我们展示了我们在行动和活动识别任务上的方法。在三个重要的活动识别基准上，所获得的结果与最先进的方法相当，其分类性能在Hollywood2上为76.7%mAP，在HMDB51上为69.4%，在UCF101上为93.6%。
2017-05-30 cs.CV
Online Discriminative Dictionary Learning for Image Classification Based on Block-Coordinate Descent Method
Zhejiang University（浙江大学）
先前的研究已经证明，具有稀疏编码的字典学习框架（其中信号被分解为已学习字典的几个原子的线性组合）非常适合重建问题。该框架还被用于诸如图像分类的辨别任务。为了实现更好的分类性能，专家们开发了几种方法来以监督的方式学习判别字典。然而，另一个问题是，当数据规模变得非常大时，这些方法将不再有效，因为它们都是面向批处理的方法。为此，我们提出了一种新的在线判别式词典学习算法，在本文中被称为\textbf{ODDL}。首先，我们将线性分类器引入到传统的字典学习公式中，并导出一个判别式字典学习问题。然后，我们利用一个在线算法来解决衍生问题。与大多数现有的方法，更新字典和分类器交替通过迭代求解子问题，我们的方法直接探索他们联合。同时，它可以大大缩短训练的运行时间，也特别适合于大规模的分类问题。为了评估所提出的ODDL方法在图像识别中的性能，我们在三个著名的基准上进行了一些实验，实验结果表明ODDL对于图像分类任务是相当有前途的。
2012-03-05 cs.CV
UniTeD: Unified Temporal Diffusion for Joint Perception and Planning in Autonomous Driving
Nullmax；Westlake University（西湖大学）
提出UniTeD框架，通过共享生成空间的迭代去噪统一建模感知与规划，引入时域过渡模块和锚点刷新策略，在多个基准上达到最先进性能。
2026-06-25 cs.CV
End-to-End Fine-Grained Action Segmentation and Recognition Using Conditional Random Field Models and Discriminative Sparse Coding
Johns Hopkins University（约翰霍普金斯大学）；University of Virginia（弗吉尼亚大学）；Comcast AI Research（康卡斯特人工智能研究）
细粒度的动作分割和识别是一项重要而又具有挑战性的任务。给定一个长的，未修剪的运动数据序列，任务是在每个时间帧的动作分类和分段的时间序列到正确的动作序列。在本文中，我们提出了一种新的框架，结合了时间条件随机场（CRF）模型与一个强大的帧级表示基于歧视性稀疏编码。我们引入了一个端到端的算法，共同学习的CRF模型，其中包括动作分类和动作转换成本的权重，以及一个过度完整的字典中级动作原语。这导致CRF模型由稀疏编码特征驱动，该稀疏编码特征使用在不同动作之间共享并适应于结构化输出学习任务的判别字典获得。我们使用来自JIGSAWS数据集的运动学数据在三个手术任务上评估我们的方法，以及使用来自50个沙拉数据集的加速度计数据在食物准备任务上评估我们的方法。我们的研究结果表明，该方法的性能等同于或优于国家的最先进的方法。
2018-01-29 cs.CV
CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification
DGIST（大邱庆北科学技术院）
Few-Shot分类是一个具有挑战性的问题，其目的是学习一个模型，该模型可以适应给定的一些标记样本的不可见类。最近的方法预先训练特征提取器，然后针对情景元学习进行微调。其他方法利用空间特征来学习像素级对应，同时联合训练分类器。然而，使用这些方法的结果显示出边际改进。在本文中，受Transformer风格的自注意力机制的启发，我们提出了一种策略，交叉参加和重新加权区分特征的Few-Shot分类。给定全局池化后支持和查询图像的基本表示，我们引入了一个共享模块，该模块在两个方面投影特征和交叉参与：（i）查询到支持，以及（ii）支持到查询。该模块计算特征之间的注意力分数，以产生同一类中的特征的注意力池表示，该表示稍后被添加到原始表示中，随后是投影头。这有效地在两个方面（i和ii）中重新加权特征，以产生更好地促进改进的基于度量的元学习的特征。在公共基准上的大量实验表明，该方法比现有方法的性能高3%~ 5%。
2022-03-25 cs.CV
Collaborative Layer-wise Discriminative Learning in Deep Neural Networks
AI Institute（三六零人工智能研究院）
深度神经网络的不同层的中间特征已知对于不同复杂度的视觉模式是有区别的。然而，大多数现有的作品忽略了这种跨层的异质性时，分类不同复杂度的样本。例如，如果一个训练样本已经在特定层以高置信度被正确分类，我们认为没有必要强制其余层正确分类这个样本，更好的策略是鼓励这些层关注其他样本。在本文中，我们提出了一种逐层判别学习方法，通过允许其层协作进行分类来增强深度网络的判别能力。为了实现这一目标，我们在多层之上引入了多个分类器。每个分类器不仅尝试正确地分类来自其输入层的特征，而且还与其他分类器协调以共同最大化最终的分类性能。在其他同伴分类器的指导下，每个分类器学习集中于某些训练样本并提高整体性能。允许端到端训练，我们的方法可以方便地嵌入到最先进的深度网络中。在多个流行的深度网络（包括Network in Network，GoogLeNet和VGGNet）上进行的实验，包括CIFAR100，MNIST和ImageNet等各种规模的对象分类基准，以及MIT67，SUN397和Places205等场景分类基准，证明了我们方法的有效性。此外，我们还分析了该方法与经典条件随机场模型之间的关系。
2016-07-19 cs.CV
JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
Beijing Jiaotong University（北京交通大学）；University of Science and Technology Beijing（北京科技大学）
本文提出JNMR策略，通过多阶段二次模型时间拼接回归目标帧与参考帧间的复杂运动轨迹，并利用ConvLSTM构建时间联合分布，结合特征学习网络与由粗到精合成增强模块，显著提升了视频帧插值性能。
2023-09-10 cs.CV
GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；Baidu Research（百度研究院）
流行的语义分割解决方案本质上是p（类）的密集判别分类器|像素特征）。虽然很简单，但这种事实上的范例忽略了底层的数据分布p（像素特征|类），并努力识别分发外的数据。除此之外，我们提出了GMMSeg，这是一个新的分割模型家族，它依赖于联合分布p（像素特征，类）的密集生成分类器。对于每个类，GMMSeg通过期望最大化（EM）构建高斯混合模型（GMM），以捕获类条件密度。同时，深度密集表示以区别性方式进行端到端训练，即，最大化p（类|像素特征）。这赋予GMMSeg生成和判别模型的优势。通过各种分割架构和主干，GMMSeg在三个闭集数据集上的性能优于判别式同行。更令人印象深刻的是，在没有任何修改的情况下，GMMSeg甚至在开放世界数据集上表现良好。我们相信这项工作为相关领域带来了根本性的见解。
2022-10-05 cs.CV
Select, Label, and Mix: Learning Discriminative Invariant Feature Representations for Partial Domain Adaptation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Boston University（波士顿大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
部分领域自适应是计算机视觉中的一个研究热点，它假设未知的目标标签空间是源标签空间的一个子集。尽管最近的进展，现有的方法往往遭受三个关键问题：负迁移，缺乏可辨别性，域不变性的潜在空间。为了缓解上述问题，我们开发了一种新的“选择，标签，和混合”（SLM）的框架，旨在学习歧视性的不变特征表示部分领域自适应。首先，我们提出了一个有效的“选择”模块，自动过滤出离群源样本，以避免负转移，同时对齐分布在两个域。其次，“标签”模块使用标记的源域数据和针对目标域生成的伪标签来迭代地训练分类器，以增强潜在空间的可辨别性。最后，“混合”模块与其他两个模块一起利用域混合正则化来探索跨域的更多内在结构，从而导致用于部分领域自适应的域不变潜在空间。在部分领域自适应的几个基准数据集上进行的大量实验表明，我们提出的框架优于最先进的方法。
2023-01-03 cs.CV
Visual Anomaly Detection via Dual-Attention Transformer and Discriminative Flow
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出 DADF 框架用于视觉异常检测，利用预训练网络获取多尺度先验嵌入，通过双注意力视觉 Transformer 实现两级重建，并结合归一化流建立判别似然，在 Mvtec AD 和 Mvtec LOCO AD 基准上取得优异性能。
2023-03-31 cs.CV
