Action Machine: Rethinking Action Recognition in Trimmed Videos
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Xiamen University（厦门大学）
现有的视频动作识别方法大多没有区分人体和环境，容易过拟合场景和对象。在这项工作中，我们提出了一个概念上简单，通用和高性能的框架，在修剪视频动作识别，旨在以人为中心的建模。该方法被称为Action Machine，将由人物边界框裁剪的视频作为输入。它通过添加用于人体姿势估计的分支和用于基于姿势的动作识别的2D CNN来扩展膨胀3D ConvNet（I3 D），从而快速进行训练和测试。动作机器可以受益于动作识别和姿势估计的多任务训练，RGB图像和姿势的预测融合。在NTU RGB-D上，Action Machine实现了最先进的性能，跨视图和跨主题的前一准确率分别为97.2%和94.3%。Action Machine还在另外三个较小的动作识别数据集上实现了具有竞争力的性能：Northwestern UCLA Multiview 3D，MSR Daily Activity 3D和UTD-MHAD。代码将提供。
2018-12-17 cs.CV
Rethinking Image-based Table Recognition Using Weakly Supervised Methods
National Institute of Informatics (NII)（国立信息学研究所）
以前的大多数表格识别方法都依赖于包含许多丰富注释的表格图像的训练数据集。详细的表格图像注释，例如，然而，单元格或文本限界框注释是昂贵的并且通常是主观的。在本文中，我们提出了一个名为WSTabNet的弱监督模型，用于表格识别，该模型仅依赖于表格图像的HTML（或LaTeX）代码级注释。该模型由三个主要部分组成：用于特征提取的编码器、用于生成表结构的结构解码器和用于预测表中每个单元的内容的单元解码器。我们的系统是通过随机梯度下降算法进行端到端训练的，只需要表格图像和它们的真实HTML（或LaTeX）表示。为了通过深度学习促进表格识别，我们创建并发布了WikiTableSet，这是从维基百科构建的最大的公开可用的基于图像的表格识别数据集。WikiTableSet包含近400万张英文表格图像、59万张日文表格图像和64万张法文表格图像，以及相应的HTML表示和单元格边界框。在WikiTableSet和两个大规模数据集FinTabNet和PubTabNet上进行的广泛实验表明，与所有基准数据集上的最先进模型相比，所提出的弱监督模型实现了更好或相似的精度。
2023-03-14 cs.CV
GB-CosFace: Rethinking Softmax-based Face Recognition from the Perspective of Open Set Classification
Alibaba Group（阿里巴巴集团）
最先进的人脸识别方法通常采用多分类流水线，并采用基于softmax的损失进行优化。虽然这些方法取得了巨大的成功，但从开集分类的角度来看，基于softmax的损失有其局限性：训练阶段的多分类目标与开集分类测试的目标并不严格匹配。在本文中，我们得到了一个新的损失命名为全球边界CosFace（GB-CosFace）。我们的GB-CosFace引入了一个自适应的全局边界来确定两个人脸样本是否属于同一身份，以便从开集分类的角度将优化目标与测试过程保持一致。同时，由于损失公式是从基于软最大值的损失，我们的GB-CosFace保留了基于软最大值的损失的优良性能，和CosFace被证明是一个特殊的情况下提出的损失。我们分析和几何解释所提出的GB-CosFace。在多个人脸识别基准上的综合实验表明，所提出的GB-CosFace在主流人脸识别任务中优于当前最先进的人脸识别损失。与CosFace相比，我们的GB-CosFace在TAR@FAR = 1e-6，1e-5，1e-4时在IJB-C基准上提高了1.58%，0.57%和0.28%。
2023-02-10 cs.CV
Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation
Tencent YouTu Lab（腾讯优图实验室）
最近，表结构识别（TSR）任务，旨在识别表结构到机器可读的格式，在社会上受到越来越多的关注。虽然基于单表组件的方法取得了令人印象深刻的成功，但大多数基于单表组件的方法不能很好地处理因内部结构复杂和外部捕获失真而分散注意力的非正则表情况。在本文中，我们将其提出为复杂的TSR问题，其中现有方法的性能退化归因于其低效的组件使用和冗余的后处理。为了减轻它，我们将我们的视角从表组件提取转向有效的多组件利用，这有待于在该领域的进一步探索。具体来说，我们提出了一个开创性的方法，称为GrabTab，配备了新提出的组件审议。由于其渐进式的审议机制，我们的GrabTab可以灵活地适应最复杂的表格，选择合理的组件，但不涉及复杂的后处理。公共基准上的定量实验结果表明，我们的方法显着优于最先进的，特别是在更具挑战性的场景。
2023-03-16 cs.CV
Rethinking Cooking State Recognition with Vision Transformers
Islamic University of Technology（伊斯兰技术大学）
为了确保正确的知识表示的厨房环境中，它是至关重要的厨房机器人，以认识到正在烹饪的食品的状态。虽然目标检测和识别领域已经被广泛研究，但目标状态分类的任务仍然相对未被探索。在不同烹饪状态下，食材的高度类内相似性使得这项任务更具挑战性。研究人员最近提出采用基于深度学习的策略，然而，它们尚未实现高性能。在这项研究中，我们利用自我注意力机制的视觉Transformer（ViT）架构的烹饪状态识别任务。所提出的方法封装了图像中的全局显着特征，同时还利用了从更大的数据集中学习到的权重。这种全局注意力使模型能够承受不同烹饪对象的样本之间的相似性，而迁移学习的使用有助于通过利用预训练的权重来克服缺乏归纳偏差。为了提高识别精度，还采用了几种增强技术。在“烹饪状态识别挑战数据集”上对我们提出的框架进行评估，准确率达到94.3%，明显优于最先进的水平。
2022-12-24 cs.CV
Rethinking the Domain Gap in Near-infrared Face Recognition
Imperial College London（帝国理工学院）
本文重新审视近红外人脸识别中的域差距问题，发现大规模VIS预训练模型具备较强零样本HFR能力，并提出预训练加正则化微调的简洁框架，在四个公开基准上达到或超越现有最优方法。
2023-12-01 cs.CV
Rethinking Rotation-Invariant Recognition of Fine-grained Shapes from the Perspective of Contour Points
Tsinghua University（清华大学）；Taiyuan University of Technology（太原理工大学）
针对像素方法在细粒度形状旋转不变识别中的冗余与几何信息泄漏问题，提出基于轮廓几何感知的抗噪声旋转不变卷积模块及五级联网络，提升识别性能并增强对噪声和旋转中心的鲁棒性。
2025-03-14 cs.CV
Rethinking Feature Discrimination and Polymerization for Large-scale Recognition
The Chinese University of Hong Kong（香港中文大学）
特色很重要。如何训练深度网络以获取跨类别的区分特征和类内的聚合特征一直是许多计算机视觉任务的核心，特别是对于在训练期间看不到测试身份并且类的数量可能达到百万级的大规模识别系统。在本文中，我们解决这个问题的基础上，简单的直觉，在高维空间中的特征的余弦距离应该足够接近一个类和远离跨类别。为此，我们提出了同源余弦（COCO）算法，同时优化数据之间的余弦相似性。它继承了softmax属性，使类间特征具有区分性，并分享了度量学习中的类质心思想。与以前的工作不同，在训练过程中，中心是一个小批量中的时间统计变量，公式化的质心负责聚类类内特征，以强制它们围绕网络主干聚合。COCO与判别式训练捆绑在一起，并以稳定的收敛进行端到端学习。我们在五个基准测试上进行了广泛的实验，以验证我们的方法在小规模分类任务和大规模人类识别问题上的有效性。
2017-10-29 cs.CV
Rethinking Motion Representation: Residual Frames with 3D ConvNets for Better Action Recognition
The University of Tokyo（东京大学）
最近，3D卷积网络在动作识别方面表现良好。但仍需要光流流来保证较好的性能，其成本非常高。在本文中，我们提出了一种快速，但有效的方法来提取运动特征，从视频利用残留帧作为输入数据在三维ConvNets。通过用残差帧替换传统的堆叠RGB帧，在从头开始训练时，UCF 101和HMDB 51数据集上的top-1精度可以提高20.5%和12.5%。由于残留帧包含的对象外观信息很少，我们进一步使用2D卷积网络来提取外观特征，并将它们与残留帧的结果相结合，形成一个双路径解决方案。在三个基准数据集上，我们的双路径解决方案比使用额外的光流方法的性能更好或相当，特别是在Mini-kinetics数据集上优于最先进的模型。进一步的分析表明，使用3D ConvNets的残差帧可以提取更好的运动特征，并且我们的残差帧输入路径是对现有RGB帧输入模型的很好补充。
2020-01-16 cs.CV
Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation under Zero-Shot Pedestrian Identity Setting
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
行人属性识别的目的是为视频监控摄像机拍摄的一幅行人图像分配多个属性。虽然提出了许多方法，并取得了巨大的进展，我们认为，现在是时候退后一步，分析该地区的现状。我们从三个角度回顾和反思最近的进展。首先，由于行人属性识别没有明确和完整的定义，我们正式定义和区分行人属性识别与其他类似的任务。其次，基于所提出的定义，我们暴露了现有数据集的局限性，这些数据集违反了学术规范，与实际行业应用的本质要求不一致。因此，我们提出了两个数据集，PETA \textsubscript{$ZS$}和RAP \textsubscript{$ZS$}，构建以下行人身份的zero-shot设置。此外，我们还介绍了未来行人属性数据集建设的几个现实标准。最后，我们重新实现现有的最先进的方法，并引入一个强大的基线方法，以提供可靠的评估和公平的比较。实验进行了四个现有的数据集和两个建议的数据集来衡量行人属性识别的进展。
2021-11-29 cs.CV
One Channel to Rule Them All: Rethinking Input Representation for Visual Place Recognition
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
通过实验证明灰度图像在视觉地点识别中与RGB性能相当甚至更优，尤其在严重外观变化下，灰度更具鲁棒性，且能减少参数和资源消耗。
2026-05-31 cs.CV
Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective
University of Central Florida（中佛罗里达大学）；University of California at Merced（加州大学默塞德分校）；Google（谷歌）
现实世界中的对象频率通常遵循幂律，导致机器学习模型所看到的长尾类分布数据集与我们对模型在所有类上表现良好的期望之间不匹配。我们从领域自适应的角度来分析这种不匹配。首先，我们连接现有的类平衡方法长尾分类的目标转移，一个很好的研究方案，在领域自适应。这种联系表明，这些方法隐含地假设训练数据和测试数据共享相同的类条件分布，这通常不成立，特别是对于尾类。虽然头类可以包含丰富多样的训练样本，这些样本很好地表示了推理时的预期数据，但尾类通常缺乏代表性的训练数据。为此，我们建议通过使用元学习方法明确估计类条件分布之间的差异来增强经典的类平衡学习。我们用六个基准数据集和三个损失函数验证了我们的方法。
2020-03-24 cs.CV cs.LG stat.ML
Rethinking of Pedestrian Attribute Recognition: Realistic Datasets with Efficient Method
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
尽管人们提出了各种方法来进行行人属性识别，但在现有数据集上，一个关键问题往往被忽视，即在训练和测试集中存在大量相同的行人身份，这与实际应用不一致。因此，在训练集和测试集中相同行人身份的图像是非常相似的，导致现有数据集上的最先进的方法的性能被高估。为了解决这个问题，我们提出了两个现实的数据集PETA \textsubscript{$zs$}和RAPv2 \textsubscript{$zs$}以下zero-shot设置行人身份的基础上PETA和RAPv2数据集。此外，与我们的强基线方法相比，我们已经观察到最近的最先进的方法不能对PETA、RAPv2、PETA \textsubscript{$zs$}和RAPv2 \textsubscript{$zs$}进行性能改进。因此，通过解决行人属性识别中固有的属性不平衡问题，提出了一种有效的方法，以进一步提高性能。现有的和建议的数据集上的实验验证了我们的方法的优越性，达到最先进的性能。
2020-05-26 cs.CV
From Modalities to Styles: Rethinking the Domain Gap in Heterogeneous Face Recognition
Idiap Research Institute（伊迪亚普研究所）；Université de Lausanne（洛桑大学）
本文将异构人脸识别中的不同模态视为不同风格，提出条件自适应实例调制（CAIM）模块无缝嵌入现有人脸识别网络，通过调制特征图弥合域差异，仅需少量配对样本即可端到端训练并在多项基准上超越现有方法。
2024-04-22 cs.CV
Rethinking Persistent Homology for Visual Recognition
University of Queensland（昆士兰大学）；Neusoft（东软集团）
图像的持久拓扑属性作为额外的描述符，提供了传统神经网络可能无法发现的洞察力。在这一领域的现有研究主要集中在有效地整合学习过程中的数据的拓扑属性，以提高性能。然而，没有现有的研究来证明所有可能的情况下，引入拓扑属性可以提高或损害性能。本文详细分析了拓扑属性在不同训练场景下对图像分类的有效性，这些训练场景定义为：训练样本的数量、训练数据的复杂度和骨干网络的复杂度。我们确定了从拓扑特征中获益最多的场景，例如，在小数据集上训练简单网络。此外，我们还讨论了数据集的拓扑一致性问题，这是使用拓扑特征进行分类的主要瓶颈之一。我们进一步展示了拓扑不一致如何损害某些情况下的性能。
2023-03-06 cs.CV
Rethinking Impersonation and Dodging Attacks on Face Recognition Systems
Huazhong University of Science and Technology（华中科技大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Shizhuang Information Technology Co., Ltd（上海石庄信息技术有限公司）；La Trobe University（拉筹伯大学）
针对黑盒场景下人脸识别仿冒攻击难同时实现规避攻击的问题，提出包含三阶段的Adv-Pruning攻击方法，可在保留仿冒能力的同时增强规避能力，性能优于现有最先进方法。
2024-08-18 cs.CV cs.LG
Rethinking Resolution in the Context of Efficient Video Recognition
The University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
在本文中，我们实证研究如何充分利用低分辨率帧的有效视频识别。现有的方法主要集中在开发紧凑的网络或减轻视频输入的时间冗余，以提高效率，而压缩帧分辨率很少被认为是一个有前途的解决方案。一个主要的问题是低分辨率帧的识别精度差。因此，我们首先分析低分辨率帧性能下降的根本原因。我们的主要发现是，降级的主要原因不是下采样过程中的信息丢失，而是网络架构和输入规模之间的不匹配。受知识蒸馏（KD）成功的启发，我们提出通过交叉分辨率KD（ResKD）来弥合网络和输入大小之间的差距。我们的工作表明，ResKD是一种简单但有效的方法，可以提高低分辨率帧的识别精度。没有花里胡哨的东西，ResKD在四个大规模基准数据集上的效率和准确性方面大大超过了所有竞争方法，即，ActivityNet、FCVID、Mini-Kinetics、Something-Something V2。此外，我们广泛地证明了其有效性超过国家的最先进的架构，即，3D-CNN和视频Transformers，以及对超低分辨率帧的可扩展性。结果表明，ResKD可以作为一种通用的推理加速方法，用于最先进的视频识别。我们的代码将在https://github.com/CVMI-Lab/ResKD上提供。
2022-09-26 cs.CV
Rethinking Text-to-Image as Semantic-Aware Data Augmentation for Indoor Scene Recognition
University of Science, VNU-HCM, Vietnam（越南国立大学胡志明市理科大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）
针对室内图像数据不足，提出利用稳定扩散生成合成图像进行数据增强，并通过扩散重建误差防止滥用，在MIT室内场景数据集上验证了有效性。
2026-06-18 cs.CV
Rethinking Generalization Performance of Surgical Phase Recognition with Expert-Generated Annotations
hutom；Yonsei University College of Medicine（延世大学医学院）
随着深度神经网络的应用领域扩展到需要专业知识的领域，例如，在医学和法律方面，需要更精细的注释过程来进行专家知识训练。特别是，在专家知识训练的情况下，难以保证临床领域中的泛化性能，在专家知识训练中，即使在专家之间，关于注释的意见也可能不同。为了提出CNN专业培训的注释生成过程的问题，我们验证了腹腔镜胆囊切除术和胃癌胃大部切除术的手术阶段识别的注释。我们通过分析先前注释标签的差异和讨论手术阶段的标准，为胆囊切除术的七个阶段制作校准的注释。由于胃癌的胃切除术有较复杂的二十一个手术阶段，我们与五位专家通过修订过程产生共识注释。通过用修改后的注释训练基于CNN的手术阶段识别网络，我们在相同的交叉验证设置下，与用原始注释训练的模型相比，实现了更好的泛化性能。我们表明，深度神经网络的专业知识数据注释管道应该根据问题类型更加严格，以应用于临床领域。
2021-10-22 cs.CV
Rethinking and Designing a High-performing Automatic License Plate Recognition Approach
Nanyang Technological University（南洋理工大学）；Singapore Telecommunications Limited（新加坡电信有限公司）
在本文中，我们提出了一个实时和准确的自动车牌识别（ALPR）的方法。我们的研究从四个方面说明了ALPR的优秀设计：（1）基于重采样的级联框架有利于速度和准确率的提高;（2）高效的车牌识别需要大量的附加字符分割和递归神经网络（RNN），而采用普通的卷积神经网络（CNN）;（3）在CNN的情况下，利用车牌上的顶点信息提高了识别性能;以及（4）权重共享字符分类器解决了小规模数据集中训练图像的缺乏。基于这些见解，我们提出了一种新的ALPR方法，称为VSNet。具体地，VSNet包括两个CNN，即，VertexNet用于车牌检测，SCR-Net用于车牌识别，以基于重采样的级联方式集成。在VertexNet中，我们提出了一个有效的集成块来提取车牌的空间特征。利用顶点监督信息，我们在VertexNet中提出了一个顶点估计分支，使得车牌可以作为SCR-Net的输入图像进行校正。在SCR-Net中，我们引入了一种从左到右的特征提取的水平编码技术，并提出了一种用于字符识别的权重共享分类器。实验结果表明，该方法在出错率上相对提高了50%以上，在CCPD和AOLP数据集上的识别准确率均超过99%，推理速度为149 FPS。此外，我们的方法在看不见的PKUData和CLPD数据集上进行评估时，展示了出色的泛化能力。
2021-06-17 cs.CV
Ego4OOD: Rethinking Egocentric Video Domain Generalization via Covariate Shift Scoring
McGill University（麦吉尔大学）
Ego4OOD通过引入协变量偏移评分，改进第一人称视频领域泛化的基准，展示了轻量网络在Argo1M和Ego4OOD上的高性能表现。
2026-01-21 cs.CV cs.LG
TAL EmotioNet Challenge 2020 Rethinking the Model Chosen Problem in Multi-Task Learning
TAL Education Group（好未来教育集团）
本文介绍了我们对2020年网络挑战赛的方法。我们将AU识别问题作为一个多任务学习问题，其中非刚性面部肌肉运动（主要是前17个AU）和刚性头部运动（最后6个AU）分别建模。研究了表情特征和头部姿态特征的共现性。我们观察到不同的AU以不同的速度收敛。通过为每个AU选择最佳检查点，提高了识别结果。我们能够在验证集中获得0.746的最终得分，在挑战的测试集中获得0.7306的最终得分。
2020-04-21 cs.CV
Rethinking the Pointer Loss in Table Structure Recognition: Geometry-Aware Pointer Loss for Spatial Locality
Teamreboott Inc.（Teamreboott公司）
针对指针网络在表格结构识别中相邻单元格错误占79.6%的问题，提出几何感知指针损失，通过反距离加权重写交叉熵目标，聚焦邻近单元格梯度，在不增加推理成本下提升性能。
2026-06-18 cs.CV
Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition
University of Maryland（马里兰大学）；University of Freiburg（弗莱堡大学）；Arthur AI（亚瑟人工智能公司）；Caltech（加州理工学院）；New York University（纽约大学）
本文发现人脸识别偏见内生于神经网络架构，首次通过联合公平性神经架构搜索与超参数搜索，得到在 CelebA 和 VGGFace2 上准确率与公平性均 Pareto 占优的模型。
2023-12-06 cs.AI cs.CV cs.CY
Rethinking the Threat and Accessibility of Adversarial Attacks against Face Recognition Systems
National University of Singapore（新加坡国立大学）；Ping An Technology（平安科技）；CSIRO’s Data61（联邦科学与工业研究组织Data61）；Swinburne University of Technology（斯威本科技大学）
该研究从行业视角重新评估人脸识别对抗攻击威胁，提出易实施的物理攻击AdvColor，实验显示其高攻击成功率，调研发现可感知易实现攻击对商用系统威胁更大。
2024-07-11 cs.CV
Rethinking Genomic Modeling Through Optical Character Recognition
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
提出OpticalDNA框架，将DNA渲染为视觉布局，利用视觉语言模型进行OCR式基因组理解，实现高保真压缩和长序列高效处理，在450k碱基序列上以近20倍更少有效token超越基线模型。
2026-06-05 cs.AI cs.CL cs.CV
Synthetic Data Alone is Enough? Rethinking Data Scarcity in Pediatric Rare Disease Recognition
Western University（西方大学）；University of Toronto（多伦多大学）
本研究探讨了在儿科罕见病识别中，仅使用合成数据是否足以克服数据稀缺问题，通过实验发现高保真合成数据能模拟临床有意义的分布，从而为遗传咨询提供隐私保护的视觉资源。
2026-05-21 cs.CV
Sibling-Attack: Rethinking Transferable Adversarial Attacks against Face Recognition
University of California, Riverside（加州大学河滨分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tencent（腾讯）
在开发实际的人脸识别（FR）攻击中的一个困难挑战是由于目标FR模型的黑盒性质，即，攻击者无法获得梯度和参数信息。虽然最近的研究通过利用可转移性向攻击黑盒FR模型迈出了重要的一步，但它们的性能仍然有限，特别是针对可能悲观的在线商业FR系统（例如，平均攻击成功率低于50%）。受此启发，我们提出了同胞攻击，一种新的FR攻击技术，首次探索了一种新的多任务视角（即，利用来自多个相关任务的额外信息来提高攻击可转移性）。基于理论分析和定量分析，直觉，同胞攻击选择了一组与FR相关的任务，并选择了属性识别（AR）任务作为同胞攻击的任务。然后，Sibling-Attack开发了一个优化框架，通过（1）将跨任务特征约束在同一空间下，（2）联合任务Meta优化框架，增强了任务之间的梯度兼容性，以及（3）跨任务梯度稳定方法，减轻了攻击过程中的振荡效应。大量的实验表明，兄弟攻击比最先进的FR攻击技术表现出色，在最先进的预训练FR模型和两个众所周知的广泛使用的商业FR系统上，ASR平均提高了12.61%和55.77%。
2023-03-22 cs.CV
PvNeXt: Rethinking Network Design and Temporal Motion for Point Cloud Video Recognition
Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
PvNeXt通过运动模仿器和单步运动编码器，以个性化一次性查询替代迭代密集查询，实现高效点云视频识别。
2025-04-07 cs.CV
Rethinking HTG Evaluation: Bridging Generation and Recognition
Luleå University of Technology（吕勒奥理工大学）；National Technical University of Athens（雅典国立技术大学）；University of West Attica（西阿提卡大学）
本文针对手写文本生成评估提出三种新指标，结合手写识别与书写者识别模型，从风格、内容和多样性角度弥补 FID 等传统指标的不足，并在 IAM 数据库上验证其有效性。
2024-09-04 cs.CV
Rethinking Handwritten Character Recognition
Kathmandu University（加德满都大学）
提出GraphemeNet，通过持久支架注入和笔画拓扑模块显式编码文字几何结构，在14个基准上超越基线，验证了结构先验效率原则。
2026-09-11 cs.CV eess.IV
Rethinking the Two-Stage Framework for Grounded Situation Recognition
Tencent AI Lab（腾讯人工智能实验室）
Grounded Situation Recognition（GSR），即识别图像中的显著活动（或动词）类别（例如，购买）并检测所有相应的语义角色（例如，代理和货物），是迈向“类人”事件理解的重要一步。由于每个动词都与一组特定的语义角色相关联，所有现有的GSR方法都采用两阶段框架：在第一阶段预测动词，在第二阶段检测语义角色。然而，这两个阶段都存在明显的缺陷：1）由于日常活动中类内差异大、类间相似度高，广泛使用的用于对象识别的交叉熵损失（XE）在动词分类中存在不足。2)所有语义角色都是以自回归的方式检测的，这无法对不同角色之间的复杂语义关系进行建模。为此，我们提出了一种新的SituFormer的GSR，它包括一个粗到细的动词模型（CFVM）和一个基于转换器的名词模型（TNM）。CFVM是一个两步动词预测模型：用XE损失训练的粗粒度模型首先提出一组动词候选，然后用三重损失训练的细粒度模型用增强的动词特征（不仅是可分离的，而且是可区分的）对这些候选进行重新排序。TNM是一个基于转换器的语义角色检测模型，它检测所有的角色。由于Transformer解码器的全局关系建模能力和灵活性，TNM可以充分探索角色的统计依赖性。在具有挑战性的SWiG基准测试上进行的广泛验证表明，SituFormer在各种指标下都实现了新的最先进的性能，并取得了显着的收益。代码可在https://github.com/…
2021-12-10 cs.CV
Rethinking Prompting Strategies for Multi-Label Recognition with Partial Annotations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对带部分标注的多标签识别，研究发现VLM提示学习中负向提示会降低性能，仅学正向提示结合学习型负向嵌入的PositiveCoOp优于双提示方法，且低缺失标签比例下纯视觉基线性能可比双提示法，计算和参数成本更低。
2024-09-12 cs.AI cs.CL cs.CV
Rethinking Text Segmentation: A Novel Dataset and A Text-Specific Refinement Approach
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe（奥多比）；University of Oregon（俄勒冈大学）
文本分割是许多现实世界文本相关任务的先决条件，例如，文本样式转换和场景文本删除。然而，由于缺乏高质量的数据集和专门的调查，这一关键的先决条件在许多著作中被作为一个假设，并在很大程度上被当前的研究所忽视。为了弥补这一差距，我们提出了TextSeg，这是一个大规模的精细注释文本数据集，具有六种类型的注释：单词和字符边界多边形，掩码和translation。我们还介绍了文本细化网络（TexRNet），一种新的文本分割方法，适应文本的独特属性，例如非凸边界，多样的纹理等，这通常会给传统的分割模型带来负担。在我们的TexRNet中，我们提出了文本特定的网络设计来解决这些挑战，包括关键特征池和基于注意力的相似性检查。我们还介绍了三重图和三重损失，显示显着改善文本分割。在我们的TextSeg数据集和其他现有数据集上进行了大量的实验。我们证明，与其他最先进的分割方法相比，TexRNet始终将文本分割性能提高了近2%。我们的数据集和代码将在https://github.com/SHI-Labs/Rethinking-Text-Segmentation上提供。
2020-11-27 cs.CV
Rethinking Key-frame-based Micro-expression Recognition: A Robust and Accurate Framework Against Key-frame Errors
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Auckland（奥克兰大学）；Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部交互技术与体验系统重点实验室）
针对微表情识别中关键帧索引易错且难以获取的问题，提出框架CausalNet，通过输入完整序列并结合因果运动位置学习模块与因果注意力块，在抗噪的同时保持高识别精度并超越SOTA。
2025-08-08 cs.CV
Can We Read Speech Beyond the Lips? Rethinking RoI Selection for Deep Visual Speech Recognition
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
深度学习的最新进展提高了视觉语音识别（VSR）领域研究人员的兴趣。目前，大多数现有方法将VSR等同于自动唇读，其试图通过分析嘴唇运动来识别语音。然而，人类经验和心理学研究表明，在面对面的交谈中，我们并不总是盯着对方的嘴唇，而是重复地扫视整张脸。这启发我们重新审视一个基本但却被忽视的问题：VSR模型是否可以从读取口外面部区域（即嘴唇以外）中受益？在本文中，我们进行了一个全面的研究，以评估不同的面部区域与国家的最先进的VSR模型，包括嘴，整个脸，上脸，甚至脸颊的效果。实验在具有不同特征的词级和句子级基准上进行。我们发现，尽管数据的复杂变化，纳入信息从口外面部区域，甚至上脸，始终有利于VSR性能。此外，我们引入了一个简单而有效的方法，基于裁剪来学习更多的判别特征，基于人脸的VSR，希望最大限度地利用编码在不同的面部区域的信息。我们的实验表明，与现有的仅使用嘴唇区域作为输入的最先进的方法相比，有了明显的改进，我们相信这一结果可能会为VSR社区提供一些新的和令人兴奋的见解。
2020-03-09 cs.CV
Rethinking Top Probability from Multi-view for Distracted Driver Behaviour Localization
Chonnam National University（全南大学）；Vietnamese-German University（越南德国大学）；Hanoi University of Science and Technology（河内科技大学）
本文针对自然驾驶分心行为定位中识别概率混淆的问题，提出结合自监督识别、多视角约束集成和条件后处理的方法，在2024年AI城市挑战赛第3赛道公开排行榜上获得第六名。
2024-11-19 cs.AI cs.CV
Scriboora: Rethinking Human Pose Forecasting
University of Augsburg（奥尔堡大学）
Scriboora通过类比语音理解任务，改进姿态预测性能，并引入噪声数据集评估模型鲁棒性。
2026-09-29 cs.CV
DENOISER: Rethinking the Robustness for Open-Vocabulary Action Recognition
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文针对开放词汇动作识别中类别描述含噪的问题，提出DENOISER框架，通过生成与判别交替迭代去噪文本并提升分类，显著增强了模型的鲁棒性。
2024-04-23 cs.CV
TeRA: Rethinking Text-guided Realistic 3D Avatar Generation
Nanjing University（南京大学）；Concordia University（约克大学）
本研究提出TeRA两阶段3D数字人生成框架，通过蒸馏人体重建模型构建结构化隐空间、训练文本控制隐扩散模型，提升了文本生成写实3D数字人的效率与效果，还支持局部定制，主客观评估均优于现有模型。
2025-09-02 cs.CV
Rethinking Recurrent Neural Networks and Other Improvements for Image Classification
University of Coimbra（科英布拉大学）；Center for Informatics and Systems of the University of Coimbra（科英布拉大学信息学与系统中心）；Department of Informatics Engineering（信息工程系）
在机器学习的漫长历史中，可以追溯到几十年前，循环神经网络（RNN）主要用于序列数据和时间序列，通常具有一维信息。即使在一些罕见的2D图像研究中，这些网络也只是用于顺序学习和生成数据，而不是用于图像识别任务。在这项研究中，我们建议在设计图像识别模型时集成RNN作为附加层。我们还开发了端到端的多模型集成，使用多个模型生成专家预测。此外，我们扩展了训练策略，使我们的模型能够与领先的模型相匹配，甚至可以在几个具有挑战性的数据集上与最先进的模型相匹配（例如，SVHN（0.99）、Cifar-100（0.9027）和Cifar-10（0.9852））。此外，我们的模型在Surrey数据集上创下了新的记录（0.949）。本文中提供的方法的源代码可以从https://github.com/leonlha/e2e-3m和http://nguyenhuuphong.me获得。
2021-03-04 cs.CV
Perceptron Synthesis Network: Rethinking the Action Scale Variances in Videos
Shanghai Jiao Tong University（上海交通大学）
视频动作识别已经通过固定大小的3D内核的CNN堆栈部分解决。然而，这些方法可能表现不佳，只捕捉刚性的时空模式在单尺度空间，而忽略了跨不同的动作基元的尺度变化。为了克服这一限制，我们建议从数据中学习最佳尺度的内核。更具体地说，提出了一个\textit{action perceptron synthesizer}从一袋固定大小的内核，密集路由路径相互作用的内核。为了保证路径的交互丰富性和信息容量，我们设计了新的\textit{optimized feature fusion layer}。这一层建立了一个原则性的通用范例，足以覆盖大多数当前的特征融合技术（例如，信道重排和信道丢失）。通过插入\textit{synthesizer}，我们的方法可以很容易地适应传统的2D CNN的视频理解任务，如动作识别与边际额外的计算成本。所提出的方法在几个具有挑战性的数据集（即，物对物、动力学和潜水48），高度需要时间推理或外观辨别，实现新的最先进的结果。特别是，我们的低分辨率模型优于最近的强基线方法，即，TSM和GST的计算量不到其计算量的30%。
2022-04-19 cs.CV cs.LG eess.IV
Rethinking Facial Expression Recognition in the Era of Multimodal Large Language Models: Benchmark, Datasets, and Beyond
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；Tencent（腾讯）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；Westlake University（西湖大学）
针对多模态大语言模型在面部表情识别（FER）中推理与可解释性不足的问题，本文构建了基准FERBench，并利用大规模数据集与RLVR后训练策略开发了统一且可解释的FER基础模型UniFER-7B。
2025-11-01 cs.CV
Rethinking Global Text Conditioning in Diffusion Transformers
Yandex Research（Yandex研究院）；Adobe Research（Adobe研究院）
本文重新思考扩散变换器中的全局文本条件化，发现传统调制机制贡献有限，但通过不同视角使用池化嵌入可带来显著性能提升。
2026-02-09 cs.CV
Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency
National Technical University of Athens（雅典国立技术大学）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）；China Mobile Group Shaanxi Co Ltd（中国移动集团陕西有限公司）
本文针对情感分析评估中因数据库划分和协议不一致导致的不公平问题，提出统一划分协议、人口统计学标注和通用评估框架，并重新运行方法、发布新排行榜以促进公平比较。
2024-08-07 cs.CV
TransFace++: Rethinking the Face Recognition Paradigm with a Focus on Accuracy, Efficiency, and Security
Zhejiang University（浙江大学）；Wolf 1069 b Lab, Sany Group（沃尔夫1069b实验室，三一集团）；Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校）；Department of Engineering, King’s College London（工程系，国王学院伦敦分校）
针对现有CNN人脸识别框架在全局特征捕捉、推理效率和隐私安全上的不足，提出TransFace和TransFace++框架，分别采用ViTs和图像字节输入，在基准上验证了精度、效率与安全性的提升。
2025-10-25 cs.AI cs.CV
Rethinking Super-Resolution as Text-Guided Details Generation
Fudan University（复旦大学）
深度神经网络极大地提升了单图像超分辨率（SISR）的性能。传统的方法仍然采取恢复的单一高分辨率（HR）解决方案的基础上输入的图像模态。然而，图像级信息不足以预测足够的细节和照片般逼真的视觉质量，面对大的放大因子（x8，x16）。在本文中，我们提出了一个新的观点，认为SISR作为一个语义图像细节增强问题，以产生语义合理的HR图像是忠实于地面真相。为了提高语义准确性和重建图像的视觉质量，本文提出了一种文本引导的超分辨率（TGSR）框架，该框架可以有效地利用文本和图像模态的信息，从而探索了SISR中的多模态融合学习。与现有的方法不同，该方法可以通过由粗到细的过程生成与文本描述相匹配的HR图像细节。大量的实验和烧蚀研究证明了TGSR的效果，它利用文本参考来恢复逼真的图像。
2022-07-14 cs.CV
Rethinking the Role of Feature Engineering and Learning Strategies in Few-Shot Hidden Emotion Recognition
Hefei University of Technology（合肥工业大学）；University College London（伦敦大学学院）；The University of Sydney（悉尼大学）；Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Beihang University（北京航空航天大学）；The University of New South Wales（新南威尔士大学）；United Arab Emirates University（阿拉伯联合酋长国大学）
提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。
2026-07-01 cs.CV
Rethinking Detection Based Table Structure Recognition for Visually Rich Document Images
University of Ottawa（渥太华大学）；Lytica Inc.（Lytica公司）
本文全面分析了基于检测的表格结构识别模型性能受限的原因，并通过定制Cascade R-CNN模型，在FinTabNet数据集上使结构TEDS提升16.35%，证明了纯检测方案的竞争力。
2024-01-10 cs.CV cs.IR
Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning
Samsung Electronics（三星电子）；Seoul National University（首尔大学）；Konkuk University（建国大学）
本文提出一种无需训练的扩散模型记忆缓解方法，通过高斯平滑重分配交叉注意力并强化内容令牌，在保持提示对齐的同时减少训练图像复现，并在多个模型上验证了帕累托最优性。
2026-10-02 cs.CV
Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach
Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究基于统一特征表示重评长尾分类器重训练，提出 Logits Magnitude 与正则化标准差，并据此设计无需类别样本数先验的 LORT，在多个不平衡基准上达到 SOTA。
2024-03-01 cs.AI cs.CV
DragText: Rethinking Text Embedding in Point-based Image Editing
Yonsei University（延世大学）
针对基于点的扩散图像编辑中文本嵌入与逐步变化的图像嵌入失配问题，提出 DragText，在拖拽过程中联合优化并正则化文本嵌入，可即插即用增强现有方法。
2024-12-04 cs.AI cs.CV
CycleNet: Rethinking Cycle Consistency in Text-Guided Diffusion for Image Manipulation
University of Michigan（密歇根大学）；LG AI Research（LG AI研究院）
针对预训练扩散模型无配对图像到图像转换一致性不足的问题，提出引入循环一致性的CycleNet框架，在多粒度任务上表现更优，数据需求低、训练算力要求小，还新增了物体物理状态变化研究数据集。
2024-03-09 cs.AI cs.CV cs.LG
RIS-FUSION: Rethinking Text-Driven Infrared and Visible Image Fusion from the Perspective of Referring Image Segmentation
Central University of Finance and Economics（中央财经大学）；Tsinghua University（清华大学）
RIS-FUSION通过联合优化融合与指代图像分割，提升基于文本的红外和可见图像融合性能，实现mIoU指标的显著提升。
2026-01-19 cs.CV
