Accurate Single Stage Detector Using Recurrent Rolling Convolution
SenseTime Group Limited（商汤集团有限公司）
最近在精确目标检测和定位中的大多数成功方法使用R-CNN风格的两阶段卷积神经网络（CNN）的一些变体，其中在第一阶段中提出合理区域，然后是用于决策细化的第二阶段。尽管训练简单，部署效率高，但在基准测试中评估时，单阶段检测方法并不具有竞争力，考虑高IoU阈值的mAP。在本文中，我们提出了一种新的单级端到端可训练的目标检测网络，以克服这一限制。我们通过在多尺度特征映射上引入递归滚动卷积（RRC）架构来构建“深度上下文”的对象分类器和限界框回归器来实现这一点。我们在具有挑战性的KITTI数据集上评估了我们的方法，该数据集在IoU阈值为0.7的情况下测量方法。我们发现，在RRC中，一个基于VGG-16的简化模型已经显著优于所有先前发表的结果。在撰写本文时，我们的模型在KITTI汽车检测（硬水平）中排名第一，在骑自行车者检测中排名第一，在行人检测中排名第二。这些结果是以前的单阶段方法所达不到的。代码是公开的。
2017-04-19 cs.CV
IoU-aware Single-stage Object Detector for Accurate Localization
Huazhong University of Science and Technology（华中科技大学）
单级目标检测器由于其简单、高效的特点，在计算机视觉的许多应用中得到了广泛的应用。然而，预测检测的分类得分和定位精度之间的低相关性严重损害了模型的定位精度。在本文中，IoU感知的单阶段对象检测器被提出来解决这个问题。具体而言，IoU感知单阶段对象检测器预测每个检测到的盒子的IoU。然后将分类得分和预测的IoU相乘以计算最终的检测置信度，该置信度与定位精度更相关。然后将检测置信度用作后续NMS和COCO AP计算的输入，这将大大提高模型的定位精度。在COCO和PASCAL VOC数据集上进行的大量实验证明了IoU感知的单阶段目标检测器在提高模型定位精度方面的有效性。在没有哨声和铃声的情况下，所提出的方法可以在COCO \textit{test-dev}上通过$1.7\%\sim1.9\%$和$2.2\%\sim2.5\%$显著改善AP 75。在PASCAL VOC上，该方法可以通过$2.9\%\sim4.4\%$显著提高AP，通过$4.6\%\sim10.2\%$显著提高AP 80、AP 90。代码可以在这里找到：{https：//github.com/ShengkaiWu/IoU-aware-single-stage-object-detector}。
2020-04-15 cs.CV
Accurate and Efficient Two-Stage Gun Detection in Video
Knight Foundation School of Computing and Information Sciences, Florida International University（佛罗里达国际大学奈特基金会计算与信息科学学院）
本文针对视频中微小枪支检测难题，提出一种两阶段方法：先用图像增强模型分类枪支视频，再用目标检测模型定位枪支区域，实验证明其性能与效率优于现有技术。
2025-03-08 cs.CV
SaccadeDet: A Novel Dual-Stage Architecture for Rapid and Accurate Detection in Gigapixel Images
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
针对千兆像素图像目标检测计算量大的问题，提出受人类眼球运动启发的双阶段架构SaccadeDet，通过扫视和凝视机制选择性处理图像区域，在PANDA数据集上实现8倍提速并应用于病理分析。
2024-07-25 cs.CV
StairNet: Top-Down Semantic Aggregation for Accurate One Shot Detection
KAIST（韩国科学技术院）
像SSD或YOLO这样的单级物体探测器已经显示出了很好的精度，内存占用量小，速度快。然而，人们普遍认为，一级检测器在检测小物体时有困难，而在检测大物体时，它们与两级方法有竞争力。在本文中，我们研究如何从SSD框架开始缓解这个问题。由于它们的金字塔式设计，负责小对象的较低层缺乏强大的语义（例如上下文信息）。我们通过引入一个功能组合模块，以自上而下的方式展开强语义来解决这个问题。我们的最终模型StairNet检测器有效地统一了多尺度表示和语义分布。在PASCAL VOC 2007和PASCAL VOC 2012数据集上的实验表明，StairNet显著改善了SSD的弱点，并优于其他最先进的一级检测器。
2017-09-18 cs.CV
Equalized Focal Loss for Dense Long-Tailed Object Detection
Tongji University（同济大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
尽管最近长尾目标检测取得了成功，但几乎所有的长尾目标检测器都是基于两阶段范式开发的。在实践中，单级检测器在行业中更普遍，因为它们具有易于部署的简单快速的管道。然而，在长尾情景中，迄今尚未探讨这一工作领域。在本文中，我们研究一级检测器是否可以在这种情况下表现良好。我们发现，主要的障碍，阻止一阶段检测器实现优异的性能是：类别遭受不同程度的正负不平衡问题下的长尾数据分布。传统的焦点损失平衡的训练过程与所有类别的相同的调制因子，从而无法处理长尾问题。为了解决这个问题，我们提出了均衡焦点损失（EFL），重新平衡的损失贡献的正样本和负样本的不同类别独立根据其不平衡程度。具体而言，EFL采用了一个与类别相关的调节因子，该因子可以根据不同类别的训练状况进行动态调整。在具有挑战性的LVIS v1基准上进行的大量实验证明了我们所提出的方法的有效性。通过端到端的培训管道，EFL在整体AP方面达到了29.2%，并在罕见类别上获得了显着的性能提升，超过了所有现有的最先进的方法。该代码可在https://github.com/ModelTC/EOD上获得。
2022-06-30 cs.CV
PIoU Loss: Towards Accurate Oriented Object Detection in Complex Environments
Clobotics（扩博机器人）；Shanghai Jiao Tong University（上海交通大学）；Multimedia University（多媒体大学）
使用定向限界框（OBB）的目标检测可以通过减少与背景区域的重叠来更好地瞄准旋转对象。现有的OBB方法大多是建立在水平限界框检测器上，通过引入由距离损失优化的额外角度维度。然而，由于距离损失仅使OBB的角度误差最小化，并且它与IoU松散相关，因此它对具有高纵横比的对象不敏感。因此，一种新的损失，像素IoU（PIoU）损失，制定利用角度和IoU准确的OBB回归。PIoU损失是从具有逐像素形式的IoU度量导出的，该形式简单并且适用于水平和定向限界框。为了证明其有效性，我们评估了基于锚和无锚框架的PIoU损失。实验结果表明，PIoU损失可以显着提高OBB检测器的性能，特别是在具有高纵横比和复杂背景的目标上。此外，以前的评估数据集不包括对象具有高纵横比的场景，因此引入了一个新的数据集Retail50K，以鼓励社区将OBB检测器适应更复杂的环境。
2020-07-19 cs.CV
MKIoU Loss: Towards Accurate Oriented Object Detection in Aerial Images
Zhejiang University of Technology（浙江工业大学）
有向限界框回归是有向目标检测的关键。然而，基于回归的方法往往遭受边界问题和损失和评估指标之间的不一致。本文提出了一种近似SkewIoU的调制Kalman IoU损失，称为MKIoU。为了避免边界问题，我们将有向限界框转换为高斯分布，然后使用卡尔曼滤波器来近似相交区域。但是，计算的交叉面积与实际交叉面积之间存在显著差异。因此，我们提出了一个调制因子来调整角度偏差和宽度-高度偏移对损耗变化的敏感性，使损耗与评估指标更加一致。此外，高斯建模方法避免了边界问题，但同时也造成了方形物体的角度混乱。因此，高斯角损失（GA损失）被提出来解决这个问题，通过添加一个修正的损失为方形目标。所提出的GA损失可以很容易地扩展到其他基于高斯的方法。在DOTA、UCAS-AOD和HRSC 2016三个公开的航空影像数据集上的实验表明了该方法的有效性。
2022-06-30 cs.CV
Single-Stage Open-world Instance Segmentation with Cross-task Consistency Regularization
Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）；ByteDance Inc.（字节跳动公司）；University of Adelaide（阿德莱德大学）
开放世界实例分割是一个新兴的研究课题，旨在从图像中分割类无关的对象实例。主流的方法使用两阶段分割框架，首先定位候选对象边界框，然后执行实例分割。在这项工作中，我们反而促进了OWIS的单阶段框架。我们认为，单阶段框架中的端到端训练过程可以更方便地直接正则化与类别无关的对象像素的定位。在单阶段实例分割框架的基础上，提出了一种正则化模型来预测前景像素，并利用其与实例分割的关系来构造跨任务的一致性损失。我们表明，这样的一致性损失可以减轻不完整的实例注释的问题-在现有的OWIS数据集的一个常见问题。我们还表明，建议的损失本身可以被认为是一个极端的情况下，所有对象注释是不存在的一些图像的半监督OWIS的有效解决方案。我们广泛的实验表明，所提出的方法在全监督和半监督的设置都取得了令人印象深刻的结果。与SOTA方法相比，该方法在UVO $\rightarrow$ UVO设置中显著提高了$AP_{100}$评分4.75%，在COCO $\rightarrow$ UVO设置中显著提高了4.05%。在半监督学习的情况下，我们的模型学习只有30%的标记数据，甚至优于其完全监督对应的50%的标记数据。代码将很快发布。
2022-10-18 cs.CV
Graph-PCNN: Two Stage Human Pose Estimation with Graph Pose Refinement
Baidu Inc.（百度公司）
目前，大多数最先进的人体姿态估计方法都是基于热图回归的。关键点的最终坐标直接通过热图解码获得。在本文中，我们的目标是找到一个更好的方法，以获得更准确的定位结果。主要提出了两点改进建议：1）粗定位和精定位应采用不同的特征和方法; 2）关键点之间的关系应考虑。具体来说，我们提出了一个两阶段的基于图和模型不可知的框架，称为Graph-PCNN，在原始热图回归网络上添加了一个本地化子网和一个图姿势细化模块。在第一阶段中，应用热图回归网络来获得粗略的定位结果，并对一组被称为引导点的建议关键点进行采样。在第二阶段，对于每个引导点，不同的视觉特征提取的定位子网。通过图形姿态细化模块探索引导点之间的关系，以获得更准确的定位结果。实验表明，Graph-PCNN可以用于各种骨干网络中，以大幅提高性能。没有花里胡哨的东西，我们最好的模型可以在COCO测试开发分割上实现最先进的76.8% AP。
2020-07-21 cs.CV
Focal and Efficient IOU Loss for Accurate Bounding Box Regression
CASIA（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）
在目标检测中，限界框回归（BBR）是决定目标定位性能的关键步骤。然而，我们发现，大多数以前的BBR损失函数有两个主要的缺点：（i）$\ell_n$ -范数和基于IOU的损失函数是低效的描述BBR的目标，这导致收敛速度慢和不准确的回归结果。(ii)大多数损失函数忽略了BBR中的不平衡问题，即大量与目标盒重叠较小的锚盒对BBR的优化贡献最大。为了减轻由此造成的不利影响，我们在本文中进行了深入的研究，以利用BBR损失的潜力。首先，提出了一种有效交并损失（EIOU），它明确地度量了BBR中三个几何因素的差异，即，重叠区域、中心点和边长。在此之后，我们陈述了有效示例挖掘（EEM）问题，并提出了一个回归版本的焦点损失，使回归过程集中在高质量的锚框。最后，将上述两部分结合起来，得到一个新的损失函数，即Focal-EIOU损失。在合成和真实数据集上进行了广泛的实验。该算法在收敛速度和定位精度上均优于其它BBR算法。
2022-07-16 cs.CV
Layer-wise Customized Weak Segmentation Block and AIoU Loss for Accurate Object Detection
Chongqing University（重庆大学）
基于锚点的检测器通过构建特征金字塔并直接在不同层的每个单元上设置不同尺度的锚点来处理尺度变化的问题。然而，这是很难的box-wise锚，以指导自适应学习的尺度特定的功能，在每一层，因为有没有一对一的对应关系box-wise锚和像素级功能。为了缓解这个问题，在本文中，我们提出了一个规模定制的弱分割（SCWS）块在像素级的规模定制的对象特征学习在每一层。通过将SCWS块集成到单次检测器中，构造了尺度感知对象检测器（SCOD），可以自然准确地检测不同大小的对象。此外，标准位置损失忽略了硬样本和易样本可能严重不平衡的事实。一个即将到来的问题是，它是无法得到更准确的边界框由于不平衡。为了解决这个问题，在我们的SCOD中指定了通过简单而有效的挤压操作的自适应IoU（AIoU）损失。在PASCAL VOC和MS COCO上的大量实验证明了我们的SCOD的优越性。
2021-08-25 cs.CV
Dynamic loss balancing and sequential enhancement for road-safety assessment and traffic scene classification
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）；Faculty of Transport and Traffic Sciences（交通与运输科学学院）
本文提出两阶段神经架构，结合动态损失平衡与序列增强，自动化道路安全属性识别，在iRAP-BH等三个数据集上验证了有效性。
2024-09-19 cs.CV
Threshold-adaptive Unsupervised Focal Loss for Domain Adaptation of Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）
语义分割是智能车辆理解环境的重要任务。当前的深度学习方法需要大量的标记数据进行训练。手动注释是昂贵的，而模拟器可以提供准确的注释。然而，用模拟器的数据训练的语义分割模型在应用于实际场景时，性能会显著下降。用于语义分割的无监督领域自适应算法（UDA）近年来受到越来越多的研究关注，其目标是缩小领域差距，提高目标领域的分割性能。在本文中，我们提出了一种新的两阶段基于熵的UDA方法的语义分割。在第一阶段，我们设计了一个阈值自适应的无监督焦点丢失来正则化目标域中的预测，它具有温和的梯度中和机制，并缓解了基于熵的方法中硬样本几乎没有优化的问题。在第二阶段，我们引入了一种名为跨域图像混合（CIM）的数据增强方法来桥接来自两个领域的语义知识。我们的方法使用DeepLabV2在SYNTHIA到Cityscapes和GTA 5到Cityscapes上实现了最先进的58.4%和59.6%的mIoU，并使用轻量级BiSeNet实现了具有竞争力的性能。
2022-08-23 cs.CV
SCL: Towards Accurate Domain Adaptive Object Detection via Gradient Detach Based Stacked Complementary Losses
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
无监督域自适应目标检测旨在学习一个鲁棒的检测器在域移位的情况下，训练（源）域是标签丰富的限界框注释，而测试（目标）域是标签不可知的，训练和测试域之间的特征分布是不相似的，甚至完全不同。在本文中，我们提出了一种基于梯度分离的堆叠互补损失（SCL）方法，该方法以检测损失为主要目标，并在梯度分离训练的同时在不同的网络阶段削减几个辅助损失，以学习更多的判别表示。我们认为，现有的方法主要利用更多的损失函数进行训练，但忽略了不同损失的相互作用，也是兼容的训练策略（梯度分离更新在我们的工作）。因此，我们提出的方法是一个更融合的适应学习过程。我们在七个数据集上进行了全面的实验，结果表明，我们的方法的性能优于国家的最先进的方法显着的保证金。例如，从Cityscapes到FoggyCityscapes，我们实现了37.9%的mAP，比之前的艺术强-弱3.6%。
2019-11-21 cs.CV cs.LG
AttentionBoost: Learning What to Attend by Boosting Fully Convolutional Networks
Bilkent University（比尔肯特大学）；Hacettepe University（哈塞特佩大学）
密集预测模型广泛用于图像分割。一个重要的挑战是充分训练这些模型，以产生很好的概括难以学习的像素。一组典型的这种难以学习的像素是实例之间的边界。许多研究已经提出要特别注意学习的边界像素。它们包括设计具有边界预测的附加任务的多任务网络，以及增加损失函数中边界像素预测的权重。这种策略需要事先确定参加什么，并将这种确定的注意力纳入学习模型。然而，可能存在其他难以学习的像素组，并且手动定义和合并每个组的适当注意力可能是不可行的。为了提供一个更可实现和可扩展的解决方案，本文提出了AttentionBoost，这是一个新的多注意力学习模型的基础上自适应提升。AttentionBoost设计了一个多级网络，并为密集预测模型引入了一种新的损失调整机制，可以直接在图像数据上自适应地学习每个阶段要参加的内容，而无需事先定义要参加的内容。该机制通过相对于先前阶段在该像素上的准确度单独地调整每个像素预测的损失权重来调节每个阶段的注意力以校正先前阶段的错误。这种机制使AttentionBoost能够根据学习这些像素的难度在同一阶段学习不同像素的不同注意力，以及根据这些阶段对该像素预测的置信度在不同阶段学习相同像素的多个注意力。使用腺体分割作为一个展示应用程序，我们的实验表明，AttentionBoost改善了其同行的结果。
2019-08-06 cs.CV cs.LG
Multi-stage feature decorrelation constraints for improving CNN classification performance
Shanghai University（上海大学）
本文提出多阶段特征去相关损失（MFD Loss），通过约束CNN前端各层特征相关性以消除信息冗余，与分类损失联合训练，显著提升分类性能并具良好通用性。
2023-12-29 cs.CV
CMSN: Continuous Multi-stage Network and Variable Margin Cosine Loss for Temporal Action Proposal Generation
Ulucu AI Research（优路酷人工智能研究院）；University of Surrey（萨里大学）
在未修剪的视频中准确定位动作的开始和结束时间是一项具有挑战性的任务。其中一个重要原因是行为边界的可区分性不高，边界周围的特征难以区分。为了解决这个问题，我们提出了一个新的框架，时间的行动建议生成，即连续多阶段网络（CMSN），它分为六个阶段，即背景，准备，开始，确认，结束，跟随包含一个完整的行动实例的视频。为了更准确地区分Ready和Start，End和Follow，我们提出了一种新的损失函数，可变裕度余弦损失（VMCL），它允许不同类别之间的不同裕度。我们在THUMOS 14上的实验表明，所提出的时间提案生成方法比使用相同网络架构和训练数据集的最先进方法表现更好。
2019-11-20 cs.CV
A Fast and Accurate One-Stage Approach to Visual Grounding
我们提出了一个简单，快速，准确的一步视觉接地方法，灵感来自以下见解。现有的建议和排名两阶段方法的性能受到他们在第一阶段提出的区域候选人的质量的限制-如果没有候选人可以覆盖地面真实区域，那么在第二阶段就没有希望将正确的区域排名到顶部。为了避免这种警告，我们提出了一个单阶段模型，可以实现端到端的联合优化。其主要思想就像将文本查询嵌入到YOLOv 3对象检测器中一样简单，通过空间特征进行增强，以便考虑查询中的空间提及。尽管很简单，这种一阶段的方法显示出巨大的潜力，在准确性和速度方面的短语定位和指涉表达理解，根据我们的实验。鉴于这些结果，以及仔细调查一些流行的区域的建议，我们主张视觉接地的范式转变，从传统的两阶段的方法，一个阶段的框架。
2019-08-18 cs.CV
Diverse Multiple Trajectory Prediction Using a Two-stage Prediction Network Trained with Lane Loss
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；MORAI Inc.（MORAI公司）；Hanyang University（汉阳大学）
用于自动驾驶的运动预测领域中的现有技术倾向于集中于找到接近地面实况轨迹的轨迹。然而，这样的问题公式和方法，经常导致多样性和偏差的轨迹预测的损失。因此，它们不适合现实世界的自动驾驶，其中多样化和依赖于道路的多模式轨迹预测对安全至关重要。为此，本研究提出了一种新的损失函数，\textit{Lane Loss}，确保地图自适应多样性，并容纳几何约束。一个两阶段的轨迹预测架构与一个新的轨迹候选建议模块，\textit{Trajectory Prediction Attention (TPA)}，训练车道损失鼓励多个轨迹被分散分布，覆盖可行的机动地图感知的方式。此外，考虑到现有的轨迹性能指标的重点是评估的准确性的基础上的地面真实未来的轨迹，定量评估指标也建议评估的多样性预测的多个轨迹。在Argoverse数据集上进行的实验表明，该方法在不牺牲预测精度的前提下，显著提高了预测轨迹的多样性.
2023-01-04 cs.CV
Gradient Harmonized Single-stage Detector
The Chinese University of Hong Kong（香港中文大学）
尽管两阶段检测器取得了巨大的成功，但单阶段检测器仍然是一种更优雅和有效的方法，但在训练过程中存在两个众所周知的不协调，即正面和负面示例之间以及简单和困难示例之间的数量差异。在这项工作中，我们首先指出，这两个不和谐的本质效果可以概括为梯度。此外，我们提出了一种新的梯度协调机制（GHM）是一个对冲的不和谐。GHM背后的原理可以容易地嵌入到分类损失函数（如交叉熵（CE））和回归损失函数（如平滑$L_1$（$SL_1$）损失）两者中。为此，设计了两个新型损失函数GHM-C和GHM-R，分别用于平衡锚点分类和限界框细化的梯度流。对COCO的烧蚀研究表明，GHM-C和GHM-R都可以对单级探测器带来实质性的改进，而无需费力的超参数调整。在没有任何哨声和铃声的情况下，我们的模型在COCO测试开发集上实现了41.6 mAP，超过了最先进的方法，焦点损失（FL）+ $SL_1$，0.8。
2018-11-13 cs.CV
CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition
Tencent（腾讯）；Zhejiang University（浙江大学）；Michigan State University（密歇根州立大学）
作为人脸识别领域的一个新兴课题，设计基于边缘的损失函数可以增加不同类别之间的特征边缘，从而提高人脸的区分度。最近，采用基于挖掘的策略的思想来强调错误分类的样本，取得了可喜的成果。然而，在整个训练过程中，现有方法要么没有基于其重要性明确强调样本，使得硬样本没有被充分利用;要么明确强调半硬/硬样本的影响，即使在早期训练阶段也可能导致收敛问题。在这项工作中，我们提出了一种新的自适应课程学习损失（CurricularFace），将课程学习的思想嵌入到损失函数中，以实现一种新的深度人脸识别训练策略，该策略主要解决早期训练阶段的简单样本和后期训练阶段的困难样本。具体来说，我们的CurricularFace在不同的训练阶段自适应地调整简单和困难样本的相对重要性。在每个阶段中，根据不同的样本对应的难度，赋予不同的重要性。在流行的基准测试上进行的大量实验结果表明，我们的CurricularFace优于最先进的竞争对手。
2020-04-01 cs.CV
A Robust and Effective Approach Towards Accurate Metastasis Detection and pN-stage Classification in Breast Cancer
Lunit inc.（Lunit公司）
TNM分期的预测是乳腺癌预后和治疗的主要决定因素。TNM分期的基本部分是癌症是否转移到区域淋巴结（N期）。病理学N分期（pN分期）通常由病理学家在组织学载玻片中检测转移进行。然而，这种诊断程序容易产生误解，并且通常需要病理学家花费大量时间，因为需要彻底审查的数据量很大。淋巴结转移的自动检测和pN-阶段预测具有很大的潜力，以减少他们的工作量，并帮助病理学家。卷积神经网络（CNN）的最新进展已经显示出组织学载玻片分析的显著改进，但是由于处理千兆像素图像的困难，准确性没有优化。在本文中，我们提出了一个强大的方法，从多个千兆像素的病理图像中的乳腺癌转移检测和PN-阶段分类的有效方式。通过组合基于块级CNN的转移检测器和载玻片级淋巴结分类器来预测PN阶段。所提出的框架在Camelyon 17数据集上实现了最先进的二次加权kappa得分0.9203，优于Camelyon 17挑战赛的先前获胜方法。
2018-05-30 cs.CV
Learning Monocular Visual Odometry via Self-Supervised Long-Term Modeling
Virginia Tech（弗吉尼亚理工大学）；NEC Labs America（NEC美国实验室）；UCSD（加州大学圣迭戈分校）
单目视觉里程计（VO）在帧到帧姿态估计期间遭受严重的误差累积。在本文中，我们提出了一个自监督学习方法VO与特别考虑的一致性在较长的序列。为此，我们使用具有双层卷积LSTM模块的姿势网络来建模姿势预测中的长期依赖性。我们训练网络与纯粹的自我监督的损失，包括一个周期的一致性损失，模仿几何VO中的循环闭合模块。受先前几何系统的启发，我们允许网络在训练期间超越一个小的时间窗口，通过一个新的损失，包括时间上遥远的（例如，O（100））帧。考虑到GPU内存的限制，我们提出了一个阶段式的训练机制，其中第一阶段在本地时间窗口中操作，第二阶段在给定第一阶段特征的情况下使用“全局”损失来细化姿势。我们在几个标准VO数据集上展示了具有竞争力的结果，包括KITTI和TUM RGB-D。
2020-07-21 cs.CV
Accurate Lung Segmentation via Network-Wise Training of Convolutional Networks
Lunit Inc.（Lunit 公司）
本文介绍了一种基于深度卷积神经网络的胸部X光片肺部精确分割模型。我们的模型是基于atrous卷积层，以有效地增加过滤器的视野。为了进一步提高分割性能，我们还提出了一个多阶段的训练策略，网络明智的训练，当前阶段的网络是由输入图像和前阶段网络的输出。结果表明，这种策略有能力减少错误的预测标签，并产生光滑的边界的肺野。我们评估了一个共同的基准数据集，JSRT，并实现了国家的最先进的分割性能与更少的模型参数。
2017-08-02 cs.CV
Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask
Texas A&M University（德克萨斯A&M大学）
在本文中，我们提出了一种基于学习的方法，用于对低光照条件下捕获的原始视频进行去噪。我们建议首先使用卷积神经网络（CNN）将相邻帧与当前帧显式对齐。然后，我们使用另一个CNN融合注册的帧，以获得最终的去噪帧。为了避免直接对齐时间上遥远的帧，我们在多个阶段执行对齐和融合两个过程。具体来说，在每个阶段，我们对三个连续的输入帧进行去噪处理，以生成中间去噪帧，然后将其作为输入传递到下一阶段。通过在多个阶段中执行该过程，我们可以有效地利用相邻帧的信息，而不直接对准时间上远离的帧。我们训练我们的多阶段系统使用对抗性损失与条件损失。具体来说，我们的条件下的软梯度掩模，以防止在平滑区域中引入高频伪影。我们表明，我们的系统是能够产生时间上连贯的视频与现实的细节。此外，我们通过大量的实验证明，我们的方法在数值和视觉上都优于最先进的图像和视频去噪方法。
2021-04-16 cs.CV eess.IV
Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh
Sensebrain Technology（Sensebrain科技）
在本文中，我们解决了单目散景合成的问题，我们试图从一个单一的全聚焦图像渲染一个浅景深的图像。与DSLR相机不同，由于移动光圈的物理限制，这种效果无法直接在移动相机中捕获。因此，我们提出了一种基于网络的方法，能够从单个图像输入渲染逼真的单眼散景。为此，我们引入了三种新的边缘感知散景损失，它们基于预测的单目深度图，在模糊背景的同时锐化前景边缘。然后使用对抗性损失对该模型进行微调，以生成逼真的散景效果。实验结果表明，我们的方法是能够产生一个愉快的，自然的散景效果与尖锐的边缘，同时处理复杂的场景。
2022-08-25 cs.CV eess.IV
Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction
The Chinese University of Hong Kong（香港中文大学）
从RGB图像的3D手部网格重建促进了许多应用，包括增强现实（AR）。然而，这不仅需要实时的【形】速度和准确的手部姿势和形状，而且还需要合理的网格图像对齐。虽然现有的工作已经取得了可喜的成果，满足所有三个要求是非常具有挑战性的。本文提出了一种新的流水线通过解耦的手网格重建任务分为三个阶段：一个联合阶段，预测手关节和分割;一个网格阶段，预测一个粗糙的手网格;和一个细化阶段，微调它与网格图像对齐的偏移网格。通过仔细设计网络结构和损失函数，我们可以促进高质量的手指级网格图像对齐，并驱动模型一起提供实时的【形】预测。在基准数据集上的大量定量和定性结果表明，我们的结果的质量优于最先进的方法的手网格/姿态精度和手图像对齐。最后，我们还展示了几个实时的【形】AR场景。
2021-09-03 cs.CV
Fast and Accurate Road Crack Detection Based on Adaptive Cost-Sensitive Loss Function
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；University of International Business and Economics（对外经济贸易大学）
计算机视觉中的许多检测问题，包括道路裂缝检测，都受到前景-背景不平衡的影响。幸运的是，对损失函数的修改似乎一劳永逸地解决了这个难题。在本文中，我们提出了一个基于像素的自适应加权交叉熵损失结合Jaccard距离，以促进高质量的像素级道路裂缝检测。我们的工作深刻地展示了损失函数对检测结果的影响，并揭示了在裂纹检测领域的复杂的连续改进。具体来说，为了验证所提出的损失的有效性，我们在四个公共数据库上进行了广泛的实验，即，CrackForest、AigleRN、Crack 360和BJN 260。与传统的加权交叉熵相比，该方法在保持测试精度的同时，显著加快了训练过程。
2021-09-14 cs.CV
using multiple losses for accurate facial age estimation
Tampere University（坦佩雷大学）
年龄估计是计算机视觉中的一个重要挑战。随着卷积神经网络的发展，年龄估计的性能得到了极大的提高。现有的方法通常把年龄估计作为一个分类问题。然而，年龄标签是模糊的，从而使分类任务变得困难。在本文中，我们提出了一个简单而有效的方法进行年龄估计，提高了性能相比，基于分类的方法。该方法将四个分类损失和一个回归损失结合在一起，代表不同的类粒度，我们称之为粒度网络。我们在CVPR Chalearn 2016数据集上验证了粒度网络框架，广泛的实验表明，与任何单个损失相比，所提出的方法可以减少预测误差。源代码链接是https://github.com/yipersevere/age-estimation。
2021-06-17 cs.CV
PCCT: Progressive Class-Center Triplet Loss for Imbalanced Medical Image Classification
Sun Yat-Sen University（中山大学）
不平衡的训练数据是医学图像分类的一个重大挑战。在这项研究中，我们提出了一种新的渐进式类中心三联体（PCCT）框架，以减轻类不平衡的问题，特别是对罕见病的诊断，主要是通过仔细设计的三联体抽样策略和三联体损失的形成。具体而言，预防和打击腐败框架包括两个连续的阶段。在第一阶段，PCCT通过类平衡的三重损失来训练诊断系统，以粗略地分离不同类的分布。在第二阶段中，PCCT框架通过涉及三重丢失的类中心进一步改进诊断系统，以使每个类的分布更紧凑。对于类平衡的三元组丢失，在每次训练迭代中对每个类的三元组进行相等采样，从而缓解不平衡的数据问题。对于涉及三元组丢失的类中心，每个三元组中的正样本和负样本被其对应的类中心替换，这强制执行更接近类中心的相同类的数据表示。此外，类中心涉及三重损失扩展到两两排序损失和四重损失，这表明所提出的框架的推广。大量的实验支持PCCT框架有效地用于具有不平衡训练图像的医学图像分类。在两个皮肤图像数据集和一个胸部X射线数据集上，所提出的方法在所有类别上分别获得平均F1分数86.2，65.2和90.66，在罕见类别上分别获得平均F1分数81.4，63.87和81.92，实现了最先进的性能，并且优于广泛使用的方法来解决类别不平衡问题。
2022-07-11 cs.CV
Channel Pruning Guided by Classification Loss and Feature Importance
The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）
在这项工作中，我们提出了一种新的逐层的通道修剪方法称为通道修剪分类损失和功能的重要性（CPLI）指导。与现有的逐层通道修剪方法只考虑如何从下一层重建特征相比，我们的方法在通道修剪过程中还考虑了分类损失。我们还观察到，一些重建的功能将被删除在下一个修剪阶段。因此，没有必要重建这些特征。为此，我们提出了一种新的策略来抑制不重要特征的影响（即，特征将在下一修剪阶段被移除）。我们在三个基准数据集上的综合实验，即，CIFAR-10，ImageNet和UCF-101证明了我们的CPLI方法的有效性。
2020-03-15 cs.CV
Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation
Washington State University（华盛顿州立大学）
变分自动编码器（VAE）是一个强大的无监督学习框架的图像生成。VAE的一个缺点是由于其高斯性假设而产生模糊图像，从而产生L2损失。为了允许VAE生成高质量的图像，我们通过采用残差块和跳过连接来增加解码器网络的容量，这也可以实现有效的优化。为了克服L2损失的限制，我们建议以从粗到细的多级方式生成图像。在最简单的情况下，所提出的多级VAE将解码器分成两个组件，其中第二组件基于由第一组件生成的过程图像生成细化图像。由于第二分量独立于VAE模型，因此它可以采用L2损失之外的其他损失函数和不同的模型架构。拟议的框架可以很容易地概括为包含两个以上的组成部分。在MNIST和CelebA数据集上的实验结果表明，与原始VAE相比，所提出的多级VAE可以生成更清晰的图像。
2017-05-19 cs.CV cs.LG
One-stage Low-resolution Text Recognition with High-resolution Knowledge Transfer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种基于高分辨率知识迁移的单阶段低分辨率文本识别框架，通过视觉焦点损失、语义对比损失和软logits损失实现多层级知识蒸馏，在效果、效率和鲁棒性上优于两阶段超分辨率方法。
2023-08-05 cs.CV
Learning from Similarity Proportion Loss for Classifying Skeletal Muscle Recovery Stages
Graduate School of Information Science and Technology, Osaka University（信息科学与技术研究生院，大阪大学）
本文提出OSLSP方法，通过相似比例损失和类别比例注意力保留恢复阶段的序数信息，并更新特征提取器，在骨骼肌恢复阶段分类中优于大规模预训练和微调模型。
2025-05-08 cs.CV cs.LG
PolypVision: A Three-Stage Hierarchical Deep Learning Framework for Classification and Segmentation of Colorectal Polyps
本研究提出PolypVision三阶段层级深度学习框架，在三个公开数据集上实现结肠息肉分类与分割，性能优于或匹配现有方法，且与设备无关，以网页应用免费开放使用。
2026-08-12 cs.CV
You Only Look & Listen Once: Towards Fast and Accurate Visual Grounding
视觉基础（VG）的目的是基于灵活的自然语言查询而不是预定义的标签来定位图像中最相关的区域，因此在实际应用中它可以是比目标检测更有用的技术。VG中的大多数最先进的方法以两阶段的方式操作，其中第一阶段采用对象检测器来从输入图像生成一组对象建议，第二阶段简单地被公式化为跨模态匹配问题，该问题找到语言查询和所有区域建议之间的最佳匹配。这是相当低效的，因为在第一阶段可能产生了数百个建议，需要在第二阶段进行比较，更不用说这种策略的执行不准确。在本文中，我们提出了一个简单，直观，更优雅的一个阶段的检测为基础的方法，联合区域的建议和匹配阶段作为一个单一的检测网络。该检测是以输入查询为条件的，具有一堆新颖的注意力模块，将图像与查询的关系转换为关系图，该关系图用于直接预测限界框，而不提出大量无用的区域建议。在推理过程中，我们的方法比以前的方法快20倍~ 30倍，并且在几个基准数据集上的最新结果之上，它实现了18% ~ 41%的绝对性能提高。我们在https://github.com/openblack/rvg上发布我们的代码和所有预训练的模型。
2019-03-17 cs.CV
S-R2F2U-Net: A single-stage model for teeth segmentation
University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）；South Dakota School of Mines and Technology（南达科他矿业理工学院）
精确的牙齿分割在口腔领域至关重要，因为它为正畸治疗、临床诊断和手术治疗提供了位置信息。在本文中，我们调查残留，经常性和注意力网络分割牙齿全景牙科图像。基于我们的研究结果，我们提出了三个单阶段模型：单循环R2 U-Net（S-R2 U-Net），单循环过滤器双R2 U-Net（S-R2 F2 U-Net）和单循环注意力启用过滤器双（S-R2 F2-Attn-U-Net）。特别是，S-R2 F2 U-Net在准确性和骰子得分方面优于最先进的模型。采用交叉熵损失和骰子损失相结合的混合损失函数对模型进行训练。此外，与R2 U-Net模型相比，它减少了约45%的模型参数。在包含1500个牙科全景X射线图像的基准数据集上训练和评估模型。S-R2 F2 U-Net实现了97.31%的准确率和93.26%的骰子得分，显示出优于最先进方法的优势。代码可在https://github.com/mrinal054/teethSeg_sr2f2u-net.git上获得。
2023-02-23 cs.CV
Automated Pulmonary Nodule Detection via 3D ConvNets with Online Sample Filtering and Hybrid-Loss Residual Learning
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
在本文中，我们提出了一种新的框架，使用3D卷积网络（ConvNets）从低剂量CT扫描中自动检测肺结节，这是肺癌早期诊断和治疗的一项具有挑战性但至关重要的任务。与以前的标准ConvNets不同，我们试图解决医疗数据集中严重的硬/易样本不平衡问题，并探索本地化注释的好处来规范学习，从而提高ConvNets的性能，以实现更准确的检测。我们提出的框架包括两个阶段：1）候选人筛选，和2）假阳性减少。在第一阶段，我们建立了一个3D全卷积网络，通过在线样本过滤方案进行有效训练，以灵敏快速地筛选结节候选者。在第二阶段，我们设计了一个混合损失残差网络，利用位置和大小的信息作为重要的线索，以指导结节识别过程。在公共大规模LUNA 16数据集上的实验结果表明，与用于肺结节检测任务的最先进方法相比，我们所提出的方法具有优异的性能。
2017-08-13 cs.CV
An Approach for Multi-Object Tracking with Two-Stage Min-Cost Flow
Beihang University（北京航空航天大学）；China Academy of Information and Communications Technology（中国信息通信研究院）
针对现有最小网络流多目标跟踪方法在遮挡场景下精度不足的问题，提出带相交掩码的两阶段跟踪流水线，结合高低置信度检测分阶段修正误差轨迹，在多个MOT基准上取得了更优的跟踪效果。
2023-11-05 cs.CV
Single-stage intake gesture detection using CTC loss and extended prefix beam search
The University of Newcastle（纽卡斯尔大学）
准确检测个人摄入手势是实现自动饮食监测的关键一步。手腕运动的惯性传感器数据和描绘上身的视频数据都已用于此目的。迄今为止最先进的方法使用两阶段方法，其中（i）使用深度神经网络从传感器数据学习帧级摄入概率，然后（ii）通过找到帧级概率的最大值来检测稀疏摄入事件。在这项研究中，我们提出了一个单阶段的方法，直接解码的概率从传感器数据到稀疏的摄入量检测。这是通过使用连接主义时间分类（CTC）损失的弱监督训练和使用新颖的扩展前缀束搜索解码算法的解码来实现的。这种方法的好处包括：（i）端到端的检测训练，（ii）简化了摄入姿势标签的时序要求，以及（iii）与现有方法相比，提高了检测性能。在两个独立的数据集，我们实现了相对$F_1$得分提高1.9%和6.2%之间的摄入量检测和饮食检测任务，视频和惯性传感器的两个阶段的方法。
2020-11-21 cs.CV cs.HC cs.LG
Fast and Accurate Algorithm for Eye Localization for Gaze Tracking in Low Resolution Images
低分辨率可见光图像中虹膜中心的定位是计算机视觉领域的一个具有挑战性的问题，由于噪声，阴影，遮挡，姿态变化，眨眼等。本文提出了一种有效的方法来确定虹膜中心在可见光谱的低分辨率图像。即使是低成本的消费级网络摄像头也可以用于视线跟踪，而无需任何额外的硬件。提出了一种两阶段虹膜中心定位算法。所提出的方法使用眼睛的几何特征。在第一阶段，一个快速卷积为基础的方法用于获得粗略的虹膜中心（IC）的位置。在第二阶段中，使用边界跟踪和椭圆拟合进一步细化IC位置。该算法已在公共数据库如BioID，Gi4E中进行了评估，发现其性能优于最先进的方法。
2016-05-17 cs.CV
Rethinking the Two-Stage Framework for Grounded Situation Recognition
Tencent AI Lab（腾讯人工智能实验室）
Grounded Situation Recognition（GSR），即识别图像中的显著活动（或动词）类别（例如，购买）并检测所有相应的语义角色（例如，代理和货物），是迈向“类人”事件理解的重要一步。由于每个动词都与一组特定的语义角色相关联，所有现有的GSR方法都采用两阶段框架：在第一阶段预测动词，在第二阶段检测语义角色。然而，这两个阶段都存在明显的缺陷：1）由于日常活动中类内差异大、类间相似度高，广泛使用的用于对象识别的交叉熵损失（XE）在动词分类中存在不足。2)所有语义角色都是以自回归的方式检测的，这无法对不同角色之间的复杂语义关系进行建模。为此，我们提出了一种新的SituFormer的GSR，它包括一个粗到细的动词模型（CFVM）和一个基于转换器的名词模型（TNM）。CFVM是一个两步动词预测模型：用XE损失训练的粗粒度模型首先提出一组动词候选，然后用三重损失训练的细粒度模型用增强的动词特征（不仅是可分离的，而且是可区分的）对这些候选进行重新排序。TNM是一个基于转换器的语义角色检测模型，它检测所有的角色。由于Transformer解码器的全局关系建模能力和灵活性，TNM可以充分探索角色的统计依赖性。在具有挑战性的SWiG基准测试上进行的广泛验证表明，SituFormer在各种指标下都实现了新的最先进的性能，并取得了显着的收益。代码可在https://github.com/…
2021-12-10 cs.CV
ROSE: Real One-Stage Effort to Detect the Fingerprint Singular Point Based on Multi-scale Spatial Attention
准确高效地检测指纹奇异点是指纹识别的重要任务之一。近年来，深度学习逐渐应用于指纹奇异点检测。然而，目前基于深度学习的奇异点检测方法要么是两阶段要么是多阶段的，这使得它们耗时。更重要的是，它们的检测精度还不能令人满意，特别是在低质量指纹的情况下。为了更准确有效地检测指纹奇异点，本文提出了一种Real One-Stage Effort算法，简称ROSE算法，该算法将多尺度空间注意力、高斯热图和焦点损失变量相结合，以达到更高的检测率。在FVC 2002 DB 1和NIST SD 4数据集上的实验结果表明，该算法在检测率、虚警率和检测速度方面均优于现有的算法。
2020-03-09 cs.CV
3D-DETNet: a Single Stage Video-Based Vehicle Detector
University of Science and Technology of China（中国科学技术大学）
基于视频的车辆检测在过去十年中受到了相当大的关注，并且有许多基于深度学习的检测方法可以应用于其中。然而，这些方法是针对静止图像设计的，并且直接将它们应用于视频车辆检测总是获得较差的性能。在这项工作中，我们提出了一种新的单级基于视频的车辆检测器集成了3DCovNet和焦点损失，称为3D-DETNet。该方法利用三维卷积网络和焦点丢失技术，较之其他针对静态图像设计的单阶段方法，更适合于视频中车辆的检测。多个视频帧最初被馈送到3D-DETNet以生成多个空间特征图，然后子模型3DConvNet将空间特征图作为输入以捕获时间信息，该时间信息被馈送到最终的全卷积模型以预测视频帧中的车辆位置。我们在UA-DETNet C车辆检测数据集上评估了我们的方法，与其他竞争方法相比，我们的3D-DETNet具有最佳性能，并保持了26 fps的更高检测速度。
2018-01-15 cs.CV
Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking
Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）；School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；School of Science, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）理学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；National Center for Applied Mathematics, Chongqing Normal University（重庆师范大学国家应用数学中心）
现有的大多数跟踪器都是基于分类器和多尺度估计来估计目标状态的。因此，正如预期的那样，跟踪器变得更加稳定，而跟踪精度却停滞不前。虽然跟踪器采用基于交并（IoU）损失的最大重叠方法来缓解此问题，但IoU损失本身存在缺陷，当给定的限界框完全包含在另一个限界框内/不包含另一个边界框时，无法继续优化目标函数;这使得准确估计目标状态非常具有挑战性。因此，在本文中，我们解决了上述问题，提出了一种新的跟踪方法的基础上的距离IoU（DIoU）的损失，使建议的跟踪器包括目标估计和目标分类。训练目标估计部分以预测目标地面实况限界框和估计的限界框之间的DIoU分数。DIoU损失可以保持IoU损失提供的优势，同时最小化两个边界框的中心点之间的距离，从而使目标估计更准确。此外，我们引入了一个分类部分，该部分是在线训练的，并使用基于共轭梯度的策略进行优化，以保证实时跟踪速度。综合实验结果表明，该方法实现了竞争力的跟踪精度相比，国家的最先进的跟踪器，同时具有实时跟踪速度。
2022-01-20 cs.CV
Homocentric Hypersphere Feature Embedding for Person Re-identification
The Hong Kong Polytechnic University（香港理工大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
由于摄像机视角、光照、分辨率和人体姿势的变化很大，人员重新识别（Person ReID）是一项具有挑战性的任务。近年来，随着深度学习技术的发展，Person ReID的性能得到了迅速提高。特征提取和特征匹配是Person ReID训练和部署阶段的两个关键组件。然而，许多现有的Person ReID方法在训练阶段和部署阶段之间存在度量不一致性，并且在特征表示中耦合了特征向量的大小和方向信息。同时，传统的三元组丢失方法只关注小批量样本，缺乏对全局特征分布的了解。为了解决这些问题，我们提出了一种新的同心超球面嵌入方案，解耦的幅度和方向信息的特征和权重向量，并重新制定分类损失和三重损失的角度版本，并将它们组合成一个角度的歧视性损失。我们在广泛使用的Person ReID基准上广泛评估了我们提出的方法，包括Market 1501，CUHK 03和DukeMTMC-ReID。我们的方法在所有数据集上都表现出领先的性能。
2018-05-01 cs.CV
Takin-ADA: Emotion Controllable Audio-Driven Animation with Canonical and Landmark Loss Optimization
Ximalaya Inc.（喜马拉雅公司）
Takin-ADA提出一种两阶段实时音频驱动面部动画方法，通过专门损失函数增强细微表情传递并减少表情泄漏，结合先进音频处理提升唇音同步精度，在RTX 4090上实现512x512分辨率、42 FPS的高质量可控动画，显著超越现有方法。
2024-10-18 cs.CV
Texture Aware Autoencoder Pre-training And Pairwise Learning Refinement For Improved Iris Recognition
Indian Institute Of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文提出了一种纹理感知的端到端可训练虹膜识别系统，专门针对虹膜等训练数据有限的数据集设计。我们建立在我们以前的阶段式学习框架与某些关键的优化和架构创新。首先，我们使用无监督的自动编码器学习来预训练第一阶段编码器网络，该学习在通常的重建损失之上使用额外的数据关系损失进行优化。数据相关性损失使得能够学习更好的纹理表示，这对于纹理丰富的数据集（如虹膜）至关重要。第1阶段特征表示的鲁棒性通过辅助去噪任务进一步增强。这种预训练证明有利于在数据受限的虹膜数据集上有效地训练深度网络。接下来，在第二阶段的监督细化中，我们为端到端的可训练虹膜识别系统设计了一个成对学习架构。成对学习包括训练管道本身内部的虹膜匹配任务，并且与通常的离线匹配相比，识别性能有显着提高。我们在三个公开可用的虹膜数据集上验证了我们的模型，并且对于数据集内和跨数据集配置，所提出的模型始终优于传统和深度学习基线
2022-02-15 cs.CV
Radiomic Feature Selection Using Gradient Loss of Deep Neural Network for Lung Cancer Stage Detection
Department of Software Engineering, Bahria University（巴尔ia大学软件工程系）；Global College of Engineering and Technology（全球工程与技术学院）；Software Engineering & Business Incubation Center, Bahria University（软件工程与企业孵化中心，巴尔ia大学）
提出GL-RFE框架，利用深度神经网络梯度敏感性分析递归消除低贡献特征，从106个放射组学特征中选出前15个用于肺癌早晚期分类，准确率达90.22%。
2026-06-03 cs.CV cs.LG
Two-Stage Triplet Loss Training with Curriculum Augmentation for Audio-Visual Retrieval
KDDI Research, Inc.（KDDI综合研究所）
本文提出一种基于课程学习的两阶段三元组损失训练范式，通过从半难到难三元组的渐进式训练及插值增强技术优化嵌入空间，在视听跨模态检索任务上实现了约9.8%的MAP提升。
2023-10-20 cs.CV cs.IR cs.MM
Boundary Distance Loss for Intra-/Extra-meatal Segmentation of Vestibular Schwannoma
King’s College London（伦敦国王学院）；King’s College Hospital（国王学院医院）
前庭神经鞘瘤（VS）通常从内耳生长到大脑。它可以分为两个区域，分别对应于内耳道内部或外部的耳道内和耳道外。耳道外区的生长是决定临床医生进行疾病治疗的关键因素。在这项工作中，VS分割方法与细分成内/外耳道部分。我们注释了一个由227个T2 MRI实例组成的数据集，纵向采集了137名患者，不包括术后实例。我们提出了一种分阶段的方法，第一阶段执行整个肿瘤分割和第二阶段执行内/外耳道分割使用T2 MRI以及从第一阶段获得的掩模。为了提高预测口边界的准确性，我们引入了一个特定于任务的损失，我们称之为边界距离损失。与直接耳道内耳道外分割任务性能（即基线）相比，对性能进行评价。我们提出的方法，采用两阶段方法和边界距离损失，分别在耳道外和耳道内区域获得了0.8279+-0.2050和0.7744+-0.1352的Dice评分，比基线有了显著改善，其给出了外耳道和外耳道内区域的Dice评分分别为0.7939 ± 0.2325和0.7475 ± 0.1346。
2022-08-09 cs.CV cs.LG eess.IV
Brain Age Estimation From MRI Using Cascade Networks with Ranking Loss
Beihang University（北京航空航天大学）；University of Sydney（悉尼大学）；Beijing TianTan Hospital（北京天坛医院）；University of New South Wales（新南威尔士大学）
使用深度神经网络，可以从神经成像数据中准确预测健康人的实际年龄，预测的大脑年龄可以作为检测衰老相关疾病的生物标志物。本文提出了一种新的3D卷积网络，称为两阶段年龄网络（TSAN），用于从T1加权MRI数据估计大脑年龄。与现有方法相比，TSAN具有以下改进。首先，TSAN使用两级级联网络架构，其中第一级网络估计粗略的脑年龄，然后第二级网络从第一级网络离散化的脑年龄更准确地估计脑年龄。其次，据我们所知，TSAN是第一个将新的排名损失与传统的均方误差（MSE）损失一起应用于脑年龄估计的工作。第三，密集连接的路径用于组合具有不同尺度的特征图。$6586$ MRI的实验表明，TSAN可以提供准确的脑年龄估计，产生估计年龄和实际年龄之间的$2.428$的平均绝对误差（MAE）和$0.985$的Pearson相关系数（PCC）。此外，使用脑年龄和实足年龄之间的脑年龄差距作为生物标志物，可以通过支持向量机（SVM）将阿尔茨海默病（AD）和轻度认知障碍（MCI）与健康对照（HC）受试者区分开。AD/HC和MCI/HC的分类AUC分别为$0.904$和$0.823$。这表明脑年龄差距是一个有效的与痴呆风险相关的生物标志物，并具有早期痴呆风险筛查的潜力。代码和训练模型已在GitHub上发布：https://github.com/Milan-BUAA/TSAN-brain-age-estimation。
2021-06-06 cs.CV eess.IV
Enabling Intelligent Traffic Systems: A Deep Learning Method for Accurate Arabic License Plate Recognition
Damanhur University（达曼胡尔大学）
针对埃及阿拉伯车牌识别，本文提出图像处理定位与定制深度学习字符识别相结合的两阶段框架，在多样化数据集上达到99.3%准确率，可服务于智能交通管理。
2024-08-06 cs.AI cs.CV
