Robust and Precise Facial Landmark Detection by Self-Calibrated Pose Attention Network
Zhongnan University of Economics and Law(中南财经政法大学);Shenzhen University(深圳大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);University of Alberta(阿尔伯塔大学);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);China Three Gorges University(三峡大学)
目前全监督人脸标志点检测方法进展迅速,取得了显著的效果。然而,他们仍然遭受时,应对大姿势和严重的遮挡不准确的面部形状约束和不足的标记训练样本下的脸。在本文中,我们提出了一个半监督框架,即,自校准姿态注意力网络(SPAN),以在具有挑战性的场景中实现更强大和精确的面部标志检测。具体而言,边界感知的地标强度(BALI)字段提出了更有效的面部形状约束模型,通过融合边界和地标强度字段信息。此外,自校准姿态注意力(SCPA)模型的目的是提供一个自学习的目标函数,通过引入自校准机制和姿态注意力掩模,执行中间监督没有标签信息。我们表明,通过将BALI场和SCPA模型集成到一个新型的自校准姿势注意力网络中,可以学习更多的面部先验知识,并且我们的方法对具有大姿势和严重遮挡的面部的检测准确性和鲁棒性得到了提高。具有挑战性的基准数据集获得的实验结果表明,我们的方法优于最先进的方法在文献中。
2021-12-23 cs.CV
Calibrated Teacher for Sparsely Annotated Object Detection
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学)
完全监督的目标检测需要训练图像,其中所有实例都被注释。这实际上是不切实际的,因为劳动力和时间成本很高,而且不可避免地会丢失注释。因此,每个图像中的不完整注释可能提供误导性的监督并损害训练。最近的工作稀疏注释目标检测缓解这个问题,生成伪标签的缺失的注释。这种机制对伪标签分数的阈值敏感。然而,在不同的训练阶段和不同的目标检测器之间,有效阈值是不同的。因此,现有的固定阈值检测方法性能不理想,难以推广到其他检测器中。为了解决这个问题,我们提出了一个校准的教师,其中的预测的置信度估计很好地校准,以匹配其实际精度。通过这种方式,不同训练阶段的不同检测器将共享相似的输出置信度分布,使得多个检测器可以共享相同的固定阈值并实现更好的性能。此外,我们提出了一个简单但有效的焦点IoU权重(FIoU)的分类损失。FIoU旨在减少由于注释缺失而导致的假阴性样本的权重损失,从而作为师生范式的补充。大量的实验表明,我们的方法在COCO中所有不同的稀疏设置下都具有新的最先进的水平。代码将在https://github.com/Whileherham/CalibratedTeacher上提供。
2023-03-14 cs.CV
To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection
Dalian University of Technology(大连理工大学)
弱监督显著性目标检测(WSOD)的目标是使用图像级注释来开发显著性模型。尽管以前的工作取得了成功,探索一个有效的训练策略的显着性网络和图像级注释和显着对象之间的准确匹配仍然是不够的。在这项工作中,1)我们提出了一种自校准的训练策略,通过显式地在伪标签和网络预测之间建立相互校准循环,将显着性网络从伪标签引起的易出错传播中解放出来。2)我们证明,即使是一个小得多的数据集(仅为ImageNet的1.8%),具有良好匹配的注释也可以促进模型实现更好的性能和泛化能力。这为WSOD的发展提供了新的视角,并鼓励更多的社区贡献。综合实验表明,我们的方法优于所有现有的WSOD方法,仅采用自校准的策略。通过对所提出的数据集进行训练,进一步实现了稳定的改进。此外,我们的方法平均达到了完全监督方法性能的94.7%。更重要的是,采用我们的预测结果作为“地面实况”的完全监督模型取得了成功的结果(BASNet为95.6%,ITSD为97.3%),而像素级注释的标记时间仅为0.32%。
2021-09-04 cs.CV
S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection
China Pharmaceutical University(中国药科大学);Nanjing University(南京大学);Yunnan University(云南大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
该研究针对多模态显著目标检测的冗余计算问题,提出融合可靠性校准频率适配器的单流SAM框架,仅用12.20M参数即实现竞争力性能,相关代码将公开。
2026-08-19 cs.CV
Uncertainty-Aware Deep Calibrated Salient Object Detection
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);ACRV(澳大利亚机器人视觉中心);Data61;University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
现有的基于深度神经网络的显著性目标检测(SOD)方法主要集中在追求高网络准确性。然而,这些方法忽略了网络准确性和预测置信度之间的差距,称为置信度未校准问题。因此,最先进的SOD网络往往过于自信。换句话说,网络的预测置信度并不反映显著目标检测的正确性的真实概率,这显著地阻碍了它们在现实世界中的适用性。本文介绍了一种具有不确定性感知的深度SOD网络,并从不同角度提出了两种防止深度SOD网络过度自信的策略.第一种策略,即边界分布平滑(BDS),通过平滑原始二进制地面实况相对于像素的不确定性来生成连续标签。第二种策略,即不确定性感知温度缩放(UATS),在训练和测试过程中利用宽松的Sigmoid函数,采用空间变化的温度缩放来产生软化的输出。这两种策略都可以以最小的努力纳入现有的深度SOD网络。此外,我们提出了一个新的显着性评价指标,即密集校准测量C,以衡量如何在给定的数据集上校准模型。在7个基准数据集上的实验结果表明,该方法不仅可以更好地校正SOD模型,而且可以提高网络精度。
2020-12-10 cs.CV
Learning Calibrated-Guidance for Object Detection in Aerial Images
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing University of Science and Technology(南京理工大学);University of Leicester(莱斯特大学)
目标检测是计算机视觉领域中最基本也是最具挑战性的研究课题之一。近年来,航空影像中的这一课题的研究取得了巨大的进展。然而,复杂的背景和较差的成像质量是空中目标检测目标检测的突出问题。大多数最先进的方法倾向于开发复杂的注意力机制,用于具有艰巨的计算复杂性的时空特征校准,而令人惊讶地忽略了通道方式的特征校准的重要性。在这项工作中,我们提出了一个简单而有效的校准指导(CG)计划,以提高信道通信的功能Transformer的方式,它可以自适应地确定校准权重为每个通道的基础上的全球功能的亲和力相关性。具体而言,对于给定的一组特征图,CG首先计算每个通道与其余通道之间的特征相似度,作为中间校准指导。然后,通过聚集经由引导操作加权在一起的所有通道来重新表示每个通道。我们的CG是一个通用模块,可以插入到任何深度神经网络,这被命名为CG-Net。为了证明其有效性和效率,进行了大量的实验,在两个面向目标检测任务和水平目标检测任务的航空图像。在两个具有挑战性的基准测试(DOTA和HRSC 2016)上的实验结果表明,我们的CG-Net可以在公平的计算开销下实现新的最先进的准确性性能。源代码已在https://github.com/WeiZongqi/CG-Net上开放
2022-04-06 cs.CV
MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection
Five AI Ltd.(Five AI有限公司)
针对简单集成目标检测器易因校准失准导致性能下降的问题,提出先校准专家预测再过滤优化的MoCaE方法,在多个检测任务上实现性能提升并达到SOTA。
2024-02-01 cs.CV
Cal-DETR: Calibrated Detection Transformer
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Information Technology University(信息技术大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学)
针对检测Transformer缺乏校准研究的问题,提出Cal-DETR机制,通过不确定性量化、不确定性引导logit调制和logit混合实现训练时校准,在多场景下有效提升校准效果且维持或优化检测性能。
2023-11-06 cs.CV
Occlusion-Aware Detection and Re-ID Calibrated Network for Multi-Object Tracking
South China University of Technology(华南理工大学);Nanyang Technological University(南洋理工大学);Santachi Technology Co., Ltd.(三泰科技有限公司)
针对多目标跟踪中遮挡导致的检测与重识别退化问题,提出遮挡感知的检测与Re-ID校准网络ORCTrack,通过OAA模块和最优传输匹配块提升性能,在VisDrone2021-MOT和KITTI上达到最先进水平。
2023-08-30 cs.CV
Training-Free Logical and Structural Anomaly Detection via Calibrated Fusion
Aalto University(阿尔托大学);Harbin Engineering University(哈尔滨工程大学)
本文提出一种基于正常集校准融合冻结表征线索的无训练异常检测方法,可同时处理逻辑与结构异常,在MVTec-LOCO上表现优于同类无训练检测器,且泛化性良好。
2026-09-07 cs.CV
SpanCalib-VLM: Calibrated Hallucination Span Detection in Vision-Language Models
Shaggar Institute of Technology(沙加尔理工学院);Trinity College Dublin(都柏林圣三一学院)
本文提出SpanCalib-VLM混合双系统,结合多模态序列标注器与微调生成式VLM,经联合校准融合策略优化,在SHROOM-Visions任务上实现幻觉跨度的高效校准检测,公开了模型权重与代码。
2026-10-21 cs.CL cs.CV
TC-MAF: Train-Calibrated Bounded Multi-Evidence Fusion for Multimodal Industrial Anomaly Detection
Shanghai University(上海大学);National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学)
研究多模态工业异常检测问题,提出TC-MAF方法,通过固定像素级融合公式结合多模态检测器等,利用轻量级TDC项缩放辅助参与度,在MVTec-3D上取得优异检测和定位结果,消融实验揭示关键因素及校准增益。
2026-07-14 cs.CV
Two-level Data Augmentation for Calibrated Multi-view Detection
EPFL(洛桑联邦理工学院)
数据增强已被证明对提高模型泛化和性能是有用的。虽然它通常应用于计算机视觉应用中,当涉及到多视图系统时,它很少使用。实际上,几何数据增强可以打破视图之间的对齐。这是有问题的,因为多视图数据往往是稀缺的,它是昂贵的注释。在这项工作中,我们建议通过引入一个新的多视图数据增强管道,保持视图之间的对齐来解决这个问题。除了传统的输入图像的增强,我们还提出了直接应用于场景级的第二级增强。当与我们简单的多视图检测模型相结合时,我们的两级增强管道在两个主要的多视图多人检测数据集WILDTRACK和MultiviewX上的性能明显优于所有现有基线。
2022-10-19 cs.CV cs.LG
Detecting Human-Object Interactions with Object-Guided Cross-Modal Calibrated Semantics
Zhejiang University(浙江大学);State Key Laboratory of Industrial Control Technology, Zhejiang University(浙江大学工业控制技术国家重点实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
人-物交互(HOI)检测是从细粒度角度理解以人为中心的图像的一项重要任务。虽然端到端的HOI检测模型蓬勃发展,但它们的并行人类/目标检测和动词类预测的范例失去了两阶段方法的优点:对象指导的层次结构。一个HOI三联体中的宾语给出了要预测的动词的直接线索。在本文中,我们的目标是用对象指导的统计先验来提升端到端模型。具体来说,我们建议利用动词语义模型(VSM),并使用语义聚合,从这个对象指导的层次结构的利润。提出了相似性KL(SKL)损失来优化VSM,以与HOI数据集的先验知识保持一致。为了克服静态语义嵌入问题,我们提出了跨模态校准(CMC)生成跨模态感知的视觉和语义特征。以上模块的组合构成了目标引导的跨模态校准网络(OCN)。在两个流行的HOI检测基准上进行的实验证明了将统计先验知识结合起来的重要性,并产生了最先进的性能。更详细的分析表明,所提出的模块作为一个更强大的动词预测和更优越的方法,利用先验知识。代码可在\url{https://github.com/JacobYuan7/OCN-HOI-Benchmark}上获得。
2022-02-01 cs.CV
Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera
RWTH Aachen University(亚琛工业大学);Visual Computing Institute(视觉计算研究所)
深度学习是2D范围数据中最先进的人物检测器的基本构建块。然而,只有少数带注释的数据集可用于训练和测试这些深度网络,这可能会限制它们在新环境或不同LiDAR模型中部署时的性能。我们提出了一种方法,该方法使用校准相机上基于图像的检测器(例如Faster R-CNN)的边界框来自动生成基于2D LiDAR的人员检测器的训练标签(称为伪标签)。通过在JackRabbot数据集上使用两种检测器模型DROW 3和DR-SPAAM进行实验,我们证明了使用伪标签进行训练或微调的自监督检测器优于仅在不同数据集上训练的检测器。结合强大的训练技术,自监督检测器的性能接近于使用目标数据集的手动注释训练的检测器。我们的方法是在部署过程中改进人员检测器的有效方法,无需任何额外的标记工作,我们发布了源代码以支持相关的机器人应用程序。
2021-06-03 cs.CV cs.RO
$\mathbf{C}^2$Former: Calibrated and Complementary Transformer for RGB-Infrared Object Detection
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Institute of Artificial Intelligence, Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院人工智能研究所)
本文提出C^2Former,通过跨模态交叉注意力模块和自适应特征采样模块解决RGB-IR目标检测中的模态校准错误与融合不精确问题,并在两个数据集上验证了其鲁棒性和通用性。
2024-03-13 cs.CV cs.MM
Calibrated Diverse Ensemble Entropy Minimization for Robust Test-Time Adaptation in Prostate Cancer Detection
University of British Columbia(不列颠哥伦比亚大学);Exact Imaging(埃克斯特成像公司)
针对超声前列腺癌检测中分布偏移导致的性能下降,提出多样集成熵最小化(DEnEM)方法,通过校准集成熵最小化提升测试时自适应鲁棒性,AUROC较现有方法提高5%-7%。
2024-07-17 cs.CV
Hybrid Quantum-MambaVision: A Quantum-enhanced State Space Model for Calibrated Mixed-type Wafer Defect Detection
Odisha University of Technology and Research(奥里萨理工大学);National Taiwan University of Science and Technology(台湾科技大学);East China Normal University(东华大学);Macau University of Science and Technology(澳门科技大学)
本文提出Hybrid Quantum-MambaVision,通过结合状态空间模型与量子适配器,解决工业视觉数据中极端类别不平衡和计算复杂性问题,实现高效多标签分类。
2026-05-13 cs.CV
Measurement-Calibrated Multi-Camera Fusion for Vision-Based Indoor Localization
Rosenheim Technical University of Applied Sciences(罗森海姆应用技术大学)
提出测量校准融合方法,通过显式量化单相机定位误差(单应校准、人体检测、运动跟踪)来优化多相机数据融合,实验表明该方法虽未显著提升绝对精度,但有效降低了轨迹方差并提高了运动平滑性。
2026-06-12 cs.AI cs.CV
Mutual Information-calibrated Conformal Feature Fusion for Uncertainty-Aware Multimodal 3D Object Detection at the Edge
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出一种结合共形推断与互信息校准的多模态特征融合方法,在VAE框架下融合RGB相机与LiDAR数据,实现轻量级免蒙特卡洛不确定性估计,并在KITTI基准上验证了其在边缘机器人实时3D目标检测中的有效性。
2023-09-18 cs.CV cs.IT cs.RO
DualMem: Bypassing the Objectness Bottleneck for Calibrated Unknown-Stream Filtering in Open-World Object Detection
School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院);School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院);Institute of Computing Science and Technology, Guangzhou University(广州大学计算科学与技术研究院)
针对开放世界目标检测中未知预测流被背景假阳性污染的问题,提出DualMem后验过滤器,利用冻结的SigLIP特征进行非参数似然比检验,通过Neyman-Pearson校准选择阈值,显著减少背景型未知假阳性提议。
2026-05-22 cs.AI cs.CV
Ball 3D Localization From A Single Calibrated Image
UCLouvain(鲁汶大学);Sportradar(体育雷达公司)
提出一种基于单张标定图像通过预测球体像素直径进行三维球体定位的神经网络方法,有效提升了定位与检测率,并构建了高质量评估数据集。
2022-04-19 cs.CV eess.IV
UATTA-ENS: Uncertainty Aware Test Time Augmented Ensemble for PIRC Diabetic Retinopathy Detection
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
深度嵌入卷积神经网络已成为分析医学图像的首选方法,其诊断性能与医生相当,包括糖尿病视网膜病变的诊断。然而,常用的技术是确定性的,因此无法提供任何估计的预测不确定性。量化模型的不确定性对于降低误诊风险至关重要。一个可靠的架构应该经过良好的校准,以避免过度自信的预测。为了解决这个问题,我们提出了一个UATTA-ENS:不确定性感知测试时间增强Entrance技术5类PIRC糖尿病视网膜病变分类,以产生可靠的和校准良好的预测。
2022-11-08 cs.AI cs.CV cs.LG
On-Device Multi-Species Malaria Detection with Uncertainty-Calibrated Slide-Level Aggregation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);University of Washington(华盛顿大学)
针对资源有限地区疟疾检测的临床约束,开发基于YOLOv13n的设备端多物种疟疾检测系统,满足多物种鉴别等要求,在2739张图像上实现较高检测精度与聚合性能。
2026-08-11 cs.AI cs.CV
An Artificial Intelligence System for Combined Fruit Detection and Georeferencing, Using RTK-Based Perspective Projection in Drone Imagery
Outfield Technologies(奥特菲尔德科技公司)
这项工作提出了一个基于快速区域卷积神经网络(Faster R-CNN)框架的人工智能(AI)系统,该系统可以从大型商业果园的倾斜空中无人机图像中检测和计数苹果。为了降低计算成本,网络的一个新的附加阶段被设计用于将原始图像预处理成单个树木的裁剪图像。使用透视投影模型将唯一的地理空间标识符分配给它们。这采用了实时动态(RTK)数据,数字地形和表面模型(DTM和DSM),以及内部和外部相机参数。然而,大部分实验都集中在调整检测网络本身的超参数上。树上的苹果和地上的苹果被视为不同的类。一个平均精度(mAP)的度量,校准的大小的两个类,旨在减轻虚假的结果。由于苹果的规模,锚箱设计是关键的兴趣。因此,在Faster R-CNN的文献中从未见过的k-means聚类方法导致了校准mAP的最显着改进。其他实验表明,框建议的最大数量应该是225; 0.001的初始学习率最适合应用于自适应RMS Prop优化器;当考虑mAP和推理时间时,ResNet 101是理想的基本特征提取器。最佳超参数的合并导致模型的校准mAP为0.7627。
2021-01-01 cs.CV cs.LG eess.IV
Calibrated Feature Decomposition for Generalizable Person Re-Identification
University of Science and Technology of China(中国科学技术大学)
现有的基于解纠缠的可推广的人重新识别方法旨在直接将人表示分解为领域相关干扰和身份相关特征。然而,他们忽略了一些关键的特征是顽固地隐藏在域相关的干扰和身份相关的功能,这是难以分解的无监督的方式。在本文中,我们提出了一个简单而有效的校准特征分解(CFD)模块,重点是通过更明智的特征分解和强化策略,提高人的重新识别的泛化能力。具体而言,校准和标准化的批量归一化(CSBN)的目的是学习校准的人表示,通过共同探索多源域特征的域内校准和域间标准化。CSBN限制每个域的特征分布的实例级不一致性,并捕获固有的域级特定统计信息。校准的人表示被巧妙地分解为身份相关特征,域特征和剩余的纠缠特征。为了提高泛化能力,保证身份相关特征的高区分度,引入校正实例归一化(CIN)来增强身份相关信息的区分性,滤除身份无关信息,同时利用剩余纠缠特征中丰富的互补线索来增强身份相关特征的区分性,实验结果表明该框架具有较强的泛化能力.我们的模型由CFD模块授权,在多个广泛使用的基准测试中显著优于最先进的领域泛化方法。代码将公开:https://github.com/zkcys001/CFD。
2021-11-27 cs.CV cs.MM
SecureScan: An AI-Driven Multi-Layer Framework for Malware and Phishing Detection Using Logistic Regression and Threat Intelligence Integration
Madhav Institute of Technology & Science (MITS)(马达夫理工与科学学院)
本文提出SecureScan框架,结合逻辑回归、启发式分析和威胁情报,通过VirusTotal API实现URL、文件哈希和二进制的综合检测,取得93.1%的准确率,展示出良好的泛化能力与稳定性。
2026-04-28 cs.AI cs.CR cs.CV
Deep Bayesian segmentation for colon polyps: Well-calibrated predictions in medical imaging
Universidad El Bosque(埃尔博斯克大学)
本文提出基于贝叶斯神经网络的结肠息肉分割方法,结合MNF与重参数化,在FPN+EfficientnetB7上实现IOU 0.94和ECE 0.004,提供可靠不确定性估计,助力临床早期检测。
2024-07-23 cs.AI cs.CV eess.IV
DeepGaze IIE: Calibrated prediction in and out-of-domain for state-of-the-art saliency modeling
University of Barcelona(巴塞罗那大学);University of Tübingen(图宾根大学)
自2014年以来,迁移学习已成为改善空间显着性预测的关键驱动力;然而,在过去的3-5年中,进展停滞不前。我们进行了一项大规模的迁移学习研究,该研究测试了不同的ImageNet主干,始终使用从DeepGaze II采用的相同读出架构和学习协议。通过使用ResNet 50功能替换DeepGaze II的VGG 19主干,我们将显着性预测的性能从78%提高到85%。然而,随着我们继续测试更好的ImageNet模型作为主干(例如EfficientNetB 5),我们没有观察到显着性预测的额外改进。通过进一步分析主干,我们发现对其他数据集的泛化有很大的不同,模型在固定预测方面一直过于自信。我们表明,通过以原则性的方式组合多个主干,可以实现对未知数据集的良好置信度校准。这种新模型“DeepGaze IIE”在域内外的基准性能方面取得了重大飞跃,比DeepGaze II提高了15%,在MIT 1003上达到了93%,标志着MIT/Tuebingen显着性基准在所有可用指标上的最新水平(AUC:88.3%,sAUC:79.4%,CC:82.4%)。
2021-09-20 cs.AI cs.CV cs.LG