DeepBinaryMask: Learning a Binary Mask for Video Compressive Sensing
Northwestern University(西北大学)
在本文中,我们提出了一种新的编码器-解码器神经网络模型,称为DeepBinaryMask的视频压缩感知。在视频压缩感测中,使用一组编码掩码(感测矩阵)来获取一个帧,从该编码掩码(感测矩阵)中重构多个视频帧,该多个视频帧的数量等于编码掩码的数量。所提出的框架是一个端到端的模型,其中感测矩阵与视频重建一起训练。编码器学习感测矩阵的二进制元素,并且解码器被训练以恢复未知的视频序列。发现当使用来自网络的经训练的感测掩码时,重建性能与其他掩码设计(诸如随机)相比在各种各样的压缩感测重建算法中得到改善。最后,我们的分析和讨论提供了深入了解训练的掩模设计的特点,导致提高重建质量。
2016-07-18 cs.CV cs.LG
Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Lab(鹏城实验室);DAMO Academy at Alibaba Group(阿里巴巴达摩院)
对于图像修补,以往的卷积神经网络(CNN)通常采用标准卷积算子,对有效像素和空洞进行不可分割的处理。因此,它们在处理不规则孔方面受到限制,并且倾向于产生颜色不一致和模糊的修补结果。部分卷积(PConv)通过仅以有效像素为条件进行掩码卷积和特征重新归一化来解决这个问题,但掩码更新是手工制作的,与图像结构信息无关。在本文中,我们提出了一个边缘引导的可学习的双向注意图(边缘LBAM),以提高图像修补的不规则孔有几个明显的优点。代替使用硬0-1掩码,引入可学习的注意力映射模块,用于以端到端的方式学习特征重新规范化和掩码更新。在解码器中进一步提出了可学习的反向注意力映射,强调填充未知像素而不是重建所有像素。由于填充顺序对修复结果至关重要,并且在很大程度上取决于基于样本的方法中的图像结构,因此我们进一步提出了一种多尺度边缘完成网络来预测相干边缘。我们的Edge-LBAM方法包含两个过程,包括由预测边缘引导的结构感知的掩模更新和由掩模生成的用于特征重新归一化的注意力图。大量的实验表明,我们的Edge-LBAM在生成连贯的图像结构和防止颜色差异和模糊方面是有效的,并且在定性度量和视觉质量方面优于最先进的方法。
2021-04-25 cs.CV
TrackPGD: Efficient Adversarial Attack using Object Binary Masks against Robust Transformer Trackers
Université Laval(拉瓦尔大学);Mila(米拉研究所)
针对Transformer跟踪器对抗鲁棒性评估不足及现有白盒攻击适配性差的问题,提出基于SegPGD的TrackPGD攻击方法,利用目标二进制掩码解决类别数量有限和像素不平衡问题,在多数据集上有效误导多种跟踪器。
2024-11-26 cs.CV
Zero-Shot Edge Detection with SCESAME: Spectral Clustering-based Ensemble for Segment Anything Model Estimation
Kyoto University(京都大学);Rist Inc.(Rist公司)
本文提出基于谱聚类集成(SCESAME)的零样本边缘检测方法,通过消除小掩码、谱聚类组合掩码及移除伪影三个步骤克服了SAM过度检测边缘的问题,在BSDS500和NYUDv2数据集上表现接近CNN方法,有效提升了SAM实用性。
2023-11-18 cs.CV
From Selective Deep Convolutional Features to Compact Binary Representations for Image Retrieval
University of Liverpool(利物浦大学);Singapore University of Technology and Design(新加坡科技设计大学);Queensland University of Technology(昆士兰科技大学);University of Dayton(代顿大学)
在大规模图像检索任务中,两个最重要的要求是图像表示的可区分性和表示的计算和存储效率。对于前一个要求,卷积神经网络(CNN)被证明是一个非常强大的工具,以提取高度区分的局部描述符,有效的图像搜索。此外,为了进一步提高描述符的区分能力,最近的作品采用微调策略。在本文中,采取不同的方法,我们提出了一种新的,计算效率高,有竞争力的框架。具体来说,我们首先提出了各种策略来计算掩码,即SIFT掩码,SUM掩码和MAX掩码,以选择局部卷积特征的代表性子集并消除冗余特征。我们的深入分析表明,提出的掩蔽方案是有效的,以解决突发性的缺点,提高检索精度。其次,我们建议采用最近的嵌入和聚合方法,可以显着提高特征的可辨别性。关于计算和存储效率,我们包括一个哈希模块,以产生非常紧凑的二进制图像表示。在六个图像检索基准上的大量实验表明,我们提出的框架达到了最先进的检索性能。
2019-03-05 cs.CV
Zeros can be Informative: Masked Binary U-Net for Image Segmentation on Tensor Cores
PNNL(太平洋西北国家实验室);Rice University(里士满大学);META
本文提出MBU-Net,通过遮蔽二进制U-Net实现高精度和高效图像分割,利用张量核心提升性能并降低能耗。
2026-01-15 cs.CV cs.LG
Edge Detection in Radar Images Using Weibull Distribution
Beirut Arab University(贝鲁特阿拉伯大学)
雷达图像可以显示关于地表地形形状及其物理和生物物理特性的信息。长期以来,雷达图像一直用于地质研究,以绘制地形形状所揭示的结构特征。雷达图像还可应用于植被和作物类型制图、景观生态学、水文学和火山学。图像处理主要用于雷达图像中目标的检测。边缘检测是确定灰度图像中不连续性的方法,是图像处理中非常重要的初始步骤。随着时间的推移,许多经典的边缘检测器已经被开发出来。基于图像一阶导数的边缘检测算子有Roberts、Prewitt、Sobel等,传统上是通过将图像与掩模卷积来实现的。此外,高斯分布已被用来建立一阶和二阶导数的掩模。然而,这种分布仅限于对称形状。本文将使用比高斯分布更一般的威布尔分布来构造掩模,因为它具有对称和非对称的形状。将构造的掩模应用于图像,取得了良好的效果。
2013-05-24 cs.CV
Binary Noise for Binary Tasks: Masked Bernoulli Diffusion for Unsupervised Anomaly Detection
University of Basel(巴塞尔大学)
提出基于潜在伯努利扩散模型的快速无监督异常检测方法,利用二值潜在表示和翻转概率识别异常,结合掩码算法提升性能,兼顾速度与内存效率。
2024-03-18 cs.CV eess.IV
Medical Matting: A New Perspective on Medical Segmentation with Uncertainty
Harbin Engineering University(哈尔滨工程大学);Monash University(蒙纳士大学);Airdoc
利用二值掩模对形状复杂的模糊目标进行人工精确标记是一个困难的问题。在医学图像分割中,二值掩模表达不足的弱点是突出的,其中模糊是普遍存在的。在多个注释的情况下,通过二进制掩码为临床医生达成共识更具挑战性。此外,这些不确定的区域与病变的结构有关,可能包含有助于诊断的解剖信息。然而,目前对不确定性的研究主要集中在模型训练和数据标注中的不确定性。本文受图像抠图的启发,引入alpha matte作为软掩模来表示医学场景中的不确定区域,并提出了一种新的不确定性量化方法,填补了对病变结构不确定性研究的空白。在这项工作中,我们引入了一个新的架构,在多任务框架中生成二进制掩码和阿尔法抠图,它优于所有最先进的抠图算法比较。所提出的不确定性映射能够突出模糊区域,我们提出的一种新的多任务损失加权策略可以进一步提高性能,并展示其具体的好处。为了充分评估我们所提出的方法的有效性,我们首先标记三个医疗数据集与阿尔法遮片,以解决医疗场景中可用的遮片数据集的不足,并证明阿尔法遮片是一个更有效的标记方法比二进制掩码从定性和定量方面。
2022-01-01 cs.CV
Real-time Mask Detection on Google Edge TPU
Seoul National University(首尔国立大学)
COVID-19爆发后,自动检测人们是否戴口罩以降低一线工作人员的风险变得非常重要。此外,在本地处理用户数据是解决隐私和网络带宽问题的好方法。在本文中,我们提出了一个轻量级模型,用于检测特定区域的人是否佩戴口罩,该模型也可以部署在Coral Dev Board上,Coral Dev Board是一种包含Google Edge TPU的商用开发板。我们的方法结合了基于MobileNetV 2加SSD的对象检测网络和仅限整数硬件的量化方案。因此,Edge TPU中更轻的模型具有更低的延迟,更适合实时的【形】执行,同时保持与浮点器件相当的精度。
2020-10-09 cs.CV cs.LG
BinaryCoP: Binary Neural Network-based COVID-19 Face-Mask Wear and Positioning Predictor on Edge Devices
Technical University of Munich(慕尼黑工业大学);BMW Group(宝马集团)
长期以来,口罩一直用于日常生活的许多领域,以防止吸入有害烟雾和颗粒。它们还为医疗保健提供了有效的解决方案,可双向预防空气传播的疾病。正确佩戴和定位口罩对其功能至关重要。卷积神经网络(CNN)为正确佩戴和定位面罩的人脸识别和分类提供了一个很好的解决方案。在持续的COVID-19大流行的背景下,此类算法可用于公司大楼、机场、购物区和其他室内位置的入口处,以减轻病毒的传播。这些应用场景对底层计算平台提出了重大挑战。推理硬件必须便宜、小巧、节能,同时提供足够的内存和计算能力,以合理的低延迟执行准确的CNN。为了维护公众的数据隐私,所有处理都必须保持在边缘设备上,而不与云服务器进行任何通信。为了解决这些挑战,我们提出了一个低功耗的二进制神经网络分类器正确的口罩佩戴和定位。分类任务在嵌入式FPGA上实现,执行高吞吐量二进制运算。分类速度可高达每秒约6400帧,可轻松实现多相机、速度门设置或人群设置中的统计数据收集。当部署在单个入口“或”门上时,空闲功耗降低到1.6W,提高了设备的电池寿命。对于MaskedFace-Net数据集的四个佩戴位置,我们实现了高达98%的准确率。为了保持所有面部结构,肤色,头发类型和面具类型的分类精度相同,测试算法的能力,概括所有科目的相关功能,使用Grad-CAM方法。
2021-06-17 cs.AI cs.CV cs.LG
End-to-End Instance Edge Detection
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
边缘检测一直是计算机视觉领域的一个重要问题。以前的工作已经探索了类别不可知或类别感知的边缘检测。在本文中,我们将探讨在对象实例的背景下的边缘检测。虽然对象边界可以很容易地从分割掩模中导出,但在实践中,实例分割模型被训练为最大化到地面实况掩模的IoU,这意味着分割边界没有被强制与地面实况边缘边界精确对齐。因此,实例边缘检测本身的任务是不同的和关键的。由于精确的边缘检测需要高分辨率的特征图,我们设计了一种新的Transformer架构,有效地结合了FPN和Transformer解码器,使交叉关注多尺度的高分辨率特征图在一个合理的计算预算。此外,我们提出了一个轻量级的密集预测头,适用于实例边缘和掩模检测。最后,我们使用减少焦点损失的惩罚来有效地训练模型,在实例边缘上具有点监督,这可以减少注释成本。与最先进的基线相比,我们展示了极具竞争力的实例边缘检测性能,并且还表明所提出的任务和损失与实例分割和目标检测是互补的。
2022-04-06 cs.CV
Shape-from-Mask: A Deep Learning Based Human Body Shape Reconstruction from Binary Mask Images
Hangzhou Dianzi University(杭州电子科技大学)
3D内容创建被称为计算机图形学最基本的任务之一。在过去的几十年里,人们开发了许多基于2D图像或曲线的3D建模算法。设计师可以从正面、侧面和顶视图对齐一些概念图像或绘制一些暗示性曲线,然后将它们用作自动或手动构建3D模型的参考。然而,据我们所知,还没有研究以类似的方式研究3D人体重建。在本文中,我们提出了一种基于深度学习的三维人体形状重建从二维正交视图。设计了一种基于CNN的回归网络,该网络具有两个分支,分别对应于正面和侧面视图,用于从2D掩模图像估计3D人体形状。我们分别训练我们的网络,以解耦的特征描述符编码的身体参数从不同的意见,并融合它们来估计一个准确的人体形状。此外,针对训练数据不足的问题,本文提出了一些针对三维人体形状的数据增强方案,以促进这一课题的进一步研究。大量的实验结果表明,使用我们的算法可以有效地实现视觉逼真和准确的重建。该方法只需要二值掩模图像,可以帮助用户快速创建自己的数字化身,也可以方便地创建用于3D游戏、虚拟现实、在线时尚购物的数字人体。
2018-06-22 cs.CV cs.GR
SEMEDA: Enhancing Segmentation Precision with Semantic Edge Aware Loss
Sorbonne Université(索邦大学)
虽然现在深度神经网络在语义分割任务上取得了令人印象深刻的性能,但它们通常是通过优化像素损失(如交叉熵)来训练的。因此,这种网络输出的预测通常很难准确地捕捉对象边界,并在对象内部显示出漏洞。在本文中,我们提出了一种新的方法来改善预测分割掩模的结构。我们介绍了一种新的语义边缘检测网络,它允许匹配的预测和地面真相分割掩模。这种语义边缘感知策略(SEMEDA)可以与端到端训练框架中的任何骨干深度网络相结合。通过对Pascal VOC 2012和Cityscapes数据集的全面实验验证,我们表明,所提出的SEMEDA方法通过强制执行尖锐边界和避免对象内部的不连续性来增强预测分割掩码的结构,从而提高分割性能。此外,我们的语义边缘感知损失可以集成到任何流行的分割网络中,而不需要任何额外的注释,并且与标准像素交叉熵损失相比,计算负载可以忽略不计。
2019-05-06 cs.CV
An Edge Information and Mask Shrinking Based Image Inpainting Approach
Inner Mongolia University(内蒙古大学)
在图像修补任务中,对缺失区域中的高频和低频信息的修复能力对恢复图像的质量具有实质性影响。然而,现有的修复方法通常不能同时考虑高频和低频信息。针对这一问题,提出了一种基于边缘信息和掩模收缩的图像修补方法。第一模型是用于从受损图像生成完整边缘信息的边缘生成模型,第二模型是用于利用所生成的边缘信息和受损图像的有效内容来修复缺失区域的图像完整模型。在图像修复模型中采用掩模收缩策略跟踪待修复区域。所提出的方法进行了定性和定量评估的数据集Places2。结果表明,我们的方法优于国家的最先进的方法。
2020-06-11 cs.CV cs.LG eess.IV
Faster Training of Mask R-CNN by Focusing on Instance Boundaries
BMW Car IT GmbH(宝马汽车信息技术有限公司);Georg-August University of Göttingen(哥廷根大学);Albert Ludwig University of Freiburg(阿尔伯特·路德维希·弗莱堡大学)
我们为Mask R-CNN提供了一个辅助任务,这是一个实例分割网络,可以更快地训练掩码头。我们对Mask R-CNN的补充是一个新的预测头,边缘一致性头,它的灵感来自人类注释器执行实例分割的方式。人类注释者复制对象实例的轮廓,并且仅间接复制所占用的实例区域。因此,实例掩码的边缘特别有用,因为它们很好地表征了实例。因此,边缘一致性头使用边缘检测滤波器鼓励预测的掩模具有与地面真实掩模相似的图像梯度。我们提供了损失组合的详细调查,并显示与不使用额外损失相比,MS COCO Mask指标的改进。我们的方法稍微增加了模型的大小,并且没有添加额外的可训练模型变量。虽然计算成本略有增加,但考虑到Mask R-CNN架构的高计算成本,增量可以忽略不计。由于额外的网络头仅在训练期间相关,因此与Mask R-CNN相比,推理速度保持不变。在默认的Mask R-CNN设置中,与基线相比,我们实现了训练速度的提高,MS COCO指标的相对整体改善为8.1%。
2019-08-10 cs.CV cs.LG
Rapid-Deployment Crack Measurement Based on SAM3 Semantic-Edge Response Decoding
Xi’an University of Architecture and Technology(西安建筑科技大学)
针对裂缝分割中现有方法需特定注释训练及基础模型掩码不适用于薄裂缝问题,提出语义边缘响应解码(SERD),无需注释微调,实验表明其性能优于原生SAM3及其他对比方法,证明内部连续响应更具可转移性。
2026-09-09 cs.CV
SoftShadow: Leveraging Soft Masks for Penumbra-Aware Shadow Removal
Nanyang Technological University(南洋理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Clemson University(克莱姆森大学)
本文提出 SoftShadow 框架,利用预训练 SAM 先验与半影物理约束生成软阴影掩码,联合微调实现端到端阴影去除,在常用数据集上取得最优性能并提升边界修复与泛化能力。
2025-03-12 cs.CV
MaskClustering: View Consensus based Mask Graph Clustering for Open-Vocabulary 3D Instance Segmentation
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Galbot
本文提出无需训练的MaskClustering,利用视图共识率构建全局掩码图并迭代聚类,以改进多视图掩码合并,在多个3D数据集上达到开放词汇实例分割SOTA。
2024-04-10 cs.CV
Multi-Scale Cross-Fusion and Edge-Supervision Network for Image Splicing Localization
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学网络空间学院)
针对图像拼接定位中边缘信息利用不足导致完整性与误报问题,提出多尺度交叉融合与边缘监督网络,通过跨尺度/跨域融合、边缘掩码预测及注意力集成,在公开数据集上超越现有方法。
2024-12-17 cs.CV
Post-Processing Mask-Based Table Segmentation for Structural Coordinate Extraction
University of Moratuwa, Sri Lanka(斯里兰卡穆拉图瓦大学)
本文提出了一种基于多尺度信号处理的表格边缘检测方法,通过高斯卷积和统计阈值处理提升表格分割精度,实验表明在PubLayNet-1M基准测试中Cell-Aware Segmentation Accuracy提升至76%。
2025-12-24 cs.CV
HRNET: AI on Edge for mask detection and social distancing
Microsoft Corporation(微软公司);Indian Institute of Management Rohtak(印度管理学院罗塔克分校)
本文的目的是为社区抗击疫情提供创新的新兴技术框架。该论文提出了一种独特的基于人工智能和边缘计算的疫情响应系统框架,用于以公民为中心的服务,以帮助跟踪和追踪在公共场所或工作场所设置中逃避口罩检测和社交距离措施等安全政策的人。该框架还提供了工业设置以及治理和接触者追踪任务的实施指南。因此,采用智能城市规划和发展将重点关注有助于提高生活质量的公民健康系统。通过从研究人员的公共网站,GitHub存储库和知名期刊收集的二级数据汇集进行定量数据分析,验证了所提出的概念框架,并对Microsoft Azure云环境中的实验结果进行了进一步的基准测试。该研究包括用于基准分析的选择性AI模型,并评估了大规模社会设置的边缘计算环境中的性能和准确性。总体而言,YOLO模型在目标检测任务中表现出色,并且对于掩码检测和HRNetV2来说足够快,优于用于解决AI边缘推理环境设置中的社交距离任务的语义分割问题。本文提出了一种新的边缘AI算法,用于构建面向技术的解决方案,以检测人体运动和社交距离中的掩模。本文丰富了应用于社会和医疗保健系统问题的人工智能和边缘计算的技术进步。该框架进一步使政府机构、系统提供商能够在社区设置中设计和构建以技术为导向的模型,以利用新兴技术提高智能城市环境的生活质量。
2022-02-03 cs.AI cs.CV
Learning Binary Features Online from Motion Dynamics for Incremental Loop-Closure Detection and Place Recognition
Georgia Institute of Technology(佐治亚理工学院);Transylvania University(特兰西瓦尼亚大学)
本文提出了一种简单而有效的在线学习视觉特征的方法,以提高循环闭合检测和位置识别,基于词袋框架。该方法从两个连续帧的一对匹配特征中学习词袋模型中的码字,使得码字对相机运动具有时间导出的视角不变性。该学习算法是有效的:从平均图像块生成二进制描述符,并通过最小化学习特征与两个原始特征之间的类内距离,基于判别投影学习掩模。通过将学习的描述符和掩码打包来生成用于词袋模型的码字,其中定义了掩码汉明距离以测量两个码字之间的距离。然后在数学上证明学习的码字的几何性质。此外,通过匹配码字的时间一致性来施加假设约束,这提高了精度。该方法,集成在一个增量的词袋系统,多个基准数据集上进行验证,并比较国家的最先进的方法。实验表明,改进的精度/召回率优于最先进的技术,在运行时几乎没有损失。
2016-01-25 cs.CV
DyMorph-B2I: Dynamic and Morphology-Guided Binary-to-Instance Segmentation for Renal Pathology
Southern University of Science and Technology(南方科技大学);Vanderbilt University(范德比尔特大学);Vanderbilt University Medical Center(范德比尔特大学医学中心);Weill Cornell Medicine(韦氏 Cornell 医学院);Cornell Tech(康奈尔科技);Northwell Health(北well 健康)
本文提出DyMorph-B2I流程,通过动态整合分水岭、骨架化与形态学操作并引入自适应几何细化和超参数调优,将肾脏病理二值掩膜稳健地分离为实例,优于经典方法及其简单组合。
2025-08-21 cs.CV
WearMask: Fast In-browser Face Mask Detection with Serverless Edge Computing for COVID-19
Vanderbilt University(范德堡大学);Shandong University(山东大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本文提出WearMask,一种基于无服务器边缘计算的浏览器内口罩检测方案,集成YOLO、NCNN和WebAssembly,实现免安装、低计算需求和高检测速度,适用于任何联网设备。
2021-01-04 cs.CV eess.IV
Boxes2Pixels: Learning Defect Segmentation from Noisy SAM Masks
Eindhoven University of Technology(埃因霍温理工大学)
本文提出Boxes2Pixels框架,通过将SAM视为噪声教师,利用分层解码器和在线自修正机制提升缺陷分割精度,实现在工业表面中提升mIoU和IoU指标。
2026-04-13 cs.CV
A General Ambiguity Model for Binary Edge Images with Edge Tracing and its Implementation
Paderborn University(帕德博恩大学);GET Lab(GET实验室)
本文提出一种通用歧义模型并结合边缘追踪处理二值边缘图像中的交叉结构,以紧凑递归算法实现高效预处理,支持后续分割与识别任务。
2024-08-03 cs.CV
FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation
本文提出FIRM模型,通过预测视觉令牌内的r×r二值子单元掩码代码结合轻量连续渲染器优化边界,在5个遥感推理分割基准上取得领先结果,提升了细粒度分割性能。
2026-08-17 cs.CV
Enhanced Deformable Convolution with Center-invariant Offset and Edge-aware Mask
Beihang University(北京航空航天大学);Shanghai Academy of Spaceflight Technology(上海航天技术研究院);Shanghai Radio Equipment Research Institute(上海无线电设备研究所);Cardiff University(卡迪夫大学);Shenzhen University(深圳大学);Sun Yat-sen University(中山大学);Lancaster University(兰卡斯特大学)
本文提出增强型可变形卷积(EDC),通过中心不变偏移模块和边缘感知掩码模块,改进语义分割中的可变形卷积,提升空间适应性和目标聚焦,优于现有变体。
2026-09-15 cs.CV
RailYolact -- A Yolact Focused on edge for Real-Time Rail Segmentation
本文提出RailYolact,通过将边缘算子提取的边缘信息融入Yolact损失函数并平滑真实掩码边缘,提升了铁轨分割的边缘精度,且不改变推理速度,在自定义数据集和Cityscapes上均取得显著改进。
2024-10-12 cs.CV
Edge-Boundary-Texture Loss: A Tri-Class Generalization of Weighted Binary Cross-Entropy for Enhanced Edge Detection
Sun-Yat-Sen University(孙中山大学);Shenzhen University(深圳大学)
针对边缘检测中非边缘像素模糊问题,提出EBT损失,将像素分为边缘、边界、纹理三类并赋予不同权重,泛化WBCE损失,实验证明其性能优越且易于部署。
2025-07-09 cs.CV
Super-resolution MRI Using Finite Rate of Innovation Curves
University of Iowa(爱荷华大学)
我们提出了一个两阶段的算法,从低频k空间样本的MR图像的超分辨率。在第一阶段,我们估计一个分辨率无关的掩码,其零代表图像的边缘。这建立在最近的工作扩展理论的采样信号的有限创新率(FRI)的二维曲线。我们使其应用到MRI的FRI理论所允许的信号模型提出扩展,并通过开发一个更强大和有效的手段来确定边缘掩模。在该方案的第二阶段,我们恢复超分辨MR图像使用离散化的边缘掩模作为图像先验。我们评估我们的计划模拟单线圈磁共振数据从分析幻影,并与全变重建。我们的实验表明,在无噪和嘈杂的设置提高了性能。
2015-02-05 cs.CV
KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning
School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
深度神经网络(DNN)在学习新任务时可能会忘记先前任务的知识,这被称为\textit{catastrophic forgetting}。虽然最近的持续学习方法能够缓解玩具大小的数据集上的灾难性问题,但在将其应用于现实世界的问题时,仍有一些问题有待解决。最近,提出了基于掩码的快速学习方法(例如,piggyback \cite{mallya2018piggyback}),以通过以快速方式仅学习二进制元素掩码来解决这些问题,同时保持骨干模型固定。然而,二进制掩码对于新任务具有有限的建模能力。最近的工作\cite{hung2019compacting}提出了一种基于压缩-增长的方法(CPG),通过部分训练骨干模型来实现新任务的更好准确性,但具有更高的训练成本,这使得它不可能部署到流行的最先进的边缘/移动学习中。本研究的主要目标是在持续学习环境下同时实现快速、高精度的多任务适应。因此,出于动机,我们提出了一种新的训练方法称为\textit{kernel-wise Soft Mask}(KSM),它学习一个内核明智的混合二进制和实值软掩模为每个任务,同时使用相同的骨干模型。这种软掩码可以被视为二进制掩码和适当缩放的实值张量的叠加,其提供了更丰富的表示能力,而无需低级内核支持以满足低硬件开销的目标。我们在多个基准数据集上验证了KSM与最近最先进的方法(例如Piggyback,Packnet,CP…
2020-09-11 cs.AI cs.CV cs.LG
GenMask: Adapting DiT for Segmentation via Direct Mask Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协作中位网创新中心);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Institute of Artificial Intelligence for Medicine, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院人工智能医学研究院);Alibaba Group(阿里巴巴集团)
本文提出GenMask,通过直接生成二进制掩码实现分割任务,避免传统间接特征提取流程,提升分割性能。
2026-03-26 cs.CV
SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools
University of Strasbourg(斯特拉斯堡大学);Politecnico di Milano(米兰理工大学);IHU Strasbourg(斯特拉斯堡大学医院研究所)
提出SAF-IS框架,仅用二值掩码和存在标签实现手术器械实例分割,无需像素级标注,在EndoVis数据集上超越完全监督方法。
2023-09-04 cs.CV
Edge-Based Blur Kernel Estimation Using Sparse Representation and Self-Similarity
Beijing University of Technology(北京工业大学);Tsinghua University(清华大学)
盲图像反卷积是指在模糊核未知的情况下,从观测到的模糊图像中恢复出潜像的问题。本文提出了一种基于边缘的模糊核估计方法用于盲运动反卷积。在我们以前的工作中,我们将稀疏表示和自相似性的图像补丁作为先验知识到我们的盲反卷积模型,以正则化恢复的潜像。由于几乎任何自然图像都具有稀疏性和多尺度自相似性,我们构造了一个稀疏正则化和跨尺度非局部正则化基于我们的补丁先验。已经观察到,我们的正则化器通常只对突出边缘的图像块偏爱清晰图像而不是模糊图像,因此我们定义了一个边缘掩码来定位我们想要应用正则化器的突出边缘。模拟和真实模糊图像的实验结果表明,我们的方法优于现有的国家的最先进的盲去模糊方法,即使处理非常大的模糊,由于使用的边缘掩模。
2018-11-17 cs.CV
Self-Masking Networks for Unsupervised Adaptation
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
针对计算机视觉中缺标注数据难微调基础模型的问题,提出通过学习二值掩码自监督适配预训练模型的SMNs方法,存储效率最高提79倍,在多数据集、架构和标注高效场景中性能显著提升。
2024-09-11 cs.CV cs.LG
A Directional Diffusion Algorithm for Inpainting
ETH Zürich(苏黎世联邦理工学院)
修复的问题涉及重建图像的丢失区域。修复有许多应用,例如重建旧的损坏照片或从图像中去除模糊。在本文中,我们提出了方向扩散算法修复。典型的扩散算法在将边缘从图像传播到未知的掩蔽区域方面是不好的。方向扩散算法是对常规扩散算法的改进,它能更精确地重建边缘。在重建被文本掩码混淆的图像时,它的得分优于常规扩散。
2015-11-11 cs.CV
Jordan-Segmentable Masks: A Topology-Aware definition for characterizing Binary Image Segmentation
Department of Mathematics, University of Bari Aldo Moro(巴里阿尔多·莫罗大学数学系)
本文提出基于乔丹曲线定理的拓扑感知分割定义,通过同调理论和贝蒂数评估分割掩码的拓扑一致性,以改进传统评估指标在保持拓扑正确性方面的不足。
2026-01-19 cs.CV cs.NA math.AT
Non-Deterministic Face Mask Removal Based On 3D Priors
Ecole Centrale de Lyon(里昂中央理工学院);Beihang University(北京航空航天大学)
本文提出了一种新的图像修补框架,以消除人脸面具。虽然目前的方法已经证明了他们令人印象深刻的能力,在恢复受损的人脸图像,他们遭受两个主要问题:手动标记的缺失区域的依赖性和确定性的结果对应于每个输入。所提出的方法解决了这些问题,通过集成一个多任务的三维人脸重建模块与人脸修复模块。给定一个蒙面的人脸图像,前者预测一个基于3DMM的重建的脸连同一个二进制遮挡图,提供密集的几何和纹理先验,大大方便了后者的修复任务。通过逐步控制3D形状参数,我们的方法生成高质量的动态修复结果与不同的表情和嘴部运动。定性和定量实验验证了该方法的有效性。
2022-03-03 cs.CV
Pyramid Mask Text Detector
SenseTime(商汤科技);The Chinese University of Hong Kong(香港中文大学);Beihang University(北京航空航天大学)
场景文本检测是场景文本识别系统的一个重要环节,它是在自然场景图像中自动定位文本实例。最近的一些尝试受益于Mask R-CNN将场景文本检测任务表示为实例分割问题,并取得了显着的性能。在本文中,我们提出了一个新的基于Mask R-CNN的框架,称为金字塔掩码文本检测器(PMTD)来处理场景文本检测。我们的PMTD不是由现有的基于Mask R-CNN的方法生成的二进制文本掩码,而是在位置感知监督的指导下执行像素级回归,为每个文本实例生成更具信息性的软文本掩码。对于文本框的生成,PMTD将获得的2D软掩模重新解释到3D空间,并引入了一种新的平面聚类算法,以获得最佳的文本框的基础上的3D形状。在标准数据集上的实验表明,所提出的PMTD带来了一致和显著的增益,明显优于最先进的方法。具体而言,它在ICDAR 2017 MLT数据集上实现了80.13%的F测量。
2019-03-28 cs.CV
Proposal-Free Volumetric Instance Segmentation from Latent Single-Instance Masks
Heidelberg University(海德堡大学);EMBL(欧洲分子生物学实验室)
这项工作介绍了一种新的建议免费实例分割方法,建立在单实例分割掩模预测整个图像中的滑动窗口风格。与相关方法相比,我们的方法同时预测所有掩码,每个像素一个,从而解决整个图像中的任何冲突。具体而言,来自重叠掩码的预测被组合成带符号图的边权重,该带符号图随后被分区以并发地获得所有最终实例。其结果是一种无参数方法,对噪声具有很强的鲁棒性,并优先考虑在重叠掩模中具有最高共识的预测。所有的掩模都是从低维潜在表示中解码的,这导致了大体积图像应用所严格要求的极大的内存节省。我们在具有挑战性的CREMI 2016神经元分割基准测试中测试了我们的方法,在该测试中,我们获得了有竞争力的分数。
2020-09-10 cs.CV
Interactive Binary Image Segmentation with Edge Preservation
Farsee2 Technology(Farsee2科技);Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学);University of South Carolina(南卡罗来纳大学)
二值图像分割在计算机视觉中起着重要的作用,并已广泛应用于图像和视频编辑、目标提取和照片合成等许多应用中。在本文中,我们提出了一种新的交互式二值图像分割方法的基础上马尔可夫随机场(MRF)的框架和快速双边求解器(FBS)技术。具体来说,我们采用测地距离分量来构建一元项。为了确保交互式分割的计算效率和有效响应,使用超像素代替像素来计算测地线距离。此外,我们采取双边亲和力的方法,成对项,以保持边缘信息和去噪。通过交替方向策略,将MRF能量最小化问题分解为两个子问题,分别用最陡梯度下降(SGD)和FBS法求解。在VGG交互式图像分割数据集上的实验结果表明,该算法的分割效果优于现有的几种算法,特别是在前景和背景颜色不明显的情况下,仍能获得令人满意的边缘平滑分割效果。
2018-09-10 cs.CV
Semi-Automatic Generation of Tight Binary Masks and Non-Convex Isosurfaces for Quantitative Analysis of 3D Biological Samples
California Institute of Technology(加州理工学院);Brazilian Synchrotron Light Laboratory (LNLS)(巴西同步辐射光实验室(LNLS));Brazilian Center for Research in Energy and Materials (CNPEM)(巴西能源与材料研究中心(CNPEM))
目前的体内显微镜使我们能够详细的时空成像(3D+t)的完整的生物体,并提供深入了解他们的发展细胞水平。尽管成像速度和质量正在稳步提高,但全自动分割和分析方法往往不够准确。这在对大样本(100 um-1 mm)和样本内部深处成像时尤其如此。果蝇胚胎发生被广泛用作发育范例,为这种挑战提供了一个例子,特别是在细胞轮廓需要成像的情况下-这也是其他系统的普遍挑战。为了解决目前定量分析果蝇胚胎3D+t光片显微镜图像的瓶颈,我们开发了一系列半自动开源工具。所提出的方法包括一个半自动掩蔽过程,自动投影的非凸三维等值面的二维表示,以及细胞分割和跟踪。
2020-01-30 cs.CV eess.IV q-bio.CB
TransRPPG: Remote Photoplethysmography Transformer for 3D Mask Face Presentation Attack Detection
University of Oulu(奥卢大学);Alibaba Group(阿里巴巴集团)
3D面具人脸呈现攻击检测(PAD)在保护人脸识别系统免受紧急3D面具攻击方面起着至关重要的作用。最近,远程光电体积描记术(rPPG)已被开发为3D掩模PAD的内在活性线索,而不依赖于掩模外观。然而,三维掩模PAD的rPPG特征仍然需要专家知识进行人工设计,这限制了其在深度学习和大数据时代的进一步发展。在这封信中,我们提出了一个纯粹的rPPG Transformer(transRPPG)的框架学习内在活性表示有效。首先,基于rPPG的多尺度时空地图(MSTmap)的面部皮肤和背景区域构造。然后,Transformer充分挖掘MSTmaps中的全局关系用于活性表示,并给出用于3D掩模检测的二进制预测。在两个基准数据集上进行了全面的实验,以证明TransRPPG在数据集内和跨数据集测试上的有效性。我们的TransRPPG是轻量级和高效的(只有547K的参数和763M FLOPs),这是有前途的移动级应用程序。
2021-04-15 cs.CV
Masks and Manuscripts: Advancing Medical Pre-training with End-to-End Masking and Narrative Structuring
University of Oxford(牛津大学);Oxford Suzhou Centre for Advanced Research(牛津大学苏州高等研究院)
针对医学对比学习语义不一致问题,提出文本标准化三元组转换与基于Meijering的视觉掩码方法,在多模态对比学习框架中推进跨模态表示,树立医学图像分析新基准。
2024-07-23 cs.CV
TextDiff: Mask-Guided Residual Diffusion Models for Scene Text Image Super-Resolution
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出首个面向场景文本图像超分辨率的扩散框架 TextDiff,通过 TEM 生成初始去模糊图像与文本掩码,并由即插即用的 MRD 建模残差以锐化边缘,在基准上达到 SOTA。
2025-03-16 cs.CV
Mask-Morph Graph U-Net: A Generalisable Mesh-Based Surrogate for Crashworthiness Field Prediction under Large Geometric Variation
Dyson School of Design Engineering, Imperial College London(帝国理工学院伦敦设计工程学院);TUM School of Engineering and Design, Technical University of Munich(慕尼黑技术大学工程与设计学院);Faculty of Mechanical Engineering, OTH Regensburg(雷根斯堡机械工程学院);NVIDIA(NVIDIA公司)
本文提出Mask-Morph Graph U-Net,通过特征对齐的重心参数化和节点掩码预训练,提升网格模拟的通用性和数据效率,适用于碰撞worthiness设计探索。
2026-06-19 cs.CV cs.LG
Range-Edit: Semantic Mask Guided Outdoor LiDAR Scene Editing
GeoAI4Cities Lab(GeoAI4Cities实验室);IISER Bhopal(印度比哈尔理工学院)
Range-Edit通过语义掩码指导生成高质量的激光雷达点云,提升自动驾驶系统的鲁棒性与泛化能力。
2025-11-21 cs.AI cs.CV
Statistical mechanics of digital halftoning
Hokkaido University(北海道大学);Wakayama National College of Technology(和歌山国立技术学院);The University of Tokyo(东京大学)
我们从统计力学的观点来考虑数字半调问题。数字半调是一种图像处理方法,即用黑白二值点表示每个灰度级。数字半色调化是通过使用阈值掩模来实现的,即对于每个像素,如果原始灰度像素大于或等于掩模值,则半色调化的二进制像素被确定为黑色,反之亦然,则被确定为白色。为了确定给定原始灰度图像每个像素的最佳掩模值,我们首先假设人眼可以通过线性滤波器将黑白二值半色调图像识别为相应的灰度图像。哈密顿量被构造为原始图像和识别图像之间的距离,该距离以阈值掩模的形式表示。我们证实了用哈密顿量描述的系统是一种具有淬火无序的反铁磁伊辛模型。通过搜索哈密顿量的基态,我们同时获得了最佳阈值掩模和由此产生的半色调二进制点。通过功率谱分析,我们发现从人眼调制特性的角度来看,二值点图像在生理上是合理的。我们还提出了一个理论框架来研究逆数字半调的统计性能,即半调的逆过程。从贝叶斯推断的观点出发,严格地证明了贝叶斯最优逆半调是在一个特定的条件下实现的,该条件与自旋玻璃研究领域中的所谓西森线非常相似。
2010-11-08 cond-mat.dis-nn cs.CV physics.comp-ph
InstructVTON: Optimal Auto-Masking and Natural-Language-Guided Interactive Style Control for Inpainting-Based Virtual Try-On
Amazon(亚马逊公司);University of California, Los Angeles (UCLA)(加州大学洛杉矶分校);Duke University(杜克大学)
InstructVTON利用视觉语言模型自动生成掩码,结合自然语言指令实现细粒度风格控制的交互式虚拟试穿,简化用户操作并提升效果。
2025-09-24 cs.AI cs.CV
A Deep Learning Framework to Reconstruct Face under Mask
American International University-Bangladesh(美国国际大学-孟加拉国)
虽然基于深度学习的图像重建方法在从图片中移除物体方面取得了显著的成功,但它们尚未实现将一致性归因于性别、种族、表情和其他特征(如面部拓扑结构)的可接受结果。本工作的目的是从掩模图像中提取掩模区域,并重建已检测到的区域。这个问题很复杂,因为(i)很难确定隐藏在面具后面的图像的性别,这导致网络变得混乱,并将男性面部重建为女性,反之亦然;(ii)我们可能从多个角度接收图像,这使得很难保持面部的实际形状,拓扑结构和自然图像;和(iii)各种面具形式存在问题,因为在某些情况下,面具的面积不能精确地预测;面具的某些部分在完成后仍留在脸上。为了解决这个复杂的任务,我们将问题分为三个阶段:地标检测,目标掩模区域的目标检测,以及修复寻址的掩模区域。首先,为了解决第一个问题,我们使用了性别分类,它检测面具后面的实际性别,然后我们检测面具面部图像的地标。其次,我们识别了非面部项目,即,掩模,并使用Mask R-CNN网络来创建观察到的掩模区域的二进制掩模。第三,我们开发了一个修复网络,它使用预期的地标来创建逼真的图像。为了分割掩码,本文使用掩码R-CNN,并提供了一个二进制分割图来识别掩码区域。此外,我们通过基于GAN的网络利用地标作为结构指导来生成图像。本文中的研究使用了FFHQ和CelebA数据集。
2022-03-23 cs.AI cs.CV cs.LG
BiconNet: An Edge-preserved Connectivity-based Approach for Salient Object Detection
Duke University(杜克大学);Duke University Medical Center(杜克大学医学中心)
传统的基于深度学习的方法将显著性目标检测(SOD)视为逐像素显著性建模任务。现有SOD模型的一个局限性是对像素间信息利用不足,这通常会导致边缘区域分割不完善和空间相干性低。正如我们所证明的,使用显著性掩码作为唯一的标签是次优的。为了解决这个问题,我们提出了一种基于连通性的方法,称为双边连通性网络(BiconNet),它使用连通性掩模与显着性掩模作为标签,有效地建模像素间的关系和对象显着性。此外,我们提出了一个双边投票模块,以提高输出连接图,和一种新的边缘特征增强方法,有效地利用边缘特定的功能。通过对五个基准数据集的综合实验,我们证明了我们提出的方法可以插入到任何现有的最先进的基于显着性的SOD框架中,以提高其性能,而参数的增加可以忽略不计。
2021-08-09 cs.AI cs.CV eess.IV
Semantic-Aware Generative Image Transmission for Resource-Constrained Visual IoT Systems
针对资源受限视觉物联网的低速率无线链路,提出语义感知生成式图像传输框架,通过VQ编码、语义重要性融合和空间分散采样实现灵活比特率-质量权衡,在0.074 bpp下达到29.9 dB PSNR。
2026-06-24 cs.CV eess.IV