Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University（首尔国立大学）
近年来，多模态表示学习领域取得了惊人的进展，其中对比学习是重大突破的基石。最新的作品通过将不同的目标（如掩码建模和字幕）纳入框架中，提供了进一步的改进，但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中，我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说，我们比较对比，匹配和字幕损失方面的语义信号，并引入一个简单的基线，不仅支持我们的分析，但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Resurrect Mask AutoRegressive Modeling for Efficient and Scalable Image Generation
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；University of Minnesota Twin Cities（明尼苏达大学 Twin Cities 分校）
本文提出MaskGIL模型，通过改进双向LLaMA架构和2D RoPE，以8步推理在ImageNet上达到与AR模型相当的FID 3.71，并支持文本驱动生成和语音到图像转换。
2025-07-17 cs.CV
A Simple Framework for 3D Lensless Imaging with Programmable Masks
University of California Riverside（加州大学河滨分校）；Carnegie Mellon University（卡内基梅隆大学）
无透镜相机通过在传感器附近用振幅或相位掩模替换传统相机中的透镜来提供构建薄成像系统的框架。现有的无透镜成像方法可以恢复场景的深度和强度，但它们需要解决计算昂贵的逆问题。此外，现有方法难以恢复具有大深度变化的密集场景。在本文中，我们提出了一种无透镜成像系统，捕获少量的测量使用不同的模式上的可编程掩模。在这方面，我们作出三项贡献。首先，我们提出了一种快速恢复算法来恢复场景中固定数量的深度平面上的纹理。其次，我们考虑的掩模设计问题，可编程无透镜相机，并提供了一个设计模板优化掩模图案的目标是提高深度估计。第三，我们使用细化网络作为后处理步骤来识别和去除重建中的伪影。这些修改进行了广泛的评估与无透镜相机原型上的实验结果，以展示最佳的掩模和恢复算法的性能优势，超过最先进的。
2021-08-18 cs.CV eess.IV
DiffSTR: Controlled Diffusion Models for Scene Text Removal
IIT Delhi（印度理工学院德里分校）；IIIT Sonepat（索尼帕特印度信息技术学院）
针对场景文本移除存在的边界伪影、纹理颜色不一致等问题，提出基于ControlNet的DiffSTR模型，结合掩码预训练与基于分割的掩码细化框架生成准确修复掩码，在两个公开数据集上性能显著优于现有最优方法。
2024-10-29 cs.CV
Joint Image and Depth Estimation with Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
基于掩模的无镜头相机用定制掩模取代传统相机的镜头。这些相机可能非常薄，甚至灵活。最近，已经证明这种基于掩模的相机可以恢复场景的光强度和深度信息。现有的深度恢复算法要么假设场景由少量的深度平面组成，要么在大的3D体积上解决稀疏恢复问题。这两种方法都不能恢复具有大深度变化的场景。在本文中，我们提出了一种新的深度估计方法的基础上交替梯度下降算法，联合估计一个连续的深度图和光分布的未知场景从其无透镜测量。我们提出了各种3D测试场景的图像和深度重建的模拟结果。与其他方法的比较表明，我们的算法是更强大的自然场景与大范围的深度。我们建立了一个原型无透镜相机和目前的实验结果重建的强度和深度图的不同的真实物体。
2020-06-19 cs.CV eess.IV
Soft Masked Mamba Diffusion Model for CT to MRI Conversion
Sichuan University（四川大学）
针对CT转MRI任务，提出基于Mamba状态空间模型的扩散模型DiffMa，通过软掩码集成跨序列注意力与螺旋选择性扫描，在医学图像生成及输入缩放效率上优于现有基准模型。
2024-06-22 cs.CV
Computational Tradeoffs in Image Synthesis: Diffusion, Masked-Token, and Next-Token Prediction
StabilityAI；University of Washington（华盛顿大学）
本研究在计算预算受控条件下比较扩散、掩码标记与下一标记预测在图像合成中的性能，发现下一标记预测在提示遵循和推理效率上占优，扩散在图像质量上最终追平，据此给出应用场景选型建议。
2024-05-24 cs.CV
Learned reconstructions for practical mask-based lensless imaging
University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）
基于掩模的无透镜成像器比传统的透镜相机更小更轻。在这些成像器中，传感器不直接记录场景的图像;而是通过计算算法重建图像。通常，基于掩模的无透镜成像器使用基于模型的重建方法，该方法具有计算时间长以及严重依赖系统校准和选择性去噪的缺点。在这项工作中，我们使用有界计算，可训练的神经网络来重建图像，以解决这些限制。我们通过展开传统的基于模型的优化算法来利用我们对物理系统的了解，我们使用实验收集的地面实况数据来优化其参数。可选地，由展开的网络产生的图像然后被馈送到联合训练的去噪器中。与传统方法相比，我们的架构实现了更好的感知图像质量，运行速度快20倍，实现了场景的交互式预览。我们探索了基于模型的方法和深度学习方法之间的范围，展示了使用中间方法的好处。最后，我们在野外使用基于面具的原型相机拍摄的图像上测试了我们的网络，证明了我们的网络可以推广到自然图像。
2019-08-30 cs.CV eess.IV
Detecting Clear Contact Lenses for Iris Recognition: A Two-Stage Mask-Guided Attention Approach
Michigan State University（密歇根州立大学）
该研究针对透明隐形眼镜对虹膜识别的影响问题，提出含MGSA模块的两阶段检测框架，结合z分数校准可提升虹膜验证性能。
2026-08-11 cs.AI cs.CV
Toward Depth Estimation Using Mask-Based Lensless Cameras
University of California, Riverside（加州大学河滨分校）
最近，编码掩模已被用于演示一种薄形无透镜相机FlatCam，其中掩模被直接放置在裸露的图像传感器的顶部。在本文中，我们提出了一个成像模型和算法，联合估计的深度和强度信息的场景从一个或多个FlatCams。我们使用一个光场表示模型的3D场景到传感器的映射，其中来自不同深度的光线产生不同的调制模式。我们提出了一个贪婪的深度追踪算法来搜索3D体积和估计的深度和强度的相机视场内的每个像素。我们目前的仿真结果分析我们所提出的模型和算法的性能与不同的FlatCam设置。
2017-11-09 cs.CV
Towards Robust and Generalizable Lensless Imaging with Modular Learned Reconstruction
针对无透镜成像学习方法的泛化性不足问题，提出一种包含预处理器的模块化学习重建方法，理论上证明其必要性并跨掩模类型验证了有效性，同时开源数据集与软件。
2025-02-03 cs.CV eess.IV
Masked Autoencoder Pretraining on Strong-Lensing Images for Joint Dark-Matter Model Classification and Super-Resolution
Faculty of Computer Science, Universitas Mercu Buana（默克普布亚大学计算机科学学院）
本研究通过在强引力透镜图像上预训练MAE，实现了暗物质模型分类和图像超分辨率的双重任务，展示了MAE在天文图像处理中的有效性。
2025-12-07 astro-ph.CO astro-ph.IM cs.AI
Guided Lensless Polarization Imaging
Tel Aviv University（特拉维夫大学）；School of Electrical Engineering, Faculty of Engineering（工程学院电气工程学院）
本文提出一种结合紧凑型偏振-RGB传感器和常规RGB相机的无镜头偏振成像系统，通过两阶段流程提升重建质量与通用性。
2026-03-28 cs.AI cs.CV eess.IV
Privacy-Enhancing Optical Embeddings for Lensless Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
无透镜成像由于其测量的高度多路复用特性而可以提供视觉隐私。然而，这本身是一种弱形式的安全性，因为可以设计各种对抗攻击来反转这种相机的一对多场景映射。在这项工作中，我们通过（1）在传感器处进行下采样和（2）使用具有可变图案的可编程掩模作为我们的光学编码器来增强无透镜成像提供的隐私。我们从低成本的LCD和Raspberry Pi组件构建了一个原型，总成本约为100美元。这一非常低的价格点使我们的系统能够在广泛的应用中部署和利用。在我们的实验中，我们首先证明了我们的系统的可行性和可重构性，通过将其应用于各种分类任务：MNIST，CelebA（面部属性），和CIFAR10。通过以端到端的方式联合优化掩模模式和数字分类器，可以直接在传感器上学习低维的隐私增强嵌入。其次，我们展示了所提出的系统如何通过可变掩码模式来阻止试图通过明文攻击或（2）在相机参数泄漏的情况下反转系统的对手。我们证明了我们的系统对这两种风险的防御，基于模型的凸优化和生成神经网络的攻击的图像质量指标分别下降了55%和26%。我们开源了端到端优化所需的波传播和摄像机模拟器、培训软件以及用于与摄像机接口的库。
2022-11-23 cs.CV eess.IV
FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements
Rice University（莱斯大学）
无透镜成像已经成为一种潜在的解决方案，通过避开传统相机中的笨重镜头来实现超小型相机。在没有聚焦镜头的情况下，无透镜相机依赖于计算算法来从多路复用测量中恢复场景。然而，目前基于迭代优化的重建算法产生噪声和感知较差的图像。在这项工作中，我们提出了一种基于非迭代深度学习的重建方法，可以使无透镜重建的图像质量提高几个数量级。我们的方法，称为$\textit{FlatNet}$，奠定了一个框架，重建高品质的真实感图像从基于掩模的无透镜相机，相机的前向模型制定是已知的。FlatNet由两个阶段组成：（1）通过学习前向模型公式中的参数将测量映射到中间重建空间的反演阶段，以及（2）提高该中间重建的感知质量的感知增强阶段。这些阶段以端到端的方式一起训练。我们通过使用两种不同类型的无透镜原型对真实和具有挑战性的场景进行广泛的实验来展示高质量的重建：一种使用可分离的前向模型，另一种使用更一般的不可分离的裁剪卷积模型。我们的端到端方法速度快，可产生逼真的重建效果，并且易于用于其他基于掩模的无镜头相机。
2020-10-29 cs.CV cs.LG eess.IV
Learning rich optical embeddings for privacy-preserving lensless image classification
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
通过用薄的光学元件取代镜头，无镜头成像实现了传统相机设计和后处理所支持的应用和解决方案之外的新应用和解决方案，例如紧凑和轻便的形状因子和视觉隐私。后者源于无透镜相机的高度复用测量，这需要成像系统的知识来恢复可识别的图像。在这项工作中，我们利用这种独特的多路复用特性：将光学器件作为编码器，直接在相机传感器上产生学习的嵌入。我们在图像分类的上下文中这样做，其中我们以端到端的方式联合优化编码器的参数和图像分类器的参数。我们的实验表明，联合学习无透镜光学编码器和数字处理可以在传感器上实现较低分辨率的嵌入，从而更好地保护隐私，因为从这些测量中恢复有意义的图像要困难得多。额外的实验表明，这种优化允许无透镜测量，对典型的真实世界图像变换更鲁棒。虽然这项工作的重点是分类，但所提出的可编程无透镜相机和端到端优化可以应用于其他计算成像任务。
2022-06-03 cs.CV eess.IV
Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models
School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院、光学和电子学（iOPEN）、西北工业大学）；Institute of Artificial Intelligence, China Telecom (TeleAI)（人工智能研究院、中国电信（TeleAI））；Fudan University（复旦大学）；The University of Hong Kong（香港大学）
提出Lens框架，通过轻量级LET令牌为视觉令牌评分，并注入自适应噪声抑制低相关令牌，在不改变模型结构的情况下提升多模态推理性能。
2026-06-29 cs.CV
A Lensless Polarization Camera
Department of Physics of Complex Systems, Faculty of Physics, Weizmann Institute of Science（复杂系统物理系，物理系，魏茨曼科学研究所）
本文提出一种紧凑型无镜头偏振相机，利用扩散元件和简单条纹偏振掩模，结合计算重建算法，从单张图像中恢复四张线偏振图像，展示了无镜头方法在偏振成像中的潜力。
2026-03-17 cs.CV eess.IV physics.optics
Coded Illumination for Improved Lensless Imaging
University of California, Riverside（加州大学河滨分校）
基于掩模的无透镜相机可以是平的、薄的和重量轻的，这使得它们适合于具有大表面积和任意形状的计算成像系统的新颖设计。尽管最近在无透镜相机方面取得了进展，但是由于底层测量系统的病态，从无透镜相机恢复的图像的质量通常很差。在本文中，我们提出了使用编码照明，以提高无透镜相机重建的图像质量。在我们的成像模型中，当无透镜相机记录传感器测量时，场景/对象被多个编码照明图案照亮。我们设计并测试了许多照明模式，并观察到移动点（和相关的正交）模式提供了最佳的整体性能。我们提出了一个快速和低复杂度的恢复算法，利用我们的系统中的可分性和块对角结构。仿真结果和硬件实验结果表明，该方法可以显着提高重建质量。
2023-01-10 cs.CV eess.IV
Unrolled Primal-Dual Networks for Lensless Cameras
University College London（伦敦大学学院）；University of California San Diego（加州大学圣地亚哥分校）；ams OSRAM（艾迈斯欧司朗）
传统的无透镜相机的图像重建模型通常假设每个测量结果从卷积一个给定的场景与一个单一的实验测量点扩散函数。这些图像重建模型不能真实地模拟无透镜相机，因为这些模型不够复杂，无法考虑光学像差或深度变化的场景。我们的工作表明，学习有监督的原始-对偶重建方法可以在不需要大网络容量的情况下实现文献中最先进的图像质量匹配。这种改进源于我们的主要发现，即在学习的原始-对偶优化框架中嵌入可学习的前向和伴随模型，与不校正模型误差的作品相比，甚至可以提高重建图像的质量（+5dB PSNR）。此外，我们建立了一个概念验证的无透镜相机原型，使用伪随机相位掩模来证明我们的观点。最后，我们分享了基于开放数据集和无透镜相机概念验证原型数据集的学习模型的广泛评估。
2022-03-08 cs.CV eess.IV
Generative Semantic Segmentation
Fudan University（复旦大学）；University of Surrey（萨里大学）
本文提出生成式语义分割（GSS），将语义分割转化为以图像为条件的掩码生成问题，通过隐变量先验学习和条件网络实现分割，在标准设置下表现优异，并在跨域设置中取得新最优。
2023-08-10 cs.CV
Segmentation as A Plug-and-Play Capability for Frozen Multimodal LLMs
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出LENS，通过在冻结MLLM上附加轻量可训练头，从注意力图提取关键点并生成兼容掩码解码器的特征，在不损害泛化能力的前提下实现有竞争力的分割性能。
2025-10-19 cs.CV
FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation
Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）
FlatCam是一款薄型无镜头相机，由放置在裸露的传统传感器阵列顶部的编码掩模组成。与传统的镜头相机不同，场景的图像直接记录在传感器像素上，FlatCam中的每个像素记录来自多个场景元素的光线的线性组合。然后使用计算算法来解复用所记录的测量结果并重建场景的图像。FlatCam是编码孔径成像系统的一个实例;然而，与绝大多数相关工作不同的是，我们将编码掩模放置在非常靠近图像传感器的位置，从而可以实现薄型系统。我们采用一个可分离的掩模，以确保校准和图像重建是可扩展的内存需求和计算复杂性方面。我们使用两个原型展示了FlatCam设计的潜力：一个在可见光波长，一个在红外波长。
2016-01-27 cs.CV
Encoding Metal Mask Projection for Metal Artifact Reduction in Computed Tomography
Z 2 Sky Technologies Inc.（Z 2 Sky科技公司）；Adobe（奥多比公司）；University of Rochester（罗切斯特大学）；Beijing United Family Hospital（北京和睦家医院）；Peking Union Medical College Hospital（北京协和医院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
计算机断层扫描（CT）中的金属伪影减少（MAR）是一项极具挑战性的任务，因为伪影在图像域中是结构化的和非局部的。然而，它们在正弦图域中固有地是局部的。因此，MAR的一种可能方法是通过学习减少正弦图中的伪影来利用后一特性。然而，如果我们直接将正弦图中的金属影响区域视为缺失，并用神经网络生成的替代数据替换它们，则伪影减少的CT图像往往会过度平滑和失真，因为金属影响区域内的细粒度细节被完全忽略。在这项工作中，我们提供了分析调查的问题，并提出解决这个问题（1）保留金属影响的区域，在正弦图和（2）取代二值化的金属轨迹与金属掩模投影，使金属植入物的几何信息编码。在模拟数据集上进行的大量实验和对临床图像的专家评估表明，我们的新型网络比最先进的方法产生了在解剖学上更精确的伪影减少图像，特别是当金属物体很大时。
2020-07-19 cs.CV eess.IV
The surprising impact of mask-head architecture on novel class segmentation
Google（谷歌）
当前的实例分割模型在大型注释数据集上训练时非常准确，但大规模收集掩码注释的成本过高。我们解决部分监督的实例分割问题，其中一个可以训练（显着便宜）的所有类别的边界框，但只使用口罩的类别的子集。在这项工作中，我们专注于一个流行的家庭的模型，适用于微分裁剪的特征图和预测的基础上产生的作物掩模。在这个家族中，我们研究了Mask R-CNN，发现它不是使用建议和地面实况框的组合来训练mask-head的默认策略，而是只使用地面实况框来训练mask-head，这大大提高了它在新类上的性能。这种训练策略还允许我们利用替代的掩模头架构，我们通过用更深的现成架构（例如ResNet，沙漏模型）替换典型的2-4层掩模头来利用它。虽然这些架构中的许多在完全监督模式下训练时表现相似，但我们的主要发现是它们可以以截然不同的方式推广到新的类。我们称这种能力的面具头推广到看不见的类强大的面具泛化效果，并表明，没有任何专业模块或损失，我们可以实现国家的最先进的结果，在部分监督COCO实例分割基准。最后，我们证明了我们的效果是一般的，持有跨底层的检测方法（包括锚为基础的，锚免费或没有检测器），并在不同的骨干网络。代码和预训练模型可在https://git.io/deepmac上获得。
2021-08-18 cs.CV
Boundary-by-Mask: Few-Shot Instance Segmentation with Mask-Conditioned Boundary Learning for Texture-Poor Industrial Parts
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）；Cybermedia Center, Osaka University（大阪大学网络媒体中心）
提出Boundary-by-Mask框架，通过监督边界而非内部外观，利用基础模型编码器和轻量级SDF头实现弱纹理工业零件的少样本实例分割，支持灵活定义实例目标。
2026-06-23 cs.CV cs.RO
Diffractive lensless imaging with optimized Voronoi-Fresnel phase
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
无透镜相机是一类成像设备，其通过用集成的平面光学器件和计算算法替换传统的复合透镜来将物理尺寸缩小到非常接近图像传感器的位置。在这里，我们报告了一个衍射无透镜相机与空间编码的Voronoi-Fresnel相位，以实现卓越的图像质量。我们提出了一个设计原则，最大限度地利用光学获取的信息，以促进计算重建。通过引入一个易于优化的傅里叶域度量，调制传递函数体积（MTF），这是相关的Strehl比，我们设计了一个优化框架，以指导衍射光学元件的优化。所得到的Voronoi-Fresnel相位具有包含基础一阶Fresnel相位函数的准质心Voronoi单元的不规则阵列。我们使用原型Voronoi-Fresnel无镜头相机在160万像素图像传感器上在各种照明条件下演示并验证了摄影应用的成像性能。结果表明，所提出的设计优于现有的无透镜相机，并可能有利于在极端物理条件下工作的紧凑型成像系统的发展。
2022-12-07 cs.CV physics.optics
BokehOrNot: Transforming Bokeh Effect with Image Transformer and Lens Metadata Embedding
Uppsala University（乌普萨拉大学）
针对现有方法主要局限于清晰转模糊散景的问题，提出 BokehOrNot，通过嵌入镜头元数据并利用 BETD 的 alpha 遮罩设计损失，实现多镜头与光圈组合下的双向散景转换，性能优于现有模型。
2023-06-06 cs.CV cs.LG eess.IV
Integrated Forward-Inverse Network for Lensless Image Reconstruction
Department of Mechanical Engineering, Seoul National University（韩国首尔国立大学机械工程系）；School of Mechanical and Aerospace Engineering/SNU-IAMD, Seoul National University（韩国首尔国立大学机械与航空航天工程学院/SNU-IAMD）；Department of Electrical and Electronic Engineering, Yonsei University（韩国延世大学电气与电子工程系）；Department of Biomedical Engineering, University of Michigan（美国密歇根大学安娜堡分校生物医学工程系）
研究无透镜成像重建难题，提出集成正反网络，通过在各尺度交错可微正向投影与可学习反向更新，利用互补线索，实现渐进、物理一致的细化及PSF内核自适应，达最优重建质量。
2026-07-07 cs.CV
Human Extraction and Scene Transition utilizing Mask R-CNN
Tokai University（东海大学）；ICT Center, Tokai University（东海大学信息通信技术中心）
目标检测是计算机视觉的一个新兴分支，尤其是在人体识别和行人检测方面。识别一个人的完整身体一直是一个难题。多年来，研究人员提出了各种方法，最近，Mask R-CNN在实例分割方面取得了突破。基于Faster R-CNN，Mask R-CNN能够为每个实例生成分割掩码。我们提出了一个应用程序，从图像和视频中提取多个人的愉快的生活场景分组快乐的时刻的人，如家人或朋友和一个社区的生活质量（QOL）。我们同样提出了一种方法，把提取的图像的人到新的背景。这使得用户能够愉快地收集他/她的家人和朋友在他/她的生活中的快乐面部表情和动作。Mask R-CNN从图像中检测所有类型的对象掩码。然后，我们的算法只考虑目标人，只提取一个人没有障碍物，如狗在前面的人，用户也可以选择多个人作为他们的期望。我们的算法对图像和视频都有效，无论其长度如何。我们的算法不会给Mask R-CNN增加任何开销，运行速度为5 fps。我们展示的例子瑜伽的人在图像和舞蹈视频帧的舞者。我们希望我们简单而有效的方法可以作为替换图像背景的基线，并有助于简化未来的研究。
2019-10-26 cs.CV cs.GR
Explaining Image Classifiers with Multiscale Directional Image Representation
Ludwig-Maximilians-Universität München（慕尼黑大学）；University of Tromsø（特罗姆瑟大学）；Technion-Israel Institute of Technology（以色列理工学院）
针对现有掩码解释方法因平滑约束难以区分相关细细节与干扰模式的问题，提出基于剪切波稀疏约束的ShearletX方法，配套新评估指标，验证其更优性能并可解释此前无法解释的现象。
2023-04-28 cs.CV
