Sparse Gaussian Process Variational Autoencoders
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
在现代科学和工程中，大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型（GP-DGMs），其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似，这对于GP的计算效率是必不可少的，它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器（SGP-VAE）的发展，其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点，SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理，而无需额外的训练。SGP-VAE在各种实验中进行了评估，其中它优于替代方法，包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Towards constraining warm dark matter with stellar streams through neural simulation-based inference
对观测到的恒星流密度扰动进行统计分析，原则上可以对暗物质暗晕的质量函数设置严格的约束，而暗物质暗晕的质量函数又可以用来约束暗物质粒子的质量。然而，恒星密度相对于流和subhaloes参数的可能性涉及解决一个棘手的逆问题，它依赖于集成的所有可能的forward realisations隐含定义的模拟模型。为了推断subhalo丰度，以前的分析依赖于近似贝叶斯计算（ABC）与域动机，但手工制作的汇总统计。在这里，我们引入了一个基于摊销近似似然比（AALR）的无似然贝叶斯推断管道，它自动学习数据和模拟器参数之间的映射，并避免了手工制作可能不足的汇总统计量的需要。我们应用该方法的简化情况下，恒星流只扰动的暗物质subhaloes，从而忽略重子子结构，并描述了几个诊断，证明了新方法的有效性和统计质量的学习估计。
2020-11-30 astro-ph.CO astro-ph.GA astro-ph.IM
Latent variable model for high-dimensional point process with structured missingness
Aalto University（阿尔托大学）；University of Southern Denmark（南丹麦大学）
本文提出一种结合高斯过程与变分自编码器的潜变量模型，可同时处理高维纵向数据中的结构化缺失和未知随机测量时间点，并通过可扩展的摊销变分推断实现高效训练，在模拟与真实数据上表现优异。
2024-06-28 cs.LG stat.ML
Learning Conditional Variational Autoencoders with Missing Covariates
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Bayer Pharmaceuticals（拜耳制药）
条件变分自编码器（CVAE）是通用的深度生成模型，通过用辅助协变量调节生成模型来扩展标准VAE框架。原始CVAE模型假设数据样本是独立的，而最近的条件VAE模型，如高斯过程（GP）先验VAE，可以解释所有数据样本的复杂相关结构。虽然已经提出了几种方法来从部分观察的数据集学习标准VAE，但这些方法不适合条件VAE。在这项工作中，我们提出了一种方法来学习条件VAE的数据集，其中辅助协变量可以包含缺失值以及。所提出的方法增加了条件VAE与先验分布的缺失协变量和估计其后使用摊销变分推断。在训练时，我们的方法将与缺失协变量相关的不确定性边缘化，同时最大化证据下限。我们开发了计算效率高的方法来学习CVAE和GP之前的VAE，是兼容的迷你。我们在模拟数据集以及临床试验研究上的实验表明，该方法在从非时间，时间和纵向数据集学习条件VAE方面优于以前的方法。
2022-03-02 cs.LG stat.ML
Scalable Variational Inference in Log-supermodular Models
ETH Zurich（苏黎世联邦理工学院）
研究了对数超模模型中的近似贝叶斯推断问题。这些模型包含具有二进制变量的常规成对MRF，但允许捕获高阶相互作用，这对于现有的近似推理技术（如置信传播、平均场和变体）是难以处理的。我们表明，最近提出的变分方法，在对数超模块化模型-L-FIELD-推断减少到广泛研究的最小范数问题的次模块化。这种洞察力允许利用强大的现有工具，从而比以前更有效地解决变分问题的数量级。然后，我们提供了另一个自然的解释L-FIELD，证明它正好最小化一个特定类型的Rényi散度测度。这种见解揭示了L-场产生的变分近似的性质。此外，我们展示了如何执行并行推理作为消息传递在一个合适的因子图的线性收敛速度，而不必总结了所有配置的因素。最后，我们将我们的方法应用于一个具有挑战性的图像分割任务。我们的实验证实了我们的方法的可扩展性，高质量的边缘，并将高阶电位的好处。
2015-02-24 cs.LG stat.ML
Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference
IBM Research AI（IBM研究院人工智能中心）；University of Utah（犹他大学）
使用生成对抗网络（GANs）的半监督学习方法最近已经显示出有希望的经验成功。这些方法中的大多数使用共享的分类器/分类器，该分类器可以区分真实的例子和虚假的例子，同时还可以预测类别标签。受GANs生成器很好地捕获数据流形的能力的启发，我们建议使用GANs来估计数据流形的切空间，并将其用于将不变性注入分类器。在这个过程中，我们提出了对现有方法的增强，用于学习逆映射（即，编码器），这极大地提高了重构样本与输入样本的语义相似性。我们在半监督学习中观察到了相当多的经验收益，特别是在标记示例数量较低的情况下。我们还提供了关于假例子如何影响半监督学习过程的见解。
2017-12-05 cs.AI cs.CV cs.LG
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK（华威大学工程学院，英国）；Warwick Center for Predictive Modelling, University of Warwick, UK（华威大学预测建模中心，英国）；Department of Statistics, University of Warwick, UK（华威大学统计系，英国）；Division of Translational Medicine, Warwick Medical School, UK（华威医学院转化医学部，英国）；Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK（考文垂和华威郡大学医院病理学部临床生物化学系，考文垂，英国）
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性，通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链，探索超参数的后验。我们演示了模拟和真实的例子，显示其捕获的超参数和改进的不确定性量化预测相比，变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Semi-supervised voice conversion with amortized variational inference
Intel AI Lab（英特尔人工智能实验室）
在这项工作中，我们引入了一个半监督的方法来语音转换问题，其中从源扬声器的语音转换成目标扬声器的语音。该方法在训练过程中同时使用来自源和目标的平行和非平行话语。这种方法可以用来扩展现有的并行数据语音转换系统，使他们可以训练与半监督。我们表明，在许多实际应用中，当并行话语的数量有限时，与完全监督训练相比，结合半监督提高了语音转换性能。此外，我们发现，当并行训练数据量保持不变时，增加训练中使用的非并行话语的数量会继续提高性能。
2019-09-30 cs.LG eess.AS stat.ML
DLBI: Deep learning guided Bayesian inference for structure reconstruction of super-resolution fluorescence microscopy
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Biophysics, Chinese Academy of Sciences（中国科学院生物物理研究所）；Hangzhou Dianzi University（杭州电子科技大学）
超分辨率荧光显微镜的分辨率超过了光的衍射极限，已经成为以纳米级分辨率直接观察活细胞中生物结构的不可或缺的工具。尽管在高密度超分辨率荧光技术方面取得了进展，但现有方法仍然存在瓶颈，包括执行时间极长、结构的人为变薄和变厚以及缺乏捕获潜在结构的能力。在这里，我们提出了一种新的深度学习引导贝叶斯推理方法，DLBI，用于高密度荧光图像的时间序列分析。我们的方法结合了深度学习和统计推断的优势，其中深度学习通过探索时间轴上的局部特征和相关性来捕获与观察到的时间序列荧光图像一致的荧光团的潜在分布，统计推断进一步细化由深度学习提取的超微结构，并赋予最终图像物理意义。在真实和模拟数据集上的综合实验结果表明，我们的方法比最先进的方法，3B分析，提供了更准确和真实的局部补丁和大视场重建，而我们的方法是超过两个数量级的速度。主程序可从https://github.com/lykaust15/DLBI获得
2018-09-01 cs.CV stat.AP stat.ML
QuickSRNet: Plain Single-Image Super-Resolution Architecture for Faster Inference on Mobile Platforms
Qualcomm AI Research（高通人工智能研究院）
QuickSRNet提出一种简洁高效的单图像超分辨率架构，在移动平台上实现更优的精度-延迟权衡，通过训练技巧加速残差网络并保持量化鲁棒性，2倍放大至1080p仅需2.2毫秒，适合高帧率实时应用。
2023-05-14 cs.CV cs.LG eess.IV
Distributed Variational Inference for Online Supervised Learning
Contextual Robotics Institute（情境机器人研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出一种可扩展的分布式概率推断算法，通过推导可分下界DELBO实现传感器网络单跳通信，设计在线DGVI算法处理流数据，并应用于多机器人概率地图构建。
2023-10-22 cs.LG cs.RO eess.SP
Iterative Inference-time Scaling with Adaptive Frequency Steering for Image Super-Resolution
University of Science and Technology of China（中国科学技术大学）
本文提出IAFS框架，通过迭代精炼和频率感知粒子融合，解决图像超分辨率中感知质量与结构保真度的平衡问题，实验表明其在多模型上均优于现有方法。
2026-04-13 cs.CV
SwiftSRGAN -- Rethinking Super-Resolution for Efficient and Real-time Inference
近年来，使用最先进的基于深度学习的架构在图像超分辨率任务方面取得了一些进展。许多先前发布的基于超分辨率的技术需要高端和顶级的图形处理单元（GPU）来执行图像超分辨率。随着深度学习方法的不断进步，神经网络变得越来越需要计算。我们退一步，专注于创建一个实时高效的解决方案。我们提出了一个架构，更快，更小的内存占用。所提出的架构使用深度可分离卷积来提取特征，它与其他超分辨率GANs（生成对抗网络）的性能相当，同时保持实时推理和低内存占用。实时超分辨率使得即使在较差的带宽条件下也能够流式传输高分辨率媒体内容。在保持准确性和延迟之间的有效权衡的同时，我们能够产生一个相当的性能模型，其大小是超分辨率GANs的八分之一（1/8），计算速度比超分辨率GANs快74倍。
2021-11-29 cs.CV eess.IV
Exploring Sparsity in Image Super-Resolution for Efficient Inference
National University of Defense Technology（国防科技大学）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所人工智能中心）
当前基于CNN的超分辨率（SR）方法同等地处理所有位置，其中计算资源在空间中被均匀地分配。然而，由于在低分辨率（LR）图像中丢失的细节主要存在于边缘和纹理的区域，这些平坦的区域需要较少的计算资源。因此，现有的基于CNN的方法涉及平坦区域中的冗余计算，这增加了它们的计算成本并限制了它们在移动设备上的应用。在本文中，我们探讨了图像SR的稀疏性，以提高SR网络的推理效率。具体来说，我们开发了一个稀疏掩码SR（SMSR）网络来学习稀疏掩码以修剪冗余计算。在我们的SMSR中，空间掩码学习识别“重要”区域，而通道掩码学习标记那些“不重要”区域中的冗余通道。因此，冗余计算可以被准确地定位和跳过，同时保持相当的性能。它表明，我们的SMSR实现了最先进的性能与41%/33%/27%的FLOP被减少为x2/3/4 SR。代码可在：https://github.com/LongguangWang/SMSR。
2021-04-01 cs.CV
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN（巴黎第十三大学计算机科学实验室）；Université Sorbonne Paris Nord（索邦巴黎北大学）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
尽管变分自编码器（VAE）广泛用于半监督学习，但它们工作的原因仍不清楚。事实上，添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析，我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明，鉴于这一观察结果，有可能获得更精细的控制的效果，无监督的目标上的训练过程。使用重要性加权，我们得到两个新的目标，优先考虑部分观察到的潜在变量，或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进，并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
Recurrent Inference Machines for Solving Inverse Problems
University of Amsterdam（阿姆斯特丹大学）
最近关于解决迭代推理问题的许多研究都集中在从手工选择的推理算法转向学习推理。在后者中，推理过程在时间上展开并被解释为递归神经网络（RNN），其允许通过时间反向传播来联合学习模型和推理参数。在这个框架中，RNN架构直接源自手动选择的推理算法，有效地限制了其功能。我们提出了一个学习框架，称为递归推理机（RIM），在这个框架中，我们将算法构造反过来：给定数据和任务，训练RNN来学习推理算法。因为RNN是图灵完备的[1，2]，所以它们能够实现任何推理算法。该框架允许抽象，消除了对领域知识的需求。我们在几个图像复原实验中证明了这种抽象是有效的，使我们能够在图像去噪和超分辨率任务以及卓越的跨任务泛化上实现最先进的性能。
2017-06-13 cs.CV cs.NE
From Inference to Generation: End-to-end Fully Self-supervised Generation of Human Face from Speech
Seoul National University（首尔大学）；Hong Kong University of Science and Technology（香港科技大学）
这项工作寻求的可能性，从语音生成的人的脸完全基于视听数据，没有任何人类标记的注释。为此，我们提出了一个多模态学习框架，链接的推理阶段和生成阶段。首先，训练推理网络以匹配两种不同模态之间的说话人身份。然后，经过训练的推理网络通过给出关于语音的条件信息与生成网络合作。该方法利用了GANs技术的最新发展，直接从语音波形中生成人脸，使我们的系统完全端到端。我们分析了网络在多大程度上可以自然地解开两个潜在的因素，有助于生成一个人脸图像-一个直接来自语音信号，另一个是不相关的-并探讨网络是否可以学习生成自然的人脸图像分布通过建模这些因素。实验结果表明，该网络不仅能够匹配人脸与语音之间的关系，而且能够根据语音生成高质量的人脸样本。最后，定量测量生成的人脸和相应的语音之间的相关性，以分析两种模态之间的关系。
2020-04-13 cs.CV cs.LG cs.SD
Deep Adaptive Inference Networks for Single Image Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
近年来，由于深度卷积神经网络（CNN）的部署，单图像超分辨率（SISR）取得了巨大进展。对于大多数现有方法，每个SISR模型的计算成本与本地图像内容，硬件平台和应用场景无关。尽管如此，内容和资源自适应模型是更可取的，这是令人鼓舞的应用更简单，更有效的网络，更容易的区域与较少的细节和有限的效率约束的场景。在本文中，我们通过利用深度SISR自适应推理网络（AdaDSR）来解决这个问题。特别是，我们的AdaDSR涉及一个SISR模型作为骨干和一个轻量级的适配器模块，该模块将图像特征和资源约束作为输入，并预测本地网络深度的地图。然后可以在有效稀疏卷积的支持下执行自适应推理，其中根据其预测深度在给定位置处仅执行骨干中的一小部分层。网络学习可以表述为重构和网络深度损失的联合优化。在推理阶段，可以灵活地调整平均深度以满足一系列效率约束。实验证明了我们的AdaDSR的有效性和适应性，与它的同行（例如，EDSR和RCAN）。
2020-04-08 cs.CV eess.IV
Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference
McMaster University（麦克马斯特大学）；University of Waterloo（滑铁卢大学）
据我们所知，现有的基于深度学习的视频超分辨率（VSR）方法仅使用摄像机系统的图像信号处理器（ISP）生成的视频作为输入。这样的方法是1）由于ISP中的不可逆操作引起的信息损失而固有地次优的，以及2）与真实成像流水线不一致，其中VSR实际上用作ISP的预处理单元。为了解决这个问题，我们提出了一种新的VSR方法，该方法可以直接利用摄像机传感器数据，并伴随着精心构建的原始视频数据集（RawVD）进行训练，验证和测试。该方法由连续深度推理（SDI）模块和重建模块等组成。SDI模块是根据隐马尔可夫模型（HMM）推理的典型分解结果所建议的架构原理设计的;它通过使用可变形卷积重复执行成对特征融合来估计目标高分辨率帧。重建模块由精心设计的基于注意力的残差密集块（ARDB）构建，其目的是1）细化融合特征，2）学习生成空间特定变换所需的颜色信息，以进行准确的颜色校正。大量的实验表明，由于相机原始数据的信息量，网络架构的有效性，以及超分辨率和颜色校正过程的分离，所提出的方法实现了优越的VSR结果相比，国家的最先进的，可以适应任何特定的相机ISP。代码和数据集可在https://github.com/proteus1991/RawVSR上获得。
2021-01-05 cs.CV eess.IV
Representation Uncertainty in Self-Supervised Learning as Variational Inference
Panasonic Holdings Corp.（松下控股公司）；Ritsumeikan University（立命馆大学）
本文提出一种基于变分推理的自监督学习方法VI-SimSiam，通过定义潜在空间分布来预测表示不确定性，并实验验证了其学习不确定性的能力及与分类准确率的关系。
2023-09-08 cs.CV
FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision
KTH Royal Institute of Technology（皇家理工学院）；Linköping University（林奈大学）
研究单目3D面部重建，提出FIELDS框架，通过直接监督学习在几何合理性约束下获取FLAME表情代码用于面部表情识别，采用混合2D/3D监督，提升情感预测且保持几何保真度。
2026-07-08 cs.CV
Self-supervised Learning of Depth Inference for Multi-view Stereo
Australian National University（澳大利亚国立大学）；NVIDIA（英伟达）
最近的监督多视图深度估计网络取得了可喜的成果。与所有监督方法类似，这些网络在训练期间需要地面实况数据。然而，收集大量的多视图深度数据是非常具有挑战性的。在这里，我们提出了一个自监督学习框架，利用伪标签从输入数据的多视图立体视觉。我们开始学习估计深度图作为初始伪标签下的无监督学习框架依赖于图像重建损失作为监督。然后，我们使用精心设计的流水线，利用从更高分辨率的图像和相邻视图推断的深度信息来细化初始伪标签。我们使用这些高质量的伪标签作为监督信号来训练网络，并通过自训练迭代地提高其性能。在DTU数据集上的大量实验表明，我们提出的自监督学习框架的性能大大优于现有的无监督多视图立体视觉网络，并且与有监督的框架相比，性能相当。代码可在https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet上获得。
2021-04-07 cs.CV
A Unified Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability
Peking University（北京大学）；Tsinghua University（清华大学）
本文针对黑盒视觉自监督模型提出统一成员推理方法PartCrop，利用模型的部分感知能力裁剪图像对象部分查询响应，验证了其有效性与泛化性，并评估了早停、差分隐私及缩小裁剪尺度范围等防御手段。
2024-08-26 cs.CV
daBNN: A Super Fast Inference Framework for Binary Neural Networks on ARM devices
人们一直认为，二进制神经网络（BNN）可以通过用逐位运算取代浮点值深度神经网络（DNN）中的算术运算来大大提高推理效率。尽管如此，在低端ARM设备上还没有支持这一想法的开源实现（例如，移动电话和嵌入式设备）。在这项工作中，我们提出了daBNN -一个超快速推理框架，实现ARM设备上的BNN。几个加速和内存优化策略位包装，二进制卷积，和内存布局的独特设计，以提高推理效率。与最近的开源BNN推理框架BMXNet相比，我们的daBNN在单个二进制卷积上快于$7\times$ $\sim$ $23\times$，在Bi-Real Net 18（ResNet-18的BNN变体）上快于$6\times$。daBNN是一个BSD许可的推理框架，其源代码，示例项目和预训练模型可以在线获得：https://github.com/JDAI-CV/dabnn。
2019-08-16 cs.CV cs.MM eess.IV
Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；ETH Zürich（苏黎世联邦理工学院）
基于深度学习的超分辨率（SR）由于其高的图像质量性能和广泛的应用场景，近年来获得了巨大的普及。然而，现有的方法通常遭受大量的计算和巨大的功耗，导致实时的【形】推理困难，特别是在诸如移动设备的资源有限的平台上。为了缓解这一问题，我们提出了一个编译器感知的SR神经架构搜索（NAS）框架，该框架使用自适应SR块进行深度搜索和每层宽度搜索。该方法直接将推理速度和SR损失考虑在内，在满足实时的【形】推理要求的同时，得到高图像质量的SR模型。代替在搜索过程期间的每次迭代测量移动设备上的速度，利用与编译器优化结合的速度模型来预测具有各种宽度配置的SR块的推理延迟，以实现更快的收敛。在此框架下，我们实现了实时的【形】SR推理，并在移动平台（Samsung Galaxy S21）的GPU/DSP上实现了720 p分辨率的SR推理，具有竞争力的SR性能（PSNR和SSIM）。
2022-07-25 cs.AR cs.CV cs.LG
Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision
Beijing Jiaotong University（北京交通大学）
全向多视图立体视觉（MVS）视觉因其超宽视场（FoV）而具有吸引力，使机器能够感知360° 3D环境。然而，现有的解决方案需要昂贵的密集深度标签进行监督，这使得它们在现实世界的应用中不切实际。在本文中，我们提出了第一个无监督的全向MVS框架的基础上，多个鱼眼图像。为此，我们将所有图像投影到一个虚拟的视图中心，并从两对背靠背的鱼眼图像合成两个具有球面几何形状的全景图像。两个360°图像形成具有特殊姿态的立体对，并且利用光度一致性来建立无监督约束，我们称之为“伪立体监督”。此外，我们还提出了一种高效的无监督全向MVS网络Un-OmniMVS，以提高两个有效组件的推理速度。首先，提出了一种新的特征提取器与频率的关注，同时捕获的非局部傅立叶特征和局部空间特征，明确地促进特征表示。然后，提出了一种基于方差的轻代价体积，以降低计算复杂性。实验表明，我们的无监督解决方案的性能是有竞争力的最先进的（SoTA）监督方法，在现实世界的数据具有更好的泛化。
2023-02-22 cs.CV
SGNet: A Super-class Guided Network for Image Classification and Object Detection
University of Kansas（堪萨斯大学）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
大多数分类模型并行地处理不同的对象类，并且平等地处理任何两个类之间的错误分类。相比之下，人类可以利用高级信息来预测未知物体。受此启发，本文提出了一种超类引导网络（SGNet），将高级语义信息集成到网络中，以提高其推理性能。SGNet采用包含超类和更精细类标签的两级类注释。超类是由一定数量的更细的类组成的更高级别的语义类别。引入了在超类标签上训练的超类分支（SCB）来指导更精细的类预测。在推理时，我们采用两种不同的策略：两步推理（TSI）和直接推理（DI）。TSI首先预测超类，然后预测相应的更精细的类。另一方面，DI直接从更精细的类分支（FCB）生成预测。在CIFAR-100和MS COCO数据集上进行了大量的实验。实验结果验证了该方法的有效性，并证明了其在图像分类和目标检测方面的优越性能。
2021-04-26 cs.CV
Weakly Supervised Change Detection via Knowledge Distillation and Multiscale Sigmoid Inference
University of Connecticut（康涅狄格大学）
针对全监督变化检测需像素级标签成本高的问题，提出结合知识蒸馏与多尺度Sigmoid推理的弱监督方法，利用图像级标签与CAM实现，在三个公开数据集上性能超越现有最优水平。
2024-03-09 cs.CV
EVIL: Evidential Inference Learning for Trustworthy Semi-supervised Medical Image Segmentation
Sichuan University（四川大学）
针对半监督医学图像分割中现有不确定性方法难平衡计算成本、精度与理论支撑的问题，提出基于DST证据理论的EVIL框架，单次前向传播即可量化不确定性并生成可信伪标签，结合一致性正则化训练，在公开数据集上取得了媲美SOTA的性能。
2023-07-18 cs.AI cs.CV
Arbitrary Bit-width Network: A Joint Layer-Wise Quantization and Adaptive Inference Approach
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
传统的模型量化方法对不同的数据样本采用固定的量化方案，忽略了不同样本之间固有的“识别难度”差异。我们建议饲料不同的数据样本与不同的量化方案，以实现数据相关的动态推理，在细粒度的层次。然而，利用可变的逐层量化方案实现这种自适应推理是具有挑战性的，因为位宽和层的组合呈指数增长，使得在如此广阔的搜索空间中训练单个模型并将其用于实践是极其困难的。为了解决这个问题，我们提出了任意位宽网络（ABN），其中单个深度网络的位宽可以在运行时针对不同的数据样本以逐层粒度改变。具体来说，首先我们建立一个权重共享的逐层量化的“超级网络”，其中每一层都可以分配多个位宽，从而根据需要进行不同的量化。超级网络提供了相当大数量的位宽和层的组合，每个组合都可以在推理过程中使用，而无需重新训练或存储无数的模型。其次，基于训练良好的超网络，每一层的运行时位宽选择决策建模为马尔可夫决策过程（MDP），并相应地解决了自适应推理策略。实验表明，该超网络可以在不降低精度的情况下构建，并且可以动态调整各层的位宽分配以处理各种输入。在ImageNet分类上，我们实现了1.1%的top1精度提升，同时节省了36.2%的BitOps。
2022-04-21 cs.CV
FickleNet: Weakly and Semi-supervised Semantic Image Segmentation using Stochastic Inference
Seoul National University（首尔国立大学）
弱监督语义图像分割的主要障碍是难以从粗糙的图像级注释中获得像素级信息。大多数基于图像级注释的方法使用从分类器获得的定位图，但这些方法仅关注对象的小的有区别的部分，并且不捕获精确的边界。FickleNet探索由通用深度神经网络创建的特征地图上的位置的不同组合。它随机选择隐藏单元，然后使用它们来获得激活分数用于图像分类。FickleNet隐式地学习特征图中每个位置的一致性，从而生成一个定位图，该图可以识别对象的区分部分和其他部分。通过选择随机隐藏单元对，从单个网络获得集成效果，这意味着从单个图像生成各种定位图。我们的方法不需要任何额外的训练步骤，只向标准卷积神经网络添加了一个简单的层;然而，它在弱监督和半监督设置下都优于Pascal VOC 2012基准测试中的最新可比技术。
2019-03-02 cs.CV
Weakly Supervised Patch Label Inference Networks for Efficient Pavement Distress Detection and Recognition in the Wild
Chongqing University（重庆大学）；San Diego State University（圣地亚哥州立大学）
针对路面图像高分辨率和低病害面积比导致现有深度学习方法非端到端且低效的问题，提出弱监督图块标签推断网络（WSPLIN），将图像分类转化为图块分类，利用PLIN和CDN网络结合稀疏约束进行弱监督训练，在多个数据集上实现了更优的性能与效率。
2023-04-03 cs.CV
Micro-CT Synthesis and Inner Ear Super Resolution via Generative Adversarial Networks and Bayesian Inference
University of Zurich（苏黎世大学）；Technical University of Munich（慕尼黑工业大学）；First Affiliated Hospital of Xi’an Jiaotong University（西安交通大学第一附属医院）
现有的医学图像超分辨率方法依赖于成对的低分辨率图像和高分辨率图像来以完全监督的方式学习映射。然而，这样的图像对在临床实践中通常不可用。在本文中，我们解决了超分辨率问题，在现实世界的情况下，使用不成对的数据和线性合成\textbf{eight times}更高分辨率的Micro-CT图像的颞骨结构，这是嵌入在内耳。我们探索了用于超分辨率任务的循环一致性生成对抗网络，并为翻译方法配备了贝叶斯推理。我们进一步引入\emph{Hu Moment distance}的评价指标来量化颞骨的形状。我们在一个公共的内耳CT数据集上评估了我们的方法，并且已经看到了比最先进的基于深度学习的方法在视觉和定量上的改进。此外，我们进行了多评价者视觉评价实验，发现训练有素的专家一致率所提出的方法在所有方法中的最高质量分数。此外，我们能够量化的不确定性，在不成对的翻译任务和不确定性地图可以提供颞骨的结构信息。
2021-02-04 cs.CV eess.IV
