Bayesian Neural Networks for Reversible Steganography
University of Warwick(华威大学)
深度学习的最新进展导致可逆隐写术领域的范式转变。可逆隐写术的一个基本支柱是预测建模,它可以通过深度神经网络实现。然而,非平凡的错误存在于一些分布和噪声数据的推断。鉴于这个问题,我们建议考虑基于贝叶斯深度学习理论框架的预测模型中的不确定性,从而创建自适应隐写系统。大多数现代深度学习模型被认为是确定性的,因为它们只提供预测,而不能提供不确定性测量。贝叶斯神经网络为深度学习带来了概率视角,可以被视为具有自我意识的智能机器;也就是说,一台知道自己局限性的机器。为了量化不确定性,我们应用贝叶斯统计对预测分布进行建模,并通过随机向前传递的蒙特卡罗抽样对其进行近似。我们进一步表明,预测的不确定性可以分解为任意和认知的不确定性,这些量可以在无监督的情况下学习。实验结果表明,贝叶斯不确定性分析对隐写率失真性能的改善。
2023-03-07 cs.CV cs.LG cs.MM
Large-capacity and Flexible Video Steganography via Invertible Neural Network
Peking University Shenzhen Graduate School(北京大学深圳研究生院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Peng Cheng Laboratory(鹏城实验室)
本文提出LF-VSN可逆神经网络框架,利用可逆流程、密钥可控与可扩展策略,实现单模型在1个封面视频中灵活隐藏并恢复最多7个秘密视频。
2023-04-24 cs.CR cs.CV
Cover-separable Fixed Neural Network Steganography via Deep Generative Models
Fudan University(复旦大学)
提出Cs-FNNS,利用深度生成模型和隐写扰动搜索算法,在固定神经网络隐写中实现低失真、高不可检测性的秘密图像隐藏,并支持多接收方。
2024-07-16 cs.CR cs.CV
Invisible Backdoor Attacks on Deep Neural Networks via Steganography and Regularization
Shanghai Jiao Tong University(上海交通大学);The University of Adelaide(阿德莱德大学);The University of New South Wales(新南威尔士大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Shanghai University(上海大学)
深度神经网络(DNN)已被证明容易受到后门攻击的攻击,其中隐藏的特征(模式)被训练成一个正常的模型,它只被一些特定的输入(称为触发器)激活,欺骗模型产生意想不到的行为。在本文中,我们为后门攻击创建了隐蔽和分散的触发器,这些触发器可以欺骗DNN模型和人类检查。我们通过两种最先进的嵌入触发器的方法来应用我们的隐形后门进行后门攻击。Badnets的第一种方法通过隐写术将触发器嵌入DNN。木马攻击的第二种方法使用两种类型的附加正则化项来生成具有不规则形状和大小的触发器。我们使用攻击成功率和功能来衡量我们的攻击性能。我们介绍了两个新的定义,人类感知的不可见性;一个是概念化的感知对抗相似性得分(PASS),另一个是学习感知图像补丁相似性(LPIPS)。我们表明,通过测量对手的攻击成功率,普通用户的功能和管理员的不可见性得分,我们提出的隐形后门在各种DNN模型以及四个数据集MNIST,CIFAR-10,CIFAR-100和GTSRB中可以相当有效。最后,我们认为,建议的无形后门攻击可以有效地挫败国家的最先进的木马后门检测方法,如神经清洗和TABOR。
2020-08-31 cs.CR cs.CV cs.LG
Defending against Stegomalware in Deep Neural Networks with Permutation Symmetry
UiT the Arctic University of Norway(北欧大学)
针对神经网络检查点中的隐写恶意软件威胁,提出通过打乱权重和偏置矩阵列顺序(即卷积层通道顺序)的首个有效防御方法,在不损失精度的前提下显著优于现有方法。
2025-10-15 cs.AI cs.CR
BASN -- Learning Steganography with Binary Attention Mechanism
近年来,随着图像在互联网和移动应用中的日益普及,以图像为载体的秘密信息共享成为研究热点。然而,随着卷积神经网络的蓬勃发展,图像隐写术正面临着来自神经网络自动化任务的更大挑战。为了提高图像隐写的安全性和最小化任务结果失真,模型必须保持由特定任务网络生成的特征图与嵌入在载体中的任何隐藏信息无关。本文将二值注意力机制引入图像隐写中,以缓解图像隐写的安全性问题,同时增加图像隐写的有效载荷容量。实验结果表明,我们的方法具有高的负载容量与小的特征图失真的优势,仍然抵抗检测的国家的最先进的图像隐写分析算法。
2019-07-09 cs.CV cs.MM
PRIS: Practical robust invertible network for image steganography
College of Science, China Agricultural University(中国农业大学理学院)
本文提出基于可逆神经网络的图像隐写方法PRIS,通过增强模块、三步训练策略及梯度近似函数处理舍入误差,在鲁棒性和实用性上优于现有方法。
2023-11-28 cs.AI cs.CR cs.CV
StegaINR4MIH: steganography by implicit neural representation for multi-image hiding
College of Cryptography Engineering, Engineering University of PAP(武警工程大学密码工程学院);Key Laboratory of Network and Information Security of PAP(武警网络与信息安全重点实验室)
针对多图像隐藏中的轮廓阴影和颜色失真问题,提出隐式神经表示隐写框架StegaINR4MIH,利用参数冗余和权重替换实现多图像隐藏与独立提取,在视觉质量和不可检测性上表现优越。
2024-10-14 cs.CR cs.CV
Image Steganography based on Style Transfer
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
图像隐写术是利用图像作为隐蔽通信的掩护的艺术和科学。随着神经网络的发展,传统的图像隐写术更容易被基于深度学习的隐写分析检测到。为了改善这一点,我们提出了基于风格转移的图像隐写网络,秘密信息的嵌入可以伪装成图像风格化。我们嵌入秘密信息,同时转换的内容图像的风格。在潜空间中,秘密信息被整合到隐藏图像的潜表示中,从而生成与正常风格化图像不可区分的隐写图像。它是一个端到端的无监督模型,无需预先训练。在基准数据集上的大量实验表明,我们的隐写网络生成的隐写图像的可靠性,质量和安全性。
2022-03-09 cs.CR cs.CV
CLPSTNet: A Progressive Multi-Scale Convolutional Steganography Model Integrating Curriculum Learning
Qianan College, North China University of Science and Technology(华北科技大学千安学院);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络安全学院);College of Science, North China University of Science and Technology(华北科技大学理学院)
针对CNN隐写中不可见性与安全性不足的问题,提出融合课程学习的渐进式多尺度卷积网络CLPSTNet,在三个大型数据集上实现高PSNR、SSIM和解码精度,并降低隐写分析得分。
2025-04-23 cs.AI cs.CR cs.CV
Deep Learning for Predictive Analytics in Reversible Steganography
National Institute of Informatics(国立信息学研究所);Feng Chia University(逢甲大学);University of Jinan(济南大学);Fujian Polytechnic Normal University(福建技术师范学院);University of Warwick(华威大学);Deakin University(迪肯大学)
深度学习被认为是可逆隐写术的一种有前途的解决方案。用单片神经网络来表示可逆隐写系统的趋势正在加速,这种网络绕过了传统可逆隐写流水线中的中间操作。然而,这种端到端的范例具有不完美的可逆性。相比之下,将神经网络合并到传统管道模块中的模块化范例可以稳定地保证具有数学可解释性的可逆性。预测误差调制是一种成熟的数字图像可逆隐写流水线。它由预测分析模块和可逆编码模块组成。考虑到可逆性是由编码模块独立管理的,我们将重点缩小到将神经网络纳入分析模块,这有助于预测像素强度,并在确定容量和不可感知性方面发挥关键作用。本研究的目的是评估不同的训练配置对神经网络预测精度的影响,并提供实用的见解。特别是,我们研究了输入图像的不同初始化策略如何影响学习过程,以及双层预测的不同训练策略如何应对分布偏移问题。此外,我们比较了不同的模型架构与不同的损失函数的隐写性能。
2023-03-07 cs.CV cs.MM eess.IV
StegGNN: Learning Graphical Representation for Image Steganography
本研究提出StegGNN,一种基于图神经网络的自编码器图像隐写框架,通过将图像建模为图结构,在标准基准上达到与CNN方法相当的视觉质量和不可感知性,展示了GNN作为隐写嵌入表示的潜力。
2026-09-29 cs.CV
High-Capacity Robust Medical Image Exfiltration via Neural Network Weight Replacement
Université Côte d'Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
本文提出一种高容量神经隐写攻击,通过将医学图像编码为连续潜在表示嵌入模型权重,实现鲁棒且可扩展的数据窃取,并揭示现有参数级防御的不足。
2026-09-29 cs.AI cs.CR cs.CV
End-to-end Trained CNN Encode-Decoder Networks for Image Steganography
Reveal.ai (Recognition, Vision \& Learning) Lab\ University of Computer \& Emerging Sciences (NUCES-FAST), Islamabad, Pakistan.
所有现有的图像隐写方法都使用手工制作的特征将二进制有效载荷隐藏到封面图像中。这导致小的有效载荷容量和图像失真。在这里,我们提出了一个基于卷积神经网络的编码器-解码器架构,用于嵌入图像作为有效载荷。为此,我们做出了以下三个主要贡献:(i)我们提出了一种基于深度学习的通用图像隐写编解码器架构;(ii)我们引入了一种新的损失函数,以确保编码器-解码器网络的联合端到端训练;(iii)我们在一系列具有挑战性的公开数据集上对拟议架构进行了广泛的实证评估(MNIST,CIFAR 10,PASCAL-VOC 12,ImageNet,LFW),并在高PSNR和SSIM值下报告最先进的有效载荷容量。
2017-11-20 cs.CV cs.MM
Forensic Video Steganalysis in Spatial Domain by Noise Residual Convolutional Neural Network
Netherlands Forensic Institute(荷兰法医研究所);Eindhoven University of Technology(埃因霍温理工大学);University of Amsterdam(阿姆斯特丹大学)
本文提出使用噪声残差卷积神经网络在空间域进行取证视频隐写分析,通过构建视频隐写数据集训练模型,实验检测率达99.96%,验证了CNN方法在视频隐写取证中的有效性。
2023-05-29 cs.CR cs.CV
On the predictability in reversible steganography
National Institute of Informatics(国立信息学研究所);Feng Chia University(逢甲大学);Fujian Polytechnic Normal University(福建技术师范学院);Tokyo Metropolitan University(东京都立大学)
人工神经网络推进了可逆隐写术的前沿。神经网络的核心优势是能够对令人眼花缭乱的各种数据进行准确预测。残差调制是目前公认的最先进的数字图像可逆隐写算法。该算法的核心是预测分析,其中给定一些像素上下文信息来预测像素强度。这个任务可以被看作是一个低层次的视觉问题,因此神经网络解决类似的一类问题可以部署。在现有技术之上,本文研究了基于监督和无监督学习框架的像素强度的可预测性。可预测性分析使自适应数据嵌入成为可能,这反过来又会在容量和不可感知性之间实现更好的权衡。虽然传统方法通过局部图像模式的统计来估计可预测性,但基于学习的框架进一步考虑指定预测器可以做出正确预测的程度。不仅要考虑图像模式,而且要考虑使用中的预测器。实验结果表明,将基于学习的可预测性分析器纳入可逆隐写系统可以显着提高隐写性能。
2023-03-07 cs.CV cs.MM eess.IV
Low-frequency Image Deep Steganography: Manipulate the Frequency Distribution to Hide Secrets with Tenacious Robustness
University of Technology Sydney(悉尼科技大学);University of Queensland(昆士兰大学);City University of Macau(澳门城市大学)
图像深度隐写(IDS)是利用深度学习将秘密图像不可见地嵌入到封面图像中以生成容器图像的技术。然而,由卷积神经网络(CNN)生成的容器图像容易受到扭曲其高频分量的攻击。为了解决这个问题,我们提出了一种称为低频图像深度隐写(LIDS)的新方法,该方法允许在嵌入过程中进行频率分布操作。LIDS从秘密图像中提取特征图,并将其添加到封面图像中以产生容器图像。容器图像不是由CNN直接输出的,因此它不包含高频伪影。提取的特征图通过频率损失进行调节,以确保其频率分布主要集中在低频域。为了进一步增强鲁棒性,插入攻击层以破坏容器映像。然后,检索网络从损坏的容器图像中检索恢复的秘密图像。我们的实验表明,LIDS在鲁棒性方面优于最先进的方法,同时保持高保真度和特异性。通过避免高频伪影和操纵嵌入式特征图的频率分布,LIDS实现了对扭曲容器图像的高频分量的攻击的改进的鲁棒性。
2023-03-23 cs.CR cs.CV
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
人们对对抗攻击的兴趣日益高涨,这源于人类视觉与深度神经网络(DNN)之间的不一致,即人类难以察觉的扰动欺骗了DNN。此外,可以生成通常称为通用对抗扰动(UAP)的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象,其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析,并揭示了(a)频率是影响其性能的关键因素,基于所提出的用于量化频率分布的熵度量;(b)他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析,以深入了解模型的泛化和鲁棒性。此外,我们还提出了两种新的通用扰动变体:(1)通用秘密对抗扰动(USAP),同时实现攻击和隐藏;(2)高通UAP(HP-UAP),人眼不太可见。
2021-02-12 cs.CV cs.LG
Protecting the Intellectual Properties of Deep Neural Networks with an Additional Class and Steganographic Images
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
近年来,深度神经网络(DNN)知识产权保护的研究引起了广泛关注。DNN的版权保护方法有很多种。然而,现有的数字水印方法大多侧重于模型的版权验证,不支持用户指纹的认证和管理,不能满足商业版权保护的要求。此外,最近提出的查询修改攻击可以使大多数现有的基于后门的水印方法失效。为了应对这些挑战,在本文中,我们提出了一种通过使用额外的类和隐写图像来保护DNN模型的知识产权的方法。具体来说,我们使用一组水印密钥样本将附加类嵌入到DNN中,以便带水印的DNN在版权验证阶段将水印密钥样本分类为预定义的附加类。我们采用最低有效位(LSB)图像隐写术将用户指纹嵌入到水印密钥图像中。每个用户都将被分配一个独特的指纹图像,以便稍后可以验证用户的身份。实验结果表明,该方法能有效地保护DNN模型的版权。在Fashion-MNIST和CIFAR-10数据集上,该方法可以获得100%的水印准确率和100%的指纹认证成功率。此外,该方法被证明是鲁棒的模型微调攻击,模型修剪攻击,和查询修改攻击。与现有的三种水印方法(基于标识、基于噪声和对抗性前沿拼接水印方法)相比,该方法在水印准确性和对查询修改攻击的鲁棒性方面具有更好的性能。
2021-04-19 cs.AI
PixelSteganalysis: Pixel-wise Hidden Information Removal with Low Visual Degradation
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学);Kangwon National University(江原大学);Ziovision
近年来,基于深度学习(DL)的隐写术得到了快速发展。基于DL的隐写术将秘密信息分布在覆盖图像的所有可用比特上,从而在使用传统的隐写分析方法来检测、提取或移除隐藏的秘密图像时造成困难。然而,我们提出的框架是第一个有效地禁用隐蔽通信和交易,使用DL基于隐写术。我们提出了一种基于DL的隐写分析技术,通过恢复原始图像的分布来有效地去除秘密图像。我们制定了一个问题,并通过利用复杂的像素分布和图像的边缘分布,通过使用深度神经网络来解决它。基于给定的信息,我们在像素级删除隐藏的秘密信息。我们评估我们的技术,通过比较它与传统的隐写分析方法,使用三个公共基准。由于基于DL的隐写术的解码方法是近似的(有损的),不同于传统的隐写术的解码方法,我们还引入了一个新的定量度量称为破坏率(DT)。实验结果表明,在解码速率和DT的性能提高了10-20%。
2021-12-09 cs.CR cs.CV cs.MM
Invisible Steganography via Generative Adversarial Networks
Beijing University of Posts and Telecommunications(北京邮电大学)
目前,已有大量的工作将卷积神经网络引入到隐写分析中,并超越了传统的隐写分析算法。这些工作显示了深度学习在信息隐藏领域的改进潜力。也有几个基于深度学习做图像隐写的作品,但这些作品在容量、不可见性和安全性上还存在问题。在本文中,我们提出了一种新的CNN架构命名为\isgan隐藏秘密灰度图像到彩色封面图像的发送端和准确地提取秘密图像的接收端。我们的工作有三个贡献:(i)我们通过将秘密图像仅隐藏在覆盖图像的Y通道中来提高不可见性;(ii)我们引入生成对抗网络,通过最小化隐藏图像和自然图像的经验概率分布之间的差异来加强安全性。(iii)为了更好地与人类视觉系统相关联,我们构造了一个更适合隐写的混合损失函数,以生成更真实的隐写图像,并揭示出更多更好的秘密图像。实验结果表明,ISGAN在LFW、Pascal VOC 2012和ImageNet数据集上均能达到最佳性能。
2018-10-10 cs.CV cs.MM
NeuraLSP: A Neural Spectral Preconditioner for Accelerating PDE Solvers
Department of Applied Mathematics and Statistics, Stony Brook University(应用数学与统计学系,史泰尼斯布鲁克大学);Department of Computer Science, Stony Brook University(计算机科学系,史泰尼斯布鲁克大学)
NeuraLSP通过结合新的损失度量标准和左奇异子空间,提供了一种高效的神经预置器,显著提升了共轭梯度方法的收敛速度和鲁棒性。
2026-07-24 cs.AI cs.LG
StyleStegan: Leak-free Style Transfer Based on Feature Steganography
Fudan University(复旦大学)
针对风格迁移中的内容泄漏问题,提出基于特征隐写的无泄漏方法StyleStegan,结合神经流模型与隐写术实现无损无偏风格化及内容特征隐藏,有效缓解串行与可逆任务中的泄漏问题,SSIM指标显著提升。
2023-07-01 cs.CV cs.MM
Image Steganography based on Iteratively Adversarial Samples of A Synchronized-directions Sub-image
Shenzhen University(深圳大学);Guangzhou University(广州大学);Peng Cheng Laboratory(鹏城实验室)
目前,隐写术面临着基于特征的隐写分析和基于卷积神经网络(CNN)的隐写分析的双重挑战。在本文中,我们提出了一种新的隐写方案表示为ITE-SYN(基于ITEadherably对抗扰动到同步方向的子图像),通过该方案,安全数据嵌入同步修改方向以增强安全性,然后迭代增加扰动添加到子图像上以减少目标CNN分类器的覆盖类标签的损失。首先利用已有的隐写函数计算初始代价。然后将覆盖图像分解为互不重叠的子图像。在每个子图像被嵌入后,成本将根据聚类修改方向配置文件进行调整。然后,下一个子图像将被嵌入调整成本,直到所有的秘密数据已被嵌入。如果目标CNN分类器没有将隐写图像区分为覆盖图像,则基于调整后的成本,根据从CNN分类器反向传播的梯度的符号以对抗方式改变成本。然后选择一个子图像重新嵌入改变成本。对抗强度将迭代地增加,直到对抗隐写图像可以欺骗目标CNN分类器。实验结果表明,该方法有效地提高了安全性,可以对抗传统的基于特征的分类器和CNN分类器,甚至其他非目标CNN分类器。
2021-01-13 cs.CV
A Nonlinear Singular Value Theory for Neural Networks
Department of Computer Science(计算机科学系);Brigham Young University;AI Sweden
本文基于Brown等人提出的广义奇异值分解理论,证明现代神经网络架构可通过广义SVD表示实现左可逆性,并提出数据驱动算法用于估计该表示。
2026-08-03 cs.AI cs.LG
Focus on Content not Noise: Improving Image Generation for Nuclei Segmentation by Suppressing Steganography in CycleGAN
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡FAU大学)
本文提出基于DCT的低通滤波方法去除CycleGAN生成图像中的隐写术(隐藏捷径信息),提高掩码与生成图像的连贯性,在下游细胞核分割任务中F1分数较普通CycleGAN提升5.4个百分点。
2023-08-03 cs.CV eess.IV
On the Limits of Hierarchically Embedded Logic in Classical Neural Networks
Bill Cochran
本文将神经网络建模为逻辑谓词空间上的线性算子,证明网络深度严格限制其可表示的逻辑阶数,并解释幻觉、重复和规划受限等现象。
2025-07-28 cs.AI
Style as Cover: Deep Image Steganography via Stylized Transmission
Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Shandong Computer Science Center(山东省计算中心);Shandong Fundamental Research Center for Computer Science(山东省计算机科学基础研究中心)
本文提出StyleStegaNet,通过风格化传输替代封面匹配,实现行为级伪装的图像隐写,并采用四阶段解耦与渐进训练,在DIV2K和MS-COCO上验证有效性,检测准确率仅约51%。
2026-09-22 cs.CR cs.CV cs.MM
Image quality enhancement of embedded holograms in holographic information hiding using deep neural networks
Chiba University(千叶大学)
全息信息隐藏是将全息图或图像嵌入到另一幅全息图中的技术,用于全息图的版权保护和信息隐藏。使用深度神经网络,我们提供了一种提高嵌入式全息图视觉质量的方法。嵌入全息图的亮度被设置为宿主全息图的亮度的一小部分,从而导致宿主全息图的几乎没有损坏的重建图像。然而,由于嵌入全息图的重构图像比重构的主图像暗,因此难以感知。在这项研究中,我们使用深度神经网络来恢复变暗的图像。
2021-12-20 cs.CV cs.GR
Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space
Iran University of Science and Technology(伊朗科技大学);Okinawa Institute of Science and Technology(冲绳科学技术研究所);Institute For Research In Fundamental Sciences(基础科学研究所)
本文提出通过分析神经网络最后一层零空间来量化过拟合,无需访问训练数据或了解训练精度,并在多种架构和数据集上验证了零空间角度模式与泛化能力的关系。
2023-05-30 cs.CR cs.CV cs.LG
Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations
Vanderbilt University(范德堡大学);University of California, Davis(加州大学戴维斯分校);Johns Hopkins University(约翰斯·霍普金斯大学)
从非平稳输入数据流中持续/终身学习是智能的基石。尽管深度神经网络在各种各样的应用中表现出色,但在学习新信息时,它很容易忘记以前学习过的信息。这种现象被称为"灾难性遗忘",深深植根于稳定性-可塑性困境。克服深度神经网络中的灾难性遗忘已成为近年来活跃的研究领域。特别地,基于梯度投影的方法最近在克服灾难性遗忘方面显示出优异的性能。本文提出了两种基于稀疏性和异质性辍学的生物启发机制,显着提高了连续学习者在长序列任务中的表现。我们提出的方法建立在梯度投影记忆(GPM)框架。我们在神经网络的每一层中利用k-winner激活来为每个任务执行逐层稀疏激活,以及任务间的异构dropout,鼓励网络在不同任务之间使用非重叠的激活模式。此外,我们还介绍了两个新的分布式转移下的持续学习基准,即Continual Swiss Roll和ImageNet SuperDog-40。最后,我们提供了一个深入的分析,我们提出的方法,并证明了各种基准持续学习问题的显着性能提升。
2022-07-08 cs.AI cs.CV cs.LG
Utilizing a null class to restrict decision spaces and defend against neural network adversarial attacks
Binary Cognition, LLC(二进制认知有限责任公司)
尽管最近取得了进展,但深度神经网络通常仍然容易受到所谓的对抗性示例的影响-输入图像具有小的扰动,可能导致输出分类的变化,尽管对人类观众的语义含义没有这种变化。即使对于像MNIST数字分类任务这样看似简单的挑战也是如此。在某种程度上,这表明这些网络并不依赖于人类用来进行这些分类的同一组对象特征。在本文中,我们研究了一个额外的,而且在很大程度上未被探索的,这种现象背后的原因-即,使用传统的训练范式,其中整个输入空间被包裹在训练类。由于这种范式,学习的决策空间的个别类跨越输入空间的过大的区域,并包括图像,没有语义相似性的图像在训练集中。在这项研究中,我们训练模型,包括一个空类。也就是说,模型可以“选择退出”将输入图像分类为数字类别之一。在训练过程中,通过各种方法创建空图像,试图为数字类创建更紧密和更有语义意义的决策空间。表现最好的模型将几乎所有对抗性样本分类为null,而不是将它们误认为是不正确的数字类的成员,同时在未扰动的测试集上保持高准确性。空类的使用和本文提出的训练范例可以为某些应用提供针对对抗攻击的有效防御。复制本研究的代码将在https://github.com/mattroos/null_class_adversarial_defense上提供。
2020-02-24 cs.CV cs.LG
Imperceptible and Multi-channel Backdoor Attack against Deep Neural Networks
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学电子信息工程学院)
本文利用DCT隐写术提出一种不可感知且多通道的后门攻击方法,实现了N-to-N和N-to-One两种变体,在保持模型准确率的同时具有高攻击成功率且对Neural Cleanse防御具有鲁棒性。
2022-01-31 cs.CV
SONAR: A Structure-Consistent Neural Operator for Null-Space-Aware Sparse View CT Reconstruction
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Peking University Health Science Center(北京大学医学部)
SONAR提出一种结构一致神经算子,通过预测低维零空间感知表示并分离测量与伪测量残差,实现稀疏视图CT的准确、稳健且跨离散化重建。
2026-09-15 cs.CV eess.IV
NullHop: A Flexible Convolutional Neural Network Accelerator Based on Sparse Representations of Feature Maps
Institute of Neuroinformatics, University of Zurich and ETH Zurich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所);Robotic and Tech. of Computers Lab. University of Seville(塞维利亚大学机器人与计算机技术实验室);iniLabs GmbH(ini实验室有限公司)
卷积神经网络(CNN)已经成为解决许多最先进(SOA)视觉处理任务的主要神经网络架构。尽管图形处理单元(GPU)最常用于训练和部署CNN,但对于单帧运行时推理,其功率效率低于10 GOp/s/W。我们提出了一种灵活高效的CNN加速器架构,称为NullHop,实现了SOA CNN,适用于低功耗和低延迟的应用场景。NullHop利用CNN中神经元激活的稀疏性来加速计算并减少内存需求。灵活的体系结构允许在1x 1到7 x7的内核大小范围内高度利用可用的计算资源。NullHop可以在一次传递中处理每层多达128个输入和128个输出特征映射。我们在Xilinx Zynq FPGA平台上实现了所提出的架构,并展示了我们的实现如何在五种不同的CNN中减少外部存储器传输和计算时间,从小型CNN到众所周知的大型VGG 16和VGG 19 CNN。使用Mentor Modelsim在28 nm工艺中进行的合成后仿真显示,VGG 19网络的时钟频率为500 MHz,达到了450 GOp/s以上。通过利用稀疏性,NullHop实现了368%的效率,保持了超过98%的MAC单元利用率,并在6.3mm $^2$的核心区域内实现了超过3 TOp/s/W的功率效率。为了进一步证明NullHop的可用性,我们将其FPGA实现与神经形态事件摄像机连接,以进行实时的交互式演示。
2018-03-06 cs.CV cs.NE
Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions
BITS Pilani, India(印度比特学院)
针对神经网络多义神经元导致机制可解释性复杂的问题,提出零校准多义性指数(PSI)量化神经元激活的语义簇分解,通过三个校准组件计算,经ResNet-50实验验证有效,为多义单元研究提供实用工具。
2025-08-23 cs.CV cs.LG
Deep Decomposition Learning for Inverse Imaging Problems
University of Edinburgh(爱丁堡大学)
深度学习正在成为解决逆成像问题的新范式。然而,由于在神经网络的训练和部署中缺乏对物理信息的考虑,深度学习方法往往缺乏传统基于物理的方法的保证。适当的监督和明确的校准的信息,可提高神经网络的学习和它的实际性能。在本文中,受几何学的启发,即数据可以由来自前向算子的零空间和其伪逆的范围空间的两个分量分解,我们训练神经网络来学习这两个分量,从而学习分解,即我们显式地将神经网络层重新表示为参考层输入的学习范围零空间分解函数,而不是学习未引用的函数。我们的经验表明,所提出的框架表现出优越的性能,最近的深度残差学习,展开学习和零空间学习的任务,包括压缩感知医学成像和自然图像超分辨率。我们的代码可在https://github.com/edongdongchen/DDN上获得。
2020-07-16 cs.CV eess.IV
FaceSigns: Semi-Fragile Neural Watermarks for Media Authentication and Countering Deepfakes
San Diego State University(圣地亚哥州立大学);University of California San Diego(加州大学圣地亚哥分校)
由于逼真图像和视频合成技术的最新进展,Deepfakes和操纵媒体正在成为一个突出的威胁。已经有几次尝试使用机器学习分类器来对抗Deepfakes。然而,这样的分类器不能很好地推广到黑盒图像合成技术,并且已经被证明容易受到对抗性示例的影响。为了解决这些挑战,我们引入了一种基于深度学习的半脆弱水印技术,该技术通过验证嵌入在图像像素中的不可见秘密消息来进行媒体认证。我们建议主动将半脆弱水印嵌入到真实图像中,以便在需要时证明其真实性,而不是使用视觉伪影来识别和检测假媒体。我们的水印框架被设计为对面部操作或篡改很脆弱,同时对图像压缩,缩放,饱和度,对比度调整等良性图像处理操作具有鲁棒性。这允许通过互联网共享的图像保留可验证的水印,只要不应用面部交换或任何其他Deepfake修改技术。我们证明了FaceSigns可以嵌入128位秘密作为不可感知的图像水印,可以在几个压缩级别上以高比特恢复精度恢复,而当应用看不见的Deepfake操作时则不可恢复。对于我们工作中研究的一组看不见的良性和Deepfake操作,FaceSigns可以可靠地检测操作内容,AUC得分为0.996,显著高于之前的图像水印和隐写技术。
2022-04-05 cs.AI cs.CV stat.ML
Pseudo-Invertible Neural Networks
Ben-Gurion University(本·古里安大学)
本文提出伪可逆神经网络,用于解决非线性逆问题,通过非线性反向投影实现零样本逆向生成。
2026-09-28 cs.CV cs.LG
IWN: Image Watermarking Based on Idempotency
本文受幂等生成网络启发,提出幂等水印网络IWN,利用幂等性提升彩色图像水印恢复质量,并在嵌入容量与鲁棒性之间取得平衡。
2024-09-29 cs.CV cs.MM
Hiding Images in Diffusion Models by Editing Learned Score Functions
City University of Hong Kong(香港城市大学)
针对现有扩散模型数据隐藏方法精度、保真度与效率不足的问题,提出通过编辑得分函数在特定时间步嵌入图像,并结合梯度参数选择与LoRA的参数高效微调法,实现了高提取质量、模型行为复现与更快嵌入,还支持多接收方场景。
2025-03-24 cs.CV
Inter-Scanner Harmonization of High Angular Resolution DW-MRI using Null Space Deep Learning
Vanderbilt University(范德堡大学);Middle Tennessee State University(中田纳西州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
弥散加权磁共振成像(DW-MRI)允许在毫米尺度上对人脑的局部纤维结构进行非侵入性成像。已经提出了多种经典方法来检测单个(例如,张量)和多个(例如,约束球面解卷积,CSD)每体素的纤维群体取向。然而,现有技术通常在MRI扫描仪上表现出低再现性。在这里,我们提出了一个数据驱动的技术,使用神经网络设计,利用两类数据。首先,使用离体DW-MRI和脑组织学在三只松鼠猴脑上获得训练数据。其次,在两个不同的扫描仪上获得人类受试者的重复扫描,以增强所提出的网络的学习。为了使用这些数据,我们提出了一种新的网络架构,零空间深度网络(NSDN),以同时学习传统的观察/真值对(例如,MRI-组织学体素)以及没有已知事实的重复观察(例如,扫描-再扫描MRI)。NSDN在20%的组织学体素上进行了测试,这些体素对网络保持完全盲态。相对于组织学,NSDN显著提高了3.87%,比CSD提高了1.42%,比最近提出的深度神经网络方法提高了1.42%。此外,它在配对数据上的可重复性比CSD提高了21.19%,比最近提出的深度方法提高了10.09%。最后,NSDN将模型的通用性提高到第三个体内人体扫描仪(未用于训练),比CSD提高了16.08%,比最近提出的深度学习方法提高了10.41%。这项工作表明,用于局部纤维重建的数据驱动方法更具可重复性,信息量更大,更精确,并为确定这些模型提供了一种新颖,实用的方法。
2018-10-09 cs.CV
NPN: Non-Linear Projections of the Null-Space for Imaging Inverse Problems
Department of Electrical, Electronics, and Telecommunications Engineering(电气电子与电信工程系);Department of Systems Engineering and Informatics(系统工程与信息学系);Universidad Industrial de Santander(圣安德烈大学)
本文提出NPN,一种新的正则化方法,通过神经网络在传感矩阵的空域低维投影中促进解,提升成像反问题的重建精度。
2025-10-23 cs.CV eess.SP math.OC
FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);XXII Group(XXII集团)
深度神经网络(DNN)最近在计算机视觉和几个相关领域取得了巨大成功。尽管取得了这样的进展,但当前的神经架构仍然遭受灾难性干扰(a.k.a.遗忘),这阻碍了DNN不断学习。虽然已经提出了几种最先进的方法来减轻遗忘,但这些现有的解决方案要么是高度刚性的(如规则化),要么是对时间/记忆要求很高的(如重播)。在文献中已经提出了基于动态网络的中间类方法,并且在任务记忆和计算足迹之间提供了合理的平衡。在本文中,我们设计了一个动态的网络结构的持续学习的基础上,一种新的遗忘自由神经块(FFNB)。训练FFNB功能的新任务是使用一种新的程序,约束的基本参数在零空间的先前的任务,而训练分类器参数相当于Fisher判别分析。后者提供了一个有效的增量过程,从贝叶斯的角度来看也是最佳的。使用增量的“端到端”微调进一步增强训练的特征和分类器。对不同的具有挑战性的分类问题进行了大量的实验,结果表明该方法具有很高的有效性。
2021-11-22 cs.CV