首页/论文/2202.07712

arXiv 2202.077122022-02-15cs.CV

隐私保护可视化问答

Privacy Preserving Visual Question Answering

Amazon（亚马逊）

Cristian-Paul Bara, Qing Ping, Abhinav Mathur, Govind Thattai, Rohith MV, Gaurav S. Sukhatme

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们引入了一种新的隐私保护方法，用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景，使用低复杂度的计算机视觉模型，共同预测类，属性和谓词。这种符号表示是不可微的，这意味着它不能用于恢复原始图像，从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的（SOTA）视觉模型小25倍以上，比端到端SOTA VQA模型小100倍。我们报告详细的错误分析，并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。

英文摘要：

We introduce a novel privacy-preserving methodology for performing Visual Question Answering on the edge. Our method constructs a symbolic representation of the visual scene, using a low-complexity computer vision model that jointly predicts classes, attributes and predicates. This symbolic representation is non-differentiable, which means it cannot be used to recover the original image, thereby keeping the original image private. Our proposed hybrid solution uses a vision model which is more than 25 times smaller than the current state-of-the-art (SOTA) vision models, and 100 times smaller than end-to-end SOTA VQA models. We report detailed error analysis and discuss the trade-offs of using a distilled vision model and a symbolic representation of the visual scene.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

医学图像分析中的隐私保护算法

Towards Privacy-preserving Explanations in Medical Image Analysis

University of Porto（波尔图大学）；INESC TEC（葡萄牙系统与计算机工程研究所）

深度学习在医学领域的应用受到缺乏可解释性的阻碍。基于案例的可解释性策略可以为深度学习模型的决策提供直观的解释，从而增强信任。然而，由此产生的解释威胁到病人的隐私，激励隐私保护方法的发展与医疗数据的具体情况兼容。在这项工作中，我们分析了现有的隐私保护方法及其各自的能力，匿名医疗数据，同时保留疾病相关的语义特征。我们发现，PPRL-VGAN深度学习方法在保留疾病相关语义特征方面做得最好，同时在比较的最先进方法中保证了高水平的隐私。尽管如此，我们强调需要改进医学成像的隐私保护方法，因为我们发现了所有现有隐私保护方法中的相关缺点。

2021-07-20cs.CV

基于身份转移的隐私保护个人身份再识别

Towards Privacy-Preserving Person Re-identification via Person Identify Shift

近年来，行人身份识别（ReID）中的隐私问题越来越受到人们的关注，如何保护ReID中行人图像的隐私变得至关重要。去身份化（DeID）方法通过去除ReID数据的身份相关来减轻隐私问题。然而，大多数现有的DeID方法往往会删除所有与个人身份相关的信息，并损害ReID任务中去识别数据的可用性。在本文中，我们的目标是开发一种技术，可以实现一个很好的折衷之间的隐私保护和数据的可用性的人ReID。为了实现这一点，我们提出了一种新的去识别方法，明确设计的人ReID，命名为人识别转移（PIS）。PIS在保持图像对之间身份关系的同时，去除了行人图像中的绝对身份。通过利用变分自动编码器的插值特性，PIS将每个行人图像从当前身份转移到另一个具有新身份的身份，从而使图像仍然保持相对身份。实验结果表明，与现有的去身份方法相比，该方法在隐私保护和模型性能之间具有更好的权衡，能够抵御人类和模型对数据隐私的攻击。

2022-07-15cs.CV

使用受限随机置换矩阵加密图像的隐私保护视觉Transformer

Privacy-Preserving Vision Transformer Using Images Encrypted with Restricted Random Permutation Matrices

Tokyo Metropolitan University（东京都立大学）

针对传统加密图像微调视觉Transformer会降低模型性能的问题，提出基于受限随机置换矩阵加密的隐私保护微调方法，可实现更优的模型性能。

2024-08-16cs.CV

基于视觉Transformer的隐私保护图像分类

Privacy-Preserving Image Classification Using Vision Transformer

Tokyo Metropolitan University（东京都立大学）

在本文中，我们提出了一个隐私保护的图像分类方法，是基于加密图像和视觉Transformer（ViT）的组合使用。该方法不仅允许我们将没有视觉信息的图像应用于ViT模型进行训练和测试，而且还可以保持较高的分类精度。ViT利用补丁嵌入和位置嵌入图像补丁，所以这种架构被证明可以减少逐块图像变换的影响。在实验中，所提出的隐私保护图像分类的方法被证明优于国家的最先进的方法在分类精度和鲁棒性方面对各种攻击。

2022-05-24cs.CV

隐私保护的目标检测

Privacy-preserving Object Detection

Oxford Artificial Intelligence Society（牛津人工智能学会）；University of Oxford（牛津大学）

数据集中的隐私考虑和偏见正在迅速成为计算机视觉社区需要面对的高优先级问题。到目前为止，很少有人注意到不涉及收集新数据集的实际解决方案。在这项工作中，我们表明，对于COCO上的目标检测，通过模糊面部来匿名化数据集，以及沿着性别和肤色维度以平衡的方式交换面部，可以保留目标检测性能，同时保护隐私和部分平衡偏见。

2021-03-11cs.CV

基于随机正交矩阵的ConvMixer模型隐私保护方法

A Privacy Preserving Method with a Random Orthogonal Matrix for ConvMixer Models

Tokyo Metropolitan University（东京都立大学）

提出了一种基于ConvMixer模型的隐私保护图像分类方法。为了保护测试图像的视觉信息，对测试图像进行分块，然后利用随机正交矩阵对每个分块进行加密。此外，在ConvMixer的嵌入结构的基础上，用用于加密测试图像的随机正交矩阵对用普通图像训练的ConvMixer模型进行变换。所提出的方法使我们不仅可以使用相同的分类精度的ConvMixer模型，而不考虑隐私保护，但也提高了对各种攻击的鲁棒性相比，传统的隐私保护学习。

2023-01-17cs.CV

更多相关论文收起更多论文

用于身份解耦的隐私保护视频情感识别先验知识

Knowledge Priors for Identity-Disentangled Open-Set Privacy-Preserving Video FER

School of CSE, UNSW Sydney（UNSW悉尼大学计算机科学与工程学院）；CSIRO’s Data61（澳大利亚CSIRO数据61实验室）

本文提出一种两阶段框架，在无需身份标签的情况下，通过身份抑制网络和去噪模块实现隐私保护的视频情感识别，同时引入验证方法评估隐私鲁棒性。

2026-03-25cs.CV

Color-NeuraCrypt：基于扩展随机神经网络的隐私保护彩色图像分类

Color-NeuraCrypt: Privacy-Preserving Color-Image Classification Using Extended Random Neural Networks

Tokyo Metropolitan University（东京都立大学）

近年来，随着云计算平台的发展，针对深度学习的隐私保护方法成为亟待解决的问题。NeuraCrypt是一种用于隐私保护的私有随机神经网络，允许数据所有者在数据上传之前对医疗数据进行加密，数据所有者可以直接使用加密的数据在云服务器中进行训练并测试他们的模型。然而，我们指出，当使用彩色图像时，NeuraCrypt的性能会严重下降。在本文中，我们提出了一个Color-NeuraCrypt来解决这个问题。实验结果表明，我们提出的Color-NeuraCrypt可以实现更好的分类精度比原来的一个和其他隐私保护方法。

2023-01-12cs.CRcs.CV

基于视觉变换器的隐私保护服装分类用于热舒适度估计

Privacy-Preserving Clothing Classification using Vision Transformer for Thermal Comfort Estimation

NTT FACILITIES, INC.（NTT设施公司）；Tokyo Metropolitan University（东京 Metropolitan大学）

本文提出一种隐私保护的服装分类方法，利用视觉变换器（ViT）进行服装隔热估计，解决了传统方法在隐私保护下的准确性下降问题。

2026-04-29cs.CRcs.CV

基于小波分解的尺度不变隐私保护视频

Scale Invariant Privacy Preserving Video via Wavelet Decomposition

Xi’an Jiaotong Liverpool University（西交利物浦大学）

视频监控在现代世界中已经变得无处不在。移动设备、监控摄像头和物联网设备都可以录制可能侵犯我们隐私的视频。对此提出的一个解决方案是隐私保护视频，它在视频制作时从视频中删除识别信息。为此已经提出了几种算法，但所有这些算法都存在规模问题：为了充分匿名化近摄像机对象，远处的对象变得无法识别。在本文中，我们提出了一种基于小波分解的尺度不变方法。

2022-11-07cs.CRcs.CV

结合联邦学习和图像加密的视觉Transformer隐私保护图像分类

Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer

Tokyo Metropolitan University（东京都立大学）

近年来，深度学习的隐私保护方法已经成为一个迫切的问题。因此，我们提出了联邦学习（FL）和加密图像的隐私保护图像分类下使用的视觉Transformer（ViT）的组合使用。所提出的方法不仅允许我们在多个参与者之间进行训练模型而不直接共享原始数据，而且还首次保护了测试（查询）图像的隐私。此外，它还可以保持与正常训练模型相同的精度。在一个实验中，所提出的方法被证明是很好的工作，没有任何性能下降的CIFAR-10和CIFAR-100数据集。

2023-03-03cs.CRcs.CVcs.LG

PCAL：基于对抗学习的隐私保护智能信用风险建模框架

PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning

信用风险建模已经渗透到我们的日常生活中。大多数银行和金融公司使用这种技术来模拟客户的可信度。虽然机器学习越来越多地用于这一领域，但由此产生的大规模用户私人信息收集重新激发了隐私辩论，考虑到每年由未经授权的黑客造成的数十起数据泄露事件，以及（可能更多）授权方的信息误用/滥用。为了解决这些关键问题，本文提出了一个基于对抗学习的隐私保护信用风险建模框架（PCAL）。PCAL旨在通过（迭代）权衡隐私风险损失和面向实用性的损失，掩盖原始数据集内的私人信息，同时保留目标预测任务性能的重要实用信息。在实用性和隐私保护方面，将PCAL与现成的选项进行比较。实验结果表明，PCAL可以从用户数据中学习到一种有效的、无隐私的表示方法，为信用风险分析中隐私保护的机器学习提供了坚实的基础。

2020-10-06cs.CRcs.CVcs.LG

对保护隐私的深度神经网络图像加密方案的攻击

Attacks on Image Encryption Schemes for Privacy-Preserving Deep Neural Networks

隐私保护机器学习是一个活跃的研究领域，通常依赖于同态加密或安全多方计算等技术。最近，Tanaka和Sirichotedumrong、Kinoshita和Kiya提出了使用深度神经网络对图像执行机器学习的新加密技术。我们提出了新的选择明文和密文的攻击对这两个建议的图像加密方案，并证明了攻击的有效性的几个例子。

2020-04-29cs.CRcs.CVcs.LG

颠覆隐私保护GANs：在经过消毒的图像中隐藏秘密

Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images

NYU Tandon School of Engineering（纽约大学坦登工程学院）

前所未有的数据汇集和共享加剧了对隐私的担忧，并导致人们对隐私保护工具的兴趣日益增加，这些工具可以从图像中删除敏感属性，同时为其他任务保留有用的信息。目前，最先进的方法使用隐私保护生成对抗网络（PP-GAN）来实现这一目的，例如，在不泄露用户身份的情况下实现可靠的面部表情识别。然而，PP-GAN并不提供隐私的正式证明，而是依赖于使用基于深度学习（DL）的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中，我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明，可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中，以便以后提取，这甚至可以允许重建整个输入图像，同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法，并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题，并提供了对这些问题的社会影响的见解。

2020-09-19cs.AIcs.CRcs.CV