Privately Answering Classification Queries in the Agnostic PAC Model
The Ohio State University（俄亥俄州立大学）
我们重新讨论了分类查询的差异私有发布问题。在这个问题中，目标是设计一个算法，可以准确地回答一系列的分类查询的基础上一个私人的训练集，同时确保差分隐私。我们正式研究这个问题的不可知PAC模型，并得出一个新的上限的私人样本的复杂性。我们的结果比最近的工作[BTT18]中获得的不可知PAC设置。特别是，我们给出了一个改进的建设，产生一个更严格的样本复杂性的上限。此外，与[BTT 18]不同，我们的准确性保证不涉及与给定假设类相关的近似误差的任何爆破。鉴于任何假设类VC维$d$，我们表明，我们的建设可以私下回答$m$分类查询平均超额错误$α$使用大小为$\approx \frac{d}{α^2}\,\max\left(1, \sqrt{m}\,α^{3/2}\right)$的私人样本。使用最近的结果与辅助公共数据的私人学习，我们扩展我们的建设，以表明可以私下回答任何数量的分类查询平均超额错误$α$使用大小为$\approx \frac{d}{α^2}\,\max\left(1, \sqrt{d}\,α\right)$的私人样本。当$α=O\left(\frac{1}{\sqrt{d}}\right)$时，我们的私有样本复杂度界限本质上是最优的。
2019-12-04 cs.CR cs.LG stat.ML
Covert Quantum Learning: Privately and Verifiably Learning from Quantum Data
California Institute of Technology（加州理工学院）；University of Warwick（沃里克大学）；Morgan Stanley Machine Learning Research（摩根士丹利机器学习研究）；Columbia University（哥伦比亚大学）
本文提出量子学习中的隐蔽可验证模型，在无计算假设下实现策略与目标隐私，证明Forrelation和Simon问题的量子优势在隐蔽约束下依然成立。
2025-10-08 cs.CR cs.LG quant-ph
On the Sample Complexity of Privately Learning Axis-Aligned Rectangles
Ben-Gurion University（本-古里安大学）；Google Research（谷歌研究院）
我们重新审视学习轴对齐矩形在有限网格$X^d\subseteq{\mathbb{R}}^d$与差分隐私的基本问题。已有的结果表明，该问题的样本复杂度至多为$\min\left\{ d{\cdot}\log|X| \;,\; d^{1.5}{\cdot}\left(\log^*|X| \right)^{1.5}\right\}$ .也就是说，现有的构造要么要求样本复杂度随$\log|X|$线性增长，要么它随维度$d$超线性增长。我们提出了一种新的算法，减少了样本的复杂性，只有$\tilde{O}\left\{d{\cdot}\left(\log^*|X|\right)^{1.5}\right\}$，达到一个维度最佳的依赖，而不需要的样本复杂性增长与$\log|X|$。为了达到这一改进所使用的技术涉及删除“暴露”的数据点在旅途中，在一种时尚的设计，以避免成本的自适应组合定理。这种技术的核心可能是个人的兴趣，引入了一种新的方法来构建高效的私人算法。
2021-07-24 cs.CR cs.DS cs.LG
Privately Learning Thresholds: Closing the Exponential Gap
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Hebrew University of Jerusalem（希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Ben-Gurion University（本-古里安大学）
研究了差分隐私约束下学习阈值函数的样本复杂度。假设训练数据中的每个标记示例都是一个个体的信息，并且我们希望提出一个泛化假设$h$，同时保证个体的差分隐私。直观地说，这意味着训练数据中的任何单个标记示例都不应该对假设的选择产生显著影响。这个问题最近受到了很多关注;与非私有情况不同，在非私有情况下，样本复杂度与域大小无关，仅取决于所需的准确度和置信度，对于私有学习，样本复杂度必须取决于域大小$X$（即使对于近似差分隐私）。Alon等人（STOC 2019）显示了样本复杂度上的$Ω(\log^*|X|)$下限，Bun等人（FOCS 2015）提出了一个具有样本复杂度$\tilde{O}\left(2^{\log^*|X|}\right)$的近似私有学习器。在这项工作中，我们大大减少了这个差距，几乎解决了样本的复杂性。首先给出了$\tilde{O}\left(\left(\log^*|X|\right)^2\right)$的样本复杂度上界的一种新算法，然后给出了样本复杂度的改进算法$\tilde{O}\left(\left(\log^*|X|\right)^{1.5}\right)$.我们的算法是为相关的内点问题，其中的目标是找到一个点之间的最大和最小的输入元素。它是基于选择一个依赖于输入的哈希函数，并使用它来嵌入数据库到一个域的大小是减少几何，这将导致一个新的数据库，其内部点可以用来生成…
2019-11-22 cs.CR cs.DS cs.LG
A Learning Theory Approach to Non-Interactive Database Privacy
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们证明，忽略计算的限制，它是可能的私人释放合成数据库，是有用的大类的查询-比数据库本身的大小大得多。具体来说，我们给出了一种机制，私人发布合成数据的一类查询在一个离散域的错误增长的最小的网络的大小的函数，近似代表的答案，这类查询。我们表明，这特别意味着一种机制，计数查询，给出错误的保证，增长只与VC-维的类的查询，它本身的增长只与查询类的大小几何。我们还表明，这是不可能的，即使是简单的查询类（如间隔和他们的泛化）在连续域的私人释放。尽管如此，我们给出了一个隐私保护的多项式时间算法，释放有用的所有半空间查询的信息，稍微放松的效用保证。该算法不释放合成数据，而是能够表示每个查询的答案的另一个数据结构。我们还给出了一个有效的算法释放合成数据的区间查询和轴对齐的矩形的常数尺寸的类。最后，受学习理论的启发，我们引入了一个新的数据隐私的概念，我们称之为分布式隐私，并表明它严格强于流行的隐私概念，差分隐私。
2011-09-10 cs.CR cs.DS cs.LG
Structured Sparsity Models for Multiparty Speech Recovery from Reverberant Recordings
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们通过对混响室的声学建模来解决多方语音恢复问题。我们的方法利用结构化稀疏模型进行房间建模和语音恢复。我们提出了一个方案，用于表征房间声学从未知的竞争语音源依赖于本地化的早期图像的扬声器稀疏近似的空间频谱的虚拟源在自由空间模型。然后利用属于每个源的频谱时间分量的低秩结构对图像进行聚类。这使我们能够识别房间脉冲响应函数的早期支持及其到房间几何形状的唯一映射。为了进一步解决反射率的模糊性，我们提出了一种新的配方的混响模型和估计的吸收系数，通过凸优化利用联合稀疏模型制定的空间频谱稀疏并发语音表示。然后，通过结构化稀疏恢复或反向滤波声道，结合声学参数以分离各个语音信号。在真实数据记录上进行的实验证明了所提出的多方语音恢复和识别方法的有效性。
2012-10-25 cs.LG cs.SD
Synthetic Data Generators: Sequential and Private
Google Brain（谷歌大脑）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
我们研究了样本复杂性的私人合成数据生成的一个无界大小的类的统计查询，并表明，任何类，是私人适当的PAC学习承认一个私人合成数据发电机（也许是非有效的）。以前的工作合成数据生成器集中的情况下，查询类$\mathcal{D}$是有限的，并获得样本的复杂性范围，规模与大小$|\mathcal{D}|$几何。在这里，我们构建了一个私有的合成数据生成器，其样本复杂度与域的大小无关，我们用$\mathcal{D}$是私有PAC可学习的假设来代替有限性（一个形式上较弱的任务，因此我们获得了两个任务之间的等价性）。
2020-12-07 cs.LG stat.ML
Privacy Preserving PCA for Multiparty Modeling
University of Science and Technology of China（中国科学技术大学）；Ant Financial Services Group（蚂蚁金融服务集团）
在本文中，我们提出了一个一般的多方建模范式与隐私保护主成分分析（PPPCA）的水平分区数据。PPPCA可以在保证明文数据本地化的前提下实现PCA的多方协同执行。我们还提出了使用两种技术的实现，即，同态加密和秘密共享。PPPCA的输出可以直接发送给数据消费者，以构建任何机器学习模型。我们在三个UCI基准数据集和一个真实世界的欺诈检测数据集上进行了实验。实验结果表明，基于PPPCA建立的模型与基于集中式明文数据建立的PCA模型具有相同的精度。
2020-03-12 cs.CR cs.LG
Privately generating tabular data using language models
Meta AI
本文提出将表格行视为句子并用差分隐私训练语言模型，以在多个数据集上实现具有竞争力的隐私表格合成效果。
2023-06-07 cs.CL cs.CR cs.LG
Secure Multiparty Computation for Synthetic Data Generation from Distributed Data
Microsoft（微软）；University of Washington Tacoma（华盛顿大学塔科马分校）；Universidade de Brasilia（巴西利亚大学）；Ghent University（根特大学）
访问相关数据的法律和道德限制阻碍了健康、金融和教育等关键领域的数据科学研究。具有隐私保证的合成数据生成算法正在成为打破这种数据僵局的范例。然而，现有的方法假设数据持有者将其原始数据提供给可信的管理者，管理者将其用作生成合成数据的燃料。这严重限制了其适用性，因为世界上许多有价值的数据都被锁在孤岛中，由无法在不引起隐私问题的情况下向彼此或中央聚合器显示数据的实体控制。为了克服这一障碍，我们提出了第一个解决方案，其中数据持有者只共享加密数据，用于差分私有合成数据生成。数据持有者将共享发送到执行安全多方计算（MPC）计算的服务器，同时原始数据保持加密。我们在MPC协议中实例化这个想法，用于具有指数机制的乘法权重（MWEM）算法，以基于源自许多数据持有者的真实数据生成合成数据，而不依赖于单个故障点。
2022-10-28 cs.CR cs.LG
Privacy of federated QR decomposition using additive secure multiparty computation
University of Southern Denmark（南丹麦大学）
联邦学习（FL）是一种隐私感知的数据采掘策略，它将私有数据保存在所有者的机器上，从而对其保密。客户端计算本地模型并将其发送到计算全局模型的聚合器。在混合FL中，使用安全聚合对本地参数进行额外屏蔽，使得仅全局聚合统计数据以明文形式可用，而不是客户端特定更新。联邦QR分解尚未在跨筒仓联邦学习的上下文中得到广泛研究。在这篇文章中，我们调查了三个QR分解算法的适用性跨筒仓FL，并提出了一个隐私感知QR分解方案的基础上，Gram-Schmidt算法，不公然泄漏原始数据。我们应用该算法以联邦方式计算线性回归。
2022-10-12 cs.CR cs.LG
Training Differentially Private Models with Secure Multiparty Computation
School of Engineering and Technology, University of Washington Tacoma（华盛顿大学塔科马分校工程与技术学院）；University of Brasilia（巴西利亚大学）；Monash University（莫纳什大学）；Ghent University（根特大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出结合安全多方计算与差分隐私的模型训练方案，在保持形式化隐私保证的同时提升精度，并在iDASH2021竞赛中获第一名。
2025-03-11 cs.CR cs.LG
SafeNet: The Unreasonable Effectiveness of Ensembles in Private Collaborative Learning
Northeastern University（东北大学）；Google Research（谷歌研究院）
已经提出了安全多方计算（MPC）以允许多个互不信任的数据所有者在其组合数据上联合训练机器学习（ML）模型。然而，通过设计，MPC协议忠实地计算训练功能，对抗性ML社区已经证明这会泄露私人信息，并且可以在中毒攻击中被篡改。在这项工作中，我们认为在我们称为SafeNet的框架中实现的模型集成是一种高度MPC兼容的方式，可以避免许多对抗性的ML攻击。MPC训练中所有者之间的数据自然分区允许这种方法在训练时具有高度可扩展性，提供可证明的中毒攻击保护，并可证明地防御许多隐私攻击。我们在端到端和迁移学习场景中训练的几个机器学习数据集和模型上展示了SafeNet的效率、准确性和中毒恢复能力。例如，SafeNet显著降低了后门攻击的成功率，同时实现了$39\times$更快的训练和比Dalskov等人的四方MPC框架更少的通信$36 \times$。我们的实验表明，即使在许多非iid设置中，集成也保留了这些好处。集成的简单性，廉价的设置和鲁棒性使其成为MPC中私下训练ML模型的首选。
2022-09-08 cs.CR cs.LG
Locating a Small Cluster Privately
Ben-Gurion University（本-古里安大学）；Harvard University（哈佛大学）
我们提出了一种新的算法，用于定位一个小的点簇与差分隐私[Dwork，McSherry，Nissim和Smith，2006]。我们的算法对私有数据的探索、聚类和离群值的去除都有影响。此外，我们使用它来显着放宽样本和聚合技术的要求[Nissim，Raskhodova和Smith，2007]，这允许将"现成"（非私有）分析编译为保留差分隐私的分析。
2017-03-13 cs.CR cs.DS cs.LG
Fast Privacy-Preserving Text Classification based on Secure Multiparty Computation
University of Campinas（坎皮纳斯大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；Monash University（莫纳什大学）；Aarhus University（奥胡斯大学）
我们提出了一个隐私保护的朴素贝叶斯分类器，并将其应用于私人文本分类问题。在此设置中，一方（Alice）持有文本消息，而另一方（Bob）持有分类器。在协议结束时，Alice只会学习应用于她的文本输入的分类器的结果，而Bob什么也不会学到。我们的解决方案是基于安全多方计算（SMC）。我们的Rust实现为非结构化文本的分类提供了一个快速安全的解决方案。将我们的解决方案应用于垃圾邮件检测的情况（该解决方案是通用的，并且可以在可以采用朴素贝叶斯分类器的任何其他场景中使用），在Bob的模型的字典大小包括所有单词（n = 5200）并且Alice的SMS具有至多m = 160个一元词的情况下，我们可以在小于340 ms内将SMS分类为垃圾邮件或火腿。在n = 369和m = 8（数据库中垃圾短信的平均值）的情况下，我们的解决方案只需要21毫秒。
2021-06-08 cs.CR cs.LG
Privately Solving Linear Programs
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）
本文系统地研究了差分隐私下的线性规划问题。第一步是简单地定义问题：为此，我们引入了几个自然类的私人线性程序，捕捉不同的方式敏感数据可以被纳入一个线性程序。对于每一类线性规划，我们给出了一个有效的，差分私人求解器的基础上的乘法权重框架，或者我们给出了一个不可能的结果。
2014-05-08 cs.CR cs.DS cs.LG
Private Multiparty Perception for Navigation
Columbia University（哥伦比亚大学）
我们引入了一个框架，通过将多个摄像头连接在一起，同时保护隐私，在混乱的环境中导航。大型环境中的遮挡和障碍物对于导航代理来说通常是具有挑战性的情况，因为环境不能从单个相机视图完全观察到。给定环境的多个摄像机视图，我们的方法学习生成只能用于导航的多视图场景表示，可以证明防止一方推断输出任务之外的任何内容。在我们将公开发布的一个新的导航数据集上，实验表明，私人多方表示允许在复杂场景和障碍物周围导航，同时共同保护隐私。我们的方法可以扩展到任意数量的相机视点。我们认为，开发保护隐私的视觉表示对于导航等许多应用越来越重要。
2022-12-02 cs.CR cs.CV cs.LG
Frequency Estimation Under Multiparty Differential Privacy: One-shot and Streaming
Hong Kong University of Science and Technology（香港科技大学）；University of Warwick（华威大学）
我们研究了隐私和通信约束下的频率估计的基本问题，其中数据分布在$k$各方之间。我们考虑两种应用场景：（1）单次，其中数据是静态的，聚合器进行一次性计算;（2）流式传输，其中每一方随着时间的推移接收项目流，聚合器不断监控频率。我们采用多方差分隐私（MDP）模型，它比局部差分隐私（LDP）和（集中式）差分隐私更具有一般性。我们的协议实现最优性（对数因子）允许的两个约束条件中更严格的。特别是，当专用于$\varepsilon$ -LDP模型时，我们的协议使用$O(k\max\{ \varepsilon, \frac{1}{\varepsilon} \})$通信位和$O(k \log u)$公共随机位实现了$\sqrt{k}/(e^{Θ(\varepsilon)}-1)$的错误，其中$u$是域的大小.
2021-05-29 cs.CR cs.DS cs.LG
Privately Fine-Tuned LLMs Preserve Temporal Dynamics in Tabular Data
NYU（纽约大学）；Columbia University（哥伦比亚大学）；Google Research（谷歌研究）
本文提出PATH框架，利用私有微调的LLM保留表格数据的时间动态，有效捕捉长距离依赖并提升合成数据质量。
2026-02-02 cs.CL cs.CR cs.LG
Privately Customizing Prefinetuning to Better Match User Data in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）；Meta
在联邦学习（FL）中，访问私人客户数据会产生通信和隐私成本。因此，FL部署通常在中央服务器持有的（大型，可能是公共的）数据集上预调预训练的基础模型;然后在客户端持有的私有联合数据集上对模型进行FL微调。因此，可靠和私密地评估预调数据集的质量非常重要。为此，我们提出了FreD（Federated Private Fréchet Distance）--一个预先调整数据集和联邦数据集之间的私人计算距离。直观地，它私下计算并比较由大语言模型在中央（公共）数据集和联合私有客户端数据上生成的嵌入之间的Fréchet距离。为了使这种计算保持隐私，我们使用分布式的，微分私有的均值和协方差估计。我们的经验表明，FreD准确地预测最好的prefinetuning数据集在最小的隐私成本。总之，使用FreD，我们展示了一种新方法在私人FL训练中的概念验证：（1）自定义预调数据集以更好地匹配用户数据（2）预调（3）执行FL微调。
2023-02-23 cs.AI cs.DC cs.LG
Choose Wisely and Privately: Proactive Client Selection for Fair and Efficient Federated Learning
Adda Akram Bendoukha1（Adda Akram Bendoukha（1））；Heber Hwang Arcolezi2（Heber Hwang Arcolezi（2））；Nesrine Kaaniche1（Nesrine Kaaniche（1））；Aymen Boudguiga3（Aymen Boudguiga（3））
本文提出了一种主动客户端选择框架，旨在在训练前找到满足效用和公平性要求的最佳客户端联邦，以提高联邦学习的效率和公平性。
2026-05-21 cs.CR cs.LG
Privately Estimating Black-Box Statistics
University of Canterbury（坎特伯雷大学）；Google DeepMind（谷歌DeepMind）
本文提出一种在黑盒函数上实现差分隐私的方案，平衡统计效率与 oracle 效率，并展示其近最优性。
2026-05-08 cs.CC cs.CR cs.DS
Design and Challenges of Cloze-Style Reading Comprehension Tasks on Multiparty Dialogue
Emory University（埃默里大学）
本文分析了完形填空阅读理解在多方对话中面临的挑战，并提出了两个新的任务，以更全面地预测日常对话中的个人实体。我们首先证明，有大量的限制，以前的工作，即随机分配的样本的训练和测试数据的评估方法大大降低了完形填空式阅读理解的复杂性。根据我们的分析，用时间顺序数据分割代替随机数据分割将先前单变量通道完成任务的测试准确率从72%降低到34%，这留下了更多的改进空间。我们提出的任务扩展了以前的单变量通道完成任务，用变量替换更多的字符提及。开发了几个深度学习模型来验证这三个任务。一个彻底的错误分析提供了理解的挑战，并指导本研究的未来方向。
2021-07-12 cs.AI cs.CL cs.LG
On Privately Estimating a Single Parameter
Apple（苹果公司）；Stanford University（斯坦福大学）
本研究针对大参数模型中的单参数隐私估计问题，基于新型估计量局部稳定性概念提出带隐私证书的高效差分隐私估计器，达到实例最优界，并在模拟与真实普查数据中验证了实用性。
2025-03-21 cs.CR cs.LG math.ST
Supporting Regularized Logistic Regression Privately and Efficiently
Beijing Key Laboratory of Information Service Engineering, Beijing Union University（北京联合大学信息服务业工程北京市重点实验室）；Vanderbilt University（范德堡大学）
正则化逻辑回归模型作为最流行的统计和机器学习模型之一，在生物医学、社会科学、信息技术等领域得到了广泛的应用，这些领域往往涉及到受严格隐私保护的人类数据。对数据隐私的日益关注使得协调和开展大规模合作研究变得越来越困难，这些研究通常依赖于跨机构的数据共享和联合分析。我们在这里的工作重点是保护正则化逻辑回归，这是一种在各个学科中广泛使用的机器学习模型，同时还没有从数据安全和隐私的角度进行研究。我们认为一个常见的使用场景的多机构的合作研究，如在研究联盟或网络的形式，广泛见于遗传学，流行病学，社会科学等，使我们的隐私增强解决方案的实用，我们展示了一个非传统的和计算效率高的方法，利用分布式计算和强大的密码学提供全面的保护个人层面和汇总数据。对几项研究的广泛实证评估验证了我们的建议的隐私保障，效率和可扩展性。我们还讨论了我们的解决方案的大规模研究和应用的实际意义，从不同的学科，包括遗传和生物医学研究，智能电网，网络分析等。
2015-10-01 cs.CR cs.LG q-bio.GN
Secure multiparty computations in floating-point arithmetic
本文证明仅用标准浮点算术即可实现隐私保护机器学习的安全多方计算，其信息泄露小于舍入误差且具备最坏情况界与数值稳定性证明，并在多种广义线性模型上验证了高性能。
2020-01-09 cs.CR cs.IT cs.LG
FLaPS: Federated Learning and Privately Scaling
National Institute of Science, Education and Research（国家科学教育与研究学院）；University of Kalyani（卡利亚尼大学）；Homi Bhabha National Institute（霍米·巴巴国家研究院）
联邦学习（FL）是一种分布式学习过程，其中模型（权重和检查点）被传输到存储数据的设备，而不是集中传输和聚合数据的经典方式。通过这种方式，敏感数据不会离开用户设备。FL使用FedAvg算法，该算法在非iid和不平衡的分布数据上以迭代模型平均的方式训练，而不依赖于数据量。FL的一些问题是，1）没有可扩展性，因为模型在所有设备上迭代训练，这随着设备丢弃而放大; 2）学习过程的安全性和隐私权衡仍然不够鲁棒;以及3）总体通信效率和成本更高。为了缓解这些挑战，我们提出了联邦学习和私有扩展（FlaPS）架构，它提高了系统的可扩展性以及安全性和隐私性。这些设备被分组到集群中，这进一步提供了更好的隐私缩放周转时间来完成一轮训练。因此，即使设备在训练过程中掉落，整个过程也可以在一定时间后重新开始。数据和模型都是使用具有迭代洗牌的差异隐私报告进行通信的，这提供了更好的隐私-效用权衡。我们使用各种CNN模型在MNIST、CIFAR 10和TINY-IMAGENET-200数据集上评估了FlaPS。实验结果证明，FLaPS是一个改进的，时间和隐私缩放的环境，具有更好的和可比的后学习参数的中央和FL模型。
2020-09-13 cs.CR cs.DC cs.LG
PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels
Massachusetts Institute of Technology (MIT)（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）；Clemson University（克莱姆森大学）；Maynooth University（梅努斯大学）
针对数据共享中的隐私泄露问题，本文提出PEOPL方法，利用随机变换对敏感数据进行编码，引入信息论分数量化隐私与效用，并证明该方案在抵御计算攻击的同时保持了与原始样本基线相当的预测准确率，且支持多机构协作训练。
2023-03-31 cs.CR cs.IT cs.LG
Privately Learning from Graphs with Applications in Fine-tuning Large Language Models
Purdue University（普渡大学）；Georgia Institute of Technology（佐治亚理工学院）
针对图数据敏感关系学习中的隐私问题，提出一种解耦依赖关系的隐私保护流水线，通过定制DP-SGD微调Llama2等大模型，在四个真实图数据上显著提升关系学习性能并保持稳健隐私保证。
2025-09-16 cs.CL cs.CR cs.LG
A Classifiers Voting Model for Exit Prediction of Privately Held Companies
Politecnico di Torino（都灵理工大学）；IEIIT-CNR（意大利国家研究委员会电子、计算机与电信工程研究所）；Eurostep Digital（Eurostep数字公司）
预测退出（例如破产、收购等）对投资公司来说，私有公司的私有化是一个当前和相关的问题。问题的困难在于缺乏可靠、量化和公开的数据。在本文中，我们通过构建基于定性数据的退出预测模型来做出贡献，该模型融合了三个分类器的结果，即Logistic回归模型，随机森林模型和支持向量机模型。组合模型的输出是基于组件模型的大多数输出类来选择的。这些模型是使用从汤森路透Eikon存储库中提取的数据进行训练的，该存储库包含1996-2011年期间54697家美国和欧洲公司的数据。已经进行了实验，以预测公司最终是否被收购或上市（IPO），对补充事件，它仍然是私人或破产，在考虑的时间窗口。我们的模型达到了63%的预测准确率，这对于私募股权投资者来说是一个非常有价值的数字，他们通常期望从成功的投资中获得非常高的回报。
2019-10-30 cs.LG q-fin.ST stat.ML
Learning Privately over Distributed Features: An ADMM Sharing Approach
University of Alberta（阿尔伯塔大学）；University of Kent（肯特大学）
分布式机器学习已被广泛研究，以处理爆炸式增长的数据量。在本文中，我们研究了一个重要的但访问量较少的分布式学习问题，其中的功能是固有的分布或垂直划分在多方之间，和各方之间的原始数据或模型参数的共享是禁止的，由于隐私问题。我们提出了一个ADMM共享框架，以接近分布式特征的风险最小化，其中每一方只需要在训练过程中为每个样本共享一个值，从而最大限度地减少数据泄漏风险。我们建立了收敛性和迭代复杂性的结果，建议并行ADMM算法下的非凸损失。我们进一步介绍了一种新的差分隐私ADMM共享算法和绑定的隐私保证精心设计的噪声扰动。基于原型系统的实验表明，所提出的ADMM算法收敛效率高，在一个强大的方式，表现出优于基于梯度的方法，特别是对数据集的高维特征空间。
2019-07-17 cs.DC cs.LG stat.ML
Private Speech Classification with Secure Multiparty Computation
University of Washington Tacoma（华盛顿大学塔科马分校）；Ghent University（根特大学）；Monash University（莫纳什大学）
音频信号处理中的深度学习，如人类语音音频信号分类，是机器学习的一个丰富应用领域。合法的用例包括语音认证、枪声检测和情感识别。虽然自动人类语音分类有明显的优势，但应用程序开发人员可以从未受保护的音频信号处理中获得超出专业范围的知识。在本文中，我们提出了第一个基于深度学习的音频分类的隐私保护解决方案，该解决方案可证明是安全的。我们的方法基于安全多方计算，允许用另一方（鲍勃）的深度神经网络对一方（爱丽丝）的语音信号进行分类，而鲍勃不会以未加密的方式看到爱丽丝的语音信号。作为威胁模型，我们考虑被动安全性，即遵循密码协议指示的半诚实方，以及主动安全性，即偏离协议的恶意方。我们评估了所提出的解决方案在使用卷积神经网络从语音中进行隐私保护情感检测的用例中的效率-安全性-准确性权衡。在半诚实的情况下，我们可以在0.3秒内对语音信号进行分类;在恶意的情况下，它需要$\sim$ 1.6秒。在这两种情况下，都没有信息泄漏，并且我们实现了与在未加密数据上进行计算时相同的分类精度。
2021-01-28 cs.CR cs.LG cs.SD
FedGRPO: Privately Optimizing Foundation Models with Group-Relative Rewards from Domain Client
FedGRPO通过群体相对奖励机制，在保护隐私的前提下提升基础模型的性能和通信效率。
2026-02-12 cs.LG
Quantum-secure multiparty deep learning
Research Laboratory of Electronics, Massachusetts Institute of Technology（麻省理工学院电子研究实验室）；Physics & Informatics Laboratories, NTT Research, Inc.（NTT研究公司物理与信息学实验室）
本文提出利用光的量子特性实现信息论安全的多方深度学习计算，通过线性代数引擎在MNIST分类任务中达到96%的准确率，同时显著降低信息泄露量。
2024-09-13 cs.AI cs.IT cs.LG
Privately Releasing Conjunctions and the Statistical Query Barrier
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Microsoft Research New England（微软研究院新英格兰分部）；Harvard University（哈佛大学）
假设我们想知道一组统计查询C的所有答案，对一个数据进行设置，误差很小，但我们只能使用统计查询访问数据本身。一个简单的解决方案是在C中详尽地询问所有查询。我们能做得更好吗？+ 我们表明，这个任务所需的统计查询的数量是-多项式的因素-等于不可知的学习复杂性C在卡恩斯的统计查询（SQ）模型。当运行时间不是问题时，这给出了问题的完整答案。+ 然后，我们表明，这个问题可以有效地解决（允许任意错误的一小部分查询），只要答案C可以描述的子模块功能。这包括许多自然概念类，如图切割和布尔析取和合取。虽然从学习理论的角度来看很有趣，但我们的主要应用是在隐私保护数据分析中：在这里，我们的第二个结果导致了第一个算法，该算法有效地释放了所有布尔合取的差分私有答案，平均误差为1%。这在隐私保护数据分析中的一个关键开放问题上取得了重大进展。另一方面，我们的第一个结果给出了任何差分私有算法的无条件下限，该算法允许仅使用统计查询的（潜在的非隐私保护）实现。不仅我们的算法，而且大多数已知的私人算法可以只使用统计查询来实现，因此受到这些下界的约束。因此，我们的研究结果隔离了不可知学习的复杂性，在SQ模型作为一个新的障碍，在设计的差异私人算法。
2011-10-27 cs.CR cs.DS cs.LG
A Multiparty Homomorphic Encryption Approach to Confidential Federated Kaplan Meier Survival Analysis
Norwegian Institute of Public Health（挪威公共卫生研究所）；Norwegian Computing Center（挪威计算中心）；The Arctic University of Norway（挪威北极大学）
本文提出基于阈值CKKS加密的隐私保护联邦Kaplan-Meier框架，实现加密聚合计数和近似浮点计算，通过加密向量和部分共享恢复明文，确保隐私安全的同时实现高保真生存估计。
2026-04-11 cs.AI cs.CR cs.LG
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara（加州大学圣巴巴拉分校）
“Propose-Test-Release”（PTR）框架是设计数据自适应的差分私有（DP）算法的经典配方，即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性，将PTR扩展到更一般的设置，从而使其适用于标准的噪声添加机制之外，例如，具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外，我们应用我们的算法来解决一个来自“教师集合的私人聚合（PATE）”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
Privately detecting changes in unknown distributions
Georgia Institute of Technology（佐治亚理工学院）；Santa Clara University（圣克拉拉大学）；Stanford Graduate School of Business（斯坦福商学院）；University of Richmond（里士满大学）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
变点检测问题旨在识别数据流中的分布变化。变点检测工具越来越多地应用于数据可能高度敏感且需要正式隐私保证的环境中，例如根据医院记录识别疾病爆发，或物联网设备检测家中活动。差分隐私已经成为一种强大的技术，可以在进行数据分析的同时防止个人信息泄露。许多以前的工作变点检测-包括唯一的私人算法，这个问题-需要完整的知识的变化前和变化后的分布。然而，这种假设对于许多感兴趣的实际应用是不现实的。这项工作的差异私人算法解决变点问题时，数据分布是未知的。此外，数据可以从随时间平滑变化的分布中采样，而不是固定的变化前和变化后分布。我们应用我们的算法来检测这些数据流的线性趋势的变化。最后，我们还提供了实验结果，以经验验证我们的算法的性能。
2020-02-14 cs.DS cs.LG math.ST
Differentially Private Mixing of Public Datasets Improves Private Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
提出首个私有学习多个公共数据集混合以预训练的流水线，通过低维线性模型实现，在NIH和ENRON数据集上显著提升效用。
2026-10-06 cs.AI cs.CR cs.LG
Improving Heterogeneous Model Reuse by Density Estimation
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）；Beijing Institute of Technology（北京理工大学）；JD Explore Academy, JD.com, Inc.（京东集团京东探索研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）；The University of Sydney（悉尼大学）
本文研究多方学习中的异构模型复用问题，提出通过估计本地数据密度设计辅助模型，并引入多方交叉熵损失校准未充分预训练的模型，实验证明该方法在合成和基准数据上具有优越性。
2023-05-23 cs.LG
Pencil: Private and Extensible Collaborative Learning without the Non-Colluding Assumption
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
Pencil提出首个无需非共谋假设的私有协作学习框架，基于高效两方协议实现多方扩展，同时保障数据与模型隐私，吞吐量提升10~260倍，通信量降低两个数量级。
2024-03-17 cs.CR cs.LG
Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文针对大语言模型提示数据的隐私泄露问题，提出差分隐私提示学习方法，通过软提示私有梯度下降和随机鹦鹉群带噪投票机制，在接近非私有基线性能的同时实现隐私保护。
2023-05-24 cs.CL cs.CR cs.LG
Harnessing large-language models to generate private synthetic text
Google（谷歌）
本文研究利用预训练大语言模型在敏感数据上私有微调以生成差分隐私合成文本，提出合适的训练目标与少参数调优策略，显著提升合成数据质量，并在下游分类器训练与调优中取得与直接差分隐私训练相竞争的性能。
2024-01-11 cs.CR cs.LG
Differential Privacy for Clustering Under Continual Observation
McGill University（麦吉尔大学）；IST Austria（奥地利科学技术研究所）
针对持续观察下经历点插入和删除的数据集聚类问题，提出首个加性误差仅与更新次数对数相关的 $\varepsilon$-差分隐私 $k$-means 近似算法，通过结合降维与贪心近似实现，并部分扩展至 $k$-median。
2023-07-27 cs.CR cs.DS cs.LG
Oracle-Efficient Differentially Private Learning with Public Data
MIT（麻省理工学院）；Boston University（波士顿大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出首批计算高效的差分隐私学习算法，通过调用优化预言机利用公共数据，在私有与公共数据分布接近时保证学习，并在凸函数类和二元分类场景下改进了样本复杂度。
2024-02-13 cs.CR cs.LG stat.ML
Learning from End User Data with Shuffled Differential Privacy over Kernel Densities
The Blavatnik School of Computer Science and AI Tel-Aviv University（特拉维夫大学布拉瓦尼克计算机科学与人工智能学院）
该研究提出一种基于核密度估计的洗牌差分隐私协议，在保护终端用户数据隐私的同时实现接近中心差分隐私的准确率，可用于私密分类学习且能恢复类别语义，实验验证了其下游性能优势。
2025-02-19 cs.CR cs.DS cs.LG
What If, But Privately: Private Counterfactual Retrieval
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Maryland College Park（马里兰大学 College Park 分校）
本文提出私有反事实检索（PCR）框架，在信息论隐私下从数据库检索最近邻反事实解释，并扩展至不可变特征及用户偏好场景，以平衡用户与数据库隐私。
2025-08-05 cs.CR cs.IT cs.LG
High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ Montpellier（蒙彼利埃大学）；Institut Universitaire de France (IUF)（法兰西大学研究院）
针对高维差分隐私经验风险最小化效用随维度多项式下降的问题，提出DP-GCD算法，通过沿梯度最大元素方向执行坐标级梯度步并利用准稀疏等结构特性，实现对维度的对数级依赖。
2023-04-09 cs.CR cs.LG stat.ML
Private Training & Data Generation by Clustering Embeddings
Yale University（耶鲁大学）；Texas A&M University（德克萨斯大学）；Google Research（谷歌研究）
本文提出一种基于差分隐私聚类嵌入空间中的高斯混合模型来生成合成数据的方法，用于私有训练深度神经网络，在标准基准上达到最先进分类准确率，且方法通用、可扩展。
2025-06-20 cs.CR cs.LG stat.ML
Private Federated Submodel Learning with Sparsification
University of Maryland, College Park（马里兰大学帕克分校）
研究了稀疏化联邦子模型学习中的私有读更新写问题。在FSL中，机器学习模型被划分为多个子模型，其中每个用户仅更新与用户的本地数据相关的子模型。PRUW是通过读取和写入所需的子模型而不泄露子模型索引或数据库更新值来私下执行FSL的过程。稀疏化是学习中广泛使用的概念，其中用户仅更新一小部分参数以减少通信成本。揭示这些选定（稀疏）更新的坐标会泄露用户的隐私。我们展示了如何PRUW在FSL可以进行稀疏化。我们提出了一种新的方案，私人读取和写入任意参数的任何给定的子模型，而不透露子模型索引，更新值，或坐标的稀疏更新，数据库。所提出的方案实现了显着降低读写成本相比，实现没有稀疏化。
2022-05-31 cs.CR cs.IT cs.LG
