Interaction Dynamics as a Reward Signal for LLMs
Google DeepMind(谷歌DeepMind)
针对大语言模型多轮对话对齐依赖文本内容奖励信号的局限,提出基于对话嵌入轨迹几何特性的TRACE奖励信号,其单模型成对准确率达68.20%,与LLM基线相当,混合模型性能达80.17%,验证了交互动态与文本内容的互补性。
2025-11-11 cs.AI cs.CL cs.HC
DPF-CM: A Data Processing Framework with Privacy-Preserving Vector Databases for Chinese Medical LLMs Training and Deployment
Ant Group(蚂蚁集团)
针对现有中文医学LLM训练流程缺乏数据处理探索的问题,提出含训练数据处理流水线与隐私保护向量数据库的DPF-CM框架,提升模型性能并降低27%隐私泄露。
2025-09-01 cs.AI cs.LG
Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);UTHealth Houston(UT健康科学中心休斯顿分校);University of Pennsylvania(宾夕法尼亚大学)
Fed-SE通过局部进化与全局聚合范式,在隐私约束下提升多环境大语言模型代理的跨环境知识转移效果。
2026-01-11 cs.AI cs.LG
Reinforcing privacy reasoning in LLMs via normative simulacra from fiction
Cornell Tech(康奈尔科技)
本文通过从小说中提取规范仿像,结合监督学习和GRPO强化学习,提升大语言模型的隐私推理能力,验证了小说来源的规范仿像在现实领域中的有效性。
2026-04-21 cs.AI cs.LG
PrePaMS: Privacy-Preserving Participant Management System for Studies with Rewards and Prerequisites
针对研究奖励流程隐私被忽视的问题,提出基于匿名凭证、零知识证明等密码原语的PrePaMS系统,可隐私保护地完成前置条件校验与奖励发放,原型验证了其有效性与性能,可作为隐私保护实证研究的基石。
2024-09-16 cs.CR
Thompson Sampling under Bernoulli Rewards with Local Differential Privacy
University of Arizona(亚利桑那大学)
本文研究了在本地差分隐私保证下的多臂老虎机遗憾最小化问题,在伯努利场景下考虑线性、二次和指数三种隐私机制,推导了Thompson Sampling算法的随机遗憾界,并通过模拟验证了不同机制在不同隐私预算下的收敛性。
2023-07-03 cs.CR cs.LG
Differentially Private Preference Data Synthesis for Large Language Model Alignment
Department of Computer Science, University of Virginia, Charlottesville, Virginia, USA(弗吉尼亚大学计算机科学系);Department of Electrical and Computer Engineering, University of Virginia, Charlottesville, Virginia, USA(弗吉尼亚大学电气与计算机工程系)
提出DPPrefSyn算法,基于Bradley-Terry偏好模型和DP-PCA生成差分隐私合成偏好数据,实现隐私保护的偏好对齐。
2026-05-29 cs.AI cs.CR cs.LG
AMR:Autonomous Coin Mixer with Privacy Preserving Reward Distribution
众所周知,开放区块链上的用户被一个为政府、执法部门、秘密服务等提供服务的行业跟踪。虽然大多数区块链不保护用户的隐私,并允许外部观察者链接交易和地址,但越来越多的研究兴趣试图设计附加隐私解决方案,以帮助用户在非私有区块链上重新获得隐私。在这项工作中,我们提出了我们所知道的第一个审查弹性混合器,它可以奖励其用户参与系统的隐私保护的方式。我们相信,增加匿名集的大小和用户的多样性是在实践中提高混合器贡献隐私的重要努力。支付的奖励可以采取治理令牌的形式,以分散对系统参数的投票,类似于流行的“DeFi农业”协议的操作方式。此外,通过利用现有的“Defi”贷款平台,AMR是第一个混合器设计,允许参与客户从他们的存款中赚取经济利益。我们的系统AMR是自主的,因为它不依赖于任何外部服务器或第三方。对我们AMR实现的评估表明,该系统目前支持的以太坊匿名集规模超过数千名用户,每天的容量超过$66,000$存款,系统成本不变。我们提供了一个正式的规范,我们的zksnark为基础的AMR系统,隐私和安全分析,实施和评估与MiMC和海神哈希函数。
2021-06-07 cs.CR
A Comprehensive Review on Privacy-Preserving Metering in Smart Grid for Billing; Operation; and Rewarding Schemes, with Two Novel Solutions
在智能电网中,公用事业提供商(UP)收集用户的功率测量有两个主要原因:计费和操作。计费需要粗粒度的测量,其中没有或最小的隐私问题。另一方面,操作需要细粒度的测量,这可能会严重影响用户的隐私。因此,用户可能不愿意参与操作计量以保护其隐私。为了解决这个问题,UP可能会提供奖励来吸引用户报告他们的测量结果,这会危及他们的隐私。在本文中,我们调查的智能电网中的隐私保护计量的文献。我们提出了一个新的分类法,根据测量是否需要归因于用户或不对文献进行分类。这种分类非常有效,因为归属是隐私问题的主要原因之一。研究表明,奖励机制和基于激励的需求响应是新的研究课题,研究较少,因此,我们提出了两个隐私保护的奖励机制的操作计量。首先,一个轻量级的解决方案,利用已经建立的信任链接,即银行。这是基于银行不会泄露客户账户细节的假设。该方案基于哈希链和盲签名,以最小的UP和智能电表开销来确保用户匿名。这种方法中的银行是无状态的,其中不要求银行保持用户和UP的通信状态。其次,我们提出了另一种方法,不依赖于银行或可信的第三方。它基于Paillier同态加密和Pedersen承诺。它假设智能电表被组织在一个树结构,这是在文献中广泛使用的实现。安全性分析所提出的方法,包括测量到用户的不可链接性证明。
2018-10-28 cs.CR
Improving Heart-Focused Medical Question Answering in LLMs via Variance-Aware Rubric Rewards with GRPO
School of Electrical and Computer Engineering, University of Oklahoma, Norman, OK, USA(电气与计算机工程学院,俄克拉荷马大学,诺曼,OK,USA);Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory, University of Oklahoma, Norman, OK, USA(创新研究与工程智能神经形态与量子理解实验室,俄克拉荷马大学,诺曼,OK,USA);Khiabani Data Science and Analytics Institute, University of Oklahoma, Norman, OK, USA(Khiabani数据科学与分析研究所,俄克拉荷马大学,诺曼,OK,USA);Data Institute for Societal Challenges (DISC), University of Oklahoma, Norman, OK, USA(社会挑战数据研究所(DISC),俄克拉荷马大学,诺曼,OK,USA);School of Industrial and Systems Engineering, University of Oklahoma, Norman, OK, USA(工业与系统工程学院,俄克拉荷马大学,诺曼,OK,USA);Office of Responsible Artificial Intelligence (ORAI), University of Arizona, Tucson, AZ, USA(负责任人工智能办公室(ORAI),亚利桑那大学,图森,AZ,USA)
提出一种方差感知奖励框架,结合GRPO和RaR-Medicine的评分规则,通过连续分析奖励函数替代离散聚合,提升LLMs在心脏医学问答上的准确率和F1分数。
2026-10-14 cs.AI cs.CL
Offline and Online KL-Regularized RLHF under Differential Privacy
King Abdullah University of Science and Technology (KAUST)(卡布尔大学科学与技术学院);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Massachusetts Institute of Technology (MIT)(麻省理工学院)
本文研究差分隐私下KL正则化RLHF的离线和在线算法,提出悲观和乐观方法,分别获得次优性差距和对数遗憾界,并首次分析无隐私在线情况。
2025-10-15 cs.AI cs.LG
Privacy-preserving and reward-based mechanisms of proof of engagement
University of Urbino Carlo Bo(乌尔比诺卡洛博大学)
本文提出了一种隐私保护且基于奖励的参与证明机制,旨在扩展传统参与证明机制以适应更广泛的数字参与证明需求。
2025-12-02 cs.CR cs.ET
Designing DSIC Mechanisms for Data Sharing in the Era of Large Language Models
Sharif University of Technology(谢里夫理工学院);Amirkabir University of Technology(阿米尔卡比尔理工学院)
本文针对大语言模型数据共享中的信任与成本异质性问题,提出Q-MIA、MUT及Mixed-MIA等DSIC机制,通过质量加权与边际贡献激励,在预算约束下实现高质量数据获取并抵抗误报与合谋。
2025-06-01 cs.AI cs.CY cs.GT
Reward-Driven Learning under Prompt-Level Differential Privacy
University of Notre Dame(圣母大学)
本文提出首个提示级差分隐私下的RLVR训练方法,通过聚合梯度、单次裁剪和加噪实现隐私保护,实验表明奖励信号在MATH和GSM8K上显著提升准确率,并保留非私有GRPO的大部分收益。
2026-10-07 cs.CR cs.LG
Privacy-Preserving Multi-Party Contextual Bandits
Facebook AI Research(Facebook人工智能研究)
情境强盗是在线学习者,给定输入,选择一个手臂并获得该手臂的奖励。他们将奖励作为学习信号,旨在最大化输入的总奖励。上下文强盗通常用于解决推荐或排名问题。本文考虑了一种学习环境,在这种环境中,多方以私人的方式训练一个上下文强盗:各方的目标是最大化总回报,但不想与其他各方分享他们拥有的任何相关信息。具体而言,多方可以访问可能使学习者受益但不能与其他方共享的(不同)功能。其中一方拉动手臂,但其他方可能不知道哪个手臂被拉动。一方收到奖励,但其他方可能无法学习奖励值。本文开发了一个隐私保护的多方上下文的学习设置相结合的安全多方计算与差分私有机制的基础上ε贪婪的探索。
2020-02-13 cs.CR cs.LG stat.ML
A Privacy-Preserving DAO Model Using NFT Authentication for the Punishment not Reward Blockchain Architecture
本研究提出一种面向PnR区块链的隐私保护DAO模型,采用部署在Layer 2的双NFT架构实现身份管理与私密交互,在保障安全的同时大幅降低gas成本,并具备抗女巫攻击与合规取证能力。
2025-07-31 cs.CR cs.SE
Privacy-Preserving Policy Synthesis in Markov Decision Processes
在决策问题中,智能体的行为可能会揭示驱动其决策的敏感信息。例如,一家公司的投资决策可能会揭示其对市场动态的敏感知识。为了防止这种类型的信息泄漏,我们引入了一个策略合成算法,保护隐私的转移概率在马尔可夫决策过程。我们使用差分隐私作为隐私的数学定义。该算法首先使用提供差分隐私的机制来扰动转移概率。然后,基于私有化的转移概率,我们综合的政策,使用动态规划。我们的主要贡献是限制“隐私成本”,即,具有隐私的预期总回报与不具有隐私的预期总回报之间的差异。我们还表明,计算隐私成本的时间复杂度是多项式的参数的问题。此外,我们确定,隐私的成本随着差异隐私保护的强度而增加,我们量化了这种增加。最后,在两个示例环境中的数值实验验证了隐私成本和数据隐私保护强度之间的关系。
2020-04-16 cs.CR cs.SY eess.SY
Local Differential Privacy for Bayesian Optimization
Department of ECE(ECE系);The Ohio State University(俄亥俄州立大学);Alibaba, USA(阿里巴巴(美国))
针对当前数据密集型在线学习系统中隐私问题日益受到关注的现状,考虑了非参数高斯过程中具有局部差分隐私(LDP)保证的黑箱优化问题.具体来说,来自每个用户的奖励被进一步损坏以保护隐私,并且学习者只能访问损坏的奖励以最小化遗憾。我们首先推导出任何LDP机制和任何学习算法的遗憾下界。然后,基于GP-UCB框架和Laplace DP机制,提出了三种近似最优算法。在这个过程中,我们还提出了一个新的贝叶斯优化(BO)方法(称为MoMA-GP-UCB)的均值技术和核近似的基础上,它补充了以前的BO算法的重尾收益与降低的复杂性。此外,不同算法在合成和真实世界数据集上的实证比较突出了MoMA-GP-UCB在私人和非私人场景中的优异性能。
2020-10-13 cs.CR cs.LG
Optimized, Direct Sale of Privacy in Personal-Data Marketplaces
最近,我们目睹了许多初创企业的出现,这些企业使个人能够直接向经纪人和企业出售他们的私人数据。虽然这种新模式可能会改变个人和收集数据的公司之间的力量平衡,但它为这些服务的用户提出了一些实际的基本问题:他们应该如何决定哪些数据必须出售,哪些数据受到保护,以及什么是好交易。在这项工作中,我们调查的机制,旨在帮助用户解决这些问题。研究机制依赖于一个硬隐私模型,并允许用户与经纪公司分享部分或完整的个人资料数据,以换取经济奖励。本文的研究目的是从理论上分析这种机制所带来的隐私和金钱之间的权衡。我们采用了一个通用的隐私措施,虽然我们的分析的一部分集中在一些重要的例子布雷格曼分歧。我们找到了一个参数的解决方案的最佳交换隐私的钱的问题,并获得一个封闭的形式的表达和特征之间的权衡配置文件披露的风险和经济回报几个有趣的情况。
2017-01-03 cs.CR cs.CY
Robust and differentially private stochastic linear bandits
Cornell University(康奈尔大学);Google Research(谷歌研究院)
针对随机线性老虎机,本文在批量观测、奖励被任意污染及两种隐私模型下,提出兼具差分隐私与对抗鲁棒性的对数批量查询臂消除算法,并证明遗憾界。
2023-04-23 cs.CR cs.LG stat.ML
Differentially Private Reward Estimation with Preference Feedback
Microsoft Research, India(微软研究院(印度));Wayne State University(韦恩州立大学)
本文研究在成对偏好反馈下保护标注者隐私的奖励估计问题,基于BTL模型给出局部与中心差分隐私下的误差上下界,并揭示不同隐私模型下的额外代价差异。
2023-10-30 cs.CR cs.LG
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara(加州大学圣巴巴拉分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Meta;United States Military Academy(美国军事学院)
提出LeakAgent框架,通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示,显著优于现有方法并能规避防御,助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
Blockchain-based Optimized Client Selection and Privacy Preserved Framework for Federated Learning
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);Blekinge Institute of Technology(布莱金厄理工学院)
本文提出基于区块链的联邦学习框架,通过智能合约优化客户端选择,并利用CKKS全同态加密保护隐私,从而在去中心化条件下提升模型准确率。
2023-07-25 cs.AI cs.CR
Privacy-preserving Loyalty Programs
忠诚度计划由供应商推广,以激励买家的忠诚度。虽然这些计划已经变得普遍,但它们受到了商业专家和消费者协会的批评:忠诚度导致分析,从而失去了消费者的隐私。我们提出了一个协议的隐私保护的忠诚度计划,使供应商和消费者享受忠诚度的好处(返回客户和折扣,分别),同时允许消费者保持匿名,并授权他们决定他们透露多少他们的个人资料给供应商。供应商必须提供额外的奖励,如果他想了解更多的细节,对消费者的个人资料。我们的协议是基于部分盲签名和推广技术,并提供匿名的消费者和他们的购买,同时仍然允许协商消费者分析。
2014-12-01 cs.CR
BlockFLow: An Accountable and Privacy-Preserving Solution for Federated Learning
Massachusetts Institute of Technology(麻省理工学院)
联邦学习使得能够在协作代理之间开发机器学习模型,而不需要它们共享其底层数据。然而,在随机数据上进行训练的恶意代理,或者更糟的是,在结果类倒置的数据集上进行训练的恶意代理,可能会削弱组合模型。BlockFlow是一个负责任的联邦学习系统,完全分散和隐私保护。它的主要目标是根据代理的贡献质量来奖励代理,同时保护底层数据集的隐私并对恶意对手具有弹性。具体来说,BlockFlow结合了差分隐私,为模型贡献引入了一种新的审计机制,并使用以太坊智能合约来激励良好的行为。与现有的联邦学习系统的审计和问责方法不同,我们的系统不需要集中的测试数据集,代理之间的数据集共享,或者一个或多个可信的审计员;它是完全分散的,并且在恶意信任模型中可以抵御高达50%的共谋攻击。当在公共以太坊区块链上运行时,BlockFlow使用审计结果根据各方贡献的质量奖励加密货币。我们在两个数据集上评估了BlockFlow,这些数据集提供了通过逻辑回归模型可解决的分类任务。我们的研究结果表明,由此产生的审计分数反映了诚实的代理人的数据集的质量。此外,不诚实的代理人的得分在统计上低于诚实的代理人。这些结果以及合理的区块链成本证明了BlockFlow作为一个负责任的联邦学习系统的有效性。
2020-07-08 cs.CR cs.LG stat.ML
FedRLHF: A Convergence-Guaranteed Federated Framework for Privacy-Preserving and Personalized RLHF
National University of Singapore(新加坡国立大学);CFAR, A*STAR(新加坡科技研究局CFAR);ETH Zurich(苏黎世联邦理工学院)
本文提出FedRLHF框架,通过联邦学习将RLHF去中心化,在保护隐私的同时实现个性化策略学习,并提供收敛保证与样本复杂度界,实验证明其性能可与集中式RLHF相媲美。
2025-02-08 cs.AI cs.CR cs.LG
The Boomerang protocol: A Decentralised Privacy-Preserving Verifiable Incentive Protocol
本文提出BOOMERANG协议,通过结合密码学黑盒累加器与零知识证明,并在Layer 1区块链上使用智能合约验证,实现了去中心化、隐私保护且高效可验证的激励系统。
2024-10-14 cs.CR
When Crowdsensing Meets Federated Learning: Privacy-Preserving Mobile Crowdsensing System
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
移动众测是一种新兴的感知数据汇集模式,具有可扩展性、低部署成本和分布式等特点。传统的MCS系统受到隐私问题和公平奖励分配的影响。此外,现有的隐私保护MCS解决方案通常关注数据汇集的隐私保护,而不是数据处理的隐私保护。为了解决MCS面临的问题,本文将联邦学习(FL)融入MCS,提出了一种隐私保护的MCS系统\textsc{CrowdFL}。具体来说,为了保护隐私,参与者通过联邦学习在本地处理传感数据,只上传加密的训练模型。特别地,提出了一种隐私保护的联邦平均算法来平均加密的训练模型。为了减少抑制丢弃参与者的计算和通信开销,设计了丢弃和重传策略。此外,设计了一种隐私保护的发布定价激励机制,试图打破隐私保护和数据评估的困境。理论分析和实际MCS应用的实验结果表明,所提出的\textsc{CrowdFL}能够有效地保护参与者的隐私,是可行和有效的。
2021-02-20 cs.CR cs.LG
Proof-of-Data: A Consensus Protocol for Collaborative Intelligence
Singapore Management University(新加坡国立管理学院)
针对去中心化联邦学习的信任与激励难题,提出基于新型PoD共识协议的区块链拜占庭容错框架,解耦训练与贡献核算,兼具效率与共识最终性,可抗1/3拜占庭节点,性能接近中心化方案。
2025-10-06 cs.AI cs.CR
A Privacy-Preserving, Accountable and Spam-Resilient Geo-Marketplace
具有丰富功能的移动设备可以沿着用户轨迹记录视频、交通参数或空气质量读数。虽然这些数据可能很有价值,但用户很少因收集这些数据而获得奖励。新兴的数字市场允许所有者向感兴趣的买家宣传他们的数据。我们专注于地理市场,买家根据地理标签搜索数据。这些市场带来了重大挑战。首先,如果所有者上传带有暴露的地理标签的数据,他们将面临严重的隐私风险。其次,所有者必须对广告数据负责,并且不得允许随后更改地理标签。第三,这样的系统可能容易受到密集的垃圾邮件活动的影响,其中不诚实的所有者用虚假广告淹没系统。我们提出了一个地理市场,解决所有这些问题。我们采用可搜索加密、数字承诺和区块链来保护所有者的位置隐私,同时纳入问责制和垃圾邮件弹性机制。我们实现了一个原型,两种替代设计,获得不同的信任假设和性能之间的权衡。我们在真实位置数据上的实验表明,可以实现上述设计目标,具有实用的性能和合理的财务开销。
2019-09-30 cs.CR
FLock: Defending Malicious Behaviors in Federated Learning with Blockchain
University of Oxford(牛津大学);Imperial College London(帝国理工学院);McGill University(麦吉尔大学)
联邦学习(FL)是一种很有前途的方法,允许多个数据所有者(客户端)协作训练机器学习模型,而不会损害数据隐私。然而,现有的FL解决方案通常依赖于集中式聚合器来进行模型权重聚合,同时假设客户端是诚实的。即使数据隐私仍然可以保留,单点故障和来自恶意客户端的数据投毒攻击的问题仍然没有得到解决。为了应对这一挑战,我们建议使用分布式账本技术(DLT)来实现Flock,这是一个建立在区块链上的安全可靠的分散式联邦学习系统。为了保证模型质量,我们设计了一种新型的点对点(P2P)审查和奖励/斜线机制,以检测和阻止恶意客户端,由链上智能合约提供支持。此外,奖励/削减机制还可以激励参与者诚实地上传和审查Flock系统中的模型参数。因此,Flock以完全P2P的方式提高了FL系统的性能和鲁棒性。
2022-11-05 cs.AI cs.CR cs.GT
Towards a Privacy-Preserving Dispute Resolution Protocol on Ethereum
提出一种基于以太坊的隐私保护争议解决协议,利用 Semaphore 和 MACI 确保隐私与抗攻击,并结合灵魂绑定代币的社会激励机制实现治理。
2023-11-24 cs.CR
Privacy-Preserving Reinforcement Learning Beyond Expectation
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
配备了机器学习算法的网络和网络物理系统(如自动驾驶汽车)与人类共享环境。在这样的设置中,将系统(或代理)行为与一个或多个人类用户的偏好对齐是很重要的。我们考虑的情况下,代理人必须在一个未知的环境中学习行为。我们的目标是捕捉人类的两个定义特征:i)评估和量化风险的倾向,以及ii)保持决策对外部各方隐藏的愿望。我们将累积前景理论(CPT)的强化学习(RL)的问题,前者的目标。对于后者,我们使用差分隐私。我们设计了一种算法,使RL代理能够学习策略,以保护隐私的方式最大化基于CPT的目标,并在奖励足够接近时对算法学习的价值函数的隐私建立保证。这是通过在每一步使用高斯过程机制添加校准噪声来实现的。通过实证评估,我们强调了隐私-效用权衡,并证明RL代理能够以隐私保护的方式学习与同一环境中的人类用户一致的行为
2022-03-18 cs.AI cs.CR cs.LG
Differentially Private Linear Bandits with Partial Distributed Feedback
Virginia Tech(弗吉尼亚理工大学);Wayne State University(韦恩州立大学);Nokia Corporation(诺基亚公司)
针对中央实体收集全局奖励反馈成本高且存在隐私担忧的问题,提出差分隐私分布式阶段消除(DP-DPE)框架,通过部分分布式反馈学习全局模型,实现次线性遗憾与通信成本,并达到“免费”的隐私保护。
2024-03-21 cs.CR cs.LG cs.NA
Federated Learning using Smart Contracts on Blockchains, based on Reward Driven Approach
J.P.Morgan Chase & Co(摩根大通公司)
近年来,联邦机器学习继续获得兴趣和动力,需要从数据中获得见解,同时保护数据提供者的隐私。然而,采用联邦学习的其他现有挑战之一是缺乏公平,透明和普遍认可的奖励联邦学习贡献者的激励计划。区块链网络上的智能合约为网络的所有参与者提供透明、不可变和可独立验证的证明。我们利用区块链上智能合约的这种开放和透明的性质来定义贡献者的激励规则,这是基于一种新的标量-联邦贡献。这种基于智能合约的奖励驱动模型有可能彻底改变企业中联邦学习的采用。我们的贡献是双重的:首先是展示基于智能合约的区块链如何成为联邦学习的一个非常自然的沟通渠道。其次,利用这个基础设施,我们可以展示如何建立每个代理贡献的直观度量,并将其与培训和奖励过程的生存周期集成。
2022-03-26 cs.CR cs.LG
THEMIS: A Decentralized Privacy-Preserving Ad Platform with Reporting Integrity
在线广告助长了(看似)免费的互联网。然而,尽管用户可以免费访问大多数网络服务,但他们在隐私方面付出了沉重的代价。他们被迫信任第三方和中介机构,这些机构不仅收集行为数据,还吸收了大量的广告收入。因此,越来越多的用户选择通过诉诸广告拦截器来退出广告,从而使出版商损失了数百万美元的广告收入。尽管存在各种隐私保护广告提议(例如,Adnostic,Privad,Brave Ads),它们都依赖于集中式管理,用户必须盲目信任而无法审计,同时它们也无法保证他们提供给广告商的每个广告分析的完整性。在本文中,我们设计并部署了THEMIS,这是一个新颖的、分散的、隐私设计的广告平台,需要用户零信任。THEMIS(i)为其参与者提供可验证性,(ii)奖励用户查看广告,以及(iii)允许广告商验证其广告活动的性能和计费报告。通过利用智能合约和零知识方案,我们实现了THEMIS的原型,早期的性能评估结果表明,它可以在多侧链设置上线性扩展,同时在单侧链上支持超过5100万用户。
2021-06-03 cs.CR
WAKU-RLN-RELAY: Privacy-Preserving Peer-to-Peer Economic Spam Protection
在本文中,我们提出了WAKU-RLN-RELAY作为一个垃圾邮件保护gossip为基础的路由协议,可以运行在异构网络。它具有保护隐私的对等(p2p)经济垃圾邮件保护机制。WAKU-RLN-RELAY解决了最先进的p2p垃圾邮件预防技术的性能和隐私问题,包括libp 2 p使用的对等体评分,以及例如,Whisper,以太坊的p2p消息传递层。在WAKU-RLN-RELAY中,垃圾邮件保护通过限制每个网络参与者的消息传递速率来工作。违反利率是不受激励的,因为它会导致经济处罚,其中惩罚是加密保证的。识别垃圾邮件发送者的同行也会得到奖励。为了执行速率限制,我们采用了建议的框架信号量及其扩展版本,但是,我们修改该框架,以适当地解决网络的P2P资源受限的用户的独特要求。目前的工作深入到端到端的信号量集成到WAKU-RLN-RELAY,所需的修改,使其适合资源有限的用户,以及开放的问题和未来的研究方向。我们还提供了WAKU-RLN-RELAY的概念验证开源实现,以及它的规范和粗略的性能评估。
2022-06-30 cs.CR
Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing
对于数据正在成为最有价值资产之一的现代世界来说,植根于网络和应用程序基础设施的强大数据隐私策略正在成为保护敏感用户数据的更大需求。在适当的时候,随着侵犯用户隐私的新统计技术的不断发展,具有尊重用户隐私的算法的机器学习模型可以提供动态自适应的解决方案,以保护用户隐私,对抗数据集创建的指数增长的多维关系。在联邦学习生态系统的核心使用这些隐私感知ML模型可以使整个网络以分散的方式从数据中学习。通过利用移动设备不断增长的计算能力,提高网络可靠性和物联网设备革命性地改变智能设备行业,并将其与由区块链网络支持的安全和可扩展的全球学习会话相结合,以确保设备上的隐私,我们允许任何支持互联网的设备参与并为全球隐私保护贡献数据,使用区块链技术的数据共享网络,甚至允许网络奖励高质量的工作。这种网络架构也可以建立在现有的区块链网络之上,如以太坊和超级账本,这使得即使是小型初创公司也可以构建企业级的去中心化解决方案,允许任何人从公司不同部门的数据中学习,一直到参与全球同步学习网络的数千台设备。
2019-12-10 cs.CR cs.DC cs.LG
Privacy-Preserving UCB Decision Process Verification via zk-SNARKs
Shanghai Jiao Tong University(上海交通大学);University of Copenhagen(哥本哈根大学);Shanghai Jiao Tong University (Wuxi) Blockchain Advanced Research Center(上海交通大学(无锡)区块链先进研究中心)
本文提出zkUCB算法,利用zk-SNARKs在保护多臂老虎机UCB决策中数据和参数隐私的同时实现可验证性,并通过量化比特优化在数据安全与运行效率之间取得平衡。
2024-06-06 cs.CR cs.LG
Privacy Preserving Reinforcement Learning for Population Processes
Australian National University(澳大利亚国立大学)
针对群体过程中强化学习的隐私保护问题,提出一种通过差分隐私机制私有化状态与奖励信号的元算法,并证明其价值函数近似误差随群体规模和隐私预算增加而迅速缩小,实现了合理的隐私-效用权衡。
2024-06-25 cs.CR cs.LG
Incentive Mechanism Design for Privacy-Preserving Decentralized Blockchain Relayers
Ibn Tofail University(伊本·图费勒大学);University Mohammed VI Polytechnic(穆罕默德六世理工大学);International University of Rabat(拉巴特国际大学);University of Quebec at Trois-Rivieres(魁北克大学特罗-里维耶尔分校);Learning and Game Theory Laboratory, TIMADIE(学习与博弈论实验室,TIMADIE);University of Leeds(利兹大学)
本文提出了一种基于博弈论的去中心化中继机制,通过概率上传实现隐私和可靠性的平衡,验证了均衡策略的稳定性与系统鲁棒性。
2026-01-16 cs.CR cs.MA
DMRL: Data- and Model-aware Reward Learning for Data Extraction
Beijing Electronic Science and Technology Institute(北京电子科学技术研究所)
针对现有 LLM 数据提取依赖重复数据、提示工程和随机对抗搜索的问题,本文提出 DMRL,结合逆向强化学习、内省推理数据与 GRPO 奖励模型,实现数据与模型双层面难度自适应,并在多种 LLM 上超越全部基线。
2025-05-07 cs.CR cs.LG
Privacy Preserving Billing in Local Energy Markets with Imperfect Bid-Offer Fulfillment (Long Version)
针对本地P2P能源交易市场的报价履约不完全及细粒度计量数据隐私问题,提出基于同态加密的隐私保护计费结算协议PPBSP,支持多种公平成本分摊机制,经评估具备高效性与可行性。
2023-07-13 cs.CR cs.GT
Smart Contract Coordinated Privacy Preserving Crowd-Sensing Campaigns
本文提出利用智能合约和区块链管理众感知活动,通过匿名化、聚合和去中心化存储保障隐私,并设计激励机制促进参与,模拟验证了系统可行性与数据可信度。
2024-08-20 cs.CR cs.NI
Optimal and Differentially Private Data Acquisition: Central and Local Mechanisms
Fuqua School of Business(福夸商学院);Rotman School of Management(罗特曼管理学院)
本文研究平台从隐私敏感用户处收集数据的最优机制设计,在中心化和本地化差分隐私设置下建立极小极大下界并开发高效算法,实现最优估计与真实报告。
2023-09-06 cs.CR cs.GT cs.LG
How to Incentivize Data-Driven Collaboration Among Competing Parties
大量数据的可用性正在改变我们如何进行医学发现,预测全球市场趋势,节省能源和制定教育策略。在某些情况下,如全基因组关联研究或深度学习,数据的绝对大小似乎至关重要。当数据由多方分布式持有时,他们必须共享数据以获得其全部利益。这场革命的一个障碍是,由于失去隐私或竞争优势等原因,各方缺乏共享数据的意愿。密码学工作解决了隐私方面的问题,但当访问数据带来有形回报时,并没有说明个人的损失/收益。即使很明显,从合作中可以得出更好的总体结论,但合作者个人是否会因为合作而变得更好?解决这一问题是本文的主题。* 我们正式的n方合作计算函数的模型在私人输入,参与者收到他们的输出顺序,顺序取决于他们的私人输入。每个输出根据得分函数在先前的输出上“改进”。* 我们说一种协作机制达到了协作均衡,如果它确保所有参与者在协作时(而不是单独工作)获得更高的回报。我们表明,在一般情况下,计算协作平衡是NP完全的,但我们设计了有效的算法来计算它在一系列的自然模型设置。我们的协作机制是在标准模型中,因此需要一个中央可信方,但是,我们表明,在标准的密码学假设下,这种假设是不必要的。我们展示了如何实现的机制,在一个分散的方式与新的扩展安全多方计算,施加顺序/时间限制输出交付给不同的球员,以及隐私和正确性。
2016-01-11 cs.CR cs.GT
Adaptive Hybrid Masking Strategy for Privacy-Preserving Face Recognition Against Model Inversion Attack
Ant Group(蚂蚁集团);University of Canterbury(坎特伯雷大学);CAICT(中国信息通信研究院)
本文提出一种基于强化学习的自适应混合掩码算法,在频域对人脸图像进行掩码处理,以抵御模型反演攻击,在隐私保护与识别准确率间取得更优平衡。
2024-04-23 cs.CR cs.CV cs.LG
Incentivising the federation: gradient-based metrics for data selection and valuation in private decentralised training
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院)
针对隐私联邦训练中参与激励不足及 DP 噪声影响数据估值的问题,本文评估 VoG 与 PLIS 两种梯度指标,使客户端能在严格隐私设置下进行有原则的数据选择。
2024-04-16 cs.AI cs.CR cs.LG
AdaPrivate-TS: Private Thompson Sampling for Contextual Bandits with Privacy Amplification
School of Engineering, University of Guelph(圭尔夫大学工程学院)
提出AdaPrivate-TS算法,结合汤普森采样与批量zCDP组合,利用差分隐私噪声结构化膨胀后验协方差,在事件级隐私下实现O(√d log T/√ρ)的隐私成本,并通过泊松子采样放大隐私,实验表明在ε∈[0.5,5]时达到非私有性能的93-99%。
2026-06-23 cs.CR cs.LG stat.ML
Hiding in Plain Sight: Differential Privacy Noise Exploitation for Evasion-resilient Localized Poisoning Attacks in Multiagent Reinforcement Learning
University of Nevada, Reno(内华达大学里诺分校)
本文针对协作式多智能体强化学习中的差分隐私机制,提出利用 DP 噪声绕过异常检测的局部投毒攻击 PeLPA,并通过多环境实验验证其对收敛、步数和计算开销的显著破坏。
2023-07-13 cs.CR cs.LG cs.MA
Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy
University of Windsor(温莎大学)
针对大语言模型记忆训练数据引发的隐私风险,提出基于PPO强化学习、以负相似度得分为奖励的相异性策略框架,可在保持生成质量的同时有效缓解各类场景下的近似记忆问题。
2023-05-02 cs.CL cs.CR cs.LG
ER-AE: Differentially Private Text Generation for Authorship Anonymization
McGill University(麦吉尔大学);Queen’s University(女王大学);Zayed University(扎耶德大学)
大多数文本数据的隐私保护研究都集中在删除显式敏感标识符上。然而,个人写作风格作为作者身份的一个强有力的指标,却常常被忽视。最近的研究,如SynTF,在隐私保护文本挖掘方面取得了可喜的成果。然而,他们的匿名化算法只能输出数字术语向量,这对接收者来说很难解释。我们提出了一种新的文本生成模型与两组指数机制的作者匿名。通过REINFORCE训练奖励函数增加语义信息,该模型可以生成与原始文本具有紧密语义和相似语法结构的差异化私人文本,同时去除写作风格的个人特征。它不假设任何有条件的标签或文本数据用于训练。我们评估了所提出的模型在现实生活中的同行评议数据集和Yelp评论数据集上的性能。结果表明,我们的模型优于国家的最先进的语义保存,作者混淆,和文体转换。
2021-05-13 cs.CL cs.CR cs.LG
MetaTrading: An Immersion-Aware Model Trading Framework for Vehicular Metaverse Services
Department of Mathematics and Information Technology, The Education University of Hong Kong(香港教育大学数学与信息技术系);Pillar of Information Systems Technology and Design, Singapore University of Technology and Design(新加坡科技设计大学信息系统技术与设计学院);School of Automation, Guangdong University of Technology(广东技术大学自动化学院);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Department of Computer Science and Engineering, Kyung Hee University(韩国成均馆大学计算机科学与工程系)
针对车载元宇宙服务中数据延迟、隐私风险和计算负担问题,提出基于联邦学习的沉浸感知模型交易框架,通过设计模型沉浸度指标、激励机制及深度强化学习算法,有效激励用户贡献高价值模型并提升系统性能。
2025-09-18 cs.CR cs.GT cs.LG