Peer Prediction for Learning Agents
对等预测是指当无法直接验证所获得的信息时，从人类代理中获取信息的机制的集合。它们被设计成一个博弈论均衡，每个人都如实地透露自己的私人信息。这个结果在代理是贝叶斯的假设下成立，并且他们每个人都在所有任务中采用固定的策略。然而，在许多领域中观察到人类代理在顺序设置中表现出学习行为。在本文中，我们探讨了动态的顺序同行预测机制时，参与者是学习代理。我们首先表明，没有后悔的概念，单独的代理的学习算法不能保证收敛到真实的战略。然后，我们专注于一个家庭的学习算法的策略更新只依赖于代理的累积奖励，并证明代理的策略在流行的相关协议（CA）机制收敛到真实的报告时，他们使用这个家庭的算法。这个算法族不一定是无遗憾的，但包括几个熟悉的无遗憾学习算法（例如乘法权重更新和跟随扰动领导者）作为特例。对该算法族中的几种算法以及该算法族之外的$ε$ -贪心算法的仿真结果表明，该算法在CA机制中收敛于真实策略。
2022-10-27 cs.GT
Learning and Strongly Truthful Multi-Task Peer Prediction: A Variational Approach
University of Michigan（密歇根大学）；Harvard University（哈佛大学）
同伴预测机制通过将代理的报告与他们的同伴的报告进行比较，激励代理即使在没有验证的情况下也如实地报告他们的信号。在无细节的多任务环境中，智能体对多个独立同分布的任务进行响应，并且该机制不知道智能体信号的先验分布。我们的目标是提供一个$ε$ -强真实的机制，诚实的奖励代理“严格”比任何其他策略配置文件（与$ε$添加剂错误），并这样做，而需要尽可能少的任务。我们设计了一个家庭的机制与评分功能，将一对报告的分数。如果评分函数是“先验理想”，则该机制是强真实的，并且只要评分函数足够接近理想的，则$ε$ -强真实。这将上述机制设计问题简化为学习问题--具体地说，学习理想的评分函数。我们利用这种减少来获得以下三个结果。1)我们将展示如何获得良好的界限所需的不同类型的先验任务的数量。我们的减少适用于无数的连续信号空间设置。这是第一个针对多任务设置设计的连续信号的对等预测机制。2)我们将展示如何将一个代理的信号（给定其他代理的信号）的软预测器转换为一种机制。这允许实际使用机器学习算法，即使在许多代理提供噪声信息时也能给出良好的结果。3)对于有限信号空间，我们得到了任意随机相关先验的$ε$ -强真实机制，它是最大可能先验。相比之下，先前的工作只实现了较弱的真实性概念（知情真实性）或需要对先前的假设更强。
2020-09-30 cs.GT cs.LG
Incentivizing Truthful Language Models via Peer Elicitation Games
UCLA（加州大学洛杉矶分校）；UC Berkeley（伯克利大学）
本文提出无需训练或微调的博弈论框架 PEG，利用多模型同伴评估、基于行列式的互信息效用和在线学习，激励 LLM 诚实输出，并证明次线性遗憾与诚实 Nash 均衡收敛，实验显示事实准确性显著提升。
2025-10-19 cs.AI cs.GT cs.LG
Dominantly Truthful Multi-task Peer Prediction with a Constant Number of Tasks
在参与者被问到多个类似的可能是主观的多项选择问题的设置中（例如，你喜欢熊猫快递吗？你喜欢Chick-fil-A吗？Y/N），设计了一系列的同伴预测机制来激励诚实报告，其中一些实现了显性真实性：说真话是一种显性策略，并在一定的温和条件下严格优于其他"非排列策略"。然而，一个主要问题阻碍了这些机制的实际使用：它们要求参与者执行无限数量的任务。当参与者执行有限数量的任务时，这些机制只能实现近似的主导真实性。存在一个占主导地位的真实的多任务同行预测机制，只需要有限数量的任务仍然是一个悬而未决的问题，可能有一个负面的结果，即使有充分的先验知识。本文回答了这个问题，提出了一种新的机制，基于确定性的互信息机制（DMI机制），这是占主导地位的真实任务的数量至少是2C和参与者的数量至少是2。C是每个问题的选择数（对于二元选择题，C = 2）。除了激励诚实的报告外，DMI-Mechanism还可以转换为信息评估规则，当至少有3个参与者时，该规则可以识别高质量的信息而无需验证。据我们所知，DMI-Mechanism是第一个适用于有限数量任务的主要真实机制，而不是一个小的恒定数量的任务。
2019-11-01 cs.GT econ.TH
Stochastically Dominant Peer Prediction
DIMACS, Rutgers University（罗格斯大学DIMACS研究中心）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出随机占优真实性机制，以增强同伴预测机制的诚实性，通过二元彩票评分和新机制在保持敏感度的同时提高效率。
2026-03-20 cs.AI cs.GT
Peer Prediction with Heterogeneous Tasks
同伴预测是一种在无法验证响应质量的环境中促进用户贡献信息的方法。在多任务对等预测中，来自多个任务的用户的报告用于对贡献进行评分。本文扩展了相关协议（CA）的多任务同行预测机制，允许从用户的报告是异构的任务，每个与不同的分布响应。动机来自于想要引出关于城市中的地方的用户生成的内容，其中任务不同，因为地方和关于地方的问题不同。我们证明了广义CA机制在弱条件下是真实的，这意味着它对用户投入精力和获取信息是严格有益的，并且真实的报告是投入精力时的最佳策略，也是一个均衡。我们证明了该机制具有良好的激励性能时，来自谷歌本地指南的用户报告的分布模拟测试。
2017-10-06 cs.GT
Truthful Information Elicitation from Hybrid Crowds
假设一个决策者想通过从人群中获取和聚集信息来预测明天的天气。决策者如何激励群众如实报告他们的信息？许多真实的同行预测机制已经提出了同质代理，其类型来自相同的分布。然而，在许多情况下，人口是一个混合人群的不同类型的代理人与不同形式的信息，决策者既没有任何个人的身份，也没有在人群中的每种类型的代理人的比例。忽视主体间的异质性可能导致信息效率低下，从而导致决策的次优。在本文中，我们提出了第一个框架，从混合人群的信息获取，和两个机制，激励代理如实报告他们的信息。第一种机制通过线性变换将两种机制结合起来，第二种机制基于互信息。通过这两种机制，决策者可以从混合群体中收集高质量的信息，并学习代理人的专业知识。
2021-07-21 cs.GT
Truthfulness Despite Weak Supervision: Evaluating and Training LLMs Using Peer Prediction
Center for Human-Compatible Artificial Intelligence（兼容人类的人工智能中心）；University of California, Berkeley（加州大学伯克利分校）
通过同伴预测方法，利用弱监督提升大语言模型的真实性，有效对抗欺骗并增强评估可靠性。
2026-01-28 cs.AI cs.CL cs.GT
Peer Truth Serum: Incentives for Crowdsourcing Measurements and Opinions
现代决策工具基于对大量数据的统计分析，这些数据通常是通过查询多个个体来收集的。我们考虑通过众包进行数据汇集，在众包中，独立和自私的代理人，非专家，报告测量结果，如传感器读数，意见，如产品评论，或对人类智能任务的回答。由于信息的准确性与获得信息的努力呈正相关，因此自利的代理人倾向于报告低质量的数据。因此，有必要采取奖励措施，以支付努力的成本，同时阻止随意报告。我们提出了一种新的激励机制，称为同行真理血清，鼓励真实和准确的报告，表明它是唯一的机制，以满足理想的属性的组合。
2017-04-18 cs.GT
Information Gathering with Peers: Submodular Optimization with Peer-Prediction Constraints
我们研究了一个问题，从多个数据提供者，需要激励提供准确的信息的最佳信息收集。这个问题出现在许多依赖于众包数据集的现实世界应用程序中，但其中获取数据的过程是昂贵的。这种场景的一个值得注意的例子是人群感知。为此，我们制定的最佳信息收集的问题作为最大化的子模块化功能的预算约束下，其中的预算表示的总预期支付给数据提供商。与现有的方法相反，我们将我们的支付基于对准确性和真实性的激励，特别是{ \em peer-prediction}方法，该方法将每个选定的数据提供者与其最佳同行进行评分，同时确保最低预期支付高于给定阈值。我们首先表明，手头的问题是很难近似在一个常数因子，不依赖于支付函数的属性。然而，对于给定的拓扑和分析性质的情况下，我们构造了两个贪心算法，分别称为PPCGreedy和PPCGreedyIter，并建立理论界上的性能w.r.t.最佳解决方案。最后，我们使用一个现实的人群感知测试平台来评估我们的方法。
2017-11-24 cs.GT
A Budget Feasible Peer Graded Mechanism For IoT-Based Crowdsourcing
我们开发和扩展了最近的一系列工作的机制设计异构任务分配问题的“众包”。我们考虑的预算市场由多个任务请求者和多个物联网设备作为任务执行者组成;每个任务请求者都被赋予一个单独的任务以及公开的预算。此外，每个物联网设备都有执行任务的成本和质量的估值，这是私有的。在这种情况下，目标是为每个任务选择物联网设备的子集，使得总支付在预算的分配配额内，同时达到阈值质量。为了确定物联网设备的未知质量，我们利用了对等分级的概念。在本文中，我们精心设计了一个真实的预算可行机制;即针对调查中的问题的TUBE-TAP，这也使我们能够获得有关物联网设备质量的真实信息。进行模拟，以衡量我们提出的机制的功效。
2018-10-17 cs.GT
Prior-free Data Acquisition for Accurate Statistical Estimation
我们研究了数据分析师的问题，即在预期的预算约束下，从自利的个体中获取数据，以获得对人口统计量的准确估计。每个数据持有者都会产生一个成本，这是数据分析师不知道的，以获取和报告他的数据。成本可以与数据任意相关。数据分析师有一个预期预算，她可以用它来激励个人提供他们的数据。我们的目标是设计一个联合收购估计机制，以优化性能的生产估计，没有任何先验信息的基础分布的成本和数据。我们研究两种类型的估计：无偏点估计和置信区间估计。无偏估计量：我们设计了一个真实的，个人理性的，在线的机制，从个人获取数据，并输出一个无偏估计的人口平均值时，数据分析师没有先验信息的成本数据分布和个人到达随机顺序。该机制的性能与最佳机制的性能相匹配，最佳机制知道真实的成本分布，并且在一个常数因子内。在最坏情况下，估计量的性能通过其方差来评估。置信区间：当数据分析师一开始就知道真实的成本分布时，我们描述了一种近似最佳（在因子$2$内）机制，用于获得总体均值的置信区间。这种机制是有效可计算的。然后，我们设计了一个真实的，个人理性的，在线算法，只是比近似最优机制差一个常数因子。在最坏情况下，估计量的性能通过其期望长度来评估。
2019-05-14 cs.GT
Online Mechanism Design for Information Acquisition
该研究针对信息获取场景的机制设计问题，提出了最优激励相容机制的高效计算方法，并针对全反馈与老虎机反馈两种在线场景给出带 regret 与约束违反量保证的算法及紧下界。
2023-06-12 cs.GT
Carrot and Stick: Eliciting Comparison Data and Beyond
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
针对主观比较数据难以真实诱导的问题，提出基于强随机传递性的奖惩式同伴预测机制，实现说真话为最优策略的对称强真实均衡，并拓展至伊辛模型下的网络化数据场景，经真实数据集验证理论结论。
2024-10-30 cs.GT
Online Truthful Mechanisms for Multi-sided Markets
多边市场机制的研究越来越受到研究界的关注，并受到网络和电子商务中此类市场的众多例子的推动。这些例子中的许多代表了动态和不确定的环境，因此，实际上需要在线机制。不幸的是，据我们所知，以前没有任何一个多边市场（甚至是双边市场）的在线机制能够（近似）最大化贸易收益，同时保证理想的经济属性，如激励诚实，自愿参与和避免预算赤字。在这项工作中，我们提出了第一个在线机制的多边市场具有上述属性。我们的机制是为[Feldman and Gonen（2016）]建议的市场环境而设计的;这是由可预见的未来在线广告形式所推动的。我们设定的在线性质促使我们定义了一个更强的个体理性概念，称为“持续的个体理性”，捕捉了玩家永远不会因为参与机制或过早离开而失败的自然要求。满足连续的个人理性的要求，以及我们的机制保证的其他经济属性，需要该机制使用一种新的定价方案，在该机制的执行过程中，用户可以获得持续的增量支付到一个预先知道的最大值。由于用户在现实中很少得到报酬，这种定价方案对于机制设计来说是新的。然而，它所基于的原则可以在许多常见的现实生活场景中观察到，例如高管薪酬支付和公司收购交易。我们相信，我们新的动态定价方案概念和我们强化的个人理性概念都具有独立的利益。
2016-09-06 cs.GT
Isotonic Mechanism for Exponential Family Estimation in Machine Learning Peer Review
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文将保序机制扩展到指数族分布，利用作者指定的投稿排名增强机器学习会议同行评审，证明了该机制的激励相容性和估计优越性，并通过ICML 2023数据验证了其效果。
2025-02-11 cs.GT cs.LG econ.TH
Mutual Evaluation and Supervision without Peers
Stanford University（斯坦福大学）
本文提出一种无需同侪的相互评估与监督机制，通过批评者规则和条件独立复制实现真实报告激励，产生无偏信息分数，并分析策略性影响。
2026-09-18 cs.GT cs.IT math.IT
It Takes Two: A Peer-Prediction Solution for Blockchain Verifier's Dilemma
针对区块链验证者因成本缺乏诚实验证动机的困境，本文提出拜占庭鲁棒的对等预测框架，设计单阶段贝叶斯真实机制，无需真实值即可激励验证者诚实验证，增强区块链等系统的安全性与稳健性。
2025-08-20 cs.CR cs.GT
Incentivizing Information Acquisition
HSBC Business School, Peking University（汇丰商学院，北京大学）
研究通过委托-代理模型探讨如何激励代理人获取信息，提出一个必要充分条件确保存在简单阈值转移机制，适用于文献中常见信号分布。
2026-05-02 cs.GT econ.TH
The Square Root Agreement Rule for Incentivizing Truthful Feedback on Online Platforms
The University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of California Berkeley（加州大学伯克利分校）
在电子商务平台上获得产品或服务评价的一个主要挑战是，在缺乏可核查性的情况下，如何获得提供信息的答复。本文提出了平方根一致性规则（SRA）：一种简单的奖励机制，激励对此类平台上的客观评价做出真实的回应。在这种机制中，只有当她的答案与她的同伴的答案相匹配时，代理才能获得评价的奖励，其中该奖励与答案的受欢迎程度指数成反比。该指数被定义为经验频率的平方根，在该经验频率下，任何两个执行相同评估的代理在平台上操作的类似实体的评估中就特定答案达成一致。因此，很少同意的答案比同意相对更常见的答案获得更高的奖励。我们发现，在许多任务制度下，真实的均衡SRA是严格的支付优势，在大类的自然均衡，可能会出现在这些设置，从而增加其通过的可能性。虽然存在实现这种保证的其他机制，但它们要么对响应分布施加额外的假设，这些假设通常不满足客观评估，要么只有当每个代理执行大量的评估并承诺对每个评估使用相同的策略时，它们才会激励真实的行为。SRA是第一个已知的激励机制，满足这种保证，而不施加任何这样的要求。此外，我们的实证研究结果表明，在存在轻微的主观性或观察偏差的反应，SRA的激励属性的鲁棒性。这些特性使得SRA对于管理基于奖励的激励计划（例如，回扣、折扣、信誉分数等）在在线平台上。
2022-02-24 cs.AI cs.GT cs.MA
Ex-Ante Truthful Distribution-Reporting Mechanisms
本文针对拍卖者不知买家真实价值分布的事前分布报告场景，提出阈值增强机制和 Peer-Max 机制，在保证事前激励相容的同时实现先验无关的收入近似最优，并给出匹配的收入上界及多单位扩展。
2025-07-05 cs.GT econ.TH
Eliciting Honest Information From Authors Using Sequential Review
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
提出顺序评审机制，在更现实的效用假设下诚实地从作者处获取论文质量排名信息，从而提高接收论文质量、减少评审工作量并激励作者撰写更少且更高质量的论文。
2023-11-24 cs.AI cs.GT
Online Information Acquisition: Hiring Multiple Agents
本文研究多智能体 costly information 获取的机制设计，提出多项式时间最优激励相容机制，并在未知智能体在线交互中给出达到 \widetilde{\mathcal{O}}(T^{2/3}) 遗憾的无悔算法。
2023-07-12 cs.GT
Crowdsourced Outcome Determination in Prediction Markets
Duke University（杜克大学）；Microsoft Research（微软研究院）
预测市场是一个有用的手段，聚集有关未来事件的信息。为了发挥作用，市场需要一个可信的实体，最终将验证真实的结果。受最近引入的去中心化预测市场的启发，我们引入了一种机制，该机制允许由一组仲裁者的投票决定结果，这些仲裁者本身可能持有市场的股份。尽管存在潜在的利益冲突，我们得出的条件下，我们可以激励仲裁者使用从市场费用筹集的资金来实现同行预测机制，如实投票。最后，我们研究了什么参数值可以用于我们的机制在现实世界中的实现。
2016-12-14 cs.AI cs.GT
Incentive-Compatible Recovery from Manipulated Signals, with Applications to Decentralized Physical Infrastructure
Harvard（哈佛大学）；Columbia University（哥伦比亚大学）；a16z crypto（a16z加密部门）
本文提出首个刻画从不可信源获取不可验证信息的形式化模型，建立源可识别性条件并构造严格真实机制，证明其唯一均衡性，并将结果应用于 DePIN 中的位置证明和带宽证明。
2025-03-10 cs.ET cs.GT cs.LG
Data-Free Evaluation of User Contributions in Federated Learning
Shanghai Jiao Tong University（上海交通大学）；Missouri University of Science and Technology（密苏里科技大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Alibaba Group（阿里巴巴集团）
联邦学习（FL）使用每个设备的私有数据和计算资源以分布式方式在移动设备上训练机器学习模型。一个关键的问题是评估个人用户的贡献，以便（1）用户在模型训练中的努力可以通过适当的激励来补偿，（2）恶意和低质量的用户可以被检测和删除。最先进的解决方案需要一个代表性的测试数据集用于评估目的，但这样的数据集往往是不可用的，很难合成。在本文中，我们提出了一种方法称为成对相关协议（PCA）的基础上的同行预测的思想来评估用户的贡献在FL没有测试数据集。PCA使用用户上传的模型参数的统计相关性来实现这一点。然后，我们应用PCA设计（1）一个新的联邦学习算法称为Fed-PCA，和（2）一个新的激励机制，保证真实性。我们使用MNIST数据集和一个大型工业产品推荐数据集来评估PCA和Fed-PCA的性能。实验结果表明，Fed-PCA算法在准确性上优于经典的FedAvg算法和其他基准算法，同时，PCA有效地激励用户真实地行为。
2021-08-24 cs.GT cs.LG
Sample Complexity of Peer Prediction
Columbia University（哥伦比亚大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Northwestern University（西北大学）
该研究刻画了同伴预测中互信息无偏估计量的样本复杂度，确定了不同样本量下唯一的互信息，提出了DMI的改进估计量，还发现提前停止估计量可降低方差及存在可在少于三个样本内估计的互信息。
2026-08-18 cs.GT cs.IT math.IT
Optimal Data Acquisition with Privacy-Aware Agents
我们研究了希望从隐私感知代理收集私人数据的数据分析师或平台所面临的问题。为了激励参与，作为对这些数据的交换，平台以使用所有代理提交的数据计算的统计数据的形式向代理提供服务。代理商通过考虑加入平台的隐私成本和他们从获得统计数据中获得的利益来决定是否加入平台（并如实披露他们的数据）或不参与。平台必须确保统计数据是以差异化的方式私下计算的，并选择一个中心噪声水平添加到计算中，但也可以通过根据不同代理的异构隐私偏好（平台已知）在计算中为不同代理提供不同权重来诱导个性化隐私水平（或成本）。我们假设平台的目标是优化统计数据的准确性，并且必须选择每个代理的隐私级别，以在i）激励更多参与和ii）为估计增加更少噪音之间进行权衡。我们提供了一个半封闭的形式表征的代理权重的最佳选择的平台在我们的模型的两个变体。在这两个模型中，我们确定了一个共同的非平凡的结构，在平台的最优解：一个实例特定数量的代理与最严格的隐私要求被汇集在一起，并给予相同的权重，而其余的代理的权重减少作为其隐私要求的强度的函数。我们还提供了算法的结果，如何找到最佳值的噪声参数所使用的平台和给予代理的权重。
2022-09-13 cs.CY cs.GT
Optimal and Differentially Private Data Acquisition: Central and Local Mechanisms
Fuqua School of Business（福夸商学院）；Rotman School of Management（罗特曼管理学院）
本文研究平台从隐私敏感用户处收集数据的最优机制设计，在中心化和本地化差分隐私设置下建立极小极大下界并开发高效算法，实现最优估计与真实报告。
2023-09-06 cs.CR cs.GT cs.LG
Buying Private Data without Verification
我们考虑的问题，设计一个调查，从一个隐私敏感的人口聚集不可验证的信息：分析师希望计算一些总的统计数据从每个成员的人口持有的私人位，但不能验证参与者在他的调查报告的位的正确性。人口中的个体是具有隐私成本的策略代理人，\ie，他们不仅考虑了他们期望从机制中获得的支付，而且考虑了他们的隐私成本，这些隐私成本来自机制的结果-计算的统计数据以及支付-以确定他们的效用。当个体战略性地决定是否参与和是否如实报告他们的敏感信息时，分析师如何设计支付方案以获得对总体统计数据的准确估计？我们设计了一个差分私人同行预测机制，支持准确估计的人口统计作为贝叶斯-纳什均衡的设置，代理人有明确的偏好隐私。该机制需要关于比特$b_i$的边缘先验分布的知识，但不需要关于成本$c_i$的边缘分布的全部知识，而是仅需要近似的上限。我们的机制保证$ε$ -差分隐私每个代理$i$对任何对手谁可以观察到的统计估计输出的机制，以及支付给$n-1$其他代理$j\neq i$。最后，我们表明，通过对每个代理的隐私成本函数进行稍微更结构化的假设，随着代理数量的差异，运行调查的成本将由$0$承担。
2014-04-24 cs.CR cs.DS cs.GT
A Semi-supervised Sensing Rate Learning based CMAB Scheme to Combat COVID-19 by Trustful Data Collection in the Crowd
Central South University（中南大学）；Hunan First Normal University（湖南第一师范学院）；Beijing Normal University（北京师范大学）；Hunan University of Science and Technology（湖南科技大学）
本文提出 SCMABA 激励机制，结合组合多臂老虎机逆向拍卖与半监督感知率学习，解决 MCS 中未知策略型工人的招募问题，实现真实性与个体合理性，有效抵御虚假数据攻击。
2023-06-22 cs.AI cs.DC cs.GT
