Optimizing the Wisdom of the Crowd: Inference, Learning, and Teaching
Arizona State University（亚利桑那州立大学）
对大量数据的前所未有的需求催化了人类洞察与机器学习技术相结合的趋势，这促进了使用众包来有效且高效地获取标签信息。众包领域的经典研究主要集中在分类环境下的标签推理问题。然而，推断真实标签需要复杂的聚合模型，这些模型通常只能在某些假设下表现良好。同时，无论聚合模型多么复杂，生成人群标签的真实模型仍然是未知的。因此，标签推理问题永远不能完美地推断出地面真理。基于众包标签是丰富的并且利用聚合将丢失这种丰富的注释信息（例如，哪个工人提供哪个标签），我们认为，关键是要考虑众包工人的不同标签能力以及它们的相关性。为了应对上述挑战，我们建议解决三个研究问题，即推理，学习和教学。
2018-06-23 cs.HC cs.LG stat.ML
Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles
SND / CNRS / Sorbonne University（SND / 法国国家科学研究中心 / 索邦大学）
研究探讨大语言模型群体是否有群体智慧，通过让15个LLMs对254个二元预测市场问题进行概率估计，评估经典和学习型聚合方法，发现学习型聚合器表现优，训练截止污染影响结果，表明LLM群体有群体智慧效应，但可靠评估需无污染评估。
2026-07-24 cs.AI cs.LG
WoCE: a framework for clustering ensemble by exploiting the wisdom of Crowds theory
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
群体智慧理论作为一种社会科学理论，在计算机科学中得到了一种新的范式。WOC理论解释说，如果满足特定的条件，一个群体做出的总体决策往往比其个体成员做出的决策更好。本文提出了一种新的框架，无监督和半监督聚类集成利用WOC理论。我们在WOC理论中采用了四个条件，即，多样性、独立性、分散性和聚集性，指导个体聚类结果的构建和聚类集成的最终组合。首先，独立性准则，作为一种新的映射系统的原始数据集上，删除我们提出的方法的特征之间的相关性。然后，分散作为一种新的机制产生高质量的个人聚类结果。其次，均匀性作为一个新的多样性度量评估生成的聚类结果。在此基础上，提出了一种加权证据累积聚类方法，无需阈值处理即可进行最终聚类。不同数据集上的实验研究表明，该方法取得了优越的性能，国家的最先进的方法。
2016-12-20 cs.LG stat.ML
Wisdom of the Crowds in Forecasting: Forecast Summarization for Supporting Future Event Prediction
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Innsbruck（因斯布鲁克大学）
针对传统预测方法因无法捕捉事件语义信息导致复杂事件预测不可靠的问题，梳理基于群体智慧聚合个体预测以支持未来事件预测的现有研究与框架，讨论挑战、数据集、改进方向并提出新数据模型。
2025-02-12 cs.CL cs.IR cs.LG
Causal Discovery Should Embrace the Wisdom of the Crowd
Department of Industrial and Systems Engineering, University of Washington（华盛顿大学工业与系统工程系）；Department of Applied Mathematics, Illinois Institute of Technology（伊利诺伊理工学院应用数学系）；Department of Electrical & Computer Engineering, Texas A&M University（德克萨斯阿灵顿大学电气与计算机工程系）
本文探讨了因果学习中大众智慧范式的发展，提出通过分布式和基于群体的方法整合分散的因果知识，构建全局因果结构，并呼吁跨学科合作。
2026-05-10 cs.ET cs.HC cs.LG
Descriptive and Predictive Analysis of Euroleague Basketball Games and the Wisdom of Basketball Crowds
在这项研究中，我们专注于预测的篮球比赛在欧洲联赛的竞争中使用机器学习建模。预测是一个二元分类问题，预测一场比赛是以1（主场胜利）还是2（客场胜利）结束。数据收集自欧洲联赛官方网站2016-2017、2017-2018和2018-2019赛季，即新格式时代。从匹配数据中提取特征，并应用现成的监督机器学习技术。我们校准和验证我们的模型。我们发现，简单的机器学习模型在测试集上的准确率不超过67%，比一些复杂的基准模型更差。此外，这项研究的重要性在于“篮球人群的智慧”，我们展示了一群篮球爱好者的预测能力如何超越本研究中讨论的机器学习模型。我们认为，为什么这组“专家”的准确性水平应该被设定为基准，为未来的研究在预测（欧洲）篮球比赛使用机器学习。
2020-02-19 cs.LG stat.AP stat.ML
Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Rival Human Crowd Accuracy
MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本研究通过十二个LLM的集成预测，证明其准确性可与人类群体预测相媲美，且引入人类中位数预测可提升模型准确性17%-28%。
2024-07-22 cs.AI cs.CL cs.CY
Wisdom of the Crowd: Incorporating Social Influence in Recommendation Models
推荐系统最近受到了相当大的关注。然而，大多数研究都集中在提高协同过滤（CF）技术的性能。社交网络不可或缺地为我们提供了关于人们偏好的额外信息，应该加以考虑和部署，以提高推荐的质量。本文基于社会传染和社会影响网络理论，提出了两种推荐模型，分别针对个人和群体。在个体推荐模型中，引入社会传染结果对协同过滤预测结果进行改进，模拟了决策过程中信息级联的结果。在群体推荐模型中，我们运用社会影响网络理论，将群体成员之间的人际影响纳入到推荐模型中，形成一个固定的意见分歧模式，然后对群体成员的意见进行聚合。通过引入感受性和人际影响的概念，使评分结果具有一定的灵活性，并倾向于评分为“必要”的成员。
2013-05-17 cs.IR cs.LG cs.SI
The Wisdom of the Crowd: High-Fidelity Classification of Cyber-Attacks and Faults in Power Systems Using Ensemble and Machine Learning
School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA, USA（电气与计算机工程学院，佐治亚理工学院，美国亚特兰大，GA）
本文提出了一种高保真评估框架，利用电磁暂态仿真与数字变电站仿真在4.8kHz下评估基于机器学习的网络攻击和物理故障分类方法，通过训练12种机器学习模型并在实时流环境中评估，展示了在流式环境中MLP的鲁棒覆盖性和集成模型的异常精度。
2025-11-10 cs.LG cs.SY eess.SY
Neuro-Symbolic Traders: Assessing the Wisdom of AI Crowds in Markets
Simudyne Limited（Simudyne有限公司）
本文提出神经符号交易者，利用视觉-语言模型和随机微分方程建模资产价值，在虚拟市场中测试其对价格动态的影响，发现会导致价格抑制并威胁市场稳定性。
2024-10-18 cs.LG q-fin.CP
Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness
stanford（斯坦福大学）；amazon（亚马逊）
研究发现，扩展计算量无法提升LLM在无验证领域的诚实性，因模型错误高度相关，聚合方法反而放大误解。
2026-02-20 cs.AI cs.LG
Reward Modeling with Ordinal Feedback: Wisdom of the Crowd
Imperial College Business School, Imperial College London（伦敦帝国理工学院商学院）；HKUST-GZ（香港科技大学（广州））；University of North Carolina（北卡罗来纳大学）
本文提出基于序数反馈的奖励建模框架，将二元偏好推广到任意粒度，通过边际无偏性条件和群体智慧理论证明其统计优势，并验证细粒度及打平样本能提升奖励学习效果。
2024-11-19 cs.AI cs.CL cs.LG
MixEval: Deriving Wisdom of the Crowd from LLM Benchmark Mixtures
National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出MixEval，通过混合现成基准构建高效、黄金标准的LLM评估范式，实现与Chatbot Arena 0.96的排名相关性，兼具低成本、可复现和动态更新优势。
2024-10-12 cs.AI cs.CL cs.LG
CKmeans and FCKmeans : Two deterministic initialization procedures for Kmeans algorithm using a modified crowding distance
LISIA Laboratory, NTIC faculty, university of Constantine2（康斯坦丁第二大学NTIC学院LISIA实验室）
本研究针对K-means聚类初始化问题，提出基于改进拥挤距离的确定性初始化方法CKmeans和FCKmeans，选取更拥挤点为初始质心，实验证明其聚类准确率优于Kmeans与Kmeans++，为改进K-means提供新方向。
2023-05-01 cs.LG
Frugal Knowledge Graph Construction with Local LLMs: A Zero-Shot Pipeline, Self-Consistency and Wisdom of Artificial Crowds
Avignon Université, Laboratoire d’Informatique d’Avignon (LIA)（阿维尼翁大学，阿维尼翁计算机科学实验室（LIA））
本文提出一种多模型零样本流水线，用于知识图谱构建与利用，通过本地推理在消费级硬件上执行。研究了自一致性与人工群体智慧在多跳推理中的应用，展示了系统在零样本条件下的性能提升及碳足迹。
2026-04-13 cs.AI cs.IR cs.LG
Foolish Crowds Support Benign Overfitting
Stanford University（斯坦福大学）；Google（谷歌）
本文证明了在超参数化条件下，高斯数据线性回归稀疏插值过程的超额风险的一个下界。我们应用这个结果来获得一个下界的基础追求（最小$\ell_1$ -范数插值），这意味着它的超额风险可以收敛在一个指数比OLS（最小$\ell_2$ -范数插值）慢的速度，即使地面真理是稀疏的。我们的分析揭示了类似于“群体智慧”的效果的好处，除了这里通过在许多方向上传播$\textit{noise}$来改善拟合$\textit{noise}$所产生的危害-方差减少来自$\textit{foolish}$群体。
2022-03-17 cs.LG math.ST stat.ML
Combining Multiple Clusterings via Crowd Agreement Estimation and Multi-Granularity Link Analysis
Sun Yat-sen University（中山大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
聚类集成技术旨在将多个聚类组合成一个可能更好、更鲁棒的聚类，近年来受到越来越多的关注。现有的聚类集成方法主要存在两个方面的局限性。首先，许多方法缺乏在不访问原始数据的情况下对基本聚类进行加权的能力，并且可能受到低质量甚至不良聚类的显著影响。其次，它们通常集中在集成系统的实例级或集群级，未能将多粒度线索集成到一个统一的模型中。为了解决这两个局限性，本文提出了通过人群一致性估计和多粒度链接分析来解决聚类集成问题。我们提出了归一化的人群一致性指数（NCAI），以评估质量的基础聚类在无监督的方式，从而根据其聚类有效性的基础聚类的权重。为了探索簇之间的关系，源感知连接三元组（SACT）的相似性方面，他们的共同邻居和源的可靠性。基于NCAI和多粒度信息收集的基础聚类，集群，数据实例，我们进一步提出了两个新的共识函数，加权证据积累聚类（WEAC）和图划分与多粒度链接分析（GP-MGLA）。实验在八个真实世界的数据集上进行。实验结果证明了该方法的有效性和鲁棒性。
2016-06-03 cs.LG stat.ML
Clustering Via Crowdsourcing
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
近年来，众包，也就是人类辅助计算，已经成为一个有效的平台，用于解决被认为是复杂的机器单独的问题。使用人力是费时和昂贵的，由于货币补偿。因此，基于人群的算法必须明智地使用通过自动化过程计算的任何信息，并自适应地向人群提出最少数量的问题。一个已经受到显著关注的这样的问题是{ \em实体解析}。形式上，我们给出了一个图$G=(V,E)$与未知的边缘集$E$，其中$G$是一个联盟的$k$（再次未知，但通常是大的$O(n^α)$，为$α>0$）不相交的集团$G_i(V_i, E_i)$，$i =1, \dots, k$。我们的目标是检索集$V_i$ s，使最小数量的成对查询$V \times V\to\{\pm1\}$的一个oracle（人群）。当每个查询的答案都是正确的时，例如通过重新搜索，这就简化为在图中找到连接的组件。另一方面，当人群答案可能不正确时，它对应于在最小数量的噪声输入上聚类。甚至，对于完美的答案，可以显示$Θ(nk)$关于查询复杂度的简单的下限和上限。本文的一个主要贡献是减少查询的复杂性，以线性或甚至次线性$n$时，温和的边信息是由机器提供的，甚至在存在的人群错误，这是无法纠正的通过重新排序。我们开发了新的信息理论的查询复杂性的下限与边信息和错误的聚类，我们的上限密切配合。我们的算法是自然的并行化，并给出了接近最优的边界上所需的自适应轮数匹配的查询复杂度。
2016-04-07 cs.DS cs.IT cs.LG
Public Wisdom Matters! Discourse-Aware Hyperbolic Fourier Co-Attention for Social-Text Classification
IIIT Delhi（德里英迪拉·甘地信息技术研究所）；LinkedIn（领英）；IIT Delhi（印度理工学院德里分校）
社交媒体已经成为所有形式的沟通的支点。对假新闻、谣言、讽刺等社交文本进行分类已经引起了极大的关注。社交文本本身表达的表面信号可能不足以完成这些任务;因此，最近的方法试图结合其他内在信号，如用户行为和底层图形结构。通常情况下，通过对社交文本的评论/回复表达的“公共智慧”可以替代众包观点，并可能为我们提供补充信号。社会文本分类的最先进的方法往往会忽略这样一个丰富的层次信号。在这里，我们提出了Hyphen，一个话语感知的双曲谱共同注意力网络。连字符是双曲线图表示学习与新的傅立叶协同注意力机制的融合，试图通过纳入公共话语来概括社会文本分类任务。我们将公共话语解析为抽象意义表示（AMR）图，并使用强大的双曲几何表示来建模具有层次结构的图。最后，我们为它配备了一个新的傅立叶共注意力机制，以捕捉源帖子和公共话语之间的相关性。在四个不同的社交文本分类任务上进行的广泛实验，即检测假新闻，仇恨言论，谣言和讽刺，表明Hyphen具有良好的泛化能力，并在十个基准数据集上取得了最先进的结果。我们还使用了一个经过事实检查和注释的数据集来评估Hyphen如何能够产生解释作为最终预测的类似证据。
2022-10-11 cs.CL cs.LG cs.SI
CrowdTSC: Crowd-based Neural Networks for Text Sentiment Classification
Zhejiang University（浙江大学）；Alibaba–Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Aalborg University（奥尔堡大学）；Singapore Management University（新加坡管理大学）
情感分类是内容分析中的一项基本任务。尽管与浅层模型相比，深度学习在文本分类方面表现出了良好的性能，但它仍然无法训练令人满意的文本情感分类器。在理解和捕捉文本的情感极性方面，人类比机器学习模型更复杂。在本文中，我们利用人类智能的力量进行文本情感分类。提出了一种基于群体的神经网络用于文本情感分类的方法。我们设计问题并发布在众包平台上，以收集文本中的关键字。抽样和聚类被用来降低众包的成本。此外，我们提出了一个基于注意力的神经网络和一个混合神经网络，将收集的关键字作为人类的指导到深度神经网络。在公共数据集上进行的大量实验证实，CrowdTSC的性能优于最先进的模型，证明了基于人群的关键字指导的有效性。
2020-04-26 cs.HC cs.LG
Stagewise Learning for Sparse Clustering of Discretely-Valued Data
EM在学习乘积分布的混合物时的性能通常取决于初始化。这在众包和其他应用中可能是有问题的，例如，当少量的“专家”被大量嘈杂的、不可靠的参与者稀释时。我们开发了一个新的期望最大化算法，是由这些专家。与其他方法不同的是，我们从一个单一的混合类开始。然后，该算法开发的一组“专家”在一个阶段的方式的基础上的互信息标准。在每个阶段，EM都对参与者的这个子集进行操作，有效地规范了E而不是M步骤。实验表明，分阶段EM优于众包和神经科学应用的其他初始化技术，并可以引导一个完整的EM获得的结果与那些知道确切的分布。
2016-05-28 cs.LG q-bio.QM stat.ML
