Uncertainty-Aware Trust Estimation for Multi-LLM Systems via Structured Expert Judgement
DigitLab, University of Exeter(数字实验室,埃克塞特大学)
研究多语言模型聚合问题,核心方法是采用结构化专家判断,通过上下文感知校准问题及库克式对数加权估计专家可靠性,主要贡献是在异构和受污染情况下实现更好的准确性-可靠性平衡,强调聚合时需校准信任。
2026-07-24 cs.AI cs.LG
Modelling Cyber-Security Experts' Decision Making Processes using Aggregation Operators
University of Nottingham(诺丁汉大学)
网络安全专家的一个重要作用是在设计阶段对拟议的计算机系统进行评估。这项任务充满了困难和不确定性,使得人类专家提供的知识对于成功评估至关重要。如今,越来越多的系统日趋复杂,迫切需要开发工具,支持专家主导的系统安全评估进程。在这项研究中,我们使用加权平均值(WA)和有序加权平均值(OWA)与进化算法(EA)创建聚合运营商的评估过程的模型的一部分。我们展示了如何个人的整体评级的安全组件可以产生从他们的特点的评级,以及如何将这些个人的整体评级可以汇总到一个系统上产生的潜在攻击的整体排名。除了识别潜在系统中的突出攻击和弱点外,该方法还突出了哪些因素和安全组件分别对组件的难度和攻击排名贡献最大。在真实世界的场景中,专家被要求对一组技术攻击进行排名,并回答一系列关于攻击主题的安全组件的问题。这项工作展示了如何自动化寻找良好的聚合运算符,并识别网络安全问题的重要组件和因素。由此产生的运算符有可能用作系统设计人员和网络安全专家的决策辅助工具,增加了可用有限资源实现的评估量。
2016-08-30 cs.AI cs.CR
CoMoE: Collaborative Optimization of Expert Aggregation and Offloading for MoE-based LLMs at Edge
Harbin Institute of Technology(哈尔滨工业大学);Hong Kong University of Science and Technology(香港科技大学);Guangdong University of Technology(广东工业大学);University of Science and Technology Beijing(北京科技大学)
针对移动边缘环境下部署MoE大模型面临的内存与延迟挑战,提出CoMoE框架,通过协同优化专家聚合与卸载策略,在保持模型性能的同时大幅降低内存占用和推理延迟。
2025-08-10 cs.AI cs.NI
Robust Decision Aggregation with Adversarial Experts
School of Computer Science, Peking University(北京大学计算机学院)
本文研究存在对抗性专家时的鲁棒决策聚合问题,提出截断均值聚合器及其随机版本,证明其在L1和L2损失下最优,并扩展到多状态设定,同时给出更一般设定下的负结果。
2025-02-06 cs.AI cs.LG
MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Nanyang Technological University(南洋理工大学)
MEXA提出无需训练的框架,通过模态和任务感知的动态多专家选择与聚合,结合大型推理模型,在视频、音频、3D和医学问答等基准上超越强基线,实现通用多模态推理。
2025-10-25 cs.AI cs.CL cs.CV
DADAgger: Disagreement-Augmented Dataset Aggregation
Dagger是一种模仿算法,它通过查询专家在训练过程中遇到的所有样本来聚合其原始数据集。为了减少查询的样本数量,我们提出了一个修改DAGGER,称为DADAgger,它只查询专家的状态-动作对是分布(OOD)。OOD状态通过测量每个状态上的模型集合的动作预测的方差来识别,我们使用dropout来模拟。在Car Racing和Half Cheetah环境中的测试实现了与Dagger相当的性能,但减少了专家查询,并且比随机抽样基线性能更好。我们还表明,我们的算法可以用来构建高效,平衡的训练数据集,运行没有初始数据,只查询专家来解决不确定性。
2023-01-03 cs.AI cs.LG cs.RO
Online Aggregation of Probability Forecasts with Confidence
本文介绍了专家建议预报(PEA)的数值试验和一些理论发展。一个实验涉及根据温度预测电力消耗,并使用真实数据。由于依赖的模式可以随着季节和一天中的时间而变化,该领域自然允许PEA与具有不同“专业领域”的专家一起制定。我们考虑的情况下,几个竞争的方法产生在线预测的概率分布函数的形式。概率预测和结果之间的差异由损失函数(评分规则)来衡量。连续结果的评分规则的一个流行示例是连续排序概率评分(CRPS)。在本文中,结合概率预测的问题被认为是在PEA框架。证明了CRPS是一个可混合的损失函数,并给出了以CRPS为损失函数的Vovk聚集算法的后悔时间上界.此外,我们将一个“平滑”的版本的专门专家的方法在这个计划中,使我们能够结合概率预测的专业专家重叠域的能力。
2021-09-29 cs.AI cs.LG
Aggregating Learned Probabilistic Beliefs
Stanford University(斯坦福大学)
我们考虑的任务聚合的信念severalexperts。我们假设这些信念被表示为概率分布。我们认为,任何aggregationtechnique的评价取决于这个任务的语义上下文。我们提出了一个框架,在这个框架中,我们假设自然界从一个“真实”的分布中生成样本,不同的专家根据他们有机会观察到的数据子集形成他们的信念。自然,理想的总分布应该是从组合样本集中得到的。这样一个配方导致一个自然的方式来衡量的准确性的聚集mechanism.We表明,著名的聚集算子LinOP是理想地适合于这项任务。我们提出了一个基于LinOP的学习算法,灵感来自贝叶斯学习技术,它聚集了专家的分布表示为贝叶斯网络。我们的初步实验表明,该算法在实际中表现良好。
2013-01-10 cs.AI
Optimal Transport Aggregation for Distributed Mixture-of-Experts
IRT SystemX(IRT系统X);Normandie Univ, UNICAEN, CNRS, LMNO(诺曼底大学、UNICAEN、CNRS、LMNO)
本文提出基于最优传输的分布式MoE模型聚合方法,通过减少传输分歧构建全局估计器,实现高效且低通信开销的分布式学习。
2026-10-14 cs.AI cs.DC cs.LG
Mimic Embedding via Adaptive Aggregation: Learning Generalizable Person Re-identification
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Longfor Inc.(龙湖集团)
领域可推广(DG)人员再识别(ReID)旨在在训练时不访问目标领域数据的情况下跨未知领域进行测试,这是一个现实但具有挑战性的问题。与假设不同领域具有相同模型的方法相比,混合专家模型(MoE)利用多个特定领域的网络来利用领域之间的互补信息,获得了令人印象深刻的结果。然而,现有的基于MoE的DG ReID方法随着源域数量的增加而遭受较大的模型大小,并且大多数方法忽略了对域不变特征的利用。针对这两个问题,本文提出了一种基于自适应聚合的伪嵌入方法(Meta)。为了避免模型规模过大,Meta中的专家不为每个源域采用分支网络,而是共享除批量归一化层之外的所有参数。除了多个专家之外,Meta还利用了实例规范化(IN)并将其引入到全局分支中,以跨域追求不变特征。同时,Meta通过归一化统计考虑未知目标样本与源域的相关性,并开发了一个聚合模块来自适应地集成多个专家以模仿未知目标域。受益于拟议的一致性损失和情节训练算法,Meta有望模仿嵌入一个真正看不见的目标域。大量的实验证明,Meta超过国家的最先进的DG人的ReID方法的大幅度。我们的代码可在https://github.com/xbq1994/META上获得。
2022-07-21 cs.AI cs.CV
Towards secure judgments aggregation in AHP
Silesian University in Opava(奥帕瓦西里西亚大学)
针对 GAHP 中专家可能操纵判断的问题,本文提出基于异常判断和低一致性的两种启发式检测方法,通过降低操纵者权重减少其对群体共识的影响,并用示例与仿真验证。
2023-04-03 cs.AI cs.CY
RoboFL: Federated Expert Assembly for World Action Models
Peking University(北京大学);Nanjing University(南京大学);Simon Fraser University(西蒙弗雷泽大学);Hong Kong University of Science and Technology(香港科技大学)
RoboFL通过MoSAIC联邦专家组装和FARD/PCEA机制,解决世界行动模型数据稀缺与异构问题,在Franka手臂上超越集中式基线12.23%,并减少86.81%通信。
2026-09-29 cs.AI cs.RO
Unsupervised Opinion Aggregation -- A Statistical Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出无需真实标签、依据专家间一致性估计可靠性的无监督朴素贝叶斯观点聚合方法,并证明其渐近最优,可用于批量、在线及有限观点决策。
2023-08-20 cs.AI cs.LG eess.SP
Pooling of Causal Models under Counterfactual Fairness via Causal Judgement Aggregation
University of Oslo(奥斯陆大学)
在本文中,我们考虑的问题,由不同的专家提供的多个概率因果模型的组合下,聚合模型满足反事实公平的标准的要求。我们建立在机器学习中因果模型和公平性的工作基础上,我们表达了在意见池框架内组合多个模型的问题。我们提出了两个简单的算法,接地理论的反事实的公平性和因果判断聚合,保证生成聚合概率因果模型尊重公平的标准,我们比较他们的行为的玩具案例研究。
2018-10-01 cs.AI cs.CY
Logit-Aware MIMO AirComp for Distributed Mixture-of-Experts LLM Inference over Wireless Edge Networks
Chongqing University(重庆大学);City University of Hong Kong (Dongguan)(香港城市大学(东莞));Shenzhen Future Network of Intelligence Institute(深圳未来智能网络研究院);the Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
针对无线边缘分布式MoE推理的聚合瓶颈,提出logit感知的MIMO AirComp框架,联合优化接收合并与预编码,在30dB下保留99.3%的GSM8K准确率,显著优于传统AirComp。
2026-10-06 cs.AI cs.IT cs.LG
Monotone Retargeting for Unsupervised Rank Aggregation with Object Features
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过聚合一组专家意见排序列表来学习对象之间的真实排序是从社会选择理论到自然语言处理和搜索聚合的许多应用中的重要且普遍存在的问题。我们研究了无监督等级聚合的问题,其中没有地面真理订购信息可用,无论是关于任何一组对象之间的真实偏好排序,也没有关于个人排名列表的质量。以这种无监督的方式聚合经常不一致和质量差的排名列表是一个极具挑战性的问题,并且标准的基于共识的方法通常定义不清,难以解决。在这篇手稿中,我们提出了一个新的框架来绕过这些问题,使用对象属性来增强标准的排名聚合框架。我们设计的算法,学习联合模型的排名列表和对象的功能,以获得一个聚合的排名排序,是更准确和强大的,也有助于淘汰排名列表的可疑的有效性。我们验证我们的技术在合成数据集,我们的算法是能够估计真正的排名排序,即使当排名列表被损坏。在MQ2008、MQ2008和OHSUMED三个真实数据集上的实验表明,与现有的不使用对象信息的秩聚合方法相比,使用对象特征可以显著提高性能。此外,当至少有一些排名列表是高质量的,我们的方法能够有效地利用他们的高专业知识,输出一个聚合的排名排序的高精度。
2016-05-14 cs.AI cs.LG stat.ML
GraphFAS: A Distributed System for Automated Graph Feature Generation and Selection in Industrial Transaction Networks
Ant Group(蚂蚁集团);Nanjing University(南京大学)
GraphFAS提出基于Boruta的分布式图特征自动生成与选择系统,通过非参数化多跳子图提取和多尺度聚合构建可解释特征,在支付宝部署中实现工程效率数量级提升并优于基线。
2026-09-09 cs.AI cs.DC cs.LG
Dealing with Expert Bias in Collective Decision-Making
Université Libre de Bruxelles(布鲁塞尔自由大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);UC Berkeley(加州大学伯克利分校);National Research Council(国家研究委员会)
相当多的现实问题可以表述为决策问题,其中一个人必须反复从一组备选方案中做出适当的选择。多个专家的判断,无论是人为的还是人工的,都有助于做出正确的决定,特别是在探索替代解决方案的成本高昂的情况下。由于专家的意见可能会偏离,找到正确的替代方案的问题可以作为一个集体决策问题(CDM)通过聚合的独立判断。目前最先进的方法集中在有效地找到最佳的专家,因此,如果所有的专家都不合格,或者如果他们过于偏颇,从而可能会偏离决策过程,表现不佳。在本文中,我们提出了一个新的算法方法的基础上上下文多臂强盗问题(CMAB),以识别和抵消这种偏见的专业知识。我们探讨同质,异质和极化的专家组,并表明这种方法能够有效地利用集体的专业知识,优于国家的最先进的方法,特别是当提供的专业知识的质量下降。我们的新的CMAB启发的方法实现了更高的最终性能,这样做,同时收敛速度比以前的自适应算法。
2022-08-29 cs.AI cs.LG