To Distill or Decide? Understanding the Algorithmic Trade-off in Partially Observable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Aurora Innovation
本文通过受扰Block MDP理论模型与模拟运动实验，揭示特权专家蒸馏和标准RL的权衡取决于隐动力学随机性，且最优隐策略未必最适合蒸馏。
2026-10-23 cs.LG
The Rise of Sparse Mixture-of-Experts: A Survey from Algorithmic Foundations to Decentralized Architectures and Vertical Domain Applications
FEDIMOSS TECH HK LIMITED（FEDIMOSS科技（香港）有限公司）；Ormi Labs, Inc.（Ormi实验室有限公司）
本文综述了稀疏混合专家模型从算法基础到去中心化架构及垂直领域应用的发展，系统探讨了其核心原理、去中心化范式和关键挑战，为研究者和实践者提供全面的参考。
2026-02-08 cs.AI cs.LG
Adaptive Semantic Communication for Wireless Image Transmission Leveraging Mixture-of-Experts Mechanism
Polytechnic Institute, Zhejiang University（浙江大学竺可桢学院）；College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）
本文提出一种多阶段端到端图像语义通信系统，利用自适应MoE Swin Transformer块，通过动态专家门控机制提升MIMO通道下的传输效率与重建质量。
2026-10-07 cs.LG
Towards Model-informed Precision Dosing with Expert-in-the-loop Machine Learning
National Sun Yat-sen University（中山大学）；Kaohsiung Medical University Hospital（高雄医科大学医院）
机器学习（ML）及其应用一直在改变我们的生活，但它也带来了与公平、负责任、透明和道德人工智能发展相关的问题。由于机器学习模型还不能完全理解，很明显，我们仍然需要人类参与算法决策过程。在本文中，我们考虑了一个ML框架，该框架可以通过将人类专家纳入模型学习循环来加速模型学习并提高其可解释性。我们提出了一种新的人在回路ML框架，旨在处理学习问题，数据注释的成本很高，缺乏适当的数据来建模目标任务和输入特征之间的关联。通过应用于精确给药，我们的实验结果表明，该方法可以从数据中学习可解释的规则，并可能通过用规则表示编辑代替数据注释来降低专家的工作量。该方法还可以通过将专家的反馈引入到迭代模型学习过程中来帮助消除算法偏差。
2021-06-29 cs.LG stat.AP stat.ML
Leveraging Expert Input for Robust and Explainable AI-Assisted Lung Cancer Detection in Chest X-rays
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）；NHS Lothian（洛锡安国家健康服务）
本文研究了基于InceptionV3的肺癌检测模型的可解释性和鲁棒性，提出ClinicXAI方法，通过专家驱动的思路生成临床相关解释，并在对抗攻击下表现出更强的鲁棒性。
2025-03-28 cs.CV cs.LG
Auditing for Human Expertise
MIT（麻省理工学院）
本文提出一个统计假设检验框架，用于判断人类专家预测在给定特征条件下是否与结果独立，从而审计人类专业知识是否能为算法增加价值，并在急性胃肠道出血入院决策数据中验证了该方法的实用性。
2024-11-25 cs.CY cs.LG stat.ML
Online Algorithmic Recourse by Collective Action
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文研究在线算法救济设定，提出用户通过集体行动联合计算特征扰动以动态影响系统参数更新，实验证明该方法能有效改善救济效果并缓解不利自动化决策。
2023-12-29 cs.LG
Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression
TU Darmstadt（达姆施塔特工业大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Aalto University（阿尔托大学）；Centre for Cognitive Science TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
受高斯过程（GP）的专家近似领域的最新进展的启发，我们提出了一种基于专家的方法，使用单输出GP专家的大规模多输出回归。采用通过概率电路编码的单输出GP的深度结构化混合物，使我们能够准确地捕获多个输出维度之间的相关性。通过递归地划分协变量空间和输出空间，我们模型中的后验推理简化为对单输出GP专家的推理，这只需要以观察结果的一小部分为条件。我们表明，在我们的模型中可以准确有效地进行推理，它可以捕获输出维度之间的相关性，因此，通常优于不包含输出间相关性的方法，如在负对数预测密度方面的几个数据集上所示。
2021-08-01 cs.LG stat.ML
Composition of Experts: A Modular Compound AI System Leveraging Large Language Models
SambaNova Systems（SambaNova系统公司）
本文提出模块化复合 AI 系统 CoE，通过路由器和类别到专家映射动态选择多个 LLM 专家，并借助 SambaNova SN40L RDU 高效部署，在 Arena-Hard 与 MT-Bench 上以较低激活参数取得优异成绩。
2024-12-02 cs.AI cs.CL cs.LG
Who is a Better Matchmaker? Human vs. Algorithmic Judge Assignment in a High-Stakes Startup Competition
本研究在哈佛创新挑战赛中比较了AI算法（HLSE）与人类专家的评委分配质量，发现两者无显著差异，但算法更高效，可扩展，支持高风险决策。
2025-10-14 cs.AI cs.CL cs.CY
IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts
University of Toronto（多伦多大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；New York University（纽约大学）
针对LLM智能体单步优化机器学习流水线导致优化不稳定且收敛慢的问题，提出迭代细化策略并实现端到端框架IMPROVE，通过逐步更新组件显著提升了目标分类性能。
2025-09-16 cs.CV cs.LG
(Machine) Learning to Improve the Empirical Performance of Discrete Algorithms
UC Davis Computer Science（加州大学戴维斯分校计算机科学）；UC Davis Mathematics（加州大学戴维斯分校数学）
本文讨论了一个数据驱动的，基于算法的框架，使算法决策或建议，而无需专家知识。我们提高了两个算法的案例研究的性能：选择一个枢纽规则的单纯形方法和选择的所有对最短路径算法。我们训练机器学习方法，以在没有人类专家意见的情况下为给定数据选择最佳算法。我们使用两种类型的技术，神经网络和提升决策树。基于我们的实验，我们得出结论：1）我们的选择框架推荐了各种枢轴规则，这些规则与仅使用固定的默认枢轴规则相比，可以提高整体性能。多年来，专家们将最陡边枢轴规则确定为最受欢迎的枢轴规则。我们的数据分析证实，最陡边的迭代次数不超过4%，而最优选择证实了人类专家的知识，但这次的知识是使用机器学习获得的。在这里，我们的推荐系统在使用梯度提升树时是最好的。2)对于全对最短路径问题，训练的模型有很大的改进，我们的选择平均距离最优选择0.07%。结论似乎不受我们使用的机器学习方法的影响。我们试图对这两个算法问题进行并行分析，但很明显，它们存在内在差异。例如，在所有对最短路径问题中，图密度是一个合理的预测因子，但在单纯形方法中没有类似的单个参数用于决策。
2021-09-29 cs.LG math.CO math.OC
ColonScopeX: Leveraging Explainable Expert Systems with Multimodal Data for Improved Early Diagnosis of Colorectal Cancer
Swansea University（斯旺西大学）；Swansea University Medical School（斯旺西大学医学院）
ColonScopeX提出一个结合血液信号与患者元数据的多模态可解释机器学习框架，利用XAI提升结直肠癌早期检测的透明度和准确性，可作为分诊或筛查工具。
2025-04-09 cs.AI cs.CV cs.HC
Leveraging Implicit Expert Knowledge for Non-Circular Machine Learning in Sepsis Prediction
Heidelberg University（海德堡大学）；University of Manitoba（曼尼托巴大学）
败血症是非冠状动脉重症监护病房的主要死亡原因。此外，严重脓毒症患者的抗生素治疗仅延迟几个小时与死亡率增加相关。这种见解使得早期预测败血症的准确模型成为医疗保健机器学习的关键任务。先前的方法已经通过从电子健康记录中学习来实现高AUROC，其中脓毒症标签是根据建立的临床标准自动定义的。我们认为，纳入临床标准，用于自动定义地面真实脓毒症标签的严重程度评分模型的功能的做法是固有的循环和妥协的有效性提出的方法。我们建议通过电子问卷记录主治医生对患者脓毒症状态的日常判断，利用临床医生的隐性知识为脓毒症研究创建一个独立的基础事实。我们表明，尽管它的大小很小，我们的数据集允许实现最先进的AUROC分数。对线性模型标准化特征的学习权重的检查可以让我们推断出潜在的令人惊讶的特征贡献，并允许解释看似违反直觉的发现。
2019-09-20 cs.LG q-bio.QM stat.ML
Leveraging Crowdsourcing Data For Deep Active Learning - An Application: Learning Intents in Alexa
Delft University of Technology（代尔夫特理工大学）；Amazon Research（亚马逊研究院）
本文提出了一个通用的贝叶斯框架，使任何深度学习模型能够主动地从目标人群中学习。我们的框架继承了贝叶斯深度学习的最新进展，并通过考虑有针对性的众包方法扩展了现有的工作，其中具有未知专业知识的多个注释者贡献了不受控制的注释量（通常是有限的）。我们的框架利用注释中的低秩结构来学习个体注释者的专业知识，然后帮助从嘈杂和稀疏的注释中推断出真正的标签。它提供了一个统一的贝叶斯模型来同时推断真实标签和训练深度学习模型，以达到最佳的学习效果。最后，我们的框架利用预测过程中深度学习模型的不确定性以及注释者的估计专业知识，以最大限度地减少所需的注释和注释者的数量，从而最佳地训练深度学习模型。我们使用合成和真实世界的数据集来评估我们在Alexa（亚马逊的个人助理）中进行意图分类的框架的有效性。实验表明，与最先进的方法相比，我们的框架可以准确地学习注释者的专业知识，推断出真实的标签，并有效地减少模型训练中的注释量。我们进一步讨论了我们提出的框架在桥接机器学习和众包向改进的人在环系统的潜力。
2018-03-12 cs.LG cs.SI stat.ML
Dealing with Expert Bias in Collective Decision-Making
Université Libre de Bruxelles（布鲁塞尔自由大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；UC Berkeley（加州大学伯克利分校）；National Research Council（国家研究委员会）
相当多的现实问题可以表述为决策问题，其中一个人必须反复从一组备选方案中做出适当的选择。多个专家的判断，无论是人为的还是人工的，都有助于做出正确的决定，特别是在探索替代解决方案的成本高昂的情况下。由于专家的意见可能会偏离，找到正确的替代方案的问题可以作为一个集体决策问题（CDM）通过聚合的独立判断。目前最先进的方法集中在有效地找到最佳的专家，因此，如果所有的专家都不合格，或者如果他们过于偏颇，从而可能会偏离决策过程，表现不佳。在本文中，我们提出了一个新的算法方法的基础上上下文多臂强盗问题（CMAB），以识别和抵消这种偏见的专业知识。我们探讨同质，异质和极化的专家组，并表明这种方法能够有效地利用集体的专业知识，优于国家的最先进的方法，特别是当提供的专业知识的质量下降。我们的新的CMAB启发的方法实现了更高的最终性能，这样做，同时收敛速度比以前的自适应算法。
2022-08-29 cs.AI cs.LG
Of Moments and Matching: A Game-Theoretic Framework for Closing the Imitation Gap
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
我们提供了一个统一的观点，以前的模仿学习算法通过镜头的时刻匹配的大家庭。在其核心，我们的分类方案是基于学习者是否试图匹配（1）奖励或（2）专家行为的行动价值时刻，每个选项导致不同的算法方法。通过考虑学习者和专家行为之间的对立选择分歧，我们能够推导出适用于这些类中的所有算法的政策性能的界限，这是我们所知的第一个。我们还介绍了瞬间可恢复性的概念，隐含在许多以前的分析模仿学习，这使我们能够清楚地描绘如何以及每个算法家族能够减轻复合错误。我们推导出三种新的算法模板（AdVIL，AdRIL和DAeQuIL）具有强有力的保证，简单的实现，和竞争力的经验性能。
2021-06-10 cs.LG cs.RO stat.ML
Leveraging existing sparse point annotations for benthic imagery dense segmentation
Universidad de Zaragoza（萨拉戈萨大学）；Berklee College of Music（伯克利音乐学院）；University of Washington（华盛顿大学）
本研究结合SAM2基础模型与底栖图像的稀疏专家点标注，提出自动筛选可靠点的机制以生成高质量伪真值掩码，训练细粒度分割模型，还引入新基准推进生态分析。
2026-08-19 cs.CV cs.LG
D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions
George Washington University（乔治·华盛顿大学）；Universidad Politécnica de Madrid（马德里理工大学）；Children’s National Hospital（儿童国家医院）；Nvidia Corporation（英伟达公司）
本文提出领域专用放射学助手D-Rax，通过微调LLaVA-Med并结合MIMIC-CXR数据、VQA对及多专家模型预测，提升胸部X光对话分析的准确性，以辅助临床诊断。
2024-08-02 cs.AI cs.CL cs.LG
Towards Enhanced RAC Accessibility: Leveraging Datasets and LLMs
Universidad de Barcelona（巴塞罗那大学）；Universidad Nacional de Colombia（哥伦比亚国立大学）；Fund. Univ. Los Libertadores（自由者大学基金会）
为提升哥伦比亚航空条例（RAC）的可访问性，研究构建了含24478条专家标注问答对的首个RAC数据集，结合Unsloth、flash attention等技术微调Gemma1.1 2b模型，为降低RAC理解门槛、减少专家咨询依赖奠定基础。
2024-05-14 cs.AI cs.LG
Every Sample Matters: Leveraging Mixture-of-Experts and High-Quality Data for Efficient and Accurate Code LLM
Ant Group（蚂蚁集团）
本研究提出高效代码大语言模型Ling-Coder-Lite，结合MoE架构与高质量数据构建方法，在12个基准上性能比肩同规模SOTA模型，部署资源较同规模稠密模型减少50%，并开源相关模型与数据。
2025-03-22 cs.AI cs.CL cs.LG
Bayesian Inference for Correlated Human Experts and Classifiers
University of California, Irvine（加州大学欧文分校）；GE HealthCare（GE医疗）；Stripe
本文提出一个通用贝叶斯框架，通过联合潜在表示建模专家相关性，在利用预训练分类器概率估计的同时以最少人工查询实现高准确率预测，并在医学分类及CIFAR-10H、ImageNet-16H上验证了显著降低查询成本的效果。
2025-06-05 cs.AI cs.LG
Combinatorial Optimization for All: Using LLMs to Aid Non-Experts in Improving Optimization Algorithms
Artificial Intelligence Research Institute (IIIA-CSIC)（人工智能研究所（IIIA-CSIC））
该研究提出利用大语言模型辅助非专业人士改进现有组合优化算法，通过在10种不同领域的基线优化算法上针对旅行商问题开展实验，验证了该方法可在解质量、计算效率和代码简洁性上实现提升，降低了算法优化的专业门槛。
2025-07-18 cs.AI cs.CL cs.LG
ELMoE-3D: Leveraging Intrinsic Elasticity of MoE for Hybrid-Bonding-Enabled Self-Speculative Decoding in On-Premises Serving
KAIST（韩国科学技术院）；Samsung Electronics（三星电子）；GIST（全南国立大学）
本文提出ELMoE-3D框架，结合缓存加速与推测解码，通过弹性自推测解码实现跨批处理大小的整体加速，提升内存效率与能效。
2026-11-04 cs.AI cs.AR cs.DC
Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出协同监督学习，通过多样化专门教师组成的层次化专家混合框架，交替优化学生训练与教师分配并强制一致性约束，从而改进弱到强泛化。
2024-02-23 cs.AI cs.CV cs.LG
Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation
Harvard University（哈佛大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们认为，通过随机对照试验（RCT）的算法资源分配的政策进行评估的任务。这些政策的任务是优化有限干预资源的利用，以最大限度地扩大所产生的惠益。通过随机对照试验对这种分配政策进行评估证明是困难的，尽管试验的规模很大，因为通过控制政策决定的资源限制，个人的结果是不可分割地相互关联的。我们的主要贡献是提出了一个新的估计器，利用我们提出的新概念，这涉及到在RCT结束时跨实验组的参与者的回顾性重新洗牌。我们确定的条件下，这种再确认是允许的，可以利用构建反事实的审判，其结果可以准确地确定，免费的。我们从理论上证明，这样的估计是更准确的比常见的估计的基础上样本均值-我们表明，它返回一个无偏估计，同时减少方差。我们通过对合成、半合成以及真实案例研究数据的实证实验证明了我们方法的价值，并全面提高了估计精度。
2023-02-06 cs.AI cs.LG stat.ME
Active Fairness in Algorithmic Decision Making
MIT（麻省理工学院）
社会越来越依赖于机器学习模型来进行自动化决策。然而，自动化带来的效率提升伴随着对算法歧视的担忧，这种歧视可能会使不平等现象系统化。最近的工作提出了最佳的后处理方法，随机分类决策的一小部分个人，以实现公平的措施有关的奇偶性错误和校准。然而，这些方法引起了人们的关注，由于信息效率低下，组内的不公平性，和帕累托次优，它们所带来的。目前的工作提出了一种替代的主动框架，公平的分类，其中，在部署中，决策者自适应地获取信息，根据不同的群体或个人的需要，对平衡的差异分类性能。我们提出了两种这样的方法，其中信息收集是适应组和个人层面的需求分别。我们在现实世界的数据集上展示了这些可以实现的：1）校准和单错误奇偶校验（例如，机会均等）;以及2）假阳性率和假阴性率的均等（即，等赔率）。此外，我们表明，通过利用其额外的自由度，主动方法可以大大优于先前认为最佳的基于随机化的分类器，同时避免组内不公平等限制。
2018-11-07 cs.AI cs.CY cs.LG
