MRxaI: Black-Box Explainability for Image Classifiers in a Medical Setting
King’s College London(伦敦国王学院)
本文在脑癌MRI数据集上比较多种黑盒解释方法与gradcam的性能,发现多数黑盒工具不适用于医学图像分类,但基于因果的rex表现与gradcam相当。
2023-11-24 cs.AI cs.CV
Investigating Advanced Reasoning of Large Language Models via Black-Box Interaction
College of Artificial Intelligence, Nanjing University of Aeronautics(人工智能学院,南京航空航天大学);School of Electronics Engineering(电子工程学院);Computer Science, Peking University(计算机科学,北京大学);Theta Health Inc.(Theta健康公司)
本文提出黑盒交互评估范式及Oracle基准,发现LLMs在交互推理中缺乏高级规划能力,难以制定高效探索策略以修正假设。
2025-08-26 cs.AI
Minimal Variance Model Aggregation: A principled, non-intrusive, and versatile integration of black box models
California Institute of Technology(加州理工学院)
提出数据驱动的 MEVA 框架,将黑盒模型预测进行逐点线性聚合,通过最小方差优化提升鲁棒性与准确性,优于直接插值的 MEEA 方法。
2025-03-03 cs.AI cs.LG cs.NA
Out-of-the-box: Black-box Causal Attacks on Object Detectors
本文提出BlackCAtt算法,通过最小因果像素集构建可解释、不可察觉的攻击,实验表明其在目标检测器上效果优于其他黑盒攻击方法。
2026-04-10 cs.AI cs.CV
Interpretable & Explorable Approximations of Black Box Models
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
我们通过透明近似(BETA)提出黑盒解释,这是一种新的模型不可知框架,用于解释任何黑盒分类器的行为,同时优化原始模型的保真度和解释的可解释性。为此,我们开发了一种新的目标函数,使我们能够学习(最优性保证),少量的紧凑的决策集,每个决策集解释了黑箱模型在明确的,定义明确的特征空间区域中的行为。此外,我们的框架也能够在生成这些近似时接受用户输入,从而允许用户交互式地探索黑盒模型在用户感兴趣的不同子空间中的行为。据我们所知,这是第一种可以通过联合优化明确性、保真度和可解释性来对任何给定黑盒模型的行为进行全局解释的方法,同时还允许用户根据自己的偏好探索模型行为。对真实世界数据集和用户研究的实验评估表明,与最先进的基线相比,我们的方法可以生成高度紧凑,易于理解,但准确的各种预测模型的近似值。
2017-07-04 cs.AI
RIPRAG: Hack a Black-box Retrieval-Augmented Generation Question-Answering System with Reinforcement Learning
RIPRAG通过强化学习攻击黑盒RAG系统,提升污染攻击成功率0.72,揭示LLM安全防御的不足。
2026-01-11 cs.AI
Introducing Symmetries to Black Box Meta Reinforcement Learning
DeepMind(深度思维);The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南方应用科学大学)
Meta强化学习(RL)试图从环境交互中自动发现新的强化学习算法。在所谓的黑盒方法中,策略和学习算法由单个神经网络共同表示。这些方法非常灵活,但在推广到新的、看不见的环境方面往往表现不佳。在本文中,我们将探讨对称性在元泛化中的作用。我们发现,最近一个成功的Meta RL方法,元学习基于反向传播的学习的目标表现出一定的对称性(特别是重复使用的学习规则,输入和输出排列的不变性),不存在于典型的黑盒Meta RL系统。我们假设,这些对称性可以发挥重要作用,在元概括。基于最近在黑盒监督元学习方面的工作,我们开发了一个黑盒Meta RL系统,该系统具有相同的对称性。我们通过仔细的实验表明,结合这些对称性可以使算法具有更大的能力来概括看不见的动作和观察空间,任务和环境。
2022-06-05 cs.AI cs.LG cs.NE
Leveraging Extracted Model Adversaries for Improved Black Box Attacks
Oracle Corporation(甲骨文公司);Oracle Labs(甲骨文实验室)
针对基于阅读理解的问答中的黑盒模型,提出了一种对抗性输入生成方法.我们的方法由两个步骤组成。首先,我们通过模型提取来近似受害者黑盒模型(Krishna等人,2020年)。其次,我们使用我们自己的白盒方法来生成导致近似模型失败的输入扰动。这些扰动的输入被用来对付受害者。在实验中,我们发现我们的方法将AddAny-白盒攻击-在近似模型上执行的有效性提高了25%F1,AddSent攻击-黑盒攻击-提高了11%F1(Jia和Liang,2017)。
2020-11-02 cs.AI cs.CL cs.LG
Open the Black Box Data-Driven Explanation of Black Box Decision Systems
University of Pisa(比萨大学);ISTI-CNR of Pisa(比萨国家研究委员会信息科学与技术研究所)
用于自动决策的黑盒系统通常基于对(大)数据的机器学习,将用户的特征映射到一个类别或分数中,而不暴露原因。这不仅是因为缺乏透明度,而且由于人类偏见和隐藏在训练数据中的收集伪像,算法中隐藏的可能偏见也是有问题的,这可能导致不公平或错误的决策。我们介绍了黑箱解释的局部到全局框架,这是一种新的方法,有希望的早期结果,它为未来沿着三个维度的广泛发展铺平了道路:(i)用高度表达性的逻辑规则表达解释的语言,具有统计和因果解释;(ii)对局部解释的推断,旨在通过查询和审计目标实例附近的黑匣子来揭示针对特定实例所采取的决策的逻辑;(iii)自下而上将许多局部解释概括为简单的全局解释,并使用优化解释质量和可理解性的算法。
2018-06-26 cs.AI cs.CY cs.LG
Contract And Conquer: How to Provably Compute Adversarial Examples for a Black-Box Model?
本文提出CAC方法,通过知识蒸馏和搜索空间收缩,在固定迭代次数内证明性地计算黑盒模型的对抗性示例,并在ImageNet数据集上优于现有方法。
2026-03-12 cs.AI cs.LG
A Generative Neural Annealer for Black-Box Combinatorial Optimization
Department of Physics, University of California, San Diego(加州大学圣地亚哥分校物理系)
本文提出一种生成式端到端黑箱组合优化求解器,通过条件温度建模玻尔兹曼分布,兼顾样本效率与解质量,在NP问题上性能优于现有黑箱优化器。
2025-08-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
A Survey of Calibration Process for Black-Box LLMs
Amazon(亚马逊公司);Penn State University(宾夕法尼亚州立大学)
本文首次系统综述黑盒大语言模型的校准过程,涵盖置信度估计与校准两大步骤,探讨其挑战、应用及未来方向,以提升模型可靠性与人机对齐。
2024-12-17 cs.AI cs.CL
Matryoshka Pilot: Learning to Drive Black-Box LLMs with LLMs
Georgia Institute of Technology(佐治亚理工学院);Precur AI;Google DeepMind(谷歌DeepMind)
针对黑盒LLM因不透明性难以提升推理等能力且现有适配方法不可行的问题,提出轻量级白盒LLM控制器Matryoshka Pilot,通过分解任务为中间输出引导黑盒LLM,有效增强其在复杂长期任务中的能力。
2025-11-13 cs.AI cs.CL cs.LG
Partially Interpretable Estimators (PIE): Black-Box-Refined Interpretable Machine Learning
University of Iowa(爱荷华大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了部分可解释估计器(PIE),它通过可解释模型将预测归因于单个特征,而PIE预测的一小部分(可能)归因于通过黑盒模型的特征相互作用,其目标是在保持可解释性的同时提高预测性能。因此,可解释的模型捕获特征的主要贡献,而黑盒模型试图通过捕获特征交互的“细微差别”作为细化来补充可解释的部分。我们设计了一个迭代训练算法来联合训练这两类模型。实验结果表明,PIE是非常有竞争力的黑箱模型,同时优于可解释的基线。此外,PIE的可理解性与通过人工评估验证的简单线性模型相当。
2021-05-06 cs.AI cs.LG
Black-Box Policy Search with Probabilistic Programs
University of Oxford(牛津大学)
在这项工作中,我们将探讨如何概率程序可以用来表示顺序决策问题的政策。在这个公式中,概率程序是一个黑盒随机模拟器的问题域和代理。我们将经典的政策梯度技术,最近推出的黑盒变分方法,推广到概率程序推理。我们目前的案例研究,在加拿大旅行者的问题,岩石样本,和最佳诊断的启发猜猜谁的基准。每项研究都说明了程序如何使用适度数量的参数有效地表示策略。
2016-08-04 cs.AI stat.ML
Activity-Based Search for Black-Box Contraint-Programming Solvers
University of Connecticut(康涅狄格大学);Brown University(布朗大学)
鲁棒搜索过程是黑盒约束规划求解器设计的核心组成部分。本文提出了基于活动的搜索,利用变量在传播过程中的活动来指导搜索的思想。基于活动的搜索进行了比较实验的影响为基础的搜索和WDEG的算法。在各种基准测试上的实验结果表明,基于活动的搜索比其他算法更健壮,并且可能会产生显着的性能改善。
2011-05-31 cs.AI cs.MS
Hybrid Predictive Model: When an Interpretable Model Collaborates with a Black-box Model
Tippie College of Business(蒂皮商学院);University of Iowa(爱荷华大学)
可解释的机器学习已经成为传统黑箱模型的有力竞争者。然而,获得可解释性的预测性能的可能损失往往是不可避免的,使从业者在高准确性(黑箱模型)和可解释性(可解释模型)之间进行选择的困境。在这项工作中,我们提出了一个新的框架,用于构建混合预测模型(HPM),该模型将可解释的模型与任何黑盒模型相结合,以结合它们的优势。可解释模型在数据子集上替代黑盒模型,其中黑盒是过度破坏或几乎过度破坏的,以零或低成本的预测准确性获得透明度。我们设计了一个原则性的目标函数,考虑预测准确性,模型可解释性和模型透明度(定义为可解释替代品处理的数据的百分比)。在此框架下,我们提出了两个混合模型,一个用关联规则替代,另一个用线性模型替代,并为这两个模型设计了定制的训练算法。我们在结构化数据和文本数据上测试混合模型,其中可解释模型与各种最先进的黑盒模型合作。结果表明,混合模型获得了有效的透明度和预测性能之间的权衡,其特征在于我们提出的有效的前沿。
2019-05-10 cs.AI cs.LG stat.ML
Certified Zeroth-order Black-Box Defense with Robust UNet Denoiser
IIIT Delhi(德里印度信息技术学院);NII Tokyo(东京国立信息学研究所)
本文提出基于鲁棒UNet去噪器的认证零阶黑盒防御方法ZO-RUDS和ZO-AE-RUDS,通过去噪平滑机制在仅使用模型查询的条件下显著提升高维数据集上的黑盒鲁棒性,并在多个数据集上大幅超越现有最优方法。
2024-07-06 cs.AI cs.CV
Distill-and-Compare: Auditing Black-Box Models Using Transparent Model Distillation
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Ant Financial(蚂蚁金服)
黑盒风险评分模型渗透到我们的生活中,但通常是专有的或不透明的。我们提出蒸馏和比较,模型蒸馏和比较的方法来审计这些模型。为了深入了解黑盒模型,我们把它们当作老师,训练透明的学生模型来模仿黑盒模型分配的风险分数。我们将经过蒸馏训练的学生模型与第二个未经蒸馏的透明模型进行比较,并使用两个模型之间的差异来深入了解黑盒模型。我们的方法可以应用于现实环境中,而无需探测黑盒模型API。我们在四个公共数据集上展示了这种方法:COMPAS,Stop-and-Frisk,Chicago Police和Lending Club。我们还提出了一个统计测试,以确定数据集是否缺少用于训练黑盒模型的关键特征。我们的测试发现ProPublica数据可能缺少COMPAS中使用的关键功能。
2018-10-11 cs.AI cs.LG stat.ML
Comparative Analysis of Black-Box and White-Box Machine Learning Model in Phishing Detection
Universias Indonesia(印度尼西亚大学);Universitas Telkom(电信大学)
本研究针对钓鱼检测场景对比分析黑盒与白盒机器学习模型,通过公开数据集与经典算法验证二者在性能、可解释性等指标上的表现,发现两类模型各有优劣,EBM等白盒模型更适配需可解释性的场景,选型需结合使用目标。
2024-12-03 cs.AI cs.CR
Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents
University of Cambridge(剑桥大学)
提出Agentic Monte Carlo (AMC)方法,利用序贯蒙特卡洛从最优策略后验中采样,无需参数级优化即可对黑盒LLM智能体进行强化学习式优化,在AgentGym基准上超越提示基线并随测试时计算扩展优于GRPO。
2026-06-03 cs.AI cs.LG
Unifying Likelihood-free Inference with Black-box Optimization and Beyond
Mila;University of Montreal(蒙特利尔大学);CIFAR Fellow(CIFAR研究员)
用于生物序列设计的黑箱优化配方最近引起了人们的关注,因为它们对制药工业有着广阔的潜在影响。在这项工作中,我们建议统一两个看似不同的世界:无可能性推理和黑盒优化,在一个概率框架。在串联,我们提供了一个配方构建各种序列设计方法的基础上,这个框架。我们展示了如何以前的优化方法可以在我们的框架中“改造”,并进一步提出新的概率黑箱优化算法。序列设计应用的广泛实验说明了所提出的方法的好处。
2022-02-08 cs.AI cs.LG q-bio.BM
Model-Agnostic Linear Competitors -- When Interpretable Models Compete and Collaborate with Black-Box Models
University of Iowa(爱荷华大学);Tippie College of Business, University of Iowa(爱荷华大学蒂皮商学院)
随着对模型可解释性需求的不断增长,可解释模型在许多实际应用中已经成为黑盒模型的有力竞争者。在本文中,我们提出了一种新型的模型,其中可解释的模型与黑盒模型竞争和合作。我们提出了模型不可知的线性竞争对手(MALC)的部分可解释的分类。MALC是一种混合模型,它使用线性模型来局部替代任何黑盒模型,捕获最有可能在类中的子空间,而将其余数据留给黑盒。MALC结合了线性模型的可解释能力和黑盒模型的良好预测性能。我们将MALC模型的训练公式化为凸优化。通过精心设计的目标函数平衡预测准确性和透明度(定义为线性模型捕获的数据百分比),并使用加速近端梯度方法解决优化问题。实验表明,MALC可以有效地交易预测精度的透明度,并提供一个有效的边界,跨越整个频谱的透明度。
2019-09-23 cs.AI cs.LG stat.ML
Sharpness-Aware Black-Box Optimization
Southern University of Science and Technology(南方科技大学);University of Technology Sydney(悉尼科技大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Center for Frontier AI Research, Agency for Science Technology(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing, Agency for Science Technology(新加坡科技研究局高性能计算研究所);Nanyang Technological University(南洋理工大学)
针对黑盒优化中直接优化训练损失导致泛化性能差的问题,提出SABO算法,通过高斯分布重参数化并利用邻域最大目标值的随机梯度进行迭代更新,实验证明其有效提升了模型泛化性能。
2024-10-16 cs.AI cs.LG
Superpixel Attack: Enhancing Black-box Adversarial Attack with Image-driven Division Areas
Graduate School of Mathematics, Kyushu University(九州大学数学研究生院);Institute of Mathematics for Industry, Kyushu University(九州大学工业数学研究所)
本文提出超像素攻击,通过使用超像素和通用搜索方法提升黑盒对抗攻击的成功率,平均提高2.10%。
2025-11-29 cs.AI cs.CR cs.CV
A Survey Of Methods For Explaining Black Box Models
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
在过去的几年中,许多精确的决策支持系统已经被构建为黑盒子,也就是说,作为隐藏其内部逻辑的系统。这种缺乏解释的情况构成了一个实际和道德问题。文献报道了许多旨在克服这一关键弱点的方法,有时是以牺牲可解释性的准确性为代价。黑盒决策系统的应用是多种多样的,每种方法通常都是为特定的问题提供解决方案,因此,明确或隐含地描述了自己的可解释性和解释的定义。本文的目的是提供一个分类的主要问题,在文献中的解释和黑箱系统的类型的概念。给出一个问题的定义,一个黑盒类型,和一个理想的解释,这个调查应该帮助研究人员找到更有用的建议,为自己的工作。建议的分类方法打开黑盒模型也应该是有用的,把许多研究开放的问题的角度。
2018-06-21 cs.AI cs.CY cs.LG
SABLAS: Learning Safe Control for Black-box Dynamical Systems
Massachusetts Institute of Technology(麻省理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于屏障函数的控制证书已成为生成动力系统可能安全的控制策略的有力工具。然而,现有的基于屏障证书的方法通常用于具有可微动态的白盒系统,这使得它们不适用于许多实际应用,其中系统是黑盒并且不能精确建模。另一方面,用于黑箱系统的无模型强化学习(RL)方法缺乏安全保证和低采样效率。在本文中,我们提出了一种新的方法,可以学习安全控制策略和黑盒动力系统的屏障证书,而不需要一个准确的系统模型。我们的方法重新设计的损失函数反向传播梯度的控制策略,即使当黑盒动力系统是不可微的,我们表明,安全证书举行的黑盒系统。仿真实验结果表明,与现有的黑箱安全控制方法相比,该方法可以显著提高学习策略的性能,使用更少的训练样本实现近100%的安全性和目标达成率。我们的学习代理还可以推广到看不见的场景,同时保持原始性能。源代码可以在https://github.com/Zengyi-Qin/bcbf上找到。
2022-01-09 cs.AI cs.LG cs.SY
Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences(中国科学院智能信息处理重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Xi’an Jiaotong University(西安交通大学)
本文提出代理引导的高效重采样方法POGER,通过选取少量代表性词并多次重采样估计词生成概率作为伪白盒特征,在黑盒等场景下有效提升了AI生成文本检测性能并降低重采样成本。
2024-02-14 cs.AI cs.CL cs.LG
Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020
Twitter(推特);Facebook(脸书);SigOpt, an Intel company(SigOpt(英特尔公司旗下));Valohai;Paradigm(第四范式);ChaLearn
本文介绍了2020年7月至10月在NeurIPS 2020上进行的黑盒优化(BBO)挑战的结果和见解。该挑战强调了评估无导数优化器对于调整机器学习模型的超参数的重要性。这是第一个以机器学习为重点的黑盒优化挑战。它基于标准机器学习模型在真实数据集上的调整(验证集)性能。这种竞争具有广泛的影响,因为黑盒优化(例如,贝叶斯优化)与几乎每个机器学习项目以及机器学习之外的许多应用程序中的超参数调优相关。最终的排行榜是使用保持(隐藏)目标函数的优化性能确定的,其中优化器在没有人为干预的情况下运行。基线是使用几个开源黑盒优化包的默认设置以及随机搜索来设置的。
2021-08-31 cs.AI cs.LG stat.ML
Instruction Learning Paradigms: A Dual Perspective on White-box and Black-box LLMs
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院);Nanyang Technological University(南洋理工大学);University of Leicester(莱斯特大学);Kuaishou Technology(快手科技)
本文提出融合黑盒指令初始化与白盒可解释性的统一框架,通过语义相似性约束实现迭代优化,在广泛任务上优于基线,为LLM应用提供高效解决方案。
2025-06-14 cs.AI cs.CL cs.LG
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
Sharif University of Technology(伊朗谢里夫理工大学)
研究针对基于黑盒分数的对抗样本攻击的防御与攻击方法,提出随机对数缩放(RLS)防御可降低攻击成功率,还引入新型自适应攻击,证明一种非随机化黑盒防御易受攻击。
2026-07-17 cs.AI cs.CR cs.LG
Q-FAKER: Query-free Hard Black-box Attack via Controlled Generation
College of Computing and Informatics(计算机与信息学院);Sungkyunkwan University(全南大学)
针对硬黑盒场景下语言模型对抗攻击需大量查询、高训练成本的问题,提出无需访问目标模型的Q-faker方法,通过受控生成替代模型生成对抗样本,实现高效攻击且具高转移性与实用性。
2025-04-18 cs.AI cs.CL cs.CR
LAMBDA: Covering the Solution Set of Black-Box Inequality by Search Space Quantization
Tongji University(同济大学)
黑盒函数被广泛用于对复杂的问题建模,这些问题除了输入和输出之外没有提供显式的信息。尽管已有的黑盒函数优化的研究,解决方案集满足一个不等式的黑盒函数起着更重要的作用,在许多实际情况下,只有一个最佳。通过对黑箱目标函数的有限评价,尽可能多地覆盖解集,本文将其定义为黑箱覆盖(BBC)问题。我们在基于样本的搜索范式中形式化了这个问题,并利用混淆矩阵分析构建了一个覆盖标准。此外,我们提出了LAMBDA(潜在行动蒙特卡罗束搜索密度自适应)来解决BBC问题。LAMBDA可以通过递归地将搜索空间划分为接受和拒绝的子空间来快速地关注解集。与La-MCTS算法相比,LAMBDA算法引入了密度信息,克服了优化的抽样偏差,获得了更多的探索性。基准测试表明,LAMBDA在所有基线中都达到了最先进的性能,并且在获得95%的覆盖率方面比随机搜索快33倍。实验表明,LAMBDA在虚拟测试中的自治系统的验证有很好的前景。
2022-03-25 cs.AI cs.LG cs.RO
A Rate-Distortion Framework for Explaining Black-box Model Decisions
Ludwig Maximilian University(路德维希-马克西米利安大学);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所)
我们提出了率失真解释(RDE)框架,一个数学上有充分依据的方法来解释黑盒模型的决定。该框架基于目标输入信号的扰动,并适用于任何可微分的预训练模型,如神经网络。我们的实验表明,该框架的适应性,以不同的数据形式,特别是图像,音频和城市环境的物理模拟。
2021-10-12 cs.AI cs.IT cs.LG
Collab-RAG: Boosting Retrieval-Augmented Generation for Complex Question Answering via White-Box and Black-Box LLM Collaboration
Emory University(埃默里大学);University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心);Georgia Institute of Technology(佐治亚理工学院);SUNY Albany(纽约州立大学奥尔巴尼分校)
Collab-RAG 提出白盒小语言模型与黑盒大语言模型协作训练框架,通过查询分解与反馈增强,显著提升多跳问答中的检索与推理性能。
2025-04-07 cs.AI cs.CL cs.IR
Black-Box Saliency Map Generation Using Bayesian Optimisation
Council for Scientific and Industrial Research(科学与工业研究理事会);University of Edinburgh(爱丁堡大学);University of Pretoria(比勒陀利亚大学)
显着图通常用于计算机视觉,以提供对模型用于产生特定预测的输入区域的直观解释。显着图生成的方法有很多,但大多数都需要访问模型参数。这项工作提出了一种黑盒模型的显着图生成方法,其中没有访问模型参数,使用贝叶斯优化抽样方法。该方法的目的是找到一个特定的(黑盒)模型的预测负责的全球显着的图像区域。这是通过一种基于采样的方法来实现的,该方法旨在将图像的显着区域定位到黑盒模型中。结果表明,所提出的显着图生成方法优于基于网格的扰动方法,并执行类似于基于梯度的方法,需要访问模型参数。
2020-01-30 cs.AI cs.CV cs.LG