Hierarchical Network Fusion for Multi-Modal Electron Micrograph Representation Learning with Foundational Large Language Models
TCS Research(TCS研究中心);International Institute of Information Technology(IIIT)(国际信息技术学院)
针对电子显微图复杂分层结构带来的分类挑战,提出分层网络融合(HNF)架构,结合多模态表示与LLM生成的辅助信息进行跨模态知识融合,有效克服分布偏移并提升纳米材料识别与高通量筛选的准确性。
2024-08-24 cs.AI cs.CV cs.LG
ThinkTrap: Denial-of-Service Attacks against Black-box LLM Services via Infinite Thinking
Shanghai Jiao Tong University(上海交通大学);Donghua University(东华大学)
ThinkTrap是一种针对黑盒LLM服务的新型拒绝服务攻击方法,通过优化输入空间诱导无限生成,以最小token开销降低服务吞吐量甚至导致服务失败。
2025-12-08 cs.AI cs.CR cs.LG
A visual large language foundational model for medical image recognition using clinician-contributed online resources
本研究利用临床医生社交媒体构建ThoughtMed-1M医学VQA数据集,并训练FOLTMed模型,在42个基准上取得85.4%宏准确率,性能领先3-5%。
2026-09-29 cs.AI
Urban Generative Intelligence (UGI): A Foundational Platform for Agents in Embodied City Environment
Tsinghua University(清华大学)
针对快速城市化下的各类城市挑战与现有技术落地缺口,研究提出城市生成智能UGI平台,依托CityGPT基础模型打造具身智能体,在模拟城市环境中通过自然语言交互,为城市问题解决与系统仿真提供新范式。
2023-12-19 cs.AI cs.CY
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击,仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略,并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Seeing Through Experts Eyes A Foundational Vision Language Model Trained on Radiologists Gaze and Reasoning
Bioengineering Department and Imperial-X(生物工程系和Imperial-X);Imperial College London(帝国理工学院伦敦分校);College of physics and information engineering, Fuzhou University(福州大学物理与信息工程学院);Department of Surgery and Cancer, Imperial College London(外科与癌症部门,帝国理工学院伦敦分校);National Heart and Lung Institute, Imperial College London(国家心脏和肺研究所,帝国理工学院伦敦分校);Cardiovascular Research Centre, Royal Brompton Hospital(心血管研究中心,皇家布里顿医院);School of Biomedical Engineering & Imaging Sciences, King’s College London(生物医学工程与成像科学学院,国王学院伦敦分校)
本文提出GazeX模型,通过放射学家的眼动数据模拟专家推理过程,提升医学影像分析的准确性和可解释性。
2026-04-15 cs.AI
Sequential Voting with Relational Box Fields for Active Object Detection
Carnegie Mellon University(卡内基梅隆大学)
理解手-物体交互的一个关键组成部分是识别活动物体的能力--由人手操纵的物体。为了准确定位活动对象,任何方法都必须使用由每个图像像素编码的信息进行推理,例如它是否属于手,对象或背景。为了利用每个像素作为证据来确定活动对象的限界框,我们提出了一个逐像素投票函数。我们的逐像素投票函数将初始限界框作为输入,并产生活动对象的改进的限界框作为输出。投票函数被设计为使得输入限界框内的每个像素投票用于改进的限界框,并且具有多数投票的框被选择作为输出。我们将投票函数内部生成的边界框集合称为关系框字段,因为它表征了与当前限界框相关定义的边界框字段。虽然我们的投票功能能够改善活动对象的限界框,但一轮投票通常不足以准确定位活动对象。因此,我们反复应用投票函数来顺序地改进限界框的位置。然而,由于已知重复应用一步预测器(即,使用我们的投票函数的自回归处理)会导致数据分布偏移,我们使用强化学习(RL)来缓解这个问题。我们采用标准RL学习投票函数参数,并表明它提供了一个有意义的改进,一个标准的监督学习方法。我们在两个大规模数据集上进行了实验:100DOH和MECCANO,与现有技术相比,AP 50性能分别提高了8%和30%。
2022-06-02 cs.AI cs.CV cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究,一方面有利于指导机器学习模型的开发,另一方面也有利于寻找有针对性的防御。然而,当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域:基于决策的攻击,仅基于观察目标模型的输出标签来生成对抗性扰动,仍然相对罕见,并且大多使用梯度估计策略。在这项工作中,我们提出了一个像素明智的决策为基础的攻击算法,发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习(DBAR)。实验结果表明,该方法具有更高的攻击成功率和更大的可移植性,优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
RIPRAG: Hack a Black-box Retrieval-Augmented Generation Question-Answering System with Reinforcement Learning
RIPRAG通过强化学习攻击黑盒RAG系统,提升污染攻击成功率0.72,揭示LLM安全防御的不足。
2026-01-11 cs.AI
Collab-RAG: Boosting Retrieval-Augmented Generation for Complex Question Answering via White-Box and Black-Box LLM Collaboration
Emory University(埃默里大学);University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心);Georgia Institute of Technology(佐治亚理工学院);SUNY Albany(纽约州立大学奥尔巴尼分校)
Collab-RAG 提出白盒小语言模型与黑盒大语言模型协作训练框架,通过查询分解与反馈增强,显著提升多跳问答中的检索与推理性能。
2025-04-07 cs.AI cs.CL cs.IR
Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care
Umm Al-Qura University(乌姆阿尔古拉大学);King Khalid University(国王哈立德大学)
本研究针对阿拉伯语精神卫生领域问答分类任务,评估四类学习方法的性能,发现微调PLMs及GPT-3.5少样本提示均有优异表现,为阿拉伯语精神卫生支持技术应用提供依据。
2024-06-23 cs.AI cs.CL
Effective and Efficient Jailbreaks of Black-Box LLMs with Cross-Behavior Attacks
Independent Researcher(独立研究者)
本文提出了一种高效的黑盒LLM劫持方法,通过跨行为攻击显著提高攻击效率和成功率,同时减少查询次数并展示良好的迁移能力。
2025-12-31 cs.AI cs.CL cs.CR
In-Context Guidance: Learning Inter-Task Synergies via Numerical Foundational Models for Few-Shot Multitask Optimization
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(新加坡科技研究局);Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究院);Centre for Frontier AI Research, A*STAR(A*STAR前沿人工智能研究中心)
提出ICG-MTO框架,利用冻结数值基础模型通过上下文学习推断引导信号,改进少样本多任务优化中的任务间耦合估计,在合成和真实问题上验证了有效性与通用性。
2026-09-29 cs.AI cs.LG cs.NE
Trust in AI: Interpretability is not necessary or sufficient, while black-box interaction is necessary and sufficient
Genentech(基因泰克)
人类对人工智能的信任问题是应用机器学习中最基本的问题之一。我们评估AI可信度的过程对ML对科学、健康和人类的影响产生了重大影响,但基本概念却令人困惑。信任AI意味着什么,人类如何评估AI的可信度?构建可信AI的机制是什么?可解释ML在信任中的作用是什么?在这里,我们从统计学习理论和人类自动化信任的社会学视角出发,来激励人工智能作为工具的框架,该框架将人类-人工智能信任与人类-人工智能-人类信任区分开来。评估人工智能的合同可信度涉及使用行为证书(BC)预测未来的模型行为,这些行为证书(BC)汇总了来自不同来源的行为证据,包括经验性的分布外和任务外评估以及将模型架构与行为联系起来的理论证据。我们澄清了模型访问的阶梯在信任的可解释性的作用。可解释性(第3级)对于信任来说不是必要的,甚至不是充分的,而随意运行黑盒模型的能力(第2级)是必要的和充分的。虽然可解释性可以为信任带来好处,但也会带来成本。我们澄清的方式可解释性可以有助于信任,同时质疑可解释性的信任在流行话语的感知中心。我们如何让人们拥有评估信任的工具?我们不是试图理解一个模型是如何工作的,而是试图理解一个模型是如何工作的。我们不应该打开黑盒子,而应该创造更多更正确、更相关、更容易理解的行为证明。我们讨论如何负责任地构建可信和值得信赖的AI。
2022-02-10 cs.AI cs.LG
Generalized Influence Functions for Better Model Change Estimates
POSTECH(浦项科技大学)
本文提出广义影响函数,通过选择与输入数据相关的少量参数并消除无关参数的干扰梯度变化,以更准确地估计训练数据对黑箱模型预测的影响,实验表明仅更新5%参数即可优于传统影响函数。
2026-11-10 cs.AI cs.LG
Detecting and Correcting for Label Shift with Black Box Predictors
Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能);UC Santa Barbara(加州大学圣巴巴拉分校)
面对训练集和测试集之间的分布偏移,我们希望检测和量化这种偏移,并在没有测试集标签的情况下校正我们的分类器。出于医学诊断的动机,疾病(目标)引起症状(观察),我们专注于标签偏移,其中标签边缘$p(y)$发生变化,但条件性$p(x| y)$不变。我们提出了黑箱偏移估计(BBSE)来估计测试分布$p(y)$。BBSE利用任意黑盒预测器在移位校正之前降低维度。虽然更好的预测器给出更严格的估计,但BBSE即使在预测器有偏差,不准确或未校准时也有效,只要它们的混淆矩阵是可逆的。我们证明了BBSE的一致性,限制其错误,并介绍了一个统计测试,使用BBSE检测移位。我们还利用BBSE来纠正分类器。实验证明,即使在自然图像的高维数据集上,也能进行准确的估计和改进的预测。
2018-07-26 cs.AI cs.LG cs.NE
A cryptographic approach to black box adversarial machine learning
Columbia University(哥伦比亚大学);Proof Trading(Proof Trading(交易证明))
我们提出了一种新的随机集成技术,具有可证明的安全保证,对黑箱传输攻击。我们的证明构造了一个新的安全问题,随机二进制分类器,这是更容易经验验证和减少从这个新模型的安全性的集成分类器的安全性。我们提供了我们的随机二进制分类器的安全性的实验证据,以及整体集成的对抗性准确性的经验结果,黑盒攻击。我们的构造关键地利用了多类到二进制的减少中隐藏的随机性。
2020-02-21 cs.CR cs.LG stat.ML
Prompting the Unseen: Detecting Hidden Backdoors in Black-Box Models
本研究提出了一种基于视觉提示的黑盒模型级后门检测方法BProm,通过利用类子空间不一致性和存在后门时提示模型低分类准确率的现象,有效识别可疑模型中的隐藏后门。
2025-04-07 cs.AI cs.CV cs.LG
Protecting Against Image Translation Deepfakes by Leaking Universal Perturbations from Black-Box Neural Networks
Boston University(波士顿大学)
在这项工作中,我们开发了黑盒图像翻译deepfake生成系统的有效中断。我们是第一个通过展示最初为分类模型提出的攻击的图像翻译公式来展示黑盒deepfake生成中断的人。然而,一个天真的适应分类黑盒攻击的结果在一个令人望而却步的查询图像翻译系统在现实世界中。我们提出了一个令人沮丧的简单而高效的算法泄漏通用扰动(LUP),显着减少了攻击图像所需的查询数量。LUP包括两个阶段:(1)一个短暂的泄漏阶段,我们使用传统的黑盒攻击来攻击网络,并收集关于对小数据集的成功攻击的信息,以及(2)和一个利用阶段,我们利用所述信息来随后以更高的效率攻击网络。我们的攻击将攻击GANimation和StarGAN所需的查询总数减少了30%。
2020-06-11 cs.CR cs.CV cs.LG
Black-box optimization with a politician
Microsoft Research(微软研究院);MIT(麻省理工学院)
本文提出一种适用于梯度计算昂贵情况的黑盒凸优化新框架,结合凸优化概念和分析中心,实验证明其性能优于BFGS等算法。
2016-02-15 cs.DS cs.LG cs.NA
A Watermark for Black-Box Language Models
Google DeepMind(谷歌DeepMind)
本文提出了一种无需白盒访问即可检测LLM输出的水印方案,具备无失真和多密钥嵌套特性,并通过实验验证其优越性。
2026-02-23 cs.CL cs.CR cs.LG
Efficient Domain Adaptation of Multimodal Embeddings using Constrastive Learning
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运营研究中心);Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院)
本文提出一种基于对比学习训练小型任务特定投影的方法,在无需微调大语言模型和视觉模型的情况下实现多模态嵌入的高效领域自适应,以极低计算开销显著提升资源受限场景下的下游任务性能。
2025-02-04 cs.CL cs.CV cs.LG
A note on hyperparameters in black-box adversarial examples
University College London(伦敦大学学院)
自从Biggio et al.(2013)和Szegedy et al.(2013)第一次引起人们对对抗性例子的关注以来,已经有大量的研究来防御和攻击机器学习模型。然而,几乎所有提出的攻击都假设对模型的白盒访问。换句话说,攻击者被假设对模型的权重和架构有着完美的了解。有了这些内部知识,白盒攻击可以利用梯度信息来制作对抗性示例。黑盒攻击假设不知道模型的权重或架构。这些攻击使用仅包含在logits或硬分类标签中的信息来制作对抗性示例。在这里,我们假设攻击者可以使用logits来找到一个对抗性的例子。经验上,我们表明,双边随机梯度估计技术是不敏感的缩放参数,并可用于安装强大的黑盒攻击,需要相对较少的模型查询。
2018-11-15 cs.CR cs.LG
Thinking inside the box: A tutorial on grey-box Bayesian optimization
贝叶斯优化(BO)是一个全局优化的目标函数的评估费用的框架。经典的BO方法假设目标函数是一个黑盒。然而,关于目标函数计算的内部信息通常是可用的。例如,在通过仿真优化生产线的吞吐量时,我们除了观察总吞吐量外,还观察每个工作站等待的零件数量。最近的BO方法利用这些内部信息来显著提高性能。我们称之为“灰盒”BO方法,因为它们将目标计算视为部分可观察的,甚至是可修改的,将黑盒方法与目标函数计算的所谓“白盒”第一原理知识混合在一起。本教程描述了这些方法,重点是复合目标函数的BO,其中可以观察和选择性地评估进入整体目标的各个成分;和多保真度BO,其中可以通过改变评估Oracle的参数来评估目标函数的更便宜的近似值。
2022-01-02 cs.LG math.OC stat.ML
Deep Epidemiological Modeling by Black-box Knowledge Distillation: An Accurate Deep Learning Model for COVID-19
University of Central Florida(中佛罗里达大学)
准确及有效的预测系统对于预防新出现的传染病(如COVID-19)在公共卫生方面的影响至关重要。该系统要求瞬态模型准确、计算量小、观测数据少。为了解决这三个挑战,我们提出了一种新的深度学习方法,使用黑盒知识蒸馏,以实用的方式进行准确和有效的传动动态预测。首先,我们利用混合模型来开发一个准确,全面,但不切实际的仿真系统。接下来,我们使用模拟观测序列查询模拟系统,以检索模拟投影序列作为知识。然后,利用获得的查询数据,提出了序列混淆,以提高查询效率,增加知识的多样性,提高蒸馏模型的准确性。最后,我们用检索到的和混合的观测-投影序列训练学生深度神经网络以供实际使用。对COVID-19的案例研究证明,当观测数据有限时,我们的方法可以以更低的计算成本准确地预测感染。
2021-01-20 cs.AI cs.LG
Offline Stochastic Optimization of Black-Box Objective Functions
Duke University(杜克大学);Colorado State University(科罗拉多州立大学)
本文提出随机离线黑盒优化(SOBBO)框架,分别通过可微代理和保守场约束梯度估计处理大数据与稀缺数据场景,提升优化鲁棒性、收敛性与数据效率。
2024-12-03 cs.LG
Generative causal explanations of black-box classifiers
School of Electrical & Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
我们开发了一种方法,用于生成因果事后解释的黑盒分类器的基础上学习的低维表示的数据。解释是因果关系的意义上说,改变学习的潜在因素产生的分类器输出统计的变化。为了构建这些解释,我们设计了一个学习框架,利用生成模型和因果影响的信息理论措施。我们的目标函数鼓励生成模型忠实地表示数据分布和潜在因素对分类器输出有很大的因果影响。我们的方法学习全局和局部解释,与任何承认类概率和梯度的分类器兼容,并且不需要标记属性或因果结构知识。使用仔细控制的测试用例,我们提供的直觉,阐明了我们的目标的功能。然后,我们展示了我们的方法在图像识别任务的实际效用。
2020-10-22 cs.AI cs.LG stat.ML
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University(高等经济大学)
本研究提出一种基于Wasserstein距离的不确定性估计器,结合深度生成代理模型用于黑盒模拟器的无梯度优化,经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
Accelerated Algorithms for a Class of Optimization Problems with Equality and Box Constraints
本文针对带等式与盒约束的凸优化问题,提出一种引入时变增益的新型高阶调节器,在保证约束任意时刻可行的同时实现加速收敛,并用数值例子验证理论结果。
2023-05-08 cs.LG math.OC
Evaluating Black-Box Vulnerabilities with Wasserstein-Constrained Data Perturbations
INRIA Regalia & ANITI Institut de Mathématiques de Toulouse, France Centre INRIA de l’Université de Bordeaux(INRIA里加大学与ANITI数学研究所,法国图卢兹数学研究所,INRIA波尔多中心)
本文提出基于最优传输和分布鲁棒优化的全局可解释性框架,通过约束特征统计生成真实扰动,提升模型鲁棒性,并在表格和图像领域提供理论保证的诊断工具。
2026-04-22 cs.LG
Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization
University of Oxford(牛津大学);Carlos III University of Madrid(马德里卡洛斯三世大学)
本文研究非欧几里得凸光滑ERM问题的均匀稳定一阶算法,提出一种黑盒归约方法,利用均匀凸正则化器将Hölder光滑优化算法转化为具有最优统计风险界的均匀稳定学习算法,解决了此前开放的非欧几里得情形问题。
2024-12-20 cs.LG math.OC stat.ML
The Challenge of Identifying the Origin of Black-Box Large Language Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);NetApp(NetApp公司);TikTok Inc.(TikTok公司)
针对黑盒大语言模型来源识别难题,提出PlugAE方法,利用对抗性嵌入与自定义版权令牌,在准确性和鲁棒性上超越现有水印与指纹方法,并验证了其实用性。
2026-09-23 cs.CR cs.LG
PuriDefense: Randomized Local Implicit Adversarial Purification for Defending Black-box Query-based Attacks
City University of Hong Kong, Hong Kong(香港城市大学);Southeast University, China(东南大学)
针对黑盒查询式攻击威胁,提出高效防御机制PuriDefense,通过轻量级净化模型集合执行随机分块净化,在低推理成本下重建图像流形并引入随机性减缓攻击收敛,显著提升了模型鲁棒性。
2025-06-26 cs.AI cs.CR cs.CV
PRESTO: Preimage-Informed Instruction Optimization for Prompting Black-Box LLMs
Korea University(韩国大学);KAIST(韩国科学技术院)
大语言模型(LLM)由于其强大的解释跟踪能力,在不同的领域取得了显著的成功。这导致了对黑盒LLM优化指令的兴趣越来越大,其内部参数不可访问,但由于其强大的性能而被广泛使用。为了优化黑盒LLM的指令,最近的方法采用白盒LLM来从优化的软提示生成候选指令。然而,白盒LLM经常将不同的软提示映射到同一指令,导致冗余查询。虽然以前的研究认为这种多对一映射是一种阻碍优化效率的结构,但我们将其重新解释为可以加速优化的有用先验知识。为此,我们介绍了PREimage知情的inSTrandom优化(PRESTO),一种新的框架,利用软提示的原像结构进行有效的优化。PRESTO由三个关键部分组成:(1)分数共享,它与原像中的所有软提示共享评估分数;(2)基于原像的初始化,它选择使用原像信息最大化搜索空间覆盖的初始数据点;以及(3)分数一致性正则化,它强制每个原像内的预测一致性。通过利用前像,PRESTO实现了在相同查询预算下有效获得14倍以上评分数据的效果,从而实现更高效的优化。在33个指令优化任务上的实验结果证明了PRESTO的优越性能。代码可在https://github.com/mlvlab/PRESTO上获得
2025-10-29 cs.LG
Best-Effort Adversarial Approximation of Black-Box Malware Classifiers
旨在窃取黑盒模型的对手通过预测API反复查询模型,以学习接近其决策边界的函数。对抗近似是不平凡的,因为要探索的模型架构,参数和特征的巨大组合。在这种情况下,对手诉诸最大努力的战略,产生最接近的近似。本文探讨了在最具挑战性的环境中,黑盒恶意软件分类器的最佳努力对抗近似,其中对手的知识仅限于给定输入的预测标签。从黑盒分类器的有限输入集开始,我们利用特征表示映射和跨域可转移性,通过本地训练替代品来近似黑盒恶意软件分类器。我们的方法使用目标和替代模型的不同特征类型来近似目标模型,同时还使用非重叠数据来训练目标,训练替代以及两者的比较。我们评估了我们的方法对两个黑盒分类器在Windows便携式可执行文件(PE)上训练的有效性。针对在PE的原始字节序列上训练的卷积神经网络(CNN),我们的方法实现了92%的准确替代(在PE的像素表示上训练),以及目标和替代模型之间近90%的预测一致性。针对在静态PE特征上训练的97.8%准确的梯度提升决策树,我们91%准确的替代品与90%预测的黑盒一致,这表明了我们纯黑盒近似的强度。
2020-06-28 cs.CR cs.LG
Black-Box Optimization with Implicit Constraints for Public Policy
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
本文提出CageBO框架,利用条件变分自编码器学习可行决策分布,在潜空间优化以处理隐式约束,并在亚特兰大警察选区重划案例中验证了其性能与效率的提升。
2025-01-22 cs.CE cs.LG stat.ML
Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework
Mila(米拉);University of Texas at Austin(得克萨斯大学奥斯汀分校);Peking University(北京大学)
随机化分类器已被证明是一种很有前途的方法,可以在深度学习中实现针对对抗攻击的认证鲁棒性。然而,大多数现有方法仅利用高斯平滑噪声并且仅对$\ell_2$扰动起作用。我们从统一的函数优化角度提出了一个具有非高斯噪声的对抗性认证的一般框架,并针对更一般的攻击类型。我们的新框架允许我们通过设计平滑分布来确定准确性和鲁棒性之间的关键权衡,帮助设计新的非高斯平滑分布族,这些分布族可以更有效地用于不同的$\ell_p$设置,包括$\ell_1$,$\ell_2$和$\ell_\infty$攻击。我们提出的方法实现了更好的认证结果比以前的作品,并提供了一个新的视角随机平滑认证。
2020-10-20 cs.CR cs.LG math.OC
Confidence Estimation for Black Box Automatic Speech Recognition Systems Using Lattice Recurrent Neural Networks
University of Cambridge(剑桥大学);University of Sheffield(谢菲尔德大学)
最近,语音转录服务的提供商有所增长,使其他人能够利用他们通常无法使用的技术。因此,支持语音的解决方案已经变得司空见惯。它们的成功关键取决于底层语音转录系统的质量、准确性和可靠性。然而,这些黑盒系统提供有限的质量控制手段,因为通常只有字序列可用。本文探讨了这种有限的资源情况下的信心估计,一种常用的措施,以评估转录的可靠性。特别是,它探讨了在转录过程中可用的词和子词级信息的其他来源可以用来提高置信度分数。为了对所有这些信息进行编码,本文扩展了格递归神经网络来处理子词。使用IARPA OpenKWS 2016评估系统的实验结果表明,使用附加信息可以显著提高置信度估计精度。这个模型的实现可以在网上找到。
2020-03-15 cs.LG cs.SD eess.AS
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford(牛津大学);University of Cambridge(剑桥大学)
变分自编码器的潜在空间中的优化是一种有希望的方法,用于生成最大化昂贵的黑盒属性(例如,分子生成中的药物相似性,算术表达式的函数近似)。然而,现有的方法缺乏鲁棒性,因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域,并且解码器可能不可靠,导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的,因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题,我们引入了一个基于重要性采样的估计,提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构,也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡,有时同时改善两者。我们说明了这些优势,在几个实验设置在数字生成,算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
White-Box Sensitivity Auditing with Steering Vectors
University of Virginia(弗吉尼亚大学)
本文提出白盒敏感性审计框架,通过激活引导进行更严格的模型内部评估,用于检测大语言模型中的偏见,揭示模型对保护属性的依赖。
2026-07-01 cs.CL cs.CY cs.LG
Extracting Weighted Automata for Approximate Minimization in Language Modelling
McGill University(麦吉尔大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本文研究了语言模型的近似极小化问题。我们假设我们被赋予某种语言模型作为黑盒。我们的目标是获得一个加权的有限自动机(WFA),适合在一个给定的大小约束,并模仿原始模型的行为,同时尽量减少一些概念之间的距离黑盒子和提取的WFA。我们提供了一个算法的近似最小化的黑盒子训练的语言建模的顺序数据在一个字母表。通过将问题重新表述为Hankel矩阵,我们利用了Hankel算子近似的经典结果,即著名的Adamyan-Arov-Krein(AAK)理论。这允许我们使用谱范数来测量黑盒和WFA之间的距离。我们提供了理论上的保证,研究潜在的无限秩汉克尔矩阵的黑盒子,而不访问的训练数据,我们证明,我们的方法返回一个渐近最佳近似。
2021-07-23 cs.FL cs.LG
DREAM: Domain-free Reverse Engineering Attributes of Black-box Model
Beijing Institute of Technology(北京理工大学);Sun Yat-sen University(中山大学)
针对现有黑盒模型属性逆向攻击需已知训练数据集的局限,本文提出DREAM框架,将问题转化为OOD泛化问题,实现了无需训练数据的域无关属性逆向,实验验证其优于基线方法。
2023-07-20 cs.CR cs.LG
Directly Optimizing IoU for Bounding Box Localization
本文针对边界框定位中IoU难以直接优化的问题,提出Smooth IoU损失函数,在多个数据集上验证其优于标准Huber损失。
2023-04-14 cs.CV cs.LG
Considerations When Learning Additive Explanations for Black-Box Models
Facebook(脸书);University of California, Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
本文研究了非加性黑盒模型的全局加性解释方法,比较了四种方法并定量评估其准确性,发现尽管非加性解释更准确,但从业者更能有效利用加性解释完成任务。
2023-08-01 cs.LG stat.ML
Epsilon-Neighborhood Decision-Boundary Governed Estimation (EDGE) of 2D Black Box Classifier Functions
Department of Mechanical and Aerospace Engineering, The Ohio State University(机械与航空航天工程系,俄亥俄州立大学)
EDGE算法通过中间值定理高效估计黑盒分类器的决策边界,适用于2D场景,展示出更高的样本效率和边界逼近性能。
2026-02-13 cs.CG cs.LG cs.NA
Solving Constrained CASH Problems with ADMM
IBM Research(IBM研究院)
CASH问题已经在机器学习(ML)流水线的自动化配置的背景下被广泛研究,并且各种求解器和工具包可用。然而,CASH求解器不直接处理黑盒约束,如公平性,鲁棒性或其他特定于域的自定义约束。我们提出了我们最近的方法[Liu等人,2020],利用ADMM优化框架将CASH分解为多个小问题,并演示ADMM如何促进黑盒约束的合并。
2020-07-11 cs.LG math.OC stat.ML
Imitation Attacks and Defenses for Black-box Machine Translation Systems
UC Berkeley(加州大学伯克利分校)
攻击者可能会试图窃取或攻击黑盒NLP系统,以获取经济利益或利用模型错误。一个特别感兴趣的设置是机器翻译(MT),其中模型具有很高的商业价值,错误可能是昂贵的。我们调查可能利用的黑盒MT系统,并探讨对这种威胁的初步防御。我们首先表明,MT系统可以通过使用单语句子和训练模型来模仿它们的输出来查询它们。使用模拟实验,我们证明了MT模型窃取是可能的,即使模仿模型有不同的输入数据或架构比他们的目标模型。应用这些思想,我们训练模仿模型,达到0.6 BLEU的三个生产机器翻译系统的高资源和低资源的语言对。然后,我们利用模仿模型的相似性将对抗性示例转移到生产系统。我们使用基于梯度的攻击,暴露输入,导致语义不正确的翻译,丢弃的内容和粗俗的模型输出。为了减轻这些漏洞,我们提出了一种防御,修改翻译输出,以误导模仿模型的优化。这种防御降低了对手的BLEU分数和攻击成功率,但以防御者的BLEU和推理速度为代价。
2021-01-03 cs.CL cs.CR cs.LG