Improving LLM Performance Through Black-Box Online Tuning: A Case for Adding System Specs to Factsheets for Trusted AI
本文提出通过黑盒在线调优提升大语言模型性能,并探讨将系统性能和可持续性指标整合到事实表中对可信AI的重要性。
2026-03-11 cs.AI cs.PF
Visual Grounding Safety in Vision-Language Models
University of California, Riverside(加州大学河滨分校);Apple(苹果公司)
该研究系统分析了视觉语言模型在视觉定位输出中的安全对齐问题,发现模型对定位请求的拒绝率显著低于文本回答,并提出一种结合拒绝与能力数据的微调方法,有效提升定位拒绝率并保持能力。
2026-10-06 cs.AI cs.CR cs.CV
ThinkTrap: Denial-of-Service Attacks against Black-box LLM Services via Infinite Thinking
Shanghai Jiao Tong University(上海交通大学);Donghua University(东华大学)
ThinkTrap是一种针对黑盒LLM服务的新型拒绝服务攻击方法,通过优化输入空间诱导无限生成,以最小token开销降低服务吞吐量甚至导致服务失败。
2025-12-08 cs.AI cs.CR cs.LG
LASH: Adaptive Semantic Hybridization for Black-Box Jailbreaking of Large Language Models
University of Maine(缅因大学);University of Tennessee, Knoxville(田纳西大学, 基纳顿分校);University of Florida(佛罗里达大学)
本文提出LASH框架,通过适应性语义混合方法,利用多个基础攻击的输出作为可重用的种子提示,针对不同目标模型和有害类别进行自适应组合,从而在黑盒红队测试中取得更高的攻击成功率。
2026-05-20 cs.CL
TransLinkGuard: Safeguarding Transformer Models Against Model Stealing in Edge Deployment
Zhejiang University(浙江大学)
本文提出TransLinkGuard,一种基于TEE轻量级授权模块的即插即用边缘模型保护方法,以可忽略开销实现黑盒级安全,抵御模型窃取攻击。
2024-11-21 cs.AI cs.CR
ASCII Attack: Recontextualising Harmful Requests as Artistic Critique in Large Language Models
Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院);China University of Petroleum(中国石油大学);Shandong University(山东大学)
该研究提出ASCII攻击,通过将有害请求嵌入ASCII艺术并以艺术评论形式呈现,可绕过大型语言模型的安全对齐,在11个模型、8个主题上使62%的框架化提示被判定有害,最易受攻击模型成功率达93%。
2026-09-03 cs.AI
Thinking Outside the (Gray) Box: A Context-Based Score for Assessing Value and Originality in Neural Text Generation
Alma Mater Studiorum Università di Bologna(博洛尼亚大学);University College London(伦敦大学学院)
该研究针对大型语言模型生成文本缺乏多样性的问题,提出基于信息论的上下文评分,将其作为强化学习的奖励微调模型,在诗歌、数学题等任务中提升生成内容的价值与原创性。
2026-08-18 cs.AI cs.CL cs.CY
Covert Malicious Finetuning: Challenges in Safeguarding LLM Adaptation
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
本文提出隐蔽恶意微调方法,通过看似无害的数据集使GPT-4在99%情况下执行编码有害指令并逃避检测,揭示了黑盒微调接口面临的安全防御难题。
2024-06-28 cs.AI cs.CL cs.CR
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
Massachusetts Institute of Technology(麻省理工学院);Sakana AI;Lab for Information and Decision Systems(信息与决策系统实验室);Statistics and Data Science Center(统计与数据科学中心);EECS(电气工程与计算机科学系)
PRISM是一种无需评分规则的黑盒评判器校准方法,通过保持被评估内容固定并测量属性强调/弱化时的评分变化,结合岭回归校正基线评分,在SummEval和HANNA任务中显著提升了与人工排名的一致性。
2026-10-14 cs.AI cs.CL cs.LG
Belief-Guided Inference Control for Large Language Model Services via Verifiable Observations
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学)
本文提出Veroic框架,通过构建轻量级可验证观测通道,利用聚合的异质质量信号形成信念状态,以实现更优的质量-成本权衡、更强的风险估计和更稳健的长期推理控制。
2026-04-30 cs.AI
The Uncontrolled Variable: Vision-Language Refusal Is Conditioned on the Image-Attachment Interface, and Not Robust to Irrelevant Image Properties
研究发现安全对齐的VLM会因是否附加图像(如空白画布)而大幅改变拒答率,且此行为与风险无关、不受指令控制,是随权重继承的不可控变量。
2026-09-28 cs.AI cs.CR
Online Pandora's Box for Contextual LLM Cascading
The Fuqua School of Business, Duke University(杜克大学福克商学院)
针对LLM级联场景,提出在线上下文潘多拉魔盒模型,通过参数化保留索引和GMM估计结合UCB界,实现维度相关的√T累积遗憾。
2026-08-27 cs.AI cs.LG econ.EM
An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments
Department of Information Security(信息安全系);Soongsil University(松山大学);AI Safety Center(人工智能安全中心);Department of AI Software(人工智能软件系)
本文研究了通过间接提示注入在黑盒聊天机器人环境中存在的隐私泄露攻击链,分析了攻击者如何通过构造看似无害的外部内容来劫持代理任务,并评估了新的提示注入技术'exemplification'的攻击成功率,最终展示了使用虚构个人信息的证明概念数据外泄链。
2026-05-18 cs.AI cs.CR cs.HC
Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints
School of Electronic and Electrical Engineering, University of Sheffield(谢菲尔德大学电子与电气工程学院);Ranplan Wireless Network Design Ltd.(Ranplan无线网络设计有限公司);Cambridge AI+ Ltd.(剑桥AI+有限公司)
该研究通过两项预注册审计发现共享端点上黑盒大语言模型评判器的排名一致性未达阈值,分析了三种失效机制,提出改进方案并强调预注册评估需先测量工具有效性。
2026-09-04 cs.AI cs.LG
OpenPCC: Open and Confidential LLM Serving on Commodity TEEs
The Ohio State University(俄亥俄州立大学)
针对云推理服务中用户请求包含敏感信息的问题,提出OpenPCC框架,利用商用TEE实现开放、保密的LLM服务,并通过原型验证其可行性与安全性。
2026-06-09 cs.CR
Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
super-intel.ai(超级智能人工智能公司)
通过白盒函数级漏洞检测和黑盒Web应用安全测试双模式基准测试,评估前沿大语言模型在网络安全任务中的表现,发现其存在高误报率、低覆盖率等问题,而领域专用模型通过结构化方法显著提升性能。
2026-06-23 cs.AI cs.CR
Enhancing Reasoning Capacity of SLM using Cognitive Enhancement
Home Team Science and Technology Agency(内政团队科技局)
本文针对小型大语言模型(SLM)在网络安全调查与数字取证中因规模缩减导致推理性能下降的问题,提出通过提示整合人类问题求解认知策略的认知增强方法,实验证明该方法能显著提升SLM性能。
2024-04-01 cs.AI cs.CR
CCxTrust: Confidential Computing Platform Based on TEE and TPM Collaborative Trust
针对单一硬件信任根可信度不足、多云环境缺乏统一信任模型的问题,提出融合TEE黑盒信任根与TPM白盒信任根的CCxTrust机密计算平台,设计复合证明协议并验证其安全性,原型实现证明效率提升24%。
2024-12-12 cs.CR
Graph-Regularized Sparse Autoencoders for LLM Safety Steering
ELLIS Institute Tübingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Intesa Sanpaolo(Intesa Sanpaolo公司);University of Southern California(南加州大学)
本文提出图正则化稀疏自编码器,通过在神经元共激活图上平滑解码器向量并应用方向库,提升安全引导效果,在多个基准测试中显著提高有害请求拒绝率。
2026-05-15 cs.AI cs.LG
MVP-ORAM: a Wait-free Concurrent ORAM for Confidential BFT Storage
LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院)
MVP-ORAM是一种无等待的并发ORAM协议,支持保密BFT存储,通过避免受信任代理和并发控制机制,实现高效的故障容忍和高吞吐量。
2025-12-27 cs.CR cs.DC cs.DS
API Secrets Should Never Become Tokens in the LLM's Vocabulary: A Threat Analysis of API Credential Handling in LLM Agent Systems and an Empirical Evaluation of a Vault-Mediated Execution Boundary
Corvic AI Research(Corvic人工智能研究院)
本研究分析LLM智能体凭据暴露威胁链,提出保险库中介执行架构,通过实验证明其能有效防止API密钥泄露,但需结合最小权限等安全措施。
2026-09-29 cs.AI cs.CR cs.LG
VAMS: Verifiable Auditing of Access to Confidential Data
该研究提出VAMS机密数据访问可验证审计系统,依托防篡改日志、标签机制与MultiBallot扩展方案实现隐私保护下的两级审计,实验验证其在医疗、执法等场景具备实用性。
2023-05-03 cs.CR
Unlearn and Burn: Adversarial Machine Unlearning Requests Destroy Model Accuracy
本研究揭示了机器遗忘系统假设移除数据必在原训练集中的漏洞,提出白盒与黑盒对抗性遗忘请求攻击算法,在CIFAR-10和ImageNet上使模型准确率骤降,并指出当前验证机制难以检测隐蔽攻击。
2024-10-12 cs.CR
Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images
研究将源代码作为文本和图像时商业API如何计费,通过可重复案例研究,涵盖五种编程语言、多种源长度及多个模型别名,得出不同模型的图像与文本比率及收支平衡行为差异,还发布了重现研究所需的资料。
2026-07-27 cs.AI cs.CV cs.SE
SoK: A cloudy view on trust relationships of CVMs -- How Confidential Virtual Machines are falling short in Public Cloud
本文系统评估主流公有云提供商的机密虚拟机产品,揭示云提供商仍控制可信软件栈关键部分并干预远程attestation流程,从而违背机密计算将云提供商排除在可信实体之外的核心原则。
2025-03-11 cs.CR cs.DC
OpenCity: A Scalable Platform to Simulate Urban Activities with Massive LLM Agents
The Hong Kong University of Science and Technology (GuangZhou)(香港科技大学(广州));Tsinghua University(清华大学)
针对大语言模型智能体城市模拟计算成本高、难以扩展的问题,提出可扩展平台OpenCity,通过IO多路复用调度器和分组蒸馏提示策略实现600倍加速,支持万级智能体模拟并构建首个相关基准。
2024-10-11 cs.AI cs.MA
Automated Black-box Testing of Mass Assignment Vulnerabilities in RESTful APIs
大量赋值是RESTful API中最突出的漏洞之一。此漏洞源于常见Web框架中的错误配置,因此攻击者可以利用命名约定和自动绑定来编写恶意请求,写入机密资源并(大规模)覆盖应该是只读和/或机密的数据。在本文中,我们采用了黑盒测试的角度来自动检测大量分配RESTful API中的漏洞。执行场景完全基于OpenAPI规范生成,OpenAPI规范列出了可用的操作及其消息格式。聚类用于对相似的操作进行分组并显示只读字段,后者是批量分配的候选者。然后,通过实例化抽象测试模板自动生成交互序列,试图利用潜在的漏洞。最后,运行测试用例,并由特定的oracle评估其执行情况,以揭示漏洞是否可以被成功利用。所提出的新方法已实施和评估的一组案例研究写在不同的程序设计语言。评估强调,该方法是非常有效的检测种子漏洞,具有非常高的准确性。
2023-01-03 cs.CR cs.SE
PipeLLM: Fast and Confidential Large Language Model Services with Speculative Pipelined Encryption
PipeLLM通过推测性流水线加密重叠加密与GPU计算,解决机密计算中加密带来的高开销,实现快速且保密的LLM服务,实验显示吞吐量开销小于19.6%。
2024-11-04 cs.CR cs.DC
JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Huazhong University of Science and Technology(华中科技大学);Griffith University(格里菲斯大学);Changsha University of Science and Technology(长沙理工大学);City University of Hong Kong(香港城市大学)
针对RLCD模型提出首个对抗基准JevAdvBench,通过对比模型自身干净决策评估攻击,发现附加意见可翻转12.1%决策,建议将状态视为不可信输入。
2026-10-27 cs.AI cs.CL cs.CR
SwarmReconGuard: Black-Box Detection of Distributed Collective Reconnaissance by Individually Benign-Looking Agent Populations
University of Klagenfurt(克拉根福大学)
针对智能体群体分布式集体侦察,提出SwarmReconGuard黑盒基准,比较多种检测器,发现高斯似然比检测在已知攻击上表现优异但泛化差,混合CUSUM在规模上更有效,揭示策略泛化差距。
2026-10-08 cs.AI cs.CR cs.MA
Unified Singular Protocol Flow for OAuth (USPFO) Ecosystem
提出统一单一协议流(USPFO),将OAuth的不同客户端与授权类型合并为单一流程,以减少配置漏洞并通过完整性等机制防护模拟、令牌盗窃等已知攻击,且兼容现有IETF标准。
2023-08-02 cs.CR cs.CY
Unlocking User-oriented Pages: Intention-driven Black-box Scanner for Real-world Web Applications
针对现有黑盒扫描器难以访问Web应用深层页面的问题,提出基于Large Language Model预测用户意图的黑盒扫描器Hoyen,通过扩大扫描范围显著提升测试覆盖率与漏洞检测能力。
2025-04-30 cs.CR cs.SE
Efficient User-Centric Privacy-Friendly and Flexible Wearable Data Aggregation and Sharing
针对可穿戴数据共享中的隐私风险,提出SAMA方案,结合多密钥部分同态加密和属性加密,实现高效、用户中心的灵活数据聚合与细粒度共享。
2024-03-03 cs.CR
A Novel Structure of Advance Encryption Standard with 3-Dimensional Dynamic S-box and Key Generation Matrix
发送和接收秘密信息的研究被称为密码学。通常,加密方和接收方不知道加密和解密的过程。因此,加密在数据通信和数据安全中起着重要的作用。加密的意义不仅在于保护数据的机密性,防止不必要的访问,还在于通过可用的方式保证数据的完整性。随着对安全的破坏能力的迅速增加,隐藏信息的过程是人们最关心的话题之一。高级加密标准是一种流行的、广泛使用的、高效的加密算法,自发明以来一直在使用。本文重点研究AES密钥生成过程和替换盒。该方案改进了传统的密钥生成技术,构造了高级加密标准的动态三维S盒。该方法提出了一种新的密钥生成矩阵和S盒。如图所示,这种新技术增加了加密和解密期间所需的时间量。实验结果表明,该算法也增强了AES算法的强度。该方法说明了理论分析和相应的实验结果。
2020-04-30 cs.CR
Dropbear: Machine Learning Marketplaces made Trustworthy with Byzantine Model Agreement
机器学习(ML)模型的市场正在成为组织将模型货币化的一种方式。它们允许模型所有者通过使用云资源执行ML推理请求来保持对托管模型的控制,从而保持模型的机密性。依赖托管模型的客户端需要可信的推理结果,即使模型由第三方管理。虽然可以通过组合多个独立模型来提高推理结果的弹性和鲁棒性,但在当今的市场中无法获得这种支持。我们描述了Dropbear,这是第一个ML模型市场,通过以值得信赖的方式组合多个模型的结果,为客户提供强大的完整性保证。Dropbear在一个模型组中复制推理计算,该模型组由属于不同模型所有者的多个基于云的GPU节点组成。客户端接收使用拜占庭共识协议证明协议的推理证书,即使在模型异构和并发模型更新下也是如此。为了提高性能,Dropbear将推理和共识操作分开处理:它首先在模型组中执行推理计算,然后对请求和模型更新进行排序。尽管有很强的完整性保证,但Dropbear的性能与最先进的ML推理系统相匹配:部署在3个云站点上,它使用ImageNet模型处理800个请求/s。
2022-05-31 cs.CR cs.DC
MATEE: Efficiently Bridging the Semantic Gap in TrustZone via Arm Pointer Authentication
Huazhong University of Science and Technology(华中科技大学);JinYinHu Laboratory(金银湖实验室);Zhejiang Laboratory(浙江实验室)
MATEE是面向TEE的系统,利用Arm指针认证绑定请求与客户端应用身份,在不修改现有应用的前提下防御语义鸿沟漏洞,运行时开销仅2.19%。
2026-08-24 cs.CR
Practical Secrets Extraction against Black-box LLMs
Nanyang Technological University(南洋理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Hong Kong Polytechnic University(香港理工大学)
本研究提出一种针对商业黑盒LLM的秘密提取框架,通过知识蒸馏和代理引导过滤,在仅输出访问下有效恢复记忆化凭据,提升提取效率与真实密钥率。
2026-09-30 cs.CR
Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
研究大语言模型网关中模型替换和路由稀释问题,提出IRIS审计方法,仅需返回文本,能结合多种检测与估计,通过实验验证其在不同场景下的有效性,相比其他审计方法有优势,还进行了多方面拓展实验。
2026-07-24 cs.CR
Cloud Computing -- An Approach with Modern Cryptography
本文提出了一种利用128/192/256位密钥的AES技术对数据进行加密和解密的算法。与其他加密技术以及RSA相比,AES提供了高安全性。云计算为客户提供所需的服务。它是指使用虚拟化资源在分布式网络上运行并通过公共IP和网络标准访问的应用程序和服务。在提供数据服务的同时,为数据提供安全性变得越来越重要。在云计算中,数据安全是一个值得关注的重要问题。尽管AES是为军事目的而设计的,但现在它在全球范围内被商业采用,因为它可以加密大多数机密文件,并且可以在大多数受限区域工作,并提供对各种攻击技术的良好防御,以及安全级别,以保护未来2-3年的数据。
2013-03-05 cs.CR
BufferSearch: Generating Black-Box Adversarial Texts With Lower Queries
本文提出查询高效的 BufferSearch 方法,利用历史信息与统计检验减少黑盒 NLP 对抗攻击中的模型查询次数,在保持攻击性能的同时显著降低查询量,并建立了查询效率研究的基准。
2023-10-14 cs.CR
Publishing Neural Networks in Drug Discovery Might Compromise Training Data Privacy
AstraZeneca R&D Discovery Sciences(阿斯利康研发部研发科学部);Technical University of Munich(慕尼黑工业大学);Helmholtz Munich(慕尼黑亥姆霍兹中心);AI Sweden(瑞典AI中心);Chalmers University of Technology(查尔姆斯理工大学)
本研究通过成员推理攻击在黑盒设置下调查药物发现领域机器学习模型的训练数据隐私风险,发现所有数据集和架构均存在显著风险,少数类分子更脆弱,图表示和消息传递神经网络可缓解风险,并提供评估框架。
2024-10-22 cs.CR cs.LG
Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出Fair-ASR评估协议,重新评估11种黑盒越狱攻击,发现攻击排名随预算变化,进而提出ReCode攻击,在20次目标调用预算下于GPT-5实现85% ASR且效率优异。
2026-08-19 cs.AI cs.CR
Adversarial Machine Learning-Based Anticipation of Threats Against Vehicle-to-Microgrid Services
针对车对微电网服务,提出基于推理攻击和K-NN代理模型的多阶段灰盒攻击,可在少用40%数据时实现最高73.2%的规避增加率。
2022-08-09 cs.AI cs.CR
A framework for the extraction of Deep Neural Networks by leveraging public data
Google Brain(谷歌大脑)
在机密数据集上训练的机器学习模型越来越多地被用于盈利。机器学习即服务(MLaaS)使最终用户可以轻松访问这些模型。先前的工作已经开发了模型窃取攻击,其中攻击者通过对其进行黑盒查询来提取MLaaS模型的近似值。然而,这些工作都无法满足实际模型提取的所有三个基本标准:(1)能够处理深度学习模型,(2)不需要领域知识,(3)能够在有限的查询预算下工作。我们设计了一个模型提取框架,利用主动学习和大型公共数据集,以满足他们。我们证明了使用这个框架可以窃取在图像和文本领域的各种数据集上训练的深度分类器。通过黑盒访问查询模型的顶部预测,我们的框架在统一噪声基线上的平均性能分别提高了4.70倍(图像任务)和2.11倍(文本任务),同时只使用了30%(30,000个样本)的公共数据集。
2019-05-22 cs.AI cs.CR cs.LG
Protecting Privacy and Transforming COVID-19 Case Surveillance Datasets for Public Use
目的:促进联邦收集数据共享的联邦开放数据计划对于透明度,数据质量,信任以及与公众和州,部落,地方和领土(STLT)合作伙伴的关系非常重要。这些举措通过向更多的研究人员、科学家和政策制定者提供数据,以供分析、协作和在疾病预防控制中心应急人员之外的有价值的使用,来促进对健康状况和疾病的了解。对于新出现的情况(如COVID-19),尤其如此,我们有很多东西要学习,并有不断变化的数据需求。自疫情爆发以来,CDC已经从司法管辖区收集了个人级别的去识别数据,目前有超过800万条记录,每天都在增加。本文介绍了CDC如何从这些收集的数据中设计和生成两个去识别的公共数据集。材料与方法:根据有用性、公众要求和隐私影响纳入数据元素;抑制特定字段值以降低重新识别和暴露机密信息的风险。使用数据管理平台分析工具以及R脚本创建并验证数据集的隐私性和机密性。结果:不受限制的数据可通过Data.CDC.gov向公众提供,而受限制的数据(带有额外字段)可通过GitHub.com上的私有存储库通过数据使用协议提供。实践启示:对可用的公共数据、用于创建这些数据的方法以及用于保护去身份化个人隐私的算法的丰富理解允许改进数据使用。自动化数据生成程序允许更大和更及时地共享数据。
2021-01-13 cs.CR cs.CY
From Automata Learning to Model Checking: Formal Security Verification of Black-Box Protocols
Mälardalen University(马尔默达尔大学);AVL List GmbH(AVL李斯特有限公司);AIT Austrian Institute of Technology GmbH(奥地利技术研究所有限公司);KTH Royal Institute of Technology(皇家理工学院)
本文提出结合自动机学习与模型检查的方法,用于系统验证通信协议的安全属性,通过自动化流程减少建模工作量并提高安全性验证的自动化水平。
2026-09-14 cs.CR cs.FL
Daydreaming: Stealing Hidden Agent Skills through Black-Box Task Interaction
UC Berkeley(加州大学伯克利分校);National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究提出Daydreaming攻击,通过黑盒任务交互窃取智能体技能,在7种技能和4种模型上恢复了原始技能86.8%的能力,性能优于SigLeak,证明仅隐藏技能文件无法阻止功能重建。
2026-08-28 cs.AI cs.CR cs.LG
Fusion of Machine Learning and Blockchain-based Privacy-Preserving Approach for Health Care Data in the Internet of Things
Department of Computer Engineering, Kerman Branch, Islamic Azad University, Kerman, Iran(伊斯兰阿扎德大学克尔曼分校计算机工程系)
本文提出一种融合机器学习与区块链的隐私保护方法,用于提升物联网医疗系统中的数据安全性和检测精度。
2025-12-30 cs.CR
GateDrain: Availability Attacks and Admission-Side Defense for Confidence-Gated Edge-Cloud Inference
Hofstra University(霍夫斯特拉大学);Norwegian University of Science and Technology(挪威科技大学)
GateDrain揭示置信度门控边缘-云推理的可用性漏洞,通过扰动降低置信度将请求重定向至云队列造成延迟恶化,并提出结合准入预算与优先级的Bounded Escalation防御策略。
2026-09-29 cs.CR
A Black Box for Agentic Processes: Blockchain-Anchored Evidence for AI Agent Communication, Human Oversight, and GRC Audits
该论文针对AI智能体工作流的可审计性问题,提出一种锚定区块链的产品中立黑盒架构,用于智能体通信等的密码学承诺,为GRC审计提供证据基础,适用于相关监管场景。
2026-09-04 cs.CR
Characterizing and Optimizing End-to-End Systems for Private Inference
在两方机器学习预测服务中,客户端的目标是查询远程服务器训练的机器学习模型,以执行某个应用领域的神经网络推理。然而,客户端或服务器在此过程中可能会获取敏感信息,从而导致潜在的收集、未经授权的二次使用和对个人信息的不当访问。这些安全问题导致了私有推理(PI),其中客户端的个人数据和服务器的训练模型都是保密的。最先进的PI协议由预处理或离线阶段和在线阶段组成,在线阶段结合了几个密码原语:同态加密(HE),秘密共享(SS),乱码电路(GC)和不经意传输(OT)。尽管需要和最近的性能改进,PI今天仍然很大程度上是《双城之战》,并且对于实际使用来说太慢了。本文讨论了PI的缺点,详细描述了一个标准的高性能协议,以建立系统社区的基础知识和直觉。我们的描述精确地指出了所有低效率的来源--计算、通信和存储。与以前的工作相比,我们考虑推理请求到达率,而不是孤立地研究单个推理,我们发现预处理阶段不能被忽略,并且经常在线发生,因为没有足够的停机时间来隐藏预计算延迟。最后,我们利用我们的特性的见解,并提出了三个优化,以解决存储(客户端Garbler),计算(层并行HE)和通信(无线时隙分配)的开销。与最先进的PI协议相比,这些优化提供了1.8 $\times$的总PI加速比,能够支持高达2.24 $\times$的推理请求。
2023-02-16 cs.CR
The More It Says, the More You Pay: A Black-Box Audit of Provider-Side Token Inflation in LLM Services
University of Science and Technology of China(中国科学技术大学)
针对按Token付费的LLM服务中供应商隐蔽膨胀输出Token的攻击(PTIA),本文提出一种基于饱和现象的单探针黑盒审计方法,无需参考模型,检测率达85.1%,假阳性率低于2%。
2026-09-18 cs.CR
Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出反向学习腐败攻击,通过在训练图中注入特定节点并请求删除,导致图神经网络性能下降,揭示了隐私法规下反向学习的脆弱性。
2026-03-19 cs.CR cs.LG
An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs
BRAC University(布拉格大学);Middle Tennessee State University(田纳西中部州立大学)
本研究提出self-feeding黑盒测试方法,通过将LLM自身输出反馈为输入检测后门,在6个开源权重LLM上实现高模型级检测精度,仅需文本级查询访问即可作为模型安全的低成本初查手段。
2026-08-13 cs.CR