Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego(加州大学圣地亚哥分校)
本文研究1比特压缩感知中的噪声鲁棒性,证明BIHT算法在对抗性符号翻转下,以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差,保持通用性,确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学);Bytedance AI Lab(字节跳动人工智能实验室)
尽管香农理论指出将信源和信道编码分离为两个独立过程是渐进最优的,但在许多实际通信场景中,这种分解受到有限比特长度和解码计算能力的限制。最近,神经元联合信源-信道编码(NECST)被提出来解决这个问题.虽然它利用摊销推理和深度学习的进步来改进编码和解码过程,但由于其学习的编码网络的鲁棒性有限,它仍然不能总是在压缩和纠错性能方面取得令人信服的结果。基于神经元联合信源-信道编码与离散表示学习之间的内在联系,提出了一种新的正则化方法Infomax Adversarial-Bit-Flip(IABF)来提高神经元联合信源-信道编码方案的稳定性和鲁棒性。更具体地说,在编码器侧,我们建议显式地最大化码字和数据之间的互信息;而在解码器侧,摊销重建在对抗框架内进行正则化。在各种真实世界数据集上进行的大量实验证明,我们的IABF可以在压缩和纠错基准上实现最先进的性能,并且远远优于基线。
2020-04-03 cs.LG stat.ML
T-BFA: Targeted Bit-Flip Adversarial Weight Attack
传统的深度神经网络(DNN)安全性主要与众所周知的对抗性输入示例攻击有关。最近,对抗攻击的另一个维度,即对DNN权重参数的攻击,已经被证明是非常强大的。作为一种典型的攻击方法,基于位翻转的对抗性权重攻击(BFA)通过在权重参数中注入极少量的错误来劫持DNN函数。BFA以前的工作集中在非目标攻击,可以通过翻转存储在计算机内存中的非常少量的权重位来将所有输入破解为随机输出类。本文提出了针对DNN的基于目标BFA(T-BFA)的对抗性权重攻击的第一项工作,该攻击可以故意将选定的输入误导到目标输出类。该目的是通过识别权重位,通过类相关的权重位排序算法与目标输出的分类高度相关。我们提出的T-BFA性能成功地证明了多个DNN架构的图像分类任务。例如,通过仅仅翻转ResNet-18的8800万个权重位中的27个,我们的T-BFA可以将所有图像从“母鸡”类错误分类为“鹅”类(即,100%攻击成功率),同时保持59. 35%的验证准确率。此外,我们成功地证明了我们的T-BFA攻击在一个真正的计算机原型系统运行DNN计算,与常春藤桥为基础的英特尔i7 CPU和8 GB的DDR3内存。
2021-01-08 cs.CR cs.LG stat.ML
Lifting the Information Ratio: An Information-Theoretic Analysis of Thompson Sampling for Contextual Bandits
Universitat Pompeu Fabra(庞培法布拉大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
我们研究了贝叶斯后悔著名的汤普森抽样算法在上下文土匪与二进制损失和adversarially选择的情况下。我们适应信息理论的角度来看,\cite{RvR16}的上下文设置考虑提升版本的信息比定义的未知的模型参数,而不是最佳的行动或最佳的政策,在以前的作品在相同的设置。这使我们能够通过一个非常简单的证明,用先验分布的熵来约束遗憾,并且没有对可能性或先验的结构性假设。扩展到具有无穷熵的先验只需要对数似然的Lipschitz假设。一个有趣的特殊情况是,物流强盗$d$维参数,$K$行动,Lipschitz logits,我们提供了一个$\widetilde{O}(\sqrt{dKT})$遗憾的上限,不依赖于最小斜率的S形链接函数。
2023-03-06 cs.LG
BDFA: A Blind Data Adversarial Bit-flip Attack on Deep Neural Networks
Simon Fraser University(西蒙弗雷泽大学)
针对神经网络权值的对抗性位翻转攻击(BFA)通过翻转极少量的位,可导致灾难性的精度下降。现有位翻转攻击技术的主要缺点是它们依赖于测试数据。对于包含敏感或专有数据的应用程序,这通常是不可能的。在本文中,我们提出了盲数据对抗比特翻转攻击(BDFA),一种新的技术,使BFA没有任何访问的训练或测试数据。这是通过优化合成数据集来实现的,该数据集被设计为匹配网络和目标标签的不同层上的批量归一化的统计数据。实验结果表明,BDFA仅用4位翻转就能将ResNet 50的准确率从75.96%显著降低到13.94%.
2022-01-07 cs.CR cs.LG
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Tübingen(图宾根大学)
深度神经网络(DNN)加速器近年来受到了相当大的关注,因为与主流硬件相比,它具有节能的潜力。DNN加速器的低电压操作允许进一步降低能量消耗,然而,在存储量化权重的存储器中引起比特级故障。此外,DNN加速器容易受到电压控制器或单个比特的对抗攻击。在本文中,我们证明了鲁棒定点量化,权重裁剪以及随机比特错误训练(RandBET)或对抗性比特错误训练(AdvBET)的组合显着提高了量化DNN权重中对随机或对抗性比特错误的鲁棒性。这不仅为低电压操作和低精度量化带来了高节能,而且还提高了DNN加速器的安全性。与相关工作相比,我们的方法概括了整个工作电压和加速器,不需要硬件的变化。此外,我们提出了一种新的对抗性比特错误攻击,并能够获得针对有针对性和无针对性的比特级攻击的鲁棒性。在不损失超过0.8%/2%的测试精度的情况下,我们可以在CIFAR 10上减少20%/30%的8/4位量化能耗。允许多达320个对抗性比特错误,我们将测试错误从90%以上(机会水平)降低到26.22%。
2022-06-07 cs.AR cs.CR cs.CV
Bayesian Algorithms for Adversarial Online Learning: from Finite to Infinite Action Spaces
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出一种基于对手动作空间先验的 Thompson 采样在线学习算法,将遗憾分解为先验期望遗憾与超额遗憾,并在有限专家情形恢复最优速率,同时证明在无限专家情形下对 Lipschitz 对手取得次线性遗憾界。
2025-09-22 cs.GT cs.LG math.ST
Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes
Indian Institute of Science(印度科学学院)
作为人类,我们固有地基于其主要特征来感知图像,而忽略嵌入在较低位平面内的噪声。相反,众所周知,深度神经网络可以自信地对被精心制作的扰动破坏的图像进行错误分类,这些扰动几乎是人眼无法察觉的。在这项工作中,我们试图通过训练网络来解决这个问题,以根据高位平面中的信息形成粗略的印象,并仅使用低位平面来改进其预测。我们证明,通过对不同量化图像中学习到的表示施加一致性,与正常训练的模型相比,网络的对抗鲁棒性显着提高。目前最先进的对抗对抗攻击的防御需要使用对抗样本显式训练网络,这些样本的生成在计算上是昂贵的。虽然此类使用对抗训练的方法继续取得最佳结果,但这项工作为实现鲁棒性铺平了道路,而无需显式地对对抗样本进行训练。因此,所提出的方法更快,也更接近人类的自然学习过程。
2020-04-01 cs.CR cs.CV cs.LG
Discretization based Solutions for Secure Machine Learning against Adversarial Attacks
Purdue University(普渡大学)
对抗性示例是被设计为(来自深度学习网络(DLN)的参数梯度)在测试期间误导DLN的扰动输入。直观地说,限制网络的输入或参数的维度减少了对抗性示例存在的“空间”。在这种直觉的指导下,我们证明了离散化大大提高了DLN对对抗攻击的鲁棒性。具体而言,离散化输入空间(或允许的像素级别从256个值或8位到4个值或2位)广泛地提高了DLN对于大范围扰动的对抗鲁棒性,以使测试准确性的损失最小化。此外,我们发现二进制神经网络(BNN)和相关变体本质上比对抗场景中的全精度对应物更强大。将输入离散化与BNN相结合,进一步提高了鲁棒性,甚至无需针对一定幅度的扰动值进行对抗性训练。我们评估了离散化对MNIST,CIFAR 10,CIFAR 100和Imagenet数据集的影响。在所有数据集中,我们观察到2位输入离散化的最大对抗性,与干净的测试准确度相比,对抗性准确度损失仅为~1-2%。
2019-02-11 cs.CR cs.CV cs.LG
RADAR: Run-time Adversarial Weight Attack Detection and Accuracy Recovery
Arizona State University(亚利桑那州立大学);Shanghai Jiao Tong University(上海交通大学)
对神经网络权重的对抗攻击,例如渐进式位翻转攻击(PBFA),可以通过翻转非常少量的位来导致准确性的灾难性下降。此外,PBFA可以在运行时间对存储在DRAM主存储器中的权重进行。在这项工作中,我们提出了雷达,一个运行时间对抗性的重量攻击检测和准确性恢复计划,以保护DNN权重对PBFA。我们将散布在层中的权重组织成组,并对权重采用基于校验和的算法来为每组导出2位签名。在运行时间,计算2位签名并与安全存储的黄金签名进行比较,以检测组中的位翻转攻击。在成功检测之后,我们将组中的所有权重归零,以减轻恶意位翻转造成的准确性下降。所提出的方案是嵌入在推理计算阶段。对于ResNet-18 ImageNet模型,我们的方法平均可以检测到10个比特翻转中的9.6个。对于该模型,所提出的精度恢复方案可以将精度从10位翻转引起的低于1%恢复到69%以上。所提出的方法具有极低的时间和存储开销。在gem 5上的系统级仿真表明,RADAR仅增加了<1%的推理时间,使该方案非常适合于运行时间攻击检测和缓解。
2021-01-20 cs.CR cs.LG
One Bit Matters: Understanding Adversarial Examples as the Abuse of Redundancy
Shanghai Jiao Tong University(上海交通大学);University of California, Berkeley(加州大学伯克利分校);Lawrence Livermore National Labs(劳伦斯利弗莫尔国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管在机器学习(ML)方面取得了巨大的成功,但对抗性的例子引起了人们对其可信度的担忧:输入的一个小扰动会导致一个看似训练有素的ML模型的任意失败。虽然正在进行研究以发现对抗性示例的内在属性,例如它们的可转移性和普遍性,但没有足够的理论分析来帮助理解这种现象,从而影响ML实验的设计过程。在本文中,我们推导出一个信息理论模型,解释对抗攻击的ML算法中的特征冗余的滥用。我们证明了特征冗余是对抗样本存在的必要条件。我们的模型有助于解释一些主要的问题,在许多轶事研究对抗性的例子。我们的理论得到了图像和文本数据集上良性和对抗性示例信息内容的实证测量的支持。我们的测量结果表明,典型的对抗性示例引入了足够的冗余,足以溢出在相应的良性示例上训练的ML模型的决策。最后,我们提出了可操作的建议,以提高机器学习器对对抗性示例的鲁棒性。
2018-10-23 cs.CR cs.CV cs.IT
Dual Graphs of Polyhedral Decompositions for the Detection of Adversarial Attacks
Colorado State University(科罗拉多州立大学)
以前的工作已经表明,具有整流线性单元(ReLU)激活函数的神经网络导致输入空间的凸多面体分解。这些分解可以用对偶图来表示,对偶图的顶点对应于多面体,而边对应于多面体共享一个刻面,这是汉明图的子图。本文阐述了如何利用对偶图来检测和分析数字图像背景下的对抗攻击。当图像通过包含ReLU节点的网络时,节点处的激发或非激发可以被编码为位($1$用于ReLU激活,$0$用于ReLU非激活)。所有位激活的序列用位向量标识图像,位向量在分解中用多面体标识图像,并且反过来用对偶图中的顶点标识图像。我们识别了非对抗性图像和对抗性图像之间的鉴别器ReLU位,并研究了这些鉴别器的集合如何集成投票以构建对抗性图像检测器。具体来说,我们使用预训练的ResNet-50架构来检查对抗图像的ReLU位向量及其非对抗对应物的相似性和差异。虽然本文的重点是对抗性数字图像,ResNet-50架构和ReLU激活函数,但我们的方法可以扩展到其他网络架构,激活函数和数据集类型。
2022-12-02 cs.CR cs.CV cs.LG
Fast online inference for nonlinear contextual bandit based on Generative Adversarial Network
National Taiwan University(台湾大学)
这项工作解决了效率的问题时,推断一个非线性的上下文土匪的武器数量$n$是非常大的。我们提出了一个具有端到端训练过程的神经强盗模型,以在推理过程中有效地执行强盗算法,如Thompson采样和UCB。我们先进的国家的最先进的时间复杂度$O(\log n)$与近似贝叶斯推理,神经随机特征映射,近似全局最大值和近似最近邻搜索。我们进一步提出了一个生成对抗网络,将选择最佳武器的目标最大化的瓶颈从推理时间转移到训练时间,享受显着的加速,并具有支持批处理和并行处理的额外优势。该生成模型利用近似最近邻搜索算法,可以在对数时间复杂度内近似地推断出后验采样的argmax。大量的分类和推荐任务的实验表明,数量级的改进,在推理时间上没有显着的性能下降。
2022-02-17 cs.LG
There are No Bit Parts for Sign Bits in Black-Box Attacks
USA(美国 (USA))
我们提出了一个黑盒对抗攻击算法,它设置了新的国家的最先进的模型规避率查询效率的$\ell_\infty$和$\ell_2$指标,只有损失的oracle访问模型是可用的。在两个公开的黑盒攻击挑战中,该算法实现了最高的规避率,超过了所有提交的攻击。类似的性能上观察到的模型是安全的替代模型攻击。对于在MNIST、CIFAR 10和IMAGENET数据集上训练的标准模型,在数据集和指标上取平均值,该算法的故障率降低了3.8倍,并且在每次攻击尝试10,000次查询的预算下,比当前最先进的攻击组合少了2.5倍的查询。值得注意的是,它不需要超参数调整或任何数据/时间相关的先验。该算法利用了一种新的方法,即基于符号而不是基于幅度的梯度估计。这将估计从连续转移到二进制黑盒优化。利用方向导数的三个性质,我们研究了对抗攻击的三种方法。这产生了一个优越的算法,打破了标准的MNIST模型,平均只使用12个查询!
2019-04-03 cs.CR cs.LG stat.ML
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通人工智能研究院,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通人工智能研究院,高通技术荷兰有限公司);University of California San Diego(加州大学圣迭戈分校)
在本文中,我们提出了一种新的对抗有损视频压缩模型。在极低的比特率,标准的视频编码方案遭受不愉快的重建文物,如阻塞,振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功,降低比特率的有效传输,并在一定程度上减少文物的影响。然而,它们在极端压缩下仍然倾向于产生模糊的结果。在本文中,我们提出了一种深度对抗学习的视频压缩模型,该模型可以最大限度地减少辅助对抗失真目标。我们发现,相对于传统的质量指标(如MS-SSIM和PSNR),这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失,特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
RA-BNN: Constructing Robust & Accurate Binary Neural Network to Simultaneously Defend Adversarial Bit-Flip Attack and Improve Accuracy
Arizona State University(亚利桑那州立大学);University of Central Florida(中佛罗里达大学)
最近开发的对抗性权重攻击,又名。比特翻转攻击(BFA)已经在以极少量的模型参数扰动损害深度神经网络(DNN)性能方面取得了巨大的成功。为了抵御这种威胁,我们提出了采用完全二进制(即,对于权重和激活)神经网络(BNN),以显著提高DNN模型的鲁棒性(定义为将精度降低到与随机猜测一样低所需的位翻转的数量)。然而,这种积极的低位宽模型遭受不良的清洁(即,无攻击)推理精度。为了解决这个问题,我们提出了一种新的和有效的两阶段的网络增长方法,命名为早期增长。它基于Gumbel-Sigmoid函数的通道式二进制掩码训练,选择性地增加每个BNN层的通道大小。除了恢复推理精度外,我们的RA-BNN在增长后也表现出明显更高的BFA抗性。我们对CIFAR-10数据集的评估表明,与基线BNN相比,所提出的RA-BNN可以将清洁模型的准确性提高约2- 8%,同时将对BFA的抵抗力提高125倍以上。此外,在ImageNet上,使用足够大的(例如,5,000)位翻转量,基线BNN准确度从51.9%下降到4.3%,而我们的RA-BNN准确度仅从60.9%下降到37.1%(9%干净准确度改进)。
2021-03-22 cs.CR cs.CV cs.LG
Bayesian adversarial multi-node bandit for optimal smart grid protection against cyber attacks
Xi'an Jiaotong-Liverpool University(西交利物浦大学);University of Strathclyde(思克莱德大学);University of New South Wales(新南威尔士大学)
智能电网的网络安全已成为发展可靠的现代电力和能源系统的关键问题之一。本文介绍了一种非平稳的对抗成本与变化约束的智能电网,使我们能够在一个相对实际的情况下,研究最佳的智能电网保护免受网络攻击的问题。特别地,构造了一个具有对抗成本的贝叶斯多节点强盗(MNB)模型,并定义了一个新的后悔函数。提出了一种求解该问题的算法-通过算例验证了该算法在实际智能电网中的适用性和性能。
2021-02-20 cs.CR cs.LG cs.SY
Efficient Adversarial Malware Defense via Trust-Based Raw Override and Confidence-Adaptive Bit-Depth Reduction
Arizona State University(亚利桑那州立大学)
针对对抗防御计算开销过高的问题,提出结合信任原始覆盖(TRO)与置信度自适应位深缩减(CABDR)的框架,实现1.76倍计算开销(较先进方法提升2.3倍),保持91%清洁准确率并降低攻击成功率,为生产环境提供高效稳健的恶意软件防御方案。
2025-11-16 cs.CR cs.LG
ZeBRA: Precisely Destroying Neural Networks with Zero-Data Based Repeated Bit Flip Attack
Hongik University(弘益大学)
在本文中,我们提出了基于零数据的重复位翻转攻击(ZeBRA),通过合成自己的攻击数据集来精确破坏深度神经网络(DNN)。许多对抗性权重攻击的现有工作不仅需要权重参数,而且需要训练或测试数据集来搜索要攻击的脆弱比特。我们建议通过利用受害者DNN模型中的批量归一化层的统计数据来合成攻击数据集,即提取的目标数据。配备了提取的目标数据,我们的ZeBRA算法可以搜索模型中的脆弱位,而无需访问训练或测试数据集。因此,我们的方法使得对抗性权重攻击对DNN的安全性更加致命。我们的实验结果表明,与以前的攻击方法相比,平均需要2.0倍(CIFAR-10)和1.6倍(ImageNet)的位翻转次数来破坏DNN。我们的代码可以在https://github上找到。com/pdh930105/ZeBRA。
2021-11-18 cs.CR cs.LG
Quantization of Generative Adversarial Networks for Efficient Inference: a Methodological Study
Higher School of Economics(高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Samsung AI Center Moscow(三星莫斯科人工智能中心);Yandex;Samsung-HSE Laboratory(三星-高等经济学院实验室)
生成对抗网络(GANs)对数字内容创作具有巨大的潜在影响,例如,逼真的数字化身、语义内容编辑以及语音和图像的质量增强。然而,现代GANs的性能与推理过程中执行的大量计算和高能耗结合在一起。这使得它们在边缘设备上的部署变得复杂,甚至不可能。这个问题可以通过量化来解决--量化是一种神经网络压缩技术,通过用低位整数计算代替浮点计算来促进硬件友好的推理。虽然量化对于判别模型来说已经很成熟,但现代量化技术在应用于GANs时的性能仍然不清楚。GANs生成的内容结构比判别模型更复杂,因此GANs的量化更具挑战性。为了解决这个问题,我们在三种不同的GAN架构上对最先进的量化技术进行了广泛的实验研究,即StyleGAN,Self-Attention GAN和CycleGAN。因此,我们发现了实用的方法,使我们能够成功地将这些模型用于4/8位权重和8位激活的推理,同时保持原始全精度模型的质量。
2021-08-31 cs.AI cs.LG
Fractal structures in Adversarial Prediction
Microsoft Corp.(微软公司);New York University(纽约大学);University of Chicago(芝加哥大学)
分形是自相似的递归结构,已被用于模拟几个现实世界的过程。在这项工作中,我们研究如何“分形”的过程中出现的预测游戏,对手正在生成一个序列的位和算法试图预测它们。我们将看到,在算法的预测收益的某种形式化下,对手产生一个类似分形的序列以最小化算法的预测能力是最优的。事实上,以前就有人提出金融市场表现出类似分形的行为。我们证明了一个分形分布自然产生的优化从对手的角度来看。此外,我们给出了可预测性和预期偏差(即位的总和)之间的最佳权衡,我们的形式化的预测回报。这一结果的动机是观察到,几个时间序列数据表现出更高的偏差比预期的完全随机游走。
2013-04-29 cs.LG
Evaluating Adversarial Evasion Attacks in the Context of Wireless Communications
Virginia Tech(弗吉尼亚理工大学)
射频机器学习(RFML)的最新进展已经证明了将原始同相和正交(IQ)样本用于多个频谱感测任务。然而,在其他应用中,深度学习技术已被证明容易受到对抗性机器学习(ML)技术的影响,这些技术试图制造添加到输入中的小扰动以导致错误分类。目前的工作根据攻击的执行位置区分了对抗性ML对RFML系统构成的威胁:直接访问分类器输入,通过空中同步传输(OTA)或从单独的设备异步传输。此外,目前的工作开发了一种方法来评估对抗成功的背景下,无线通信,其中感兴趣的主要指标是误比特率,而不是人类的感知,是在图像识别的情况下。该方法使用著名的快速梯度符号方法来评估基于原始IQ的自动调制分类的漏洞,并得出结论RFML容易受到对抗性的例子,即使在OTA攻击。然而,在OTA攻击中会遇到的RFML域特定接收器效应可以对对抗规避造成重大损害。
2019-03-01 cs.LG eess.SP stat.ML
Robust Mean Estimation under Quantization
Department of Mathematics, University of California Irvine(加州大学尔湾分校数学系);Department of Mathematics, University of Maryland, College Park(马里兰大学学院市分校数学系)
本文提出在量化和对抗性污染下最优的多变量鲁棒均值估计方法,分别针对单比特和部分量化设置。
2026-01-11 cs.LG math.ST stat.ML
Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks
University of Virginia(弗吉尼亚大学)
尽管深度神经网络(DNN)在许多任务中取得了巨大的成功,但它们经常被\emph{adversarial examples}所愚弄,这些\emph{adversarial examples}是通过向自然示例添加小但有目的的扭曲而生成的。以前防御对抗性示例的研究主要集中在改进DNN模型上,但要么成功有限,要么需要昂贵的计算。我们提出了一种新的策略,\emph{feature squeezing},可用于通过检测对抗性示例来强化DNN模型。特征压缩通过将对应于原始空间中的许多不同特征向量的样本合并到单个样本中来减少对手可用的搜索空间。通过比较DNN模型对原始输入的预测与对压缩输入的预测,特征压缩以高精度和低误报检测对抗性示例。本文探讨了两种特征压缩方法:降低每个像素的颜色位深和空间平滑。这些简单的策略是廉价的,并补充其他防御,并可以结合在一个联合检测框架,以实现对最先进的攻击的高检测率。
2017-12-05 cs.CR cs.CV cs.LG
Relaxed Models for Adversarial Streaming: The Advice Model and the Bounded Interruptions Model
Tel Aviv University(特拉维夫大学);Ben-Gurion University(本-古里安大学);Google Research(谷歌研究院)
流算法通常在不经意设置中进行分析,其中我们假设输入流是预先固定的。最近,有越来越多的兴趣在设计adversarially强大的流算法,必须保持实用程序,即使当输入流选择自适应和adversarially作为执行的进展。虽然对抗性设置有几个有趣的结果,但总的来说,它在所需空间方面的成本非常高。受此启发,在这项工作中,我们开始探索中间模型,使我们能够在遗忘模型和对抗模型之间进行插值。具体来说,我们提出了以下两个模型:(1)* 建议模型 *,其中流算法可能偶尔会要求一位建议。(2)* 有界中断模型 *,其中我们假设对手只是部分自适应的。我们提出了这两种模式的积极和消极的结果。特别是,我们提出了通用的减少,从这些模型的遗忘模型。这使我们能够设计出鲁棒的算法,与普通对抗模型相比,空间复杂度有了显著的改善。
2023-01-22 cs.CR cs.DS cs.LG
BitFlipScope: Scalable Fault Localization and Recovery for Bit-Flip Corruptions in LLMs
Bradly Dept. of ECE(布拉利电子工程系);Virginia Tech(弗吉尼亚理工学院)
BitFlipScope通过两种部署场景实现LLM中位翻故障的定位与恢复,利用差分分析和残差路径扰动等方法,支持轻量级性能恢复,提升硬件环境下的模型可靠性。
2026-04-14 cs.AI cs.AR cs.CR