Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University(西北工业大学)
针对优先经验回放(PER)非均匀采样导致Q值估计误差的问题,提出融合改进自注意力网络与双重采样机制的ALAP经验回放算法,在OPENAI gym多类强化学习场景验证了其效率与优势。
2023-10-09 cs.AI cs.LG
Directly Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University(西北工业大学)
提出DALAP强化学习训练框架,利用Parallel Self-Attention网络量化分布偏移以补偿误差,并设计Priority-Encouragement机制优化样本筛选,有效提高了收敛速度并降低了训练方差。
2023-11-24 cs.AI cs.LG
AGSTN: Learning Attention-adjusted Graph Spatio-Temporal Networks for Short-term Urban Sensor Value Forecasting
National Cheng Kung University(国立成功大学)
预测传感器值的时空相关时间序列在城市应用中是至关重要的,例如空气污染警报、自行车资源管理和智能交通系统。虽然最近的进展利用图神经网络(GNN)来更好地学习传感器之间的空间和时间依赖性,但是它们不能对传感器之间的时间演化时空相关性(STC)进行建模,并且需要预定义的图,这些图既不总是可用也不完全可靠,并且一次仅针对特定类型的传感器数据。此外,由于时间序列波动的形式在传感器之间是不同的,因此模型需要学习波动调制。为了解决这些问题,在这项工作中,我们提出了一种新的基于GNN的模型,即注意力调整图时空网络(Attention-adjusted Graph Spatio-Temporal Network,AGNN)。在AGTRAN中,开发了具有顺序学习的多图卷积来学习时间演化STC。波动调制是通过一个建议的注意力调节机制来实现的。对三个传感器数据(空气质量、自行车需求和交通流量)的实验表明,AGSTN的性能优于最先进的方法。
2021-01-29 cs.IR cs.LG cs.SI
Robust Image Watermarking based on Cross-Attention and Invariant Domain Learning
University of Nebraska Omaha(内布拉斯加大学奥马哈分校)
该研究提出基于多头交叉注意力和不变域学习的鲁棒图像水印方法,通过注意力机制定位语义适配的嵌入位置,并学习包含水印语义与噪声不变信息的域表示,为提升水印鲁棒性提供新路径。
2023-10-09 cs.LG cs.MM
Sequential Recommendation via Adaptive Robust Attention with Multi-dimensional Embeddings
Salesforce(Salesforce公司);University of Technology Sydney(悉尼科技大学)
针对序列推荐中用户行为多样及模型鲁棒性问题,提出ADRRec框架,结合多维时间上下文核嵌入、混合注意力与LNI正则化,实验表明其优于现有自注意力架构。
2024-09-08 cs.AI cs.IR cs.LG
QUEST: A robust attention formulation using query-modulated spherical attention
Linköping University(林雪平大学);Qualcomm Auto Ltd Sweden Filial(高通汽车瑞典分公司)
本文提出QUEST,通过将键约束在超球面潜在空间中,提升注意力机制的稳定性与鲁棒性,适用于视觉及其他领域,实现训练稳定性和性能提升。
2026-03-31 cs.AI cs.CV cs.LG
Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention
Zhejiang University(浙江大学);Penn State(宾夕法尼亚州立大学);Shandong University(山东大学)
本文提出动态注意力方法,通过注意力校正和动态建模增强Transformer大语言模型对文本对抗攻击的固有鲁棒性,无需下游任务知识且不增加额外成本,实验显示性能最高提升33%,并可与对抗训练等方法结合进一步提升鲁棒性。
2023-11-30 cs.CL cs.CR cs.LG
Location-Relative Attention Mechanisms For Robust Long-Form Speech Synthesis
Google Research(谷歌研究院)
尽管能够为域内文本产生人类水平的语音,但基于注意力的端到端文本到语音(TTS)系统遭受文本对齐失败,其对于域外文本的频率增加。我们表明,这些故障可以使用简单的位置相关的注意力机制,消除基于内容的查询/关键字比较。我们比较了两类注意力机制:基于位置相关GMM的机制和基于附加能量的机制。我们建议对基于GMM的注意力进行简单的修改,使其能够在训练过程中快速一致地对齐,并将一种新的位置相关注意力机制引入到基于加性能量的家族中,称为动态卷积注意力(DCA)。我们比较了各种机制在训练过程中的对齐速度和一致性,自然性和推广到长话语的能力,并得出结论,GMM注意力和DCA可以推广到很长的话语,同时保留自然性较短,域内话语。
2020-04-22 cs.CL cs.LG cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield(谢菲尔德大学)
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时,语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别,而是通过使用深度神经网络的联合优化集成到一个框架中。此外,为了提高对噪声的鲁棒性,采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能,我们测试它的数据集VoxCeleb1,最常用的基准数据集之一。此外,我们所提出的方法的鲁棒性也测试VoxCeleb1数据时,被破坏的三种类型的干扰,一般的噪声,音乐,和串音,在不同的信噪比(SNR)水平。所得到的结果表明,在我们的实验中,使用语音增强和多阶段注意力模型的方法优于两个强基线,在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization
Carnegie Mellon University(卡内基梅隆大学)
深度网络无法泛化分布外的一个常见解释是,它们无法恢复“正确”的特征。我们用一个简单的实验来挑战这个概念,这个实验表明ERM已经学习了足够的特征,目前的瓶颈不是特征学习,而是鲁棒的回归。我们的研究结果还意味着,给定来自目标分布的少量数据,仅重新训练最后一个线性层将获得出色的性能。因此,我们认为,设计更简单的方法来学习预测现有的功能是未来研究的一个有前途的方向。为此,我们引入域调整回归(DARE),一个凸目标学习的线性预测,可证明是强大的分布偏移的新模型。DARE不是学习一个函数,而是执行特定于域的调整,以统一规范潜在空间中的域,并学习在此空间中进行预测。在一个自然模型下,我们证明了DARE解是一组约束测试分布的极小极大最优预测。此外,我们提供了第一个有限的环境收敛保证极大极小风险,改善现有的分析,只产生极大极小预测后的环境阈值。通过对微调功能的评估,我们发现DARE与先前的方法相比毫不逊色,始终实现相同或更好的性能。
2022-10-28 cs.AI cs.LG
SANE: The phases of gradient descent through Sharpness Adjusted Number of Effective parameters
Oxford University(牛津大学)
本文提出基于局部曲率的有效维度度量 SANE,用于衡量解的质量并比较模型,证明其对大学习率具有鲁棒性,并通过 Hessian 近似在深层网络中验证其有效性。
2023-05-29 cs.LG
Stabilising priors for robust Bayesian deep learning
Stellenbosch University(斯泰伦博斯大学)
贝叶斯神经网络(BNN)已经发展成为有用的工具,概率建模由于最近的进展,变分推理,使大规模BNN。然而,BNN仍然很脆弱,难以训练,特别是:(1)当使用由许多隐藏层组成的深层架构时,以及(2)在权重变化较大的情况下。我们使用信号传播理论来量化这些挑战,并提出自稳定先验。这是通过ELBO的重新表述来实现的,以允许先前影响网络信号传播。然后,我们开发了一个稳定的先验,在每个前向传递之前调整先验的分布参数,以确保传播信号的稳定性。这种稳定的信号传播导致改进的收敛性和鲁棒性,使得可以在更嘈杂的环境中训练更深的网络。
2019-10-23 cs.LG stat.ML
Optimal Attention Temperature Improves the Robustness of In-Context Learning under Distribution Shift in High Dimensions
MLIP Research Group, KUIS AI Center, Koç University(MLIP研究组、KUIS人工智能中心、科克大学);Department of EEE, Koç University, İstanbul, Turkey(电子工程系、科克大学、伊斯坦布尔,土耳其)
本文研究了在高维分布偏移下通过调整注意力温度提升预训练Transformer上下文学习鲁棒性的方法,推导了通用误差闭式表达式并验证了理论。
2026-05-11 cs.LG stat.ML
AFS: An Attention-based mechanism for Supervised Feature Selection
Central South University(中南大学);Zhejiang Sci-Tech University(浙江理工大学)
特征选择作为一个有效的数据预处理步骤,已经显示出它的有效性,准备高维数据的许多机器学习任务。然而,高维海量数据的激增给现有的特征选择技术带来了巨大的挑战,如计算复杂度和噪声数据下的稳定性。本文介绍了一种新的基于神经网络的特征选择结构,称为基于注意力的特征选择(AFS)。AFS由两个可分离的模块组成:用于特征权重生成的注意模块和用于问题建模的学习模块。注意力模块将特征与监控目标之间的关联问题转化为一个二元分类问题,每个特征由一个浅层注意力网络支持。在训练过程中,基于通过反向传播调整的各个特征选择模式的分布来生成特征权重。可拆卸的结构允许直接重用现有的现成模型,这允许更少的训练时间、对训练数据的需求和对专业知识的要求。为了提高特征选择的准确性,本文还提出了一种混合初始化方法,以解决样本量不足的情况下特征选择的问题。实验结果表明,AFS算法在MNIST、噪声MNIST和小样本数据集上均获得了最佳的准确性和稳定性,优于现有的几种特征选择算法.
2019-02-28 cs.AI cs.LG stat.ML
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University(亚利桑那州立大学)
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题,基于ImageNet数据集通过白盒、黑盒攻击实验,分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Is Smoothness the Key to Robustness? A Comparison of Attention and Convolution Models Using a Novel Metric
The University of Tokyo(东京大学)
本文提出基于逐层拓扑与Lipschitz连续性分析的TopoLip度量,统一比较不同架构的鲁棒性,并证明注意力模型通常比卷积模型更平滑且更鲁棒。
2024-11-24 cs.LG
Robust Filter Attention: Self-Attention as Precision-Weighted State Estimation
Independent Researcher, Los Angeles, CA, USA(独立研究者,美国加利福尼亚州洛杉矶)
提出鲁棒滤波注意力(RFA),将自注意力建模为基于线性随机微分方程的状态估计,在语言建模中实现优于RoPE的困惑度与零样本外推稳定性。
2026-11-01 cs.AI cs.LG
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题,本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
Temporal-Relational Hypergraph Tri-Attention Networks for Stock Trend Prediction
预测股票的未来价格趋势是一个具有挑战性的,但有趣的问题,因为它的关键作用,以帮助投资者作出有利可图的决策。在本文中,我们提出了一个协同的时间关系建模框架,用于端到端的股票趋势预测。首先,股票的时间动态捕捉与注意力为基础的递归神经网络。然后,与现有研究依赖股票之间的成对相关性不同,我们认为股票作为一个集体群体是自然联系的,并引入超图结构来共同表征行业归属和基金持有的股票群体关系。提出了一种新的超图三注意力网络(HGTAN),以增强超图卷积网络的超边内,超边间和超图间注意力模块的分层组织。通过这种方式,HGTAN自适应地确定股票之间信息传播过程中节点、超边和超图的重要性,从而可以充分利用股票走势之间的潜在协同效应。在真实数据上的大量实验证明了该方法的有效性。投资模拟的结果也显示,我们的方法可以取得较理想的风险调整收益率。我们工作的数据和代码已在https://github.com/lixiaojieff/HGTAN上发布。
2022-03-05 cs.LG q-fin.ST
Tracing Privacy Leakage of Language Models to Training Data via Adjusted Influence Functions
Huawei Technologies Canada Co. Ltd(华为技术加拿大有限公司)
本文提出启发式调整影响函数HAIF,通过降低大梯度范数token的权重来更准确地追溯语言模型隐私泄露至训练数据,并在多个数据集和模型上显著优于现有方法。
2024-09-05 cs.CL cs.CR cs.LG
On the interplay of adversarial robustness and architecture components: patches, convolution and attention
University of Tübingen(图宾根大学)
近年来,图像分类的新架构组件已经开发出来,从Transformers中使用的attention和patch开始。虽然先前的工作已经分析了架构组件的某些方面对对抗攻击的鲁棒性的影响,特别是对于视觉Transformer,但对主要因素的理解仍然有限。我们比较了几种具有不同架构的(非)鲁棒分类器,并研究了它们的特性,包括对抗性训练对学习特征的可解释性和对未知威胁模型的鲁棒性的影响。从ResNet到ConvNeXt的消融揭示了导致几乎$10\%$更高$\ell_\infty$ -稳健性的关键架构变化。
2022-09-14 cs.CV cs.LG
Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training
Hosei University(法政大学)
尽管注意力机制已被应用于各种深度学习模型,并已被证明可以提高预测性能,但据报道,注意力机制容易受到机制扰动的影响。为了克服机制中对扰动的脆弱性,我们受到对抗训练(AT)的启发,这是一种强大的正则化技术,用于增强模型的鲁棒性。在本文中,我们提出了一个通用的自然语言处理任务的训练技术,包括注意力AT(Attention AT)和更可解释的注意力AT(Attention iAT)。所提出的技术提高了预测性能和模型的可解释性,利用与AT的机制。特别是,注意力iAT通过引入对抗扰动来增强这些优势,这增强了句子注意力的差异。使用10个开放数据集的评估实验显示,注意力机制的AT,特别是Attention iAT,表现出(1)在十个任务中的九个任务中表现最好,(2)更多的可解释注意力(即,所得到的注意力与基于梯度的单词重要性更强地相关)。此外,所提出的技术是(3)少得多的依赖于在AT的扰动大小。我们的代码可在https://github.com/shunk031/attention-meets-perturbation上获得
2021-07-01 cs.AI cs.CL cs.LG
Can Attention Masks Improve Adversarial Robustness?
Stony Brook University(石溪大学);University of Michigan(密歇根大学)
众所周知,深度神经网络(DNN)容易受到对抗性样本的影响。对抗性示例是恶意制作的输入,旨在欺骗模型,但对人类来说似乎正常。最近的工作表明,像素离散化可以用来使MNIST分类器对对抗性样本具有高度鲁棒性。然而,像素离散化无法提供更复杂的数据集上的显着保护。在本文中,我们迈出了调和这些相反的发现的第一步。专注于观察MNIST中的离散像素化使背景完全黑色和前景完全白色,我们假设,增加鲁棒性的重要属性是使用注意掩模在分类对象之前消除图像背景。为了验证这一假设,我们为两个不同的数据集GTSRB和MS-COCO创建了前景注意力掩模。我们的初步研究结果表明,使用注意掩模导致提高鲁棒性。在对抗训练的分类器上,我们看到MS-COCO的对抗鲁棒性提高了20%以上。
2019-12-21 cs.CR cs.CV cs.LG
Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness
本文从对抗鲁棒性视角揭示差分注意的敏感性问题,发现其减法结构导致梯度范数增加和局部Lipschitz常数升高,实验显示DA在对抗攻击下更脆弱,揭示了选择性与鲁棒性间的根本权衡。
2026-03-14 cs.CR cs.LG
BARReL: Bottleneck Attention for Adversarial Robustness in Vision-Based Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
对抗性扰动的鲁棒性已经在计算机视觉的许多领域进行了探索。这种鲁棒性在基于视觉的强化学习中尤其重要,因为自主智能体的行为在现实世界中可能是安全批评或有影响力的。我们研究了基于视觉的强化学习代理对基于梯度的对抗攻击的敏感性,并评估了潜在的防御。我们观察到,CNN架构中包含的瓶颈注意力模块(BAM)可以作为潜在的工具来提高对对抗攻击的鲁棒性。我们展示了如何通过将空间激活限制在显著区域来使用学习的注意力地图来恢复卷积层的激活。在许多RL环境中,BAM增强的架构在推理过程中表现出更强的鲁棒性。最后,我们讨论了潜在的未来研究方向。
2022-08-22 cs.AI cs.CR cs.CV
Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Microsoft China(微软中国)
神经文语转换系统具有很强的生成高质量、高自然度的类人语音的能力,但对于基于注意力的序列到序列声学建模的设计,其对域外文本的泛化仍然是一个具有挑战性的任务。在具有看不见的上下文的那些输入中发生各种错误,包括注意力崩溃、跳过、重复等,这限制了更广泛的应用。在本文中,我们提出了一种新的逐步单调注意方法在序列到序列的声学建模,以提高鲁棒性域外输入。该方法利用文语转换系统的严格单调性,并对单调硬注意力进行约束,即输入输出序列之间的对齐不仅必须是单调的,而且不允许在输入上出现跳跃。软注意可以用来避免训练和推理之间的不匹配。实验结果表明,该方法可以实现显着提高鲁棒性的域外场景的音素为基础的模型,没有任何回归的域内自然测试。
2019-08-06 cs.CL cs.LG cs.SD
Supervising Model Attention with Human Explanations for Robust Natural Language Inference
Imperial College London(帝国理工学院);Technion – Israel Institute of Technology(以色列理工学院)
众所周知,自然语言推理(NLI)模型可以从其训练数据中的偏差和伪影中学习,从而影响它们对其他不可见数据集的泛化能力。现有的去偏置方法集中在防止模型学习这些偏置,这可能导致限制性模型和较低的性能。相反,我们研究如何教模型人类将接近NLI任务,以学习功能,将更好地推广到以前看不见的例子。使用自然语言解释,我们监督模型的注意力权重,以鼓励更多的注意力集中在解释中出现的单词,显着提高模型的性能。我们的实验表明,这种方法的分布内改进也伴随着分布外改进,监督模型从更好地推广到其他NLI数据集的特征中学习。对模型的分析表明,人类的解释鼓励增加对重要词的关注,更多地关注前提词,而较少关注标点符号和停止词。
2022-05-01 cs.CL cs.LG
Attention as Robust Representation for Time Series Forecasting
Alibaba Group(阿里巴巴集团);Meta Platforms, Inc(元平台公司)
本研究提出将注意力权重作为时间序列的主要表示,利用全局地标和局部窗口构建稳健核表示,在不改变核心架构的情况下将多变量预测MSE降低3.6%,并可作为通用组件替换现有分块嵌入方案。
2024-02-08 cs.AI cs.LG
AR2: Attention-Guided Repair for the Robustness of CNNs Against Common Corruptions
Zhejiang University(浙江大学);Kyushu University(九州大学)
本文提出AR2方法,通过对齐干净与损坏图像的类激活图并迭代微调,无需改架构即可增强预训练CNN对常见损坏的鲁棒性,在多个基准上优于现有方法。
2025-07-08 cs.CV cs.LG cs.SE
TDAPNet: Prototype Network with Recurrent Top-Down Attention for Robust Object Classification under Partial Occlusion
Johns Hopkins University(约翰斯·霍普金斯大学);Peking University(北京大学)
尽管深度卷积神经网络在对象分类方面取得了巨大的成功,但由于训练数据和测试数据之间的不一致,它在遮挡下的泛化性能严重下降。由于遮挡物的变化很大,我们的目标是在无遮挡数据上训练模型,同时可推广到遮挡条件。在这项工作中,我们将原型,部分匹配和自上而下的注意力调节集成到深度神经网络中,以实现遮挡下的鲁棒对象分类。我们首先介绍原型学习,因为它的正则化鼓励紧凑的数据集群,这使得在不一致的条件下具有更好的泛化能力。然后,在中间层,基于特征字典和激活尺度的注意图估计部分匹配,过滤掉不相关的信息,当比较特征和原型。此外,受神经科学研究成果的启发,在卷积层中引入自顶向下的反馈注意调节机制,有目的地减少特征提取阶段的遮挡污染。我们在部分遮挡的MNIST和PASCAL 3D+数据集上的实验结果表明,该网络显着提高了当前深度神经网络在遮挡下的鲁棒性。我们的代码将被释放。
2019-11-14 cs.CV cs.LG
Pay attention! - Robustifying a Deep Visuomotor Policy through Task-Focused Attention
University of Central Florida(中佛罗里达大学)
最近的几项研究已经证明了机器人操纵器控制的深度可视化策略的前景。尽管取得了令人印象深刻的进展,但这些系统已知容易受到物理干扰,例如意外或对抗性碰撞,使它们掉落操纵对象。他们也倾向于被视觉干扰分散注意力,例如在机器人视野中移动的物体,即使干扰不会物理地阻止任务的执行。在本文中,我们提出了一种方法,用于增强通过任务集中视觉注意力(TFA)演示训练的深度视觉策略。操作任务用自然语言文本指定,例如“将红碗向左移动”。这允许视觉注意力组件集中在机器人需要操纵的当前对象上。我们表明,即使在良性环境中,TFA允许的政策始终优于一个变种没有注意力机制。更重要的是,新策略明显更健壮:它定期从严重的物理干扰(例如碰撞导致其掉落对象)中恢复,而基线策略(即没有视觉注意)几乎从未恢复。此外,我们表明,所提出的政策执行正确的存在下,广泛的视觉干扰,表现出的行为让人联想到人类的选择性视觉注意力实验。我们提出的方法由一个VAE-GAN网络组成,该网络对视觉输入进行编码,并将其馈送到移动机器人关节的电机网络。此外,我们的方法受益于教师网络的TFA,利用文本输入命令鲁棒的视觉编码器对各种类型的干扰。
2018-11-28 cs.AI cs.LG cs.RO
Robust Natural Language Understanding with Residual Attention Debiasing
University of Southern California(南加州大学)
本文提出残差注意力去偏方法 READ,通过端到端缓解注意力中的非预期偏差,在多个 NLU 任务的 OOD 数据上显著提升 BERT 模型的鲁棒性。
2023-05-28 cs.AI cs.CL cs.LG
Curb Your Attention: Causal Attention Gating for Robust Trajectory Prediction in Autonomous Driving
University of Alberta(阿尔伯塔大学);Noah’s Ark Laboratory, Huawei Technologies Canada(华为加拿大诺亚实验室);Cornell University(康奈尔大学)
本文提出CRiTIC模型,通过因果发现网络识别agent间因果关系,并引入因果注意力门控机制提升轨迹预测的鲁棒性和泛化能力,实验表明模型在对抗非因果扰动时鲁棒性提升54%。
2025-03-06 cs.LG cs.RO stat.ME
Density Adaptive Attention is All You Need: Robust Parameter-Efficient Fine-Tuning Across Multiple Modalities
Cranberry-Lemon University(蔓越莓柠檬大学)
本文提出多头密度自适应注意力机制DAAM及密度自适应Transformer,通过可学习均值和方差动态校准特征重要性,实现跨语音、文本、视觉的高效参数微调,准确率最高提升约20%,并引入重要性因子增强可解释性。
2024-09-29 cs.AI cs.CL cs.CV