Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich（慕尼黑技术大学）；Faculty of Computer Science, Ruhr University Bochum（博德姆鲁尔大学计算机科学系）
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性，发现噪声增强训练在提升含噪语音性能的同时，也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
3D-Learning: Diffusion-Augmented Distributionally Robust Decision-Focused Learning
University of Houston（休斯敦大学）
3D-Learning通过利用扩散模型的分布建模能力，在最坏情况分布下优化决策性能，提升LLM资源分配任务中对非分布样本的鲁棒性。
2026-02-03 cs.LG
Robust Adaptation of Large Multimodal Models for Retrieval Augmented Hateful Meme Detection
Department of Engineering University of Cambridge（工程系剑桥大学）
本文提出了一种鲁棒适应框架，用于提升大规模多模态模型在检索增强的仇恨表情包检测中的性能与泛化能力，同时提高模型的可解释性。
2025-09-16 cs.AI cs.CL cs.CV
RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
Peking University（北京大学）；ByteDance Inc.（字节跳动公司）
针对RAG因知识注入长序列导致的高计算与内存开销，提出多级动态缓存系统RAGCache，通过知识树组织中间状态并设计感知LLM推理与RAG检索的替换策略及重叠机制，使首字时间最多降低4倍、吞吐量最多提升2.1倍。
2024-04-25 cs.CL cs.DC cs.LG
Robustness to Programmable String Transformations via Augmented Abstract Training
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
用于自然语言处理任务的深度神经网络容易受到对抗性输入扰动的影响。在本文中，我们提出了一种通用的语言，用于以编程方式指定字符串转换-例如，插入、删除、替换、交换等--这些都与手头的任务相关。然后，我们提出了一种方法来对抗训练模型，这些模型对这种用户定义的字符串转换是鲁棒的。我们的方法结合了基于搜索的对抗训练技术与基于抽象的技术的优势。具体来说，我们将展示如何将一组用户定义的字符串转换分解为两个组件规范，一个从搜索中受益，另一个从抽象中受益。我们使用我们的技术在AG和SST 2数据集上训练模型，并表明所得到的模型对模仿拼写错误的用户定义的变换和其他意义保持变换的组合是鲁棒的。
2020-09-02 cs.LG stat.ML
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）
我们研究的问题，训练命名实体识别（NER）模型，只使用距离标记的数据，这可以自动获得匹配的实体提到的原始文本中的实体类型的知识库。远程监督NER的最大挑战是远程监督可能会导致不完整和嘈杂的标签，从而使直接应用的监督学习变得无效。在本文中，我们提出了（1）一个噪声鲁棒的学习计划，包括一个新的损失函数和噪声标签去除步骤，用于训练远距离标记数据的NER模型，和（2）一个自训练方法，使用由预训练的语言模型创建的上下文增强，以提高泛化能力的NER模型。在三个基准数据集上，我们的方法实现了卓越的性能，显著优于现有的远程监督NER模型。
2021-09-10 cs.CL cs.LG
Leveraging Approximate Caching for Faster Retrieval-Augmented Generation
Huawei Research（华为研究）
本文提出近似缓存Proximity，利用查询相似性重用检索结果，结合局部敏感哈希减少向量数据库调用，在MMLU和MedRAG基准上降低77.2%数据库调用且保持准确性。
2025-10-27 cs.DB cs.LG cs.PF
Scaling Test-Time Inference with Policy-Optimized, Dynamic Retrieval-Augmented Generation via KV Caching and Decoding
Tata Research Development（塔塔研究与发展中心）；Design Center, Bangalore（班加罗尔设计中心）
本研究提出整合PORAG、ATLAS、CRITIC及测试时扩展、优化解码的RAG综合框架，无需额外训练即可兼容Transformer类大模型，在知识密集型任务上减少幻觉、提升推理能力与效率可扩展性。
2025-05-20 cs.AI cs.CL cs.IR
An Investigation of the (In)effectiveness of Counterfactually Augmented Data
New York University（纽约大学）
虽然预训练的语言模型在自然语言理解基准测试中取得了优异的性能，但它们往往依赖于虚假的相关性，并且对分布外（OOD）数据的泛化能力很差。最近的工作探索了使用反事实增强数据（CAD）-由最小扰动示例生成的数据翻转地面真实标签-来识别在分布偏移下不变的鲁棒特征。然而，使用CAD的OOD推广的经验结果是混合的。为了解释这种差异，我们从线性高斯模型中得出见解，并展示了CAD的陷阱。具体来说，我们表明：（a）虽然CAD在识别鲁棒特征方面是有效的，但它可能会阻止模型学习未受干扰的鲁棒特征;（b）CAD可能会加剧数据中现有的虚假相关性。在两个众包的CAD数据集上，我们的研究结果表明，扰动多样性的缺乏限制了它们在OOD推广上的有效性，这就要求创新的众包程序来引出不同的扰动示例。
2022-03-16 cs.CL cs.LG
Algorithms for Caching and MTS with reduced number of predictions
University of Amsterdam（阿姆斯特丹大学）；Bocconi University（博科尼大学）
本文为缓存和一般MTS设计节俭使用动作预测的算法，在预测数量受限时刻画一致性与平滑性，并在无限制时恢复已有最优保证。
2024-04-10 cs.DS cs.LG
LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院）；Google（谷歌）；Amazon（亚马逊）
针对检索增强生成中KV缓存位置编码复用性差的问题，提出LazyAttention机制，通过核化延迟位置编码实现零拷贝、位置无关的KV重用，显著降低首令牌延迟并提升推理吞吐量。
2026-06-03 cs.CL cs.LG
Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
提出GroundedCache，一种通过四个廉价门控（查询相似性、检索证据重叠、源版本有效性和词汇支持）验证缓存答案安全性的路由方法，显著降低不安全服务率。
2026-05-26 cs.AI cs.CL cs.CR
Parsimonious Learning-Augmented Online Metric Matching
Institute of Computer Science, University of Wrocław, Wrocław, Poland（沃斯克拉大学计算机科学研究所）
针对在线度量匹配问题，提出一种简约学习增强算法，通过虚拟预测填补缺失预测，并建立性能下界，实验验证了其有效性。
2026-05-26 cs.DS cs.LG
Learning-Augmented Algorithms: Guarantees, Construction Mechanisms, and System-Level Implications
School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本综述针对学习增强型算法，综合了多领域的构造机制与相关权衡，给出了端到端推理的充分条件，同时划定了相关开放问题。
2026-09-09 cs.DS cs.LG
Boundary-Seeking GAN-Augmented TabTransformer for Adversarially Robust Intrusion Detection
Department of Computer Science, Universitas Ary Ginanjar（阿里甘jar大学计算机科学系）
研究针对机器学习入侵检测系统的问题，提出用BGAN增强的表格变换器框架，通过生成合成样本缓解不平衡并评估鲁棒性，实验表明该框架提升了宏F1分数、增强了鲁棒性且保持低误触发率，为对抗网络环境提供有效入侵检测方案。
2026-07-21 cs.AI cs.CR cs.LG
LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models
NVIDIA
LaCache提出一种无需训练的阶梯形KV缓存与迭代压缩机制，在固定存储预算下同时提升大语言模型的长程建模能力和持续生成效率，实验验证其有效性。
2025-07-14 cs.AI cs.CL cs.LG
SWB-DM: A Calibrated Sliced-Wasserstein-Barycenter Aggregator with Delayed-Momentum Caching for Byzantine-Robust Federated Learning under Partial Participation
Vel Tech Rangarajan Dr. Sagunthala R&D Institute of Science and Technology（维尔技术兰加拉詹博士萨贡塔拉研发科技学院）
针对联邦学习部分参与下鲁棒聚合的脆弱假设，提出 SWB-DM，结合修剪 Wasserstein 重心与延迟动量缓存，校准修剪比率，在多种攻击下展现鲁棒性优势。
2026-10-01 cs.CR cs.DC cs.LG
AdaSwitch: An Adaptive Switching Meta-Algorithm for Learning-Augmented Bounded-Influence Problems
Leonard N. Stern School of Business, New York University（纽约大学劳伦德·N·斯tern商学院）；Qiuzhen College, Tsinghua University（清华大学邱泽学院）；Yau Mathematical Sciences Center & Department of Mathematical Sciences, Tsinghua University（清华大学杨数学科学中心及数学科学系）
针对带不可靠序列预测的多周期在线决策问题，提出有界影响框架与AdaSwitch元算法，兼顾预测准确时的近优性能与预测失准下的竞争比保证，可应用于多类学习增强在线决策场景。
2026-10-09 cs.LG math.OC
Online Algorithms with Multiple Predictions
Duke University（杜克大学）；IIT Delhi（德里印度理工学院）
本文研究了在线算法与多个机器学习预测增强。虽然近年来已经广泛地研究了用单个预测增强的在线算法，但是用于多个预测设置的文献是稀疏的。在本文中，我们给出了一个通用的算法框架，在线覆盖问题的多个预测，获得一个在线的解决方案，是对最佳预测的性能竞争。我们的算法结合了使用的预测在经典的潜在的在线算法的分析。我们应用我们的算法框架来解决经典的问题，如在线集覆盖，（加权）缓存，在线设施的位置在多个预测设置。我们的算法也可以是鲁棒的，即，可以同时使该算法与最佳预测和最佳在线算法（没有预测）的性能竞争。
2022-07-13 cs.DS cs.LG
Towards Robust On-Ramp Merging via Augmented Multimodal Reinforcement Learning
Michigan Technological University（密歇根理工大学）；University of Science and Technology of China（中国科学技术大学）
尽管人工智能车载感知取得了成功，但入口匝道合并一直是自动驾驶面临的主要挑战之一。由于车载传感器的感知范围有限，并道车辆很难观察到主干道的路况并道。通过利用联网车辆和自动驾驶车辆（CAV）之间的无线通信，合并CAV有可能主动获取附近车辆的意图。然而，CAV可能容易出现不准确的观测，例如嘈杂的基本安全信息（BSM）和质量差的监视图像。在本文中，我们提出了一种新的方法，通过增强和多模态强化学习，命名为RAMRL的CAV的鲁棒入口匝道合并。具体来说，我们制定了一个马尔可夫决策过程（MDP）的入口匝道合并问题，考虑到驾驶安全，舒适的驾驶行为，和交通效率。为了提供可靠的合并操作，我们同时利用BSM和监控图像进行多模态观察，用于通过近端策略优化（PPO）学习策略模型。此外，为了提高数据效率并提供更好的泛化性能，我们训练增强数据（例如，噪声BSM和噪声监视图像）。在两种典型的合流场景下，利用城市移动性仿真平台（SUMO）进行了大量的实验。实验结果表明，我们的鲁棒入口匝道合并设计的有效性和效率。
2022-07-21 cs.AI cs.LG cs.RO
On Tradeoffs in Learning-Augmented Algorithms
CREST；Ecole polytechnique（巴黎综合理工学院）；ENSAE；Criteo AI LAB（Criteo AI实验室）；Fairplay joint team（Fairplay联合团队）
本文研究学习增强算法中一致性、鲁棒性、平滑性与平均性能之间的多重权衡，指出某些问题需同时考虑多个权衡而非仅追求帕累托最优。
2025-01-22 cs.AI cs.DS cs.LG
Near-Optimal Consistency-Robustness Trade-Offs for Learning-Augmented Online Knapsack Problems
本文提出学习增强在线背包算法，结合可信预测与最坏情况算法实现近最优一致性-鲁棒性权衡，并引入分数到整数转换新方法。
2025-07-09 cs.GT cs.LG
Robust VAEs via Generating Process of Noise Augmented Data
Tokyo Institute of Technology（东京工业大学）；Fujitsu Limited（富士通公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出RAVEN框架，通过正则化原始与噪声增强数据的潜在空间散度并引入成对概率先验，有效提升了VAE对对抗攻击的鲁棒性。
2024-07-26 cs.LG
Learning-Augmented Robust Algorithmic Recourse
Department of Computer Science（计算机科学系）；Drexel University（德雷塞尔大学）；Archimedes Athena Research Center（阿奇米德·阿特拉研究中心）
本文研究了在预测未来模型准确性的前提下，如何通过学习增强的算法救济减少救济成本，并分析预测准确性对性能的影响。
2026-04-25 cs.LG
Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations
Carnegie Mellon University（卡内基梅隆大学）
数据增强是提高神经网络鲁棒性的最常用技术之一。除了直接用原始样本和增强样本训练模型外，还引入了大量方法来正则化原始样本及其增强对应样本的嵌入/表示之间的距离。在本文中，我们将探讨这些不同的正则化选择，寻求对如何正则化嵌入的一般理解。我们的分析表明，正则化的理想选择对应于各种假设。通过不变性测试，我们认为，如果模型要在比精度驱动设置更广泛的背景下使用，则正则化是重要的，因为非正则化方法在学习不变性概念方面受到限制，尽管同样具有高精度。最后，我们还表明，我们确定的通用方法（平方$\ell_2$范数正则化增强）优于最近的几种方法，这些方法都是专门为一个任务设计的，比我们的复杂得多，在三个不同的任务。
2020-11-25 cs.LG
PARCO: Phoneme-Augmented Robust Contextual ASR via Contrastive Entity Disambiguation
Graduate School of Informatics（信息科学研究生院）；Nagoya University（名古屋大学）；AI Lab（人工智能实验室）；CyberAgent（CyberAgent公司）；Information Technology Center（信息技术中心）
针对ASR系统在领域特定命名实体尤其是同音字识别上的难点，提出整合音素感知编码等模块的PARCO方法，通过对比实体检索消歧提升识别效果，在多数据集上显著优于基线且跨域鲁棒性强。
2025-09-04 cs.AI cs.CL cs.LG
Towards Optimal Robustness in Learning-Augmented Paging
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country；Zhejiang University, Hangzhou, China；Nanjing University of Aeronautics；Nanyang Technological University, Singapore
本文提出一种新框架，通过相对预测预算原语，在学习增强分页中实现最优鲁棒性界 H_k + O(1)，并实验验证其实际性能。
2026-06-08 cs.DS cs.LG
Learning-Augmented Algorithms with Explicit Predictors
Bocconi University（博科尼大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Technion（以色列理工学院）
针对在线算法中黑盒预测器范式的局限，本研究提出带显式预测器的学习增强算法，让预测器随输入增量学习并适配任务，在缓存、调度等基础问题上取得了优于先前工作的性能界。
2024-03-12 cs.DS cs.LG
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
Advanced Bionics（先进仿生公司）
本文提出了一种基于加权预测误差（WPE）的卡尔曼滤波算法的神经网络增强抗噪在线去混响算法。滤波器随机变化由深度神经网络（DNN）使用滤波器残差和信号特征进行端到端训练来预测。所提出的框架允许在类似于WHAMR！的单通道噪声混响数据集上进行鲁棒的去混响。如果目标语音功率谱密度不是完全已知的并且观测是有噪声的，则卡尔曼滤波WPE在仅从残余误差预测滤波器变化时在增强信号中引入失真。所提出的方法通过以数据驱动的方式校正滤波器变化估计来避免这些失真，从而增加该方法对噪声场景的鲁棒性。此外，与WPE的DNN支持的递归最小二乘变体相比，它产生了强大的去混响和去噪性能，特别是对于高噪声输入。
2022-06-23 cs.LG cs.SD eess.AS
Optimal Robustness-Consistency Trade-offs for Learning-Augmented Online Algorithms
UC Berkeley（加州大学伯克利分校）
我们研究的问题，提高在线算法的性能，将机器学习的预测。我们的目标是设计出一致且鲁棒的算法，这意味着当预测准确时，算法表现良好，并保持最坏情况的保证。这样的算法已经在最近的一系列工作中进行了研究，由于Lykouris和Vassilvitskii（ICML '18）和Purohit等人（NeurIPS '18）。它们为各种在线问题提供了鲁棒性-一致性权衡。然而，他们留下了一个悬而未决的问题：这些权衡是否紧密，即，在多大程度上需要这种权衡。在本文中，我们使用机器学习预测提供了第一组用于竞争分析的非平凡下界。我们专注于滑雪租赁和非千里眼调度的经典问题，并在各种设置中提供最佳权衡。
2020-10-22 cs.DS cs.LG
Enhancing Robustness of Human Detection Algorithms in Maritime SAR through Augmented Aerial Images to Simulate Weather Conditions
Jakarta Intercultural School（雅加达国际学校）；Busan Foreign School（釜山外国语学校）；SMPK 8 Penabur Tanjung Duren（丹戎杜伦佩纳布尔8号初中（基督教学校））；Avon High School（雅芳高中）；Algoverse AI Research（Algoverse人工智能研究院）
本文通过构建包含不同海拔和地质位置的增强数据集，模拟不同天气和光照条件训练YOLO模型，提升了海上搜救中人体检测的准确性和鲁棒性，实验证明增强模型在YOLOv5l上召回率提升3.4%。
2024-08-27 cs.CV cs.LG
Robust Deep-Learning-Based Road-Prediction for Augmented Reality Navigation Systems
Daimler AG R&D（戴姆勒股份公司研发部）；University of Ulm（乌尔姆大学）
本文提出了一种利用深度学习技术从摄像头传感器预测道路路线的方法。通过在大量包括不利天气条件的全场景标记的夜间道路图像上训练多尺度卷积神经网络来识别道路像素。提出了一个框架，适用于所提出的方法，以较长距离的道路路线估计，这是一个增强现实导航应用程序的基础。在该框架中，将远程传感器数据（雷达）和来自地图数据库的数据与短程传感器数据（相机）融合，以产生精确的纵向和横向定位以及道路路线估计。所提出的方法可靠地检测有和没有车道标记的道路，从而提高了道路路线估计和增强现实导航的鲁棒性和可用性。从差分GPS和惯性测量单元获取的大量高精度地面实况数据的评估表明，所提出的方法达到了最先进的性能，而不需要现有的车道标记的限制。
2016-05-31 cs.CV cs.LG cs.RO
Diffusion-Augmented Reinforcement Learning for Robust Portfolio Optimization under Stress Scenarios
Indian Institute of Technology Mandi（印度理工学院曼迪）
针对金融市场压力情景，提出扩散增强强化学习（DARL）框架，融合去噪扩散概率模型与深度强化学习，生成合成崩盘数据以提升训练稳健性，实证优于传统基线，增强风险调整后收益与危机韧性。
2025-10-08 cs.CE cs.LG q-fin.CP
RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization
Rutgers University（罗格斯大学）；Georgia Institute of Technology（佐治亚理工学院）
针对 SLM 在 RAG 中易受检索噪声误导的问题，提出 RoseRAG 框架，融合多轮推理、拒绝采样与边际感知偏好优化，在三个开放域问答基准上显著超越现有基线。
2025-02-16 cs.CL cs.LG
Learning-Augmented Algorithms for Online Vertex Cover
AAAI Press（AAAI出版社）
研究带建议和参数λ∈(0,1)的学习增强在线加权顶点覆盖问题，针对二部图和一般图分别提出随机和确定性算法，实现最优鲁棒性-一致性权衡，并通过实验验证。
2026-07-31 cs.CC cs.LG
Byzantine-Robust Federated Learning: An Overview With Focus on Developing Sybil-based Attacks to Backdoor Augmented Secure Aggregation Protocols
本文综述拜占庭鲁棒联邦学习的现有方法并分类，深入分析RoFL协议的优缺点，提出两种利用其漏洞的新型Sybil攻击，给出攻击实现细节与未来测试及框架改进方向。
2024-10-30 cs.CR cs.LG
On Optimal Consistency-Robustness Trade-Off for Learning-Augmented Multi-Option Ski Rental
Yonsei University（延世大学）
针对同时含预测与多租赁选项的滑雪租赁问题，本文给出确定性最优权衡算法，并首次建立随机化一致性-鲁棒性下界及匹配改进算法。
2023-12-05 cs.DS cs.GT cs.LG
Robust High-dimensional Memory-augmented Neural Networks
IBM Research – Zurich（IBM苏黎世研究院）；ETH Zürich（苏黎世联邦理工学院）
传统的神经网络在缓慢的训练过程中需要大量的数据来构建其复杂的映射，这阻碍了它们重新学习和适应新数据的能力。记忆增强神经网络通过外显记忆增强神经网络以克服这些问题。然而，对该显式存储器的访问经由涉及每个单独的存储器条目的软读和写操作发生，从而在使用常规冯·诺依曼计算机体系结构实现时导致瓶颈。为了克服这个瓶颈，我们提出了一个强大的架构，采用计算内存单元作为显式内存执行模拟内存计算的高维（HD）向量，同时密切匹配32位软件等效的精度。这是通过基于内容的注意力机制来实现的，该机制用不相关的HD向量来表示计算存储器中的不相关项，HD向量的实值分量可以容易地由二进制或双极分量来近似。实验结果表明，我们的方法的有效性Few-Shot图像分类任务的Omniglot数据集上使用超过256,000相变存储器设备。我们的方法有效地将深度神经网络表示的丰富性与HD计算相结合，为适用于推理，融合和压缩的强大矢量符号操作铺平了道路。
2021-03-19 cs.ET cs.LG cs.NE
Smoothed Online Optimization for Target Tracking: Robust and Learning-Augmented Algorithms
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Akamai Technologies（Akamai技术公司）
本文提出SOOTT框架整合跟踪、扰动和切换成本，并设计鲁棒算法BEST及学习增强变体CoRT，在预测准确时提升性能且保持鲁棒性，通过工作负载调度案例验证了有效性。
2025-09-07 cs.LG cs.SY eess.SY
