Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（德国维尔茨堡大学计算机视觉实验室，CAIDAS & IFI）
本文系统研究了六种优化器与三种损失函数的18种组合在异构架构上的表现，发现交叉熵与Adam/AdamW组合最鲁棒，NGL损失仅在自适应优化器下有效，为NNGPT框架提供了损失-优化器选择指导。
2026-06-23 cs.LG
Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization
该研究提出自然谱融合（NSF）框架，通过p指数扩展二阶矩项与循环调度调控优化器的谱偏好，实现早期决策边界对齐，在多基准上以更低训练成本提升测试准确率。
2025-09-05 cs.LG
Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms
AIP Labs（AIP实验室）
由于其简单、高效和高收敛速度，反向传播是训练深度神经网络的默认算法。然而，它的要求使得它不可能在人脑中实现。近年来，人们提出了更多生物学上合理的学习方法。这些方法中的一些可以匹配反向传播精度，并且同时提供其他额外的好处，例如在专用硬件上更快的训练（例如，ASIC）或对对抗攻击具有更高的鲁棒性。虽然对该领域的兴趣正在增长，但有必要建立开源库和工具包来促进研究和基准算法。在本文中，我们提出了BioTorch，一个软件框架来创建，训练，和基准生物激励的神经网络。此外，我们研究了文献中提出的几种反馈对齐方法的性能，从而揭示了前向和后向权重初始化和优化器选择的重要性。最后，我们提供了一个新的鲁棒性研究，这些方法对国家的最先进的白盒和黑盒对抗攻击。
2021-08-30 cs.LG
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Convergence rates for the Adam optimizer
Institute for Mathematical Stochastics, University of Münster（明斯特大学数学随机学研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文针对Adam优化器在强凸二次随机优化等一大类问题上建立了最优收敛速率，提出Adam向量场刻画其宏观行为，并证明Adam通常收敛到该向量场的零点而非目标函数临界点。
2024-07-29 cs.LG math.OC math.PR
Mixed-signal implementation of feedback-control optimizer for single-layer Spiking Neural Networks
Institute of Neuroinformatics, University of Zürich and ETH Zürich（神经信息学研究所，苏黎世大学和苏黎世联邦理工学院）；ETH Zürich, Zürich, Switzerland（苏黎世联邦理工学院，苏黎世，瑞士）；AI Center, ETH, Zürich, Switzerland（人工智能中心，苏黎世联邦理工学院，苏黎世，瑞士）；Digital Society Initiative, University of Zurich, Switzerland（数字社会倡议，苏黎世大学，瑞士）
本文提出在混合信号神经形态处理器上实现反馈控制优化器的可行性，通过在环训练验证了其在二分类任务和非线性 Yin-Yang 问题中的性能，展示了芯片级训练与数值模拟和梯度基方法的匹配性。
2026-03-25 cs.LG
Trace is the Next AutoDiff: Generative Optimization with Rich Feedback, Execution Traces, and LLMs
Microsoft Research（微软研究院）；Stanford（斯坦福大学）；Netflix（网飞公司）
针对通用不可微计算工作流的优化难题，研究团队提出带轨迹预言机的生成式优化框架OPTO，配套Trace库与OptoPrime优化器，可适配多类优化任务，性能媲美领域专用方案，为下一代交互式智能体研究提供平台。
2024-11-01 cs.AI cs.LG
In-Context Black-Box Optimization with Unreliable Feedback
ELLIS Institute（ELLIS研究所）；Aalto University（阿alto大学）；University of Manchester（曼彻斯特大学）
本文提出FICBO方法，通过结合历史记录和廉价辅助反馈进行上下文优化，提升多任务适应性和鲁棒性，实验证明其在合成和现实任务中优于基线方法。
2026-11-05 cs.AI cs.LG
Are My Optimized Prompts Compromised? Exploring Vulnerabilities of LLM-based Optimizers
Tsinghua University（清华大学）；Microsoft（微软）
研究发现基于 LLM 的提示优化存在重大安全漏洞，提出假奖励攻击及轻量级防御措施，揭示优化流程为重要攻击目标。
2026-01-13 cs.AI cs.CL cs.CR
FANoS-v2: Feedback-Controlled Momentum with Thermostat Damping for Lightweight Neural Optimization
School of Computing and Electrical Engineering（计算与电子工程学院）；Indian Institute of Technology Mandi（印度理工学院曼迪）
FANoS-v2通过反馈控制动量和热力学阻尼优化神经网络，实现轻量级优化，在MNIST、Fashion-MNIST和CIFAR-10上优于AdamW，但计算时间更长。
2026-05-08 cs.LG
SIPDO: Closed-Loop Prompt Optimization via Synthetic Data Feedback
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hong Kong University of Science and Technology（香港科学与技术大学）；University of South Florida（佛罗里达州立大学）
SIPDO通过合成数据反馈闭环优化提示，提升提示性能并优于传统提示微调方法。
2026-01-27 cs.AI cs.CL cs.LG
Graph Negative Feedback Bias Correction Framework for Adaptive Heterophily Modeling
本文提出GNFBC框架，通过负反馈机制校正GNNs在异质图上的偏差，提升模型性能。
2026-03-04 cs.AI cs.LG
Improving Parallel Program Performance with LLM Optimizers via Agent-System Interfaces
Stanford University（斯坦福大学）；Intel（英特尔）；NVIDIA（英伟达）；Nanjing University（南京大学）
提出基于Agent-System Interface的生成式优化框架，利用DSL和AutoGuide机制将低级系统代码抽象为结构化搜索空间并提供可操作反馈，仅需10次迭代即超越OpenTuner 1000次迭代的效果，在9个基准上最高提速1.34倍，将调优时间从数天降至数分钟。
2025-05-30 cs.AI cs.CL cs.DC
When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
提出PromptPO方法，利用LLM通过Python描述状态空间、动作空间和奖励函数，基于rollout反馈迭代生成和优化可执行策略，在多种环境中匹配或超越标准RL基线，但在细粒度连续控制任务中表现不足。
2026-06-29 cs.AI cs.LG
Deep Reinforcement Learning for Join Order Enumeration
Brandeis University（布兰迪斯大学）
连接顺序选择在查询性能中起着重要的作用。但是，现代查询优化器通常使用静态连接枚举算法，这些算法不会接收有关结果计划质量的任何反馈。因此，优化者经常重复选择相同的坏计划，因为他们没有“从错误中学习”的机制。在本文中，我们认为现有的深度强化学习技术可以应用于解决这一挑战。这些技术由人工神经网络驱动，可以通过整合成功和失败的反馈来自动改进决策。为了实现这一目标，我们提出了ReJOIN，一个概念验证连接枚举器，并提出了初步的结果表明，ReJOIN可以匹配或优于PostgreSQL优化器的计划质量和连接枚举效率。
2018-03-12 cs.DB cs.LG
LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT BCS（麻省理工学院脑与认知科学系）；Center for Brains, Minds and Machines（脑、心智与机器中心）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对大语言模型难以结合仿真观测反馈推进物理科学发现的问题，提出双层优化框架SGA，结合LLM的离散推理与仿真的连续优化能力，在本构律发现和分子设计中取得有效成果。
2024-05-16 cs.AI cs.CE cs.LG
Dynamic Minimax Regret Optimization for Robust LLM Post-Training
Columbia University（哥伦比亚大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
本研究提出DUCB-OGD算法，结合折扣上置信界采样与在线梯度下降，解决LLM后训练中组分布鲁棒的动态极小极大遗憾问题，实现最优遗憾界并提升最差组鲁棒性。
2026-10-06 cs.LG
Negative Feedback for Music Personalization
SiriusXM Radio Inc.（SiriusXM广播公司）
本文研究互联网广播下一歌曲推荐中的负反馈利用，证明真实负反馈作为训练目标和用户跳过作为序列输入可显著缩短训练时间、提升准确率与覆盖率。
2024-06-06 cs.IR cs.LG
Learning from negative feedback, or positive feedback or both
Google DeepMind（谷歌DeepMind）
本文提出一种解耦正负反馈学习的EM扩展方法，支持仅用单一类型反馈进行稳定学习，并验证了其在语言模型人类反馈训练和序贯决策中的有效性。
2025-03-07 cs.LG stat.ML
Learning from Negative User Feedback and Measuring Responsiveness for Sequential Recommenders
Google（谷歌）；OpenAI
本研究针对序列推荐器负反馈学习不足的问题，提出将显隐式负反馈纳入训练的“不推荐”损失函数，经工业级在线实验验证有效，并构建反事实框架实现响应度衡量，证实建模改进可提升推荐响应速度。
2023-08-23 cs.IR cs.LG
Enhancing AI Assisted Writing with One-Shot Implicit Negative Feedback
University of Nottingham（诺丁汉大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本研究提出Nifty方法，利用用户未选择智能回复作为单次隐式负反馈，通过分类器引导将其整合到文本生成中，显著提升AI写作模型的准确性与意图生成效果。
2024-10-14 cs.AI cs.CL cs.LG
Extensive Self-Contrast Enables Feedback-Free Language Model Alignment
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
本文提出Self-Contrast方法，仅利用监督微调目标和LLM自生成的大量负样本，结合预训练嵌入模型筛选，在无需反馈的条件下实现优于SFT和标准DPO的大语言模型对齐。
2024-03-31 cs.AI cs.CL cs.LG
Asymptotically Unbiased Estimation for Delayed Feedback Modeling via Label Correction
Alibaba Group（阿里巴巴集团）
缓解延迟反馈问题对于在线广告中的转化率（CVR）预测至关重要。先前的延迟反馈建模方法使用观察窗口来平衡等待准确标签和消耗新鲜反馈之间的权衡。此外，为了估计新观察到的但具有假阴性的有偏分布的CVR，重要性采样被广泛用于减小分布偏差。虽然有效，但我们认为，以前的方法在重要性加权过程中错误地将假阴性样本视为真阴性样本，并且没有充分利用观察到的阳性样本，从而导致次优性能。在这项工作中，我们提出了一种新的方法，延迟反馈建模与无偏估计，（DEFUSE），其目的是分别校正的重要性权重的即时积极，假阴性，真正的阴性，和延迟的积极样本在更细的粒度。具体来说，我们提出了一个两步优化方法，首先推断假阴性之间观察到的负面应用重要性采样的概率。为了充分利用来自观察到的分布的地面实况即时阳性，我们进一步开发了一个双分布建模框架，以联合建模无偏即时阳性和有偏延迟转换。在公开数据集和工业数据集上的实验结果验证了DEFUSE的优越性。代码可在https://github.com/ychen216/DEFUSE.git上获得。
2022-02-15 cs.LG
Real Negatives Matter: Continuous Training with Real Negatives for Delayed Feedback Modeling
Alibaba Group（阿里巴巴集团）
转化率（CVR）预测的难点之一是转化可能会延迟，并且在点击之后很长时间才发生。延迟的反馈带来了一个挑战：新鲜的数据有利于连续训练，但在被摄入训练管道时可能没有完整的标签信息。为了平衡模型新鲜度和标签确定性，先前的方法设置短的等待窗口，甚至不等待转换信号。如果转换发生在等待窗口之外，则该样本将被复制并以阳性标签摄取到训练管道中。然而，这些方法存在一些问题。首先，他们假设观察到的特征分布与实际分布保持一致。但由于摄入了重复的样本，这一假设并不成立。第二，转换行动的确定性只来自积极因素。但积极的是稀缺的转换是稀疏的商业系统。这些问题在延迟反馈的建模过程中引起偏差。在本文中，我们提出了延迟反馈建模与真正的消极（DEFER）的方法来解决这些问题。所提出的方法将真实阴性样本摄入训练管道中。摄取真实底片确保观察到的特征分布与实际分布相等，从而减少偏差。摄取真正的底片也带来了更多的转换确定性信息。为了校正分布偏移，DEFER采用重要性采样来加权损失函数。工业数据集上的实验结果验证了DEFER的优越性。DEFER已经在阿里巴巴的展示广告系统中部署，在多个场景中获得了超过6.0%的CVR提升。本文中的代码和数据现在是开源的{https：//github.com/guscumstar/defer.git}。
2021-08-12 cs.LG
Autocomp: A Powerful and Portable Code Optimizer for Tensor Accelerators
Autocomp 通过 LLM 驱动的自动化搜索，结合两阶段提示、领域知识菜单和硬件反馈，在多种张量加速器上显著超越供应商库、专家手工代码和机器学习成本模型，并支持优化调度复用。
2025-11-05 cs.AI cs.AR cs.LG
DFGNN: Dual-frequency Graph Neural Network for Sign-aware Feedback
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent（腾讯）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
针对现有图推荐忽略负反馈且存在表示退化的问题，提出双频图神经网络DFGNN，从频率视角建模正负反馈并引入符号图正则化，实验验证其有效性。
2024-05-24 cs.AI cs.IR cs.LG
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University（密歇根州立大学）
推荐系统通过向用户推荐个性化的商品或服务，在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程，并遵循固定的策略进行推荐。在本文中，我们提出了一种新的推荐系统的能力，不断提高其策略，在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程（MDP），并利用强化学习（RL）通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的，这两种类型的反馈都有很大的潜力，以提高推荐。然而，负反馈的数量远远大于正反馈，因此同时将它们合并是具有挑战性的，因为正反馈可能被负反馈所掩盖。在本文中，我们开发了一种新的方法，将它们纳入建议的深度推荐系统（DEERS）框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性，积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
Positive, Negative and Neutral: Modeling Implicit Feedback in Session-based News Recommendation
Shanghai Jiao Tong University（上海交通大学）
对于许多新闻门户网站来说，为匿名读者推荐新闻是一项有用但具有挑战性的任务，其中读者与文章之间的交互仅限于临时登录会话。以往的工作往往制定基于会话的推荐作为下一个项目的预测任务，而他们忽略了用户行为的隐式反馈，这表明用户真正喜欢或不喜欢。因此，我们提出了一个全面的框架，通过积极的反馈（即，他们花费更多时间的文章）和负面反馈（即，他们选择跳过而不点击的文章）。此外，该框架隐式地使用会话开始时间对用户进行建模，并使用其初始发布时间对文章进行建模，我们称之为“中立反馈”。三个真实世界的新闻数据集的实证评估表明，该框架的更准确，更多样化，甚至比其他国家的最先进的基于会话的推荐方法意想不到的建议有前途的表现。
2022-05-12 cs.IR cs.LG
Language Models as Black-Box Optimizers for Vision-Language Models
Carnegie Mellon University（卡内基梅隆大学）
针对闭源VLM无法白盒微调的问题，提出用聊天式LLM通过自动爬山流程、结合正负文本反馈搜索最优提示的黑盒优化方法，在1样本分类任务上优于CoOp等方法，且提示可解释性、迁移性强，还可应用于DALL-E 3的生成等任务。
2024-05-14 cs.CL cs.CV cs.LG
LDAdam: Adaptive Optimization from Low-Dimensional Gradient Statistics
Institut Polytechnique de Paris (IPP)（巴黎理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
提出内存高效的优化器LDAdam，通过在低维子空间执行自适应优化并引入投影感知更新与广义误差反馈机制，大幅降低内存占用，同时保证收敛性，实现语言模型的高效微调与预训练。
2025-03-02 cs.LG math.OC stat.ML
Fifty Shades of Ratings: How to Benefit from a Negative Feedback in Top-N Recommendations Tasks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Institute of Numerical Mathematics of the Russian Academy of Sciences（俄罗斯科学院数值数学研究所）
传统的协同过滤技术将前n个推荐问题视为生成最相关项目列表的任务。然而，这种提法忽视了一个相反的方面-避免提出完全不相关的建议。由于这种偏见，标准算法以及常用的评估指标对负反馈变得不敏感。为了解决这个问题，我们建议把用户反馈作为一个分类变量，并在三元的方式与用户和项目的模型。我们采用了三阶张量分解技术，并实现了更高阶的折叠方法来支持在线推荐。该方法是同样敏感的用户评级的整个频谱，并能够准确地预测相关项目，甚至从一个负面的反馈。我们的方法可以部分地消除复杂的评级启发过程的需要，因为它提供了个性化的建议，从一开始的互动与推荐系统。我们还提出了一个修改的标准度量，这有助于揭示不必要的偏见和帐户的敏感性的负面反馈。我们的模型在标准推荐任务中达到了最先进的质量，同时在冷启动“无正反馈”场景中显着优于其他方法。
2016-07-14 cs.IR cs.LG stat.ML
Kernel Foundry: A Diagnosis-driven Evolutionary Kernel Optimizer with Multi-Experts
The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei Hong Kong（华为香港诺亚实验室）
提出Kernel Foundry，一种结合专家引导初始化、多岛进化搜索和结构化诊断反馈的自动GPU内核优化框架，显著提升正确性和性能。
2026-08-04 cs.DC cs.LG cs.NE
Second-Order Neural ODE Optimizer
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的二阶优化框架，用于训练新兴的深度连续时间模型，特别是神经常微分方程（Neural ODE）。由于他们的训练已经涉及昂贵的梯度计算，通过求解一个向后的ODE，推导出有效的二阶方法变得非常重要。尽管如此，受最近最优控制（OC）对训练深度网络的解释的启发，我们证明了一种特定的连续时间OC方法，称为差分编程，可以在相同的O（1）内存成本下推导高阶导数的后向ODE。我们进一步探讨了一个低秩表示的二阶导数，并表明，它导致有效的预处理更新与克罗内克为基础的因式分解的援助。由此产生的方法-命名为SNOpt -收敛速度远远快于挂钟时间的一阶基线，并且改进在各种应用中保持一致，例如图像分类，生成流和时间序列预测。我们的框架还支持直接架构优化，例如神经ODE的集成时间，具有二阶反馈策略，加强了OC视角作为分析深度学习优化的原则性工具。我们的代码可在https://github.com/ghliu/snopt上获得。
2021-11-06 cs.LG cs.SY eess.SY
