Learning to Learn Semantic Parsers from Natural Language Supervision
LAER AI, Inc.（LAER人工智能公司）；Carnegie Mellon University（卡内基梅隆大学）
作为人类，我们经常依靠语言来学习语言。例如，当在对话中被纠正时，我们可以从纠正中学习，随着时间的推移提高我们的语言流利性。受此启发，我们提出了一个学习算法，用于训练语义分析器从监督（反馈）表示在自然语言。我们的算法从用户的更正中学习语义解析器，例如“不，我真正的意思是在他工作之前，而不是之后”，同时学习解析这种自然语言反馈，以利用它作为一种监督形式。与金标准的逻辑形式的监督，我们的方法不需要用户熟悉的基本逻辑形式主义，从外延监督不同，它不需要用户知道正确的答案，他们的查询。这使得我们的学习算法在现有会话日志可用并且可以用作训练数据的设置中自然地可扩展。我们构建了一个新的数据集的自然语言反馈的对话设置，并表明我们的方法是有效的学习语义解析器从这样的自然语言监督。
2019-02-22 cs.CL cs.LG
Learning under noisy supervision is governed by a feedback-truth gap
Columbia University（哥伦比亚大学）
研究揭示在噪声监督下学习受反馈-真相差距约束，不同系统通过不同机制调节该差距，影响学习效果。
2026-02-18 cs.AI cs.LG cs.NE
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.（百度公司）
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用，通过分解问题进行“目标到能力”和“数据到目标”分析，引入诊断指标量化张力，探讨自适应目标路由，表明有效路由取决于信号质量，将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
Iterative Label Refinement Matters More than Preference Optimization under Weak Supervision
The University of Hong Kong（香港大学）；University of California, Berkeley（加州大学伯克利分校）
该研究针对弱监督下语言模型后训练效果下降的问题，提出迭代标签精炼（ILR）方法替代RLHF，通过比较反馈优化SFT数据再重训模型，在多项任务中表现优于SFT+DPO，为复杂任务的模型训练提供了新的反馈利用思路。
2025-01-14 cs.AI cs.CL cs.LG
Cross-Lingual Supervision improves Large Language Models Pre-training
Google Research（谷歌研究院）
本文提出在大型语言模型预训练中混合自监督语言建模目标与有监督机器翻译目标并引入跨语言平行数据，并提出一种动态学习混合比例的策略，有效提升了模型的上下文学习能力。
2023-05-19 cs.CL cs.LG
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs
Purdue University（普渡大学）；Yonsei University（延世大学）；University at Buffalo-SUNY（纽约州立大学布法罗分校）
针对基于反馈的在线策略自蒸馏中优化不稳定和性能崩溃问题，提出双分支框架 FIRE，通过 Fisher 迹校准监督信号，分离反馈方向与步长，实现稳定蒸馏并保持下游性能。
2026-09-29 cs.LG
Leveraging User-Triggered Supervision in Contextual Bandits
Google Research（谷歌研究院）
我们研究上下文强盗（CB）的问题，用户有时可以在给定的上下文中的最佳行动作出回应。例如，在文本预测或自动完成设置中出现这样的交互，其中简单地忽略差的建议，并且用户输入所需的文本。至关重要的是，这种额外的反馈仅在一部分上下文上由用户触发。我们开发了一个新的框架来利用这些信号，同时对它们的偏见性质保持稳健。我们还增加了标准的CB算法，以利用信号，并显示改进的遗憾保证所产生的算法在各种条件下的有益性和偏见固有的这种反馈。
2023-02-07 cs.LG stat.ML
Solving math word problems with process- and outcome-based feedback
DeepMind（深度思维）
最近的研究表明，要求语言模型生成推理步骤可以提高许多推理任务的性能。当超越提示时，这就提出了我们应该如何监督这些模型的问题：基于结果的方法监督最终结果，还是基于过程的方法监督推理过程本身？这些方法之间的差异可能不仅在最终答案错误中，而且在推理错误中也很难发现，并且在许多现实世界的领域（如教育）中存在问题。我们运行基于过程和基于结果的方法之间的第一次全面比较，在自然语言任务GSM8K上训练。我们发现，纯结果为基础的监督产生类似的最终答案出错率较少的标签监督。然而，对于正确的推理步骤，我们发现有必要使用基于过程的监督或来自模仿基于过程的反馈的学习奖励模型的监督。总的来说，我们改善了以前的最好的结果，从16.8% $\to$ 12.7%的最终答案错误和14.0% $\to$ 3.4%的推理错误之间的最终答案正确的解决方案。
2022-11-25 cs.AI cs.CL cs.LG
Trapped by Their Own Rollouts: Understanding Aggregation--Rollout Feedback in Federated On-Policy Distillation
针对联邦在线策略蒸馏中聚合-轨迹反馈导致的学习率敏感问题，提出FedTOPS方法，通过复用教师反馈调整更新幅度，在六个数学推理基准上使宏观Avg@8提升4.56至14.57个百分点。
2026-09-29 cs.DC cs.LG
Eliciting User Preferences for Personalized Multi-Objective Decision Making through Comparative Feedback
TTIC（丰田技术研究所）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文提出一种多目标决策框架，通过策略比较或代表性轨迹比较学习用户偏好向量，并以少量比较查询高效计算个性化近最优策略。
2023-11-01 cs.LG
Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
获取大的带注释的数据集对于训练成功的机器学习模型至关重要，并且它通常是实践中的瓶颈。弱监督提供了一种有前途的替代方案，通过使用多个噪声分类生成概率标签来生成没有地面实况注释的标记数据集。这个过程可以扩展到大型数据集，并在医疗保健和电子商务等不同领域展示了最先进的性能。从用户生成的知识库中学习的一个实际问题是，它们的创建需要手工制作它们的人的创造力，远见和领域专业知识，这是一个繁琐和主观的过程。我们开发了第一个框架，互动式弱监督的方法，提出了启发式和学习用户反馈给每个建议的启发式。我们的实验表明，只需要少量的反馈迭代训练模型，实现高度竞争力的测试集性能，而无需访问地面真实训练标签。我们进行了用户研究，结果表明用户能够有效地提供启发式反馈，并且测试集结果跟踪模拟预言机的性能。
2021-01-25 cs.AI cs.LG stat.ML
Let's Verify Step by Step
OpenAI（开放人工智能研究中心）
本文比较了结果监督与过程监督对大型语言模型多步推理训练的影响，发现过程监督在MATH数据集上显著更优，并发布80万条人类逐步反馈数据集PRM800K以支持后续研究。
2023-05-31 cs.AI cs.CL cs.LG
Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning
本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架，在Meta-World操纵任务中，其表现与基线相当且更灵活，最佳配置达86%平均成功率。
2026-08-27 cs.LG cs.RO
Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation
UC San Diego（UC圣地亚哥大学）；Amazon（亚马逊）；Georgia Institute of Technology（佐治亚理工学院）
本文提出反思增强的自我蒸馏框架，通过将失败反馈转化为主动监督信号，提升在稀有成功场景下的持续学习能力，实验表明其在多个连续学习任务中优于传统方法。
2026-05-12 cs.LG
TGRL: An Algorithm for Teacher Guided Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
TGRL通过比较有无教师监督的反事实表现，动态自动平衡教师引导与奖励学习，在无需超参数调优的情况下在多个领域优于强基线。
2024-02-20 cs.LG
Learning Neural Sequence-to-Sequence Models from Weak Feedback with Bipolar Ramp Loss
Heidelberg University（海德堡大学）
在许多机器学习场景中，无法使用黄金标签进行监督，因此无法直接通过最大似然估计（MLE）来训练神经模型。在弱监督场景中，可以采用度量增强目标来将反馈分配给模型输出，其可以用于提取用于训练的监督信号。我们提出了两个独立的弱监督任务，机器翻译和语义解析的几个目标。我们表明，目标应该积极劝阻负输出，除了促进替代金结构。这种双极性的概念自然存在于斜坡损失目标中，我们将其应用于神经模型。我们表明，双极斜坡损失目标优于其他非双极斜坡损失目标和最小风险训练（MRT）的弱监督任务，以及监督机器翻译任务。此外，我们引入了一个新的令牌级斜坡损失目标，它能够在两个弱监督任务上甚至优于最好的序列级斜坡损失。
2019-07-06 cs.CL cs.LG stat.ML
MultiScale Contextual Bandits for Long Term Objectives
Cornell University（康奈尔大学）
针对短期干预与长期反馈时间尺度脱节导致难以优化长期目标的问题，提出MultiScale Policy Learning框架及MSBL算法，利用低尺度数据为高尺度提供分层先验，实现跨尺度高效策略优化。
2025-05-28 cs.LG
VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
许多过去的作品旨在通过监督特征重要性（由模型解释技术估计）与人类注释（如重要图像区域的突出显示）来改善模型中的视觉推理。然而，最近的工作表明，从视觉问答（VQA）任务的特征重要性（FI）监督的性能增益持续甚至与随机监督，这表明这些方法没有有意义地对齐模型FI与人类FI。在本文中，我们证明了模型FI监督可以通过优化四个关键模型目标来有意义地提高VQA模型的准确性以及几个正确原因（RRR）指标的性能：（1）在有限但足够的信息下准确预测（充分性）;（2）没有重要信息的最大熵预测（不确定性）;（3）预测对不重要特征变化的不变性（不变性）;以及（4）模型FI解释和人类FI解释之间的一致性（合理性）。我们表现最好的方法，视觉特征重要性监督（VisFIS），在分布内和分布外准确性方面优于基准VQA数据集的强基线。虽然过去的工作表明，提高准确性的机制是通过提高解释的可解释性，我们表明，这种关系取决于解释的忠实性（解释是否真正代表模型的内部推理）。当解释可信且可信时，预测会更准确，而当解释可信但不可信时，预测就不会更准确。最后，我们发现，令人惊讶的是，RRR指标是不预测的分布模型的准确性时，控制模型的分布精度，这就要求质疑这些指标的价值评估模型推理。所有支持代码可在https://github.com/zfying/visfis上获得
2022-10-25 cs.AI cs.CL cs.CV
Feedback-Driven Vision-Language Alignment with Minimal Human Supervision
Amazon（亚马逊）
针对视觉-语言模型依赖大量高质量图文训练数据的问题，提出无需人工图文对和偏好标注的SVP框架，通过少量筛选图像、自动字幕和预训练grounding模型反馈增强对齐，在多任务上实现显著性能提升。
2025-05-19 cs.AI cs.CL cs.CV
How to Train Text Summarization Model with Weak Supervisions
School of Computer Science and Technology, North University of China（中北大学计算机科学与技术学院）；School of Semiconductor and Physics, North University of China（中北大学半导体与物理学院）
本文提出一种将复杂目标分解为简单子任务并生成弱监督信号的方法，实现无标签端到端训练主题摘要模型，在CNN和DailyMail数据集上取得优异效果。
2024-08-27 cs.CL cs.LG
Efficiently Aligning Language Models with Online Natural Language Feedback
提出使用在线自然语言反馈替代可验证奖励，通过迭代优化代理奖励模型并在过优化点收集专家监督，在模糊领域高效对齐语言模型，实验表明可大幅提升专家监督的数据效率。
2026-06-02 cs.AI cs.LG
When More Objectives Make Identification Easier: The Role of Preferences and Feedback
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）
本文研究多目标最佳臂识别问题，通过理论分析揭示多目标可减少样本量的三种现象，并提出Order-Aware Track-and-Stop算法，其性能渐近匹配理论下界。
2026-10-14 cs.AI cs.LG
PRIMUS: Pretraining IMU Encoders with Multimodal Self-Supervision
Nokia Bell Labs Cambridge, UK（诺基亚贝尔实验室（剑桥，英国））；University of Washington, USA（华盛顿大学（美国））；University of Glasgow, UK（格拉斯哥大学（英国））
针对IMU数据预训练方法研究不足、域外评估缺失的问题，提出结合自监督、多模态与近邻监督的PRIMUS预训练方法，可在少标注场景下显著提升下游任务准确率，相关代码已开源。
2025-11-17 cs.LG
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Aligning Large Language Models via Fine-grained Supervision
UCLA（加州大学洛杉矶分校）；Amazon（亚马逊公司）；Seoul National University（首尔大学）
本文提出通过细粒度token级监督增强LLM对齐，利用标注者最小编辑构建数据集训练token级奖励模型，并应用于细粒度PPO，相比传统PPO胜率提升5.1%。
2024-06-04 cs.AI cs.CL cs.LG
Principled Fine-tuning of LLMs from User-Edits: A Medley of Preference, Supervision, and Reward
Databricks Mosaic Research（Databricks Mosaic 研究院）；Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
本文提出了一种基于用户修改的LLM微调方法，通过融合偏好、监督和奖励反馈，提升模型在不同任务中的适应能力。
2026-01-27 cs.AI cs.CL cs.LG
The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback
Allen Institute for AI（艾伦人工智能研究所）；TU Dresden（德累斯顿工业大学）
本文指出RLHF中存在的目标错配问题是导致模型易拒绝合理请求、生成“懒惰”的根源，分析了成因并结合相关文献提出解决方案，以提升模型对齐的精准度。
2024-02-02 cs.LG
M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling
Institute of AI for Health, Computational Health Center, Helmholtz Munich（亥姆霍兹慕尼黑人工智能健康研究所（计算健康中心））；Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Technical University Munich（慕尼黑工业大学）；U.S. FDA/CDRH（美国食品药品监督管理局医疗器械和辐射健康中心）；Applied Geology, GeoZentrum Nordbayern, Friedrich-Alexander-Universität（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学北巴伐利亚地理中心应用地质学系）
本文提出M-HOF-Opt方法，通过时变乘子和分层输出反馈调度损失景观，将多目标优化转化为约束子问题序列，在降低内存与计算开销的同时提升域泛化鲁棒性。
2025-03-11 cs.AI cs.LG
Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision
Fudan University（复旦大学）；Meituan（美团）
本文提出将推理模型与批判模型分离的双角色范式，通过AutoMathCritique框架构建步骤级反馈数据集，在测试时和训练时用批判监督提升大语言模型的数学推理能力与自我改进效果。
2024-11-25 cs.AI cs.CL cs.LG
Adaptive Experimentation with Delayed Binary Feedback
使用需要显著延迟才能实现的目标进行实验（例如转换，添加到购物车事件等）很有挑战性虽然经典的“分裂样本测试”仍然适用于延迟反馈，实验将需要更长的时间才能完成，这也意味着花费更多的资源，由于其固定的分配时间表性能较差的策略。或者，“多臂强盗”等自适应方法能够有效降低实验成本。但这些方法通常不能直接处理延迟的目标。本文提出了一种自适应实验解决方案，通过估计真正的潜在目标之前，他们实现和动态分配变量的基础上的估计延迟二进制反馈目标。实验表明，该方法是更有效的延迟反馈相比，其他各种方法，并在不同的设置是鲁棒的。此外，我们描述了一个实验产品，该算法提供动力。该产品目前部署在JD.com的在线实验平台上，这是一家大型电子商务公司和数字广告发布商。
2022-02-02 cs.IR cs.LG
Policy-Induced Self-Supervision Improves Representation Finetuning in Visual RL
University of Southern California（南加利福尼亚大学）；Google Research（谷歌研究院）
本文研究了在基于视觉感知的强化学习中，如何将源任务的表征训练转移到目标任务。我们分析了两种流行的方法：冻结或微调预训练的表示。对一组流行任务的实证研究揭示了预训练表征的几个属性。首先，即使预先训练的表示完美地捕获了解决目标任务所需的信息，也需要进行微调。其次，微调表示提高了可学习性，对噪声更具鲁棒性。第三，预训练的底层是任务不可知的，并且很容易转移到新任务，而顶层编码特定于任务的信息，需要适应。在这些见解的基础上，我们提出了一个自我监督的目标，集群表示根据他们诱导的政策，而不是传统的表示相似性措施，这是政策不可知的（如欧几里德范数，余弦相似性）。再加上冻结底层，这一目标在广泛的基准上比冻结，微调和自我监督的替代方案有更好的表现。
2023-02-12 cs.CV cs.LG
Self-Supervised Contextual Bandits in Computer Vision
Microsoft Ads（微软广告）；Microsoft AI & Research（微软人工智能与研究院）
上下文强盗是机器学习从业者在从假设检验到产品推荐等不同领域面临的一个常见问题。已经有很多方法在利用丰富的数据表示的上下文强盗问题不同程度的成功。自监督学习是一种很有前途的方法，可以找到丰富的数据表示，而无需显式标签。在典型的自监督学习方案中，主要任务由问题目标定义（例如聚类、分类、嵌入生成等）。并且次要任务由自监督目标（例如，旋转预测、邻域中的单词、着色等）定义。在通常的自我监督中，我们从次要任务的训练数据中学习隐式标签。然而，在上下文强盗设置中，由于在学习的初始阶段缺乏数据，我们没有获得隐式标签的优势。我们提供了一种新的方法来解决这个问题，结合上下文的强盗目标与自我监督的目标。通过增强上下文强盗学习与自我监督，我们得到了更好的累积奖励。我们在八个流行的计算机视觉数据集上的结果显示，累积奖励有了很大的提高。我们提供的情况下，所提出的计划不执行最佳，并在这些情况下更好地学习提供替代方法。
2020-03-18 cs.CV cs.LG stat.ML
DualOPSD: Closing the Feedback Loop in On-Policy Self-Distillation
Clemson University（克莱姆森大学）；University of Utah（犹他大学）
本研究提出非对称交替框架DualOPSD，让在线自蒸馏的特权教师与学生策略自适应，在Qwen3-8B等模型上提升了数学推理指标并减少截断。
2026-10-14 cs.AI cs.LG
A New One-Point Residual-Feedback Oracle For Black-Box Learning and Control
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）算法最近已经被用于解决黑盒或基于仿真的学习和控制问题，其中目标函数的梯度不能容易地计算，但是可以使用目标函数值来近似。许多现有的ZO算法采用两点反馈方案，由于其快速的收敛速度相比，一点反馈方案。然而，两点方案需要在每次迭代时对目标函数进行两次评估，这在数据并非全部先验可用的应用中可能是不切实际的，例如，在线优化。在本文中，我们提出了一种新的单点反馈方案，查询函数值一次，在每次迭代和估计梯度使用两个连续点之间的残差。当优化一个确定性的Lipschitz函数，我们表明，查询复杂度的ZO与建议的一点剩余反馈匹配的ZO与现有的两点计划。此外，当目标函数具有Lipschitz梯度时，该算法的查询复杂度可以得到改善。然后，对于随机强盗最优化问题，只有噪声目标函数值给出，我们证明了ZO与一点残差反馈达到相同的收敛速度的两点计划与不可控的数据样本。我们通过大量的数值实验证明了所提出的一点残差反馈的有效性。
2021-09-08 cs.LG math.OC stat.ML
Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）
限制深度学习适用性的主要挑战之一是它对学习虚假相关性的敏感性，而不是感兴趣任务的底层机制。由此导致的泛化失败不能通过简单地使用来自同一分布的更多数据来解决。我们提出了一个辅助训练目标，通过利用现有数据集中被忽视的监督信号来提高神经网络的泛化能力。我们使用对最小的不同的例子与不同的标签，A.K.A反事实或对比的例子，这提供了一个信号指示的任务的潜在因果结构。我们表明，这样的对可以在计算机视觉（视觉问答，多标签图像分类）和自然语言处理（情感分析，自然语言推理）的一些现有的数据集识别。新的训练目标通过成对的反事实示例来定向模型决策函数的梯度。使用这种技术训练的模型在分布外测试集上表现出更好的性能。
2020-04-20 cs.CV cs.LG
Weak Supervision for Label Efficient Visual Bug Detection
Xbox Studios QuAIL
本文提出利用未标注游戏数据和领域增强构建自监督目标的弱监督方法，在极低标注数据条件下显著提升第一人称穿模/碰撞缺陷检测性能，并展示了向更广泛游戏图像与视频任务扩展的潜力。
2023-09-20 cs.AI cs.CV cs.LG
Stochastic Structured Prediction under Bandit Feedback
Heidelberg University（海德堡大学）；Tufts University（塔夫茨大学）；Amazon Development Center（亚马逊开发中心）
在强盗反馈下的随机结构化预测遵循学习协议，其中在迭代序列中的每一个上，学习器接收输入，预测输出结构，并且接收预测结构的任务损失评估形式的部分反馈。我们目前的应用程序，这种学习的情况下，凸和非凸目标的结构化预测和分析它们作为随机一阶方法。我们提出了一个实验评估问题的自然语言处理指数输出空间，并比较收敛速度在不同的目标下的实际标准的最佳任务性能的开发数据和最优化理论标准的最小平方梯度范数。在这两个标准下的最佳结果获得了一个非凸目标的两两偏好学习下的强盗反馈。
2016-11-02 cs.CL cs.LG stat.ML
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research（脸书人工智能研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能，但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的，以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作，同时试图保持修剪后的网络在同一任务上的性能。然而，在自监督特征学习中，训练目标对下游任务的表示可转移性是不可知的。因此，为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中，我们研究了使用标准的修剪方法，主要是为监督学习，网络训练没有标签（即自我监督任务）。我们发现，在标签上重新训练时，使用或不使用标签获得的修剪掩码达到了相当的性能，这表明修剪对于自监督学习和监督学习的操作类似。有趣的是，我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
Sequence Transduction with Graph-based Supervision
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
递归神经网络转换器（RNN-T）目标在构建当今最好的生产自动语音识别（ASR）系统中发挥着重要作用。与连接主义时间分类（CTC）目标类似，RNN-T损失使用特定的规则来定义如何生成一组对齐以形成用于全和训练的网格。然而，这些规则是否是最佳的，是否确实导致最佳的ASR结果，在很大程度上还不清楚。在这项工作中，我们提出了一个新的转换器目标函数，它将RNN-T损失推广到接受标签的图形表示，从而提供了一个灵活有效的框架来操纵训练格，例如，用于研究不同的转换规则、实现不同的换能器损耗或限制对准。我们证明了与标准RNN-T相比，具有CTC样网格的基于传感器的ASR实现了更好的结果，同时还确保了严格的单调对齐，这将允许更好地优化解码过程。例如，相对于等效的基于RNN-T的系统，所提出的类CTC换能器在LibriSpeech的测试其他条件上实现了4.8%的改进。
2022-03-31 cs.CL cs.LG cs.SD
A Multi-Objective Anytime Rule Mining System to Ease Iterative Feedback from Domain Experts
从软件存储库中提取的数据被广泛用于软件工程研究，例如，预测源代码中的缺陷。在我们对这一领域的研究中，我们使用了来自开源项目和工业合作伙伴的数据，我们注意到传统的数据采掘方法在分类问题上的几个缺点：（1）领域专家的接受是至关重要的，领域专家可以提供有价值的输入，但很难使用这种反馈。(2)模型的评估不是计算AUC或准确性的简单问题。相反，有多个目标，其重要性各不相同，但其重要性不容易量化。此外，在我们的例子中，模型的性能不能在每个实例的级别上进行评估，因为它与集合覆盖问题共享一些方面。为了克服这些问题，我们采取了一个整体的方法，并开发了一个规则挖掘系统，简化了领域专家的迭代反馈，可以很容易地将特定领域的评估需求。该系统的核心部分是一个新的多目标的任何时候规则挖掘算法。该算法是基于GRASP-PR元启发式，但扩展了它与其他几种方法的想法。我们成功地将该系统应用于工业领域。在当前的文章中，我们专注于算法的描述和系统的概念。我们提供了一个实现的系统重用。
2018-12-23 cs.LG cs.SE stat.ML
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida（南佛罗里达大学）
在本文中，我们提出了一种新的无监督聚类方法，利用隐藏的信息，是间接引入通过一个伪分类目标。具体来说，我们随机地为每个观察分配一个伪父类标签，然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层（ACOL）的神经网络，该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化（GAR）项的无监督目标，每个父类的softmax副本都是专门的，因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外，我们还演示了所选择的转换类型如何影响性能，并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST，SVHN和USPS数据集上无监督聚类任务的最新性能，具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
CoEvoP&R: Co-Evolving Placement Objectives with Routing Feedback via Large Language Models
University of Alberta（阿尔伯塔大学）；New York University（纽约大学）
研究针对分析布局器替代指标与下游质量不一致问题，提出基于大语言模型的CoEvoP&R框架自动进化布局目标，经实验验证该方法能有效降低线长、拥塞及时序负松弛，提升布局效果。
2026-07-21 cs.AI cs.LG cs.NE
Chain-Oriented Objective Logic with Neural Network Feedback Control and Cascade Filtering for Dynamic Multi-DSL Regulation
本文提出一种将离散规则逻辑与轻量级神经网络反馈控制结合的神经符号搜索架构，通过级联过滤隔离神经误预测并动态补偿静态启发式偏差，确保大规模离散状态空间中的搜索稳定性和效率。
2026-03-25 cs.LG cs.SE
Learning Preference-Based Objectives from Clinical Narratives for Dynamic Sepsis Treatment
Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所）；National University Hospital, Singapore（新加坡国立大学医院）；Saw Swee Hock School of Public Health, National University of Singapore, Singapore（新加坡国立大学 Saw Swee Hock 公共卫生学院）
提出CN-PR框架，利用大语言模型从出院小结中提取轨迹级偏好，通过偏好优化学习奖励函数，在离线强化学习中改善脓毒症治疗结果。
2026-05-25 cs.AI cs.LG
Semi-supervised Sequential Generative Models
University of Oxford（牛津大学）；MIT（麻省理工学院）；University of British Columbia（不列颠哥伦比亚大学）；Montréal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所）
我们引入了一个新的目标，用于训练具有离散潜变量的深度生成时间序列模型，其中监督仅稀疏可用。这种半监督学习的实例对于现有方法是具有挑战性的，因为可能的离散潜在配置的指数数量导致高方差梯度估计。我们首先通过使用重新加权的唤醒-睡眠扩展标准的半监督生成建模目标来克服这个问题。然而，我们发现，当训练序列之间可用标签的频率不同时，这种方法仍然会受到影响。最后，我们引入了一个统一的目标启发教师强迫，并表明这种方法是强大的可变长度的监督。我们称这种方法为含咖啡因的唤醒-睡眠（CWS），以强调其对真实数据的额外依赖。我们证明了它的有效性MNIST，手写，果蝇轨迹数据的实验。
2020-06-30 cs.LG stat.ML
MFG: Multi-turn Feedback Guided Molecular Optimization
The Ohio State University（俄亥俄州立大学）；Division of Medicinal Chemistry and Pharmacognosy, The Ohio State University（俄亥俄州立大学药物化学与药物发现部）；Department of Biomedical Informatics, The Ohio State University（俄亥俄州立大学生物医学信息学系）；Translational Data Analytics Institute, The Ohio State University（俄亥俄州立大学转化数据分析研究所）
本研究针对现有LLM分子优化方法未利用反馈、聚焦单轮的问题，提出MFG强化学习框架，将其应用于GeLLM³O后，在10项任务上的平均相似性约束成功率达81.50%，优于原模型。
2026-10-14 cs.AI cs.LG q-bio.QM
ECG-RSI: Recursive Self-Improvement through Targeted Electrocardiogram Waveform Evolution
该研究提出ECG-RSI递归自我改进框架，结合波形合成与干预搜索，经七基准测试三轮迭代，显著提升Qwen3.5-35B-A3B的问答准确率与分类F1值，为错误诊断与干预选择分离提供依据。
2026-10-27 cs.AI cs.LG eess.SP
