Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models
Alibaba Inc.(阿里巴巴集团);Qwen Team(通义千问团队)
本文提出AutoIF方法,通过将指令遵循数据质量验证转化为代码验证并利用执行反馈生成训练数据,显著提升了Qwen2和LLaMA3在SFT、离线DPO和在线DPO下的指令遵循能力。
2024-07-18 cs.AI cs.CL cs.LG
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对 RLHF 中奖励模型预测不准的问题,本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法,并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Improving Contrastive Learning of Sentence Embeddings from AI Feedback
Fudan University(复旦大学)
本文提出CLAIF方法,利用大型预训练语言模型的AI反馈构建带细粒度相似度分数的样本对,并结合人类反馈提供监督信号,显著提升了句子嵌入对比学习在语义文本相似性等任务上的性能。
2023-05-20 cs.AI cs.CL
Improving Classification Performance With Human Feedback: Label a few, we label the rest
本文研究少样本与主动学习中的人类反馈机制,利用GPT-3.5、BERT和SetFit通过持续少量标注迭代提升文本分类准确率、召回率与精确率,并在五个数据集上超越零样本LLM。
2024-01-17 cs.AI cs.CL cs.LG
Talk Less, Verify More: Improving LLM Assistants with Semantic Checks and Execution Feedback
National University of Singapore(新加坡国立大学)
本文提出Q*和Feedback+两种验证技术,通过语义检查和执行反馈提升LLM助手的输出准确性与可靠性。
2026-01-07 cs.CL cs.SE
Improving Summarization with Human Edits
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Abridge AI Inc.(Abridge AI公司)
本文提出SALT,将人工编辑与模型生成文本共同纳入序列对齐似然/非似然训练,并用模仿编辑降低数据成本,在医学摘要上优于DPO。
2025-01-05 cs.AI cs.CL cs.LG
Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback
通过序列到序列奖励建模方法改进RLHF,提升LLMs对齐人类意图的性能。
2025-12-24 cs.AI cs.CL
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出GELI方法,利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励,学习轮次级奖励模型并应用于RHLF流程,有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学)
诸如ChatGPT之类的大语言模型(LLM)能够为许多下游任务生成类似人类的流畅响应,例如,以任务为导向的对话和问答。然而,将LLM应用于现实世界的关键任务应用程序仍然具有挑战性,主要是因为它们倾向于产生幻觉,并且无法使用外部知识。本文提出了一种LLM增强器系统,它增加了一组即插即用模块的黑盒LLM。我们的系统使LLM生成基于外部知识的响应,例如,存储在特定任务的数据库中。它还迭代地修改LLM提示,以使用由效用函数生成的反馈来改善模型响应,例如,LLM生成的响应的真实性得分。LLM-Augmenter的有效性进行了实证验证两种类型的场景,面向任务的对话和开放域问答。LLM-Augmenter可以显着减少ChatGPT的幻觉,同时又不牺牲其响应的流畅性和信息量。我们公开源代码和模型。
2023-03-08 cs.AI cs.CL
Improving In-Context Learning with Prediction Feedback for Sentiment Analysis
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);SIAT, Chinese Academy of Science(中国科学院深圳先进技术研究院);The 30th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第三十研究所);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory, Shenzhen(鹏城实验室(深圳))
本文提出一种结合先验预测和反馈的框架,通过获取LLMs预测、设计基于正确性的反馈并利用反馈驱动提示,有效纠正情感误解,在九个数据集上平均F1提升5.95%。
2024-06-05 cs.CL
TopicImpact: Improving Customer Feedback Analysis with Opinion Units for Topic Modeling and Star-Rating Prediction
Department of Computing Science Umeå University(计算科学系乌梅大学)
本文提出TopicImpact系统,通过将客户评论重构为意见单元来改进主题建模,并结合主题与情感模态提升星级评分预测的准确性和可解释性。
2025-07-16 cs.AI cs.CL
Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code
Yonsei University(延世大学);Seoul National University(首尔大学)
Coffee-Gym 通过构建代码编辑反馈数据集 Coffee 和奖励函数 CoffeeEval,解决了 RL 训练反馈模型缺乏高质量数据和准确奖励的问题,训练出的反馈模型能显著提升开源代码 LLM 的编辑性能,达到接近闭源模型的水平。
2024-10-04 cs.CL
Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback
The University of Tokyo(东京大学)
本文提出利用半结构化关系元组表示大型语言模型推理步骤,结合本地代码解释器自动验证与动态反馈机制,有效提升了模型在算术数据集上的推理能力。
2024-06-25 cs.AI cs.CL
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University(国立台湾大学);Amazon(亚马逊)
研究文本到音频指令跟随问题,提出用音频感知大语言模型作细粒度评判器的框架,经验证后用其反馈构建偏好对优化,引入S3Bench基准,实验证明该方法能提升事件完整性、时间排序和指令跟随准确性,且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel;Inspired Cognition
本文综述人类反馈用于改进自然语言生成的研究,提出反馈形式化与分类体系,梳理反馈格式、目标、训练或解码用法、数据集及收集问题,并介绍利用LLM判断的AI反馈。
2023-06-01 cs.AI cs.CL cs.LG
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题,提出反馈驱动的蒸馏框架,通过按难度分类生成变体问题并进行多轮迭代蒸馏,使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
University of Science and Technology of China(中国科学技术大学);Shenzhen University(深圳大学)
本文提出VFLM模型,通过视觉反馈迭代优化文本布局,提升生成质量,实验表明其优于现有方法。
2026-03-23 cs.AI cs.CV
LLMLOOP: Improving LLM-Generated Code and Tests through Automated Iterative Feedback Loops
King's College London(伦敦国王学院)
LLMLOOP通过自动化迭代反馈循环提升大语言模型生成的代码和测试质量,通过五种循环解决编译错误、静态分析问题、测试失败和测试质量改进,验证了其在HUMANEVAL-X基准上的有效性。
2026-03-24 cs.AI cs.SE
Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards
Fudan University(复旦大学);ByteDance Research(字节跳动研究院);Northwestern University(西北大学)
本文提出对比奖励方法,通过在奖励中引入惩罚项来改进RLHF,提高奖励模型鲁棒性,并在PPO中减少方差,经实验验证优于强基线。
2024-03-14 cs.AI cs.CL
Improving the Validity of Automatically Generated Feedback via Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Eedi(伊迪科技)
针对智能辅导中LLM生成数学反馈的正确性与教学有效性不足问题,提出数学反馈评估 rubric 及基于RL、DPO的反馈生成框架,显著提升了Llama 2生成反馈的质量。
2024-12-12 cs.CL
PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback
The Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce研究院)
针对LLM生成代码仅关注功能正确性而缺乏效率优化的问题,提出无需训练的PerfCodeGen框架,通过执行时运行时间反馈优化代码,在更多问题上实现加速,开源模型效率媲美闭源模型,基准测试性能超越参考方案。
2024-11-18 cs.AI cs.CL cs.PL
Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback
Google DeepMind(谷歌DeepMind);The University of Tokyo(东京大学);Stanford University(斯坦福大学)
本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量,提出利用视觉语言模型提供针对性反馈,实验表明该方法在视频交互场景质量上有显著提升。
2026-04-17 cs.AI cs.CV cs.LG
LILO: Bayesian Optimization with Natural Language Feedback
Meta;DAMTP, University of Cambridge(剑桥大学DAMTP)
LILO通过将大语言模型转化为结构化偏好信号,提升贝叶斯优化在复杂主观偏好下的适应性与效率,实验证明其在反馈受限场景中表现优异。
2026-05-10 cs.AI cs.CL cs.LG
Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback
SKL-IOTSC, CIS, University of Macau(SKL-IOTSC、CIS、澳门大学)
本文提出UMed-LVLM及MAU数据集,通过异常感知指令微调和异常感知奖励训练,显著提升医学图像异常检测与理解能力,较基线提升58%。
2025-06-02 cs.AI cs.CL cs.CV
DUAL-REFLECT: Enhancing Large Language Models for Reflective Translation through Dual Learning Feedback Mechanisms
Pengcheng Laboratory(鹏城实验室);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
针对现有大语言模型自反思翻译方法缺乏有效反馈的问题,提出DUAL-REFLECT框架,借助翻译任务对偶学习提供反馈以增强自反思能力,可提升翻译准确率、消除歧义,在低资源语言对翻译中效果显著。
2024-06-21 cs.AI cs.CL
LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Huawei Noah’s Ark Laboratory(华为诺亚方舟实验室)
本文提出LaFFi方法,通过让LLM直接预测标注者的自然语言反馈来进行反思微调,显著提升了领域内问答任务的准确性,并发现人工标注数据比例影响微调性能。
2023-12-31 cs.AI cs.CL cs.LG
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们如何设计能够从人类反馈中学习的自然语言处理(NLP)系统?越来越多的人在回路(HITL)NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的,但五花八门-解决各种NLP问题,从不同的人那里收集不同的反馈,并应用不同的方法从收集的反馈中学习。我们对机器学习(ML)和人机交互(HCI)社区的HITL NLP工作进行了调查,突出了其短暂但鼓舞人心的历史,并彻底总结了最近的框架,重点是他们的任务,目标,人类交互和反馈学习方法。最后,我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Improving Language Models via Plug-and-Play Retrieval Feedback
University of Notre Dame(圣母大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出即插即用的检索反馈流水线ReFeed,通过检索文档信息优化初始输出以解决LLMs幻觉问题,无需微调即在四个基准上实现零样本+6.0%、少样本+2.5%的提升。
2023-05-23 cs.CL
Improving Interactive In-Context Learning from Natural Language Feedback
Google DeepMind(谷歌DeepMind)
本研究提出一种框架,通过自然语言反馈提升模型交互式上下文学习能力,使模型在多轮交互中表现更优,并具备自我纠正能力。
2026-02-17 cs.AI
eRevise: Using Natural Language Processing to Provide Formative Feedback on Text Evidence Usage in Student Writing
Learning Research and Development Center(学习研究与发展中心);University of Pittsburgh(匹兹堡大学)
写一篇好文章通常需要学生在收到反馈后修改最初的论文草稿。我们提出了eRevise,一个基于网络的写作和修改环境,使用自然语言处理功能生成的基于规则的论文评分,以触发形成反馈信息,学生的使用证据,在响应文本写作。通过帮助学生了解在写作过程中使用文本证据的标准,eRevise使学生能够更好地修改他们的论文草稿。在一个试点部署的eRevise在7个教室跨越5年级和6年级,在写作中的文本证据使用的质量提高后,学生收到形成性反馈,然后从事论文修订。
2019-08-06 cs.AI cs.CL
Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback
University of Edinburgh(爱丁堡大学);Allen Institute for AI(艾伦人工智能研究所)
研究多个LLM在谈判博弈中通过自我博弈、反思和AI反馈自主改进的能力,发现仅部分较强模型能利用反馈迭代提升谈判价格,但多轮博弈中面临更高破坏交易的风险。
2023-05-17 cs.CL
Mission Impossible: Feedback-Guided Dynamic Interactive Planning for Improving Reasoning on LLMs
Central South University(中南大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
针对语言智能体在开放域多跳推理中依赖固定动作序列的局限,提出 FGDIP 框架,结合历史错误分析、实时反馈与深度优先搜索动态生成推理节点,在 HotpotQA 和 StrategyQA 上分别超越最佳基线 5.03% 和 7.25%。
2025-10-07 cs.AI cs.CL
SeqFeed: Improving Agentic RTL Code Generation with Sequential Behavior Feedback
City University of Hong Kong(香港城市大学);Southeast University(东南大学);National Center of Technology Innovation for EDA(国家EDA技术创新中心)
针对智能体RTL代码生成的时序信息传递难题,本研究提出含SeQuery和SeGraph机制的SeqFeed,通过满足三项反馈要求提升LLM的RTL代码生成通过率。
2026-08-20 cs.AR cs.CL
Improving Parallel Program Performance with LLM Optimizers via Agent-System Interfaces
Stanford University(斯坦福大学);Intel(英特尔);NVIDIA(英伟达);Nanjing University(南京大学)
提出基于Agent-System Interface的生成式优化框架,利用DSL和AutoGuide机制将低级系统代码抽象为结构化搜索空间并提供可操作反馈,仅需10次迭代即超越OpenTuner 1000次迭代的效果,在9个基准上最高提速1.34倍,将调优时间从数天降至数分钟。
2025-05-30 cs.AI cs.CL cs.DC
Data-Efficient Alignment of Large Language Models with Human Feedback Through Natural Language
Amazon(亚马逊)
本研究提出利用少量自然语言形式的人类反馈微调开源LLM,使其能通过批评与修订机制提升ChatGPT等强大模型的响应质量,验证了该方法在数据高效对齐方面的有效性。
2023-11-24 cs.AI cs.CL
LongReward: Improving Long-context Large Language Models with AI Feedback
Zhipu AI(智谱AI);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 LongReward,用现成 LLM 从四维度评估长上下文响应并结合 DPO 进行离线强化学习,显著提升模型长上下文与短指令遵循能力。
2024-10-28 cs.CL cs.LG
LLUMI: Improving LLM Writing Assistance for Mental Health Support with Online Community Feedback
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
提出LLUMI框架,通过在线社区反馈(如Reddit投票)构建偏好对,结合监督微调和直接偏好优化训练开源小模型,在隐私保护下实现与GPT相当的心理健康支持性能。
2026-09-09 cs.AI cs.CL cs.CY
Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学)
GOLF通过整合群体层面的自然语言反馈,提升强化学习的探索效率和样本效率,实现2.2倍的改进。
2026-03-04 cs.AI cs.CL
Chain-of-Ground: Improving GUI Grounding via Iterative Reasoning and Reference Feedback
University College London(伦敦大学学院);Chico Future AI Lab(芝加哥未来人工智能实验室);The University of Hong Kong(香港大学);Princeton University(普林斯顿大学)
Chain-of-Ground通过迭代推理和参考反馈提升GUI定位,实现68.4的准确率,并在现实世界界面中表现优异。
2025-12-01 cs.AI cs.CL cs.CV
LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback
Peking University(北京大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Alibaba Group(阿里巴巴集团);Microsoft(微软公司)
本文提出Math-Minos验证器,通过引入逐步自然语言反馈和两阶段训练范式,弥补二分类标签信息不足的问题,显著提升数学验证与强化学习性能。
2024-10-18 cs.CL
CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis
Temple University(Temple大学)
本文提出CentaurTA Studio,通过人机协作提升主题分析效率,实现高准确率和可靠评估,验证了反馈循环和持续优化的重要性。
2026-03-18 cs.AI cs.HC
Yell At Your Robot: Improving On-the-Fly from Language Corrections
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出利用人类语言纠正来监督高级策略,使机器人能实时适应反馈并迭代改进,显著提升长时间跨度灵巧操作任务的性能,无需额外远程操作。
2024-03-19 cs.AI cs.LG cs.RO
Learning from Natural Language Feedback for Personalized Question Answering
Center for Intelligent Information Retrieval(智能信息检索中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出VAC框架,利用自然语言反馈替代标量奖励,提升个性化问答效果,实验表明其在LaMP-QA基准上表现优异。
2026-04-24 cs.AI cs.CL cs.IR
The Importance of Directional Feedback for LLM-based Optimizers
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
该研究将自然语言反馈分为方向型与非方向型,发现方向反馈可显著提升大语言模型优化能力,据此设计出从历史轨迹合成方向反馈的新型LLM优化器,在多类优化任务上比现有方法更稳定高效。
2024-06-20 cs.AI cs.CL cs.NE
Automatically Improving LLM-based Verilog Generation using EDA Tool Feedback
NYU Tandon School of Engineering(纽约大学坦登工程学院);University of New South Wales(新南威尔士大学)
提出开源框架 AutoChip,结合对话式 LLM 与 EDA 工具反馈迭代修复 Verilog 代码,相比零样本提示显著提升生成成功率并大幅降低成本。
2025-03-04 cs.AI cs.AR cs.PL
Divide, Evaluate, and Refine: Evaluating and Improving Text-to-Image Alignment with Iterative VQA Feedback
The Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文提出将复杂提示词分解为独立断言、用 VQA 评分并迭代反馈精炼图像的方法,提升文本到图像对齐评估与生成准确率。
2023-12-06 cs.AI cs.CV cs.LG
Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback
School of Computer Science, Peking University(北京大学计算机学院);Key Laboratory of High Confidence Software Technologies(PKU), MOE, China(教育部高可信软件技术重点实验室);Beijing Jiaotong University(北京交通大学)
本文提出 PLPF 方法,通过规则建模、偏好数据生成与偏好对齐将医生诊断逻辑融入 LLM,显著提升多轮及单轮医疗对话的诊断准确率。
2024-08-03 cs.CL
Learning to Refine with Fine-Grained Natural Language Feedback
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出DCR方法,将精炼分解为检测、批评、精炼三步,通过细粒度反馈提升文档摘要的事实一致性,优于现有端到端方法。
2025-06-19 cs.CL
Improving Students With Rubric-Based Self-Assessment and Oral Feedback
该研究在软件工程课程作业中对比应用评分量规自评与口头反馈,发现二者均显著提升学习成果,但改进未超过一个等级,且量规显著减少成绩相关投诉与疑问。
2023-07-24 cs.SE
Decaf: Improving Neural Decompilation with Automatic Feedback and Search
University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
Decaf通过自动反馈和搜索显著提升神经反编译的语义正确性,将反编译率从26.0%提升至83.9%。
2026-05-12 cs.AI cs.CR cs.SE
Improving Small Language Models for Code Generation with Reinforcement Learning from Verification Feedback
Vyatka State University(沃伊亚提卡州立大学);European University at St. Petersburg(圣彼得堡欧洲大学)
本研究通过基于验证奖励的强化学习(RLVR)结合LoRA微调,在MBPP基准上对小型语言模型(Qwen3-0.6B和Llama3.2-1B)进行Python代码生成实验,发现奖励设计对功能正确性和行为诊断有显著影响,并提出组合奖励可稳定权衡正确性与风格约束。
2026-05-28 cs.CL cs.SE
Improving Linux-Kernel Tests for LockDoc with Feedback-driven Fuzzing
LockDoc是一种从系统处于基准负载下时记录的动态执行跟踪中提取内核数据结构的锁定规则的方法。这些锁定规则可以例如用于定位同步错误。对于高规则精度和彻底的错误发现,该方法在很大程度上取决于基准测试的选择:它们必须触发内核子系统中与目标数据结构相关的尽可能多的代码的执行。然而,现有的测试套件,如Linux测试项目(LTP)提供的那些测试套件,在LTP的情况下,仅实现了VFS子系统的大约35%的基本块覆盖率,当为与文件系统相关的数据结构提取锁定规则时,VFS子系统是相关的子系统。在本文中,我们将讨论如何补充LTP套件以提高LockDoc场景的代码覆盖率。我们重新调整了syzkaller --一个覆盖率引导的模糊器,目标是验证内核API的鲁棒性--1)不以内核崩溃为目标,2)最大化特定内核子系统的代码覆盖率。因此,我们生成了可以在LTP之外运行的新基准程序,并将VFS基本块覆盖率提高了26.1%。
2021-09-16 cs.SE
RubricRefine: Improving Tool-Use Agent Reliability with Training-Free Pre-Execution Refinement
Anduril(安杜里尔)
RubricRefine通过预执行语义合同验证,在无执行尝试的情况下提升工具使用代理的可靠性,平均在M3ToolEval上达到0.86,比现有推理时间基线低2.6倍。
2026-09-10 cs.LG cs.SE