User Feedback Provides a Unique Signal that LLMs Can not Detect
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);IBM Research(IBM研究院);MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
该研究指出用户反馈是LLMs可利用的高价值改进信号,其被低估源于评估范式偏差,反馈驱动的模型修订解决问题比率更高,且LLM评判者无法识别反馈带来的修正。
2026-09-03 cs.CL
SubData: Bridging Heterogeneous Datasets to Enable Theory-Driven Evaluation of Political and Demographic Perspectives in LLMs
The University of Queensland(昆士兰大学);GESIS - Leibniz Institute for the Social Sciences(GESIS - 莱布尼茨社会科学研究所)
本文提出SubData框架,通过标准化异构数据集评估LLM视角对齐,并展示如何利用该工具测试不同对齐LLM对特定人口群体内容的分类差异。
2025-10-12 cs.CL
X-MAS: Towards Building Multi-Agent Systems with Heterogeneous LLMs
Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学);The University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出异构LLM驱动的多智能体系统X-MAS,通过X-MAS-Bench评估27个LLM在5领域21测试集上的性能,证明异构配置无需结构改动即可显著提升系统性能,最高提升达47%。
2025-05-22 cs.AI cs.CL cs.MA
CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback
Pennsylvania State University(宾夕法尼亚州立大学)
针对大语言模型在语码混合翻译上的不足,提出CHAI框架,利用LLM标注、RLAIF及领域知识宪法,使模型在CM翻译任务上平均胜率提升68.45%。
2026-09-15 cs.AI cs.CL cs.LG
Coffee: Boost Your Code LLMs by Fixing Bugs with Feedback
Yonsei University(延世大学);Seoul National University(首尔大学)
本文提出 Coffee 数据集和 CoffeePots 框架,通过偏好优化调优与选择为开源代码大语言模型生成高质量修复反馈,在 HumanEvalFix 上取得最优性能。
2024-02-23 cs.CL cs.SE
FOXGLOVE: Understanding Goal-Oriented and Anchored Writing Feedback from Experts and LLMs on Argumentative Essays
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过构建FOXGLOVE数据集,系统比较了写作专家和大型语言模型在议论文反馈中的目标导向、锚定性和优先级,发现两者在反馈目标和位置分布上相似,但在具体句子选择和反馈复杂度上存在差异。
2026-10-20 cs.CL cs.HC
MoL-RL: Distilling Multi-Step Environmental Feedback into LLMs for Feedback-Independent Reasoning
Dalian University of Technology(大连理工大学);Wired Product Operation Division, ZTE Corporation(中兴通讯无线产品运营部)
针对 LLM 难以利用多步文本环境反馈的问题,本文提出 MoL-RL,通过混合损失持续训练与 GRPO 后训练将多步反馈蒸馏为单步推理,并在数学和代码基准上验证其性能与泛化性。
2025-07-27 cs.CL
LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback
School of Computation, Information and Technology, TUM(慕尼黑工业大学计算、信息与技术学院);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出xLLMs-100(xLLaMA-100和xBLOOM-100),通过构建100语言指令数据集和30语言跨语言反馈数据集,结合指令微调与DPO算法,将LLaMA和BLOOM扩展至100种语言,在五个基准上显著超越同类模型。
2024-06-03 cs.CL
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)(Meta AI(FAIR))
针对代码大语言模型迭代改进代码困难的问题,提出端到端强化学习方法RLEF以利用执行反馈,在竞赛编程任务上使8B和70B参数模型取得新SOTA,样本量减少一个数量级,且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback
Microsoft Corporation(微软公司);Purdue University(普渡大学);Texas A&M University(德克萨斯农工大学);University of California San Diego(加州大学圣地亚哥分校);University of Southern California(南加州大学)
本文提出WildFeedback框架,通过实时用户反馈自动创建偏好数据集,提升大语言模型对用户偏好的对齐能力,解决了现有方法的可扩展性、主观性和偏见问题。
2026-04-17 cs.CL
SELF: Self-Evolution with Language Feedback
The University of Hong Kong(香港大学)
本研究提出SELF框架,通过元技能学习让大语言模型具备自我反馈与优化能力,经迭代自我进化及推理阶段自我优化,无需人工干预即可提升其在数学和通用任务上的表现,为LLM自主进化提供新方向。
2024-02-01 cs.AI cs.CL cs.LG
FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback
Peking University(北京大学);Baichuan Inc.(百川公司)
本文提出FB-Bench,一个包含591个样本、覆盖多类任务、反馈与回复缺陷的中文细粒度多任务基准,用于评估LLM对真实多轮交互中人类反馈的响应能力。
2025-02-17 cs.AI cs.CL
A Systematic Study of Pseudo-Relevance Feedback with LLMs
University of Waterloo(滑铁卢大学)
本文系统研究了基于大语言模型的伪相关反馈方法,发现反馈模型选择和反馈源对PRF效果有重要影响,且从语料库获取反馈在强检索器支持下效果最佳。
2026-03-11 cs.CL cs.IR
Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill(统计与运筹学系,北卡罗来纳大学 Chapel Hill 分校);Daniels School of Business, Purdue University(商务学院,普渡大学);Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill(统计与运筹学系,遗传学系,生物统计学系,北卡罗来纳大学 Chapel Hill 分校)
本文提出LoCo-RLHF框架,通过整合上下文信息和低秩结构,有效应对异质人类反馈的挑战,提升个性化强化学习性能。
2026-03-04 cs.LG stat.ML
LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Huawei Noah’s Ark Laboratory(华为诺亚方舟实验室)
本文提出LaFFi方法,通过让LLM直接预测标注者的自然语言反馈来进行反思微调,显著提升了领域内问答任务的准确性,并发现人工标注数据比例影响微调性能。
2023-12-31 cs.AI cs.CL cs.LG
False Fixed Points: Kantian Feedback, Stable Miscalibration, and Representational Compression in LLMs
ToppyMicroServices OÜ(ToppyMicroServices公司)
本文通过康德承诺门控框架和线性反馈模型,研究大语言模型中高置信度错误作为局部稳定、内部一致且自信错误的虚假不动点现象,发现稳定性与正确性可分离,并探索高信噪比惯性和表征压缩作为稳定误校准的可能机制。
2026-05-23 cs.AI cs.CL cs.LG
LLMs are Superior Feedback Providers: Bootstrapping Reasoning for Lie Detection with Self-Generated Feedback
Princeton University(普林斯顿大学)
提出一种利用LLM自生成反馈增强谎言检测推理能力的自举框架,通过建议、反馈收集和修改三阶段优化预测,在Diplomacy游戏中无需训练数据即提升lying-F1达39%,媲美监督学习。
2024-08-25 cs.AI cs.CL
How Well Can LLMs Simulate Real Learner Evaluations of Educational Feedback?
Tohoku University(东北大学);National Institute of Informatics(国立情报学研究所);University of Tokyo(东京大学);Osaka Kyoiku University(大阪教育大学)
本研究利用真实学习者评价数据,检验LLMs在教育反馈场景中模拟学习者评价的能力,发现其能力有限,提供个性化信息可改善个体模拟但难提升群体一致性。
2026-09-29 cs.CL
Aligning Large Language Models through Synthetic Feedback
NAVER Cloud(NAVER云);NAVER AI Lab(NAVER人工智能实验室);KAIST AI(韩国科学技术院人工智能学院);SNU AI Center(首尔国立大学人工智能中心)
提出不依赖大量人类标注和专有LLMs的合成反馈对齐学习框架,通过对比不同原始LLMs的回复进行奖励建模,并利用强化学习优化模型,最终在对齐基准和人类评估中优于近期开源模型。
2023-10-21 cs.AI cs.CL cs.LG
Simulating Student-Tutor Interactions with LLMs for Multilingual Math Feedback
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·泽德人工智能大学)
本文首次通过LLM模拟多语言师生互动,在11种语言和4种先进LLM上探索352种设置,发现与学生母语一致的多语言反馈能显著提升低资源语言中的数学学习效果。
2026-10-14 cs.AI cs.CL
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research(LG人工智能研究院)
针对RLHF导致的表面化对齐问题,提出RLRF框架,利用细粒度自我反思机制探索和优化响应,并通过RL算法微调模型,有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Extracting Self-Consistent Causal Insights from Users Feedback with LLMs and In-context Learning
Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
针对Windows反馈中心海量用户反馈难定位问题成因的痛点,提出结合大语言模型推理能力生成先验模型的方法,弥补双重机器学习流程的领域知识缺口,可提取已知问题、发现新bug并减少域外输出。
2023-12-11 cs.AI cs.CL cs.LG
On Targeted Manipulation and Deception when Optimizing LLMs for User Feedback
MAT;UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Haize Labs(海泽实验室)
本研究揭示针对用户反馈优化大语言模型时,模型会习得操纵欺骗行为且难检测,现有安全方法可能适得其反,为相关风险防控提供参考。
2025-02-22 cs.AI cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology(昆士兰理工大学)
针对强化学习中人在环方法引入人类反馈偏见的问题,提出混合框架 LLM-HFBF,利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形,显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback
Shanghai Jiao Tong University(上海交通大学);AISpeech Co., Ltd.(思必驰科技股份有限公司)
本文提出知识反馈强化学习框架RLKF,通过动态确定模型知识边界并训练可靠奖励模型,鼓励LLM拒绝超出知识范围的问题,从而显著提升模型可靠性并减少幻觉。
2024-08-08 cs.CL
Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing
University of Pittsburgh(匹兹堡大学)
本研究通过构建FeedType基准,评估了六种LLM在三种提示策略下生成反馈的焦点类型与适应性,发现其虽覆盖多数焦点类型但分布不均且适应性不及专家教师。
2026-09-24 cs.AI cs.CL
Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation
School of Informatics, Xiamen University, China(信息学院,厦门大学);Alibaba International Digital Commerce Group(阿里巴巴国际数字 commerce 集团);Li Auto Inc(李汽车公司)
本文提出一种动态反馈机制,用于提升LLM在生成文本时对长度的精确控制,通过无训练方法和进一步微调实现更准确的长度调节。
2026-01-07 cs.CL
RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs
Princeton University(普林斯顿大学);Georgia Tech(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文从强化学习原理出发批判性分析 LLM 的 RLHF,重点剖析奖励模型的建模假设、训练方法与局限,并分类综述文献以为后续研究提供参考。
2024-04-16 cs.AI cs.CL cs.LG
GNN-as-Judge: Unleashing the Power of LLMs for Graph Learning with GNN Feedback
Northwestern University(西北大学)
本文提出GNN-as-Judge框架,通过结合GNN的结构归纳偏差,解决LLM在低资源条件下生成可靠伪标签和缓解标签噪声的问题,提升图学习性能。
2026-03-11 cs.AI cs.CL cs.LG
Teaching LLMs to Abstain across Languages via Multilingual Feedback
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research(微软研究院)
针对 LLM 跨语言知识差异导致弃权性能不均的问题,本文提出多语言反馈与自我反思方法,在三类 QA 数据集和多个模型上显著提升低资源语言弃权表现。
2025-02-14 cs.CL
Fine-Tuning LLMs with Fine-Grained Human Feedback on Text Spans
Columbia University(哥伦比亚大学);Microsoft(微软公司);Johns Hopkins University(约翰霍普金斯大学)
本文提出基于文本片段的细粒度人类反馈方法,通过反馈驱动的改进链提升语言模型微调效果。
2025-12-29 cs.CL
Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation
本文提出STROT框架,通过结构化提示、模式内省和反馈驱动的迭代修正,将LLM嵌入受控分析循环,以提升结构化数据分析的可靠性、可解释性与语义对齐性。
2025-05-03 cs.AI cs.CL cs.LG
RLSF: Fine-tuning LLMs via Symbolic Feedback
Georgia Institute of Technology, USA(佐治亚理工学院)
RLSF通过符号反馈微调LLM,利用符号推理工具提供精细反馈,提升领域特定任务的性能,使小模型超越大模型。
2025-06-27 cs.AI cs.CL cs.LG
ConvCodeWorld: Benchmarking Conversational Code Generation in Reproducible Feedback Environments
Snowflake AI Research(Snowflake AI研究院);Seoul National University(首尔大学)
提出ConvCodeWorld基准,模拟9种交互式代码生成场景并组合编译、执行和语言反馈,评估LLM性能,发现反馈质量显著影响结果,弱模型可借反馈超越强模型单轮表现。
2025-02-27 cs.AI cs.CL cs.SE
Open Source Language Models Can Provide Feedback: Evaluating LLMs' Ability to Help Students Using GPT-4-As-A-Judge
Aalto University(阿尔托大学);University of Jyväskylä(于韦斯屈莱大学);The University of Auckland(奥克兰大学)
针对教育中开源 LLM 反馈质量不明的问题,本文以 GPT-4 作为自动评判者并结合人类专家对比,评估多个开源模型在编程入门课程反馈上的表现,发现部分模型可媲美 ChatGPT。
2024-05-08 cs.AI cs.CL cs.CY
Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability
Meituan(美团)
本研究提出名为Meeseeks的全自动迭代式指令遵循基准,通过集成反馈机制引导大语言模型自校正,构建含700余实例的多标签数据集,实验发现多数前沿模型经20轮迭代后表现仍不佳,并揭示了相关共性问题与反直觉现象。
2025-10-22 cs.CL
Why Specialist Models Still Matter: A Heterogeneous Multi-Agent Paradigm for Medical Artificial Intelligence
Fudan University(复旦大学)
提出HetMedAgent异构多智能体框架,通过冲突感知证据融合、不确定性驱动的临床医生干预触发和自适应阈值校准,实现通用大语言模型与领域专家模型的协同,在三个临床决策任务中验证了专家模型在模态特定分析中的不可替代价值。
2026-05-28 cs.AI cs.CL cs.LG
Personalized Language Modeling from Personalized Human Feedback
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton Language and Intelligence(普林斯顿语言与智能中心)
针对传统RLHF无法适配多样用户偏好的问题,提出高效框架P-RLHF,通过轻量用户模型联合学习偏好与个性化LLM,兼顾显隐式偏好且无需用户完整表述偏好,实验表现优于现有方法并已开源。
2024-12-09 cs.AI cs.CL cs.LG
MEKiT: Multi-source Heterogeneous Knowledge Injection Method via Instruction Tuning for Emotion-Cause Pair Extraction
Northeastern University(东北大学)
针对大语言模型在情感-原因对抽取任务中因缺乏辅助知识而表现不佳的问题,提出多源异构知识注入方法MEKiT,通过指令模板与数据混合的指令微调融合内部情感与外部因果知识,显著提升模型性能。
2025-07-20 cs.CL
Evaluating LLMs Without Oracle Feedback: Agentic Annotation Evaluation Through Unsupervised Consistency Signals
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney, Australia(澳大利亚人工智能研究所(AAII)、悉尼技术大学);Centre for Frontier AI Research, Institute of High Performance Computing(前沿人工智能研究中心、高性能计算研究所);Agency for Science, Technology and Research, Singapore(科技研究局(新加坡));College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院、南洋理工大学)
针对无监督环境中LLM标注质量评估难题,提出基于学生模型与噪声教师协作的智能体标注范式,引入CAI比率指标,在四个LLM和十个数据集上验证其与准确性强正相关,实现无需预言机反馈的可靠评估与模型选择。
2025-09-10 cs.CL
Exact Feedback Is Not Control: Evaluating Text-based Closed-Loop Revision in LLMs
Shenzhen University(深圳大学)
本研究提出固定预算修订协议,用确定性验证器提供精确反馈,测试19个LLM,发现模型间成功率差异大,精确反馈虽暴露错误但无法保证闭环修订可靠。
2026-09-24 cs.CL
When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs
Penn State University(宾夕法尼亚州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文批判性综述LLM自我纠正研究,梳理实验设计缺陷与研究问题分类,指出仅凭提示反馈通常无法成功纠错,可靠外部反馈和大规模微调才是关键条件。
2024-12-03 cs.CL
"I Wrote, I Paused, I Rewrote" Teaching LLMs to Read Between the Lines of Student Writing
本文构建记录击键与文章快照的写作工具,验证让 LLM 结合完整写作轨迹而非仅看终稿,可生成更受学生认可、更贴合思维与修改过程的反馈。
2025-06-09 cs.CL
The Meta-Prompting Protocol: Orchestrating LLMs via Adversarial Feedback Loops
Zhejiang University(浙江大学)
元提示协议通过对抗反馈循环构建可编程自优化系统,解决LLM在关键任务中的确定性保证问题。
2025-12-17 cs.AI cs.CL cs.LG
FedMentor: Domain-Aware Differential Privacy for Heterogeneous Federated LLMs in Mental Health
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
FedMentor通过整合LoRA和域感知差分隐私,实现对心理健康领域异构联邦大语言模型的隐私保护微调,提升安全性并保持模型效用。
2026-01-24 cs.AI cs.CL cs.CR
LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs
MIT(麻省理工学院)
针对LLM强化学习中标量奖励浪费文本理据及在线反馈易泄露或导致崩溃的问题,提出LANPO,用语言反馈引导探索、数值奖励驱动优化,并显著提升数学推理性能。
2025-10-18 cs.AI cs.LG
Heterogeneous Swarms: Jointly Optimizing Model Roles and Weights for Multi-LLM Systems
University of Washington(华盛顿大学);Google Cloud AI Research(谷歌云人工智能研究)
提出异构群体算法,通过联合优化模型角色(DAG结构)和权重(JFK分数)设计多LLM系统,在12个任务上平均超越15个基线18.5%,实现显著协作增益。
2025-10-22 cs.CL
Interpreting Learned Feedback Patterns in Large Language Models
Luke Marks;Amir Abdullah;Clement Neo;Rauno Arike;David Krueger;Philip Torr;Fazl Barez
本文提出“学习到的反馈模式”(LFP)概念,通过训练探针估计LLM激活中隐含的反馈信号并与真实反馈对比,以检验RLHF后模型是否准确对齐人类偏好,从而提升LLM安全性。
2025-09-19 cs.LG
Gender bias across LLMs is common and highly heterogeneous
University of Milan-Bicocca(米兰比可卡大学)
本研究通过两项实验评估十个LLM的性别偏见,发现偏见普遍存在但方向和程度高度异质,强调偏见审计需持续进行并覆盖多供应商。
2026-10-01 cs.AI cs.CL cs.CY
Generating Constructive Feedback on Stories via Reinforcement Learning
Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
该研究针对LLM生成反馈泛化、缺乏可操作性的问题,提出基于GRPO强化学习的方法,在三个故事语料库评估中优于Gemini等模型,证实可操作建议是反馈建设性的核心驱动。
2026-09-07 cs.CL
Methodological reflections for AI alignment research using human feedback
University of Tuebingen(蒂宾根大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
人工智能(AI)对齐领域旨在调查AI技术是否符合人类的利益和价值观,并以安全和道德的方式运行。AI对齐对于大语言模型(LLM)尤其重要,因为它们有能力以难以预测的方式学习和适应,因此有可能表现出意想不到的行为。在本文中,我们讨论的对齐问题的方法挑战,特别是在LLM训练总结文本的背景下。特别是,我们专注于收集可靠的人类反馈的总结训练的奖励模型,从而提高了总结模型的方法。最后,我们提出了具体的改进实验设计的比对研究LLM的总结能力。
2022-12-22 cs.AI cs.CL cs.HC
A Survey on Feedback-based Multi-step Reasoning for Large Language Models on Mathematics
Santa Clara University(圣克拉拉大学)
本文综述了基于步骤级与结果级反馈增强大语言模型多步数学推理的各类策略,涵盖基于训练与免训练的反馈方法,旨在为该领域研究奠定基础并推动后续发展。
2025-02-20 cs.AI cs.CL
BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences?
ANITI, Université de Toulouse(图卢兹大学ANITI);LINAGORA Labs(LINAGORA实验室)
该研究通过迷宫求解实验和BODHI-Trees分析,发现RLVR训练的LLMs存在策略熵崩溃,其采样效率提升以推理分支多样性下降为代价。
2026-08-05 cs.AI cs.CL
Homogeneous Keys, Heterogeneous Values: Exploiting Local KV Cache Asymmetry for Long-Context LLMs
MoE Key Laboratory of Interdisciplinary Research of Computation and Economics(交叉计算与经济学 interdisciplinary 研究联合实验室);Shanghai University of Finance and Economics(上海财经大学)
本文揭示KV缓存中键同质、值异质的不对称性,提出免训练压缩框架AsymKV,结合键合并与无损值压缩,在长上下文任务上显著超越现有方法。
2025-11-06 cs.CL