Improving Narrative Classification and Explanation via Fine Tuned Language Models
针对传统NLP难检测隐性叙事的问题，本研究提出微调BERT结合GPT-4o优化的多标签叙事分类方法，以及带辅助知识库的ReACT少样本解释框架，提升了分类准确率与解释可靠性，可应用于多领域。
2025-09-04 cs.CL
What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception
University of Pennsylvania（宾夕法尼亚大学）
本文研究问答模型解释理由的呈现格式如何影响用户反馈效果与用户理解信任，通过两项用户研究发现理由格式显著影响反馈难易度和模型执行反馈的效果，且带上下文归因和深入推理的格式更能提升用户理解与信任。
2024-04-02 cs.CL
Using Interactive Feedback to Improve the Accuracy and Explainability of Question Answering Systems Post-Deployment
Mila（米拉研究所）；McGill University（麦吉尔大学）；University of California, Los Angeles（加州大学洛杉矶分校）
大多数关于问答的研究集中在部署前阶段;即，建立一个精确的部署模型。在本文中，我们提出了这样一个问题：我们能否进一步改进QA系统，基于用户交互的\emph{post-}部署？我们关注两种改进：1）改进QA系统本身的性能，2）为模型提供解释答案正确性或不正确性的能力。我们收集了一个基于检索的QA数据集FeedbackQA，其中包含来自用户的交互式反馈。我们通过向众包工作者部署一个基本的QA系统来收集这个数据集，然后众包工作者与系统进行互动，并提供关于其答案质量的反馈。反馈包含结构化评级和非结构化自然语言解释。我们用这些反馈数据训练一个神经模型，它可以生成解释并对候选答案重新评分。我们表明，反馈数据不仅提高了部署的QA系统的准确性，而且其他更强大的非部署系统。生成的解释还可以帮助用户对答案的正确性做出明智的决定。项目页面：https://mcgill-nlp.github.io/feedbackqa/
2022-04-06 cs.CL
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)（巴斯克地区大学（UPV/EHU））；New York University (NYU)（纽约大学（NYU））
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会，但几乎没有证据表明其可行性。在大多数应用程序中，用户无法向系统提供正确的答案，但他们能够提供二进制（正确，不正确）反馈。在本文中，我们提出了反馈加权学习的基础上重要性采样，以改善初始监督系统使用二进制用户反馈。我们对文档分类（用于开发）和会话问答数据集（如QuAC和DoQA）进行模拟实验，其中二进制用户反馈来自黄金注释。结果表明，我们的方法能够改进初始监督系统，接近完全监督系统，在域内实验（QuAC）中可以访问相同的标记示例，甚至在域外实验（DoQA）中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Tell Model Where to Attend: Improving Interpretability of Aspect-Based Sentiment Classification via Small Explanation Annotations
East China Normal University（华东师范大学）
基于语义的解释方法在解释NLP模型的复杂深层神经网络领域发挥着重要作用。然而，现有的研究表明，模型的梯度是不稳定的，容易操纵，这在很大程度上影响了模型的可靠性。根据我们的初步分析，我们还发现基于梯度的方法的可解释性是有限的复杂任务，如基于方面的情感分类（ABSC）。在本文中，我们提出了一个\textbf{I}解释- \textbf{E}增强的\textbf{G}辐射为基础的框架，\textbf{A} BSC通过少量的解释注释，即\texttt{IEGA}。特别地，我们首先计算基于梯度的词级显著性图，以测量句子中的词对给定方面的重要性。然后，我们设计了一个梯度校正模块，以增强模型对正确部分的注意力（例如，意见的话）。我们的模型是模型不可知和任务不可知，使它可以集成到现有的ABSC方法或其他任务。在四个基准数据集上的综合实验结果表明，我们的\texttt{IEGA}不仅可以提高模型的可解释性，而且性能和鲁棒性。
2023-02-21 cs.CL
e-SNLI: Natural Language Inference with Natural Language Explanations
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）；DeepMind（深度思维）
为了使机器学习获得广泛的公众采用，模型必须能够为其决策提供可解释和强大的解释，并在训练时从人类提供的解释中学习。在这项工作中，我们扩展了斯坦福大学的自然语言推理数据集与人类注释的自然语言解释的蕴涵关系的附加层。我们进一步实现了将这些解释纳入其训练过程并在测试时输出的模型。我们展示了我们的解释语料库（我们称之为e-SNLI）如何用于各种目标，例如获得模型决策的完整句子理由，改进通用句子表示以及转移到域外NLI数据集。因此，我们的数据集为使用自然语言解释开辟了一系列研究方向，无论是为了改进模型还是为了维护它们的信任。
2018-12-06 cs.CL
Improving Low-Resource Sequence Labeling with Knowledge Fusion and Contextual Label Explanations
School of Computer Science, Peking University（北京大学计算机科学学院）；Institute of Computational Social Science, Peking University (Qingdao)（北京大学计算社会科学研究所）；College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院）
针对低资源特定领域中文序列标注的适用性不足与语义偏差问题，提出结合LLM知识增强工作流与KnowFREE模型的框架，通过上下文标签解释与扩展标签特征，实现了低资源场景下的最优性能。
2025-10-04 cs.CL
FiD-Ex: Improving Sequence-to-Sequence Models for Extractive Rationale Generation
Facebook AI（脸书人工智能研究院）；University of Washington（华盛顿大学）
模型预测的自然语言（NL）解释越来越受欢迎，作为理解和验证大型黑盒预训练模型所做决策的一种手段，用于问答（QA）和事实验证等NLP任务。最近，预先训练的序列到序列（seq 2seq）模型已被证明在联合进行预测以及生成NL解释方面非常有效。然而，这些模型有许多缺点：它们甚至可以为不正确的预测编造解释，它们难以适应长输入文档，并且它们的训练需要大量的标记数据。在本文中，我们开发了FiD-Ex，它通过以下方式解决了seq 2seq模型的这些缺点：1）引入句子标记以通过鼓励提取生成来消除解释制造，2）使用解码器中的融合架构来处理长输入上下文，以及3）对重新结构化的开放域QA数据集进行中间微调以提高Few-Shot性能。FiD-Ex在解释指标和任务准确性方面显著改善了先前的工作，无论是在完全监督和Few-Shot设置中，还是在ERASER可解释性基准的多个任务上。
2020-12-31 cs.CL
Improving In-Context Learning with Prediction Feedback for Sentiment Analysis
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）；SIAT, Chinese Academy of Science（中国科学院深圳先进技术研究院）；The 30th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第三十研究所）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory, Shenzhen（鹏城实验室（深圳））
本文提出一种结合先验预测和反馈的框架，通过获取LLMs预测、设计基于正确性的反馈并利用反馈驱动提示，有效纠正情感误解，在九个数据集上平均F1提升5.95%。
2024-06-05 cs.CL
RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Jilin University（吉林大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出RewardExplainer框架，通过反事实反馈训练可复用的奖励模型解释器，生成可干预的自然语言评分机制，提升解释忠实度并用于识别偏见和去偏，增强模型鲁棒性。
2026-09-29 cs.CL cs.LG
Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code
Yonsei University（延世大学）；Seoul National University（首尔大学）
Coffee-Gym 通过构建代码编辑反馈数据集 Coffee 和奖励函数 CoffeeEval，解决了 RL 训练反馈模型缺乏高质量数据和准确奖励的问题，训练出的反馈模型能显著提升开源代码 LLM 的编辑性能，达到接近闭源模型的水平。
2024-10-04 cs.CL
A Necessary Step toward Faithfulness: Measuring and Improving Consistency in Free-Text Explanations
University of Maryland College Park（马里兰大学学院市）
本文扩展证据权重提出 PEX 一致性度量，发现大模型超 62% 的自由文本解释缺乏该一致性，并通过直接偏好优化在三个模型系列上将其提升 43.1%–292.3%，且忠实性最高提升 9.7%。
2025-09-28 cs.AI cs.CL
Learning New Skills after Deployment: Improving open-domain internet-driven dialogue with human feedback
Meta AI；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
被训练来模仿静态数据集的冻结模型永远无法提高它们的性能。可以使用互联网检索最新信息并在部署期间从人类获得反馈的模型提供了适应新信息并提高其性能的承诺。在这项工作中，我们研究如何提高互联网驱动的会话技能，在这样的学习框架。我们收集部署数据，这些数据是我们公开提供的人类交互数据，并收集各种类型的人类反馈-包括二进制质量测量，自由形式的文本反馈和细粒度的失败原因。然后，我们研究了各种算法，以改善从这样的反馈，包括标准的监督学习，拒绝采样，模型指导和奖励为基础的学习，以便提出建议，哪种类型的反馈和算法最好的工作。我们发现最近引入的Director模型（Arora等人，’22）显示了对其他现有方法的显著改进。
2022-08-16 cs.AI cs.CL
RE$^2$: Improving Chinese Grammatical Error Correction via Retrieving Appropriate Examples with Explanation
Research Center for SCIR, Harbin Institute of Technology（SCIR研究中心，哈尔滨工业大学）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（认知智能国家重点实验室，iFLYTEK研究院）；Artificial Intelligence and Human Language Lab, Beijing Foreign Studies University（人工智能与语言实验室，北京外国语大学）
针对基于文本相似度检索示例易与语法错误模式不匹配的问题，本文提出 RE²，利用语法错误解释选择参考示例以增强 LLM，并构建高质量 GEE 数据集，实验证明其可有效提升 CGEC 性能。
2025-09-30 cs.CL
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training
Microsoft Corporation（微软公司）
可控文本生成系统通常利用控制代码来指导输出的各种属性，如样式和长度。受NLP因果推理的启发，本文揭示了这些基于控制码的条件文本生成算法中以前被忽视的缺陷。训练数据中的虚假相关性会导致模型错误地依赖于输入的部分而不是控制代码来进行属性选择，从而显著破坏下游生成质量和可控性。我们通过一系列案例研究证明了这个问题的严重性，然后提出了两种简单的技术来减少训练集中的这些相关性。第一种技术是基于根据示例对每个语言属性（IPS）的倾向来重新排列数据。第二种方法产生每个例子的多个反事实版本，然后使用额外的反馈机制来去除噪声例子（反馈感知自我训练，FAST）。我们对3个任务进行了评估-新闻标题，元评论和搜索广告生成-并证明与最先进的可控文本生成方法相比，FAST可以显着提高生成输出的可控性和语言质量。
2022-10-06 cs.CL
Improving the Validity of Automatically Generated Feedback via Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi（伊迪科技）
针对智能辅导中LLM生成数学反馈的正确性与教学有效性不足问题，提出数学反馈评估 rubric 及基于RL、DPO的反馈生成框架，显著提升了Llama 2生成反馈的质量。
2024-12-12 cs.CL
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University（耶鲁大学）；Microsoft Research（微软研究院）
本研究提出利用自然语言信息反馈改善摘要事实一致性，构建DeFacto数据集，通过微调语言模型在编辑、反馈生成和修正任务中提升性能，而大型语言模型零样本能力不足。
2023-10-16 cs.CL
Continually Improving Extractive QA via Human Feedback
Cornell University（康奈尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究设计部署迭代方法，通过人类用户反馈持续改进抽取式QA系统，经数千次用户交互实验验证，该方法在不同数据模式下均有效，且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
A scalable framework for learning from implicit user feedback to improve natural language understanding in large-scale conversational AI systems
自然语言理解（NLU）是对话AI或数字助理系统中的一个既定组件，负责产生对用户请求的语义理解。我们提出了一种可扩展的自动方法，通过利用隐式用户反馈来改善大规模会话AI系统中的NLU，并洞察到用户交互数据和对话上下文具有丰富的嵌入式信息，可以从中推断用户满意度和意图。特别是，我们提出了一个通用的领域不可知框架，用于管理新的监督数据，以改善来自实时生产流量的NLU。通过一组广泛的实验，我们展示了应用该框架和改进大规模生产系统的NLU的结果，并展示了其在10个领域的影响。
2021-09-10 cs.CL
ICLEF: In-Context Learning with Expert Feedback for Explainable Style Transfer
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
本文提出 ICLEF 方法，通过结合上下文学习与模型自我批判来整合稀缺专家反馈，用于生成高质量可解释风格迁移数据集，使微调后的学生模型在可解释风格迁移任务中优于或媲美教师模型。
2024-06-17 cs.CL
InterFair: Debiasing with Natural Language Feedback for Fair Interpretable Predictions
Allen Institute for AI（艾伦人工智能研究所）；University of San Diego（圣地亚哥大学）
提出InterFair框架，通过自然语言反馈与冻结预测模型交互，在保持或提升任务性能的同时有效缓解模型偏差，实现公平且可解释的预测。
2023-10-23 cs.CL
Improving Language Models via Plug-and-Play Retrieval Feedback
University of Notre Dame（圣母大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出即插即用的检索反馈流水线ReFeed，通过检索文档信息优化初始输出以解决LLMs幻觉问题，无需微调即在四个基准上实现零样本+6.0%、少样本+2.5%的提升。
2023-05-23 cs.CL
How Well Can You Articulate that Idea? Insights from Automated Formative Assessment
Pennsylvania State University（宾夕法尼亚州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究探讨自动化形成性评价中影响反馈准确性的两个因素：主要想法的解释自由度差异及学生陈述清晰度不足的诊断，为教师和同伴提供帮助学生更清晰表达想法的机会。
2024-04-17 cs.CL
ZARA: Improving Few-Shot Self-Rationalization for Small Language Models
National Taiwan University（国立台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）
针对小型语言模型难以利用解释进行少样本自理性化的问题，提出ZARA方法，通过将合理性判断转化为自然语言推理自动构建伪并行数据，在FEB基准上达到SOTA性能。
2023-10-23 cs.CL
Improving Medical Communication using Rubric-Guided Counterfactual Recommendations
IDSIA, Dalle Molle Institute for Artificial Intelligence（IDSIA，达勒莫利人工智能研究所）；National University of Science and Technology POLITEHNICA Bucharest（科学与技术国家大学POLITEHNICA布加勒斯特）
提出一种语言模型引导的反事实推荐流程，通过调整语气、个性化等可解释沟通特征，在不影响医学内容的前提下提升患者积极反馈概率，平均提升6.41%。
2026-06-18 cs.CL
Training Dialogue Systems by AI Feedback for Improving Overall Dialogue Impression
Nara Institute of Science and Technology（奈良科学技术大学）；RIKEN（理化学研究所）；NTT Communication Science Laboratories（NTT通信科学研究所）；Institute of Science Tokyo（东京科学大学）
本研究提出利用监督微调LLM构建12个对话印象指标的奖励模型，并通过RLAIF微调对话模型，有效提升了对话回应的自然度及整体印象。
2025-01-25 cs.CL
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.（亚马逊公司）
电子商务商店收集客户反馈，让卖家了解客户关注的问题，提升客户订单体验。由于客户反馈通常包含冗余信息，因此可以生成反馈的简明摘要，以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误，即错误的实体检测（WED）和错误的产品缺陷描述（IPD）。在这项工作中，我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据，并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项，以便模型学习避免某些事实错误。评估结果表明，大部分的WED和IPD错误减轻BART和T5。此外，我们的方法不依赖于结构的摘要模型，因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback
University of Edinburgh（爱丁堡大学）；Allen Institute for AI（艾伦人工智能研究所）
研究多个LLM在谈判博弈中通过自我博弈、反思和AI反馈自主改进的能力，发现仅部分较强模型能利用反馈迭代提升谈判价格，但多轮博弈中面临更高破坏交易的风险。
2023-05-17 cs.CL
Self-AMPLIFY: Improving Small Language Models with Self Post Hoc Explanations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Ekimetrics（埃基梅特里克斯公司）
提出 Self-AMPLIFY，通过事后解释方法从小型语言模型自动生成理由并结合 ICL，在四个模型和五个推理数据集上显著提升准确率。
2024-06-17 cs.CL cs.LG
Faithfulness vs. Plausibility: On the (Un)Reliability of Explanations from Large Language Models
Harvard University（哈佛大学）
本文探讨LLM自我解释中忠实性与合理性的矛盾，指出追求合理性可能损害忠实性，并呼吁开发新方法提升高风险场景下解释的可靠性。
2024-03-14 cs.CL
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Exploring Iterative Enhancement for Improving Learnersourced Multiple-Choice Question Explanations with Large Language Models
Xtracta（埃克斯特拉克塔公司）；School of Computer Science, University of Auckland（奥克兰大学计算机科学学院）；School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Life and Environmental Sciences, University of Sydney（悉尼大学生命与环境科学学院）
针对学习者众包多项选择题时学生难以写出优质解析的问题，提出含生成与评估模块的ILearner-LLM框架，通过迭代反馈评分增强大模型解析质量，实验验证其在多模型、多数据集上效果更贴近学生创作，助力教育场景大模型应用。
2025-01-17 cs.AI cs.CL
MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language Models
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本文提出 Multi-Aspect Feedback 迭代精炼框架，通过集成多个专注特定错误类别的反馈模块（含冻结LM和外部工具），有效解决LM推理链中的多种错误，在数学推理和逻辑蕴含任务上分别实现高达20%和18%的相对提升。
2023-10-19 cs.AI cs.CL
An Iterative Feedback Mechanism for Improving Natural Language Class Descriptions in Open-Vocabulary Object Detection
The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
针对开放词汇目标检测中非技术用户的自然语言类别描述优化需求，提出结合文本嵌入分析与对比样本嵌入组合的迭代反馈机制，经多个公开模型验证可量化提升检测性能。
2025-03-21 cs.CL cs.CV
Improving Contrastive Learning of Sentence Embeddings from AI Feedback
Fudan University（复旦大学）
本文提出CLAIF方法，利用大型预训练语言模型的AI反馈构建带细粒度相似度分数的样本对，并结合人类反馈提供监督信号，显著提升了句子嵌入对比学习在语义文本相似性等任务上的性能。
2023-05-20 cs.AI cs.CL
FLamE: Few-shot Learning from Natural Language Explanations
University of Chicago（芝加哥大学）
针对自然语言解释提升分类效果有限的问题，提出两阶段少样本学习框架FLamE，先通过GPT-3生成解释再微调小模型，在e-SNLI上准确率显著提升，并揭示生成解释中标签特定线索的重要作用。
2023-06-13 cs.AI cs.CL
Talk Less, Verify More: Improving LLM Assistants with Semantic Checks and Execution Feedback
National University of Singapore（新加坡国立大学）
本文提出Q*和Feedback+两种验证技术，通过语义检查和执行反馈提升LLM助手的输出准确性与可靠性。
2026-01-07 cs.CL cs.SE
Explanation-Based Human Debugging of NLP Models: A Survey
Imperial College London（伦敦帝国学院）
机器学习模型是困难的，因为错误通常涉及训练数据和学习过程。对于一个不透明的深度学习模型来说，如果我们不知道模型实际上是如何工作的，这就变得更加困难了。在本调查中，我们回顾了利用解释使人类能够提供反馈和调试NLP模型的论文。我们把这个问题称为基于解释的人工调试（EBHD）。特别是，我们分类和讨论现有的工作沿EBHD的三个方面（错误的背景下，工作流程和实验设置），编译EBHD组件如何影响反馈提供者的调查结果，并突出开放的问题，可能是未来的研究方向。
2021-12-10 cs.AI cs.CL cs.HC
Cross-Refine: Improving Natural Language Explanation Generation by Learning in Tandem
Technische Universität Berlin（柏林工业大学）；Saarland Informatics Campus（萨尔兰信息学园区）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对LLM首次生成的自然语言解释（NLEs）非最优问题，提出无需监督数据的Cross-Refine方法，通过生成器-评论家双LLM角色建模协同优化NLEs，在多任务、多模型上优于Self-Refine，弱LLM也适用且验证了反馈与建议的作用。
2024-12-02 cs.CL cs.LG
Improving Image Captioning by Mimicking Human Reformulation Feedback at Inference-time
School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
本文提出在推理阶段利用人工描述改写反馈训练改写模型，以修正图像描述错误并实现风格迁移，在德语描述和英语风格迁移上达到SOTA。
2025-01-08 cs.CL cs.CV
Leveraging Human Revisions for Improving Text-to-Layout Models
Google Research（谷歌研究院）
本文提出利用专家设计师对生成布局的修订作为细致反馈，训练奖励模型并结合强化学习优化文本到布局模型，以生成更现代、更符合设计师意图的布局。
2024-05-16 cs.AI cs.CL
Towards Exploiting Implicit Human Feedback for Improving RDF2vec Embeddings
University of Mannheim（曼海姆大学）
RDF2vec是一种用于从RDF知识图谱创建向量空间嵌入的技术，即，将图中的每个实体表示为向量。它首先通过在图上执行随机游走来创建节点序列。在第二步中，这些序列由word2vec算法处理，以创建实际的嵌入。在本文中，我们探讨了使用外部边缘权重引导随机游动。作为边缘权重，维基百科中页面之间的转移概率被用作边缘重要性的人类反馈的代理。我们表明，在某些情况下，RDF2vec利用这些转移概率可以优于RDF2vec的基础上随机游走，以及使用图的内部边缘权重。
2020-04-09 cs.AI cs.CL cs.LG
IMBUE: Improving Interpersonal Effectiveness through Simulation and Just-in-time Feedback with Human-Language Model Interaction
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
IMBUE系统基于DBT的DEAR MAN框架，利用语言模型模拟沟通训练并提供即时反馈，首次同时提升沟通技能与情绪管理，实验证明其能显著增强自我效能、减少负面情绪并提高技能掌握度。
2024-02-19 cs.CL cs.HC
Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback
通过序列到序列奖励建模方法改进RLHF，提升LLMs对齐人类意图的性能。
2025-12-24 cs.AI cs.CL
Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯 AI 实验室）
本文探索将质量估计模型用作奖励模型以利用人类反馈改进机器翻译，针对过度优化问题提出启发式惩罚方法，实验显示该方法显著提升翻译质量且数据效率高。
2024-03-18 cs.AI cs.CL
Mismatch Quest: Visual and Textual Feedback for Image-Text Misalignment
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出一种利用大型语言模型和视觉基础模型自动构建训练数据的方法，微调视觉语言模型以精确定位并解释图像-文本错配，在分类和解释任务上超越强基线，并发布人工标注测试集。
2024-07-17 cs.CL cs.CV
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
诸如ChatGPT之类的大语言模型（LLM）能够为许多下游任务生成类似人类的流畅响应，例如，以任务为导向的对话和问答。然而，将LLM应用于现实世界的关键任务应用程序仍然具有挑战性，主要是因为它们倾向于产生幻觉，并且无法使用外部知识。本文提出了一种LLM增强器系统，它增加了一组即插即用模块的黑盒LLM。我们的系统使LLM生成基于外部知识的响应，例如，存储在特定任务的数据库中。它还迭代地修改LLM提示，以使用由效用函数生成的反馈来改善模型响应，例如，LLM生成的响应的真实性得分。LLM-Augmenter的有效性进行了实证验证两种类型的场景，面向任务的对话和开放域问答。LLM-Augmenter可以显着减少ChatGPT的幻觉，同时又不牺牲其响应的流畅性和信息量。我们公开源代码和模型。
2023-03-08 cs.AI cs.CL
TopicImpact: Improving Customer Feedback Analysis with Opinion Units for Topic Modeling and Star-Rating Prediction
Department of Computing Science Umeå University（计算科学系乌梅大学）
本文提出TopicImpact系统，通过将客户评论重构为意见单元来改进主题建模，并结合主题与情感模态提升星级评分预测的准确性和可解释性。
2025-07-16 cs.AI cs.CL
SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback
Georgia Institute of Technology（佐治亚理工学院）
SYNDICOM通过构建含无效响应及自然语言反馈的常识对话数据集，并采用先预测反馈再条件生成响应的两步训练方法，在不使用强化学习的情况下显著提升了对话系统的常识推理能力，在ROUGE1上比ChatGPT相对提升53%。
2023-09-18 cs.AI cs.CL cs.LG
Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback
The University of Tokyo（东京大学）
本文提出利用半结构化关系元组表示大型语言模型推理步骤，结合本地代码解释器自动验证与动态反馈机制，有效提升了模型在算术数据集上的推理能力。
2024-06-25 cs.AI cs.CL
The Gift of Feedback: Improving ASR Model Quality by Learning from User Corrections through Federated Learning
Google LLC（谷歌公司）
本文提出通过联邦学习持续利用设备端用户纠正来更新 ASR 模型，重点学习新术语和长尾词并缓解灾难性遗忘，实验证明可在保持整体语言质量的同时提升对新术语的识别能力。
2023-11-30 cs.CL eess.AS
EffiPair: Improving the Efficiency of LLM-generated Code with Differential Execution Feedback
Columbia University（哥伦比亚大学）
本文提出EffiPair框架，通过相对对比反馈机制在测试时迭代优化代码效率，减少性能反馈开销，实验证明其在代码效率提升方面优于传统方法。
2026-09-29 cs.AI cs.CL cs.LG
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题，提出反馈驱动的蒸馏框架，通过按难度分类生成变体问题并进行多轮迭代蒸馏，使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
