Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback
通过序列到序列奖励建模方法改进RLHF,提升LLMs对齐人类意图的性能。
2025-12-24 cs.AI cs.CL
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学)
诸如ChatGPT之类的大语言模型(LLM)能够为许多下游任务生成类似人类的流畅响应,例如,以任务为导向的对话和问答。然而,将LLM应用于现实世界的关键任务应用程序仍然具有挑战性,主要是因为它们倾向于产生幻觉,并且无法使用外部知识。本文提出了一种LLM增强器系统,它增加了一组即插即用模块的黑盒LLM。我们的系统使LLM生成基于外部知识的响应,例如,存储在特定任务的数据库中。它还迭代地修改LLM提示,以使用由效用函数生成的反馈来改善模型响应,例如,LLM生成的响应的真实性得分。LLM-Augmenter的有效性进行了实证验证两种类型的场景,面向任务的对话和开放域问答。LLM-Augmenter可以显着减少ChatGPT的幻觉,同时又不牺牲其响应的流畅性和信息量。我们公开源代码和模型。
2023-03-08 cs.AI cs.CL
TopicImpact: Improving Customer Feedback Analysis with Opinion Units for Topic Modeling and Star-Rating Prediction
Department of Computing Science Umeå University(计算科学系乌梅大学)
本文提出TopicImpact系统,通过将客户评论重构为意见单元来改进主题建模,并结合主题与情感模态提升星级评分预测的准确性和可解释性。
2025-07-16 cs.AI cs.CL
Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback
The University of Tokyo(东京大学)
本文提出利用半结构化关系元组表示大型语言模型推理步骤,结合本地代码解释器自动验证与动态反馈机制,有效提升了模型在算术数据集上的推理能力。
2024-06-25 cs.AI cs.CL
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题,提出反馈驱动的蒸馏框架,通过按难度分类生成变体问题并进行多轮迭代蒸馏,使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards
Fudan University(复旦大学);ByteDance Research(字节跳动研究院);Northwestern University(西北大学)
本文提出对比奖励方法,通过在奖励中引入惩罚项来改进RLHF,提高奖励模型鲁棒性,并在PPO中减少方差,经实验验证优于强基线。
2024-03-14 cs.AI cs.CL
DUAL-REFLECT: Enhancing Large Language Models for Reflective Translation through Dual Learning Feedback Mechanisms
Pengcheng Laboratory(鹏城实验室);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
针对现有大语言模型自反思翻译方法缺乏有效反馈的问题,提出DUAL-REFLECT框架,借助翻译任务对偶学习提供反馈以增强自反思能力,可提升翻译准确率、消除歧义,在低资源语言对翻译中效果显著。
2024-06-21 cs.AI cs.CL
SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback
Georgia Institute of Technology(佐治亚理工学院)
SYNDICOM通过构建含无效响应及自然语言反馈的常识对话数据集,并采用先预测反馈再条件生成响应的两步训练方法,在不使用强化学习的情况下显著提升了对话系统的常识推理能力,在ROUGE1上比ChatGPT相对提升53%。
2023-09-18 cs.AI cs.CL cs.LG
Mission Impossible: Feedback-Guided Dynamic Interactive Planning for Improving Reasoning on LLMs
Central South University(中南大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
针对语言智能体在开放域多跳推理中依赖固定动作序列的局限,提出 FGDIP 框架,结合历史错误分析、实时反馈与深度优先搜索动态生成推理节点,在 HotpotQA 和 StrategyQA 上分别超越最佳基线 5.03% 和 7.25%。
2025-10-07 cs.AI cs.CL
CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback
Pennsylvania State University(宾夕法尼亚州立大学)
针对大语言模型在语码混合翻译上的不足,提出CHAI框架,利用LLM标注、RLAIF及领域知识宪法,使模型在CM翻译任务上平均胜率提升68.45%。
2026-09-15 cs.AI cs.CL cs.LG
Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models
Alibaba Inc.(阿里巴巴集团);Qwen Team(通义千问团队)
本文提出AutoIF方法,通过将指令遵循数据质量验证转化为代码验证并利用执行反馈生成训练数据,显著提升了Qwen2和LLaMA3在SFT、离线DPO和在线DPO下的指令遵循能力。
2024-07-18 cs.AI cs.CL cs.LG
Improving In-Context Learning with Prediction Feedback for Sentiment Analysis
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);SIAT, Chinese Academy of Science(中国科学院深圳先进技术研究院);The 30th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第三十研究所);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory, Shenzhen(鹏城实验室(深圳))
本文提出一种结合先验预测和反馈的框架,通过获取LLMs预测、设计基于正确性的反馈并利用反馈驱动提示,有效纠正情感误解,在九个数据集上平均F1提升5.95%。
2024-06-05 cs.CL
Coffee-Gym: An Environment for Evaluating and Improving Natural Language Feedback on Erroneous Code
Yonsei University(延世大学);Seoul National University(首尔大学)
Coffee-Gym 通过构建代码编辑反馈数据集 Coffee 和奖励函数 CoffeeEval,解决了 RL 训练反馈模型缺乏高质量数据和准确奖励的问题,训练出的反馈模型能显著提升开源代码 LLM 的编辑性能,达到接近闭源模型的水平。
2024-10-04 cs.CL
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对 RLHF 中奖励模型预测不准的问题,本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法,并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Improving Classification Performance With Human Feedback: Label a few, we label the rest
本文研究少样本与主动学习中的人类反馈机制,利用GPT-3.5、BERT和SetFit通过持续少量标注迭代提升文本分类准确率、召回率与精确率,并在五个数据集上超越零样本LLM。
2024-01-17 cs.AI cs.CL cs.LG
Improving Code Generation by Training with Natural Language Feedback
New York University(纽约大学);FAR AI;University of Sussex(萨塞克斯大学);University of the Basque Country UPV/EHU(巴斯克大学 UPV/EHU);Genentech(基因泰克);CIFAR LMB(加拿大高级研究院 LMB);Anthropic
本文提出语言反馈模仿学习(ILF),在训练时利用少量人工自然语言反馈改进代码生成,使 Codegen-Mono 6.1B 在 MBPP 上 pass@1 相对提升 38%,优于仅基于示范的微调方法。
2024-02-22 cs.AI cs.CL cs.LG
EffiPair: Improving the Efficiency of LLM-generated Code with Differential Execution Feedback
Columbia University(哥伦比亚大学)
本文提出EffiPair框架,通过相对对比反馈机制在测试时迭代优化代码效率,减少性能反馈开销,实验证明其在代码效率提升方面优于传统方法。
2026-09-29 cs.AI cs.CL cs.LG
Improving Summarization with Human Edits
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Abridge AI Inc.(Abridge AI公司)
本文提出SALT,将人工编辑与模型生成文本共同纳入序列对齐似然/非似然训练,并用模仿编辑降低数据成本,在医学摘要上优于DPO。
2025-01-05 cs.AI cs.CL cs.LG
Improving the Validity of Automatically Generated Feedback via Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Eedi(伊迪科技)
针对智能辅导中LLM生成数学反馈的正确性与教学有效性不足问题,提出数学反馈评估 rubric 及基于RL、DPO的反馈生成框架,显著提升了Llama 2生成反馈的质量。
2024-12-12 cs.CL
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出GELI方法,利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励,学习轮次级奖励模型并应用于RHLF流程,有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Improving Language Models via Plug-and-Play Retrieval Feedback
University of Notre Dame(圣母大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出即插即用的检索反馈流水线ReFeed,通过检索文档信息优化初始输出以解决LLMs幻觉问题,无需微调即在四个基准上实现零样本+6.0%、少样本+2.5%的提升。
2023-05-23 cs.CL
Improving Interactive In-Context Learning from Natural Language Feedback
Google DeepMind(谷歌DeepMind)
本研究提出一种框架,通过自然语言反馈提升模型交互式上下文学习能力,使模型在多轮交互中表现更优,并具备自我纠正能力。
2026-02-17 cs.AI
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
University of Science and Technology of China(中国科学技术大学);Shenzhen University(深圳大学)
本文提出VFLM模型,通过视觉反馈迭代优化文本布局,提升生成质量,实验表明其优于现有方法。
2026-03-23 cs.AI cs.CV
Talk Less, Verify More: Improving LLM Assistants with Semantic Checks and Execution Feedback
National University of Singapore(新加坡国立大学)
本文提出Q*和Feedback+两种验证技术,通过语义检查和执行反馈提升LLM助手的输出准确性与可靠性。
2026-01-07 cs.CL cs.SE
Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback
University of Edinburgh(爱丁堡大学);Allen Institute for AI(艾伦人工智能研究所)
研究多个LLM在谈判博弈中通过自我博弈、反思和AI反馈自主改进的能力,发现仅部分较强模型能利用反馈迭代提升谈判价格,但多轮博弈中面临更高破坏交易的风险。
2023-05-17 cs.CL
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University(国立台湾大学);Amazon(亚马逊)
研究文本到音频指令跟随问题,提出用音频感知大语言模型作细粒度评判器的框架,经验证后用其反馈构建偏好对优化,引入S3Bench基准,实验证明该方法能提升事件完整性、时间排序和指令跟随准确性,且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
Chain-of-Ground: Improving GUI Grounding via Iterative Reasoning and Reference Feedback
University College London(伦敦大学学院);Chico Future AI Lab(芝加哥未来人工智能实验室);The University of Hong Kong(香港大学);Princeton University(普林斯顿大学)
Chain-of-Ground通过迭代推理和参考反馈提升GUI定位,实现68.4的准确率,并在现实世界界面中表现优异。
2025-12-01 cs.AI cs.CL cs.CV
PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback
The Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce研究院)
针对LLM生成代码仅关注功能正确性而缺乏效率优化的问题,提出无需训练的PerfCodeGen框架,通过执行时运行时间反馈优化代码,在更多问题上实现加速,开源模型效率媲美闭源模型,基准测试性能超越参考方案。
2024-11-18 cs.AI cs.CL cs.PL
Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback
SKL-IOTSC, CIS, University of Macau(SKL-IOTSC、CIS、澳门大学)
本文提出UMed-LVLM及MAU数据集,通过异常感知指令微调和异常感知奖励训练,显著提升医学图像异常检测与理解能力,较基线提升58%。
2025-06-02 cs.AI cs.CL cs.CV
SeqFeed: Improving Agentic RTL Code Generation with Sequential Behavior Feedback
City University of Hong Kong(香港城市大学);Southeast University(东南大学);National Center of Technology Innovation for EDA(国家EDA技术创新中心)
针对智能体RTL代码生成的时序信息传递难题,本研究提出含SeQuery和SeGraph机制的SeqFeed,通过满足三项反馈要求提升LLM的RTL代码生成通过率。
2026-08-20 cs.AR cs.CL
LLMLOOP: Improving LLM-Generated Code and Tests through Automated Iterative Feedback Loops
King's College London(伦敦国王学院)
LLMLOOP通过自动化迭代反馈循环提升大语言模型生成的代码和测试质量,通过五种循环解决编译错误、静态分析问题、测试失败和测试质量改进,验证了其在HUMANEVAL-X基准上的有效性。
2026-03-24 cs.AI cs.SE
LLUMI: Improving LLM Writing Assistance for Mental Health Support with Online Community Feedback
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
提出LLUMI框架,通过在线社区反馈(如Reddit投票)构建偏好对,结合监督微调和直接偏好优化训练开源小模型,在隐私保护下实现与GPT相当的心理健康支持性能。
2026-09-09 cs.AI cs.CL cs.CY
Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback
Google DeepMind(谷歌DeepMind);The University of Tokyo(东京大学);Stanford University(斯坦福大学)
本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量,提出利用视觉语言模型提供针对性反馈,实验表明该方法在视频交互场景质量上有显著提升。
2026-04-17 cs.AI cs.CV cs.LG
Improving Parallel Program Performance with LLM Optimizers via Agent-System Interfaces
Stanford University(斯坦福大学);Intel(英特尔);NVIDIA(英伟达);Nanjing University(南京大学)
提出基于Agent-System Interface的生成式优化框架,利用DSL和AutoGuide机制将低级系统代码抽象为结构化搜索空间并提供可操作反馈,仅需10次迭代即超越OpenTuner 1000次迭代的效果,在9个基准上最高提速1.34倍,将调优时间从数天降至数分钟。
2025-05-30 cs.AI cs.CL cs.DC
Integrating Physician Diagnostic Logic into Large Language Models: Preference Learning from Process Feedback
School of Computer Science, Peking University(北京大学计算机学院);Key Laboratory of High Confidence Software Technologies(PKU), MOE, China(教育部高可信软件技术重点实验室);Beijing Jiaotong University(北京交通大学)
本文提出 PLPF 方法,通过规则建模、偏好数据生成与偏好对齐将医生诊断逻辑融入 LLM,显著提升多轮及单轮医疗对话的诊断准确率。
2024-08-03 cs.CL
CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis
Temple University(Temple大学)
本文提出CentaurTA Studio,通过人机协作提升主题分析效率,实现高准确率和可靠评估,验证了反馈循环和持续优化的重要性。
2026-03-18 cs.AI cs.HC
Improving Reward Models with Synthetic Critiques
University of Oxford(牛津大学);Cohere(科here公司)
本文提出利用大语言模型生成的合成自然语言批评为奖励模型提供额外反馈,以提升其性能、数据效率、可解释性和鲁棒性,并减少对昂贵人工标注的依赖。
2024-10-18 cs.CL
CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning
Department of Electronic Engineering, Kyung Hee University(韩国庆熙大学电子工程系);School of Computer Science and Engineering, University of Electronic Science and Technology of China(中国电子科技大学计算机科学与工程学院);Henan Polytechnic University(河南理工大学);School of Computing, Kyung Hee University(韩国庆熙大学计算机学院)
CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性,通过生成候选推理链、构造有缺陷的链并对比反馈,优化推理过程。
2026-07-07 cs.AI
LongReward: Improving Long-context Large Language Models with AI Feedback
Zhipu AI(智谱AI);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 LongReward,用现成 LLM 从四维度评估长上下文响应并结合 DPO 进行离线强化学习,显著提升模型长上下文与短指令遵循能力。
2024-10-28 cs.CL cs.LG
Automatically Improving LLM-based Verilog Generation using EDA Tool Feedback
NYU Tandon School of Engineering(纽约大学坦登工程学院);University of New South Wales(新南威尔士大学)
提出开源框架 AutoChip,结合对话式 LLM 与 EDA 工具反馈迭代修复 Verilog 代码,相比零样本提示显著提升生成成功率并大幅降低成本。
2025-03-04 cs.AI cs.AR cs.PL
DxHF: Providing High-Quality Human Feedback for LLM Alignment via Interactive Decomposition
Aalto University(阿alto大学);ETH Zürich(苏黎世联邦理工学院);KTH Royal Institute of Technology(皇家理工学院)
本文提出交互式分解界面 DxHF,通过拆解、关联并视觉标注回复论断来降低长文本比较负担,实验显示其平均提升反馈准确率 5%,尤其改善低确定性用户的判断。
2025-07-24 cs.AI cs.HC
AlphaVerus: Bootstrapping Formally Verified Code Generation through Self-Improving Translation and Treefinement
Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型生成代码正确性无保障、形式化验证代码训练数据少的问题,提出含三阶段的自改进框架AlphaVerus,无需人工干预或微调即可让LLaMA-3.1-70B生成验证代码,为可信代码生成智能体奠基。
2024-12-09 cs.AI cs.LG
Yell At Your Robot: Improving On-the-Fly from Language Corrections
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出利用人类语言纠正来监督高级策略,使机器人能实时适应反馈并迭代改进,显著提升长时间跨度灵巧操作任务的性能,无需额外远程操作。
2024-03-19 cs.AI cs.LG cs.RO
Divide, Evaluate, and Refine: Evaluating and Improving Text-to-Image Alignment with Iterative VQA Feedback
The Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文提出将复杂提示词分解为独立断言、用 VQA 评分并迭代反馈精炼图像的方法,提升文本到图像对齐评估与生成准确率。
2023-12-06 cs.AI cs.CV cs.LG
Learning New Skills after Deployment: Improving open-domain internet-driven dialogue with human feedback
Meta AI;Mila(米拉人工智能研究所);McGill University(麦吉尔大学)
被训练来模仿静态数据集的冻结模型永远无法提高它们的性能。可以使用互联网检索最新信息并在部署期间从人类获得反馈的模型提供了适应新信息并提高其性能的承诺。在这项工作中,我们研究如何提高互联网驱动的会话技能,在这样的学习框架。我们收集部署数据,这些数据是我们公开提供的人类交互数据,并收集各种类型的人类反馈-包括二进制质量测量,自由形式的文本反馈和细粒度的失败原因。然后,我们研究了各种算法,以改善从这样的反馈,包括标准的监督学习,拒绝采样,模型指导和奖励为基础的学习,以便提出建议,哪种类型的反馈和算法最好的工作。我们发现最近引入的Director模型(Arora等人,’22)显示了对其他现有方法的显著改进。
2022-08-16 cs.AI cs.CL
Leveraging Human Revisions for Improving Text-to-Layout Models
Google Research(谷歌研究院)
本文提出利用专家设计师对生成布局的修订作为细致反馈,训练奖励模型并结合强化学习优化文本到布局模型,以生成更现代、更符合设计师意图的布局。
2024-05-16 cs.AI cs.CL
Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯 AI 实验室)
本文探索将质量估计模型用作奖励模型以利用人类反馈改进机器翻译,针对过度优化问题提出启发式惩罚方法,实验显示该方法显著提升翻译质量且数据效率高。
2024-03-18 cs.AI cs.CL
Improving Grounded Language Understanding in a Collaborative Environment by Interacting with Agents Through Help Feedback
Purdue University(普渡大学);Universidad Nacional de Córdoba(科尔多瓦国立大学);Microsoft(微软公司)
本研究通过IGLU竞赛中的交互式基础语言理解任务,探索人类提供多种帮助反馈以引导AI智能体,并分析其影响,从而提升AI在协作环境中的表现。
2024-02-05 cs.AI cs.CL
Towards Exploiting Implicit Human Feedback for Improving RDF2vec Embeddings
University of Mannheim(曼海姆大学)
RDF2vec是一种用于从RDF知识图谱创建向量空间嵌入的技术,即,将图中的每个实体表示为向量。它首先通过在图上执行随机游走来创建节点序列。在第二步中,这些序列由word2vec算法处理,以创建实际的嵌入。在本文中,我们探讨了使用外部边缘权重引导随机游动。作为边缘权重,维基百科中页面之间的转移概率被用作边缘重要性的人类反馈的代理。我们表明,在某些情况下,RDF2vec利用这些转移概率可以优于RDF2vec的基础上随机游走,以及使用图的内部边缘权重。
2020-04-09 cs.AI cs.CL cs.LG
RAM: Towards an Ever-Improving Memory System by Learning from Communications
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院(BIGAI))
本文提出RAM框架,通过递归推理检索和经验反思从用户交流反馈中持续更新记忆,在错误前提与多跳问题上显著优于传统RAG,展现出动态知识获取与终身学习的潜力。
2024-07-05 cs.AI cs.CL
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU));New York University (NYU)(纽约大学(NYU))
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会,但几乎没有证据表明其可行性。在大多数应用程序中,用户无法向系统提供正确的答案,但他们能够提供二进制(正确,不正确)反馈。在本文中,我们提出了反馈加权学习的基础上重要性采样,以改善初始监督系统使用二进制用户反馈。我们对文档分类(用于开发)和会话问答数据集(如QuAC和DoQA)进行模拟实验,其中二进制用户反馈来自黄金注释。结果表明,我们的方法能够改进初始监督系统,接近完全监督系统,在域内实验(QuAC)中可以访问相同的标记示例,甚至在域外实验(DoQA)中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Reasoning Graphs: Self-Improving, Deterministic RAG through Evidence-Centric Feedback
本文提出推理图,通过证据中心反馈提升RAG的准确性和确定性,实验显示在50%以上的证据覆盖下,错误率降低47%,在多跳问题中准确率提升11.0个百分点,实现高重用场景下的性能优势。
2026-04-13 cs.AI cs.CL
Improving Neural Model Performance through Natural Language Feedback on Their Explanations
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
一类用于推理任务的可解释NLP模型通过生成自由形式或结构化解释来支持其决策,但是当这些支持结构包含错误时会发生什么?我们的目标是允许用户通过自然语言反馈交互式地纠正解释结构。我们介绍MERCURIE -一个交互式系统,它通过在自然语言中获得人类反馈来完善对给定推理任务的解释。我们的方法生成的图形,有40%的不一致性相比,现成的系统。此外,简单地将校正后的解释结构附加到输出中,可以在所有三个领域的可废止推理的准确性上获得1.2分。我们在https://tinyurl.com/mercurie上发布了一个由我们的系统生成的超过450 k图的可撤销推理数据集。
2021-04-18 cs.CL
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University(海德堡大学)
来自人类强盗反馈的反事实学习描述了一种场景,其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看,关键的挑战在于对估计器进行适当的重新加权,以避免反事实学习中的已知退化,同时仍然适用于随机梯度优化。为了与人类用户进行实验,我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明,语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML