A tale of two goals: leveraging sequentiality in multi-goal scenarios
针对分层强化学习中仅以当前目标为条件可能失败的问题,提出两种新的MDP实例,使策略兼顾后续目标,实验表明以下两个目标为条件可提升稳定性和样本效率。
2025-03-27 cs.AI cs.LG
Leveraging Human Feedback for Semantically-Relevant Skill Discovery
A 2 I 2 , Deakin University, Geelong, Australia(A2I2,德金大学,澳大利亚格里尔镇);School of IT, Deakin University, Geelong, Australia(信息学院,德金大学,澳大利亚格里尔镇)
本文提出SRSD方法,通过人类反馈的语义标签提升技能的语义多样性与相关性,实验表明其在导航和运动环境中有效发现相关行为。
2026-04-27 cs.AI cs.LG
HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents
本文提出 HINT-SD,一种针对长 Horizon 智能体的定向 hindsight 自监督学习框架,通过全轨迹 hindsight 选择失败相关的动作,并仅在目标动作跨度上应用反馈条件自监督学习,实验表明该方法在 BFCL v3 和 AppWorld 上比密集的每回合反馈基线提高了 18.80 个百分点,同时训练时间降低 2.26 倍。
2026-10-05 cs.AI cs.CL cs.LG
SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation
ETH Zurich(苏黎世联邦理工学院);Adobe(Adobe公司);Adobe Research(Adobe研究)
SimAB通过人格条件化AI代理模拟A/B测试,实现快速设计评估,准确率达67%,在高置信度案例中提升至83%。
2026-03-01 cs.AI cs.HC cs.MA
Goal-conditioned Offline Planning from Curious Exploration
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
本文针对无额外环境交互的离线场景,提出将基于模型的规划与基于图的价值聚合相结合,以纠正目标条件价值函数中的估计伪影,从而显著提升零样本目标到达性能。
2023-11-28 cs.AI cs.LG
Leveraging Contact Forces for Learning to Grasp
DeepMind;MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Google X Robotics(Google X 机器人);Tandon School of Engineering, New York University(纽约大学坦登工程学院);Stanford University(斯坦福大学)
在不确定性条件下抓取物体一直是机器人研究中的一个难题。这种不确定性通常是由于对象姿态或形状的噪声或部分观测。为了使机器人能够对不可预见的影响做出适当的反应,它必须不断考虑传感器反馈。虽然视觉反馈对于推断抓握姿势和到达物体是重要的,但是接触反馈在操纵和抓握获取期间提供了有价值的信息。在本文中,我们使用无模型的深度强化学习来合成控制策略,这些策略利用接触感知来在不确定性下生成鲁棒抓取。我们展示了我们的方法,表现出更复杂的手指协调比常用的两指抓手多指的手。我们进行了广泛的实验,以评估学习的政策,有和没有接触感测的性能。虽然它是可能的,学习抓政策,没有接触传感,我们的研究结果表明,接触反馈允许抓鲁棒性的显着改善下的对象姿态不确定性和具有复杂形状的对象。
2018-09-19 cs.AI cs.LG cs.RO
Shaping Scientific Explanations to Expert Perspectives with Persona-Conditioned Reinforcement Learning
LASIGE, Faculdade de Ciências da Universidade de Lisboa, Portugal(里斯本大学科学学院LASIGE,葡萄牙)
本文提出一种基于强化学习的科学解释生成方法,通过代理人设引导解释代理器适应专家认知策略,提升解释的适应性和预测性能。
2026-08-03 cs.AI cs.HC
Stitching Sub-Trajectories with Conditional Diffusion Model for Goal-Conditioned Offline RL
KAIST(韩国科学技术院)
提出SSD方法,利用条件扩散模型生成基于目标价值和目标的规划,通过缝合次优子轨迹解决离线目标条件强化学习中的长时程规划问题,实现最先进性能。
2024-02-11 cs.AI
Goal-Conditioned Data Augmentation for Offline Reinforcement Learning
McGill University(麦吉尔大学)
针对离线强化学习中次优数据集最优示范不足的问题,提出基于扩散模型的目标条件数据增强方法GODA,结合面向回报的目标条件、可控缩放及自适应门控机制生成高回报样本,在D4RL基准和交通信号控制任务上表现优于现有方法。
2025-09-02 cs.AI cs.LG cs.RO
A Study on Leveraging Search and Self-Feedback for Agent Reasoning
Duke University(杜克大学);Amazon Web Services(亚马逊网络服务)
本文研究搜索与模型自我反馈对智能体推理的作用,比较数学推理中的真实标签反馈与自我反馈,并针对工具调用任务设计领域方法,证明仅靠自我反馈存在泛化挑战。
2025-02-17 cs.AI cs.CL
A Simple and Efficient Multi-Task Learning Approach for Conditioned Dialogue Generation
Université de Montréal(蒙特利尔大学)
有条件的对话生成受到标签反应稀缺的影响。在这项工作中,我们利用标记的非对话文本数据的条件,这是更容易收集。我们提出了一个多任务的学习方法,利用标记的对话和文本数据。这3个任务联合优化相同的预训练的Transformer --在标记的对话数据上的条件对话生成任务、在标记的文本数据上的条件语言编码任务和条件语言生成任务。实验结果表明,我们的方法优于国家的最先进的模型,通过利用标记的文本,它也获得了更大的改善性能相比,以前的方法来利用文本数据。
2021-04-24 cs.AI cs.CL
Intelligent Tutor: Leveraging ChatGPT and Microsoft Copilot Studio to Deliver a Generative AI Student Support and Feedback System within Teams
Chinese Culture University(中国文化大学);Tatung University(大同大学)
本研究在Microsoft Teams上集成ChatGPT API、GPT-4和Copilot Studio构建智能辅导系统,动态调整教育内容,提供即时反馈,提升学生动机与参与度,并为教师提供学习过程洞察。
2024-05-15 cs.AI cs.CL cs.CY
Leveraging Customer Feedback for Multi-modal Insight Extraction
Amazon(亚马逊)
本文提出一种在潜在空间融合图像与文本的多模态方法,结合弱监督数据生成技术,有效提取客户反馈中的可操作洞察,在F1分数上超越基线14分。
2024-10-13 cs.AI cs.CL cs.CV
Co-Evolving Actor-Conditioned Critics for Non-Verifiable Generation
University of Michigan(密歇根大学);LG AI Research(LG AI研究院);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
针对不可验证生成的批评监督问题,引入TAIScore奖励和GRPO训练的演员定制评论家,构建评论家-演员协同进化循环,其性能优于现有方法,证明批评监督应随演员变化调整。
2026-09-01 cs.CL
Reinforcement Retrieval Leveraging Fine-grained Feedback for Fact Checking News Claims with Black-Box LLM
Singapore Management University(新加坡管理大学)
提出FFRR方法,通过两级策略从黑盒LLM获取细粒度反馈作为奖励优化检索策略,在新闻声明事实核查任务上显著优于LLM和非LLM基线。
2024-04-26 cs.CL
LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Huawei Noah’s Ark Laboratory(华为诺亚方舟实验室)
本文提出LaFFi方法,通过让LLM直接预测标注者的自然语言反馈来进行反思微调,显著提升了领域内问答任务的准确性,并发现人工标注数据比例影响微调性能。
2023-12-31 cs.AI cs.CL cs.LG
Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System
National University of Singapore(新加坡国立大学);University College London(伦敦大学学院);Nanyang Technology University(南洋理工大学)
针对大语言模型直接用于任务型对话表现不佳的问题,提出UGRO方法,将LLM作为无标注用户模拟器评估对话响应,结合较小的微调TOD模型生成高满意度回复,在两个TOD基准上超越了先前SOTA结果。
2023-10-19 cs.CL
DynamicRAG: Leveraging Outputs of Large Language Model as Feedback for Dynamic Reranking in Retrieval-Augmented Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对RAG系统重排器文档数量难确定、忽视LLM反馈信号的问题,提出DynamicRAG框架,将重排器建模为RL智能体,基于LLM输出质量奖励动态调整检索文档的顺序与数量,在七个数据集上同参数规模模型中达SOTA。
2025-05-16 cs.AI cs.CL
Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation
University of Siegen(锡根大学)
本研究将课程录音转写文本通过RAG作为外部知识提供给GPT-4,为编程入门课学生生成关联课程内容的解题反馈,初步验证其可提升反馈质量且受部分学生偏好,但存在速度较慢的局限。
2024-05-05 cs.AI cs.CL cs.CY
Leveraging Large Language Models for Actionable Course Evaluation Student Feedback to Lecturers
Aalborg University(奥尔堡大学)
本文利用开源生成式 AI 汇总 75 门计算机科学课程的 742 份学生评价,为教师生成真实、可执行的课程反馈摘要,验证了该方法支持教学改进的可行性与成本效益。
2024-07-02 cs.CL cs.CY
Leveraging Implicit Feedback from Deployment Data in Dialogue
FAIR at Meta(Meta FAIR研究院);New York University(纽约大学)
本研究利用对话部署数据中用户回复长度、情感等隐式反馈信号改进社交对话智能体,实验基于BlenderBot公开数据,人工评估显示模型有提升,但不同代理信号存在利弊差异。
2024-02-01 cs.CL
SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF
NVIDIA(英伟达)
针对RLHF训练复杂、用户无法运行时控制模型回复等局限,提出监督微调方法SteerLM,通过多维度属性条件实现推理阶段的用户可控回复,效果优于多数RLHF训练的基线且训练更简单。
2023-10-09 cs.AI cs.CL cs.LG
ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation
Università degli Studi di Trieste(的里雅斯特大学);SISSA(国际高等研究院)
提出ETC-NLG方法,利用主题建模标注在无标签文档集合上实现完全无监督的端到端主题条件自然语言生成,并在低资源场景下验证其有效性。
2021-06-22 cs.CL
Leveraging Multimodal Behavioral Analytics for Automated Job Interview Performance Assessment and Feedback
National Institute of Technology Karnataka(卡纳塔克国家理工学院)
行为线索在人类的交流和认知中起着重要的作用。在大多数专业领域,员工招聘政策的制定都充分评估了专业技能和个性特征。招聘面试的结构是为了广泛地评估潜在员工对该职位的适合性-他们的专业资格,人际交往能力,在关键和压力情况下的表现能力,在时间和资源限制的情况下,等等,因此,候选人需要意识到他们的积极和消极属性,并注意可能对他们的成功产生不利影响的行为线索。我们提出了一个多模态的分析框架,分析候选人在面试的情况下,并提供反馈预定义的标签,如参与,说话速度,眼神接触等。我们进行了全面的分析,包括受访者的面部表情,语音和韵律信息,使用的视频,音频和文字成绩单从录制的面试。我们使用这些多模态数据源来构建一个复合表示,用于训练机器学习分类器来预测类标签。然后,这种分析用于为受访者的行为线索和肢体语言提供建设性的反馈。实验验证表明,该方法取得了可喜的成果。
2020-06-16 cs.CL cs.CV cs.LG
LangLingual: A Personalised, Exercise-oriented English Language Learning Tool Leveraging Large Language Models
本文介绍LangLingual,一个基于LangChain和大型语言模型的对话代理,提供实时语法反馈、上下文感知练习和进度跟踪,评估显示可用性强、学习效果积极。
2025-10-27 cs.CL cs.CY
Autoregressive Text Generation Beyond Feedback Loops
ETH Zürich(苏黎世联邦理工学院);University of California, Irvine(加州大学欧文分校)
自回归状态转换(其中预测以过去的预测为条件)是确定性和随机序列模型的主要选择。然而,自回归反馈暴露了隐藏状态轨迹的演变,从众所周知的训练测试差异的潜在偏见。在本文中,我们结合了潜在的状态空间模型与CRF观测模型。我们认为,这样的自回归观测模型形成了一个有趣的中间立场,表示当地的相关性在字的水平,但保持状态演变的非自回归。在无条件句子生成方面,与RNN和GAN基线相比,我们显示了性能改进,同时避免了自回归模型的一些典型故障模式。
2019-08-30 cs.CL cs.LG stat.ML
Leveraging Human Feedback to Scale Educational Datasets: Combining Crowdworkers and Comparative Judgement
University of Oxford(牛津大学);Jacobs Foundation(雅各布斯基金会)
针对教育数据标注难规模化问题,研究通过实验对比发现,结合非专业众包工作者与比较判断法可显著提升评分者间信度,为规模化教育数据集提供了新的有效路径。
2023-11-09 cs.CL
MoL-RL: Distilling Multi-Step Environmental Feedback into LLMs for Feedback-Independent Reasoning
Dalian University of Technology(大连理工大学);Wired Product Operation Division, ZTE Corporation(中兴通讯无线产品运营部)
针对 LLM 难以利用多步文本环境反馈的问题,本文提出 MoL-RL,通过混合损失持续训练与 GRPO 后训练将多步反馈蒸馏为单步推理,并在数学和代码基准上验证其性能与泛化性。
2025-07-27 cs.CL
LoHoRavens: A Long-Horizon Language-Conditioned Benchmark for Robotic Tabletop Manipulation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);TUM(慕尼黑工业大学)
本工作发布了面向机器人桌面操作的长时序语言条件仿真基准LoHoRavens,并研究了字幕生成与可学习接口两种模态桥接基线方法,以评估并推动当前大模型在长时序操作任务上的发展。
2023-10-23 cs.CL cs.CV cs.RO
What Matters in Language Conditioned Robotic Imitation Learning over Unstructured Data
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
机器人技术的一个长期目标是建造能够通过机载传感器获得的感知执行各种日常任务的机器人,这些感知仅通过自然语言指定。虽然最近通过利用从像素的端到端学习,在语言驱动的机器人技术方面取得了实质性的进展,但由于设置的潜在变化,没有明确和充分理解的过程来做出各种设计选择。在本文中,我们对从离线自由形式模仿数据集学习语言条件策略的最关键挑战进行了广泛的研究。我们进一步确定架构和算法技术,提高性能,如机器人控制学习的分层分解,多模态Transformer编码器,离散的潜在计划和自我监督的对比损失,对齐视频和语言表示。通过将我们的调查结果与我们改进的模型组件相结合,我们能够提出一种新的方法,该方法在具有挑战性的语言条件长视野机器人操作CALVIN基准上显着优于现有技术。我们已经开源了我们的实现,以促进未来的研究,在学习执行许多复杂的操作技能,在一排指定的自然语言。代码库和训练模型可在http://hulc.cs.uni-freiburg.de上获得
2022-08-30 cs.AI cs.CL cs.CV
SEAL: Speaker Error Correction using Acoustic-conditioned Large Language Models
Ohio State University(俄亥俄州立大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对传统说话人日志系统易产生说话人错误的问题,提出基于声学条件化大语言模型的SEAL方法,结合约束解码减少幻觉,在多个数据集上实现24%-43%的说话人错误率下降。
2025-01-14 cs.AI cs.CL cs.LG
Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment
ELLIS Alicante, Spain(阿利坎特ELLIS研究所,西班牙);Universitat d’Alacant, Spain(阿利坎特大学,西班牙);École Polytechnique Fédérale de Lausanne, EPFL, Switzerland(洛桑联邦理工学院,瑞士)
针对教育领域论证挖掘中纯解码器模型未被充分探索的问题,提出利用开源小型LLMs通过小样本提示和微调完成论证成分分割、分类与质量评估,在相关数据集上验证了其在部分任务中优于基线的性能,凸显其教育应用潜力。
2025-11-12 cs.CL cs.HC