Distilling LLMs' Decomposition Abilities into Compact Language Models
ETH Zurich(苏黎世联邦理工学院)
本研究通过离线强化学习将大语言模型的分解能力蒸馏至紧凑模型,并利用AI生成数据集和基线建立,展示了紧凑模型复制复杂问题解决技能的潜力。
2024-02-02 cs.AI cs.CL cs.LG
Distilling the Essence: Efficient Reasoning Distillation via Sequence Truncation
The University of British Columbia(不列颠哥伦比亚大学);LinkedIn(领英)
提出通过截断训练序列(仅保留前50%的token)进行知识蒸馏,在数学基准上保留约91%性能,同时减少约50%的训练时间、内存和FLOPs。
2026-07-01 cs.AI cs.CL
From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳校区);Peng Cheng Laboratory(鹏城实验室)
本文提出MM-Mem架构,通过金字塔多模态记忆压缩,结合语义信息瓶颈目标,实现长视界视频理解中的高效记忆组织与任务相关信息保留。
2026-04-21 cs.AI cs.CL cs.CV
rEDMRec: Distilling Large Language Model Reasoning into an Editable Experience Memory for Recommendation
Faculty of Information Technology, University of Science(胡志明市科学大学信息学院);Vietnam National University(越南国家大学)
rEDMRec将教师LLM推理提炼为四类可编辑体验记忆,轻量级学生LLM通过检索记忆排序,在多数据集和主干模型上优于零样本、少样本、RAG及GraphRAG,记忆优化可提升推荐性能并降低重复率。
2026-08-20 cs.AI cs.CL cs.IR
MapCoder-Lite: Distilling Multi-Agent Coding into a Single Small LLM
Hanyang University(翰阳大学);Samsung SDS(三星SDS)
MapCoder-Lite通过三支柱方法将多智能体编码distilling进单一7B模型,显著提升代码生成性能并降低资源消耗。
2026-02-04 cs.AI cs.CL
GenDistiller: Distilling Pre-trained Language Models based on an Autoregressive Generative Model
China Mobile Research(中国移动研究院)
针对预训练语音语言模型资源占用高的问题,提出GenDistiller自回归知识蒸馏框架,用小学生网络逐层生成教师模型隐藏表征,在SUPERB基准上以更少参数量实现更优性能,可大幅压缩WavLM规模。
2024-06-21 cs.CL cs.SD eess.AS
Distilling Large Language Models into Tiny and Effective Students using pQRNN
Google(谷歌)
mBERT、XLM-R等大型预训练多语言模型在语言理解任务上实现了最先进的结果。但是,它们并不适合服务器和边缘设备上的延迟关键型应用程序。减少这些模型所需的内存和计算资源非常重要。为此,我们提出了pQRNN,这是一种基于投影的无嵌入神经编码器,对于自然语言处理任务来说,它很小,而且很有效。在没有预训练的情况下,pQRNN的性能明显优于具有预训练嵌入的LSTM模型,尽管它比LSTM模型小了140倍。在参数数量相同的情况下,它们的性能优于Transformer基线,从而展示了它们的参数效率。此外,我们还证明了pQRNN是提取大型预训练语言模型的有效学生架构。我们进行了仔细的消融,研究pQRNN参数,数据增强和蒸馏设置的影响。在MTOP上,一个具有挑战性的多语言语义解析数据集,pQRNN学生实现了mBERT教师的95.9%的性能,同时小了350倍。在mATIS上,一个流行的解析任务,pQRNN学生平均能够达到老师的97.1%,同时又小了350倍。我们的强有力的结果表明,我们的方法是伟大的延迟敏感的应用程序,同时能够利用大型mBERT类模型。
2021-01-21 cs.AI cs.CL
Fine-Mem: Fine-Grained Feedback Alignment for Long-Horizon Memory Management
Harbin Institute of Technology(哈尔滨工业大学);Meituan(美团);Peng Cheng Laboratory(鹏城实验室);The University of Hong Kong(香港大学)
Fine-Mem通过细粒度反馈对齐提升长周期内存管理,通过块级奖励和证据锚定奖励分配优化策略,实现更高效的内存操作与长期效用对齐。
2026-01-13 cs.CL
Recall with Reasoning: Chain-of-Thought Distillation for Mamba's Long-Context Memory and Extrapolation
Tencent AI Lab(腾讯AI实验室)
本文提出 RwR 方法,通过从教师模型蒸馏思维链摘要并在微调时前置为提示,解锁 Mamba 的长上下文记忆与外推能力,在保持短上下文性能和无需改架构的情况下超越 Transformer/混合基线。
2025-06-03 cs.CL
$\textit{SKIntern}$: Internalizing Symbolic Knowledge for Distilling Better CoT Capabilities into Small Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);National Science Library, Chinese Academy of Sciences(中国科学院国家科学图书馆)
提出SKIntern方法,通过渐进式微调和课程学习使小语言模型内化符号知识,减少推理开销并提升思维链推理能力,在ID和OOD任务上超越基线5%以上,推理成本降低4倍。
2024-12-14 cs.CL
UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory
Xiamen University(厦门大学);Alibaba International Digital Commerce(阿里巴巴国际数字商务);Tongyi Lab, Alibaba Group(阿里云实验室,阿里巴巴集团)
UMEM通过联合优化大语言模型,实现记忆的提取与管理,提升记忆的泛化能力,实验显示在多轮交互任务中表现优于基线模型。
2026-02-11 cs.CL
Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes
University of Washington(华盛顿大学);Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院)
本文提出Distilling step-by-step机制,通过提取LLM推理依据作为额外监督,在更少数据和更小模型规模下训练出超越大型语言模型的小模型。
2023-07-05 cs.AI cs.CL cs.LG
Causal Episodic Memory for Feedback-Driven Agent Repair
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), VNU-HCM(胡志明市理工大学计算机科学与工程学院(HCMUT,VNU-HCM))
本文提出无需训练的MERIT智能体,通过维护双极性记忆辅助LLM智能体修复,在Spider、BIRD数据集上提升了Text-to-SQL任务的执行准确率,同时明确了因果跨查询记忆的适用场景。
2026-09-11 cs.CL
Efficient and Accurate Prompt Optimization: the Benefit of Memory in Exemplar-Guided Reflection
Beihang University(北京航空航天大学);ByteDance(字节跳动);Zhejiang University(浙江大学)
提出带有记忆机制的示例引导反思(ERM),利用历史反馈和两种记忆改进示例检索,实现更高效准确的提示优化,在LIAR上F1提升10.1,在ProTeGi上步骤减半。
2025-05-27 cs.CL
RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States
Nanjing University(南京大学);Xiamen University(厦门大学);Zhejiang University(浙江大学)
RoMeRL通过降阶效用状态解决自进化LLM智能体记忆的反馈分散与记忆-奖励陷阱问题,在ALFWorld等基准上显著提升任务性能、降低记忆规模与LLM调用
2026-08-11 cs.CL cs.LG
ICLEF: In-Context Learning with Expert Feedback for Explainable Style Transfer
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
本文提出 ICLEF 方法,通过结合上下文学习与模型自我批判来整合稀缺专家反馈,用于生成高质量可解释风格迁移数据集,使微调后的学生模型在可解释风格迁移任务中优于或媲美教师模型。
2024-06-17 cs.CL
Learning to Repair: Repairing model output errors after deployment using a dynamic memory of feedback
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学)
大语言模型(LM)虽然功能强大,但也不能避免错误,而且很难重新训练。我们的目标是让LM在部署后继续改进,而不需要再培训,使用用户的反馈。我们的方法将LM与(i)用户识别输出错误并提供如何纠正错误的一般反馈的情况的不断增长的记忆(ii)校正模型,经过训练将此一般反馈转化为特定的编辑以修复模型输出。给定一个新的、看不见的输入,我们的模型可以使用来自过去类似案例的反馈来修复可能发生的输出错误。我们使用一个现有的、固定的脚本生成模型来实例化我们的方法,该模型采用一个目标(例如,“bake a cake”),并生成一个部分有序的动作序列来实现该目标,有时包含错误。我们的记忆增强系统FBNet学习应用用户反馈来修复此类错误(最多提高30分),同时开始避免在新的、看不见的示例中出现类似的过去错误(在受控设置中最多提高7分)。这是加强已部署模型的第一步,有可能扩大其效用。我们的代码和数据可在https://github.com/allenai/interscript/上获得。
2022-05-09 cs.AI cs.CL
MemToolAgent: Leveraging Memory for Tool Using Agents Based on Environment and User Feedback
AWS AI;University of Washington(华盛顿大学)
提出MemToolAgent框架,通过记忆管理提升大语言模型代理的工具使用能力,包含记忆提取和动态检索模块,在三个基准上分别提升29%、80%和17%。
2026-06-11 cs.AI cs.CL
TransformerFAM: Feedback attention is working memory
Google LLC(谷歌公司)
本文提出TransformerFAM架构,通过反馈回路让Transformer关注自身潜在表示以形成工作记忆,无需额外权重即可无缝集成预训练模型,并在1B、8B和24B模型规模的长上下文任务上显著提升性能。
2024-05-07 cs.AI cs.CL cs.LG
Self and Cross-Model Distillation for LLMs: Effective Methods for Refusal Pattern Alignment
本文实证分析九种 LLM 的拒绝模式,提出自蒸馏与跨模型蒸馏对齐方法,显著提升拒绝率并减少不安全内容,跨模型蒸馏拒绝率接近 Claude3 的 94.51%。
2024-12-02 cs.CL cs.CR
Debate, Reflect, and Distill: Multi-Agent Feedback with Tree-Structured Preference Optimization for Efficient Language Model Enhancement
Beijing Institute of Technology(北京理工大学);Singapore Management University(新加坡国立大学)
本文提出辩论与反思(D&R)框架和树结构直接偏好优化(T-DPO),通过多智能体辩论反馈高效训练较小语言模型,显著提升其准确性、鲁棒性和泛化能力。
2025-06-04 cs.AI cs.CL
UICoder: Finetuning Large Language Models to Generate User Interface Code through Automated Feedback
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司)
针对 LLM 生成可编译且视觉匹配的 UI 代码难题,提出利用编译器与多模态模型自动反馈构建精炼合成数据并迭代微调,多个开源模型因此超过可下载基线并接近大型专有模型。
2024-06-11 cs.CL cs.HC cs.SE
Reinforcing Human Behavior Simulation via Verbal Feedback
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软)
本文提出DITTO模型,通过将言语反馈作为强化学习中的首要信号来提升LLM模拟人类行为的能力,并引入SOUL基准测试平台,展示了在多个任务中显著提升性能的成果。
2026-05-19 cs.CL cs.LG
KUPAS MASTER: Distilling the Tacit Expertise of Master Practitioners into Agent-Ready Experience Corpora
KUPAS MASTER平台通过九层认知语料库构建,将从业者隐性经验提炼为可复用智能体语料,显著提升LLM智能体在专业任务中的表现。
2026-09-30 cs.AI cs.CL
Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense
KAIST AI(韩国科学技术院人工智能实验室);Financial Tech Lab, KakaoBank Corp(Kakao银行金融科技实验室)
提出Membrane,一种基于对比安全记忆(CSM)的自演化护栏,通过将有害交互及其良性对应物蒸馏为对比单元来防御不断演化的越狱攻击,无需重新训练即可实现高F1和低良性拒绝率。
2026-09-09 cs.CL cs.CR
EverMemOS: A Self-Organizing Memory Operating System for Structured Long-Horizon Reasoning
EverMind;Shanda Group(盛大集团)
EverMemOS通过自组织记忆系统提升长时程推理能力,实现事件轨迹捕捉、语义整合与重构性回忆,有效增强记忆增强推理任务的性能。
2026-01-09 cs.AI cs.CL
MemLoRA: Distilling Expert Adapters for On-Device Memory Systems
Samsung R&D Institute UK(三星英国研发中心);Technical University of Munich(慕尼黑技术大学);Helmholtz Munich(慕尼黑海德堡研究所)
MemLoRA通过为小型语言模型添加专用记忆适配器,实现设备端记忆系统的本地部署,并扩展至视觉理解任务,提升多模态场景下的性能。
2025-12-04 cs.CL cs.CV cs.LG
Pruning and Distilling Mixture-of-Experts into Dense Language Models
KRAFTON;KAIST(韩国科学技术院)
提出首个将混合专家(MoE)模型转换为标准密集架构的系统框架,通过专家评分、选择、分组、拼接和知识蒸馏,在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点,训练速度提升1.6倍。
2026-11-11 cs.AI cs.CL cs.LG
Towards Teachable Reasoning Systems: Using a Dynamic Memory of User Feedback for Continual System Improvement
Allen Institute for AI(艾伦人工智能研究所)
我们的目标是一个可教学的问答推理系统(QA),用户可以与忠实的答案解释进行交互,并纠正其错误,以便系统随着时间的推移而改进。我们的方法是增加一个QA模型与用户反馈的动态记忆,包含用户提供的纠正错误的模型信念,用户在互动过程中识别。从记忆中提取的信息被用作QA的额外上下文,以帮助避免在类似的新情况下出现以前的错误-这是基于记忆的连续学习的一种新应用。通过模拟反馈,我们发现我们的系统(称为TeachMe)随着时间的推移不断改进,并且无需模型再训练,仅需要25%的训练样本的反馈即可达到上限(所有样本的反馈)的1%以内。同样,在对真实用户的实验中,我们观察到了类似的趋势,教学后隐藏测试集的性能提高了15%以上。这为在交互式环境中使用冻结的语言模型提供了新的机会,用户可以检查、调试和纠正模型的信念,从而随着时间的推移提高系统的性能。
2022-10-21 cs.AI cs.CL
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China(中国科学技术大学);York University(约克大学);IFLYTEK Research(科大讯飞研究院)
本文介绍了一种新的记忆神经网络结构,称为前馈顺序记忆网络(FSMN),它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中,我们已经应用FSMN的几个语言建模(LM)的任务。实验结果表明,FSMN中的记忆块可以学习到长历史的有效表示。实验表明,基于FSMN的语言模型不仅可以显著优于基于前馈神经网络(FNN)的LM,而且还可以显著优于流行的递归神经网络(RNN)LM。
2015-10-09 cs.CL cs.LG cs.NE
MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA
Tianjin University(天津大学);Qifu Technology(启福科技);Beihang University(北航);Jiangnan University(江南大学)
提出MARDoc框架,通过解耦为探索、精炼和反思三个智能体,并利用结构化记忆替代完整交互历史,减少上下文噪声,提升多模态长文档问答性能。
2026-06-04 cs.AI cs.CL
Learning Personalized Agents from Human Feedback
Meta Superintelligence Labs(Meta超智能实验室);Princeton University(普林斯顿大学);Duke University(杜克大学)
PAHF通过整合显式记忆与双反馈通道,实现持续个性化,显著提升学习速度和适应能力。
2026-02-18 cs.AI cs.CL cs.LG
Addressing Some Limitations of Transformers with Feedback Memory
Facebook AI Research(脸书人工智能研究院);LORIA(洛林计算机科学及其应用实验室)
尽管是前馈网络,但Transformers已成功应用于顺序自回归任务。与递归神经网络不同,Transformers在并行处理输入令牌的同时使用注意力来捕获时间关系。虽然这种并行化使它们在计算上高效,但它限制了模型充分利用输入的顺序性质。给定层的表示只能访问来自较低层的表示,而不是已经可用的更高级别的表示。在这项工作中,我们提出了反馈Transformer架构,将所有以前的表示暴露给所有未来的表示,这意味着当前时间步长的最低表示是从过去的最高级别抽象表示形成的。我们在语言建模,机器翻译和强化学习的各种基准测试中证明,增加的表示能力可以创建比同类Transformers性能更强的小而浅的模型。
2021-01-25 cs.CL cs.LG stat.ML
Automatic Open Knowledge Acquisition via Long Short-Term Memory Networks with Feedback Negative Sampling
POSTECH (Pohang University of Science and Technology)(浦项科技大学)
以往的开放式信息抽取(Open IE)研究主要是基于抽取模式的。它们手动定义模式或从大型语料库中自动学习模式。然而,这些方法在把握句子的上下文时都有局限性,而且它们无法捕捉隐含的关系。在本文中,我们用以下方法解决这个问题。首先,我们利用长短期记忆(LSTM)网络沿着最短依赖路径提取更高级别的特征,连接关系和参数的词头。LSTM网络的路径级特征提供了有关上下文信息和参数有效性的有用线索。其次,我们构造样本来训练LSTM网络,而不需要手动标记。特别地,反馈负采样通过用正样本训练的模型在非正样本中挑选高度负样本。实验结果表明,我们的方法产生更精确和丰富的提取比国家的最先进的开放IE系统。据我们所知,这是第一个将深度学习应用于Open IE的工作。
2016-05-25 cs.AI cs.CL cs.NE