语言大模型 / LLM

LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation

LightTransfer: 你的长上下文LLM实际上是一个具有轻松适应能力的混合模型

Xuan Zhang, Fengzhuo Zhang, Cunxiao Du, Chao Du, Tianyu Pang, Wei Gao, Min Lin

机构 * Singapore Management University（新加坡国立大学） ； National University of Singapore（新加坡国立大学） ； Sea AI Lab, Singapore（新加坡海智实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LightTransfer方法，通过将LLaMA等模型转换为混合架构，实现更高效的生成，实验表明在长上下文理解任务中，即使有半数层被识别为懒层，也能在性能损失小于1.5%的情况下提升2.17倍的吞吐量，并在数学基准AIME24上达到53.3%的分数。

Comments Accepted by TMLR 2025

Beyond Quacking: Deep Integration of Language Models and RAG into DuckDB

超越鸭子叫：将语言模型和RAG深度整合到DuckDB中

Anas Dorbani, Sunny Yasser, Jimmy Lin, Amine Mhedhbi

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 本文提出FlockMTL，通过整合语言模型和RAG技术，简化了知识密集型分析应用的开发，采用模型驱动的函数和SQL抽象优化实现效率。

Journal ref Proc. VLDB Endow. (PVLDB), Vol. 18, No. 12, pp. 5415-5418 (2025)

MemoPhishAgent: Memory-Augmented Multi-Modal LLM Agent for Phishing URL Detection

MemoPhishAgent: 基于记忆的多模态大语言模型代理用于钓鱼URL检测

Xuan Chen, Hao Liu, Tao Yuan, Mehran Kafai, Piotr Habas, Xiangyu Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出MemoPhishAgent，通过整合多模态推理与记忆机制，提升钓鱼URL检测性能，实验显示其在召回率上优于现有方法，并在真实场景中实现高召回率。

Comments ACL 2026 Industry Track Camera Ready

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

代理情境工程：为自我改进语言模型演化情境

Qizheng Zhang, Changran Hu, Shubhangi Upasani, Boyuan Ma, Fenglu Hong, Vamsidhar Kamanuru, Jay Rainton, Chen Wu, Mengmeng Ji, Hanchen Li, Urmish Thakker, James Zou, Kunle Olukotun

机构 * Stanford University（斯坦福大学） ； SambaNova Systems, Inc.（SambaNova Systems公司） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ACE框架，通过生成、反思和整理的模块化过程，使情境持续进化，提升语言模型在代理和领域推理中的性能，减少适应延迟和成本。

Comments ICLR 2026; 32 pages

UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models

UltraEdit: 无训练、无主题、无内存的语言模型终身编辑

Xiaojie Gu, Ziying Huang, Jia-Chen Gu, Kai Zhang

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 UltraEdit通过无训练、无主题、无内存的方法实现高效语言模型终身编辑，速度快7倍且内存占用低4倍，支持大规模编辑任务。

Comments TMLR 2026

When Refusals Fail: Unstable Safety Mechanisms in Long-Context LLM Agents

当拒绝失效时：长上下文LLM代理中的不稳定安全机制

Tsimur Hadeliya, Mohammad Ali Jauhar, Nidhi Sakpal, Diogo Cruz

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现长上下文LLM代理在性能和拒绝率上存在不稳定安全问题，揭示了评估长多步骤任务代理安全性的挑战。

Comments 12 pages, 11 figures. Accepted at AAAI 2026 TrustAgent Workshop

From Capabilities to Performance: Evaluating Key Functional Properties of LLM Architectures in Penetration Testing

Lanxiao Huang, Daksh Dave, Tyler Cody, Peter Beling, Ming Jin

机构 * Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学电气与计算机工程系布雷拉德部门） ； National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 15890 to 15916, Suzhou, China, November 2025

AcademicEval: Live Long-Context LLM Benchmark

Haozhen Zhang, Tao Feng, Pengrui Han, Jiaxuan You

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by TMLR. Code is available at https://github.com/ulab-uiuc/AcademicEval

KScope: A Framework for Characterizing the Knowledge Status of Language Models

Yuxin Xiao, Shan Chen, Jack Gallifant, Danielle Bitterman, Thomas Hartvigsen, Marzyeh Ghassemi

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by NeurIPS 2025

Scaling LLM Multi-turn RL with End-to-end Summarization-based Context Management

Miao Lu, Weiwei Sun, Weihua Du, Zhan Ling, Xuesong Yao, Kang Liu, Jiecao Chen

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Integrating Rules and Semantics for LLM-Based C-to-Rust Translation

Feng Luo, Kexing Ji, Cuiyun Gao, Shuzheng Gao, Jia Feng, Kui Liu, Xin Xia, Michael R. Lyu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted in ICSME 25 Industry Track

Unraveling Token Prediction Refinement and Identifying Essential Layers in Language Models

Jaturong Kongmanee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

VulBinLLM: LLM-powered Vulnerability Detection for Stripped Binaries

Nasir Hussain, Haohan Chen, Chanh Tran, Philip Huang, Zhuohao Li, Pravir Chugh, William Chen, Ashish Kundu, Yuan Tian

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

One STEP at a time: Language Agents are Stepwise Planners

Minh Nguyen, Ehsan Shareghi

专题命中 长上下文与记忆 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention

Lijie Yang, Zhihao Zhang, Zhuofu Chen, Zikun Li, Zhihao Jia

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Many-Shot In-Context Learning in Multimodal Foundation Models

Yixing Jiang, Jeremy Irvin, Ji Hun Wang, Muhammad Ahmed Chaudhry, Jonathan H. Chen, Andrew Y. Ng

专题命中 长上下文与记忆 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models

Abhinav Jain, Chris Jermaine, Vaibhav Unhelkar

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 8 pages, 5 figures

All Roads Lead to Rome: Unveiling the Trajectory of Recommender Systems Across the LLM Era

Bo Chen, Xinyi Dai, Huifeng Guo, Wei Guo, Weiwen Liu, Yong Liu, Jiarui Qin, Ruiming Tang, Yichao Wang, Chuhan Wu, Yaxiong Wu, Hao Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

A hybrid LLM workflow can help identify user privilege related variables in programs of any size

Haizhou Wang, Zhilong Wang, Peng Liu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Self-Organized Agents: A LLM Multi-Agent Framework toward Ultra Large-Scale Code Generation and Optimization

Yoichi Ishibashi, Yoshimasa Nishimura

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Evaluating Very Long-Term Conversational Memory of LLM Agents

Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, Yuwei Fang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 19 pages; Project page: https://snap-research.github.io/locomo/

LLM as OS, Agents as Apps: Envisioning AIOS, Agents and the AIOS-Agent Ecosystem

Yingqiang Ge, Yujie Ren, Wenyue Hua, Shuyuan Xu, Juntao Tan, Yongfeng Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 35 pages, 4 figures

Learning Hierarchical Procedural Memory for LLM Agents through Bayesian Selection and Contrastive Refinement

通过贝叶斯选择和对比细化学习层次化程序记忆以提升LLM代理

Saman Forouzandeh, Wei Peng, Parham Moradi, Xinghuo Yu, Mahdi Jalili

机构 * School of Engineering, Royal Melbourne Institute of Technology University（皇家墨尔本理工学院工程学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MACLA通过贝叶斯选择和对比细化方法，实现LLM代理的高效学习与持续改进，无需参数更新。

Comments Accepted at The 25th International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS 2026). 21 pages including references, with 7 figures and 8 tables. Code is publicly available at the authors GitHub repository: https://github.com/S-Forouzandeh/MACLA-LLM-Agents-AAMAS-Conference

ContestTrade: A Multi-Agent Trading System Based on Internal Contest Mechanism

ContestTrade：一种基于内部竞争机制的多智能体交易系统

Li Zhao, Rui Sun, Zuoyou Jiang, Bo Yang, Yuxiao Bai, Mengting Chen, Jing Li, Zuo Bai

机构 * Stepfun ； FinStep 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对基于LLM的智能体在金融交易中决策受市场信息影响的问题，提出ContestTrade多智能体交易系统，通过“量化 - 预测 - 分配”竞争机制及两个专业团队协作，在A股回测中取得较好收益和风险调整绩效。

HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation

HyMem：基于信息隔离的长程智能体分层上下文管理

XinQi Wang, Jinwei Xiao, Sijia Cui, Hongming Zhang, Yanna Wang, Qingyang Zhang, Bo Xu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanjing Artificial Intelligence Research of IA（IA南京人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM智能体长程任务上下文杂乱导致推理性能下降的问题，提出分层上下文管理框架HyMem，通过功能分层隔离推理与规划，在GAIA、Browsecomp-plus数据集上取得优于基线的性能。

Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search

大型发现模型：基于经验的基于模型的开放式搜索

Zhongwei Yu, Yan Song, Xue Yan, Anjie Liu, Xingyu Lu, Yihang Chen, Huichi Zhou, Siyuan Guo, Luoyang Sun, Sihan Chen, Xiangning Yu, Jun Wang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究提出大型发现模型（LDM），结合生成模型与贝叶斯非参数奖励替代模型，在神经网络训练、抗体设计和分子优化场景中，相比LLM反思或传统统计搜索，实现了更优的性能提升，可作为通用发现引擎。

Self-Correcting Long-Horizon Search Agents via Tree-Structured Memory

基于树状记忆的自修正长程搜索智能体

Aijun Yang, Qianxue Guo, Ziyi Huang, Yuxuan Chen, Shiyou Qian, Jian Cao

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ReTree树状记忆机制，解决LLM搜索智能体的上下文增长与错误推理问题，在四个基准上优于Full-Trajectory ReAct，准确率最高提升25.6个百分点。

SeDeM: Selective Decompression of Hidden-State Memories for Long-Context Question Answering

SeDeM：面向长上下文问答的隐藏状态记忆选择性解压

Maryam Haghifam, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究针对LLM长上下文推理成本高、证据利用不可靠的问题，提出SeDeM选择性解压框架，通过解耦记忆存储与解码器条件，在1B、3B主干的四个长上下文QA基准上，优于压缩基线及全上下文微调方法，还提升了解码效率。

PRO-LONG: Programmatic Memory Enables Long-Horizon Reasoning

PRO-LONG：程序化内存实现长程推理

Alexis Fox, Junlin Wang, Paul Rosu, Bhuwan Dhingra

机构 * Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对长程任务中LLM智能体的挑战，提出PRO-LONG框架，通过程序化内存管理上下文，保留交互日志并利用编码智能体进展高效搜索历史，在ARC-AGI-3上有显著提升，减少令牌使用并达到高准确率。

SciTrek: Evaluating and Improving Long-Context Numerical Reasoning over Scientific Articles

谁被引用最多？在科学文章上基准测试长上下文数值推理

Miao Li, Alexander Gurung, Irina Saparina, Mirella Lapata

机构 * School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 SciTrek基准测试通过长上下文科学文章问题探索LLM的数值推理能力，发现即使最佳模型在长上下文下也面临显著挑战，尤其在处理引用和复合逻辑问题时表现不佳。

Comments 26 pages