arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 4847 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 4847 篇

2607.24017 2026-07-28 cs.CV cs.AI 新提交 70%

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

在注意力流形中分离语义注意力与结构偏差

Pengkun Jiao, Bin Zhu, Jingjing Chen, Yu-gang Jiang

机构 * Fudan University(复旦大学) Singapore Management University(新加坡管理大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题,提出无需训练的 SPAR 方法,通过净化噪声和重分配注意力,有效恢复真实视觉基础且计算开销小。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23899 2026-07-28 cs.RO cs.AI 新提交 70%

Embodied GPT-5.1: Evidence of a World Model?

具身化GPT-5.1:世界模型的证据?

Roberto Spinelli, Thiago C. Martins

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究探索无实体化训练的GPT-5.1能否控制物理移动机器人,通过低分辨率图像和离散动作集执行任务。它展现出空间推理等新兴能力,但也有效率和感知局限。结果挑战传统观点,促使深入研究大语言模型中物理理解相关问题。

Comments 6 pages, 16 figures. Published in the 2026 Brazilian Conference on Robotics (CROS)

Journal ref R. Spinelli and T. C. Martins, "Embodied GPT-5.1: Evidence of a World Model?," 2026 Brazilian Conference on Robotics (CROS), pp. 394-399, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22832 2026-07-28 cs.LG 新提交 70%

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

MEMENTO:内存引导的基于代码的策略进化的模因算法

Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

机构 * Center for Applied Autonomous Sensor Systems (AASS), Örebro University(应用自主传感器系统中心(AASS),于默奥大学) Örebro University(于默奥大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究长期具身任务中基于代码的策略进化问题,提出内存引导单精英模因框架MEMENTO,通过进化展开评估器及利用反馈指标改进策略,在相关领域实验中性能优于基线,还证明了模拟到现实转移的可行性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11976 2026-07-28 cs.LG 版本更新 70%

LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention

LiteTopK:利用维度诅咒设计长上下文稀疏注意力中的融合索引器 - TopK 内核

Ziqi Yin, Jianyang Gao, Peiqi Yin, Jiangneng Li, Gao Cong

机构 * Nanyang Technological University(南洋理工大学) ETH Zurich(苏黎世联邦理工学院) The Chinese University of Hong Kong(香港中文大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究针对现有 GPU 索引器 - TopK 内核效率低的问题,利用维度诅咒设计 LITETOPK 内核,通过采样估计得分范围划分候选结果桶,降低内存开销,在实际部署中加速 GLM 5.2 预填充阶段,提升了效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21599 2026-07-27 cs.PF cs.AI 新提交 70%

Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse

解耦注意力融合:通过高效的键值缓存重用加速检索增强生成

Xiabao Wu, Wentao Liu, Yongchao Liu, Jiajun Zheng

机构 * Ant Group, China(蚂蚁集团,中国) Southeast University, Nanjing, China(东南大学,南京,中国)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对RAG在长上下文场景中TTFT延迟高及缓存问题,提出解耦注意力融合(DAF)框架,将注意力过程解耦为三个阶段,与Flash-Attention内核兼容,实验显示其在不牺牲准确性的情况下,相比CacheBlend和完全重新计算有显著加速。

Comments Accepted by EuroSys 2026 (poster track)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21284 2026-07-24 cs.CL 新提交 70%

news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

新闻爬虫语言模型:一种用于高质量新闻爬虫的小型长上下文模型

Pascal Stolzenburg, Jonas Golde, Max Dallabetta, Alan Akbik

机构 * Humboldt-Universität zu Berlin(柏林洪堡大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究旨在解决新闻页面结构化内容提取难题,提出基于眼底新闻爬虫库微调的小型长上下文语言模型news-crawler-LM,能将HTML转换为文本和JSON,在HTML到Markdown和JSON提取任务中性能出色,且向研究社区发布了所有模型和工件。

Comments KONVENS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21067 2026-07-24 cs.CL 新提交 70%

PrefReward: Learning User Preference Matrix for Personalized Text Generation

PrefReward:学习用于个性化文本生成的用户偏好矩阵

Yue Wu, Chengbing Wang, Yimeng Bai, Xiaoyan Zhao, Yang Zhang, Fuli Feng

机构 * University of Science and Technology of China(中国科学技术大学) The Chinese University of Hong Kong(香港中文大学) National University of Singapore(新加坡国立大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究针对大语言模型个性化生成中存在的问题,提出PrefReward框架,通过提取用户特定偏好矩阵并将其作为奖励信号指导生成,实验证明该框架在生成质量和个性化可解释性上优于基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17710 2026-07-21 cs.LG 新提交 70%

Planning with Transformers: Chain of Computation and Structured Context Windows

使用Transformer进行规划:计算链与结构化上下文窗口

Ehsan Futuhi, Nathan R. Sturtevant

机构 * Department of Computing Science, University of Alberta(阿尔伯塔大学计算科学系) Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究大语言模型解决规划问题的不足,提出计算链架构,利用结构化上下文窗口,让语言模型学习规划策略、预测世界模型并执行算术运算,在多个任务上取得高成功率,能解决复杂汉诺塔问题且减少训练数据。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16213 2026-07-21 cs.AI 新提交 70%

SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation

SelKV:基于逐令牌合并或丢弃及注意力补偿的选择性键值缓存合并

Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

机构 * National School of Artificial Intelligence (ENSIA)(国家人工智能学院)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对大型语言模型KV缓存内存占用瓶颈问题,提出无训练的SelKV双组件框架,通过软余弦门和注意力比率补偿机制进行缓存压缩,在LongBench数据集上仅保留25%缓存时性能强大,在多文档问答任务中表现出色且解码加速。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05872 2026-07-21 cs.LG math.OC stat.ML 版本更新 70%

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

无迹可循:低秩训练中的不可识别性与优化器状态

Noel Thomas

机构 * Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究低秩训练中优化器子空间不可识别性问题,发现不同小批量计算的子空间估计差异大,平均无法恢复其余方向。提出将刷新视为坐标变化,如LDAdam表现良好,还明确了GaLore有效原因及相关检查要点在于可重现秩k*。

Comments 21 pages, 5 figures, under review at ICOMP2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.01554 2026-07-20 cs.SD cs.AI eess.AS 70%

MOSS Transcribe Diarize Technical Report

MOSS 语音转录与说话人识别技术报告

MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 MOSS转录与识别通过端到端多模态大语言模型,实现了说话人属性化和时间戳化的转录,解决了现有系统在上下文窗口、长距离说话人记忆和时间戳输出方面的不足。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09052 2026-07-13 cs.LG 新提交 70%

COBS: Cumulant Order Block Sparse Attention

COBS:累积阶数块稀疏注意力

Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

机构 * MatX

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究大语言模型中缓解KV缓存读取瓶颈的块稀疏注意力方法,以DeepSeek的NSA为代表分析其块选择问题。通过累积量展开指出现有方法局限,提出COBS方法,在32k RULER基准上提升了NSA基线分数,缩小与密集注意力差距,且减少了KV缓存读取流量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08395 2026-07-10 cs.CR cs.CL 新提交 70%

Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents

令牌流防火墙:持久人工智能代理的语义运行时审计

Puji Wang, Yingchen Zhang, Ruqing Zhang, Jiafeng Guo, Xueqi Cheng

机构 * State Key Laboratory of AI Safety(人工智能安全国家重点实验室) Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所) University of Chinese Academy of Sciences, Beijing, China(中国科学院大学北京校区)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 针对持久人工智能代理不安全内容传播问题,提出TokenWall运行时防御框架,通过对令牌流进行语义审计及相关操作,实现安全-效用权衡,实验显示其有效降低攻击成功率,保持高良性通过率且增加延迟少。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08032 2026-07-10 cs.LG 新提交 70%

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

保留什么,遗忘什么:大语言模型和智能体中内存压缩的率失真视角

Ashwin Gerard Colaco, Nada Lahjouji

机构 * University of California, Irvine(加州大学尔湾分校)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究大语言模型和智能体内存压缩问题,提出基于率失真视角统一分类各层方法,构建七轴分类法并转移机制,还针对相关问题未被测量及缺乏统一基准的情况,转化为提案、实验、原则并梳理开放问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01935 2026-07-09 cs.AI 新提交 70%

A-TMA: Decoupling State-Aware Memory Failures in Long-Term Agent Memory

A-TMA: 解耦长期智能体记忆中的状态感知记忆故障

Zitong Shi, Yixuan Tang, Anthony Kum Hoe Tung

机构 * National University of Singapore(新加坡国立大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 针对长期记忆中状态不一致导致的幽灵记忆问题,提出A-TMA方法,通过状态感知覆盖层在存储、检索和回答三个层面解耦故障,在冲突密集基准上显著提升时间F1。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22140 2026-07-09 cs.CL 版本更新 70%

Psy-Chronicle:A Structured Pipeline for Synthesizing Long-Horizon Campus Psychological Counseling Dialogues

Psy-Chronicle: 一个用于合成长周期校园心理辅导对话的结构化流水线

Chaogui Gou

机构 * University of Science and Technology Beijing(北京科技大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出Psy-Chronicle,一种结构化数据生成框架,用于合成长周期校园心理辅导对话,通过生成学期跨度的时间压力事件图和学生与辅导员代理的交互模拟,构建了包含100个学生档案和9万条对话的CPCD数据集,并通过CPCD-Bench评估模型的长周期校园辅导能力,实验结果表明CPCD有效提升了模型的会话级响应生成和长周期记忆召回能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.09558 2026-07-09 cs.DC cs.LG cs.PL 版本更新 70%

VTC: DNN Compilation with Virtual Tensors for Data Movement Elimination

VTC: 基于虚拟张量的DNN编译以消除数据移动

Muyan Hu, Ahan Gupta, Jiachen Yuan, Vima Gupta, Taeksang Kim, Xin Xu, Janardhan Kulkarni, Ofer Dekel, Vikram Adve, Charith Mendis

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Georgia Institute of Technology(佐治亚理工学院) Microsoft(微软)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 VTC通过引入虚拟张量概念,首次实现消除所有不必要的数据移动,提升DNN编译效率,减少内存占用。

Comments Accepted to OSDI'26

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02967 2026-07-08 cs.LG cs.NE 新提交 70%

Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures

用于稀疏分布式内存的秩排序N选M码:在针对当代神经形态架构的噪声鲁棒性中解开表示和学习效应

Joy Bose

机构 * Independent Researcher(独立研究者) Bengaluru, India(印度班加罗尔)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究针对大语言模型持续学习受限问题,评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效,实验表明其在容量和误码率鲁棒性上有优势,还分析了编码能量,为相关架构提供指导。

Comments 14 pages, 8 tables, 2 figures. Revisits rank-order sparse distributed memory for continual learning and memory-augmented AI. Includes comparisons with CALM and SpikingMamba, statistical evaluation, and real embedding experiments

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02881 2026-07-07 cs.CL 新提交 70%

PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction

PraMem:用于长时行为预测的实践衍生经验记忆

Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Ruoxi Xu, Guiping Jiang, Ruotong Pan, Tingting Gao, Han Li, Xiangyu Wu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所中文信息处理实验室) University of Chinese Academy of Sciences(中国科学院大学) Fudan University(复旦大学) Kuaishou Technology(快手科技)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究长时行为预测问题,针对大语言模型在该任务中的不足,提出PraMem范式,通过对历史序列预实践构建经验记忆辅助长时行为预测,实验证明其性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.13956 2026-07-07 cs.MA cs.AI 版本更新 70%

AOI: Context-Aware Multi-Agent Operations via Dynamic Scheduling and Hierarchical Memory Compression

AOI:通过动态调度和分层内存压缩实现的上下文感知多智能体操作

Zishan Bai, Hanxuan Chen, Jiayi Gu, Wenqian Weng, Enze Ge, Jiacheng Shi, Yichao Zhang, Zhimo Han, Riyang Bao, Xinyuan Song, Jacqueline Pang, Junfeng Hao

机构 * Columbia University(哥伦比亚大学) Hunan University(湖南大学) Central University of Finance and Economics(中央财经大学) Chongqing University(重庆大学) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) AI Agent Lab, Vokram Group(Vokram集团人工智能代理实验室) College of William and Mary(威廉与玛丽学院) University of Texas(得克萨斯大学) Zhengzhou University of Light Industry(郑州轻工业大学) Emory University(埃默里大学) Department of Nephrology, Affiliated Hospital of Guangdong Medical University(广东医科大学附属医院肾病科)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 本文提出AOI框架,通过动态任务调度和分层内存压缩,提升复杂IT基础设施的自主运维能力,实现72.4%的上下文压缩和94.2%的任务成功率。

Comments new revision

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.19228 2026-07-07 cs.CL 版本更新 70%

CompLLM: Compression for Long Context Q&A

CompLLM:长上下文问答的压缩方法

Gabriele Berton, Jayakrishnan Unnikrishnan, Son Tran, Mubarak Shah

机构 * Amazon(亚马逊) Center For Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究针对大语言模型处理长上下文的计算挑战,提出CompLLM软压缩技术。核心方法是将上下文分段独立压缩,具有效率、可扩展性和可重用性。贡献是提升处理速度、减小缓存大小且性能可比甚至超越未压缩情况。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01814 2026-07-03 cs.AI 新提交 70%

MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

MMIR-TCM:面向中医临床决策支持的记忆集成多模态推理与检索

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School(清华深圳国际研究生院生物医药与健康工程研究院) Chinese Medicine Guangdong Laboratory(广东省中医药实验室) Beijing Normal University(北京师范大学) First Hospital of Hebei Medical University(河北医科大学第一医院) Lishui Hospital of Zhejiang University(浙江大学丽水医院) XiaoMing TCM Hospital(小明中医医院)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出MMIR-TCM框架,结合多模态大模型、记忆增强分割与检索增强生成,解决中医舌诊中的主观性和语义鸿沟问题,在MedTCM数据集上优于GPT-4o等模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01204 2026-07-02 cs.LG 新提交 70%

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2: 将 TiRex 推广到多变量数据和流式处理

Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

机构 * ELLIS Unit Linz, LIT AI Lab & Institute for Machine Learning, JKU Linz, Austria(ELLIS 林茨单元,LIT AI 实验室与机器学习研究所,林茨约翰·开普勒大学,奥地利) NXAI Lab, Linz, Austria(NXAI 实验室,林茨,奥地利) NXAI GmbH, Linz, Austria(NXAI 有限公司,林茨,奥地利) Interdisciplinary Transformation University Austria, Linz, Austria(奥地利跨学科转型大学,林茨,奥地利)

专题命中 长上下文与记忆 :foundation model(abstract);pretraining(abstract);分类 cs.LG

AI总结 提出基于 xLSTM 的循环时间序列基础模型 TiRex-2,通过记忆中心设计实现多变量预测与流式处理,在零样本任务上达到最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29727 2026-06-30 cs.AI cs.HC 70%

DeepTrans Studio: Turning Expert Interventions into Shared Team Knowledge in Agentic Translation Workflows

DeepTrans Studio:将专家干预转化为智能翻译工作流中的团队共享知识

Ziyang Lian, Qingya Zhang, Hao Wang, Huiwen Xiong, Qi Yang, Lingyi Meng, Xiaoyi Gu, Rui Wang

机构 * School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院) School of Foreign Languages, East China Normal University(华东师范大学外国语言学系) School of Foreign Studies, Shanghai University(上海大学外国语言学院) Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出DeepTrans Studio协作翻译平台,通过让专家在智能工作流中干预并保存决策到共享记忆,将一次性修正转化为可复用的团队知识,解决翻译协作中知识孤岛问题。

Comments 4 pages, 2 figures. Accepted to CSCW 2026 Demo. Code and demo video: https://github.com/hint-lab/deeptrans-studio, https://youtu.be/cNpafhHAEjg

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.15389 2026-06-30 cs.CL 70%

When Does Sparsity Mitigate the Curse of Depth in LLMs

当稀疏性如何缓解大语言模型中的深度诅咒

Dilxat Muhtar, Xinyuan Song, Sebastian Pokutta, Max Zimmer, Nico Pelleriti, Thomas Hofmann, Shiwei Liu

机构 * Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) ELLIS Institute Tübingen(ELLIS图宾根研究所) ETH Zürich(苏黎世联邦理工学院) Tübingen AI Center(图宾根人工智能中心) Zuse Institute Berlin(柏林祖泽研究所) Technical University of Berlin(柏林工业大学) Emory University(埃默里大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文研究稀疏性机制如何缓解大语言模型深度诅咒,通过实验发现稀疏性可降低输出方差并提升层间区分度,提出训练深度有效LLM的实用规则,提升下游任务准确率4.6%。

Comments 32 pages, 29 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20920 2026-06-29 cs.LG 版本更新 70%

Simplified Sparse Attention via Gist Tokens

遗忘,然后回忆:通过概要稀疏注意力实现可学习的压缩与选择性展开

Yuzhen Mao, Michael Y. Li, Emily B. Fox

机构 * Stanford University(斯坦福大学)

专题命中 长上下文与记忆 :language model(abstract);pretraining(abstract);分类 cs.LG

AI总结 本文提出一种通过概要稀疏注意力实现可学习的压缩与选择性展开机制,结合紧凑的全局表示与目标访问细粒度证据,提升长上下文大语言模型的效率与性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26654 2026-06-26 cs.CL cs.HC cs.IR 新提交 70%

SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context

SocialPersona: 基于多模态社交媒体上下文的个性化画像与回复基准测试

Qinkai Zhang, Yanyan Zhao, Xin Lu, Yulin Hu, Pengtao Han, Bing Qin

机构 * Harbin Institute of Technology(哈尔滨工业大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出SocialPersona基准,评估多模态大语言模型从社交媒体时间线推断用户偏好并用于对话的能力,实验表明模型在细粒度与近期偏好上表现不足。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.06457 2026-06-25 cs.CL 版本更新 70%

A Systematic Analysis of Hybrid Linear Attention

混合线性注意力机制的系统分析

Dustin Wang, Rui-Jie Zhu, Steven Abreu, Yong Shan, Taylor Kergan, Yuqi Pan, Yuhong Chou, Zheng Li, Jibin Wu, Ge Zhang, Wenhao Huang, Jason Eshraghian

机构 * UC Santa Cruz(加州大学圣克鲁兹分校) ByteDance Seed(字节跳动种子) University of Groningen(格罗宁根大学) CASIA(中国科学院自动化研究所) PolyU M-A-P

专题命中 长上下文与记忆 :language model(abstract);prompting(abstract);分类 cs.CL

AI总结 系统评估六种线性注意力变体在独立和混合架构下的性能,发现独立性能优越的模型在混合中不一定表现好,推荐HGRN-2或GatedDeltaNet以3:1至6:1的线性-全注意力比例达到Transformer级召回率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24626 2026-06-24 cs.AI 新提交 70%

SAFARI: Scaling Long Horizon Agentic Fault Attribution via Active Investigation

SAFARI: 通过主动调查扩展长时域智能体故障归因

Chenyang Zhu, Jiayu Yao, Kushal Chawla, Youbing Yin, Nathan Wolfe, Pengshan Cai, Jingyu Wu, Spencer Hong, Sangwoo Cho, Shi-Xiong Zhang, Daben Liu, Sambit Sahu, Erin Babinsky

机构 * Department of Engineering Sciences(工程科学系) Applied Mathematics, Northwestern University(应用数学,西北大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出SAFARI框架,用工具增强的诊断循环替代线性上下文加载,结合短期记忆解耦诊断准确性与上下文限制,在Who&When和TRAIL GAIA数据集上分别提升20%和19%,并在超出上下文窗口5倍时保持0.58精度。

Comments Published at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24595 2026-06-24 cs.CL 新提交 70%

MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery

MEMPROBE:通过隐藏用户状态恢复探测长期智能体记忆

Enze Ma, Yufan Zhou, Wei-Chieh Huang, Jie Yang, Huanhuan Ma, Zixuan Wang, Chengze Li, Chunyu Miao, Philip S. Yu, Zhen Wang

机构 * University of Illinois Chicago(伊利诺伊大学芝加哥分校) KU Leuven(库尔勒大学) UC San Diego(圣地亚哥大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL

AI总结 提出MEMPROBE基准,通过从智能体记忆重建隐藏用户状态来直接评估长期记忆,发现任务完成与记忆可恢复性是不同的能力。

详情

展开后加载摘要…

URL PDF HTML 收藏