LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 长上下文与记忆 4822 篇
A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts
专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)
Comments Website: https://read-agent.github.io
Clustered Retrieved Augmented Generation (CRAG)
专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)
RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text
专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)
Comments Under review
ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition
ParaASR：面向快速长上下文基于大语言模型的语音识别的多令牌预测
机构 * StepFun（阶跃星辰） ； NTU（南洋理工大学） ； PKU（北京大学） ； UNSW（新南威尔士大学） ； SJTU（上海交通大学） ； USTC（中国科学技术大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)
AI总结 ParaASR是一款基于大语言模型的ASR系统，通过多令牌预测技术，在保持低错误率、低延迟的同时，支持32K长上下文及30分钟音频的快速转录，兼顾识别质量、速度与上下文长度。
Comments 14 pages, 3 figures, 4 tables
Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion
基于大语言模型衍生成分标签和多模态融合的食品图像分割
机构 * National Cheng Kung University（国立成功大学）
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题，提出两个多模态模块LIM-F和LIM-Q，利用大语言模型衍生标签提升分割性能，在FoodSeg103基准测试中取得领先，且内存消耗增加适度，为细粒度食品理解提供实用方案。
KaPilot: LLM-Assisted Generation of Kani Specifications for Unsafe Rust Verification
KaPilot：用于不安全Rust验证的大语言模型辅助Kani规范生成
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 研究针对不安全Rust内存安全验证规范编写难题，提出KaPilot多智能体框架，经轻量级分析、智能体协作及循环优化、策略筛选确定最佳规范，评估显示其在规范生成成功率和质量上优于AutoSpec。
MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models
MetaState: 持久工作记忆增强离散扩散语言模型的推理能力
机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Harvard University（哈佛大学）
专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 MetaState通过引入轻量级循环增强模块，为冻结的离散扩散语言模型提供持久固定大小的工作记忆，提升推理性能，平均提升4.5%。
Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models
检索头能看见图像吗？长上下文视觉语言模型中的多模态检索头
机构 * HKUST（香港科技大学） ； University of Edinburgh（爱丁堡大学） ； CUHK（香港中文大学） ； NVAITC, NVIDIA, Santa Clara, USA（NVIDIA Santa Clara 分公司） ； Tsinghua University（清华大学）
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)
AI总结 本文提出一种多模态检索头检测方法，发现视觉语言模型中仅有4.4-10.2%的注意力头贡献了50%的正检索分数，这些头对长上下文推理至关重要，且可直接用于文档检索提升性能。
Comments Work in Progress
Auditing Forgetting in Limited Memory Language Models
审计有限记忆语言模型中的遗忘
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出因果审计框架，通过改变推理时数据库状态分解删除后行为，发现参数泄漏接近零，残留主要来自近邻检索，遗忘边界主要由数据库管理员决定。
Comments 17 pages, 7 figures, 6 tables
Tapered Language Models
锥形语言模型
机构 * Mila ； Cornell University（康奈尔大学） ； Université de Montréal（蒙特利尔大学） ； CIFAR AI Chair（CIFAR人工智能教席）
专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 针对现有语言模型各层参数均匀分配的问题，提出锥形语言模型（TLM），在固定预算下单调递减层容量，实验表明MLP宽度按余弦调度锥形化可提升困惑度和下游性能。
M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction
M2HRI：一种LLM驱动的多模态多智能体框架，用于个性化人机交互
机构 * University of Virginia（弗吉尼亚大学）
专题命中 长上下文与记忆 ：LLM(title,title_cn)
AI总结 提出M2HRI框架，通过个性、长期记忆和情境化协调机制赋予每个机器人独特身份，实验表明该方法能提升交互自然性和协调性。
PROSE: Training-Free Egocentric Scene Registration with Vision-Language Models
PROSE: 基于视觉语言模型的无训练自我中心场景配准
机构 * ETH Zurich（苏黎世联邦理工学院） ； VGG, University of Oxford（牛津大学VGG实验室） ； ETH AI Center（苏黎世联邦理工学院人工智能中心）
专题命中 长上下文与记忆 ：language model(title,abstract)；foundation model(abstract)
AI总结 提出PROSE方法，利用预训练视觉语言模型将RGB序列提升为对象级3D场景图，通过对象高度先验和相同/不同查询匹配实例，无需训练或深度传感器即可实现自我中心场景配准，在Aria基准上超越几何和场景图基线。
Comments Project page: https://rckola.github.io/prose/
Selection Integrity for LLM Graph Memory: An Accumulability Criterion for Information-Flow-Blind Retrieval
LLM图记忆的选择完整性：面向信息流盲检索的可累积性准则
专题命中 长上下文与记忆 ：LLM(title,title_cn)
AI总结 针对图记忆检索中信息流控制盲区，提出可累积性准则，证明无源结构写入可导致不可逆转账被误导，并通过重分配性而非依赖性预测漏洞，提出认证子图重计算防御。
Whole-Pool Setwise Reranking with Long-Context Language Models
基于长上下文语言模型的整池集合重排序
专题命中 长上下文与记忆 ：language model(title)；LLM(abstract,abstract_cn)
AI总结 提出整池集合重排序方法，利用长上下文语言模型一次性处理所有候选段落，并通过DualEnd方法从两端同时排序，减少模型调用次数，提升效率。
Comments 4 pages main content, 10 page Appendix
LRanker: LLM Ranker for Massive Candidates
LRanker: 面向海量候选集的大语言模型排序器
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 提出LRanker框架，通过候选聚合编码器和基于图的测试时缩放机制，解决大语言模型在海量候选集排序中受限于上下文长度和高计算成本的问题，在多个场景下实现显著性能提升。
Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks
相同排名，不同赢家：评分目标如何塑造LLM记忆基准
专题命中 长上下文与记忆 ：LLM(title,title_cn)
AI总结 本文揭示对话记忆评估中评分目标选择（原始、来源、规范）的隐含性，通过TIAP审计发现目标切换会显著改变基准结论，并建议明确报告评分目标。
Language Model Memory and Memory Models for Language
语言模型记忆与记忆模型用于语言
机构 * IBM（IBM公司）
专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究探讨了语言模型和记忆模型在信息存储中的能力差异，发现语言模型的嵌入向量信息较少，而自编码器在输入再生训练中能形成接近完美的记忆，提出了一种可并行的编码器-解码器记忆模型架构，并通过结合因果和信息保留目标函数来提升记忆形成和解码能力。
LLM-Assisted Authentication and Fraud Detection
基于大语言模型的认证与欺诈检测
专题命中 长上下文与记忆 ：LLM(title,abstract)
AI总结 本文提出基于大语言模型的认证机制和欺诈检测流水线，通过语义判断和文档分段提升认证准确率，减少欺诈误报，验证了大语言模型在安全流程中的应用价值。
Comments 20 pages, 7 figures, 2 tables
From Speech to Profile: A Protocol-Driven LLM Agent for Psychological Profile Generation
从语音到档案：一种基于协议的LLM代理用于心理档案生成
机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Key Laboratory of Biomedical Imaging Science and System, Chinese Academy of Sciences（中国科学院生物医学成像科学与系统重点实验室）
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 本文提出StreamProfile框架，通过增量处理咨询语音，提取证据并生成可追溯的心理档案，有效避免幻觉和长上下文遗忘问题。
Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning
具有记忆增强的视觉-语言代理用于持久且语义一致的对象描述
机构 * Italian Institute of Technology, Genoa, Italy（意大利理工学院，热那亚，意大利） ； University of Genoa, Genoa, Italy（热那亚大学，热那亚，意大利）
专题命中 长上下文与记忆 ：language agent(title,abstract)；language model(abstract)
AI总结 本文提出一种统一的记忆增强视觉-语言代理，通过单一自回归框架同时处理数据关联、对象描述和探索策略，提升持久且语义一致的对象描述能力。
Comments 24 pages, 7 figures, 7 tables (including Supplementary Materials)
Bridging Code Property Graphs and Language Models for Program Analysis
连接代码属性图与语言模型用于程序分析
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)
AI总结 本文提出codebadger，结合Joern的代码属性图引擎与LLM，解决代码分析中的挑战，通过高级工具实现程序切片、污点追踪等，提升大规模代码库的分析能力。
Comments Accepted at Software Vulnerability Management Workshop @ ICSE 2026
PRISM: Breaking the O(n) Memory Wall in Long-Context LLM Inference via O(1) Photonic Block Selection
PRISM：通过O(1)光子块选择突破长上下文LLM推理的O(n)内存瓶颈
机构 * Department of Physics, Chungnam National University（Chungnam National University 物理系）
专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 PRISM通过光子广播与加权范式，实现长上下文LLM推理中O(n)内存带宽的突破，采用O(1)光子块选择方法，显著提升效率与能效比。
Comments 28 pages, 27 figures, 15 tables, including supplementary material. Code available at https://github.com/hyoseokp/PRISM
Recursive Language Models Meet Uncertainty: The Surprising Effectiveness of Self-Reflective Program Search for Long Context
递归语言模型与不确定性：自我反思程序搜索在长上下文中的意外效果
机构 * Apple（苹果公司）
专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出SRLM框架，通过引入不确定性感知的自我反思，提升长上下文处理能力，实验显示其在多种任务中优于现有基线，且无需递归机制。
Comments preprint
LLM-HPC++: Evaluating LLM-Generated Modern C++ and MPI+OpenMP Codes for Scalable Mandelbrot Set Computation
LLM-HPC++: 评估LLM生成的现代C++和MPI+OpenMP代码用于可扩展的曼德勃罗集计算
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 本文评估了LLM生成的C++和MPI+OpenMP代码在曼德勃罗集计算中的性能，发现ChatGPT-4和5在语法精度和可扩展性方面表现突出。
AriadneMem: Threading the Maze of Lifelong Memory for LLM Agents
AriadneMem: 为LLM代理梳理终身记忆的迷宫
机构 * Arizona State University（亚利桑那州立大学） ； Morgan Stanley（摩根大通） ； Rice University（里奇大学） ； Clemson University（克莱姆森大学） ； Northwestern University（西北大学） ； UC Davis（加州大学戴维斯分校） ； Iowa State University（爱荷华州立大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Columbia University（哥伦比亚大学） ； Halmstad University（哈马格大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 AriadneMem通过解耦的两阶段流程提升LLM代理在长期对话中的多跳和平均F1表现，同时减少运行时间。
GeoPipe: a Geo-distributed LLM Training Framework with enhanced Pipeline Parallelism in a Lossless RDMA-enabled Datacenter Optical Transport Network
GeoPipe：一种具有增强流水线并行性的地理分布式LLM训练框架，在无损RDMA启用的数据中心光传送网络中
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 GeoPipe提出了一种基于无损RDMA的数据中心光传送网络的地理分布式LLM训练框架，通过增强的流水线并行技术显著降低计算气泡比率。
Comments 6 pages, 4 figures
Journal ref 2025 Asia Communications and Photonics Conference (ACP), 2025
Can Vision-Language Models Handle Long-Context Code? An Empirical Study on Visual Compression
视觉-语言模型能处理长上下文代码吗？对视觉压缩的实证研究
机构 * Zhejiang University（浙江大学） ； Hangzhou City University（杭州市大学） ； Shenzhou Aerospace Software Technology Company Limited（神州航天软件技术有限公司）
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)
AI总结 本文提出LongCodeOCR，通过视觉压缩替代文本压缩，提升长上下文代码任务的性能与效率，同时揭示了视觉压缩在全局依赖支持与保真度之间的权衡。
ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management
ContiguousKV: 通过粒度对齐的KV缓存管理加速LLM预填
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)
AI总结 ContiguousKV通过粒度对齐的KV缓存管理，提升LLM预填效率，实现3.85倍加速并保持输出质量。
LOOM: Personalized Learning Informed by Daily LLM Conversations Toward Long-Term Mastery via a Dynamic Learner Memory Graph
LOOM：通过动态学习者记忆图实现每日LLM对话指导的个性化学习以实现长期掌握
专题命中 长上下文与记忆 ：LLM(title,abstract)；foundation model(abstract)
AI总结 LOOM通过动态学习者记忆图分析每日LLM对话，生成个性化学习材料以实现长期掌握，兼顾连续性和主动性，提升学习者持续进步与即时相关性的平衡。
Comments Accepted to the PerFM Workshop at AAAI 2026
