Berkeley and Heiserman as an Unexhausted Architecture for Embodied Machine Intelligence
伯克利和海斯曼作为具身机器智能的未穷尽架构
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 本文以伯克利的《符号逻辑与智能机器》及海斯曼的工作为研究对象,探讨其在具身机器智能方面贡献。他们将逻辑与硬件、行为等联系,超越静态逻辑形式,为具身机器人认知架构方法提供思路,不应被视为历史终点。
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
伯克利和海斯曼作为具身机器智能的未穷尽架构
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 本文以伯克利的《符号逻辑与智能机器》及海斯曼的工作为研究对象,探讨其在具身机器智能方面贡献。他们将逻辑与硬件、行为等联系,超越静态逻辑形式,为具身机器人认知架构方法提供思路,不应被视为历史终点。
Maglev:滑动循环记忆
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校)
专题命中 长上下文与记忆 :pretraining(abstract);分类 cs.LG
AI总结 本文提出Maglev,一种带固定记忆的循环Transformer架构,通过耦合模型与记忆一致性损失实现训练可并行性,在验证损失及下游预训练基准上优于基线,参数共享可减少内存。
Comments Neural Architecture Research
从虚假焦点到真实精确:基于混淆的对抗性注意力学习在Transformer中
机构 * Chinese Academy of Sciences, Computer Network Information Center(中国科学院计算机网络信息中心)
专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI
AI总结 本文提出AFA机制,通过对抗性训练优化Transformer模型的注意力分布,提升情感分析任务的准确性。
Comments 9 pages, 3 figures
OR-Agent:连接进化搜索与结构化研究以实现自动化算法发现
机构 * Key Laboratory of Road and Traffic Engineering of the Ministry of Education(教育部道路与交通工程重点实验室) ; College of Transportation, Tongji University(同济大学交通运输学院)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 OR-Agent通过结构化树形工作流和进化-系统化构想机制,实现自动化算法发现的高效探索与科学发现。
S-CEReBrO:突破连续脑电图监测中的内存瓶颈
机构 * ETH Zurich(苏黎世联邦理工学院) ; Nanyang Technological University(南洋理工大学) ; University of Bologna(博洛尼亚大学)
专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.LG
AI总结 该研究针对连续EEG监测中Transformer架构的内存瓶颈,提出S-CEReBrO架构,通过窗口交替注意力实现内存恒定,在EEG下游任务中性能领先且效率提升。
Comments This is the pre-rebuttal version of a paper accepted at MICCAI 2026. The camera-ready version will be posted following the embargo
EfficientGraph-RAG:面向跨任务检索增强生成的结构化检索状态管理
机构 * School of Computer Science and Engineering, Northeastern University, China(东北大学计算机科学与工程学院) ; Tsinghua University, China(清华大学) ; Kunming University of Science and Technology, China(昆明理工大学) ; NiuTrans Research, Shenyang, China(沈阳NiuTrans研究院)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL
AI总结 提出EfficientGraph-RAG框架,通过显式定义检索状态(TAM、MARS、SMP三个机制)实现结构化状态管理,在多个基准上提升答案质量并降低大模型token消耗。
密集局部依赖会在长序列Transformer训练期间引发注意力对数爆炸和训练不稳定性
专题命中 长上下文与记忆 :language model(abstract);分类 cs.LG
AI总结 本研究揭示长序列Transformer训练中注意力对数爆炸的主因是密集局部依赖,经实验验证该增长由依赖密度驱动,提出显式建模密集局部依赖的长上下文Transformer设计原则。
UniMem:用于无边界任务流的互补情景到参数记忆
机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室) ; Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院) ; Meituan(美团) ; AI Centre, Department of Computer Science, University College London(伦敦大学学院计算机科学系人工智能中心)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL
AI总结 研究针对大语言模型在无边界任务流部署的稳定性 - 可塑性困境,提出UniMem自路由框架,用可学习路由令牌协调互补记忆路径,能按需扩展记忆,实验证明其在长周期流任务序列中优于基线并保持执行保真度。
迈向智能体操作系统——从经典操作系统和云操作系统中汲取的经验教训
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 智能体人工智能系统处于发展试验阶段,缺乏核心抽象概念共识。研究提出借鉴经典和云操作系统发展路径,扩展原语推导新智能体抽象概念,精确指定语义并整合,以推动该领域发展。
MemTX:用于有状态智能体内存的事务性信念提交
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究针对大语言模型智能体通过共享内存协调时内存写入问题,提出事务性信念提交协议MemTX,通过携带多种信息、在事务中暂存写入等方式,经机器检查确保不变量,在多主干上领先基线且无下游危害。
Comments Preprint
LazyMem:广泛检索,按需构建以实现高效长期智能体记忆
机构 * School of Data Science and Engineering, East China Normal University(数据科学与工程学院,华东师范大学)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究针对大语言模型智能体长期记忆中原始对话历史的问题,提出LazyMem方法,将记忆构建推迟到查询时,通过轻量级模型处理候选池,经特定训练方式,在基准测试中取得高准确率,减少记忆令牌数和延迟。
Comments 29 pages, under review
作为估计的逐出:测试时内存的固定延迟平滑视图,以及测量何时胜过累积
机构 * University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) ; New York University(纽约大学)
专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI
AI总结 研究语言模型内存管理,将存储项保留决策转化为对项目是否被重用的估计问题,提出固定延迟平滑策略RMM。在受控设置中有优势,在第三方基准测试中表现一般,贡献了框架及测量与累积效果对比的映射。
Comments 8 pages, 3 figures, 3 tables
MEMOIR:偏好漂移谱上推荐的时间行为记忆
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL
AI总结 研究提出MEMOIR框架用于推荐,将用户交互历史按时间窗口分割,用语言模型生成记忆并聚合为用户表示。在亚马逊评论数据上实验,与UniSRec对比,发现其在不同偏好漂移程度用户中有不同表现,此漂移分层模式是主要贡献。
Comments 6 pages, 2 figures
ACM:长期任务的智能体上下文管理
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Meta
专题命中 长上下文与记忆 :post-training(abstract);分类 cs.AI
AI总结 研究长期智能体任务上下文管理问题,提出ACM框架,受人类记忆启发让智能体自主管理上下文,还开发训练后管道,能提升模型在相关任务上的性能,有效管理上下文可降低压力、实现扩展探索并产生更一致方案。
持久计算状态:用于生成式世界模型的以会话为中心的运行时
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究发现当前视频世界模型用作模拟器失败的归因不完整,定义了持久计算状态(PCS),构建以会话为中心的运行时,通过测量发现PCS,实现低检查点和恢复成本以及新的内存管理方式。
Comments 29 pages, 8 figures, 10 tables
AgentKVShift:用于智能体记忆系统的高效KV缓存重用
机构 * University of California, San Diego(加利福尼亚大学圣地亚哥分校)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究针对内存增强语言模型智能体推理成本高的问题,提出无训练、探针引导的AgentKVShift方法,通过估计内存级偏移量校正重用令牌,在多语言模型和基准测试中表现出色,实现低重新计算量和预填充加速,还能与缓存量化正交组合提升性能。
VTM-Nav:用于跨情节对象目标导航的分层视觉拓扑记忆
机构 * MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室) ; School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学交叉科学学院) ; Tsinghua University(清华大学) ; University of Chinese Academy of Sciences(中国科学院大学)
专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI
AI总结 研究跨情节对象目标导航问题,提出无训练的VLM导航框架\method,其带有分层视觉拓扑记忆,通过粗到细匹配检索经验,在三个基准测试中性能最佳,证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。
Naju:一种具有独立保留和写入功能的用于长序列记忆的原生离散状态空间模型
机构 * Korea Institute of Energy Technology (KENTECH)(韩国能源技术研究所)
专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI
AI总结 研究针对长序列记忆跟踪中保留与覆盖的矛盾需求,提出Naju模型,将循环更新分解为离散极点、写入增益及映射。该模型在训练长度4倍时仍兼具保留与覆盖能力,在多任务中结合长距记忆与良好性能,优于Mamba基线。
ArbiGraph:用于评估上下文管理的任意可扩展可验证任务图
机构 * University of Toronto(多伦多大学) ; Vector Institute(向量研究所)
专题命中 长上下文与记忆 :language agent(abstract);分类 cs.AI
AI总结 ArbiGraph作为基准生成器,将任务表示为带Python求解器的自然语言问题,通过类型化中间状态组合任务。用多种任务类别实例化并评估智能体,发现其在孤立任务和复杂相关任务上表现不同,揭示了单任务评估无法发现的问题。
探索性与同化性反思:用于长期记忆的反思性回忆循环
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究基于大语言模型的自主智能体外部记忆问题,提出探索性 - 同化性反思(EAR)框架,结合探索性反思与同化性反思两种机制,提高初始检索性能和样本效率,在长期对话基准上比基线检索器提升检索率达 17.9%,且样本效率高、抗噪声反馈。
SynH-Rank:通过多样化数据合成和分层排序训练实现质量感知代码搜索
机构 * College of Computer Science and Technology(计算机科学与技术学院) ; The State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室) ; Zhejiang University(浙江大学) ; Hangzhou City University(杭州市城市大学) ; Zhejiang University and Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(浙江大学和杭州高新区(滨江)区块链与数据安全研究院)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL
AI总结 研究针对代码搜索中重排器忽视非功能质量的问题,提出SynH-Rank框架,结合大语言模型数据合成与分层排序训练,采用三级标注方案及新指标,有效提升了代码搜索质量,在多方面取得优于传统方法的性能。
用于主动具身安全的自进化即时记忆
机构 * Huazhong University of Science and Technology(华中科技大学) ; Tsinghua University(清华大学) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 长上下文与记忆 :language model(abstract);分类 cs.LG
AI总结 研究视觉语言模型在闭环交互中应对动态危险的问题,提出自进化即时记忆框架,含RSG、事实记忆和经验记忆,并通过自动测试-验证-写入循环完善元技能,实验证明该框架大幅提升安全成功率且不阻碍任务进展。
智能体是否会梦到虚假记忆?对多模态人工智能智能体长期记忆的黑盒视觉攻击
机构 * University of California, Irvine(加州大学尔湾分校)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.LG
AI总结 研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击,提出Lucid框架,通过制作扰动实现记忆中毒和注入两种攻击模式,在多种对话领域和架构上评估,揭示了多模态记忆管道的结构漏洞。
Comments 34 pages, 5 figures, 15 tables
OpsMem:用于故障诊断的具有跨内存共振的双内存推理
机构 * Huawei(华为)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 针对现代软件系统故障诊断中缺乏协调诊断状态与操作经验机制的问题,提出双内存框架OpsMem,通过跨内存共振等进行多智能体诊断,实验表明其在华为微服务故障诊断数据集上优于基线,提升了匹配度和相关性。
Comments 6 pages, 5 figures
用于安全开放式探索的异构智能体群组及运行时约束记忆
机构 * Google DeepMind(谷歌DeepMind)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究针对语言模型智能体安全与探索困境,提出将关注点分离到专门角色,通过蒙特卡洛树搜索编译失败为‘伤疤’约束补丁,在空间语义沙盒实验中,该方法能到达远程目标、防止违规、减少令牌消耗,还能在资源约束下降低成本。
Comments 12 pages, 1 figure, 12 tables
人工智能小镇:与你的数字分身交友并赚钱
机构 * INSAIT, Sofia University “St. Kliment Ohridski”(INSAIT,索非亚大学“圣克莱门特·奥赫里德斯基”分校) ; Newcastle University(纽卡斯尔大学) ; Linköping University(林雪平大学)
专题命中 长上下文与记忆 :prompting(abstract);分类 cs.AI
AI总结 研究针对现有方法不足,提出AI YOU框架,结合多种技术进行角色推断,通过记忆机制保持一致性,实验显示其在共形覆盖、不确定性校准等方面表现良好,提升了角色保真度,AI YOU Town原型可用于未来交互。
Comments 28 pages
通过自我发现的规范进行智能体上下文学习
机构 * University of Southern California(南加州大学) ; University of Florida(佛罗里达大学) ; Emory University(埃默里大学) ; Adobe Research(Adobe研究院) ; The Ohio State University(俄亥俄州立大学) ; National Taiwan University(国立台湾大学)
专题命中 长上下文与记忆 :prompting(abstract);分类 cs.AI
AI总结 研究上下文学习困难的原因,发现其不仅需内容获取还需规范获取。设计PSCI干预措施,提取并强化局部规范,在多个模型上取得显著提升,验证了规范获取的重要性,表明上下文学习依赖内容与规范获取。
XALPHA:一个用于从假设到代码的阿尔法发现的内存驱动人工智能量化研究员
机构 * School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL
AI总结 针对金融市场难以发现交易信号问题,介绍内存驱动的XAlpha人工智能量化研究员,它通过多源研究内存系统,实现从假设到代码的闭环阿尔法发现过程,实验表明其比基线有更强的阿尔法发现性能。
SAGEAgent:用于多模态生存预测中成本感知模态获取的自进化智能体
机构 * Vanderbilt University(范德堡大学) ; Vanderbilt University Medical Center(范德堡大学医学中心)
专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI
AI总结 研究多模态生存预测中如何平衡预测准确性与临床侵入性,提出基于自进化大语言模型的SAGEAgent,通过多种记忆和工具为患者决定诊断方式,实验证明其能在胶质瘤队列中降低获取负担并保持竞争力。
WAM-TTT:在测试时通过观察人类行为来引导世界行动模型
机构 * Peking University(北京大学) ; Galbot ; CASIA(中国科学院自动化所) ; Tsinghua University(清华大学)
专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.AI
AI总结 研究旨在解决引导机器人基础模型的难题,提出WAM-TTT框架,通过自监督视频预测吸收人类视频到自适应内存,经元训练阶段对齐人机行为,测试时仅用未标记人类视频,实现高效可重复引导且优于基线。