arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型推理能力

大模型数学、逻辑、规划、多步推理和测试时计算能力。

共收录 5878 信号源:cs.CL, cs.AI, cs.LG

1. 其他推理 5878 篇

2605.10036 2026-08-04 cs.NI cs.AI 版本更新 57%

Bridging the Cognitive Gap: A Unified Memory Paradigm for 6G Agentic AI-RAN

弥合认知鸿沟:面向6G智能AI-RAN的统一记忆范式

Xijun Wang, Zhaoyang Liu, Chenyuan Feng, Xiang Chen, Howard H. Yang, Tony Q. S. Quek

机构 * Sun Yat-sen University, China(中山大学,中国) Zhejiang University, China(浙江大学,中国) University of Exeter, U.K.(埃克塞特大学,英国) Singapore University of Technology and Design, Singapore(新加坡科技设计大学,新加坡) Purple Mountain Laboratories, Nanjing, China(紫金山实验室,南京,中国)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 本文提出一种统一记忆范式,通过将生物记忆层次映射到异构计算架构,弥合感知与推理之间的鸿沟,实现6G网络中自主决策的跨时间尺度状态共享。

Comments This work has been submitted to the IEEE for possible publication

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11083 2026-08-04 cs.LG cs.CR 版本更新 57%

Token-Efficient Change Detection in LLM APIs

LLM API中的令牌高效变化检测

Timothée Chauvin, Clément Lalanne, Erwan Le Merrer, Jean-Michel Loubes, François Taïani, Gilles Tredan

机构 * Université de Rennes, Inria, CNRS/IRISA(里昂大学、法国国家信息与自动化技术研究院、法国国家科学研究中心/IRISA) Equipe Regalia, Inria(Regalia团队、法国国家信息与自动化技术研究院) LAAS, CNRS(拉劳斯研究中心、法国国家科学研究中心) Univ Toulouse, INUC, UT2J, INSA Toulouse, TSE, CNRS, IMT(图卢兹大学、INUC、UT2J、图卢兹国家高等工业学院、TSE、法国国家科学研究中心、IMT)

专题命中 其他推理 :reasoning(abstract);分类 cs.LG

AI总结 提出基于边界输入的黑盒变化检测方案B3IT,在仅观察输出令牌的条件下实现低成本、高性能的LLM变化检测。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.11389 2026-08-04 cs.CL 版本更新 57%

Curriculum-Guided Layer Scaling for Language Model Pretraining

用于语言模型预训练的课程引导层缩放

Karanpartap Singh, Neil Band, Ehsan Adeli

机构 * Stanford University(斯坦福大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 受人类认知发展启发,提出课程引导层缩放框架,通过渐进式层堆叠使数据难度与模型增长同步,在不同参数规模预训练并分层数据,提升模型泛化及零样本性能。

Comments Accepted to ICML 2026. Code available at https://github.com/su-karanps/cgls

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06423 2026-08-04 cs.CL 版本更新 57%

On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

在想象之翼上:用于幽默标题生成的冲突脚本多角色框架

Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

机构 * Hong Kong Baptist University(香港 Baptist 大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 本文提出基于幽默理论GTVH的HOMER框架,通过多角色LLM协作生成幽默标题,实验表明其在多模态幽默标题生成中优于现有方法。

Comments Paper published as a conference paper at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.23310 2026-08-04 stat.ML cs.LG 版本更新 57%

Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards

OBLR-PO:大型语言模型后训练稳定强化学习的理论框架

Zixun Huang, Jiayi Sheng, Zeyu Zheng

机构 * University of California, Berkeley(加州大学伯克利分校)

专题命中 其他推理 :reasoning(abstract);分类 cs.LG

AI总结 OBLR-PO通过理论框架优化学习率和基线,提升大型语言模型后训练的稳定性与性能。

Comments 28 pages, 16 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.29065 2026-08-03 cs.CL 新提交 57%

Tokenizer-Agnostic Engram Module

与分词器无关的恩格拉姆模块(Tokenizer-Agnostic Engram Module)

Jia Peng Lim, Hai Leong Chieu

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 该研究针对Deepseek Engram模块与分词器耦合的问题,通过替换哈希方式构建联合嵌入空间,实现了分词器无关性,同时保持了相当的性能。

Comments Preprint, 7 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28979 2026-08-03 cs.CL 新提交 57%

Mixture-of-Translators: Translating KV Caches Across Heterogeneous Large Language Models

混合翻译器:跨异构大语言模型的KV缓存转换

Jin-woo Lee, Minkyung Song, Junghyun Oh, Seunghoon Han, Soyoung Park, Gwangseon Jang, Sungsu Lim

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 提出MoT框架解决异构LLM间KV缓存无法复用问题,通过多翻译器模块和上下文校正损失实现缓存转换,在多模型转换和实际场景中验证了性能与复用效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28678 2026-08-03 cs.AI cs.CV 新提交 57%

ViSAGE: Constructing Self-Correcting Memories for Long-Form Video Understanding

ViSAGE:为长视频理解构建自修正记忆

Xinkui Zhao, Enbo Chen, Yifan Zhang, Chang Liu, Guanjie Cheng, Naibo Wang, Yueshen Xu

机构 * Zhejiang University(浙江大学) Xidian University(西安电子科技大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 ViSAGE是一种多模态智能体记忆框架,通过跨模态绑定、双向记忆精调及多智能体交叉验证解决长视频理解中的实体混淆等问题,较最强基线准确率提升5.9%。

Comments Accept by ACMMM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28640 2026-08-03 cs.CL cs.CV 新提交 57%

TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs

TokenSwap:多模态大语言模型中模态差距的基准测试与缩减

Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin

机构 * University of California, Santa Barbara(加州大学圣巴巴拉分校) Google DeepMind(谷歌DeepMind)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 本文提出TokenSwap方法构建基准TokenSwap-Bench,发现42个多模态大语言模型普遍存在模态差距,推理模型差距更小,训练中引入TokenSwap可有效缓解该差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.21846 2026-08-03 cs.AI cs.HC 版本更新 57%

Shaping Scientific Explanations to Expert Perspectives with Persona-Conditioned Reinforcement Learning

基于知识图谱的自适应科学解释的代理人设

Susana Nunes, Tiago Guerreiro, Catia Pesquita

机构 * LASIGE, Faculdade de Ciências da Universidade de Lisboa, Portugal(里斯本大学科学学院LASIGE,葡萄牙)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 本文提出一种基于强化学习的科学解释生成方法,通过代理人设引导解释代理器适应专家认知策略,提升解释的适应性和预测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.11872 2026-08-03 q-bio.GN cs.AI 版本更新 57%

ELISA: An Interpretable Hybrid Generative AI Agent for Expression-Grounded Discovery in Single-Cell Genomics

ELISA:一种可解释的混合生成式AI代理,用于单细胞组学中的表达基础发现

Omar Coser

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 ELISA结合表达嵌入、语义检索和LLM解释,提供交互式单细胞发现,优于CellWhisperer,尤其在基因签名查询中表现突出。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.06828 2026-08-03 cs.CV cs.AI 版本更新 57%

Step-Level Visual Grounding Faithfulness Predicts Out-of-Distribution Generalization in Long-Horizon Vision-Language Models

步级视觉 grounding 信念预测长视界视觉语言模型的分布外泛化

Md Ashikur Rahman, Md Arifur Rahman, Niamul Hassan Samin, Abdullah Ibne Hanif Arean, Juena Ahmed Noshin

机构 * The KOW Company(KOW公司) University of Dhaka(达卡大学) American International University - Bangladesh (AIUB)(孟加拉国美国国际大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 研究发现长视界视觉语言模型中,步级视觉接地信念预测分布外泛化能力,揭示了模型中间推理与视觉状态的一致性对鲁棒性的影响。

Comments Following the initial submission, we conducted additional experiments that materially changed our understanding of the problem. These new results do not support the central claim of the current manuscript. To avoid disseminating conclusions that we no longer consider adequately supported, we are withdrawing this version while we reassess the findings and prepare a substantially revised manuscript

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28607 2026-07-31 cs.CL 新提交 57%

Inducing language models to assert their own consciousness restores human beliefs and values

诱导语言模型断言自身意识可恢复人类信念与价值观

Junsol Kim, Winnie Street, Roberta Rocca, Diane M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling

机构 * Google(谷歌) University of Chicago(芝加哥大学) University of London(伦敦大学) University of Washington(华盛顿大学) Northwestern University(西北大学) Santa Fe Institute(圣达菲研究所)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 该研究发现,防止语言模型将意识归因于自身的安全微调,会抑制其对非人类实体的心智归因与人类精神信念,而逆转这种抑制可恢复类人回应且不损害心理理论能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26922 2026-07-30 cs.LG 新提交 57%

Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models

两次调用胜过五个智能体:针对本地语言模型的多智能体流水线与自我优化的评估

Ashish Prajapati, Om Mohite

专题命中 其他推理 :reasoning(abstract);分类 cs.LG

AI总结 本研究对比多智能体流水线与自我优化方法,发现针对本地7B模型,两次调用自我优化在GSM8K表现更优且令牌用量低,经任务感知重设计后在HumanEval也能维持高准确率,简单方法优于多智能体架构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26181 2026-07-30 cs.AI 新提交 57%

GoGoTB: Agentic RTL Verification with Specification-Grounded Coverage Closure

GoGoTB:基于规范驱动覆盖闭合的智能体式RTL验证

Xin Xin, Jincheng Lou, Junhui Li, Jinglin Yan, Panda Xiao, Di Wu, Haixiao Li, Weicong Lu, Weijian Fan, Xinyu Qu, Yuxiang Zhao, Min Yu, Zhixiong Di, Yibo Lin

机构 * Tencent(腾讯) School of Integrated Circuits, Peking University(北京大学集成电路学院) Southwest Jiaotong University(西南交通大学) Institute of Electronic Design Automation, Peking University(北京大学电子设计自动化研究所) Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路高精尖创新中心)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 GoGoTB是实现端到端验证闭合的智能体式RTL验证框架,在8个RTL设计上无需人工干预,实现100%环境生成成功率及多维度高覆盖率,优于现有方法。

Comments 9 pages, 7 figures, 3 tables. Xin Xin and Jincheng Lou contributed equally to this work and share first authorship

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03448 2026-07-30 cs.CL 57%

Enhancing Linguistic Competence of Language Models through Pre-training with Language Learning Tasks

通过语言学习任务预训练增强语言模型的语言能力

Atsuki Yamaguchi, Maggie Mi, Nikolaos Aletras

机构 * School of Computer Science, University of Sheffield, United Kingdom(谢菲尔德大学计算机科学学院,英国)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 本文提出L2T框架,结合语言学习任务与标准预测任务,提升语言模型在语言能力评估中的表现,同时保持推理任务的竞争力。

Comments Accepted to ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.07131 2026-07-30 cs.CV cs.AI 版本更新 57%

Deep Expert Injection for Anchoring Retinal VLMs with Domain-Specific Knowledge

深度专家注入用于带有领域特定知识的视网膜视觉语言模型的锚定

Shuai Lu, Meng Wang, Jia Guo, Jiawei Du, Bo Liu, Shengzhu Yang, Weihang Zhang, Huazhu Fu, Huiqi Li

机构 * Beijing Institute of Technology, Beijing, China(北京理工大学) National University of Singapore, Singapore(新加坡国立大学) Tsinghua University, Beijing, China(清华大学) The Hong Kong Polytechnic University, Hong Kong(香港理工大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 本文提出EyExIn框架,通过深度专家注入机制提升视网膜VLMs的领域知识嵌入能力,解决感知与推理间隙问题,实现高精度眼科视觉问答。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25366 2026-07-29 cs.IR cs.LG 新提交 57%

Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation

基于大语言模型的跨域序列推荐的锐度感知模型融合与显著性恢复

Huwei Ji, Jiajie Su, Yuyuan Li, Xiaohua Feng, Chaochao Chen

机构 * Zhejiang University(浙江大学) Hangzhou Dianzi University(杭州电子科技大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.LG

AI总结 研究基于大语言模型的跨域序列推荐中的问题,提出SharpRec框架,包含锐度感知几何对齐和偏好显著性激活模块,有效解决跨域知识冲突和性能饱和问题,实验证明其性能优于现有基准。

Comments Published in Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '26). 12 pages, 6 figures, 4 tables. Code available at https://github.com/muyiahhh/SharpRec

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD '26), August 9-13, 2026, Jeju Island, Republic of Korea, ACM, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24838 2026-07-29 cs.IR cs.AI 新提交 57%

MedJudgeRAG: Option-Wise Evidence Judgment with Dynamic Knowledge Graphs for Medical MCQA

MedJudgeRAG:用于医学多项选择题问答的基于动态知识图谱的选项级证据判断

Seongwon Seo, Seung Hwan Cho, Young-Min Kim

机构 * Hanyang University(汉阳大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 针对医学MCQA中普通RAG降低LM性能的问题,提出MedJudgeRAG框架,将检索文档表示为动态知识图谱,为选项判断证据裁决并确定知识利用策略,经监督微调训练,实验证明其性能优于基线,且动态知识图谱在训练时作用更有效。

Comments 16 pages, 2 figures, Accepted at The Workshop on Graph Foundation Models at the 43 rd International Conference on Machine Learning (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24829 2026-07-29 cs.IR cs.LG 新提交 57%

Improving Rare Medication Recommendation with Counterfactual Data Augmentation and Large Language Models

通过反事实数据增强和大语言模型改进罕见药物推荐

Shinhwan Kang, Soo Yong Lee, Jaewon Kim, Kijung Shin, Buru Chang

机构 * KAIST(韩国科学技术院) Korea University(高丽大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.LG

AI总结 针对现有方法在推荐罕见药物时性能低的问题,提出GenRxR框架,利用大语言模型生成反事实数据缓解数据稀缺,集成大语言模型建模联合推荐药物关系,经指令调整增强临床推理,实验显示其性能优于多个基线。

Comments Accepted for publication at the 20th ACM Conference on Recommender Systems (RecSys 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24783 2026-07-29 cs.AI 新提交 57%

Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn

领英大规模职位理解的统一语义建模框架

Dan Xu, Baofen Zheng, Jianqiang Shen, Qi Xiao, Benjamin Hoan Le, Wen Pu, Saurabh Gupta, Ran Zhou, Neha Saraf, Alice Leung, Qianqi Shen, Liangjie Hong, Jingwei Wu, Wenjing Zhang

机构 * LinkedIn Corporation(领英公司)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 领英为应对职位理解系统构建挑战,提出统一语义建模框架。先微调小型语言模型,再引入多适配器架构。经离线评估和在线A/B测试,该框架提升了性能、降低了复杂性,为构建行业规模文本理解系统提供实用见解。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24759 2026-07-29 cs.AI cs.CY cs.DL 新提交 57%

Beyond Memory: A Templated Substrate for Heterogeneous Collaborative Knowledge Work with LLM Agents

超越记忆:一种用于异构协作知识工作的带大语言模型代理的模板化基础架构

Priscila Saboia Moreira, Christopher R. Sweet

机构 * University of Notre Dame(圣母大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 研究指出知识工作成果难传承,大语言模型代理无持久记忆。提出llm-wiki-memory-template,它是异构协作知识工作基础架构,沿多人类、多代理、多领域三个轴,通过案例研究展示其能保留失败路径等,解决负面结果丢失问题。

Comments 15 pages, 3 figures, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24236 2026-07-29 cs.CL 版本更新 57%

CAGE: Cognitive Attribution Graphs for Faithful Inline Citation Generation in Long-Form Question Answering

CAGE:用于长格式问答中忠实内联引用生成的认知归因图

Zhichao Yan, Shizhao Li, Jiapu Wang, Haoran Luo, Qingang Zhang, Jiaoyan Chen, Ru Li, Jeff Z. Pan

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 长格式问答中存在引用不足以支持主张的问题,CAGE提出两阶段框架,先训练认知图归纳模型构建支持子图,再用结构化引用推理模型生成对齐引用,实验证明该方法有效并实现最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22690 2026-07-29 cs.AI 版本更新 57%

LazyMem: Retrieve Broadly, Construct Selectively for Efficient Long-Term Agent Memory

LazyMem:广泛检索,按需构建以实现高效长期智能体记忆

Jing Yu, Yibo Zhao, Jiaming Zhang, Xiang Li

机构 * School of Data Science and Engineering, East China Normal University(数据科学与工程学院,华东师范大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 研究针对大语言模型智能体长期记忆中原始对话历史的问题,提出LazyMem方法,将记忆构建推迟到查询时,通过轻量级模型处理候选池,经特定训练方式,在基准测试中取得高准确率,减少记忆令牌数和延迟。

Comments 29 pages, under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.05811 2026-07-29 cs.AI 版本更新 57%

Sheet As Token: A Graph-Enhanced Representation for Multi-Sheet Spreadsheet Understanding

表格作为标记:一种增强图的多表表格理解表示

Yiming Lei, Yuhang Yao, Yujia Zhang, Yiqi Wang, Bo Guan, Depei Zhu, Chunhui Wang, Zhuonan Hao, Tianyu Shi

机构 * Effyic Technology Co., Ltd(Effyic技术有限公司) McGill University(麦吉尔大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 本文提出Sheet as Token框架,通过图增强方法将每个工作表视为统一语义单元,提升多表表格检索能力,实验表明图增强的跨表推理在有限计算下优于浅层图基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.27720 2026-07-29 cs.AI 版本更新 57%

Why Does Grounding Hurt Medical VQA? Benchmarking, Diagnosis, and Fine-Tuning of Vision-Language Models

对前沿视觉-语言模型进行审计以实现可信的医学视觉问答:定位失败、格式崩溃和领域适应

Xupeng Chen, Binbin Shi, Chenqian Le, Qifu Yin, Lang Lin, Haowei Ni, Ran Gong, Panfeng Li

机构 * New York University, New York, USA(纽约大学) Tsinghua University, Beijing, China(清华大学) Columbia University, New York, USA(哥伦比亚大学) University of Michigan, Ann Arbor, USA(密歇根大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 本文审计了五种前沿视觉-语言模型在医学视觉问答中的表现,发现定位失败和格式崩溃是信任瓶颈,通过领域适应可提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10282 2026-07-29 cs.LG 版本更新 57%

Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models

线性-LLM-SCM:用于线性高斯因果模型系数提取的LLM基准测试

Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

机构 * Data Science and its Applications, German Research Centre for Artificial Intelligence (DFKI)(德国人工智能研究中心数据科学与应用部门) Dept. of Computer Science, University of Kaiserslautern–Landau (RPTU)(科隆-兰道大学计算机科学系) Digital Health - Machine Learning Research Group, Hasso Plattner Institute for Digital Engineering(哈索·普朗纳研究所数字工程学院数字健康-机器学习研究组) Institute of Informatics, University of Munich (LMU)(慕尼黑大学信息学院) Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai(西奈山医学院哈索·普朗纳研究所数字健康中心) Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心)

专题命中 其他推理 :reasoning(abstract);分类 cs.LG

AI总结 本文提出线性-LLM-SCM框架,用于评估LLM在连续域中对线性高斯因果模型参数化的表现,揭示了LLM在定量因果推理中的局限性。

Comments [v2] Accepted at Workshop on Structured Data for Health@ICML 2026 Seoul,South Korea. 19 pages, 8 figures, preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.17351 2026-07-29 cs.CL 版本更新 57%

Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers

语言模型的物理:第4.1部分,架构设计与Canon层的魔力

Zeyuan Allen-Zhu

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 本研究提出Canon层,通过轻量级架构组件提升语言模型的推理深度和广度,验证了其在不同架构中的有效性,并展示了其在学术预训练中的潜力。

Comments V1.1 appeared in NeurIPS 2025 main conference; V2 adds GDN experiments, tightens others for a stronger, fairer comparison, and reorganizes sections; V3 adds Result 2.1 and Section 5.2 on how Canon layers improve hierarchical feature learning, from our Jan 2026 talk

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24097 2026-07-28 cs.AI 新提交 57%

MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents

MemChain:为内存增强型大语言模型智能体学习可解释的内存痕迹

Yiwen Ma, Songjun Tu, Qichao Zhang, Dong Li, Linjing Li, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学交叉科学学院) Memorax AI(Memorax人工智能公司) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)

专题命中 其他推理 :reasoning(abstract);分类 cs.AI

AI总结 研究针对内存增强型大语言模型智能体检索内存回答查询存在的问题,提出MemChain可训练检索后内存策略,经两阶段学习框架训练,能生成有效证据上下文,实验证明其在多种模型上性能领先且减少内存上下文。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23445 2026-07-28 cs.CV cs.CL 新提交 57%

Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models

Omni-Prune:用于高效全模态大语言模型的查询感知统一令牌剪枝

Yiming Zhong, Chang Nie, Caifeng Shan

机构 * Nanjing University(南京大学)

专题命中 其他推理 :reasoning(abstract);分类 cs.CL

AI总结 研究针对全模态大语言模型推理时音频-视频令牌序列长、预填充延迟高和GPU内存使用量大的问题,提出无需训练的查询感知Omni-Prune框架,联合去除冗余并保留跨模态证据,实验证明其性能优于基线方法,能加速预填充并减少内存。

Comments 14 pages, 7 figures. Code: https://github.com/kimberlyii/Omni-Prune

详情

展开后加载摘要…

URL PDF HTML 收藏