arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 12698 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 2145 篇

2606.14602 2026-06-15 cs.RO 新提交 67%

What Robots Do Matters More Than What They Look Like: Task Context Shapes Trust in Educational HRI

机器人做什么比它们长什么样更重要:任务背景塑造教育人机交互中的信任

Anna-Maria Velentza, Konstantina Nikou, Anne-Gwenn Bosser, Nikolaos Fachantidis

机构 * LIRES Robotics Lab, University of Macedonia(马其顿大学LIRES机器人实验室)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 通过视频实验(N=81)发现,任务类型(教学、指导、索要个人信息)对信任有显著主效应,而机器人外观无显著影响,表明任务背景比物理外观更关键。

Comments Accepted in the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026), Kitakyushu, Fukuoka, Japan

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13049 2026-06-12 cs.RO 新提交 67%

Y-BotFrame: An Extensible Embodied Agent Framework for Quadruped Robot Assistants

Y-BotFrame:一种用于四足机器人助手的可扩展具身智能体框架

Luyao Zhang, Ke Li, Yuan Ding, Xulong Zhao, Guo Yu, Chengwei Yan, Fuyu Dong, Jiawei Hu, Di Wang, Nan Luo, Gang Liu, Quan Wang

机构 * Xidian University(西安电子科技大学)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 提出Y-BotFrame框架,集成多模态感知与大语言模型认知核心,将自然语言指令映射为可执行任务单元,实现无遥控器的人机协作,支持模块化扩展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12744 2026-06-12 cs.CV 新提交 67%

GRIP: Feedback-Guided Prompt Retrieval for Large Multimodal Models

GRIP:面向大型多模态模型的反馈引导提示检索

Garvita Allabadi, Matteo Sodano, Roberto Estevão, Yuxiong Wang, Vikram Adve, Emre Kiciman, Ranveer Chandra

机构 * University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校) University of Bonn(波恩大学) Microsoft(微软)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 提出GRIP,一种可学习的视觉检索框架,利用多模态模型反馈识别真正提升上下文学习性能的示例,在分类、描述和VQA任务上优于基于相似度的检索。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12294 2026-06-11 cs.CV eess.IV 新提交 67%

Bridging the Modality Gap in Forensic Image Retrieval

弥合法医图像检索中的模态差距

Ricardo González-Gazapo, Annette Morales-González, Yoanna Martínez-Díaz, Heydi Méndez-Vázquez, Milton García-Borroto

机构 * Advanced Technologies Application Center (CENATAV)(先进技术应用中心(CENATAV)) Centro de Sistemas Complejos, Facultad de Física, Universidad de La Habana(哈瓦那大学物理学院复杂系统中心)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 提出统一检索框架,利用多模态大语言模型生成文本描述并结合视觉与文本特征融合,提升纹身、人脸素描等法医任务的检索精度与鲁棒性。

Comments 23 pages, 5 figures, paper submitted to Elsevier journal

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11201 2026-06-11 cs.LG cs.AI cs.CL 新提交 67%

To Intervene or Not: Guiding Inference-time Alignment with Probabilistic Model Blending

干预还是不干预:通过概率模型混合指导推理时对齐

Jin Gan, Xin Li, Jun Luo

机构 * College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院)

专题命中 效率与部署 :LLM(abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 提出BlendIn框架,通过质量感知对齐和按可靠性加权混合模型知识,解决推理时对齐中指导有效性差异大的问题,在困难模型对上实现最高50%的性能提升。

Comments Accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10945 2026-06-10 cs.CR cs.SE 新提交 67%

Context-Based Adversarial Attacks on AI Code Generators: Vulnerability Analysis and Implications

基于上下文的AI代码生成器对抗攻击:漏洞分析与影响

Walther A. Del Orbe, John D. Hastings, Varghese Vaidyan

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 研究通过2800次实验,发现上下文对抗攻击使代码生成漏洞增加10.7倍,并提出双层防御框架实现89.1%检测率。

Comments 6 pages, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10808 2026-06-10 cs.RO 新提交 67%

Bridging Semantics and Physical Execution: A Neuro-Symbolic Framework for Multi-Pair Robotic Assembly

桥接语义与物理执行:面向多对机器人装配的神经符号框架

Xinyi Li, Aiguo Song, Linhu Wei, Huijun Li

机构 * School of Instrument Science and Engineering, Southeast University(东南大学仪器科学与工程学院)

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 提出一种端到端神经符号框架,通过分层生成最优子图、解耦通用性与边缘情况、协调全局序列,解决非结构化环境中多对装配的空间干扰和接触不确定性,在100个真实场景中达到97%全局可执行性,UR3机械臂部署成功率90%。

Comments Corresponding author: Aiguo Song (a.g.song@seu.edu.cn)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10702 2026-06-10 cs.SE 新提交 67%

Watts and Debts of Agentic Frameworks: An Empirical Study (Registered Report)

智能体框架的能耗与债务:一项实证研究(注册报告)

Aneetta Sara Shany, Chandrasekar S, Karthik Vaidhyanathan

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 通过实证研究关联智能体框架中的自我承认技术债务与运行时能耗,探讨代码质量能否指导节能设计。

Comments Accepted at the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026), Registered Reports Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10533 2026-06-10 cs.CV 新提交 67%

Audio-Visual Exchange-Aware Token Pruning for Efficient Audio-Visual Captioning

音频-视觉交换感知令牌剪枝用于高效音频-视觉字幕生成

Zihan Meng, Dexiang Hong, Weidong Chen, Ziyu Zhou, Bo Hu, Zhendong Mao

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 提出基于强化学习的AVEX-Prune方法,通过跨模态令牌交换策略选择高置信度令牌,在40%保留率下保持全令牌质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09659 2026-06-09 cs.CL cs.AI cs.LG 新提交 67%

End-to-End Context Compression at Scale

端到端上下文压缩的规模化

Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

机构 * New York University(纽约大学) Modal Labs(Modal实验室) University of Maryland(马里兰大学) Princeton University(普林斯顿大学) Columbia University(哥伦比亚大学) Harvard University(哈佛大学) Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室) FAIR at Meta(Meta FAIR实验室)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过架构搜索和持续预训练,提出潜在上下文语言模型(LCLMs),一种端到端编码器-解码器压缩器,在通用任务性能、压缩速度和峰值内存上改进帕累托前沿,并可作为长时智能体的高效骨干。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08869 2026-06-09 cs.DC 新提交 67%

A Low-Latency Semantic State Estimator using Latent Predictive Learning for Dynamic Network Monitoring and Orchestration

一种用于动态网络监控与编排的低延迟语义状态估计器,基于潜在预测学习

Hari Madhukumar, Haiyuan Li, Xiaolan Liu, Andy Corston-Petrie, Dimitra Simeonidou

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 提出潜在预测状态估计器(LPSE),通过将变基数节点遥测转换为拓扑自适应表示并与监控问题融合,实现固定成本单次推理,在Kubernetes集群上达到82.42%语义预测准确率,推理延迟降低约41倍,内存占用减少15倍。

Comments 6 pages, 2 figures, 2 tables. Submitted to IEEE GLOBECOM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08511 2026-06-09 cs.CV 新提交 67%

Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs

少看多思:面向高效多模态大语言模型的块级注意力跳过

Jie Ma, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University(厦门大学)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 针对多模态大语言模型视觉注意力饱和问题,提出训练无关的Visual-Skip方法,通过选择性跳过冗余的视觉自注意力模块实现块级稀疏性,并利用轻量级校准动态选择最优稀疏路径,在保持性能的同时显著降低计算成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08268 2026-07-10 cs.AI cs.CL 新提交 66%

Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment

不同的教师,不同的能力:用于结构化文本丰富的低于1B的设备端蒸馏

Vinay Kumar Chaganti

专题命中 效率与部署 :prompting(abstract);分类 cs.CL、cs.AI;LLM(comments)

AI总结 研究将8B推理教师模型蒸馏成0.6B学生模型,添加对照,通过盲测评分。学生模型处理速度快,恢复部分摘要质量差距。不同教师模型转移不同能力,无单一引擎全胜,得出设备端丰富的按领域路由图。

Comments 12 pages, 5 figures. has a same-size non-reasoning-teacher control, a three-judge LLM-as-a-judge panel with a negative control, full-source faithfulness grading, and a per-field routing analysis

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.25190 2026-08-27 cs.CL cs.LG 新提交 62%

BanglaMamba: Exploring State Space Models for Bangla Fake News Detection

BanglaMamba:探索用于孟加拉语假新闻检测的状态空间模型

M. K. Khalidi Siam

机构 * BRAC University(BRAC大学)

专题命中 效率与部署 :pretraining(abstract);分类 cs.CL、cs.LG

AI总结 本文提出BanglaMamba,将基于Mamba的状态空间模型用于孟加拉语假新闻检测,其性能与从头训练的CustomBERT相当,且推理效率优于BERT模型,凸显了该模型在资源受限场景的应用潜力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.25114 2026-08-27 cs.LG cs.AI 新提交 62%

Flower Hub: A Reproducible Benchmarking Platform for Federated Learning in Simulation and Deployment

Flower Hub:用于联邦学习仿真与部署的可复现基准测试平台

Yan Gao, Mohammad Naseri, Javier Fernandez-Marques, Dimitris Stripelis, Lorenzo Sani, Davide Eynard, Fan Zhang, Hong Jia, Ting Dang, D. B. Emerson, Fatemeh Tavakoli, Ole Werger, Lars Wulfert, Petros Demetrakopoulos, Sofia Tsekeridou, InSeo Song, KangYoon Lee, Honghao Li, Lingjuan Lyu, John P Dickerson, Daniel Janes Beutel, Nicholas D. Lane

机构 * Flower Labs University of Cambridge(剑桥大学) University of Auckland(奥克兰大学) University of Melbourne(墨尔本大学) Vector Institute Fraunhofer IMS(弗劳恩霍夫应用固体物理与材料力学研究所) NetCompany Gachon University(嘉泉大学) Owkin Sony AI(索尼人工智能)

专题命中 效率与部署 :instruction tuning(abstract);分类 cs.AI、cs.LG

AI总结 Flower Hub是一款联邦学习基准测试平台,可将基准打包为可执行应用,支持跨仿真与部署运行,涵盖多领域任务,推动联邦学习基准测试向可复用方向发展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.25088 2026-08-27 cs.LG cs.AI q-bio.NC 新提交 62%

The Von-Neumann State-Space Transformer for neural decoding

用于神经解码的冯·诺依曼状态空间Transformer

Morteza Sarafyazd

机构 * BrainCo(脑聚科技)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 该研究提出VN-SST模型,其前馈模块为低维指令库,在神经解码任务中样本与参数效率优于现有模型,且在语言建模任务中也展现出通用高效性。

Comments 14 pages, 5 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24973 2026-08-27 cs.LG cs.AI cs.ET 新提交 62%

Resource-Efficient Pruning for Transformer via Low-Rank Importance Estimation

基于低秩重要性估计的Transformer资源高效剪枝

Peng Liu, Huibing Zeng, Yiqun Zhang, Yang Yi, Jigang Wu

机构 * School of Computer Science and Technology, Guangdong University of Technology(广东工业大学计算机科学与技术学院) College of Information and Artificial Intelligence, Yangzhou University(扬州大学信息与人工智能学院)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 针对Transformer模型部署的高资源消耗问题,提出基于LoRA低秩梯度的REP-LIE剪枝方法,结合稳定性分数迭代剪枝,在LLaMA-7B等模型上实现高效剪枝并保持竞争力性能。

Comments 15 pages, 9 figures

Journal ref IEEE Transactions on Emerging Topics in Computational Intelligence, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24042 2026-08-26 cs.RO cs.AI cs.LG 新提交 62%

Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models

用于视觉-语言-动作模型数据高效适配的分层技能检索

Haoran Hao, Shahram Najam Syed, Jeff Schneider, Jeffrey Ichnowski

机构 * Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)

专题命中 效率与部署 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 针对视觉-语言-动作模型在有限演示下适配性能下降的问题,提出分层技能检索框架,结合子任务语言检索与行为特征重排序,在LIBERO基准及真实机器人任务上提升平均成功率10.3%和21.3%。

Comments Project Page: https://hoar012.github.io/HSR-Project

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24011 2026-08-26 cs.CL cs.AI 新提交 62%

SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding

SAGE:面向中国古代文献理解的从直接回答到证据导向推理

Yuchuan Wu, Xuan Luo, Yinglian Zhu, Meng Fang, Xiangyang Xue, Bin Li

机构 * Fudan University(复旦大学) University of Liverpool(利物浦大学)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.AI

AI总结 针对现有大型视觉语言模型(LVLMs)在古代文献理解中证据支撑不足的问题,本文提出SAGE多智能体框架,通过多阶段证据导向推理实现任务规划、证据获取与验证,在AncientDoc基准上优于基线,搭载Qwen3.5-9B的SAGE性能超更大单体模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.23473 2026-08-25 cs.LG cs.AI 新提交 62%

MetaCaster: Meta-Harness-Optimized Agent for End-to-End Few-Shot Learning of Lightweight Time Series Forecasters

MetaCaster:用于轻量级时间序列预测器小样本端到端学习的元调控优化智能体

ChengAo Shen, Wenchao Yu, Fangyu Wu, Dongjin Song, Hanghang Tong, Dongsheng Luo, Wei Cheng, Haifeng Chen, Jingchao Ni

机构 * University of Houston(休斯顿大学) NEC Labs(NEC实验室) University of Waterloo(滑铁卢大学) University of Connecticut(康涅狄格大学) University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Singapore Management University(新加坡管理大学)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 针对资源受限场景下轻量级时间序列预测器小样本学习的困境,提出MetaCaster多智能体框架,可高效训练专用预测器,在18个数据集等实验中兼顾数据、计算效率与预测性能。

Comments Accepted by EMNLP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.18261 2026-08-20 cs.AI cs.LG 新提交 62%

Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study

可设计为可缓存的?针对边缘内存带宽瓶颈训练混合专家模型路由器:一项带系统测量研究的预注册负面结果

Shriniwas Ramesh Suram

机构 * University of Cumberlands(坎伯兰大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 该研究针对边缘部署MoE模型的内存带宽瓶颈,通过系统测量与预注册实验发现,训练路由器提升缓存性的方案无法满足预注册的困惑度阈值,仅结合无训练重路由可实现高效缺失减少。

Comments Pre-registered negative result plus a systems measurement study. Code, router-telemetry tool (llama-moe-trace), traces, data manifests, and the frozen pre-registration: https://github.com/Shriniwas410/cacheable-by-design

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.17188 2026-08-19 cs.CL cs.AI 新提交 62%

Token Optimization and Context Window Management in Multi-Agent AI Workflows

多智能体AI工作流中的令牌优化与上下文窗口管理

Dvir Shamay

专题命中 效率与部署 :LLM(abstract_cn);分类 cs.CL、cs.AI

AI总结 本文提出多智能体AI工作流的令牌优化与上下文窗口管理框架,含六种模式,可缩短延迟、减少令牌用量;经2420次试验发现相关性对比上下文可提升模型准确率,为模型研究与生产实践提供可重复方法。

Comments 29 pages (main paper + technical appendix), 3 figures. Also archived on Zenodo: 10.5281/zenodo.21924612

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14945 2026-08-18 cs.AI cs.CL 新提交 62%

Trust Is Not Enough: Influence Calibration for On-Policy Self-Distillation in Agentic RL

信任并不足够:智能体强化学习中策略内自蒸馏的影响校准

Qizhen Lan, Xi Xiao, Xiangchen Guan, Mengchen Fan, Moule Lin, Jung Im Choi, Lijing Zhu

专题命中 效率与部署 :language agent(abstract);分类 cs.CL、cs.AI

AI总结 针对策略内自蒸馏的信任-效用不匹配问题,提出ICSD方法,在多基准任务上提升语言智能体性能,降低反向令牌的教师支持占比并提高梯度兼容性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14728 2026-08-18 cs.LG cs.AI 新提交 62%

Tail-Aware Top-$k$ On-Policy Distillation

感知长尾的Top-k在线策略蒸馏

Huipeng Huang, Hongxin Wei

机构 * Southern University of Science and Technology(南方科技大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 针对现有Top-k在线策略蒸馏丢弃长尾概率信号的问题,提出TA-OPD方法,通过引入携带长尾概率的长尾词优化,在常见基准上使Avg@8最高提升8.05个百分点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13596 2026-08-17 cs.LG cs.AI 新提交 62%

Training-Free Knowledge Transfer Across Model Scales through Activation-Guided Pruning

通过激活引导剪枝实现跨模型规模的无训练知识迁移

Jiahe Fan, Si Chen, Yinghao Hou, Aiyuan Zhang, Hong Xie

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出激活剪枝融合框架APM,通过激活引导选择源模型的显著组件并注入目标模型,无需训练和显式语义对齐,在16个基准上将3B目标模型平均准确率从55.5%提升至60.6%。

Comments 9 pages, 3 figures, and 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.11775 2026-08-13 cs.AI cs.CL 新提交 62%

The Sleeping Agent: What Gist-Based Context Compression Loses and Why

休眠智能体:基于主旨的上下文压缩会丢失什么以及为什么

Nicholas E. Kyrkewood

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.AI

AI总结 本研究以SWC为工具,发现主旨压缩对多跳推理等任务表现优于截断,但会损害时间相关问题的性能,通过修改提示可提升时间问题的评判准确率。

Comments 7 pages, 5 tables, appendices. Code and results at https://github.com/kyrkewood/sleeping-agent

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.11227 2026-08-13 cs.AI cs.LG 新提交 62%

Forecasting Side Effects of Activation Steering

预测激活引导的副作用

Chong Yong Ong, Alson Wei Jie Sim, Peixin Zhang, Jun Sun

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 该研究针对激活引导易产生意外副作用的问题,构建交叉效应矩阵揭示副作用的系统性与可预测性,为激活引导的安全部署提供支持。

Comments 24 pages, 5 figures, 13 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10837 2026-08-12 cs.LG cs.AI 新提交 62%

TACTICL: Task-Aware Compression of Tabular ICL Models

TACTICL:面向表格上下文学习模型的任务感知压缩框架

Mykhailo Koshil, Matthias Feurer, Katharina Eggensperger

机构 * TU Dortmund University(多特蒙德工业大学) Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 针对表格基础模型推理成本高、蒸馏后损失上下文适应性的问题,提出TACTICL框架,剪枝Transformer层并替换为轻量适配器,在47个基准数据集上可替换85%层且性能无显著下降,对数据偏移鲁棒。

Comments Accepted for publication at AutoML2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08176 2026-08-11 cs.AI cs.LG 新提交 62%

Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation

匹配监督与学生学习能力:一种用于在线自蒸馏的统一框架

Yongkang Yang, Zhezheng Hao, Hong Zhang, Yi Liu, Xiankun Lin, Wence Ji, Fanjunduo Wei, Jiarui Yu, Qiang Lin, Xiaoyun Liang, Hande Dong

机构 * Tencent(腾讯)

专题命中 效率与部署 :LLM(abstract_cn);分类 cs.AI、cs.LG

AI总结 本文针对在线自蒸馏的次优问题,提出统一在线自蒸馏(USD)框架,该框架通过耦合学习难度预算与师生 divergence,在多模型规模及推理基准上均优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.07851 2026-08-11 cs.LG cs.CL 新提交 62%

TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing

TEMPER:用于表达性残差路由的张量化高效流形约束参数化

Yuxuan Gu, Wuyang Zhou, Huijun Xing, Danilo Mandic

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.LG

AI总结 该研究针对残差路由方法参数随流增长过快的问题,提出TEMPER方法,用张量网络参数化生成器,在语言建模等任务上性能相当或更优,参数效率显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏