Restart and Adaptive Acceleration in Stochastic Gradient Methods
随机梯度方法中的重启与自适应加速
专题命中 效率与部署 :large language model(abstract);language model(abstract)
AI总结 针对满足Kurdyka-Łojasiewicz不等式的非光滑弱凸随机优化问题,提出重启策略以利用KŁ不等式实现加速收敛,并证明其对参数误设具有鲁棒性。
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
随机梯度方法中的重启与自适应加速
专题命中 效率与部署 :large language model(abstract);language model(abstract)
AI总结 针对满足Kurdyka-Łojasiewicz不等式的非光滑弱凸随机优化问题,提出重启策略以利用KŁ不等式实现加速收敛,并证明其对参数误设具有鲁棒性。
MamTra:一种用于语音合成的混合Mamba-Transformer骨干网络
专题命中 效率与部署 :LLM(abstract,abstract_cn)
AI总结 提出MamTra混合框架,结合Mamba的线性效率与Transformer的全局建模能力,通过知识迁移策略降低训练成本,在仅用2%数据时仍保持语音保真度并减少34%推理显存。
Comments Interspeech 2026
EchoingPixels: 抗混叠的音频-视觉联合令牌缩减方法
机构 * Fudan University(复旦大学)
专题命中 效率与部署 :large language model(abstract);language model(abstract)
AI总结 针对音频-视觉大语言模型中令牌冗余和位置混叠问题,提出EchoingPixels框架,通过跨模态语义筛和Sync-RoPE实现抗混叠的联合令牌缩减,仅用5-20%令牌达到全模型性能。
Comments ICML 2026
从置换谜题改进的伪随机码
专题命中 效率与部署 :LLM(abstract,abstract_cn)
AI总结 本文提出一种改进的伪随机纠错码,具备子指数安全性和对二进制编辑的鲁棒性,同时抵御具有检测密钥的计算无限制对手。
稀疏性-存储-精度权衡在简约激活字典学习中的研究
机构 * Tsinghua University, Institute of Data and Information(清华大学数据与信息研究院) ; Shenzhen Key Laboratory of Ubiquitous Data Enabling(深圳泛在数据赋能重点实验室)
专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG
AI总结 本文提出简约激活字典学习(PADL)的结构化生成模型解释,推导出稀疏性、存储成本与重建精度之间的权衡关系,并开发出无需手动调参的高效算法,在视觉基准上取得更优性能。
SCENIC: 语义条件边缘感知的结构化物联网命令生成神经框架
机构 * Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院) ; Shenzhen Belon Technology Co., Ltd.(深圳市贝隆科技有限公司)
专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG
AI总结 提出SCENIC框架,通过小规模Transformer、三元组损失微调、剪枝量化等方法,在边缘设备上高效生成结构化IoT命令,达到高准确率并显著压缩模型。
Comments IEEEtran journal format; 3 figures, 8 tables
通道位置限制潜意识学习的可审计性
机构 * Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所) ; University of Vienna(维也纳大学)
专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG
AI总结 研究潜意识学习中隐藏特征传递的可审计性,发现通道位置决定审计有效性,并识别三种传递机制,证明审计必须匹配载体通道。
单纯形约束的稀疏装袋:集成学习中从均匀先验到稀疏后验的转变
机构 * Georgia Institute of Technology(佐治亚理工学院)
专题命中 效率与部署 :post-training(abstract);分类 cs.AI、cs.LG
AI总结 提出SCSB框架,通过最小化袋外损失在概率单纯形上联合优化集成剪枝与校准,引入凹二次惩罚解决L1单纯形悖论,实现高达96%的压缩并提升校准性能。
Comments 6 pages, 3 tables
从马尔可夫到拉普拉斯:Mamba如何通过上下文学习马尔可夫链
机构 * EPFL(苏黎世联邦理工学院) ; UC Berkeley(加州大学伯克利分校) ; Google DeepMind(谷歌DeepMind) ; Télécom Paris(巴黎电信学院)
专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG
AI总结 本文研究Mamba在马尔可夫链上的上下文学习能力,发现单层Mamba能高效学习最优的拉普拉斯平滑估计器,并理论上揭示了卷积在其中的关键作用。
Comments Oral presentation at ICLR 2026
LAYUP: 基于逐层更新的异步去中心化梯度下降
机构 * Center for Cognitive Interaction Technology, Universität Bielefeld, Germany(认知交互技术中心,比勒菲尔德大学,德国) ; Bielefeld University(比勒菲尔德大学) ; Department of Computer Science, Royal Holloway, University of London, United Kingdom(计算机科学系,伦敦大学皇家霍洛威学院,英国)
专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG
AI总结 提出异步去中心化SGD方法LayUp,通过逐层更新和随机gossip通信减少参数漂移,理论证明收敛性,实验显示比同步训练快32%,比同类算法快27%。
Comments 20 pages, 4 figures
通过硬件感知架构搜索、模型剪枝与量化实现高效网络推理
机构 * Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
专题命中 效率与部署 :post-training(abstract);分类 cs.LG
AI总结 针对嵌入式GNSS干扰监测中资源受限与模型性能的矛盾,研究结合迭代结构化剪枝、训练后静态量化和硬件感知零样本神经架构搜索,在MCUNet基础上压缩模型并优化架构,实现实时干扰分类与表征。
Comments 7 pages, 7 figures
自适应递归消息传递用于图上的测试时计算
机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全国家重点实验室) ; University of Chinese Academy of Sciences(中国科学院大学) ; DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
专题命中 效率与部署 :foundation model(abstract);分类 cs.LG
AI总结 针对图数据与固定架构不匹配的问题,提出自适应递归图模型AdaR,通过理论推导步依赖作为自适应收敛的充要条件,并利用归一化步信息和梯度监督实现灵活测试时计算,在归纳和直推设置中优于强基线。
Comments Accepted by ICML 2026
使用计算高效的CNN与迁移学习进行多癌症检测
机构 * School of Medicine, Aristotle University of Thessaloniki(阿利卡大学索拉尔尼基医学院) ; Department of Mathematics, Aristotle University of Thessaloniki(阿利卡大学索拉尔尼基数学系) ; Department of Mathematics, National and Kapodistrian University of Athens(雅典国家与卡波迪斯蒂亚大学数学系) ; Department of Electrical and Computer Engineering, Northwestern University(西北大学电气与计算机工程系)
专题命中 效率与部署 :pretraining(abstract);分类 cs.LG
AI总结 提出一种轻量级CNN架构结合迁移学习,在脑、肺和肾癌数据集上分别达到90.85%、98.64%和99.92%的准确率,计算效率高且适合资源受限环境。
Journal ref Communications in Statistics - Simulation and Computation (2026)
先看再缩放:视觉RAG中分辨率-上下文权衡的自适应路由
机构 * VinUni-Illinois Smart Health Center, VinUniversity(VinUni-Illinois智慧健康中心,VinUniversity) ; Texas A&M University(德克萨斯农工大学)
专题命中 效率与部署 :language model(abstract);分类 cs.CL
AI总结 提出ViRGo框架,通过自适应路由选择全局感知、基于补丁或注意力的检索,以平衡小目标细节和大目标上下文,提升视觉RAG的精度与效率。
ScalePredictor:面向视觉Transformer精确量化的实例感知尺度学习
机构 * School of Electronics and Communication Engineering, Shenzhen Campus, Sun Yat-sen University(中山大学深圳校区电子与通信工程学院) ; Computer Science and Software Engineering, The University of Western Australia(西澳大学计算机科学与软件工程学院) ; University of Oxford(牛津大学)
专题命中 效率与部署 :post-training(abstract);分类 cs.AI
AI总结 提出动态量化框架ScalePredictor,通过浅层激活分布范围与深层最优尺度的隐藏关联,利用多项式尺度投影模块高效生成所有量化尺度,在ImageNet上取得更优精度-效率权衡。
TALAS:基于教师锚定的层对齐与自适应锐度感知最小化的嵌入蒸馏
机构 * Hanoi University of Science and Technology(河内科技大学) ; VNU University of Engineering and Technology(越南国立大学工程与技术大学) ; University of Oregon(俄勒冈大学) ; Monash University(莫纳什大学)
专题命中 效率与部署 :language model(abstract);分类 cs.CL
AI总结 提出TALAS框架,通过教师锚定机制仅蒸馏最终句子嵌入到学生上层,结合层对齐自蒸馏和自适应锐度感知最小化,在降低计算成本的同时提升句子嵌入蒸馏性能。
Comments ACL 2026
RocketPFN:通过上下文学习实现精确时间序列分类
机构 * Prior Labs Team(Prior Labs)
专题命中 效率与部署 :foundation model(abstract);分类 cs.LG
AI总结 提出RocketPFN,结合随机卷积特征提取与预训练表格基础模型的上下文分类,在92个UCR数据集上达到与最强方法HC2相当的精度,无需目标数据训练。
Comments 10 pages main text, 4 figures; 15 pages including references and appendix
NAC: 面向视觉-语言-动作模型的神经动作编解码器
机构 * The University of Texas at Dallas(德克萨斯大学达拉斯分校)
专题命中 效率与部署 :foundation model(abstract);分类 cs.LG
AI总结 提出神经动作编解码器(NAC),采用多尺度RVQGAN架构将短动作轨迹视为多通道1D信号进行压缩,以替代现有离散动作分词器,在LIBERO-10等任务中实现更低重建误差和更高成功率。
FOCA: 面向未来的条件化用于数据高效的视觉-语言-动作适应
机构 * Center for AI Research, VinUniversity, Vietnam ; University of Utah, USA ; German Research Center for Artificial Intelligence (DFKI) ; Technical University of Denmark, Denmark ; University of Oldenburg, Germany ; University of Stuttgart, Germany ; Max Planck Research School for Intelligent Systems (IMPRS-IS), Germany
专题命中 效率与部署 :pretraining(abstract);分类 cs.AI
AI总结 提出FOCA框架,结合未来交互嵌入预测与目标观测隐式对齐,实现数据高效的VLA少样本适应,在LIBERO、RoboCasa和真实机器人上取得新最优结果。
Comments Accepted at ICML 2026. Project page: https://focavla.github.io/
通过项目反应理论实现高效安全基准测试
机构 * Supervised Program for Alignment Research (SPAR)(对齐研究监督计划) ; Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学) ; Yale University(耶鲁大学)
专题命中 效率与部署 :language model(abstract);分类 cs.AI
AI总结 针对安全基准测试中项目信息量不均的问题,利用项目反应理论(IRT)实现自适应项目选择,将评估成本降低至少80%,最高达99.9%。
Physical-AI: 从信道感知到6G无线网络中的环境智能
机构 * Augmented Cognition Meta-communications ERC Research Center, Korea University, Korea(增强认知元通信ERC研究中心,韩国大学,韩国) ; Department of Computer Science, Munster Technological University (MTU)(计算机科学系,穆斯特技术大学(MTU)) ; School of Computing, Faculty of Engineering and Computing, Dublin City University, Ireland(计算学院,工程与计算学院,都柏林城市大学,爱尔兰) ; Department of Electrical and Computer Engineering of the Democritus University, Greece(德米特里大学电气与计算机工程系,希腊) ; Department of Electrical and Computer Engineering, The University of Hong Kong, Hong Kong(电气与计算机工程系,香港大学,香港) ; Department of Electronic Engineering, Kyung Hee University, Yongin-si, Gyeonggi-do 17104, South Korea(电子工程系, Kyung Hee大学, Yongin-si, Gyeonggi-do 17104, 韩国)
专题命中 效率与部署 :foundation model(abstract);分类 cs.AI
AI总结 提出Physical-AI架构,利用自监督时空无线电基础模型将分布式观测转化为共享环境表征,通过多推理头估计阻塞、用户分布等环境属性,并基于神经决策层实现主动控制,降低中断概率和阻塞响应延迟。
QuantKAN:科尔莫戈罗夫-阿诺德网络的统一量化框架
机构 * Department of EECS, Oregon State University(电子工程与计算机科学系,俄勒冈州立大学)
专题命中 效率与部署 :post-training(abstract);分类 cs.LG
AI总结 提出QuantKAN,首个针对KAN网络的统一量化感知训练和后训练量化框架,通过分支感知量化器处理异构参数,在多个数据集上建立基准,并揭示架构特定失效模式。
NOEM$^{3}$A:一种用于移动代理中多意图理解的神经符号本体增强方法
机构 * Huawei Heisenberg Research Center(华为海森堡研究中心) ; Technical University of Munich(慕尼黑技术大学)
专题命中 效率与部署 :language model(abstract);分类 cs.AI
AI总结 提出NOEM$^{3}$A,一种轻量级神经符号层,通过意图本体增强紧凑语言模型,在低延迟和隐私约束下提升移动代理的自然语言理解准确率。
UniFS:面向视觉-语言-动作模型的统一快慢层次架构
机构 * Tianjin University(天津大学) ; Yiwu Research Institute of Fudan University(复旦大学义乌研究院)
专题命中 效率与部署 :language model(abstract)
AI总结 提出UniFS统一快慢层次架构,通过分层更新频率、潜向量反转和多级监督策略,解决快慢双系统视觉-语言-动作模型中的频率困境和信息耦合问题,在LIBERO上实现98.3%成功率并提速2.1倍。
Comments Code is opensourced at https://github.com/linsun449/UniFS
DE-FIVE: 通过傅里叶特征和图像向量嵌入检测恶意图像提示
专题命中 效率与部署 :language model(abstract)
AI总结 提出DE-FIVE框架,利用傅里叶域特征和图像向量嵌入,无需训练即可检测针对视觉语言模型的恶意图像提示,包括间接提示注入攻击。
超越数据驱动:物理信息神经网络如何重塑多物理场设计与发现
专题命中 效率与部署 :post-training(abstract)
AI总结 本文综述了物理信息神经网络(PINNs)在多物理场建模中的最新进展,强调其通过将物理定律嵌入训练目标,实现数据高效、物理一致的前向建模、逆向设计和方程发现。
FAST框架:开发数据高效的机器学习势以解码极端条件下UO2中超离子转变诱导的热物理和动力学异常
专题命中 效率与部署 :foundation model(abstract)
AI总结 提出FAST框架,通过主动学习和超离子目标采样构建仅500个构型的数据集,微调基础模型得到UO2的机器学习势,准确预测超离子转变引起的热物理和动力学异常,并揭示其微观机制。
Comments 51 pages,14 figures
统一运动-动作建模用于异构机器人学习
机构 * Cornell University(康奈尔大学)
专题命中 效率与部署 :pretraining(abstract)
AI总结 提出UMA模型,利用3D物体运动轨迹作为共享接口,通过掩码生成目标统一视觉运动控制和动力学建模,实现跨异构数据源的多任务预训练,并在部署时支持多种推理模式。
Comments https://uma-manipulation.github.io/
将大语言模型代理与数字孪生集成用于工业自主系统
机构 * Institut für Automatisierungs- und Softwaresysteme (IAS) der Universität Stuttgart(自动化与软件系统研究所(IAS)的斯图加特大学)
专题命中 领域大模型 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI
AI总结 提出三层框架集成大语言模型、数字孪生与自动化系统,通过TPSR模型和四种LLM角色实现自适应任务规划与执行,提升工业自动化适应性。
Comments Doctoral Dissertation, University of Stuttgart. Doctoral Exam Video Recording: https://youtu.be/Mhd9LiV5TKE
LatentCRS:一种用于桥接基于LLM的对话推荐中语义与行为的变分EM框架
机构 * Nanjing University(南京大学)
专题命中 领域大模型 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL
AI总结 提出LatentCRS框架,通过变分EM过程桥接LLM的语义空间与用户行为模式,解决对话推荐中语义理解与推荐精度不匹配的问题,实验表明其有效提升推荐性能。