What Does It Mean to Break a Distillation Defense?
打破蒸馏防御意味着什么?
专题命中 效率与部署 :LLM(summary_cn,abstract_cn);分类 cs.AI
AI总结 本文提出一个三维威胁模型框架(查询预算、数据预算、接口配置),用于评估针对黑盒LLM的输出扰动蒸馏防御,并通过反蒸馏采样案例表明防御有效性依赖于威胁模型假设。
Comments 29 pages, 18 figures
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
打破蒸馏防御意味着什么?
专题命中 效率与部署 :LLM(summary_cn,abstract_cn);分类 cs.AI
AI总结 本文提出一个三维威胁模型框架(查询预算、数据预算、接口配置),用于评估针对黑盒LLM的输出扰动蒸馏防御,并通过反蒸馏采样案例表明防御有效性依赖于威胁模型假设。
Comments 29 pages, 18 figures
非文本目标攻击
机构 * State Key Laboratory of Blockchain and Data Security, Zhejiang University(区块链与数据安全国家重点实验室,浙江大学) ; Hangzhou High-Tech Zone, Binjiang Institute of Blockchain and Data Security, Hangzhou(杭州高新技术区,滨江区块链与数据安全研究院) ; School of Cyberspace Security, Nanjing University of Science and Technology(网络安全学院,南京理工大学) ; School of Computer Science, Shanghai Jiao Tong University(计算机科学学院,上海交通大学) ; College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,新加坡国立大学) ; King Abdullah University of Science and Technology (KAUST)(卡布斯科学与技术大学)
专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 针对现有大语言模型越狱攻击的局限,提出非文本目标攻击NTA,通过非文本约束目标最大化不安全概率,分解目标便于优化,扩展攻击空间,在AdvBench上对安全对齐的大语言模型仅100次迭代,平均成功率达96.8%,性能远超现有攻击。
Uni-OPD:基于双视角方案的统一策略内蒸馏框架
机构 * Zhejiang University(浙江大学) ; Shenzhen Loop Area Institute(深圳河套学院) ; LLM Department, Tencent(腾讯大模型部门)
专题命中 效率与部署 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.LG
AI总结 针对策略内蒸馏存在的信息状态探索不足、教师监督不可靠问题,提出跨大语言与多模态大模型的统一框架Uni-OPD,经多域实验验证其通用性与有效性。
边说话边思考:面向响应式与智能对话语音代理的推理时知识迁移
机构 * Paul G. Allen School of Computer Science & Engineering(保罗·G·阿伦计算机科学与工程学院)
专题命中 效率与部署 :language model(abstract);foundation model(abstract);small language model(abstract);分类 cs.CL
AI总结 提出对话填充方法,通过小型说话者模型即时生成上下文响应以隐藏推理模型延迟,并在推理中无缝整合流式知识,在保持毫秒级响应速度的同时将准确度差距缩小至前沿推理模型的6.3%以内。
TreeLoRA:通过层级梯度相似性树引导的逐层LoRA实现高效持续学习
专题命中 效率与部署 :LLM(abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG
AI总结 提出TreeLoRA方法,利用层级梯度相似性构建逐层适配器,结合bandit技术高效探索任务结构,并通过稀疏梯度更新优化参数,实现大预训练模型的高效持续学习。
Comments ICML 2025
ParallelBench: 理解扩散大语言模型中并行解码的权衡
机构 * FuriosaAI ; UW-Madison(威斯康星大学麦迪逊分校) ; Microsoft Research(微软研究院) ; UC Berkeley(加州大学伯克利分校) ; Seoul National University(首尔国立大学) ; KRAFTON ; Ludo Robotics Project(Ludo机器人项目)
专题命中 效率与部署 :LLM(summary_cn,abstract_cn);分类 cs.LG
AI总结 针对扩散LLM并行解码导致生成质量下降的问题,通过信息论分析和合成实验揭示其根本限制,并提出首个专门基准ParallelBench,系统评估发现并行解码在现实任务中质量损失严重,且现有策略无法根据任务难度调整并行度。
Comments Accepted at ICLR 2026. Project Page: https://parallelbench.github.io
DuDi: 跨语言动词化的双信号蒸馏
机构 * School of Information Science and Technology, VISTEC(信息科学与技术学院,VISTEC) ; AI Singapore(AI新加坡) ; MBZUAI
专题命中 效率与部署 :language model(abstract);small language model(abstract);SLM(abstract_cn);分类 cs.CL
AI总结 提出DuDi框架,通过结合序列级和词元级信号以及跨语言动词化器,提升小语言模型在多语言(尤其是东南亚语言)上的性能。
Fanar-Sadiq:一种用于基于经典伊斯兰问答的多智能体架构
机构 * Qatar Computing Research Institute(卡塔尔计算研究所) ; HBKU(哈马德本·卡尔白大学)
专题命中 效率与部署 :LLM(abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL
AI总结 针对大语言模型在伊斯兰问答中易产生幻觉和错误归因的问题,提出基于多智能体工具增强架构的Fanar-Sadiq系统,通过意图感知路由、检索增强教法回答、精确经文引用和确定性计算器,在公开基准上实现高效准确的伊斯兰问答。
Comments Islamic QA; Religious NLP; Retrieval-Augmented Generation; Multi-Agent LLMs; Tool-Augmented Reasoning; Faithful Generation; Fiqh Reasoning
TMRL: 差分时间步调节预训练实现高效策略微调的探索
机构 * University of Washington(华盛顿大学) ; Amazon FAR(亚马逊FAR)
专题命中 效率与部署 :pretraining(title);分类 cs.AI、cs.LG
AI总结 本文提出TMRL框架,通过结合行为克隆预训练与强化学习微调,解决预训练中动作分布狭窄的问题,提升机器人策略微调的样本效率。
以学生为中心的蒸馏缩小了小型和大型语言模型之间的智能差距
机构 * University of Science and Technology of China(中国科学技术大学)
专题命中 效率与部署 :large language model(abstract,comments);language model(abstract,comments);分类 cs.CL、cs.AI
AI总结 研究旨在缩小大小语言模型智能差距,提出SCoRe框架,让学生生成训练轨迹,教师纠正最早错误,经微调与短视距强化学习,提升学生解决问题能力,在12个基准测试中,70亿参数学生模型缩小了与720亿参数教师模型的性能差距
Comments Accepted to ICML 2026. The title has been changed from "From Correction to Mastery: Reinforced Distillation of Large Language Model Agents" to "Student-Centered Distillation Narrows the Agentic Gap Between Small and Large LLMs"; the camera-ready version has been uploaded
Mage-Flow:用于图像生成和编辑的高效原生分辨率基础模型
机构 * Microsoft Mage Team(微软Mage团队)
专题命中 效率与部署 :foundation model(title);分类 cs.AI、cs.LG
AI总结 研究针对大规模视觉生成器成本高的问题,提出Mage-Flow,由Mage-VAE和原生分辨率多模态扩散Transformer组成。通过协同设计实现高效文本到图像生成及编辑,开发完整模型家族,Turbo变体在高分辨率下生成和编辑高效,性能有竞争力。
HeaPA:用于大语言模型强化学习的难度感知堆采样和策略内查询增强
机构 * Stores Foundational AI, Amazon Inc.(亚马逊公司基础人工智能部) ; Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
专题命中 效率与部署 :LLM(title);分类 cs.CL、cs.LG
AI总结 研究大语言模型强化学习中提示采样问题,提出HeaPA方法,通过难度感知堆采样和策略内查询增强,维持动态提示池,跟踪能力前沿,在多数据集和基准测试中提升准确率,减少计算量,尤其在中大型模型规模下效果显著。
Comments COLM 2026
不可压缩的知识探针:通过事实容量估计黑盒大语言模型参数数量
机构 * Pine AI
专题命中 效率与部署 :LLM(title);分类 cs.AI、cs.LG
AI总结 本文提出不可压缩知识探针,通过事实容量估计大语言模型参数数量,验证了参数数量与知识容量的对数线性关系,展示了模型在不同厂商和不同世代中的持续扩展。
全保真音频无损压缩的语言建模基准测试
机构 * University of California, San Diego, Computer Science and Engineering Department(加州大学圣地亚哥分校计算机科学与工程系) ; Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
专题命中 效率与部署 :language model(title);分类 cs.AI、cs.LG
AI总结 提出字节级分词方案Trilobyte,将词汇量从指数级降至常数级,首次实现24位音频的LM无损压缩,并在8位和16位下超越FLAC。
Comments Accepted at Interspeech 2026, 7 pages, 5 figures
重新思考GUI视觉代理中历史截图的标记剪枝:语义、空间和时间视角
机构 * Sichuan University(四川大学) ; Sun Yat-sen University(中山大学) ; Australian National University(澳大利亚国立大学) ; Peking University(北京大学) ; University of Chinese Academy of Sciences(中国科学院大学) ; Shanghai Jiao Tong University(上海交通大学)
专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract)
AI总结 本文从语义、空间和时间角度研究GUI视觉代理中历史截图的标记剪枝,发现背景区域对界面状态转换有重要价值,随机剪枝在空间结构保留上更有效,且GUI代理具有近期效应,通过分配更多预算给近期截图可降低计算成本而不影响性能。
浑元OCR-1.5:让轻量级OCR视觉语言模型更快更好
机构 * Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所) ; Large Language Model Department, Tencent(腾讯大语言模型部) ; Nankai University(南开大学)
专题命中 效率与部署 :language model(abstract);pretraining(abstract);post-training(abstract)
AI总结 研究改进轻量级端到端OCR视觉语言模型。基于HunyuanOCR-1.0架构,用DFlash提升效率,提出Agentic Data Flow增强能力,在多任务表现出色,还将发布模型权重和代码。
潜在去噪提升大多模态模型的视觉对齐
机构 * University of Southern California(南加州大学) ; DEVCOM ARL Army Research Office(DEVCOM ARL陆军研究办公室)
专题命中 效率与部署 :LLM(abstract,abstract_cn);language model(abstract)
AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解,采用掩码和高斯噪声混合腐蚀视觉token,并利用解码器恢复教师特征,提升模型在分布偏移下的鲁棒性。
Comments ACM MM 2026
自主多智能体系统用于连续软件开发
专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract)
AI总结 本文提出TheBotCompany框架,通过三阶段状态机、自组织智能体团队和异步人类监督,实现持续软件开发的自动化与长期进展。
Comments Accepted by ASE 2026
在通用网络上进行强化学习:通过无损稀疏delta克服带宽障碍
专题命中 效率与部署 :LLM(abstract,abstract_cn);post-training(abstract)
AI总结 SparrowRL 通过在通用网络上实现无损稀疏 delta 更新,显著提高了 RL 训练的吞吐量和效率,降低了成本。
LangFIR: 从单语数据中发现稀疏语言特定特征以实现语言引导
机构 * University of Kentucky(肯塔基大学) ; Dalhousie University(达尔豪斯大学)
专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 LangFIR通过仅使用少量单语数据和随机令牌序列,发现稀疏语言特定特征,从而在多语言生成控制中实现高准确率,优于单语基线和依赖平行数据的方法。
Comments Accepted to COLM 2026
PatchAlign3D: 本地特征对齐用于密集3D形状理解
机构 * École polytechnique(巴黎政治学院) ; University of Virginia(弗吉尼亚大学) ; KAUST(王国立阿联酋科技大学)
专题命中 效率与部署 :LLM(abstract,abstract_cn);foundation model(abstract)
AI总结 PatchAlign3D通过点云直接生成语言对齐的片段特征,实现高效零样本3D部分分割,优于传统渲染方法。
Comments CVPR 2026. Project website: https://souhail-hadgi.github.io/patchalign3dsite/
自回归生成模型的随机热力学:非马尔可夫视角
专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract)
AI总结 本文从非马尔可夫视角出发,建立自回归生成模型的随机热力学框架,提出熵产概念,通过采样轨迹高效估计熵产,探讨了在大语言模型中的应用及非马尔可夫过程的不可逆性量化。
Comments 30 pages, 11 figures
DIVE: 通过自限制梯度更新实现嵌入压缩
机构 * University of Washington Tacoma School of Engineering and Technology(华盛顿大学塔可姆分校工程与技术学院)
专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出DIVE方法,通过自限制的三元组损失和头级NT-Xent对比损失解决嵌入压缩中因标注数据稀缺导致的过拟合问题,提升了检索性能。
人工智能驱动的劳动力市场中信息保障的效率成本:来自领英政策变化的证据
专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract)
AI总结 研究人工智能训练中限制用户数据访问对劳动力市场的影响,利用领英政策变化及双重差分设计,发现限制增加劳动力市场摩擦,完整政策周期有类似模式,为人工智能治理及数据访问经济后果讨论提供证据。
循环渲染:通过视觉自反馈生成矢量图形
机构 * School of Software, Beihang University(北航软件学院) ; Department of Computer Science, The University of Hong Kong(香港大学计算机科学系) ; Paradigm(4Paradigm)
专题命中 效率与部署 :large language model(abstract);language model(abstract);foundation model(abstract)
AI总结 本文提出Render-in-the-Loop方法,通过视觉上下文引导矢量图形生成,提升模型对视觉信息的利用效率,实现更高效的SVG生成。
全模态扩散:基于掩码离散扩散的统一多模态理解与生成
机构 * Nanjing University(南京大学) ; Tencent Youtu Lab(腾讯云科技实验室) ; CASIA(中国科学院自动化研究所)
专题命中 效率与部署 :large language model(abstract);language model(abstract);foundation model(abstract)
AI总结 受离散扩散模型在多领域成功应用启发,提出全模态扩散模型,基于掩码离散扩散模型构建,统一文本、语音和图像的理解与生成,用统一模型直接捕捉离散多模态令牌联合分布,性能优于现有多模态系统。
Comments Accepted to ICML 2026. This version updates the ICML submission with an optimized model checkpoint. Project page: https://omni-diffusion.github.io
令牌通信:一种用于跨模态上下文感知语义通信的大模型驱动框架
机构 * School of Information and Electronics, Beijing Institute of Technology, Beijing 100081, China(信息与电子学院,北京理工大学,北京) ; GIC & 6GIC, Institute for Communication Systems (ICS), University of Surrey, Guildford, United Kingdom(5GIC与6GIC,通信系统研究所(ICS), Surrey大学, Guildford,英国) ; Centre for Wireless Communications, University of Oulu, 90014 Oulu, Finland(无线通信中心,奥卢大学, Oulu,芬兰) ; School of Computer Science and Engineering, Nanyang Technological University, Singapore 639798(计算机科学与工程学院,南洋理工大学, Singapore)
专题命中 效率与部署 :large language model(abstract);language model(abstract);foundation model(abstract)
AI总结 介绍令牌通信框架,借助生成基础模型和多模态大语言模型,以令牌为通信单元,在语义通信中利用跨模态上下文信息,提升带宽效率,并给出关键原则与研究方向。
Comments Accepted at IEEE Wireless Communications Magazine
动态分析增强问题解决
专题命中 效率与部署 :LLM(abstract_cn);large language model(abstract);language model(abstract)
AI总结 本文提出DAIRA框架,通过动态分析提升代码缺陷修复效率,实现高准确率和低资源消耗。
Magic-MM-Embedding: 面向视觉令牌高效的多模态大语言模型通用嵌入
机构 * Honor Device Co., Ltd., China(荣耀终端有限公司,中国)
专题命中 效率与部署 :large language model(abstract);language model(abstract);pretraining(abstract)
AI总结 提出Magic-MM-Embedding,通过视觉令牌压缩架构和多阶段渐进训练策略,在通用多模态嵌入中实现高效率和最先进性能。
Comments Accepted by ECCV 2026
COSM:一种用于移动设备上并发PIM和CPU执行的协同调度框架
专题命中 效率与部署 :LLM(abstract_cn);large language model(abstract);language model(abstract)
AI总结 提出COSM框架,通过低干扰PIM控制接口和空闲感知调度方法,实现移动设备上PIM与CPU的并发执行,提升PIM吞吐量达2.8倍且CPU性能损失小于2.0%。
Comments 18 pages, 13 figures, ISCA'26