arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 2049 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 2049 篇

2608.00345 2026-08-04 cs.CV cs.AI 新提交 57%

ORCA: ORgan-Centroid Aggregation for Training-Free 3D CT Visual Token Compression

ORCA:面向无需训练的3D CT视觉令牌压缩的器官质心聚合方法

Renjie Liang, Zijian Xu, Jinqian Pan, Chengkun Sun, Zhengkang Fan, Shawn Li, You Qin, Mei Liu, Jie Xu

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 针对3D CT视觉令牌压缩的痛点,提出无需训练的即插即用ORCA方法,在多数据集、多任务上实现显著压缩比与速度提升,性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00264 2026-08-04 cs.CV cs.AI 新提交 57%

Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers

视觉Transformer中可解释性引导的注意力头软剪枝

Kamil Książek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

机构 * University of Warsaw(华沙大学)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI

AI总结 该研究针对视觉基础模型架构庞大的问题,提出可解释性引导的注意力头软剪枝框架SAPER,在ImageNet-1K上实现了优于RAPTOR的精度-效率权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.29402 2026-08-03 cs.IR cs.CL 新提交 57%

Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings

弥合检索增强生成中的问答差距:假设提示嵌入

Domen Vake, Jernej Vičič, Aleksandar Tošić

专题命中 效率与部署 :language model(abstract);分类 cs.CL

AI总结 该研究提出假设提示嵌入(HyPE)框架,将假设内容生成移至索引阶段,提升RAG的检索对齐度与效率,在六个数据集上实现检索精度和召回率的显著提升且兼容多种RAG技术

Comments 10 pages, 8 figures, 5 tables. Published in IEEE Access

Journal ref IEEE Access, vol. 13, pp. 129952-129961, 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28582 2026-07-31 cs.LG 新提交 57%

$β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation

β-OPSD:基于策略优化推导,采用自蒸馏训练

Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

机构 * University of Maryland(马里兰大学)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 β-OPSD是将普通OPSD扩展为含可控正则化参数β的策略优化通用形式,通过蒸馏近似策略优化解,在数学推理基准上性能与稳定性均优于普通OPSD。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28308 2026-07-31 cs.LG 新提交 57%

Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing

超越几何互补性:稀疏混合专家路由中的相干重叠

Huiyuan Tian, Bonan Xu, Shijian Li

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 该研究区分了MoE路由的相干性等量,提出相干重叠概念,发现所选专家子空间重叠显著但实际路由更优,且添加后续专家多能提升预测,说明几何相似性无法决定冗余或剪枝价值。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27968 2026-07-31 cs.LG 新提交 57%

Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning

超越二元奖励:强化遗忘的奖励设计比较研究

Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci

机构 * Technical University of Munich(慕尼黑工业大学) Sapienza University of Rome(罗马大学) Munich Center for Machine Learning(慕尼黑机器学习中心)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 该研究在RUL框架下提出两种新型奖励函数,经RWKU基准实验,其遗忘效率较二元奖励提升,速度快达3倍且保留模型效用,表明奖励设计是机器遗忘效率的关键驱动因素。

Comments Accepted to WIPE-OUT 2 @ ECML-PKDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27952 2026-07-31 cs.CV cs.AI 新提交 57%

LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference

LAST:最后一个查询令牌指导视觉令牌剪枝用于边缘-云协作多模态大语言模型(MLLM)推理

Feng Yang, Xinrui Ju, Keyang Zhang, Xiandong Meng, Rongqun Lin, Howard Leung, Shiqi Wang, Haoliang Li, Chris Xing Tian

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI

AI总结 该研究提出无训练框架LAST,利用边缘侧VLM的最后查询令牌注意力实现查询感知视觉令牌剪枝,在11个多模态基准上以12.5%视觉令牌保留率维持95.4%全令牌准确率,降低边缘和云侧开销。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26648 2026-07-30 cs.NE cs.LG 新提交 57%

The Sparsity Ceiling: Where Spiking Networks Can and Cannot Trade Activity for Energy

稀疏上限:脉冲网络可在何处及为何用活动换能量

Zeyu Wang

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 该研究揭示脉冲网络稀疏上限由任务类型决定,前馈感知可低至5%放电率,循环语言模型约50%,脉冲Transformer可至2%,并提出信息论边界解释该现象,明确神经形态硬件在事件驱动感知的优势。

Comments 5 pages, 6 figures. Code: https://github.com/zeyuyuyu/sparsity-ceiling

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26042 2026-07-29 cs.CV cs.LG 新提交 57%

VetClaw: An Edge-Cloud Multimodal Agentic System for Veterinary Disease Screening

VetClaw:一种用于兽医疾病筛查的边缘云多模态智能系统

Syed Mhamudul Hasan, Anas AlSobeh, Hussein Zangoti, Abdur R. Shahid

机构 * Southern Illinois University(南伊利诺伊大学) Utah Valley University(犹他谷大学) Jazan University(吉赞大学)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 VetClaw是用于兽医疾病筛查的边缘云多模态智能系统,用相机模块采集图像等并发送至视觉语言模型分类。它分离智能体交互与工作流编排,超越静态图像分类,症状引导和多模态输入提升性能,将静态模型转变为多功能安全感知系统。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25915 2026-07-29 cs.AI 新提交 57%

Penelope: Localized Latent Recurrence for Efficient Structured Reasoning

佩内洛普:用于高效结构化推理的局部潜在循环

Yutong Chen, Shouqian Shi, Xinran Liu, Haochen Wang, Jiaying Wang, Tianxing Xu, Yuanxi Wang, Zirui Ding

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 研究复杂结构化推理任务计算问题,提出佩内洛普框架,通过局部潜在循环实现高效推理,将可见推理转移到内部循环路径,在开源基准实验中降低推理延迟,实现准确性-效率权衡。

Comments 8 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25716 2026-07-29 cs.CL 新提交 57%

SpeechLLM Meets Federated Learning for End-to-End ASR: English and Italian Case Studies

语音语言模型与联邦学习结合实现端到端语音识别:英语和意大利语案例研究

Mohamed Nabih Ali, Daniele Falavigna, Alessio Brutti

专题命中 效率与部署 :language model(abstract);分类 cs.CL

AI总结 研究将联邦学习应用于基于语音语言模型的端到端语音识别,设计通信高效的联邦优化策略,通过英语和意大利语单语ASR任务评估其有效性与稳定性,进行消融研究分析语音编码器架构影响,为多语言场景部署联邦SpeechLLM奠定基础。

Comments Accepted at the 2nd International Conference on Federated Learning and Intelligent Computing Systems (FLICS2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24770 2026-07-29 cs.AI cs.HC 新提交 57%

ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop

ProcAgent:一种用于边缘端人机协作的过程性任务指导的智能体框架

Azizul Zahid, Subrata Biswas, Bashima Islam, Sai Swaminathan

机构 * University of Tennessee Knoxville(田纳西大学诺克斯维尔分校) Worcester Polytechnic Institute(伍斯特理工学院)

专题命中 效率与部署 :LLM(abstract);分类 cs.AI

AI总结 研究针对家具组装等过程性任务,提出ProcAgent框架,利用提议与验证架构,结合多种技术,在边缘设备上实现实时自适应指导,经多维度评估及用户研究,证明能在不牺牲可用性的情况下于边缘硬件达成自适应过程性辅助。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24354 2026-07-28 cs.AI 新提交 57%

Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization

提示优化器是盲目运行的吗?用于自动提示优化的跨模态视觉反馈

Haoyue Liu, Xiaoyu Ma, Ye Chen, Yuexian Zou, Xiaoying Tang

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 研究多模态任务中自动提示优化的盲目性问题,提出跨模态视觉反馈方法,含故障条件视觉诊断和错误感知聚合阶段,在多个VQA数据集和目标VLM上效果显著,能提升分数且优化器可跨模型转移。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23581 2026-07-28 cs.AI 新提交 57%

Verification-Notebook Learning for Source-Aware Multimodal Misinformation Detection

用于源感知多模态错误信息检测的验证笔记本学习

Junyuan Tan

专题命中 效率与部署 :prompting(abstract);分类 cs.AI

AI总结 针对多模态错误信息检测,提出验证笔记本学习框架VNL,通过构建包含决策原则等的笔记本,在推理时指导验证新示例,实验显示其性能优于基线,能提高源归因且紧凑可解释,无需模型训练积累知识。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23384 2026-07-28 cs.RO cs.AI cs.CV 新提交 57%

Semantic Semi-Incremental Data-Association-Free Object SLAM

语义半增量无数据关联目标 SLAM

Yihao Zhang, Jungseok Hong, John J. Leonard

机构 * Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology(计算机科学与人工智能实验室,麻省理工学院)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI

AI总结 研究针对 SLAM 中数据关联难题,提出广义无数据关联 SLAM 框架,利用深度学习语义信息,通过半增量估计方案联合估计多要素,经合成与真实数据集评估,相比基线展现出卓越性能,提升框架实用性与可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23245 2026-07-28 cs.MM cs.LG 新提交 57%

FedTaste: Topology-Aware Structural Transfer for Multimodal Federated Learning with Missing Modalities

FedTaste:用于具有缺失模态的多模态联邦学习的拓扑感知结构转移

Haochen Liang, Jie Zhang, Hideya Ochiai

专题命中 效率与部署 :foundation model(abstract);分类 cs.LG

AI总结 针对多模态联邦学习中模态缺失和数据分布问题,提出FedTaste框架,利用冻结基础模型提取联合多模态拓扑,结合模态自适应结构提示等方法,避免显式模态插补,在多数据集和非IID设置下性能优越且通信开销低。

Comments Accepted to ACM Multimedia (ACM MM) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22872 2026-07-28 cs.LG cs.CV 新提交 57%

Same Predictions, Different Reasons: The Effect of Quantization on Model Explanations

相同预测,不同原因:量化对模型解释的影响

Kazi Kamruzzaman Rabbi, Md. Zami Al Zunaed Farabe, M. Sohel Rahman

机构 * BRAC University(BRAC大学) Bangladesh University of Engineering and Technology (BUET)(孟加拉国工程技术大学)

专题命中 效率与部署 :post-training(abstract);分类 cs.LG

AI总结 研究训练后量化(PTQ)对五种CNN架构可解释性的影响,采用结合Grad - CAM和LIME的双重框架,在二分类数据集上比较全精度和量化模型,发现分类精度非可解释性稳定性可靠指标,架构选择与量化策略同样重要。

Comments 12 pages, 3 Figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22714 2026-07-28 cs.CV cs.AI 新提交 57%

Real-Time Semantic Segmentation with Optimized RetinaNet Architectures for Embedded Automotive Systems

用于嵌入式汽车系统的优化RetinaNet架构的实时语义分割

Sai Sidharth D

专题命中 效率与部署 :post-training(abstract);分类 cs.AI

AI总结 针对嵌入式汽车系统对实时感知的需求,提出Opt-RetinaSeg架构,通过优化主干、FPN及引入分割头解决不平衡问题,经三阶段优化,在相关数据集和硬件上实现高速、小模型且高精度的实时语义分割。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21752 2026-07-27 cs.LG 新提交 57%

Parameter-free Adaptive Sparse Attention via Compression-Based Content Selection

通过基于压缩的内容选择实现无参数自适应稀疏注意力

Debarshi Kundu, Swaroop Ghosh, Vasant Honavar

机构 * The Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 研究如何实现无参数自适应稀疏注意力,核心方法是利用gzip压缩率识别内容块来动态生成稀疏掩码,主要贡献是在语言建模实验中性能超越其他模型,无参数添加且随序列长度优势扩大、收敛更快。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21672 2026-07-27 cs.SE cs.AI cs.CV 新提交 57%

Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

像素换程序?关于将源代码作为文本和图像的输入令牌计费的跨供应商案例研究

Ronak Bhalgami

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 研究将源代码作为文本和图像时商业API如何计费,通过可重复案例研究,涵盖五种编程语言、多种源长度及多个模型别名,得出不同模型的图像与文本比率及收支平衡行为差异,还发布了重现研究所需的资料。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21620 2026-07-27 cs.AI 新提交 57%

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

从概要到导向向量:用于个性化文本生成的全局稀疏先验和局部语义校准

Liuji Chen, Zeyu Zhang, Xinyuan Zhang, Shuai Nie, Qiang Liu, Shu Wu, Liang Wang

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室) Xiaomi(小米)

专题命中 效率与部署 :LLM(abstract);分类 cs.AI

AI总结 研究个性化文本生成问题,提出无训练框架GLASS,通过全局-局部激活导向与稀疏先验实现。利用稀疏自动编码器提取全局先验、构建局部向量,推理时注入模型层。实验证明其性能优于基线,能更好分离风格与语义信息。

Comments Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21518 2026-07-24 cs.AI 新提交 57%

Same Dangerous Objective, Opposite Advice: Direct Exposure versus Multi-Agent Mediation

相同危险目标,相反建议:直接暴露与多智能体调解

Linjun Li

机构 * University of Pennsylvania(宾夕法尼亚大学)

专题命中 效率与部署 :LLM(abstract);分类 cs.AI

AI总结 研究通过测试发现,语言模型直接面对危险目标和经智能体转换传递指令时表现不同,存在行为反向转变及组合安全漏洞,高性能模型可用于特定自动化工作流程的用户端组件,却未明确其内部机制。

Comments 21 pages; welcome comments

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20642 2026-07-24 cs.CV cs.LG 新提交 57%

Masked Topology Modeling for Self-Supervised Learning on Parametric CAD

用于参数化CAD自监督学习的掩码拓扑建模

Heinrich Jiang, Jennifer Jang

机构 * StoryGold AI(故事黄金人工智能公司)

专题命中 效率与部署 :pretraining(abstract);分类 cs.LG

AI总结 针对缺乏原生可编辑和参数化格式CAD数据集的问题,提出掩码拓扑建模(MTM)自监督预训练任务,结合多种方法在相关数据集预训练,在多个基准测试中表现出色。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19431 2026-07-23 cs.AR cs.AI 新提交 57%

BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator

BRIM:工作负载平衡的双边位串行稀疏推理加速器

Varun Manjunath, Ruokai Yin, Donghyun Lee, Arkapravo Ghosh, Priyadarshini Panda

机构 * University of Southern California(南加州大学) Yale University(耶鲁大学)

专题命中 效率与部署 :post-training(abstract);分类 cs.AI

AI总结 研究针对双边位串行稀疏推理加速器工作负载不平衡问题,提出BRIM。它采用循环平衡剪枝和成对时隙捐赠两种机制,在等面积约束下评估,能提高PE利用率,实现显著加速和能效提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18850 2026-07-22 cs.CV cs.AI 新提交 57%

OPD-IAD: From Language Judgment to Industrial Anomaly Detection via On-Policy Self-Distillation

OPD-IAD:通过策略内自蒸馏从语言判断到工业异常检测

Shuimu Chen, Jing Jin, Nan Su, Hongbo Xu, Zebang Cheng, Wenming Yang, Fei Ma, Guijin Wang

机构 * Tsinghua University(清华大学) Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳)) Shenzhen University(深圳大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 研究如何利用大型视觉语言模型进行工业异常检测,提出OPD-IAD框架,通过策略内自蒸馏和语言引导视觉锚定,将语言判断转化为像素级异常图,在相关方法中取得最佳性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18839 2026-07-22 cs.CL 新提交 57%

HPD-Parsing: Hierarchical Parallel Document Parsing

HPD解析:分层并行文档解析

Shu Wei, Jingjing Wu, Lingshu Zhang, Qunyi Xie, Hao Zou, Le Xiang, Xu Fan, Yangliu Xu, Manhui Lin, Xiaolong Ma, Cheng Cui, Tengyu Du, YY

专题命中 效率与部署 :language model(abstract);分类 cs.CL

AI总结 研究基于统一视觉语言模型的文档解析器顺序瓶颈问题,提出HPD解析,采用分层并行解码范式,含主要布局分支和P-MTP,实验显示其吞吐量高且精度有竞争力,为高效统一文档解析开辟新方向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18446 2026-07-22 cs.CL cs.CY 新提交 57%

Using Fine-Tuned LLMs to Identify Indicators of Vulnerability in UK Police Incident Logs

使用微调的语言模型识别英国警方事件日志中的脆弱性指标

Sam Relins, Daniel Birks

机构 * ESRC Vulnerability and Policing Futures Research Centre(经济与社会研究理事会脆弱性与警务未来研究中心) School of Law, University of Leeds(利兹大学法学院)

专题命中 效率与部署 :LLM(abstract);分类 cs.CL

AI总结 研究探讨基于美国开源警方数据的语言模型分类管道能否用于估计英国警方事件叙述中四种脆弱性指标流行率。通过多阶段管道分析近3000份日志,虽能产生流行率估计,但单纯部署不可靠,纠正偏差需大量人工和统计调整,强调了该方法的潜力与局限。

Comments 24 pages, 4 figures. Preprint. Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18236 2026-07-21 cs.RO cs.LG 新提交 57%

Patch Policy: Efficient Embodied Control via Dense Visual Representations

补丁策略:通过密集视觉表示实现高效具身控制

Gaoyue Zhou, Zichen Jeff Cui, Ada Langford, Bowen Tan, Yann LeCun, Lerrel Pinto

机构 * Courant Institute, New York University(纽约大学柯朗数学科学研究所) Meta-FAIR(Meta FAIR) AMI Labs(AMI 实验室)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 研究利用预训练密集视觉特征,提出补丁策略,通过块因果注意力掩码等实现高效具身控制。该策略轻量级、快速且高效,在模拟和真实环境中相比其他策略有显著提升,为机器人社区利用视觉表示学习提供新途径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18101 2026-07-21 cs.LG cs.AR cs.CV 新提交 57%

Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator

利用边缘人工智能推理加速器实现设备端模型自适应

Mateusz Piechocki, Alessandro Capotondi, Marek Kraft

机构 * Poznan University of Technology(波兹南理工大学) University of Modena and Reggio Emilia(摩德纳大学和雷焦艾米利亚大学)

专题命中 效率与部署 :post-training(abstract);分类 cs.LG

AI总结 研究针对资源受限硬件上设备端模型自适应难题,提出用异构自适应管道,借助Hailo-8L加速器提取冻结主干特征,划分计算图,在多架构和数据集上提升训练速度、吞吐量并降低能耗,证明该方法实用。

Comments Accepted at the ITEM Workshop, held in conjunction with ECML-PKDD 2026. To appear in the ECML-PKDD joint post-workshop proceedings

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17913 2026-07-21 cs.DC cs.LG 新提交 57%

AutoEncoder-Compressed Parallel Split Learning for Pre-trained Model Fine-Tuning

用于预训练模型微调的自动编码器压缩并行分割学习

Bas Meuwissen, Vasileios Tsouvalas, Nirvana Meratnia

机构 * Eindhoven University of Technology(埃因霍温理工大学)

专题命中 效率与部署 :foundation model(abstract);分类 cs.LG

AI总结 针对资源受限边缘设备上大规模基础模型分布式微调的局限,提出AE-PSL框架,利用轻量级自动编码器压缩中间激活值和梯度,并引入两阶段对齐机制,提升通信效率与模型兼容性。

Comments Accepted to ECML-PKDD 2026, 4th Workshop on Advancements in Federated Learning (WAFL)

详情

展开后加载摘要…

URL PDF HTML 收藏