arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 2049 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 2049 篇

2606.30815 2026-07-01 cs.CL cs.AI 新提交 62%

When transformers learn "impossible" languages, what do they learn?

当Transformer学习“不可能”语言时,它们学到了什么?

Ram Janarthan, Coleman Haley, Sharon Goldwater

机构 * University of Edinburgh(爱丁堡大学)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.AI

AI总结 研究通过训练GPT-2模型于英语的“不可能”变体,发现模型在语法敏感性上仅逐渐退化,但在生成任务中显著失败,提出生成缺陷是语言不可习得性的可能解释。

Comments CoNLL 2026 (Best Paper Award). 14 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.25432 2026-07-01 cs.LG cs.AI cs.CV 新提交 62%

Brevity is the Soul of Inference Efficiency: Inducing Concision in VLMs via Data Curation

简洁是推理效率的灵魂:通过数据策展诱导VLM的简洁性

DatologyAI, :, Matthew L. Leavitt, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Alvin Deng, David Schwab, Bogdan Gaza, Ari Morcos

机构 * DatologyAI

专题命中 效率与部署 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 本文提出通过预训练数据策展诱导视觉语言模型输出简洁答案,从而降低推理成本,在保持精度的同时实现35倍成本优势。

Comments 36 pages, see https://datologyai.com for more information

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27748 2026-06-29 cs.LG cs.AI 新提交 62%

Flexformer: Flexible Linear Transformer with Learnable Attention Kernel

Flexformer: 具有可学习注意力核的灵活线性Transformer

Haoran Zhang, Feng Zhou

机构 * Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计科学研究中心与统计学院)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出Flexformer,通过将随机傅里叶特征中的频谱频率作为可训练参数,实现数据驱动的注意力核学习,在保持线性复杂度的同时提升表达能力,并在语言建模和序列分类任务上优于基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27095 2026-06-26 cs.LG cs.AI 新提交 62%

Data-Free Reservoir Features for Efficient Long-Horizon Cold-Start Continual Learning

无数据储备特征用于高效长时域冷启动持续学习

Augustinas Jučas, Yangchen Pan

机构 * University of Oxford(牛津大学) Department of Computer Science(计算机科学系) Department of Engineering Sciences(工程科学系)

专题命中 效率与部署 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 提出CIRCLE方法,使用固定的双向二维储备特征和流式线性判别分析头,无需重放、预训练或骨干网络反向传播,在长任务序列中显著优于现有冷启动无样本类增量学习方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26650 2026-06-26 cs.CL cs.AI 新提交 62%

CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs

CAT-Q:面向LLMs的经济高效且精确的三值量化

Shigeng Wang, Chao Li, Yangyuxuan Kang, Jiawei Fan, Anbang Yao

机构 * Intel Labs China(英特尔中国实验室)

专题命中 效率与部署 :post-training(abstract);分类 cs.CL、cs.AI

AI总结 提出CAT-Q后训练量化方案,通过可学习调制和软化三值化,仅用512个校准样本即可将LLMs高效量化为三值模型,性能优于使用100B tokens训练的BitNet 1.58-bit,训练token减少约100,000倍。

Comments This work is accepted to ICML 2026 as an oral. The project page: https://github.com/IntelChina-AI/BitTern

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15623 2026-06-24 cs.LG cs.AI 新提交 62%

Surprise-Guided MergeSort: Budget-Efficient Human-in-the-Loop Ranking via Adaptive Comparison Scheduling

惊喜引导的归并排序:通过自适应比较调度实现预算高效的人机协同排名

Yujin Park, Haejun Chung, Ikbeom Jang

机构 * Hanyang University(汉阳大学) Hankuk University of Foreign Studies(韩国外国语大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出惊喜引导的归并排序(SGS)框架,利用视觉语言模型(VLM)作为问题优先级排序器,通过自适应预算分配将高模糊度比较路由给人类,在六个基准上以相同预算实现Kendall's τ×100提升6-12点。

Comments After submission, we discovered significant issues in the reference and citation information used in the manuscript. Because these issues affect the integrity of the scholarly record and require substantial revision and verification, we request withdrawal of the current submission. A corrected version may be submitted in the future after a comprehensive review

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22352 2026-06-23 cs.LG cs.AI 新提交 62%

On the Sparsity-Storage-Accuracy Tradeoff in Parsimoniously Activated Dictionary Learning

稀疏性-存储-精度权衡在简约激活字典学习中的研究

Zihui Zhao, Yuanbo Tang, Yang Li

机构 * Tsinghua University, Institute of Data and Information(清华大学数据与信息研究院) Shenzhen Key Laboratory of Ubiquitous Data Enabling(深圳泛在数据赋能重点实验室)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出简约激活字典学习(PADL)的结构化生成模型解释,推导出稀疏性、存储成本与重建精度之间的权衡关系,并开发出无需手动调参的高效算法,在视觉基准上取得更优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22296 2026-06-23 cs.LG cs.AI 新提交 62%

SCENIC: Semantic-Conditioned Edge-Aware Neural Framework for Structured IoT Command Generation

SCENIC: 语义条件边缘感知的结构化物联网命令生成神经框架

Luke Ztz Hu, Hongbing Lang, Songping Mai

机构 * Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院) Shenzhen Belon Technology Co., Ltd.(深圳市贝隆科技有限公司)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出SCENIC框架,通过小规模Transformer、三元组损失微调、剪枝量化等方法,在边缘设备上高效生成结构化IoT命令,达到高准确率并显著压缩模型。

Comments IEEEtran journal format; 3 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22019 2026-06-23 cs.LG cs.AI 新提交 62%

Channel Location Constrains the Auditability of Subliminal Learning

通道位置限制潜意识学习的可审计性

Tamas Madl

机构 * Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所) University of Vienna(维也纳大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 研究潜意识学习中隐藏特征传递的可审计性,发现通道位置决定审计有效性,并识别三种传递机制,证明审计必须匹配载体通道。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13589 2026-06-23 cs.LG cs.AI 新提交 62%

Simplex-Constrained Sparse Bagging: Transitioning from Uniform Priors to Sparse Posteriors in Ensemble Learning

单纯形约束的稀疏装袋:集成学习中从均匀先验到稀疏后验的转变

Meher Sai Preetam Madiraju, Meher Bhaskar Madiraju

机构 * Georgia Institute of Technology(佐治亚理工学院)

专题命中 效率与部署 :post-training(abstract);分类 cs.AI、cs.LG

AI总结 提出SCSB框架,通过最小化袋外损失在概率单纯形上联合优化集成剪枝与校准,引入凹二次惩罚解决L1单纯形悖论,实现高达96%的压缩并提升校准性能。

Comments 6 pages, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19749 2026-06-19 cs.AI cs.CL 新提交 62%

Benchmarking Agentic Review Systems

基准测试智能审稿系统

Dang Nguyen, Wanqing Hao, Yanai Elazar, Chenhao Tan

机构 * University of Chicago(芝加哥大学) Bar-Ilan University(巴伊兰大学)

专题命中 效率与部署 :LLM(abstract_cn);分类 cs.CL、cs.AI

AI总结 针对AI辅助研究给同行评审带来的压力,新兴智能审稿系统涌现,但缺乏评估标准。本文评估了多种系统,发现最佳配置(OpenAIReview + GPT-5.5)在成对准确性上达83.0%,能捕获71.6%注入错误,且用户反馈正面。

Comments 11 pages, 7 tables, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18023 2026-06-17 cs.LG cs.AI 新提交 62%

LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling

LoopCoder-v2: 仅循环一次以实现高效的测试时计算扩展

Jian Yang, Shawn Guo, Wei Zhang, Tianyu Zheng, Yaxin Du, Haau-Sing Li, Jiajun Wu, Yue Song, Yan Xing, Qingsong Cai, Zelong Huang, Chuan Hao, Ran Tao, Xianglong Liu, Wayne Xin Zhao, Mingjie Tang, Weifeng Lv, Ming Zhou, Bryan Dai

机构 * Beihang University(北京航空航天大学) IQuest Research Langboat(浪波) Renmin University of China(中国人民大学)

专题命中 效率与部署 :instruction tuning(abstract);分类 cs.AI、cs.LG

AI总结 本文提出并行循环Transformer(PLT)并研究循环次数选择,发现两循环变体在代码生成等任务上显著提升,而三循环以上性能下降,揭示了增益-成本权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16429 2026-06-16 cs.LG cs.CL 新提交 62%

Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

Taylor-Calibrate:混合线性注意力蒸馏的原则性初始化

Zhongzhu Zhou, Qingyang Wu, Junxiong Wang, Mayank Mishra, Shuaiwen Leon Song, Ben Athiwaratkun, Chenfeng Xu

机构 * The University of Sydney(悉尼大学) Together AI University of California, Berkeley(加州大学伯克利分校) The University of Texas at Austin(德克萨斯大学奥斯汀分校) Microsoft(微软)

专题命中 效率与部署 :pretraining(abstract);分类 cs.CL、cs.LG

AI总结 提出Taylor-Calibrate方法,利用泰勒引导的教师注意力统计初始化混合线性注意力学生模型,显著减少蒸馏所需训练令牌数。

Comments 24 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15378 2026-06-16 cs.CL cs.LG 新提交 62%

Rethinking the Role of Efficient Attention in Hybrid Architectures

重新思考高效注意力在混合架构中的作用

Ziqing Qiao, Yinuo Xu, Chaojun Xiao, Zhou Su, Zihan Zhou, Yingfa Chen, Xiaoyue Xu, Xu Han, Zhiyuan Liu

机构 * Tsinghua University(清华大学) OpenBMB

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.LG

AI总结 本文系统分析混合架构中高效注意力模块(如滑动窗口注意力和循环序列混合器)的影响,发现其主要影响长上下文能力的涌现速度,并揭示“大窗口惰性”现象,提出仅对全注意力层去除位置编码可提升长上下文性能。

Comments 23 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15079 2026-06-16 cs.CL cs.AI 新提交 62%

Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale

Ling 和 Ring 2.6 技术报告:高效且即时的万亿参数规模智能体智能

Ang Li, Ben Liu, Bin Han, Bin Hu, Bin Jing, Binbin Hu, Bing Li, Cai Chen, Caizhi Tang, Changxin Tian, Chao Huang, Chao Zhang, Chen Liang, Chen Qian, Chengfu Tang, Chengyao Wen, Chilin Fu, Chunwei Wu, Cong Zhang, Cunyin Peng, Daixin Wang, Dalong Zhang, Deng Zhao, Dingnan Jin, Dingyuan Zhu, Donghao Zhang, Fan Yuan, Fangzheng Zhao, Fanzhuang Meng, Feifan Wu, Feng Xu, Fengbin Fang, Gangshan Wang, Guodong Yang, Hailin Zhao, Haitao Wang, Haitao Zhang, Hanxiao Zhang, Hanzi Wang, Hao Dai, Hao Liu, Hao Qian, Hao Wu, Haoxiong Liu, Haoyu Xu, Heng Zhang, Hong Liu, Hongliang Zhang, Hongrui Liu, Hongxun Li, Hongzhi Ruan, Huaidong Xiong, Huihuang Zheng, Huikang Tang, Jia Guo, Jia Li, Jia Liu, Jiameng Wang, Jiaming Liu, Jiannan Shi, Jianping Wei, Jiaolong Yang, Jiapeng Wang, Jie Gao, Jie Wang, Jiewei Wu, Jin Yang, Jinjin Li, Jinjing Huang, Jinquan Sun, Jinyao Chen, Juanhui Tu, Jun Liu, Jun Mei, Jun Xu, Jun Zhou, Junjie Ou, Junnan Sipan, Junpeng Fang, Kaihong Zhang, Kaiqin Hu, Ke Shi, Kuan Xu, Kun Tang, Kunlong Chen, Lanyin Mei, Lei Chen, Lei Liang, Lei Xu, Li Tang, Liang Jiang, Liangcheng Fu, Lihui Zhang, Linfeng Shi, Lintao Ma, Liyuan Liu, Longfei Li, Longfei Zheng, Lu Liu, Lu Yu, Man Li, Meiqi Zhu, Meng Li, Mengjie Gao, Mengshu Sun, Mingming Yin, Mingyang Zhang, Mingyuan Fan, Nuo Xu, Pan Tang, Peijie Jiang, Peilong Zhao, Peng Lin, Pingping Liu, Qi Zuo, Qian Zhao, Qiang Cheng, Qianggang Cao, Qiaoben Bao, Qing Cui, Qingyuan Yang, Qitao Shi, Qiyin Huang, Qizheng Zhou, Quan Wan, Runyuan Zhao, Shaomian Zheng, Shaowei Wei, Shengnan Zhang, Shuaicheng Li, Shujie Li, Shuo Zhang, Sikang Bian, Tianchu Yao, Tiange Xu, Tianshu Wang, Ting Guo, Tinghao Wang, Tingwei Huang, Tong Zhao, Tongkai Yang, Wang Hong, Wanli Gu, Wei Lu, Weichang Wu, Weiguang Han, Weiquan Li, Wenbo Shen, Wenjing Fang, Wenzhi Tang, Xiang Shu, Xiao Shi, Xiaodong Yan, Xiaolu Zhang, Xiaopei Wan, Xiaqing Sun, Xin Zhao, Xingyu Lu, Xinxing Yang, Xinyao Tang, Xinyu Kong, Xinyu Liu, Xiong Xu, Xuan Sun, Xudong Han, Xudong Wang, Xujie Shen, Yalin Zhang, Yangyang Hou, Yankun Ren, Yao Zhao, Ye Chen, Yeyang Chen, Yibo Cao, Yifan Zuo, Yijie Chen, Ying Li, Yingjie Song, Yingxue Li, Yiqi Wang, Yixuan Sun, Yizhu Xiao, Yongfei Xu, Yu Liu, Yuchen Fang, Yue Gao, Yue Yu, Yue Zhang, Yuqi Zhang, Yuxiao He, Yuxiao Lu, Yuxin Tian, Yuxuan Li, Yuzhuo Fu, Zhankai Xu, Zhaoxin Huan, Zhenduo Zhang, Zhengke Gui, Zhengyu Huang, Zhenjun Ma, Zhenxuan Pan, Zheping Qu, Zhibo Zhu, Zhidong Fan, Zhigang Huangfu, Zhihao Wang, Zhiqiang Zhang, Zhizhen Liu, Zhuyan Zhou, Zibin Lin, Zihang Zeng, Zihao Wang, Zilong Wang, Ziqi Liu, Zitao Xuan, Zixuan Cheng, Zujie Wen, Zuoli Tang

机构 * Ling Team(Ling团队) Inclusion AI

专题命中 效率与部署 :post-training(abstract);分类 cs.CL、cs.AI

AI总结 提出Ling-2.6和Ring-2.6模型系列,通过架构迁移预训练、混合线性注意力设计及KPop强化学习框架,实现低延迟、强推理与高效部署,开源所有检查点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14943 2026-06-16 cs.CL cs.LG 新提交 62%

Simplifying the Modeling of Arbitrary Conditionals in Natural Language

简化自然语言中任意条件概率的建模

Yinhan Lu, Eric Elmoznino, Léo Gagnon, Sarthak Mittal, Tejas Kasetty, Guillaume Lajoie

机构 * Mila — Quebec AI Institute(Mila — 魁北克人工智能研究所) McGill University(麦吉尔大学) Université de Montréal(蒙特利尔大学)

专题命中 效率与部署 :LLM(abstract_cn);分类 cs.CL、cs.LG

AI总结 提出AC-GPT,通过简单修改标准因果Transformer,实现单次前向传播中评估和采样任意条件(包括过去、未来和混合上下文),保持左到右顺序和下一词预测目标,无需退化标准性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14801 2026-06-16 cs.LG cs.AI cs.RO 新提交 62%

QPILOTS: Efficient Test-Time Q-Steering for Flow Policies

QPILOTS:面向流策略的高效测试时Q引导

Yifan Ruan, Chenyang Cao, Andreas Burger, Ali Pesaranghader, Kaveh Kamali, Jaehong Kim, Nandita Vijaykumar, Alan Aspuru-Guzik, Igor Gilitschenski, Nicholas Rhinehart

机构 * University of Toronto(多伦多大学) Vector Institute(向量研究所) LG Electronics(LG电子)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 提出QPILOTS方法,在推理时通过投影去噪中间状态到最终动作估计并计算评论家梯度来引导流匹配和扩散策略,无需修改原策略,在离线到在线RL基准上达到90%平均成功率。

Comments 10 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12688 2026-06-16 cs.LG cs.AI cs.DC 新提交 62%

M*: A Modular, Extensible, Serving System for Multimodal Models

M*: 一个模块化、可扩展的多模态模型服务系统

Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

机构 * Stanford University(斯坦福大学) University of Washington(华盛顿大学) Carnegie Mellon University(卡内基梅隆大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出M*系统,通过将模型表示为数据流图并引入Walk Graph抽象,支持多模态复合模型的高效服务,在多个任务上降低延迟并提升吞吐量。

Comments The codebase is available at https://github.com/mstar-project/mstar

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14703 2026-06-15 cs.CV cs.CL cs.LG 新提交 62%

Gaze Heads: How VLMs Look at What They Describe

注视头:视觉语言模型如何观察它们所描述的内容

Rohit Gandikota, David Bau

机构 * Northeastern University(东北大学)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.LG

AI总结 发现视觉语言模型的语言骨干中存在一组“注视头”,其注意力跟踪当前描述的图像区域,通过干预这些头可精确控制模型描述内容,准确率达83.1%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14060 2026-06-15 cs.LG cs.CL 新提交 62%

Non-Parametric Machine Text Detection via Multi-View Gaussian Processes

非参数化机器文本检测:基于多视角高斯过程

Aleem Khan, Nicholas Andrews

机构 * Johns Hopkins University(约翰霍普金斯大学)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.LG

AI总结 提出多视角非参数检测框架,通过高斯过程集成互补特征视图,提高对对抗攻击的鲁棒性,并提供校准概率和分布外输入的原则性弃权。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11556 2026-06-11 cs.CR cs.AI cs.LG 新提交 62%

Privacy-Preserving Federated Autoencoder for ECG Anomaly Detection on Edge Devices

面向边缘设备上心电图异常检测的隐私保护联邦自编码器

Kaan Arda Akyol, Jakub Kacper Szeląg, Aydin Abadi, Maha Alghamdi, Ghadah Albalawi, Ghouse Ibrahim Kaleelullah, Hilal Tutus, Sarah Al Subaiei, Shardul Kapse, Syed Mohammed Raheeb, Mujeeb Ahmed, Rehmat Ullah

机构 * Google Research, New York, NY(谷歌研究,纽约,纽约州) University of California, Berkeley(加州大学伯克利分校) University of Cambridge(剑桥大学) University of Toronto(多伦多大学) University of Melbourne(墨尔本大学) University of Sydney(悉尼大学)

专题命中 效率与部署 :post-training(abstract);分类 cs.AI、cs.LG

AI总结 提出一种结合联邦学习、差分隐私和INT8量化的端到端系统,在PTB-XL数据集上实现无监督12导联ECG异常检测,满足隐私、实时性和非IID数据要求。

Comments 9 pages, 4 figures, 6 tables. Preprint prepared in IEEE conference format. Submitted to: FLTA 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11473 2026-06-11 cs.LG cs.AI stat.ML 新提交 62%

CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching

CRUMB: 通过分布匹配上下文批处理实现高效先验拟合网络推理

Jamie Heredge, Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Niraj Kumar

机构 * Global Technology Applied Research, JPMorganChase(摩根大通全球技术应用研究)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 提出CRUMB方法,通过聚类查询、最小化最大均值差异选择训练子集、再执行精确推理,在不重新训练的情况下加速先验拟合网络推理,在51个数据集上优于同类方法。

Comments 26 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11203 2026-06-11 cs.CL cs.LG 新提交 62%

LatticeBridge: Rare-Event Sequential Inference for Faithful Structured Sequence Synthesis

LatticeBridge: 用于忠实结构化序列合成的罕见事件序列推理

Faruk Alpay, Bugra Kilictas

机构 * Bahcesehir University(巴切塞希尔大学)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.LG

AI总结 针对结构化序列生成中约束满足的罕见事件问题,提出LatticeBridge方法,结合前缀语言模型、实例编译表面自动机和扭曲序列蒙特卡洛解码器,在多个基准上显著提升锚点满足率和覆盖率。

Comments 19 pages. Code and benchmark files available at https://github.com/farukalpay/latticebridge

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11198 2026-06-11 cs.CL cs.AI 新提交 62%

The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content

结构注意力税:检索格式如何劫持上下文学习而与内容无关

Yuqi Zhang, Di Zhang

机构 * Xi’an Jiaotong-Liverpool University(西交利物浦大学)

专题命中 效率与部署 :LLM(abstract);分类 cs.CL、cs.AI

AI总结 研究发现知识图谱三元组因其格式结构比自然语言吸引2-3倍注意力,压缩演示注意力达42%,并提出了分解注意力为语义与结构成分的框架及缓解策略。

Comments 10 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11173 2026-06-10 cs.AI cs.LG 新提交 62%

The Role of Feedback Alignment in Self-Distillation

反馈对齐在自蒸馏中的作用

Semih Kara, Oğuzhan Ersoy

机构 * Gensyn

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 研究通过自蒸馏提升语言模型性能时,反馈与模型推理的结构对齐是关键因素,步级对齐批评比二元奖励或参考解更有效。

Comments Accepted to the ICML 2026 Workshop on RL from World Feedback (RLxF)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09630 2026-06-09 cs.RO cs.AI cs.LG 新提交 62%

ReCoVLA: VLM-Guided Reward Compilation for Failure Recovery in Vision-Language-Action Policies

ReCoVLA: VLM引导的奖励编译用于视觉-语言-动作策略的故障恢复

Haodi Hu, Chung-Ta Huang, Jing Liu, Ye Wang, Kei Suzuki, Matthew Brand, Toshiaki Koike-Akino

机构 * University of Southern California(南加州大学) Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室) Harvard University(哈佛大学)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出ReCoVLA框架,通过冻结预训练VLA策略,利用外部VLM推断故障模式并编译结构化奖励,训练残差恢复策略,实现零样本仿真到真实部署,在多种操作任务中提升成功率。

Comments 19 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08804 2026-06-09 cs.AI cs.LG 新提交 62%

Q-Delta: Beyond Key-Value Associative State Evolution

Q-Delta:超越键值关联状态演化

Sumin Park, Seojin Kim, Noseong Park

机构 * Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出Q-Delta,一种查询感知的delta规则,将混合键-查询预测误差融入状态演化,实现联合校正动态,在语言建模和长上下文检索任务上优于强基线。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.07491 2026-06-08 cs.DC cs.AI cs.LG cs.SE 新提交 62%

Twelve quick tips for designing AI-driven HPC workflows

设计AI驱动的高性能计算工作流的十二条快速技巧

Jamie J. Alnasir

机构 * Department of Computer Science(计算机科学系) Royal Holloway University of London(伦敦皇家霍洛威大学)

专题命中 效率与部署 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 本文针对AI与HPC融合带来的新挑战,提出十二条实用技巧,涵盖容器化、作业数组、反馈循环和I/O优化,帮助设计高效、可扩展、可复现的AI驱动HPC工作流。

Comments 12 pages, 1 figure. Formatted using the bioRxiv LaTeX preprint style

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19510 2026-07-23 cs.LG cs.DS stat.ME stat.ML 新提交 61%

Total Variation Distance Estimation in Autoregressive Models

自回归模型中的总变差距离估计

Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

机构 * University of Texas at Austin(德克萨斯大学奥斯汀分校)

专题命中 效率与部署 :LLM(abstract,comments);分类 cs.LG

AI总结 研究自回归模型中两个分布的总变差距离估计问题。在样本、对数概率、噪声对数概率三种访问模型下,分别给出不同查询次数的估计方法,并通过实验验证算法的稳健性和实用性,即便KL散度无穷时也能估计。

Comments 39 pages, 11 figures, code is available at https://github.com/XunZhiyang/llm-tv-estimation

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.07052 2026-07-09 cs.SE cs.AI cs.DC cs.ET cs.MA 新提交 61%

Progressive Crystallization: Turning Agent Exploration into Deterministic, Lower-Cost Workflows in Production

渐进式结晶:将代理探索转化为生产中确定性、低成本的工作流程

Arun Malik

专题命中 效率与部署 :LLM(abstract,comments);分类 cs.AI

AI总结 研究针对IT运营中AI代理成本高问题,提出渐进式结晶方法,通过三阶段执行分类法及证据提升机制,将代理探索转化为低成本工作流程,在生产云网络AIOps系统上评估效果良好,提升确定性执行、降低成本并提高安全性。

Comments Conference-style paper; 10 pages (estimated from manuscript formatting if applicable); focuses on agentic AI, AIOps, workflow automation, deterministic execution, and LLM cost optimization

详情

展开后加载摘要…

URL PDF HTML 收藏