语言大模型 / LLM

FlashAttention for Scalable Vector Architectures

面向可扩展向量架构的FlashAttention

Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

机构 * Chalmers University of Technology（查尔姆斯理工大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 本文提出面向可扩展向量架构的FlashAttention-V，将其集成到ggml并在多模型与平台上评估，该方法在预填充、解码阶段均实现显著加速，但Q8_0量化线性层的结构性瓶颈制约了长向量可扩展性。

Efficient INT8 Inference of Small NLP Models on Server CPUs with PyTorch Native Stack

基于PyTorch原生栈在服务器CPU上实现小型NLP模型的高效INT8推理

Weiwen Xia, Yuxin Cui, E Cao

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究将SmoothQuant集成到TorchAO，优化PyTorch原生栈在服务器CPU上的INT8推理，使小型NLP模型获最高5.8倍吞吐量加速且精度损失可忽略，已上游到PyTorch和TorchAO便于部署。

Comments 13 pages

S2-MoE: Enabling Efficient Self-Speculative Decoding for Mixture-of-Experts on Edge Devices

S2-MoE：在边缘设备上实现混合专家模型的高效自推测解码

Haochen Huang, Shengxuan Qiu, Meng Li

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Integrated Circuits, Peking University（北京大学集成电路学院） ； School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 S2-MoE是面向边缘设备MoE推理的高效自推测解码框架，通过路由感知自适应扩展、复用感知门控等设计，使MoE推理在边缘设备上最高获5.3倍加速，平均约2.0倍。

Comments 13 pages, 10 figures

A Cloud-Edge System for Multimodal Clinical Screening in Resource-Constrained Rural Settings

面向资源受限农村地区多模态临床筛查的云边协同系统

Hei Ting, Chan, Chenwei Wu, Xueshen Liu, Zesen Zhao, Boyuan Zheng, Luis Filipe Nakayama, Michael G. Morley, Liyue Shen, Jiasi Chen, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究针对资源受限农村地区的多模态临床筛查问题，提出云边协同架构，经实验验证其诊断性能优异且成本更低，可适配部署约束。

Comments 31 pages, 3 figures. In Proceedings of Machine Learning Research, Volume 340, 2026 (Machine Learning for Healthcare Conference)

Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation

Open-MOPD：诊断与修复多教师在线蒸馏中的能力不平衡

Huan-ang Gao, Haohan Chi, Yong Yan, Shiyuan Feng, Hanlin Wu, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

机构 * SIA-Lab of Tsinghua AIR and ByteDance Seed（清华大学AIR与字节跳动种子SIA实验室） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究针对多教师在线蒸馏（M-OPD）的能力不平衡问题，提出 Open-MOPD 框架，通过三种机制将提升空间恢复率从 35.6% 提升至 83.4%，并开源了相关方案与评估套件。

Comments Project page: https://bytedtsinghua-sia.github.io/Open-MOPD/

Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study

可设计为可缓存的？针对边缘内存带宽瓶颈训练混合专家模型路由器：一项带系统测量研究的预注册负面结果

Shriniwas Ramesh Suram

机构 * University of Cumberlands（坎伯兰大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对边缘部署MoE模型的内存带宽瓶颈，通过系统测量与预注册实验发现，训练路由器提升缓存性的方案无法满足预注册的困惑度阈值，仅结合无训练重路由可实现高效缺失减少。

Comments Pre-registered negative result plus a systems measurement study. Code, router-telemetry tool (llama-moe-trace), traces, data manifests, and the frozen pre-registration: https://github.com/Shriniwas410/cacheable-by-design

TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs

TTSD-FAR：用于大视频语言模型中缺失模态情感识别的带Fisher锚定恢复的测试时自蒸馏

Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对大视频语言模型测试时的模态缺失问题，提出带Fisher锚定恢复的测试时自蒸馏框架，在多数据集模态缺失场景下性能优于基线方法且保持稳定。

DevGRU: Depth-guided Visual Navigation using a Collision-aware Recurrent Model

DevGRU：基于碰撞感知循环模型的深度引导视觉导航

Kyung Min Han, Eunsom Kim, Young J. Kim

专题命中 效率与部署 ：foundation model(abstract)

AI总结 针对现有视觉导航模型易在复杂室内环境碰撞的问题，提出DevGRU导航系统，结合动作与碰撞预测器提升导航性能，在9种场景实验中优于多种基线模型，且模型规模小、推理速度快

Comments Accepted for publication in IEEE Robotics and Automation Letters (RA-L), 2026

Reducing Technician Search Burden: A Multimodal RAG for Cessna 172 Maintenance Manual

减轻技术人员的检索负担：面向赛斯纳172维护手册的多模态检索增强生成

Seongjun Ha, Md Rashedul Islam, Gaurav Nanda, Damon Lercel

专题命中 效率与部署 ：language model(abstract)

AI总结 本研究针对赛斯纳172维护手册，开发多模态检索增强生成流程，其多模态手册检索器召回率达93.37%，生成响应与基准答案语义相似度87.20%，可减轻技术人员检索负担。

Multimedia Asset Personalization via Multimodal Embeddings at Netflix

Netflix 中通过多模态嵌入实现多媒体资产个性化

Emma Yanyang Kong, Aditya Deshpande, Bowei Yan, Asad Abbasi, Santiago Castro, Avneesh Saluja, David Fagnan, Ashish Rastogi

专题命中 效率与部署 ：foundation model(abstract)

AI总结 Netflix 采用多模态嵌入技术，通过双塔模型结合 CLIP 嵌入、三模态基础模型 MediaFM 及离线代理任务，优化了美术图像和视频预览的个性化推荐，提升了冷启动性能与效果。

PEEK: Picking Essential frames via Efficient Knowledge distillation

PEEK: 通过高效知识蒸馏提取关键帧

Killian Steunou, Anas Filali Razzouki, Khalil Guetari, Mounîm A. El-Yacoubi, Yannis Tevissen

机构 * Télécom SudParis — SAMOVAR（Telecom SudParis — SAMOVAR） ； Institut Polytechnique de Paris（巴黎政治学院） ； Moments Lab 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 提出PEEK方法，通过知识蒸馏将教师模型的帧相关性排名迁移至轻量级时序模型，实现高效动态帧采样，在低帧预算下显著提升视频字幕生成性能。

Comments Accepted at BMVC 2026. Supplementary material at https://www.killian-steunou.com/peek/static/pdfs/peek_supplementary.pdf

Quantization Effects of Artificial Neural Networks for Embedded Edge-Computing Applications

人工神经网络量化效果用于边缘计算应用

Alperen Aksoy, Ilja Bekman, Vesselin Dimitrov, Qader Dorosti, Chimezie Eguzo, Sarah Fleitmann, Fabian Hader, Andre Zambanini, Stefan van Waasen

专题命中 效率与部署 ：post-training(abstract)

AI总结 本文研究了量化神经网络在资源受限的科学应用中的使用，包括半导体量子比特的自动校准和科学粒子探测器。通过评估PTQ、QAT和超低比特二值神经网络（BNNs）在延迟和资源使用方面的权衡，发现PTQ在U型CNN架构中可将内存使用减少四倍，同时保持或略微提高分割精度。对于非可微的定制BNNs训练，提出了一种基于遗传算法的硬件受限学习方法，展示了适用于直接转换为VHDL的LUT-based BNN架构。该方法在无需专用DSP或BRAM资源的情况下实现了纳秒级的推理延迟。

Comments deRSE26 proceedings pre-print

A Comprehensive Review of Large Language Models for Nanophotonics: From Surrogate Modeling to Autonomous Design

面向纳米光子学的大语言模型综合综述：从代理建模到自主设计

Huanshu Zhang, Kegeng Tang, Lei Kang, Sawyer D. Campbell, Zihao Wang, Douglas H. Werner

专题命中 领域大模型 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)

AI总结 该综述探讨大语言模型（LLMs）如何通过语义接口、代码生成及工具编排改进纳米光子学工作流，梳理相关方法的两类模式及跨学科应用，展望具备物理感知的多模态基础模型，推动AI从被动工具向主动科研合作者转变。

Comments Accepted for publication in Advanced Photonics

Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models

自提示与跨模型共识：利用大语言模型从科学文献中实现可复现的数据提取

Valentin Romanov, Monique Bax, Steven Niederer

专题命中 领域大模型 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)；分类 cs.AI

AI总结 本研究提出结合自提示与跨模型共识的方法，通过四个工作流程优化LLMs从科学文献提取数据的性能，为科学数据规模化整理提供可行方案。

Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges

心理健康领域的大语言模型：应用、创新与伦理挑战的系统综述

Yisong Chen, Yifan Gao, Sijing Yu, Chuqing Zhao, Yang Lu

专题命中 领域大模型 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 该系统综述梳理了大语言模型在心理健康领域的多类应用、技术创新，同时探讨了其面临的伦理与监管挑战，并倡导建立保障其安全公平部署的框架。

Comments Systematic review. Published in Journal of Industrial Integration and Management (2025). Applications of large language models in mental health, including social media analysis, clinical conversational agents, therapy support tools, multimodal learning, and ethical considerations

Journal ref Journal of Industrial Integration and Management (JIIM), 2025

MBABench: Evaluating LLM Agents on End-to-End Spreadsheet Tasks in Finance

WorkstreamBench: 评估LLM代理在金融领域的端到端电子表格任务

Thomson Yen, Julian Poeltl, Harshith Srinivas Gear, Yilin Meng, Joshua Fan, Adam Shen, Yili Liu, Ali Bauyrzhan, Patrick Shea, Siri Du, Haoyang Liu, Daniel Guetta, Hongseok Namkoong

机构 * Decision, Risk, and Operations Division, Columbia Business School（哥伦比亚商学院决策、风险与运营部门） ； ESB Business School, Reutlingen University（图宾根大学ESB商学院） 纠错

专题命中 领域大模型 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出WorkstreamBench，用于评估LLM代理在金融领域复杂端到端电子表格任务中的能力，重点在于财务建模和情景分析等关键流程，通过三个维度（准确性、公式、格式）的细粒度标准来衡量解决方案质量。

Redakto - The Incognito Tab for LLMs

Redakto——面向大语言模型的隐身标签

Saurav Kumar Saha, Tom Röhr, Felix Bießmann

机构 * Berlin University of Applied Sciences（柏林应用科学大学） ； Einstein Center Digital Future（爱因斯坦数字未来中心） 纠错

专题命中 领域大模型 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Redakto是一款开源匿名化工具，可通过网页应用、REST API等供用户使用，能移除文本中PII，其匿名化后的文本效用与原文相当，可助力LLM使用时的隐私保护。

Comments Accepted at WIPE-OUT 2026, 2nd Workshop on Machine Unlearning and Privacy Preservation at ECML-PKDD

MITRE-SAGE: A Multi-Agent Cybersecurity Question-Answering Model

MITRE-SAGE：一种多智能体网络安全问答模型

Ali Habibzadeh, Farid Feyzi, Reza Ebrahimi Atani

专题命中 领域大模型 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对网络安全领域LLM的不足，研究提出多智能体框架MITRE-SAGE，结合MITRE-QA基准验证其在多项网络安全问答任务中优于基线方法，轻量级配置表现突出。

You Are What You Prompt: Prompt Quality, Domain Shift, and Uncertainty in Agrifood Vision-Language Models

你即你所提示的：农业食品视觉语言模型中的提示质量、领域偏移与不确定性

Andrea Morales-Garzón, Salvador López-Joya, Miguel López-Pérez, Maria J. Martin-Bautista

机构 * University of Granada（格拉纳达大学） 纠错

专题命中 领域大模型 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对农业食品领域，评估了零样本提示集成（ZPE）在分布内与分布外场景的表现，提出PID方法提升严重领域偏移下的故障检测能力，验证了领域特定提示池的优势。

Comments Accepted in the journal Procesamiento del Lenguaje Natural (SEPLN2026)

Position: Current Model Cards Are Insufficient for Downstream Governance of Open-Weight Foundation Models

立场：当前模型卡片不足以支持开放权重基础模型的下游治理

Sungwon Chae, Keonwoo Kim, Hoki Kim, Jaeyeon Ju, Sangchul Park

专题命中 领域大模型 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文分析Hugging Face的500份模型卡片，指出现有模型卡片无法支持开放权重基础模型下游治理，提出需整合模型卡片、可接受使用政策、许可证的多层治理框架。

Comments Accepted as a position paper at ICML 2026

Pre-Training for Simulation-Based Science: A Study on Jet Foundation Model Training Objectives

基于模拟的科学预训练：喷注基础模型训练目标研究

Ibrahim Elsharkawy, Joschka Birk, Vinicius Mikuni, Wahid Bhimji, Gregor Kasieczka, Benjamin Nachman

机构 * Department of Physics, University of Toronto and Vector Institute（物理系，多伦多大学和向量研究所） ； NERSC, Lawrence Berkeley National Laboratory（NERSC，伯克利国家实验室） ； Institut für Experimentalphysik, Universität Hamburg（实验物理研究所，汉堡大学） ； Nagoya University, Kobayashi-Maskawa Institute（名古屋大学，小林昭夫研究所） ； Department of Particle Physics and Astrophysics, Stanford University（粒子物理与天体物理系，斯坦福大学） ； Fundamental Physics Directorate, SLAC National Accelerator Laboratory（基础物理局，SLAC国家加速器实验室） 纠错

专题命中 领域大模型 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文系统比较了高能物理中基础模型的预训练方法，发现纯分类预训练在标签充足时最优，结合自监督掩码粒子建模在低标签场景下表现突出，而流匹配生成预训练对下游分类无益，但必须包含在预训练目标中才能提升生成任务。

Subgroup performance analysis of adaptation strategies for chest X-ray foundation models

胸部X射线基础模型适配策略的子组性能分析

Dhruv Gupta, Emma A. M. Stanley, Fabio De Sousa Ribeiro, Sujal Desai, Ben Glocker

机构 * Imperial College London（帝国理工学院） ； Royal Brompton Hospital（皇家布朗普顿医院） ； Causality in Healthcare AI Hub（医疗保健AI因果关系中心） ； National Heart & Lung Institute（国家心肺研究所） 纠错

专题命中 领域大模型 ：foundation model(title,abstract)

AI总结 该研究针对胸部X射线基础模型，探究三种参数高效适配技术对病理分类性能与子组公平性的影响，发现整体性能提升未必减少子组差异，公平性影响需直接按任务评估

Comments Accepted at MICCAI Workshop on Fairness of AI in Medical Imaging (FAIMI) 2026

Mechanist: AI as a Scientific Instrument for Discovering the Mechanisms of Intelligence

Mechanist：作为科学仪器的AI，用于发现智能的机制

Mengru Wang, Junfeng Fang, Shuofei Qiao, Zhenqian Xu, Haoming Xu, Haoxiong Wang, Shumin Deng, Linyi Yang, Zhixiang Cui, Xin Xu, Yunzhi Yao, Buqiang Xu, Fei Shen, Haozhe Luo, Yunxiang Wei, Ningyu Zhang, Julian McAuley, Tat Seng Chua, Huajun Chen

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Heriot-Watt University（赫瑞瓦特大学） ； Southern University of Science and Technology（南方科技大学） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） ； Northeastern University（东北大学） 纠错

专题命中 领域大模型 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出智能体系统Mechanist，以AI为科学仪器自主发现AI智能机制，其生成假设更有价值、实验更可靠，还能发现安全风险、构建信念机制理论并转化为提升模型性能的干预措施。

Comments Work in progress

MedUAG: Unified Understanding and Generation for Medical Multimodal Models

MedUAG：面向医学多模态模型的统一理解与生成框架

Zijie Meng, Yuncheng Zhang, Hualiang Wang, Yitian Tang, Xiaotang Gai, Chen Shen, Songtao Jiang, Shaosheng Cao, Jian Wu, Xian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Tencent Jarvis Lab（腾讯Jarvis实验室） 纠错

专题命中 领域大模型 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对医学多模态领域缺乏统一理解生成框架的问题，本文构建了MedUAGCorpus数据集与MedUAGBench基准，开发了MedUAG模型，其在医学理解与生成任务中表现出色，为下一代医学多模态系统奠定基础。

SemaPLC: A Project-Grounded, Verification-Gated Agent Harness for PLC Code Generation

SemaPLC：一种基于项目、经验证门控的PLC代码生成智能体框架

Yanlun Tu, Huacan Wang, Ziyue Zhou, Jie Zhou, Ningyan Zhu, Ge Chen, Wangyi Chen, Tengfei Zhou, Yifan Zhou, Dasheng Yang, Xiaofeng Mou, Hui Zhang, Yi Xu

专题命中 领域大模型 ：large language model(abstract)；language model(abstract)

AI总结 SemaPLC是基于项目、经验证门控的PLC代码生成智能体框架，通过外部检查确认任务完成，在多模型的POU任务及项目上下文任务中均表现最优，动态行为测试得分显著高于基线。

Cross-Cohort Spectral-Temporal Dissociation in Frozen EEG Foundation-Model Representations

脑电图基础模型对长程时间相关性视而不见：其跨群体脆弱性背后的频谱-时间解离

Marzieh Zare

专题命中 领域大模型 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨脑电图基础模型对长程时间相关性的表征及跨群体转移情况。通过探测五种模型，发现它们均未按时间顺序表示LRTC，频谱输入模型能恢复1/f但非DFA，跨群体转移方面各模型表现不一，揭示了模型在这方面的局限性。

Comments I found a computational error in one of the tables that needs to be fixed; and it may take 2-3 weeks

FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

FinSkillBench：评估用于投资管理的智能体AI与领域技能

Jermyn Zhen Yong Bek, Zhuang Qiang Bok, Zhongtian Sun

机构 * Deep Insight Labs（深洞察实验室） ； University of Kent（肯特大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 领域大模型 ：language model(abstract)；分类 cs.AI

AI总结 FinSkillBench是评估投资管理领域AI智能体金融技能的基准，经9个模型的大规模评估发现，精选技能可显著提升性能，而自生成技能益处有限，其成果为该领域研究提供了支持。

Predicting the Benefit of Retrieval Augmentation in Open-Domain Question Answering

基于问答的RAG性能预测

Or Dado, David Carmel, Oren Kurland

机构 * Technion（技术学院） ； Technology Innovation Institute (TII)（技术创新研究所） 纠错

专题命中 领域大模型 ：LLM(abstract)；分类 cs.CL

AI总结 本文研究了RAG在问答中的性能预测，提出了一种新的监督预测器，通过建模问题、检索段落和生成答案之间的语义关系，提升了预测效果。

Comments 17 pages. 4 figures. 3 tables

Journal ref Proceedings of the 35th ACM International Conference on Information and Knowledge Management 2026, (CIKM 26)

AI Can Learn Scientific Taste

AI 可以学习科学品味

Jingqi Tong, Mingzhe Li, Hangcheng Li, Yongzhuo Yang, Yurong Mou, Weijie Ma, Hongji Chen, Xiaoran Liu, Qinyuan Cheng, Ming Zhang, Qiguang Chen, Weifeng Ge, Qipeng Guo, Tianlei Ying, Tianxiang Sun, Yining Zheng, Zhiheng Xi, Xinchi Chen, Jun Zhao, Ning Ding, Xuanjing Huang, Yu-Gang Jiang, Xipeng Qiu

专题命中 领域大模型 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出RLCF框架，通过社区反馈学习科学品味，使AI能提出高潜力研究想法，实验显示其优于现有模型并具备泛化能力。

Comments 47 pages, 5 figures

TractoGraphVLM: A Unified Vision-Language Framework for White Matter Tractography

TractoGraphVLM：用于白质纤维束成像的统一视觉-语言框架

Gurucharan Marthi Krishna Kumar, Janine Dale Mendola, Amir Shmuel

专题命中 领域大模型 ：language model(abstract)

AI总结 TractoGraphVLM是统一视觉-语言框架，可完成白质纤维束的分类、检索、描述、问答四项任务，在HCP数据集上表现良好，具跨年龄迁移鲁棒性，仅从语言学习神经解剖学知识。

Comments Accepted as a Spotlight at the ECCV 2026 Workshop on Artificial Intelligence for Medical 3D Vision (AI4M3D). Our codebase, including all training and evaluation pipelines, is publicly available at https://github.com/AS-Lab/Marthi-et-al-2026-TractoGraphVLM-Unified-Vision-Language-White-Matter-Tractography