语言大模型 / LLM

Generalizing Scaling Laws for Dense and Sparse Large Language Models

为密集和稀疏大语言模型推广缩放定律

Md Arafat Hossain, Xingfu Wu, Valerie Taylor, Ali Jannesari

机构 * Department of Computer Science（计算机科学系） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 本文提出了一种通用缩放定律，适用于密集和稀疏大语言模型，通过比较实验验证了其在大规模模型中的有效性。

Comments 8 pages, 8 figures

A Brain Graph Foundation Model: Pre-Training and Prompt-Tuning across Broad Atlases and Disorders

脑图基础模型：在广泛的大脑图谱和疾病中进行预训练和提示微调

Xinxu Wei, Kanhao Zhao, Yong Jiao, Lifang He, Yu Zhang

机构 * Lehigh University（莱文大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 BrainGFM通过图对比学习和图掩码自动编码器预训练，实现跨多种大脑图谱和疾病的高效泛化与迁移。

Comments 30pages

Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models

面向上下文的反事实数据增强用于语言模型中的性别偏见缓解

Shweta Parihar, Liu Guangliang, Natalie Parde, Lu Cheng

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。

Federated EndoViT: Pretraining Vision Transformers via Federated Learning on Endoscopic Image Collections

联邦端oscopeViT：通过联邦学习在内窥镜图像集上预训练视觉Transformer

Max Kirchner, Alexander C. Jenke, Sebastian Bodenstedt, Fiona R. Kolbinger, Oliver L. Saldanha, Jakob N. Kather, Martin Wagner, Stefanie Speidel

机构 * National Center for Tumor Diseases (NCT)（国家肿瘤中心） ； Translational Surgical Oncology（转化外科肿瘤学） ； Faculty of Medicine and University Hospital Carl Gustav Carus, TUD Dresden University of Technology（医学系和图林根大学技术大学卡尔·古斯塔夫·卡尔医院） ； DKFZ, Faculty of Medicine and University Hospital Carl Gustav Carus, TUD Dresden University of Technology（德累斯顿大学技术大学医学系和德累斯顿癌症研究中心） ； Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（德累斯顿-罗斯多夫亥姆霍兹中心） ； Centre for Tactile Internet with Human-in-the-Loop (CeTI), TU Dresden（具有人类在环的触觉互联网中心，德累斯顿技术大学） ； Visceral, Thoracic and Vascular Surgery, Faculty of Medicine and University Hospital Carl Gustav Carus, TU Dresden（visceral、胸外科和血管外科，医学系和图林根大学技术大学卡尔·古斯塔夫·卡尔医院） ； Weldon School of Biomedical Engineering, Purdue University（生物医学工程韦尔登学校，普渡大学） ； Medical Oncology, NCT, University Hospital Heidelberg, Germany（医学肿瘤学，国家肿瘤中心，海德堡大学医院，德国） ； Medicine I, Faculty of Medicine and University Hospital Carl Gustav Carus, TU Dresden（医学I，医学系和图林根大学技术大学卡尔·古斯塔夫·卡尔医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出FL-EndoViT框架，通过联邦学习在内窥镜图像集上预训练视觉Transformer，解决数据隐私问题，提升手术基础模型的稳健性和泛化能力。

Comments Preprint submitted to MIDL

EchoJEPA: A Latent Predictive Foundation Model for Echocardiography

EchoJEPA：一种用于超声心动图的潜在预测基础模型

Alif Munim, Adibvafa Fallahpour, Teodora Szasz, Ahmadreza Attarpour, River Jiang, Brana Sooriyakanthan, Maala Sooriyakanthan, Heather Whitney, Jeremy Slivnick, Barry Rubin, Wendy Tsang, Bo Wang

机构 * University Health Network（大学健康网络） ； University of Toronto（多伦多大学） ； University of Chicago（芝加哥大学） ； University of California, San Francisco（加州大学旧金山分校） ； Vector Institute（向量研究所） ； Cohere Labs（Cohere实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 EchoJEPA通过潜在预测方法在超声心动图中实现鲁棒且可推广的医学AI，显著提升心室功能和压力估计的准确性。

CAPID: Context-Aware PII Detection for Question-Answering Systems

CAPID: 基于上下文的PII检测用于问答系统

Mariia Ponomarenko, Sepideh Abedini, Masoumeh Shafieinejad, D. B. Emerson, Shubhankar Mohapatra, Xi He

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 CAPID通过微调本地小型语言模型实现隐私保护的PII检测，有效提升问答系统中PII识别的准确性与实用性。

Comments Accepted to the Student Research Workshop at EACL 2026

BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization

BiSSL: 通过双层优化增强自监督预训练与下游微调之间的对齐

Gustav Wagner Zakarias, Lars Kai Hansen, Zheng-Hua Tan

机构 * Aalborg University（奥胡斯大学） ； Technical University of Denmark（技术大学） ； Pioneer Centre for AI（先锋人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 BiSSL通过双层优化增强自监督预训练与下游微调之间的对齐，提升模型在下游任务中的性能。

Journal ref Transactions on Machine Learning Research (TMLR), (02/2026)

When Should We Introduce Safety Interventions During Pretraining?

在预训练过程中何时引入安全干预

Dylan Sam, Sachin Goyal, Pratyush Maini, Alexander Robey, J. Zico Kolter

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文研究了在预训练过程中何时引入安全干预以提高模型鲁棒性，发现20%-60%的预训练阶段引入干预效果最佳，且早期干预能更清晰地区分安全与有害内容。

Deep Learning Foundation Models from Classical Molecular Descriptors

从经典分子描述符构建深度学习基础模型

Jackson W. Burns, Akshat Shirish Zalte, Charlles R. A. Abreu, Jochen Sieg, Christian Feldmann, Miriam Mathea, William H. Green

机构 * BASF SE（巴斯夫股份有限公司） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 CheMeleon通过低噪声分子描述符学习，实现超越经典方法的分子性质预测性能。

ProAgentBench: Evaluating LLM Agents for Proactive Assistance with Real-World Data

ProAgentBench：基于真实数据评估LLM代理的前瞻性帮助

Yuanbo Tang, Huaze Tang, Tingyu Cao, Lam Nguyen, Anping Zhang, Xinwen Cao, Chunkang Liu, Wenbo Ding, Yang Li

专题命中 预训练与数据 ：LLM(title,abstract)

AI总结 ProAgentBench通过真实用户数据构建基准，评估LLM代理在连续工作流程中的前瞻性帮助能力，揭示真实数据对预测准确性的提升作用。

LEMUR: A Corpus for Robust Fine-Tuning of Multilingual Law Embedding Models for Retrieval

LEMUR：一种用于多语言法律嵌入模型检索鲁棒微调的语料库

Narges Baba Ahmadi, Jan Strich, Martin Semmann, Chris Biemann

机构 * Hub of Computing and Data Science (HCDS) University of Hamburg（计算与数据科学中心（HCDS）乌姆斯大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LEMUR通过构建多语言法律语料库并微调嵌入模型，提升了多语言法律检索的鲁棒性和准确性，尤其在低资源语言中表现显著。

Comments Accepted at EACL SRW 26

ALIVE: Animate Your World with Lifelike Audio-Video Generation

ALIVE: 用逼真音频视频生成动画你的世界

Ying Guo, Qijun Gan, Yifu Zhang, Jinlai Liu, Yifei Hu, Pan Xie, Dongjun Qian, Yu Zhang, Ruiqi Li, Yuqi Zhang, Ruibiao Lu, Xiaofeng Mei, Bo Han, Xiang Yin, Bingyue Peng, Zehuan Yuan

机构 * Bytedance ALIVE Team（字节跳动ALIVE团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 ALIVE通过结合预训练文本到视频模型与新的音频视频生成技术，实现了逼真的音频视频生成和动画，展示了优于开源和商业解决方案的性能。

Comments Technical report for ALIVE. Bytedance ALIVE Team. Homepage: https://foundationvision.github.io/Alive/

Code2World: A GUI World Model via Renderable Code Generation

Code2World: 通过可渲染代码生成实现一个GUI世界模型

Yuhao Zheng, Li'an Zhong, Yi Wang, Rui Dai, Kaikui Liu, Xiangxiang Chu, Linyuan Lv, Philip Torr, Kevin Qinghong Lin

机构 * University of Science（科学大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） ； University of Oxford（牛津大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：SFT(abstract)；分类 cs.CL、cs.AI

AI总结 Code2World通过可渲染代码生成实现高保真UI预测，提升Android导航性能

Comments github: https://github.com/AMAP-ML/Code2World project page: https://amap-ml.github.io/Code2World/

DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos

DexImit：从单目人类视频中学习双臂灵巧操作

Juncheng Mu, Sizhe Yang, Yiming Bao, Hojin Bae, Tianming Wei, Linning Xu, Boyi Li, Huazhe Xu, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 DexImit通过四阶段生成流程，将单目人类视频转化为物理合理的机器人数据，以解决双臂灵巧操作的泛化问题。

Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization

重新思考视觉-语言-动作模型的扩展：对齐、混合与正则化

Ye Wang, Sipeng Zheng, Hao Luo, Wanpeng Zhang, Haoqi Yuan, Chaoyi Xu, Haiweng Xu, Yicheng Feng, Mingyang Yu, Zhiyu Kang, Zongqing Lu, Qin Jin

机构 * Renmin University of China（中国人民大学） ； BeingBeyond ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本研究重新审视视觉-语言-动作模型的扩展问题，探讨了对齐、混合与正则化在机器人控制中的关键作用，挑战了传统假设并提供实践指导。

TwinWeaver: An LLM-Based Foundation Model Framework for Pan-Cancer Digital Twins

TwinWeaver: 一种基于大语言模型的跨癌症数字双胞胎基础模型框架

Nikita Makarov, Maria Bordukova, Lena Voith von Voithenberg, Estrella Pivel-Villanueva, Sabrina Mielke, Jonathan Wickes, Hanchen Wang, Mingyu Derek Ma, Keunwoo Choi, Kyunghyun Cho, Stephen Ra, Raul Rodriguez-Esteban, Fabian Schmich, Michael Menden

机构 * Computational Sciences Center of Excellence, Roche, Penzberg, Germany（罗氏计算科学卓越中心） ； Computational Health Center, Helmholtz Munich, Munich, Germany（海德堡慕尼黑计算健康中心） ； Department of Biology, Ludwig Maximilian University of Munich, Munich, Germany（慕尼黑路易斯·马克西米利安大学生物学系） ； Early Development Oncology, Roche Innovation Center Zurich, Roche, Schlieren, Switzerland（罗氏苏黎世创新中心早期肿瘤学） ； Computational Sciences Center of Excellence, Genentech, New York City, USA（基因泰克计算科学卓越中心） ； Computational Sciences Center of Excellence, Genentech, South San Francisco, USA（基因泰克计算科学卓越中心） ； Center for Data Science, New York University, New York City, USA（纽约大学数据科学中心） ； Department of Computer Science, Stanford University, Stanford, CA, USA（斯坦福大学计算机科学系） ； Computational Sciences Center of Excellence, Roche, Basel, Switzerland（罗氏巴塞尔计算科学卓越中心） ； Department of Biochemistry（生物化学系） ； Biotechnology Institute, The University of Melbourne, Melbourne, Australia（墨尔本大学生物技术研究所） 纠错

专题命中 指令微调 ：LLM(title)；foundation model(title)；large language model(abstract)；language model(abstract)

AI总结 TwinWeaver通过基于大语言模型的框架，构建跨癌症数字双胞胎，提升临床事件预测与风险分层精度。

Talking with the Latents -- how to convert your LLM into an astronomer

与潜在空间对话——如何将你的大语言模型转化为天文学家

Ilay Kamai, Marc-Huertas Company, Mike J. Smith, Hagai B. Perets

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过融合潜在物理特征与语言模型，将大语言模型转化为可解释的科学推理工具，实现对天文学等领域的有效推理与任务执行。

Mechanism Design for LLM Fine-tuning with Multiple Reward Models

基于多重奖励模型的LLM微调机制设计

Haoran Sun, Yurong Chen, Siwei Wang, Xu Chu, Wei Chen, Xiaotie Deng

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于多重奖励模型的LLM微调机制设计，通过机制设计解决智能体策略性误报问题，实现社会福利最大化并确保支付规则的激励兼容性。

Comments NeurIPS 2025

Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels

分析监督微调对模型知识的影响：从token和参数层面

Junjie Ye, Yuming Yang, Yang Nan, Shuo Li, Qi Zhang, Tao Gui, Xuanjing Huang, Peng Wang, Zhongchao Shi, Jianping Fan

机构 * Fudan University（复旦大学） ； Lenovo Research（联想研究） ； Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 研究发现监督微调对模型知识的影响显著，通过分析token和参数层面发现大部分参数更新不促进知识增强，恢复更新可提升封闭书问题回答性能。

Comments Accepted by EMNLP 2025 Main Conference. Codes for parameter restoration are available at https://github.com/UmeanNever/ParamRestore

Bridging the Modality Gap in Roadside LiDAR: A Training-Free Vision-Language Model Framework for Vehicle Classification

弥合道路激光雷达的模态差距：一种无需训练的视觉-语言模型框架用于车辆分类

Yiqiao Li, Bo Shang, Jie Wei

机构 * Department of Civil Engineering, City College of New York（城市学院土木工程系） ； Department of Computer Science, City College of New York（城市学院计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种无需训练的视觉-语言模型框架，用于解决道路激光雷达中稀疏点云与密集图像之间的模态差距问题，实现细粒度车辆分类。

Comments 12 pages, 10 figures, 4 tables

Are Time-Indexed Foundation Models the Future of Time Series Imputation?

时间索引基础模型是否是时间序列填补的未来？

Etienne Le Naour, Tahar Nabil, Adrien Petralia, Ghislain Agoua

机构 * EDF R&D（EDF研究与开发） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文首次对时间索引基础模型进行大规模实证研究，证明其在多种场景下无需重新训练即可实现零样本时间序列填补。

Comments Transactions on Machine Learning Research, 2026

EffoVPR: Effective Foundation Model Utilization for Visual Place Recognition

EffoVPR: 有效利用基础模型进行视觉位置识别

Issar Tzachor, Boaz Lerner, Matan Levy, Michael Green, Tal Berkovitz Shalev, Gavriel Habib, Dvir Samuel, Noam Korngut Zailer, Or Shimshi, Nir Darshan, Rami Ben-Ari

机构 * OriginAI ； The Hebrew University of Jerusalem（海法大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 EffoVPR通过有效利用基础模型提升视觉位置识别的性能，结合自注意力层提取特征和单阶段池化方法，实现更优的识别效果和特征紧凑性。

Comments ICLR 2025

Journal ref International Conference on Learning Representations (ICLR), 2025

Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding

马斯特里赫特大学AMIYA：通过微调和MBR解码适应方言阿拉伯语

Abdulhai Alali, Abderrahmane Issam

机构 * Maastricht University at AMIYA（马斯特里赫特大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过LoRA微调和MBR解码技术，提升方言阿拉伯语的生成与翻译性能，实验显示该方法在保持语义准确性的基础上提高了方言忠实度。

Personalized Parameter-Efficient Fine-Tuning of Foundation Models for Multimodal Recommendation

面向多模态推荐的个性化参数高效微调

Sunwoo Kim, Hyunjin Hwang, Kijung Shin

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 本文提出PerPEFT，一种面向多模态推荐的个性化参数高效微调策略，通过按兴趣分组并为每个组分配独立模块，提升推荐效果。

Comments To be published at The Web Conference 2026 (WWW 2026)

Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning

稀疏层尖锐性感知最小化用于高效的微调

Yifei Cheng, Xianglin Yang, Guoxia Wang, Chao Huang, Fei Ma, Dianhai Yu, Xiaochun Cao, Li Shen

机构 * School of Cyber Science and Technology, Sun Yat-sen University, Shenzhen Campus（网络安全科学与技术学院，中山大学深圳校区） ； School of Computing, National University of Singapore（计算学院，新加坡国立大学） ； Baidu Inc（百度公司） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SL-SAM通过稀疏技术优化微调过程，减少计算成本并提升效率，实现与先进基线相当的性能。

A Small-Scale System for Autoregressive Program Synthesis Enabling Controlled Experimentation

一个小型系统用于自回归程序合成，以实现受控实验

Russ Webb, Jason Ramapuram

机构 * Apple（苹果公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Cadmus系统通过低成本模型实现复杂程序合成任务，展示其在整数算术任务中的优越性能并揭示大模型的局限性。

The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs

面具背后的魔鬼：扩散语言模型的新兴安全漏洞

Zichen Wen, Jiashu Qu, Zhaorun Chen, Xiaoya Lu, Dongrui Liu, Zhiyuan Liu, Ruixi Wu, Yicun Yang, Xiangqi Jin, Haoyun Xu, Xuyang Liu, Weijia Li, Chaochao Lu, Jing Shao, Conghui He, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DIJA揭示了扩散语言模型的安全漏洞，通过构造对抗性提示利用双向建模和并行解码机制，使有害内容在对齐训练模型中得以生成。

Comments Accepted by ICLR 2026

LoRA Provides Differential Privacy by Design via Random Sketching

LoRA通过随机草图实现差分隐私

Saber Malekmohammadi, Golnoosh Farnadi

机构 * Mila - Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所） ； School of Computer Science, McGill University（麦吉尔大学计算机学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LoRA通过随机草图机制在设计上实现差分隐私，其低秩适应等效于使用噪声梯度微调适配器，隐私水平受适应秩和批量大小影响。

GenSeg-R1: RL-Driven Vision-Language Grounding for Fine-Grained Referring Segmentation

GenSeg-R1: 通过强化学习驱动的视觉-语言接地进行细粒度指称分割

Sandesh Hegde, Jaison Saji Chacko, Debarshi Banerjee, Uma Mahesh

机构 * Camcom Technologies Pvt. Ltd.（Camcom技术有限公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 GenSeg-R1 通过强化学习驱动的视觉-语言接地方法，在细粒度指称分割任务中实现了优于基线的性能。

POCO: Scalable Neural Forecasting through Population Conditioning

POCO：通过群体条件实现可扩展的神经预测

Yu Duan, Hamza Tahir Chaudhry, Misha B. Ahrens, Christopher D Harvey, Matthew G Perich, Karl Deisseroth, Kanaka Rajan

机构 * EECS, MIT（MIT电子工程与计算机科学系） ； SEAS, Harvard University（哈佛大学科学与工程系） ； Janelia Research Campus（贾尔尼亚研究校园） ； Harvard Medical School（哈佛医学院） ； Kempner Institute（凯普纳研究所） ； Université de Montréal（蒙特利尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 POCO通过结合轻量级预测器和群体编码器，实现跨会话神经预测，提升预测精度并揭示生物结构。

Journal ref Advances in Neural Information Processing Systems (2025)