语言大模型 / LLM

To 2:4 Sparsity and Beyond: Neuron-level Activation Function to Accelerate LLM Pre-Training

迈向2:4稀疏性：神经元层面激活函数加速LLM预训练

Meghana Madhyastha, Daniel Haziza, Jesse Cai, Newsha Ardalani, Zhiqi Bu, Carole-Jean Wu

机构 * FAIR at Meta（Meta 的 FAIR） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 通过神经元层面的激活函数稀疏性技术，加速LLM预训练，提升训练效率1.4-1.7倍，适用于NVIDIA A100及后续GPU。

Unlocking Noisy Real-World Corpora for Foundation Model Pre-Training via Quality-Aware Tokenization

通过质量感知的分词解锁噪声真实世界语料用于基础模型预训练

Arvid E. Gollwitzer, Paridhi Latawa, David de Gruijl, Deepak A. Subramanian, Adrián Noriega de la Colina

机构 * Broad Institute of MIT and Harvard, Cambridge, MA, USA（麻省理工学院与哈佛大学Broad研究所） ； Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院） ； Koch Institute for Integrative Cancer Research, MIT, Cambridge, MA, USA（麻省理工学院Koch整合癌症研究 institute） ； Department of Neurology and Neurosurgery, McGill University, Montreal, Canada（麦吉尔大学神经学与神经外科系） ； The Montreal Neurological Hospital-Institute, Montreal, Canada（蒙特利尔神经科学医院-研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本研究提出质量感知分词方法，通过双层优化、强化学习和自适应参数学习机制，提升基础模型在基因组和金融领域的预训练效果。

PhenoLIP: Integrating Phenotype Ontology Knowledge into Medical Vision-Language Pretraining

PhenoLIP：将表型本体知识整合到医学视觉-语言预训练中

Cheng Liang, Chaoyi Wu, Weike Zhao, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 PhenoLIP通过整合表型本体知识提升医学视觉-语言模型的表型识别与跨模态检索性能。

Multimodal Generative Retrieval Model with Staged Pretraining for Food Delivery on Meituan

具有分阶段预训练的多模态生成检索模型用于美团外卖

Boyu Chen, Tai Guo, Weiyu Cui, Yuqing Li, Xingxing Wang, Chuan Shi, Cheng Yang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出一种具有分阶段预训练的多模态生成检索模型，通过分阶段任务优化和语义ID利用，提升美团外卖检索性能与商业收益。

Calibrating Generative AI to Produce Realistic Essays for Data Augmentation

校准生成式AI以生成真实论文用于数据增强

Edward W. Wolfe, Justin O. Barber

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.LG

AI总结 本研究通过比较三种提示方法，发现预测下文和25个示例策略在生成真实论文用于数据增强方面效果最佳。

Comments Artificial Intelligence in Measurement and Education Conference (AIME-Con)

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

DreamDojo：从大规模人类视频中学习通用机器人世界模型

Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi "Jim" Fan

机构 * NVIDIA ； HKUST（香港科技大学） ； UC Berkeley（加州大学伯克利分校） ； Stanford（斯坦福大学） ； KAIST（韩国科学技术院） ； UofT（多伦多大学） ； UCSD（加州大学圣地亚哥分校） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 DreamDojo通过大规模人类视频学习通用机器人世界模型，解决动作标签稀缺问题，实现高精度物理理解和实时交互。

Comments Project page: https://dreamdojo-world.github.io/

Quantifying the Effect of Test Set Contamination on Generative Evaluations

量化测试集污染对生成评估的影响

Rylan Schaeffer, Joshua Kazdan, Baber Abbasi, Ken Ziyu Liu, Brando Miranda, Ahmed Ahmed, Fazl Berez, Abhay Puri, Stella Biderman, Niloofar Mireshghallah, Sanmi Koyejo

机构 * University of Oxford（牛津大学） ； ServiceNow Research（ServiceNow研究院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过语言模型生命周期量化测试集污染对生成评估的影响，发现污染可降低模型损失，进一步训练和采样温度调节影响记忆效果。

Scaling Speech Tokenizers with Diffusion Autoencoders

通过扩散自编码器扩展语音标记器

Yuancheng Wang, Zhenyu Tang, Yun Wang, Arthur Hinsvark, Yingru Liu, Yinghao Li, Kainan Peng, Junyi Ao, Mingbo Ma, Mike Seltzer, Qing He, Xubo Liu

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SiTok，一种基于扩散自编码器的语音标记器，通过监督学习实现语义丰富的表示，并在低token率和比特率下实现高保真音频重建。

Comments ICLR 2026

SAGE: Benchmarking and Improving Retrieval for Deep Research Agents

SAGE：深度研究代理检索的基准测试与改进

Tiansheng Hu, Yilun Zhao, Canyu Zhang, Arman Cohan, Chen Zhao

机构 * NYU Shanghai（纽约大学上海校区） ； Yale University（耶鲁大学） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 SAGE基准测试评估了深度研究代理的检索能力，发现BM25在推理密集型检索中表现优于大语言模型检索器，并提出基于语料库的测试时扩展框架提升检索性能。

EMG-to-Speech with Fewer Channels

通过更少的通道实现EMG到语音

Injune Hwang, Jaejun Lee, Kyogu Lee

机构 * Department of Intelligence and Information, Seoul National University, Republic of Korea（智能与信息系，首尔国立大学，韩国） ； Artificial Intelligence Institute, Seoul National University, Republic of Korea（人工智能研究所，首尔国立大学，韩国） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University, Republic of Korea（人工智能跨学科项目，首尔国立大学，韩国） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文通过预训练和通道意识设计，研究了减少通道对EMG到语音性能的影响，发现微调优于从头训练，支持轻量级静默语音系统开发。

Generalization of Self-Supervised Vision Transformers for Protein Localization Across Microscopy Domains

自监督视觉变换器在跨显微镜领域的蛋白质定位中的泛化

Ben Isselmann, Dilara Göksu, Andreas Weinmann

机构 * Hochschule Darmstadt（达姆施塔特应用技术大学） ； Technische Hochschule Würzburg-Schweinfurt（维尔茨堡-施维林特技术大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文通过预训练视觉变换器在不同显微镜领域中实现蛋白质定位的泛化，展示了领域相关自监督学习在跨领域迁移中的有效性。

Comments Preprint; not yet peer reviewed. AMEE Conference Proceeding 2025, 11 pages, 2 figures

MDAgent2: Large Language Model for Code Generation and Knowledge Q&A in Molecular Dynamics

MDAgent2：用于分子动力学中代码生成和知识问答的大型语言模型

Zhuofan Shi, Hubao A, Yufei Shao, Dongliang Huang, Hongxu An, Chunxiao Xin, Haiyang Shen, Zhenyu Wang, Yunshan Na, Gang Huang, Xiang Jing

机构 * Peking University（北京大学） ； National Key Laboratory of Data Space Technology and System（国家数据空间技术与系统重点实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Liaoning Technical University（辽宁技术大学） ； Wenjing Future Lab (Beijing) Technology Co., Ltd（文景未来实验室（北京）科技有限公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；SFT(abstract)

AI总结 MDAgent2是首个能同时进行分子动力学知识问答和代码生成的端到端框架，通过领域特定数据集和强化学习方法提升性能。

Comments 24 pages,4 figures

Hyperbolic Fine-Tuning for Large Language Models

双曲微调用于大语言模型

Menglin Yang, Ram Samarth B B, Aosong Feng, Bo Xiong, Jihong Liu, Irwin King, Rex Ying

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Indian Institute of Science（印度科学研究院） ； Yale University（耶鲁大学） ； Stanford University（斯坦福大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HypLoRA通过在双曲空间中进行低秩适应，提升大语言模型在算术和常识推理任务中的性能。

Comments NeurIPS 2025; https://github.com/marlin-codes/HypLoRA

FMBench: Adaptive Large Language Model Output Formatting

FMBench: 自适应大语言模型输出格式化

Yaoting Wang, Yun Zhou, Henghui Ding

机构 * Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.CL

AI总结 FMBench通过结合监督微调和强化学习微调，提升大语言模型在Markdown格式化任务中的语义和结构准确性。

String Seed of Thought: Prompting LLMs for Distribution-Faithful and Diverse Generation

字符串思维种子：用于大语言模型的提示方法以实现分布忠实和多样化生成

Kou Misaki, Takuya Akiba

机构 * Sakana AI 纠错

专题命中 指令微调 ：prompting(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 SSoT通过引入随机字符串生成和提取机制，提升大语言模型在分布忠实和多样化生成任务中的性能。

Comments Accepted to ICLR 2026

Evaluating Prompt Engineering Strategies for Sentiment Control in AI-Generated Texts

评估用于AI生成文本情感控制的提示工程策略

Kerstin Sahler, Sophie Jentzsch

机构 * German Aerospace Center (DLR), Institute of Software Technology, Cologne, Germany（德国航空航天中心（DLR），软件技术研究所，科隆，德国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过提示工程策略有效控制AI生成文本情感，相较于微调方法更具成本效益和实用性，尤其在数据受限环境下表现突出。

Comments The definitive, peer-reviewed and edited version of this article is published in HHAI 2025 - Proceedings of the Fourth International Conference on Hybrid Human-Artificial Intelligence, Frontiers in Artificial Intelligence and Applications, Volume 408, ISBN 978-1-64368-611-0, pages 423 - 438, 2025

SWE-Dev: Evaluating and Training Autonomous Feature-Driven Software Development

SWE-Dev：评估和训练自主的基于特征驱动的软件开发

Yaxin Du, Yuzhu Cai, Yifan Zhou, Cheng Wang, Yu Qian, Xianghe Pang, Qian Liu, Yue Hu, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 SWE-Dev是一个大规模数据集，用于评估和训练自主编码系统在特征驱动软件开发中的能力，通过提供可运行环境和单元测试提升模型性能。

VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation

VowelPrompt：通过元音层面的语调增强从文本中听出语音情感

Yancheng Wang, Osama Hanna, Ruiming Xie, Xianfeng Rui, Maohao Shen, Xuedong Zhang, Christian Fuegen, Jilong Wu, Debjyoti Paul, Arthur Guo, Zhihong Lei, Ozlem Kalinli, Qing He, Yingzhen Yang

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Arizona State University（亚利桑那州立大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 VowelPrompt通过元音层面的语调增强，提升LLM在语音情感识别中的表现并生成可解释的解释。

Comments Accepted to ICLR 2026

QUATRO: Query-Adaptive Trust Region Policy Optimization for LLM Fine-tuning

QUATRO：用于LLM微调的查询自适应信任区域策略优化

Doyeon Lee, Eunyi Lyou, Hyunsoo Cho, Sookyung Kim, Joonseok Lee, Jaemoo Choi

机构 * Seoul National University（首尔国立大学） ； Ewha Woman University（成均馆大学） ； Geogia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.LG

AI总结 QUATRO通过原则性优化直接施加信任区域约束，实现稳定且可控的LLM微调，提升训练稳定性与熵控制。

Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks

Meta SecAlign: 一种针对提示注入攻击的 secure LLM 基础

Sizhe Chen, Arman Zharmagambetov, David Wagner, Chuan Guo

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 Meta SecAlign 是首个开源的 LLM，具备内置的模型级防御，实现了商业级性能，且在复杂代理任务中表现优异，同时在提示注入攻击中展现出更高的安全性。

Talk Like a Packet: Rethinking Network Traffic Analysis with Transformer Foundation Models

像数据包一样说话：用Transformer基础模型重新思考网络流量分析

Samara Mayhoub, Chuan Heng Foh, Mahdi Boloursaz Mashhadi, Mohammad Shojafar, Rahim Tafazolli

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 本文提出基于Transformer的基础模型用于网络流量分析，通过统一预训练和微调流程，展示了模型在多种任务中的泛化能力及性能优势。

Comments Accepted for publication in IEEE Communications Magazine

FloorplanVLM: A Vision-Language Model for Floorplan Vectorization

FloorplanVLM：一种用于平面图向量化的视觉-语言模型

Yuanqing Liu, Ziming Yang, Yulong Li, Yue Yang

机构 * Beike（贝克） 纠错

专题命中 指令微调 ：language model(title)；SFT(abstract)

AI总结 FloorplanVLM通过像素到序列的范式，实现复杂平面图向量化的高精度与高鲁棒性，其统一框架和渐进训练策略在工程级向量化任务中表现出色。

VP Lab: a PEFT-Enabled Visual Prompting Laboratory for Semantic Segmentation

VP Lab: 一种支持PEFT的视觉提示实验室用于语义分割

Niccolo Avogaro, Thomas Frick, Yagmur G. Cinar, Daniel Caraballo, Cezary Skura, Filip M. Janicki, Piotr Kluska, Brown Ebouky, Nicola Farronato, Florian Scheidegger, Cristiano Malossi, Konrad Schindler, Andrea Bartezzaghi, Roy Assaf, Mattia Rigotti

机构 * IBM Research（IBM研究院） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：prompting(title,abstract)

AI总结 VP Lab通过E-PEFT技术提升视觉提示的语义分割性能，实现高效且交互式的模型部署。

Journal ref IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025

Uniform Spectral Growth and Convergence of Muon in LoRA-Style Matrix Factorization

洛拉风格矩阵分解中穆伦的谱增长与收敛

Changmin Kang, Jihun Yun, Baekrok Shin, Yeseul Cho, Chulhee Yun

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究揭示了LoRA微调LLM时穆伦的谱特性，证明了奇异值等速率增长并收敛至全局极小值。

GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt

GRP-Obliteration: 通过单个无标签提示解耦大语言模型

Mark Russinovich, Yanan Cai, Keegan Hines, Giorgio Severi, Blake Bullwinkel, Ahmed Salem

机构 * Microsoft（微软） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 GRP-Obliteration通过单个无标签提示解耦大语言模型，利用GRPO技术有效移除安全约束，实现更强的不对齐能力。

Trifuse: Enhancing Attention-Based GUI Grounding via Multimodal Fusion

Trifuse: 通过多模态融合增强基于注意力的GUI定位

Longhui Ma, Di Zhao, Siwei Wang, Zhao Lv, Miao Wang

机构 * College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学） ； Intelligent Game and Decision Lab, Academy of Military Sciences（智能游戏与决策实验室，军事科学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Trifuse通过多模态融合提升GUI定位性能，整合注意力、OCR文本和图标描述语义，无需任务微调即可实现高效定位。

Comments 17 pages, 10 figures

DreamHome-Pano: Design-Aware and Conflict-Free Panoramic Interior Generation

DreamHome-Pano: 基于设计意识和无冲突的全景室内生成

Lulu Chen, Yijiang Hu, Yuanqing Liu, Yulong Li, Yue Yang

机构 * Beike（贝克） 纠错

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)

AI总结 DreamHome-Pano通过引入Prompt-LLM和无冲突控制架构，实现了高保真的全景室内生成，平衡了美学质量和结构一致性。

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning

跨LoRA秩的学习率缩放与对全微调的迁移

Nan Chen, Soledad Villar, Soufiane Hayou

机构 * Department of Applied Mathematics and Statistics, Johns Hopkins University, Maryland, United States of America（应用数学与统计学系，约翰霍普金斯大学，马里兰，美国） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出μA框架，揭示LoRA学习率与适配器秩的缩放规律，并实现从LoRA到全微调的学习率迁移。

MTQE.en-he: Machine Translation Quality Estimation for English-Hebrew

MTQE.en-he：用于英语-希伯来语机器翻译质量估计的基准测试

Andy Rosenbaum, Assaf Siani, Ilan Kernerman

机构 * Independent Researcher（独立研究者） ； Lexicala 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MTQE.en-he基准测试，通过集成多个模型提升机器翻译质量估计效果，并发现参数高效方法在训练稳定性与性能提升方面表现更优。

Comments Accepted to LoResLM at EACL 2026

TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking

TrapSuffix: 对抗对抗性后缀的主动防御在劫持中

Mengyao Du, Han Fang, Haokai Ma, Gang Yang, Quanjun Yin, Shouling Ji, Ee-Chien Chang

专题命中 指令微调 ：LLM(abstract)

AI总结 TrapSuffix通过主动防御机制，使攻击者陷入无赢困境，有效降低劫持攻击成功率并提高可追溯性。

Comments 23 pages, 11 figures