语言大模型 / LLM

The performances of the Chinese and U.S. Large Language Models on the Topic of Chinese Culture

中中美大语言模型在中华文化传播主题上的表现

Feiyan Liu, Siyan Zhao, Chenxun Zhuo, Tianming Liu, Bao Ge

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究评估了中美开发的大语言模型在中华文化传播问题上的表现，发现中国模型在相关任务上普遍优于美国模型，且Gemini 2.5Pro和GPT-5.1表现突出。

ALERT: Zero-shot LLM Jailbreak Detection via Internal Discrepancy Amplification

ALERT: 通过内部不一致放大实现零样本LLM jailbreak检测

Xiao Lin, Philip Li, Zhichen Zeng, Tingwei Li, Tianxin Wei, Xuying Ning, Gaotang Li, Yuzhong Chen, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Visa 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ALERT通过内部不一致放大技术实现零样本LLM jailbreak检测，有效提升安全检测性能。

Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis

通过技能分类引导的数据合成实现大语言模型的组合泛化

Yifan Wei, Li Du, Xiaoyan Yu, Yang Feng, Angsheng Li

机构 * State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing Institute of Technology（北京理工大学） ； Institute of Computing Technology, CAS（中国科学院计算技术研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 STEPS通过技能分类引导的数据合成提升大语言模型的组合泛化能力。

Comments The code and data for our methods and experiments are available at https://github.com/weiyifan1023/STEPS

Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models

广义对数调整：通过消除基础模型中的标签偏见来校准微调模型

Beier Zhu, Kaihua Tang, Qianru Sun, Hanwang Zhang

机构 * Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本文提出广义对数调整方法，通过消除基础模型中的标签偏见，提升多种任务的性能。

Comments Accepted by NeurIPS2023

Attention Needs to Focus: A Unified Perspective on Attention Allocation

注意力需要聚焦：注意力分配的统一视角

Zichuan Fu, Wentao Song, Guojing Li, Yejing Wang, Xian Wu, Yimin Deng, Hanyu Yan, Yefeng Zheng, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Xi’an Jiaotong University（西安交通大学） ； Tencent（腾讯） ； Westlake University（西湖大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Lazy Attention机制，通过位置歧视和Elastic-Softmax解决注意力过载和不足问题，提升注意力分配效率。

Comments preprint

Content vs. Form: What Drives the Writing Score Gap Across Socioeconomic Backgrounds? A Generated Panel Approach

内容与形式：不同社会经济背景下写作分数差距的驱动因素？一种生成面板方法

Nadav Kunievsky, Pedro Pertusi

机构 * Knowledge Lab, University of Chicago（芝加哥大学知识实验室） ； Insper, Institute of Education and Research（Insper教育与研究学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过生成面板方法研究社会经济地位对写作分数差距的影响，发现内容质量占69%，风格差异占26%，评估标准差异占5%。

Jailbreaking LLMs Without Gradients or Priors: Effective and Transferable Attacks

无需梯度或先验知识的LLM劫持：有效且可转移的攻击

Zhakshylyk Nurlanov, Frank R. Schmidt, Florian Bernard

机构 * Department of Visual Computing, University of Bonn（视觉计算系，波恩大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； University of Bonn（波恩大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RAILS通过无需梯度或先验知识的令牌级迭代优化，实现了对LLM的有效且可转移的对抗性攻击。

Beyond Direct Generation: A Decomposed Approach to Well-Crafted Screenwriting with LLMs

超越直接生成：一种分解方法用于利用LLM进行精心构思的剧本创作

Hang Lei, Shengyi Zong, Zhaoyan Li, Ziren Zhou, Hao Liu, Liang Yu

机构 * Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出双阶段细化框架，通过分解生成方法提升LLM在剧本创作中的表现，实现高质量剧本生成。

Shared Path: Unraveling Memorization in Multilingual LLMs through Language Similarities

共享路径：通过语言相似性揭示多语言大语言模型中的记忆现象

Xiaoyu Luo, Yiyi Chen, Johannes Bjerva, Qiongxiu Li

机构 * Department of Computer Science（计算机科学系） ； Department of Electronic Systems（电子系统系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过语言相似性分析，揭示多语言大语言模型中记忆现象的跨语言关联及其影响因素。

Comments 17 pages, 14 tables, 10 figures

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 19372-19388, Suzhou, China

A path to natural language through tokenisation and transformers

通过分词和转换器模型实现自然语言的一条路径

David S. Berman, Alexander G. Stapleton

机构 * Centre for Theoretical Physics, Queen Mary University of London（理论物理中心，伦敦女王学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了BPE分词对自然语言统计特性的影响，发现其不仅压缩数据，还重构了语言的信息属性。

Comments 19 pages, 7 figures, 2 tables

Instructor-inspired Machine Learning for Robust Molecular Property Prediction

受指导的机器学习用于鲁棒分子性质预测

Fang Wu, Shuting Jin, Siyuan Li, Stan Z. Li

机构 * Computer Science Department, Stanford University（斯坦福大学计算机科学系） ； School of Computer Science and Technology, Wuhan University of Science and Technology（武汉科技大学计算机科学与技术学院） ； School of Engineering, Westlake University（西湖大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 InstructMol通过指导学习方法提升分子性质预测的鲁棒性，有效利用大规模未标记数据提高预测准确性。

Journal ref NeurIPS 2024

PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation

PointWorld: 为真实世界机器人操作扩展3D世界模型

Wenlong Huang, Yu-Wei Chao, Arsalan Mousavian, Ming-Yu Liu, Dieter Fox, Kaichun Mo, Li Fei-Fei

机构 * Stanford University（斯坦福大学） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.AI

AI总结 PointWorld通过统一状态和动作的3D点流模型，实现了在真实世界中机器人操作的高效预测与控制，无需额外演示或训练。

ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation

ResTok: 在1D视觉分词器中学习层次化残差以实现自回归图像生成

Xu Zhang, Cheng Da, Huan Yang, Kun Gai, Ming Lu, Zhan Ma

机构 * Vision Lab, Nanjing University（南京大学视觉实验室） ； Kolors Team, Kuaishou Technology（快手技术Kolors团队） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 ResTok通过引入层次化残差机制提升自回归图像生成效果，实现更高效的潜在分布建模与生成过程。

Comments Technical report

FIRE-VLM: A Vision-Language-Driven Reinforcement Learning Framework for UAV Wildfire Tracking in a Physics-Grounded Fire Digital Twin

FIRE-VLM：一种基于视觉-语言驱动的强化学习框架，用于在物理基础火灾数字孪生中无人机火灾跟踪

Chris Webb, Mobin Habibpour, Mayamin Hamid Raha, Ali Reza Tavakkoli, Janice Coen, Fatemeh Afghah

机构 * Clemson University（克莱姆森大学） ； University of Nevada, Reno（内华达大学拉斯维加斯分校） ； NSF NCAR（国家科学基金会NCAR） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 FIRE-VLM是一种基于视觉-语言模型的强化学习框架，用于在物理基础火灾数字孪生中实现无人机火灾跟踪，通过结合物理术语与VLM语义的奖励设计，提升了火灾检测效率。

EDCO: Dynamic Curriculum Orchestration for Domain-specific Large Language Model Fine-tuning

EDCO：面向领域特定大语言模型微调的动态课程编排

Jing-Cheng Pang, Liu Sun, Chang Zhou, Xian Tang, Haichuan Ma, Kun Jiang, Jianlong Wang, Kai Zhang, Sijie Wu, Haoran Cai, Chenwei Wu, Xubin Li, Xin Chen

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 EDCO通过动态课程编排和熵估计提升领域特定大语言模型微调效率与准确性。

Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning

基于比率方差正则化的策略优化用于高效的LLM微调

Yu Luo, Shuo Han, Yihan Hu, Dong Li, Jianye Hao

机构 * Department of Foundation Model, 2012 Labs, Huawei（华为2012实验室基础模型部门） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 R²VPO通过正则化策略比率的方差，提升LLM微调的稳定性和数据效率。

TrojanStego: Your Language Model Can Secretly Be A Steganographic Privacy Leaking Agent

TrojanStego: 你的语言模型可能 secretly 成为一个隐写术隐私泄露代理

Dominik Meier, Jan Philip Wahle, Paul Röttger, Terry Ruas, Bela Gipp

机构 * University of Göttingen（哥廷根大学） ； LKA NRW（北莱茵-威斯特法伦州检察署） ； Bocconi University（博科尼大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 TrojanStego通过语言隐写术在LLM输出中隐秘泄露敏感信息，展示了一种新型被动且危险的LLM数据外泄攻击方式。

Comments 9 pages, 5 figures To be presented in the Conference on Empirical Methods in Natural Language Processing, 2025

Rendering Data Unlearnable by Exploiting LLM Alignment Mechanisms

通过利用大语言模型对齐机制使数据不可学习

Ruihan Zhang, Jun Sun

机构 * Singapore Management University（新加坡国立管理大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过利用LLM对齐机制，提出免责声明注入方法，使数据对模型不可学习，实现数据保护。

Boosting In-Silicon Directed Evolution with Fine-Tuned Protein Language Model and Tree Search

通过微调蛋白质语言模型和树搜索提升硅基定向进化

Yaodong Yang, Yang Wang, Jinpeng Li, Pei Guo, Da Han, Guangyong Chen, Pheng-Ann Heng

机构 * Department of Computer Science（计算机科学与工程系） ； Engineering, The Chinese University of Hong Kong（香港中文大学） ； Hangzhou Institute of Medicine, Chinese Academy of Sciences（中国科学院杭州医学研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 AlphaDE通过微调蛋白质语言模型和树搜索提升硅基定向进化效率

Comments working in progress, 20 pages, 6 figures, 16 tables, updating template

Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning

超越困惑度：一种轻量级的知识保留监督微调基准

Soheil Zibakhsh Shabgahi, Pedram Aghazadeh, Farinaz Koushanfar

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；SFT(abstract)

AI总结 本文提出KR测试，一种轻量级基准，用于区分监督微调中的事实学习与语言学，通过对比示例评估知识保留，提升微调动态的可解释性。

NEMO-4-PAYPAL: Leveraging NVIDIA's Nemo Framework for empowering PayPal's Commerce Agent

NEMO-4-PAYPAL：利用NVIDIA的Nemo框架赋能PayPal的商业代理

Sudhanshu Garg, Andrew Wang, Chaitanya Kulkarni, Ali Sahami, Farhad Farahani, Sean Yun-Shiuan Chuang, Jian Wan, Srinivasan Manoharan, Uma Kona, Nitin Sharma, Linsey Pang, Prakhar Mehrotra, Jessica Clark, Mark Moyou

机构 * PayPal AI ； NVIDIA 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 NEMO-4-PAYPAL利用NVIDIA Nemo框架优化PayPal商业代理，通过微调Nemotron模型提升检索性能并降低延迟与成本。

The Instruction Gap: LLMs get lost in Following Instruction

指令鸿沟：LLMs在遵循指令时迷失

Vishesh Tripathi, Uday Allu, Biddwan Ahmed

机构 * Vishesh Tripathi ； Uday Allu ； Biddwan Ahmed 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示了LLMs在企业部署中遵循指令的不足，通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳，指出指令遵循能力的鸿沟及改进方向。

MixRx: Predicting Drug Combination Interactions with LLMs

MixRx：利用大语言模型预测药物组合相互作用

Risha Surana, Cameron Saidock, Hugo Chacon

机构 * University of Southern California（南加州大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MixRx利用大语言模型预测药物组合相互作用，通过微调模型在标准和扰动数据集上达到81.5%的准确率，探索LLMs在生物预测任务中的应用潜力。

L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts

L-MoE：轻量级低秩适应专家的端到端训练

Shihao Ji, Zihui Song

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 L-MoE通过端到端训练将低秩适应专家与混合专家架构结合，实现轻量级、高效且可扩展的语言模型训练方法。

Comments The authors have identified a technical error in the mathematical formulation regarding the differentiable routing mechanism described in Section 3.2. To ensure the accuracy and integrity of the scientific record, we wish to withdraw the paper to correct these formulations and re-evaluate the theoretical proofs

Modular Prompt Optimization: Optimizing Structured Prompts with Section-Local Textual Gradients

模块化提示优化：通过部分局部文本梯度优化结构化提示

Prith Sharma, Austin Z. Henley

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 模块化提示优化通过局部文本梯度优化结构化提示，提升小型开源LLM的推理性能。

Analyzing and Improving Cross-lingual Knowledge Transfer for Machine Translation

分析和改进机器翻译中的跨语言知识转移

David Stap

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究分析并改进了机器翻译中的跨语言知识迁移，探讨了语言相似性、检索辅助监督及平行数据微调对翻译效果的影响，以提升多语言NLP系统的鲁棒性和泛化能力。

Comments PhD dissertation defended on November 26th, 2025

Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation

LLMs能否追踪其输出长度？一种动态反馈机制用于精确长度控制

Meiman Xiao, Ante Wang, Qingguo Hu, Zhongjian Miao, Huangjun Shen, Longyue Wang, Weihua Luo, Jinsong Su

机构 * School of Informatics, Xiamen University, China（信息学院，厦门大学） ； Alibaba International Digital Commerce Group（阿里巴巴国际数字 commerce 集团） ； Li Auto Inc（李汽车公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种动态反馈机制，用于提升LLM在生成文本时对长度的精确控制，通过无训练方法和进一步微调实现更准确的长度调节。

Relevance to Utility: Process-Supervised Rewrite for RAG

效用相关性：基于过程的重写用于RAG

Jaeyoung Kim, Jongho Kim, Seung-won Hwang, Seoho Song, Young-In Song

机构 * IPAI, Seoul National University（IPAI，首尔国立大学） ； Naver Corp（Naver公司） 纠错

专题命中 指令微调 ：preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 R2U通过联合观察重写和回答过程中的推理来近似真实效用，提升检索增强生成系统的生成效用。

Prompt Tuning without Labeled Samples for Zero-Shot Node Classification in Text-Attributed Graphs

在无标注样本情况下对文本属性图中的零样本节点分类进行提示调优

Sethupathy Parameswaran, Suresh Sundaram, Yuan Fang

机构 * Indian Institute of Science（印度科学研究院） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 本文提出一种基于双模态生成器的零样本提示调优框架，通过生成合成样本实现文本属性图中节点分类的无标注样本学习。

Comments Accepted by WSDM 2026

SWE-Lego: Pushing the Limits of Supervised Fine-tuning for Software Issue Resolving

SWE-Lego：推动软件问题解决监督微调的极限

Chaofan Tao, Jierun Chen, Yuxin Jiang, Kaiqi Kou, Shaowei Wang, Ruoyu Wang, Xiaohui Li, Sidi Yang, Yiming Du, Jianbo Dai, Zhiming Mao, Xinyu Wang, Lifeng Shang, Haoli Bai

机构 * Huawei Technologies（华为技术有限公司） ； NTU（国立新加坡大学） ； HKU（香港大学） ； CUHK（香港城市大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL

AI总结 SWE-Lego通过轻量级监督微调方法和改进的测试时扩展技术，在软件问题解决任务中达到最新性能。

Comments Project website: https://github.com/SWE-Lego/SWE-Lego