语言大模型 / LLM

EchoTrace: Diagnosing Recursive Risks in LLM-Powered Recommender Systems

循环中的回声：在LLM推荐系统中反馈循环下的风险诊断

Donguk Park, Dongwon Lee, Yeon-Chang Lee

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种角色感知的诊断框架，用于分析LLM推荐系统中反馈循环下的系统性风险，包括偏见、幻觉和自我强化的暴露模式。

Comments Accepted by ACM CIKM 2026

CALIBURN: Self-Calibrated LLM Unlearning Alignment

CATNIP：通过校准和令牌化的负偏好对齐实现LLM去学习

Zhengbang Yang, Yisheng Zhong, Junyuan Hong, Zhuangdi Zhu

机构 * George Mason University（乔治·马歇尔大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 CATNIP通过校准和令牌化的负偏好对齐方法，实现有效LLM去学习，无需保留数据或对比对，提升知识遗忘与保留的平衡。

Towards Safer Social Media Platforms: Scalable and Performant Few-Shot Harmful Content Moderation Using Large Language Models

打造更安全的社交媒体平台：基于大语言模型的可扩展且高效的少样本有害内容审核

Akash Bonagiri, Lucen Li, Rajvardhan Oak, Zeerak Babar, Magdalena Wojcieszak, Anshuman Chhabra

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 针对社交媒体有害内容审核的可扩展性与动态性不足问题，研究人员利用大语言模型通过上下文学习提出少样本审核方法，实验显示其优于现有基线与少样本方法，纳入视觉信息可提升性能，为线上审核提供新方案。

Comments Accepted to ICWSM 2027 Main Conference

Scaling Electronic Health Record Foundation Models for Population Health Management

面向人群健康管理的电子健康记录基础模型规模化研究

Liwen Sun, Hao-Ren Yao, Ophir Frieder, Xiang Qian, Chenyan Xiong

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgetown University（乔治城大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出面向人群健康管理的电子健康记录基础模型，跨500万患者数据预训练，在11项慢性病预测任务及EHRShot基准中表现优于同类模型，将开源代码。

What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs

从文本到视觉的可迁移性：视觉语言模型（VLM）的能力缩放定律与迁移动态

Ziran Li, Qiang Wang, Zhengyu Chen, Shanglin Lei, Borun Chen, Jingang Wang, Xunliang Cai

机构 * Meituan（美团） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出首个跨家族的能力驱动多模态缩放定律，可通过LLM文本能力预测VLM性能，将主干选择从经验搜索转为定量决策，还揭示了LLM作为VLM主干的相关见解。

How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws

LLM应如何消费高质量数据？通过质量感知的功能缩放定律实现最优数据调度

Zhitao Zhu, Xili Wang, Shizhe Wu, Jiawei Fu, Xiaoqing Liu

机构 * Peking University（北京大学） ； Meituan（美团） 纠错

专题命中 预训练与数据 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过引入数据质量维度扩展功能缩放定律，解析求解了联合数据质量和批次大小调度问题，揭示了高质量数据的双重角色，并提出了Drop-Stable-Rampup调度策略，在15B MoE模型上相比WSD和余弦衰减分别提升平均准确率+1.70和+2.98。

Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

混合线性注意力大语言模型中的大规模激活：注意力前峰值与峰间平台期

Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, Jing Xiong, Hengyuan Zhang, Zhongzhu Zhou, Tiantian Zhang, Ngai Wong, Chuan-Wei Kuo

机构 * Startlux（星创公司） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； University of Sydney（悉尼大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本研究系统揭示混合线性注意力大语言模型中大规模激活的两种形态，证实其在多架构、多配置等场景下的重复性，明确其对输出门控的响应规律及机制，为相关模型优化提供依据。

Comments Under review

ConvergeWriter: Data-Driven Bottom-Up Article Construction

ConvergeWriter：数据驱动的自下而上文章构建

Binquan Ji, Jiaqi Wang, Ruiting Li, Xingchen Han, Yiyang Qi, Shichao Wang, Yifei Lu, Yuantao Han, Feiliang Ren

机构 * Binquan Ji, Jiaqi Wang, Ruiting Li, Xingchen Han, Yiyang Qi, Shichao Wang, Yifei Lu, Yuantao Han, Feiliang Ren（作者） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有LLM生成长篇文档的问题，提出自下而上的ConvergeWriter框架，通过检索聚类构建知识基础，减少幻觉，在14B、32B模型上性能优于或比肩基准，适用于高保真知识场景。

DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation

DiaLLM：英语方言适应中稳健性-生成差距的研究

Jordan Painter, Dipankar Srirag, Adarsh Kappiyath, Diptesh Kanojia, Aditya Joshi, Lu Yin

机构 * Institute for People-Centered AI, University of Surrey（萨里大学以人为本人工智能研究所） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 研究英语方言适应中稳健性与生成的差距，通过DiaLLM持续预训练并结合多种策略对比不同英语变体。发现二者分离，特定变体适应产出受青睐但优化奖励方法未获评估者偏爱，缩小差距需丰富奖励设计和投入方言资源。

PRAGMA: Revolut Foundation Model

PRAGMA：Revolut 基础模型

Maxim Ostroukhov, Ruslan Mikhailov, Vladimir Iashin, Artem Sokolov, Andrei Akshonov, Vitaly Protasov, Andrey Goncharov, Dmitrii Beloborodov, Vince Mullin, Roman Yokunda Enzmann, Georgios Kolovos, Jason Renders, Pavel Nesterov, Anton Repushko

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 PRAGMA是一种多源银行事件序列的基础模型，通过预训练Transformer架构实现金融记录的自监督学习，适用于信用评分、欺诈检测等任务，提供通用金融应用的表示层。

Comments [v2]: adds extra ablations and results; related work improvements

Identifying Model Quality Effects on User Engagement: A Within-Version Causal Estimator with Synthetic Data Validation

识别模型质量对用户参与度的影响：一种结合合成数据验证的版本内因果估计器

John Tribbia

专题命中 预训练与数据 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM模型更新与用户参与度的因果识别难题，提出结合合成数据验证的版本内因果估计器，经衰减调整后可准确估计模型质量对参与度的影响。

Environmental Injection Attacks against GUI Agents in Realistic Dynamic Environments

针对现实动态环境中的GUI代理的环境注入攻击

Yitong Zhang, Ximo Li, Liyi Cai, Jia Li

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； School of Computer Science, Peking University（北京大学计算机学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 本文提出Chameleon框架，通过LLM驱动的环境模拟和注意力黑洞机制，有效暴露GUI代理在动态环境中的隐藏漏洞。

In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit

除模型外一切未变：CellFill——针对量化大语言模型的比特一致、可撤销更新的单元内受限学习

Zifeng Liu, Yaxin Lu, Xuanhan Wu, Zhiyong Du, Yiming Mao, Zhenhe Wang, Wenqi Shi, Zhengkun Jing, Linwei Liu

机构 * Institute for Frontier Interdisciplinary Research in Health Sciences and Technology, Sun Yat-sen University（中山大学健康科学与技术前沿交叉研究院） ； Guangdong Engineering Research Center of Medical Artificial Intelligence Multimodal System（广东省医学人工智能多模态系统工程研究中心） ； Sun Yat-sen University（中山大学） ； School of Business, Sun Yat-sen University（中山大学商学院） ； School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机学院） ； School of Public Health, Sun Yat-sen University（中山大学公共卫生学院） ； Hospital of Stomatology, Sun Yat-sen University（中山大学口腔医院） ； Big Data and Artificial Intelligence Center, The Third Affiliated Hospital of Sun Yat-sen University（中山大学附属第三医院大数据与人工智能中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 CellFill方法通过在量化决策单元内写入残差实现量化大语言模型的比特一致、可撤销更新，实验显示其在召回率接近基准的同时降低跨域遗忘，且可迁移至27B混合线性注意力模型。

Comments 35 pages, 3 figures, 9 tables

Dialects of Translationese Shape Language Model Learning

在翻译语中训练模型显示了词汇多样性与源-目标句法相似性如何塑造学习

Jenny Kunz

机构 * Department of Computer and Information Science（计算机与信息科学系） ； Linköping University（林雪平大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了在不同源语言翻译的机器翻译数据上训练模型，探讨词汇多样性和源-目标句法相似性如何影响模型学习与语言建模。

Comments To appear at the Findings of EMNLP 2026

PatientAct: Theory-Grounded Mental Health Client Simulation

PatientAct：基于理论的心理健康来访者模拟

Sahand Sabour, TszYam NG, Yaqian Chen, Guanqun Bi, Jialu Zhao, Minlie Huang

机构 * Tsinghua University（清华大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 PatientAct是基于临床理论的来访者模拟框架，通过整合5Ps临床案例 formulation与带信任阈值的动态记忆层，生成高临床合理性的多样化来访者，在40种临床情境中较基线方法显著提升了抗拒质量与行为真实性。

Comments EMNLP 2026 Findings

AnimateAnyMesh++: A Flexible Feed-Forward Framework for High-Fidelity Text-Driven Mesh Animation

AnimateAnyMesh++: 一种灵活的4D基础模型用于高质量文本驱动的网格动画

Zijie Wu, Chaohui Yu, Fan Wang, Xiang Bai

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab, Hangzhou, China（湖畔实验室） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 本文提出AnimateAnyMesh++，通过扩展数据集、改进架构和生成能力，实现高质量文本驱动的网格动画，提升了轨迹重建和几何保真度。

Comments 15 pages, TPAMI 2026 accepted, code url: this https URL (https://github.com/JarrentWu1031/AnimateAnyMesh-pp)

Aslema at NADI 2026: Data Augmentation for Intent Recognition and Slot Filling

Aslema 参与 NADI 2026：基于少样本的 SLU 增强方法

Tajwaar Shafiq, Hunzalah Hassan Bhatti, Firoj Alam, Shammur Absar Chowdhury

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI；large language model(comments)；language model(comments)

AI总结 Aslema 系统参与 NADI 2026 共享任务 5，通过微调模型及合成数据增强（含文化适配语句生成与语音克隆）提升性能，在官方测试集槽填充排第1、意图识别排第4，将公开脚本与合成数据集。

Comments LLMs, Native, Arabic LLMs, Augmentation, Multilingual, Multimodal, Language Diversity, Contextual Understanding, Minority Languages, Culturally Informed, Foundation Models, Large Language Models, Audio Models, Omni Models, Slot Filling

Agentic-DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech

DuplexGen：为合成对话语音解耦内容、时序与声学

Pengcheng Wang, Sheng Li, Jiyi Li, Takahiro Shinozaki

机构 * Institute of Science Tokyo（科学东京大学） ； Hokkaido University（北海道大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 DuplexGen框架通过解耦对话的内容、时序与声学，生成更贴近真实对话的合成语音，构建了带多类标注的医患对话语料库，性能优于传统拼接式合成方法。

System-Prompt Anchoring with Cross-Attention Layers

CALYREX：跨注意力层扩展变换器用于系统提示锚定

Li Lixing

机构 * Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 CALYREX通过跨注意力机制在系统提示和输入之间建立结构隔离，提升模型在指令遵循和多轮指令遵守任务中的性能，同时降低 jailbreaking 攻击成功率。

Comments Preprint. 14 pages, 4 figures, 5 tables

LakeHopper: Knowledge-Aware Adaptation of Column Type Annotators across Data Lakes

LakeHopper: 通过模型适应实现跨数据湖列类型注释

Yushi Sun, Xujia Li, Nan Tang, Quanqing Xu, Chuanhui Yang, Lei Chen

机构 * HKUST（香港科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； Ant Group（蚂蚁集团） ； HKUST(GZ)/HKUST（香港科技大学（广州）/香港科技大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL

AI总结 LakeHopper通过模型适应技术，有效解决跨数据湖列类型注释问题，减少注释需求并提升适应性。

Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation

Traj-VLN：通过自回归轨迹生成学习像素空间交互

Changfei Fu, Guangcheng Chen, Aoxiang Gu, Haoxiang Liang, Wenjun Xu, Hong Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； Peng Cheng National Laboratory（鹏城国家实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究连续环境中视觉与语言导航问题，提出通过自回归轨迹生成在2D像素空间微调视觉语言模型来学习导航交互的方法，实验验证该方法能显著提升性能，旗舰模型在有限资源和数据下达最优水平。

Learning While Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies

在部署中学习：面向通用机器人策略的机群规模强化学习

Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo

机构 * Shanghai Innovation Institute（上海创新研究院） ； AGIBOT Finch ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)

AI总结 提出LWD框架，通过机群规模的离线到在线强化学习，结合分布式隐式价值学习与伴随匹配Q学习，持续后训练通用视觉-语言-动作策略，在16台双臂机器人上实现95%平均成功率。

Comments No

SAS: Segment Anything Small for Ultrasound -- A Non-Generative Data Augmentation Technique for Robust Deep Learning in Ultrasound Imaging

SAS：用于超声的小尺寸分割模型——一种用于超声成像中鲁棒深度学习的非生成数据增强技术

Danielle L. Ferreira, Ahana Gangopadhyay, Hsi-Ming Chang, Ravi Soni, Gopal Avinash

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI

AI总结 本研究提出SAS非生成数据增强技术，通过双变换策略提升深度学习模型对超声图像中小解剖结构的分割性能，经多数据集验证可显著提升Dice分数，且计算高效、适配资源受限场景。

Comments 25 pages, 8 figures

Enhancing LLM Metacognition via Cognitive Pairwise Training

通过认知成对训练增强LLM元认知

Weitao Li, Hao Zhou, Xuanyu Lei, Fandong Meng, Yuanhang Liu, Jingyi Ren, Ante Wang, Xiaolong Wang, Yuanchi Zhang, Fuwen Luo, Guangwen Yang, Lin Gan, Weizhi Ma, Yang Liu

机构 * National Engineering Laboratory for Intelligent Information Processing, Academy of Mathematics and Physics, Chinese Academy of Sciences（智能信息处理国家工程实验室，中国科学院数学物理研究所） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 提出认知成对训练（CPT），通过成对比较推理轨迹来学习区分可靠与不可靠推理，从而提升LLM的推理与元认知权衡。

KeyPooling: Measuring Where LLM API Relay Paths Collapse Prompt Cache Isolation

KeyPooling：测量LLM API中继路径在提示缓存隔离中的崩溃位置

Bowen Sun, Yixi Cai, Xiaogeng Liu, Zhengyue Zhao, Yinzhi Cao, Chaowei Xiao

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究提出KeyPooling测量方法，发现LLM API中继服务默认未将客户绑定到上游凭证，存在跨客户缓存读取漏洞，并提出防御契约及优化方案。

LuxIT: A Luxembourgish Instruction Tuning Dataset from Monolingual Seed Data

LuxIT：从单语种子数据生成的卢森堡语指令微调数据集

Julian Valline, Cedric Lothritz, Siwen Guo, Jordi Cabot

机构 * Luxembourg Institute of Science and Technology（卢森堡科学技术研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出LuxIT数据集，通过合成高质量卢森堡语指令-回答对，提升低资源语言LLM性能，实验显示在语言考试和NLP任务中均取得显著提升。

Comments To appear in proceedings of LaTeLL 2026

Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types

大语言模型通过一种独特的统一机制生成有害内容

Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov

机构 * Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） ； Cohere ； Technion—IIT（以色列理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过权重剪枝揭示大语言模型中有害生成的内部结构，发现有害内容生成依赖于一组通用且与良性能力不同的权重，表明对齐训练重塑了有害表示，解释了领域微调引发的广泛对齐偏差。

Evaluating Large Language Models for automatic analysis of teacher simulations

评估用于教师模拟自动分析的大型语言模型

David de-Fitero-Dominguez, Mariano Albaladejo-González, Antonio Garcia-Cabot, Eva Garcia-Lopez, Antonio Moreno-Cediel, Erin Barno, Justin Reich

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 该研究评估了DeBERTaV3、Llama 3等LLMs在教师教育数字模拟响应特征识别中的性能，发现Llama 3检测新特征更稳定，可为相关自动评估研究提供指导。

Comments Final published version in the Heliyon journal. Volume 12, Issue 14, September 2026, e45323. DOI: this https URL (https://doi.org/10.1016/j.heliyon.2026.e45323)

Deep Contrastive Unlearning for Language Models

用于语言模型的深度对比式遗忘

Estrid He, Tabinda Sarwar, Ibrahim Khalil, Xun Yi, Ke Wang

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大型语言模型遗忘特定训练样本的挑战，提出DeepCUT框架，通过优化潜在空间实现高效机器学习遗忘，实验显示其效果优于基线方法。

Comments The authors have withdrawn this manuscript because the work subsequently underwent substantial changes in scope, methodology, and/or conclusions, resulting in a materially different paper. To avoid potential confusion between the present manuscript and the subsequent peer-reviewed work, we withdraw this version

Sa2VA: Marrying SAM2 with MLLM for Dense Grounded Understanding of Images and Videos

Sa2VA：将SAM2与多模态大语言模型结合用于图像与视频的密集接地理解

Haobo Yuan, Xiangtai Li, Tao Zhang, Yueyi Sun, Zilong Huang, Shilin Xu, Shunping Ji, Yunhai Tong, Lu Qi, Jiashi Feng, Ming-Hsuan Yang

机构 * University of California, Merced（加州大学默塞德分校） ； Bytedance Seed（字节跳动种子） ； Wuhan University（武汉大学） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本研究提出Sa2VA，结合SAM2与MLLM实现图像视频密集接地理解，引入Ref-SAV数据集，在多任务中表现优异且可扩展至多款开源MLLM，代码模型已公开。

Comments Accepted by IEEE TPAMI. Code: this https URL (https://github.com/Bytedance/Sa2VA)