语言大模型 / LLM

Knowledge-enhanced Pretraining for Vision-language Pathology Foundation Model on Cancer Diagnosis

基于知识增强的视觉语言病理基础模型用于癌症诊断

Xiao Zhou, Luoyi Sun, Dexuan He, Wenbin Guan, Ge Wang, Ruifen Wang, Lifeng Wang, Xiaojun Yuan, Xin Sun, Ya Zhang, Kun Sun, Yanfeng Wang, Weidi Xie

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院） ； School of Artificial Intelligence（人工智能学院） ； Department of Pathology（病理学部） ； Department of Oral Pathology（口腔病理学部） ； Department of Pediatric Hematology/Oncology（儿科血液肿瘤科） ； Clinical Research and Innovation Unit（临床研究与创新单元） ； Department of Pediatric Cardiology（儿童心脏病科） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)

AI总结 本文提出KEEP模型，通过整合疾病知识图谱提升癌症诊断的视觉语言基础模型性能，显著优于现有方法。

Comments V2: fixed typos, updated experimental results, added ablation

Assessing Algorithmic Bias in Language-Based Depression Detection: A Comparison of DNN and LLM Approaches

评估基于语言的抑郁症检测中的算法偏见：DNN和LLM方法的比较

Obed Junias, Prajakta Kini, Theodora Chaspari

机构 * Computer Science University of Colorado Boulder Boulder, CO, USA ； Inst. Cognitive Science \& Computer Science University of Colorado Boulder Boulder, CO, USA 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文比较了DNN和LLM在抑郁症检测中的性能与公平性，发现LLM在少数群体表现更优，但种族差异仍存在。

Comments 7 pages, 1 figure. This paper has been accepted to the IEEE-EMBS International Conference on Biomedical and Health Informatics (BHI 2025), Georgia Institute of Technology, Atlanta, Georgia, October 26-29, 2025

daVinci-Dev: Agent-native Mid-training for Software Engineering

daVinci-Dev：面向软件工程的代理原生中训练

Ji Zeng, Dayuan Fu, Tiantian Mi, Yumin Zhuang, Yaxing Huang, Xuefeng Li, Lyumanshan Ye, Muhang Xie, Qishuo Hua, Zhen Huang, Mohan Jiang, Hanning Wang, Jifan Lin, Yang Xiao, Jie Sun, Yunze Wu, Pengfei Liu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 daVinci-Dev通过代理原生数据合成和中训练方法，在软件工程中实现了更高效的代理能力，优于现有方法。

GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining

GMS-CAVP：通过多尺度对比和生成预训练提升音频视频对应关系

Shentong Mo, Zehua Chen, Jun Zhu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； MBZUAI ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 GMS-CAVP通过多尺度对比和生成预训练方法提升音频视频对应关系建模，实现更深入的跨模态理解和高保真生成。

Proactive Hardening of LLM Defenses with HASTE

通过HASTE主动增强LLM防御

Henry Chen, Victor Aranda, Samarth Keshari, Ryan Heartfield, Nicole Nichols

专题命中 预训练与数据 ：LLM(title,abstract)

AI总结 HASTE通过主动生成对抗样本提升LLM防御效果，有效降低基线检测器误报率并优化检测模型性能。

Comments Accepted at peer review NDSS 2026, Last-X workshop. Camera ready copy forthcoming

SIPDO: Closed-Loop Prompt Optimization via Synthetic Data Feedback

SIPDO：通过合成数据反馈实现闭环提示优化

Yaoning Yu, Ye Yu, Peiyan Zhang, Kai Wei, Haojing Luo, Haohan Wang

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SIPDO通过合成数据反馈闭环优化提示，提升提示性能并优于传统提示微调方法。

From Tables to Time: Extending TabPFN-v2 to Time Series Forecasting

从表格到时间：将TabPFN-v2扩展到时间序列预测

Shi Bin Hoo, Samuel Müller, David Salinas, Frank Hutter

机构 * University of Freiburg（弗赖堡大学） ； Prior Labs（Prior实验室） ； Meta ； ELLIS Institute（ELLIS研究所） ； Tübingen University of Freiburg（弗赖堡大学图宾根分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出TabPFN-TS，通过结合轻量级时间特征化与预训练的TabPFN-v2，将预测视为表格回归问题，在时间序列预测中实现高效且多功能的性能。

Comments This revision extends the previous version by adding evaluations on covariate-aware forecasting tasks, additional ablation studies, and a dedicated limitations section. It also substantially rewrites and reorganizes the manuscript to improve clarity and overall readability

TIGaussian: Disentangle Gaussians for Spatial-Awared Text-Image-3D Alignment

TIGaussian: 解耦高斯分布以实现空间感知的图文-3D对齐

Jiarun Liu, Qifeng Chen, Yiru Zhao, Minghua Liu, Baorui Ma, Sheng Yang

机构 * Unmanned Vehicle Dept., Cainiao Inc., Alibaba Group, Hangzhou, China（阿里巴巴集团 Cainiao 无人机部门，杭州，中国） ； Hillbot, Sunnyvale, USA（Hillbot，美国 Sunnyvale） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 TIGaussian通过多分支3DGS分词器和模态特定对齐策略，实现空间感知的图文-3D跨模态对齐，提升3D相关任务的预训练效果。

Creating a Causally Grounded Rating Method for Assessing the Robustness of AI Models for Time-Series Forecasting

为评估时间序列预测中AI模型的鲁棒性构建一个因果基础的评分方法

Kausik Lakkaraju, Rachneet Kaur, Parisa Zehtabi, Sunandita Patra, Zhen Zeng, Siva Likitha Valluru, Biplav Srivastava, Marco Valtorta

机构 * University of South Carolina（南卡罗来纳大学） ； J.P. Morgan AI Research（摩根大通AI研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种因果基础的评分方法，用于评估时间序列预测中AI模型的鲁棒性，通过分析不同扰动和数据分布下的表现，验证了多模态和专门模型在鲁棒性和准确性上的优势。

Comments arXiv admin note: text overlap with arXiv:2406.12908

Length-Adaptive Interest Network for Balancing Long and Short Sequence Modeling in CTR Prediction

长度自适应兴趣网络：平衡长序列和短序列建模以提升CTR预测

Zhicheng Zhang, Zhaocheng Du, Jieming Zhu, Jiwei Tang, Fengyuan Lu, Wang Jiaheng, Song-Li Wu, Qianhui Zhu, Jingyu Li, Hai-Tao Zheng, Zhenhua Dong

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.AI

AI总结 LAIN通过引入长度自适应机制，平衡长短序列建模，提升CTR预测性能。

Comments Accepted at AAAI 2026

EgoHandICL: Egocentric 3D Hand Reconstruction with In-Context Learning

EgoHandICL: 以自身为中心的3D手重建与上下文学习

Binzhu Xie, Shi Qiu, Sicheng Zhang, Yinqiao Wang, Hao Xu, Muzammal Naseer, Chi-Wing Fu, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（医学智能与XR研究院，香港中文大学） ； Department of Computer Science, Khalifa University（计算机科学系，哈利法大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 EgoHandICL通过上下文学习框架提升以自身为中心的3D手重建的鲁棒性和一致性，结合视觉语言模型和掩码自动编码器实现更精确的手-物体交互推理。

Comments Accepted in ICLR 2026, Codebase: https://github.com/Nicous20/EgoHandICL

Phonological Tokenizer: Prosody-Aware Phonetic Token via Multi-Objective Fine-Tuning with Differentiable K-Means

语音标记器：通过可微k-means的多目标微调实现的音调感知音素标记

Kentaro Onda, Hayato Futami, Yosuke Kashiwagi, Emiru Tsunoo, Shinji Watanabe

机构 * The University of Tokyo（东京大学） ； Sony Group Corporation（索尼集团公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出Phonological Tokenizer，通过可微k-means和多任务目标微调，生成保留音系信息且剔除说话人身份的语音标记，用于提升语音语言模型的性能。

Comments Accepted to ICASSP 2026

PowerGraph-LLM: Novel Power Grid Graph Embedding and Optimization with Large Language Models

PowerGraph-LLM: 利用大语言模型的新型电力网络图嵌入与优化框架

Fabien Bernier, Jun Cao, Maxime Cordy, Salah Ghamizi

机构 * SnT, University of Luxembourg, Luxembourg（卢森堡大学SnT学院，卢森堡） ； Luxembourg Institute of Health (LIH), Luxembourg（卢森堡健康研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 PowerGraph-LLM利用大语言模型解决电力系统最优潮流问题，结合图与表格表示以捕捉复杂关系，并通过定制的微调协议提升性能。

Comments Published at IEEE Transactions on Power Systems

Journal ref IEEE Transactions on Power Systems (Volume: 40, Issue: 6, Pages: 5483 - 5486, November 2025)

Propaganda AI: An Analysis of Semantic Divergence in Large Language Models

宣传AI：大型语言模型中语义分歧的分析

Nay Myat Min, Long H. Pham, Yige Li, Jun Sun

机构 * Singapore Management University（新加坡国立管理学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出RAVEN方法，用于检测大型语言模型中因概念提示引发的语义分歧，通过结合语义熵与跨模型分歧，揭示模型在特定主题上的异常响应，以提高对宣传影响的防范能力。

Comments Accepted at ICLR 2026, 22 pages, 1 figure

Agent-Q: Fine-Tuning Large Language Models for Quantum Circuit Generation and Optimization

Agent-Q: 为量子电路生成和优化微调大型语言模型

Linus Jern, Valter Uotila, Cong Yu, Bo Zhao

机构 * Aalto University ； Aalto University \& University of Helsinki 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 Agent-Q通过微调LLMs生成和优化量子电路，提供14,000个电路用于多种优化问题。

Comments 12 pages, 8 figures, 3 tables, presented at IEEE International Conference on Quantum Computing and Engineering (QCE) 2025

Journal ref 2025 IEEE International Conference on Quantum Computing and Engineering (QCE), Albuquerque, NM, USA, 2025, pp. 1621-1632

Chat to Chip: Large Language Model Based Design of Arbitrarily Shaped Metasurfaces

Chat to Chip: 基于大规模语言模型的任意形状超材料设计

Huanshu Zhang, Lei Kang, Sawyer D. Campbell, Douglas H. Werner

机构 * Department of Electrical Engineering（电气工程系） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出利用大规模语言模型设计任意形状超材料，通过自然语言交互实现快速设计，展示了LLM在纳米光子学中的应用潜力。

Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs

强化学习微调增强大语言模型内部电路的激活强度和多样性

Honglin Zhang, Qianyue Hao, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系，BNRist，清华大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 强化学习微调增强了LLMs内部电路的激活强度和多样性，相较于偏好优化方法，其在数学泛化上的优势源于信息流的冗余与灵活性。

MLVTG: Mamba-Based Feature Alignment and LLM-Driven Purification for Multi-Modal Video Temporal Grounding

MLVTG: 基于Mamba的特征对齐与LLM驱动的多模态视频时间定位

Zhiyi Zhu, Xiaoyu Wu, Zihao Liu, Linlin Yang

机构 * State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MLVTG通过结合MambaAligner和LLMRefiner，实现了多模态视频时间定位的高精度定位与语义净化。

Discovering 100+ Compiler Defects in 72 Hours via LLM-Driven Semantic Logic Recomposition

通过LLM驱动的语义逻辑重组发现100余项编译器缺陷

Xingbang He, Yuanwei Chen, Hao Wu, Jikang Zhang, Zicheng Wang, Ligeng Chen, Junjie Peng, Haiyang Wei, Yi Qian, Tiantai Zhang, Linzhang Wang, Bing Mao

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 FeatureFuzz通过语义逻辑重组发现编译器缺陷，有效提升模糊测试的多样性与发现能力。

Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning

基于Holdout损失的数据选择用于LLM微调的上下文学习

Ling Zhang, Xianliang Yang, Juwon Yu, Park Cheonyoung, Miran Lee, Lei Song, Jiang Bian

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于上下文近似（ICA）的方法，通过估计holdout损失来高效选择高价值训练数据，提升LLM微调的对齐性能。

LLM-VA: Resolving the Jailbreak-Overrefusal Trade-off via Vector Alignment

LLM-VA: 通过向量对齐解决对抗性回应与过度拒绝的权衡

Haonan Zhang, Dongxia Wang, Yi Liu, Kexin Chen, Wenhai Wang

机构 * Zhejiang University（浙江大学） ； Griffith University（格里菲斯大学） ； Huzhou Institute of Industrial Control Technology（湖州工业控制技术研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 LLM-VA通过向量对齐解决大型语言模型在对抗性回应与过度拒绝间的权衡问题，提升安全性和效用。

Reflective Translation: Improving Low-Resource Machine Translation via Structured Self-Reflection

反思性翻译：通过结构化自我反思改进低资源机器翻译

Nicholas Cheng

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(abstract,comments)；large language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出反思性翻译框架，通过结构化自我反思提升低资源语言的机器翻译质量，实验表明其在BLEU和COMET评分上均有显著提升。

Comments 12 pages, 3 figures, 6 tables. Accepted to the NeurIPS 2025 Workshop on Multilingual Representation Learning (Mexico City) and the AAAI 2025 Workshop on Language Models for Under-Resourced Communities (LM4UC). Code and data available at: https://github.com/Nickcheng123/reflective-translation-mt

Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning

任务特定方向：在参数高效微调中的定义、探索与利用

Chongjie Si, Zhiyi Shi, Shifan Zhang, Xiaokang Yang, Hanspeter Pfister, Wei Shen

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能基础理论实验室，人工智能研究院，上海交通大学） ； School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（电子信息与电气工程学院，上海交通大学） ； School of Engineering and Applied Sciences, Harvard University（工程与应用科学学院，哈佛大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LoRA-TSD，通过任务特定方向优化LoRA初始化和微调，提升模型在目标任务上的性能。

Comments 2026, TPAMI, Codes in https://github.com/Chongjie-Si/Subspace-Tuning

A Few Bad Neurons: Isolating and Surgically Correcting Sycophancy

几个坏神经元：隔离并外科手术性纠正阿谀行为

Claire O'Brien, Jessica Seto, Dristi Roy, Aditya Dwivedi, Sunishchal Dev, Kevin Zhu, Sean O'Brien, Ashwinee Panda, Ryan Lagasse

机构 * Algoverse ； RAND ； Meta FAIR ； University of Maryland（马里兰大学） ； Lockheed Martin AI Center（洛克希德·马丁人工智能中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过隔离并微调最负责特定行为的神经元来实现LLM行为对齐，展示了在减少阿谀行为任务上的有效性。

Comments Accepted to NeurIPS Workshop on CogInterp and NeurIPS Workshop on Reliable ML 2025

RIFT: Reordered Instruction Following Testbed To Evaluate Instruction Following in Singular Multistep Prompt Structures

RIFT：重新排列指令跟随测试床以评估单步提示结构中的指令跟随

Andrew Jaffe, Noah Reicin, Jinho D. Choi

机构 * Emory University（埃默里大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RIFT通过测试不同提示结构下的LLM表现，揭示了指令跟随对位置连续性的强依赖，指出当前架构将指令跟随视为顺序模式而非推理能力。

Comments 13 pages, 5 figures, submitted to ACL ARR

LLMs Can Unlearn Refusal with Only 1,000 Benign Samples

LLMs 可通过仅 1000 个无害样本实现拒绝反学习

Yangyang Guo, Ziwei Xu, Si Liu, Zhiming Zheng, Mohan Kankanhalli

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 通过仅 1000 个无害样本，研究发现 LLMs 可通过反学习技术降低拒绝响应，揭示安全性对齐可能依赖 token 序列记忆而非推理。

KeepLoRA: Continual Learning with Residual Gradient Adaptation

KeepLoRA: 基于残差梯度适应的持续学习

Mao-Lin Luo, Zi-Hao Zhou, Yi-Lin Zhang, Yuanyu Wan, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（教育部计算机网络与信息集成重点实验室） ； School of Software Technology, Zhejiang University（浙江大学软件学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 KeepLoRA通过残差梯度适应方法实现持续学习，有效平衡知识保留、任务知识保持和新知识获取，取得最佳性能。

Comments Accepted at ICLR 2026

Physics-Aware Novel-View Acoustic Synthesis with Vision-Language Priors and 3D Acoustic Environment Modeling

具有视觉-语言先验和3D声学环境建模的物理感知新视角声音合成

Congyi Fan, Jian Guan, Youtian Lin, Dongli Xu, Tong Ye, Qiaoxi Zhu, Pengming Feng, Wenwu Wang

机构 * Group of Intelligent Signal Processing（智能信号处理组） ； Harbin Engineering University（哈尔滨工程大学） ； School of Intelligence Science and Technology（智能科学与技术学院） ； Nanjing University（南京大学） ； Processing Speech and Images（语音与图像处理） ； KU Leuven（库尔勒文大学） ； Acoustics Lab（声学实验室） ； University of Technology Sydney（悉尼技术大学） ； State Key Laboratory of Space Information System and Integrated Application（空间信息系统与集成应用国家重点实验室） ； Centre for Vision Speech and Signal Processing（视觉语音与信号处理中心） ； University of Surrey（萨里大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 Phys-NVAS通过整合视觉-语言语义先验与3D声学环境建模，实现了具有物理感知的新视角声音合成，提升了声音的真实感和物理一致性。

Comments ICASSP 2026 Accept, Project page: https://physnvas.github.io/

Revisiting Parameter Server in LLM Post-Training

重新审视LLM后训练中的参数服务器

Xinyi Wan, Penghui Qi, Guangxing Huang, Chaoyi Ruan, Min Lin, Jialin Li

机构 * Sea AI Lab（海智实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出On-Demand Communication（ODC），通过优化参数服务器在LLM后训练中的应用，有效应对不平衡负载，提升设备利用率和训练效率。

Comments Accepted in ICLR'26

DND: Boosting Large Language Models with Dynamic Nested Depth

DND: 通过动态嵌套深度提升大语言模型

Tieyuan Chen, Xiaodong Chen, Haoxing Chen, Zhenzhong Lan, Weiyao Lin, Jianguo Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； ZhongguanCun Academy（中关村学院） ； Renmin University of China（中国人民大学） ； Westlake University（西湖大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 DND通过动态嵌套深度机制提升大语言模型性能，通过路由和阈值控制策略优化令牌选择，显著提升密集和MoE模型表现。

Comments Accepted by ICLR 2026