语言大模型 / LLM

Pier: Efficient Large Language Model pretraining with Relaxed Global Communication

Pier：通过放松全局通信实现高效的大型语言模型预训练

Shuyuan Fan, Zhao Zhang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

AI总结 Pier通过放松全局通信，提升大型语言模型预训练的效率，实现训练速度提升和运行时间减少。

TrackList: Tracing Back Query Linguistic Diversity for Head and Tail Knowledge in Open Large Language Models

TrackList: 回溯查询语言多样性以探究开放式大语言模型中的头部与尾部知识

Ioana Buhnila, Aman Sinha, Mathieu Constant

机构 * ATILF, University of Lorraine - CNRS, France（ATILF，洛林大学 - CNRS，法国） ； Center for Data Science in Humanities, Chosun University, South Korea（人文数据科学中心，全州大学，韩国） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 TrackList研究了预训练数据对LLMs回答多样化语言查询的影响，发现LLMs在定义型问题表现最佳，但在例子型问题表现最差，且更倾向于改写流行知识而非尾部和技术知识。

Comments under review

Improving LLM-based Ontology Matching with fine-tuning on synthetic data

通过在合成数据上微调提升基于LLM的本体匹配

Guilherme Sousa, Rinaldo Lima, Cassia Trojahn

机构 * Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过生成合成数据并微调LLM，提升本体匹配任务的性能。

Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training

利用词汇频率不平衡性在语言模型预训练中

Woojin Chung, Jeonghoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过扩大词汇表降低分词文本复杂性，揭示了语言模型预训练中词汇规模与性能的关系。

Comments NeurIPS 2025

Towards a Foundation Model for Partial Differential Equations Across Physics Domains

面向跨物理领域的偏微分方程基础模型

Eduardo Soares, Emilio Vital Brazil, Victor Shirasuna, Breno W. S. R. de Carvalho, Cristiano Malossi

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 PDE-FM是一种跨物理领域预训练的基础模型，通过统一空间、谱和时间推理，实现复杂物理动态的高效建模与跨领域泛化。

Comments Accepted to the AAAI 2026 AI2ASE Workshop

Modèles de Fondation et Ajustement : Vers une Nouvelle Génération de Modèles pour la Prévision des Séries Temporelles

基础模型与调整：迈向新一代时间序列预测模型

Morad Laglil, Emilie Devijver, Eric Gaussier, Bertrand Pracca

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本文提出通过预训练后微调提升时间序列预测模型在长周期预测中的性能

Comments in French language

Exploring Performance Variations in Finetuned Translators of Ultra-Low Resource Languages: Do Linguistic Differences Matter?

探索在超低资源语言中微调翻译器的性能差异：语言差异是否起作用？

Isabel Gonçalves, Paulo Cavalin, Claudio Pinhanez

机构 * PUC-Rio（里约热内卢联邦大学） ； IBM Research Brazil（IBM巴西研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了超低资源语言中微调翻译器的性能差异，发现语言差异可能对翻译器生成能力有显著影响。

DELTA: Language Diffusion-based EEG-to-Text Architecture

DELTA: 基于语言扩散的EEG到文本架构

Mingyu Jeon, Hyobin Kim

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 DELTA通过结合残差向量量化和语言扩散模型，提升了EEG到文本的语义对齐和生成质量。

Taming generative video models for zero-shot optical flow extraction

驯服生成视频模型以实现零样本光流提取

Seungwoo Kim, Khai Loong Aw, Klemen Kotar, Cristobal Eyzaguirre, Wanhee Lee, Yunong Liu, Jared Watrous, Stefan Stojanov, Juan Carlos Niebles, Jiajun Wu, Daniel L. K. Yamins

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：prompting(abstract)

AI总结 本文提出KL-tracing方法，通过反事实提示实现生成视频模型的零样本光流提取，无需微调即可在现实和合成数据集上竞争现有最佳模型。

Comments Project webpage: https://neuroailab.github.io/projects/kl_tracing

Bridging 3D Deep Learning and Curation for Analysis and High-Quality Segmentation in Practice

弥合3D深度学习与整理：用于分析和实践中的高质量分割

Simon Püttmann, Jonathan Jair Sànchez Contreras, Lennart Kowitz, Peter Lampen, Saumya Gupta, Davide Panzeri, Nina Hagemann, Qiaojie Xiong, Dirk M. Hermann, Cao Chen, Jianxu Chen

机构 * Leibniz-Institut für Analytische Wissenschaften - ISAS - e.V.（莱比锡分析科学研究所 - ISAS - 非营利组织） ； Stony Brook University（石溪大学） ； Department of Neurology, University Hospital Essen, University of Duisburg-Essen（神经科部门，埃森大学医院，杜伊斯堡-埃森大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 VessQC通过不确定性指导的整理方法提升3D显微图像分割的准确性，实现高效的人工参与修正，填补了不确定性估计与实际应用间的空白。

Instruction Tuning of Large Language Models for Tabular Data Generation-in One Day

针对表格数据生成的大型语言模型指令微调——一天内完成

Milad Abdollahzadeh, Abdul Raheem, Zilong Zhao, Uzair Javaid, Kevin Yee, Nalam Venkata Abhishek, Tram Truong-Huu, Biplab Sikdar

机构 * SIT（新加坡科技学院） ； NUS（新加坡国立大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(title)；language model(title)；LLM(abstract)

AI总结 本文提出了一种在有限资源下通过指令微调提升LLM表格数据生成能力的方法，利用高质量数据集和少量指令实现与GPT-4o相当的生成性能。

Comments Accepted International Conference on Machine Learning (ICML 2025), 1st Workshop on Foundation Models for Structured Data

Addressing Stereotypes in Large Language Models: A Critical Examination and Mitigation

应对大型语言模型中的刻板印象：一种批判性审视与缓解

Fatima Kazi

机构 * UNIVERSITY OF CALIFORNIA DAVIS（加州大学戴维斯分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了大型语言模型中的刻板印象问题，通过评估不同模型的偏见表现，提出增强学习策略以提升模型性能和减少偏见输出。

IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization

IROTE: 通过上下文自我反思优化 elicite 大语言模型的人类特质

Yuzhuo Bai, Shitong Duan, Muhua Huang, Jing Yao, Zhenghao Liu, Peng Zhang, Tun Lu, Xiaoyuan Yi, Maosong Sun, Xing Xie

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 IROTE通过上下文自我反思优化方法，使LLMs在多样任务中稳定体现人类特质，超越现有基线。

Comments This paper is accepted by AAAI 2026

RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models

RoSA: 通过RoPE-aware选择性适应提升大语言模型的参数高效微调

Dayan Pan, Jingyuan Wang, Yilong Zhou, Jiawei Cheng, Pengyue Jia, Xiangyu Zhao

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 RoSA通过RoPE-aware选择性适应提升大语言模型的参数高效微调效率，结合注意力增强与动态层选择策略，实现更精准的模型适应。

Comments Accepted by AAAI' 26

A Comparative Study of LLM Prompting and Fine-Tuning for Cross-genre Authorship Attribution on Chinese Lyrics

跨流派中文歌词作者归属的LLM提示与微调比较研究

Yuxin Li, Lorraine Xu, Meng Fan Wang

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；prompting(title)；pretraining(abstract)；分类 cs.CL

AI总结 本文通过对比LLM提示与微调方法，研究中文歌词跨流派作者归属问题，提出新的数据集和领域模型，并探讨流派对性能的影响。

Comments 8 pages, 6 figures

SuRe: Surprise-Driven Prioritised Replay for Continual LLM Learning

SuRe: 基于惊喜的优先回放用于连续LLM学习

Hugo Hazard, Zafeirios Fountas, Martin A. Benfeghoul, Adnan Oomerjee, Jun Wang, Haitham Bou-Ammar

机构 * AI Centre, Department of Computer Science, University College London（伦敦大学学院人工智能中心、计算机科学系） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SuRe通过基于惊喜的优先回放和双学习者设计，提升连续LLM学习的性能和稳定性，有效缓解灾难性遗忘问题。

Robust LLM Unlearning with MUDMAN: Meta-Unlearning with Disruption Masking And Normalization

鲁棒大语言模型反学习与MUDMAN：元反学习与干扰掩码与归一化

Filip Sondej, Yushi Yang, Mikołaj Kniejski, Marcel Windys

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MUDMAN通过干扰掩码和归一化技术提升大语言模型反学习的鲁棒性，有效防止危险能力的恢复。

Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry

评估嵌入泛化：LLM、LoRA和SLERP如何塑造表示几何

Siyaxolisa Kabane

机构 * Department of Computer Science University of Fort Hare（计算机科学系大学弗利特哈雷） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究探讨了LLM、LoRA和SLERP在嵌入泛化中的作用，发现SLERP融合能有效恢复基础模型结构并提升聚类性能。

Comments 20 pages, 16 figures

PromptTailor: Multi-turn Intent-Aligned Prompt Synthesis for Lightweight LLMs

PromptTailor: 为轻量级大语言模型进行多轮意图对齐的提示合成

Yizhou Xu, Janet Davis

机构 * Whitman College（惠特曼学院） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 PromptTailor通过意图对齐的提示合成提升轻量级大语言模型的输出质量，以更少的模型调用次数实现更高的用户偏好率。

Comments EMNLP 2025 Workshop PALS. Additional note: There is a citation error on Evoke. The paper we are referring to is "Evoking critical thinking abilities in LLMs via reviewer-author prompt editing."

ColonAdapter: Geometry Estimation Through Foundation Model Adaptation for Colonoscopy

ColonAdapter：通过基础模型适应进行结肠镜的几何估计

Zhiyi Jiang, Yifu Wang, Xuelian Cheng, Zongyuan Ge

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Vetex Lab（Vetex实验室） ； Southeast University - Monash University Joint Graduate School（东南大学-墨尔本大学联合研究生院） ； Monash Suzhou Research Institute（墨尔本大学苏州研究院） ； Faculty of Information Technology, Monash University（墨尔本大学信息科技学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 ColonAdapter通过自监督微调适应基础模型，提升结肠镜图像的3D几何估计性能，无需地面真实内在参数。

TIP and Polish: Text-Image-Prototype Guided Multi-Modal Generation via Commonality-Discrepancy Modeling and Refinement

TIP和Polish：通过共同性-差异性建模与细化的文本-图像-原型引导的多模态生成

Zhiyong Ma, Jiahao Chen, Qingyuan Chuai, Zhengping Li

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 TIPPo通过共同性-差异性建模与细化，提升多模态生成的主题一致性和风格一致性。

Comments Submitted to ICASSP2026

Asymmetric REINFORCE for off-Policy Reinforcement Learning: Balancing positive and negative rewards

非对称REINFORCE用于离线策略强化学习：平衡正负奖励

Charles Arnal, Gaëtan Narozniak, Vivien Cabannes, Yunhao Tang, Julia Kempe, Remi Munos

机构 * FAIR at Meta（Meta 的 FAIR） ； Work done at Meta（Meta） ； NYU Courant Institute（纽约大学Courant研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出非对称REINFORCE算法，通过平衡正负奖励提升离线策略强化学习性能，理论分析表明基线下界可保证策略改进，并通过实验验证其有效性。

Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach

对大语言模型中选择偏差进行量化与缓解：一种可转移的LoRA微调和高效的多数投票方法

Blessed Guda, Lawrence Francis, Gabrial Zencha Ashungafac, Carlee Joe-Wong, Moise Busogi

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种可转移的LoRA微调和高效多数投票方法，用于量化并缓解大语言模型中的选择偏差问题。

Comments Accepted into IJCNLP-AACL 2026

Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs

未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能

Yunqi Hong, Sohyun An, Andrew Bai, Neil Y. C. Lin, Cho-Jui Hsieh

机构 * Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系） ； Mechanical and Aerospace Engineering Department, University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AutoSEP通过利用未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能。

KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models

KSHSeek: 通过数据驱动方法缓解和检测生成模型中的知识捷径幻觉

Zhongxin Liu, Zhiwei Wang, Jun Niu, Ying Li, Hongyu Sun, Meng Xu, He Wang, Gaofei Wu, Yuqing Zhang

机构 * Xidian University（西安电子科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hainan University（海南大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 KSHSeek通过数据驱动方法缓解和检测生成模型中的知识捷径幻觉，提升模型的鲁棒性和可靠性。

Comments 16 pages, 34 figures

Buffer replay enhances the robustness of multimodal learning under missing-modality

缓冲回放增强了在缺失模态下的多模态学习的鲁棒性

Hongye Zhu, Xuan Liu, Yanwen Ba, Jingye Xue, Shigeng Zhang

机构 * College of Computer Science and Electronic Engineering Hunan University（湖南大学计算机科学与电子工程学院） ； School of Computer Science Central South University（中南大学计算机学院） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.LG

AI总结 REP通过特征缓冲和动态初始化提升多模态学习在缺失模态下的鲁棒性

NegBLEURT Forest: Leveraging Inconsistencies for Detecting Jailbreak Attacks

NegBLEURT Forest：利用不一致性和检测对抗攻击

Lama Sleem, Jerome Francois, Lujun Li, Nathan Foucher, Niccolo Gentile, Radu State

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI

AI总结 NegBLEURT Forest通过语义一致性分析和隔离森林算法，有效检测对抗攻击，实现高准确率的攻击识别。

Comments This paper has been accepted in IEEE Consumer Communications & Networking Conference 2026

Bridging the Modality Gap by Similarity Standardization with Pseudo-Positive Samples

通过伪正样本进行相似性标准化以弥合模态差距

Shuhei Yamashita, Daiki Shirafuji, Tatsuhiko Saito

机构 * Mitsubishi Electric Corporation（三菱电机公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 通过伪正样本进行相似性标准化，有效弥合跨模态检索中的模态差距，提升检索性能。

Comments Accepted to PACLIC2025

TabPFN: One Model to Rule Them All?

TabPFN：一个统治所有的方法？

Qiong Zhang, Yan Shuo Tan, Qinglong Tian, Pengfei Li

机构 * Qiong Zhang is Assistant Professor, Institute of Statistics \& Big Data, Renmin University of China, China e1 . ； Yan Shuo Tan is Assistant Professor, Department of Statistics \& Data Science, National University of Singapore, Singapore e2 . ； Qinglong Tian is Assistant Professor, Department of Statistics \& Actuarial Science, University or Waterloo, Canada e3 . ； Pengfei Li is Professor, Department of Statistics \& Actuarial Science, University or Waterloo, Canada e4 . 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 TabPFN是一种基于变压器的深度学习模型，通过近似贝叶斯推断实现对表格数据的高效回归和分类，展示了在多种统计任务中的优越性能。

GOATex: Geometry & Occlusion-Aware Texturing

GOATex: 几何与遮挡感知纹理生成

Hyunjin Kim, Kunho Kim, Adam Lee, Wonkwang Lee

机构 * KRAFTON AI（KRAFTON人工智能研究院） ； NC AI（NC人工智能研究院） ； UC Berkeley（伯克利大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：prompting(abstract)

AI总结 GOATex通过基于命中层级的遮挡感知框架，实现高质量3D网格内外表面纹理生成，无需微调扩散模型，具备结构连贯性与无缝纹理输出。

Comments Accepted to NeurIPS 2025; Project Page: https://goatex3d.github.io/