arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-01-27 至 2026-01-27 共收录 404 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 31 篇

2601.17480 2026-01-27 cs.LG cs.AI cs.CL 87%

Unintended Memorization of Sensitive Information in Fine-Tuned Language Models

在微调语言模型中意外记忆敏感信息

Marton Szep, Jorge Marin Ruiz, Georgios Kaissis, Paulina Seidl, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer, Daniel Rueckert

机构 * TUM University Hospital(慕尼黑工业大学医院) Technical University of Munich (TUM)(慕尼黑技术大学) Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心) Department of Computing, Imperial College London(伦敦帝国学院计算系)

专题命中 指令微调 :language model(title,abstract);large language model(abstract);post-training(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示微调语言模型时意外记忆敏感信息的风险,分析影响因素并评估隐私保护方法的权衡。

Comments Accepted to EACL 2026. 20 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17133 2026-01-27 cs.LG cs.AI cs.CR cs.DC cs.MA 86%

Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation

学习协作:一种协同-去中心化框架用于点对点大语言模型联邦

Inderjeet Singh, Eleonore Vissol-Gaudin, Andikan Otung, Motoyoshi Sekiya

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 KNEXA-FL通过协同去中心化框架提升点对点大语言模型联邦学习的效率与稳定性

Comments Accepted to AAAI 2026. 13 pages, 3 figures, 10 tables. Code available at: https://github.com/FujitsuResearch/knexa-fl

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18582 2026-01-27 cs.CL 85%

From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection

从分类到排序:提升LLM推理能力以进行MBTI性格检测

Yuan Cao, Feixiang Liu, Xinyue Wang, Yihan Zhu, Hui Xu, Zheng Wang, Qiang Qiu

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 本文提出将性格检测视为排序任务,通过改进的强化学习方法提升LLM在MBTI性格检测中的推理能力。

Comments 9 pages, 4 figures, AAAI 2026 Bridge

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.10978 2026-01-27 cs.IR 85%

Does LLM Focus on the Right Words? Mitigating Context Bias in LLM-based Recommenders

LLM是否聚焦在正确的词语?基于组分布鲁棒优化的推荐系统去偏方法

Bohao Wang, Jiawei Chen, Feng Liu, Changwang Zhang, Jun Wang, Canghong Jin, Chun Chen, Can Wang

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 本文提出GDRT方法,通过组分布鲁棒优化减轻LLM推荐系统中的上下文偏见,提升推荐准确性和公平性。

Comments Accepted by WWW2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17089 2026-01-27 cs.CV 85%

GRASP: Guided Region-Aware Sparse Prompting for Adapting MLLMs to Remote Sensing

GRASP: 基于区域感知的稀疏提示引导方法用于适应遥感图像的多模态大语言模型

Qigan Sun, Chaoning Zhang, Jianwei Zhang, Xudong Wang, Jiehui Xie, Pengcheng Zheng, Haoyu Wang, Sungyoung Lee, Chi-lok Andy Tai, Yang Yang, Heng Tao Shen

机构 * School of Computing, Kyung Hee University(京畿大学计算机学院) School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院) School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院) College of Computer Science and Information Engineering, Harbin Normal University(哈尔滨师范大学计算机科学与信息工程学院) College of Professional and Continuing Education, The Hong Kong Polytechnic University(香港理工大学专业及继续教育学院) School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)

专题命中 指令微调 :prompting(title,abstract);large language model(abstract);language model(abstract)

AI总结 GRASP通过引导区域感知的稀疏提示方法,提升多模态大语言模型在遥感图像任务中的适应性与性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17789 2026-01-27 cs.AI 81%

Neuro-Symbolic Verification on Instruction Following of LLMs

神经符号验证在大语言模型指令遵循上的应用

Yiming Su, Kunzhao Xu, Yanjie Gao, Fan Yang, Cheng Li, Mao Yang, Tianyin Xu

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) University of Science and Technology of China(中国科学技术大学) Microsoft Research(微软研究院)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文提出NSVIF框架,通过神经符号方法验证大语言模型是否遵循指令,实验表明其在指令遵循验证中表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18779 2026-01-27 cs.LG cs.AI cs.CL 80%

POPE: Learning to Reason on Hard Problems via Privileged On-Policy Exploration

POPE: 通过优先级在线探索学习解决难题

Yuxiao Qu, Amrith Setlur, Virginia Smith, Ruslan Salakhutdinov, Aviral Kumar

机构 * Carnegie Mellon University(卡内基梅隆大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 POPE 通过利用优先级信息指导在线探索,解决难题推理中的探索问题,提升模型在复杂任务上的表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17585 2026-01-27 cs.CL 79%

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

序列重复增强标记嵌入并改进序列标注的解码器-only语言模型

Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

专题命中 指令微调 :language model(title,abstract);分类 cs.CL

AI总结 本研究通过序列重复技术提升解码器-only模型的双向能力,改进序列标注性能,且无需大幅修改基础模型。

Comments Accepted at EACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17527 2026-01-27 econ.GN cs.AI q-fin.EC 79%

Bridging Expectation Signals: LLM-Based Experiments and a Behavioral Kalman Filter Framework

弥合期望信号:基于LLM的实验与行为卡尔曼滤波框架

Yu Wang, Xiangchen Liu

专题命中 指令微调 :LLM(title,abstract);分类 cs.AI

AI总结 本文通过实验和行为卡尔曼滤波框架研究LLM在面对异质信号时如何更新期望,发现代理对信号的加权偏离单位,个体信号权重高于总体信号,同时信号存在负相互作用,且家庭与企业CEO的期望形成模式存在差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.14005 2026-01-27 cs.CR cs.LG 79%

PIShield: Detecting Prompt Injection Attacks via Intrinsic LLM Features

PIShield: 通过内在LLM特性检测提示注入攻击

Wei Zou, Yupei Liu, Yanting Wang, Ying Chen, Neil Gong, Jinyuan Jia

专题命中 指令微调 :LLM(title,abstract);分类 cs.LG

AI总结 PIShield通过利用指令微调LLM的内部表示,高效检测提示注入攻击,显著优于现有方法。

Comments The code is available at https://github.com/weizou52/PIShield

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18261 2026-01-27 cs.LG cs.CL 79%

FGGM: Fisher-Guided Gradient Masking for Continual Learning

FGGM:基于Fisher信息的梯度掩码用于持续学习

Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);分类 cs.CL、cs.LG

AI总结 FGGM通过基于Fisher信息的梯度掩码方法,有效缓解大语言模型的灾难性遗忘问题,在持续学习任务中表现出优于MIGU和监督微调的性能。

Comments Accepted by ICASSP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17777 2026-01-27 cs.CL cs.AI 79%

DPI: Exploiting Parameter Heterogeneity for Interference-Free Fine-Tuning

DPI: 利用参数异质性实现无干扰的微调

Xiaoyu Liu, Xiaoyu Guan, Di Liang, Xianjie Wu

机构 * College of Science, Northeastern University, Boston, United States(东北大学科学学院) University of Florida(佛罗里达大学) Beijing Information Science and Technology University(北京信息科技大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);分类 cs.CL、cs.AI

AI总结 本文提出利用参数异质性实现无干扰的微调方法,通过分离任务特定参数区域以减少跨任务干扰,提升模型适应下游任务的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.26441 2026-01-27 cs.CV 78%

A-TPT: Angular Diversity Calibration Properties for Test-Time Prompt Tuning of Vision-Language Models

A-TPT:面向视觉语言模型测试时提示微调的角多样性校准特性

Shihab Aaqil Ahamed, Udaya S. K. P. Miriya Thanthrige, Ranga Rodrigo, Muhammad Haris Khan

机构 * Dept. of Electronic and Telecommunication Engineering, University of Moratuwa(摩图瓦大学电子与电信工程系) Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)

专题命中 指令微调 :language model(title,abstract)

AI总结 A-TPT通过引入角度多样性提升视觉语言模型测试时提示微调的校准性能,有效减少校准误差并提升适应能力。

Comments Accepted at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.05758 2026-01-27 cs.SD 78%

EMORL-TTS: Reinforcement Learning for Fine-Grained Emotion Control in LLM-based TTS

EMORL-TTS:基于强化学习的LLM-TTS细粒度情感控制

Haoxun Li, Yu Liu, Yuqing Sun, Hanlei Shi, Leyuan Qu, Taihao Li

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(杭州高等研究 institute,中国科学院大学)

专题命中 指令微调 :LLM(title,abstract)

AI总结 EMORL-TTS通过强化学习实现基于LLM的TTS系统中细粒度情感控制,提升情感准确性与强度区分度。

Comments Accepted by ICASSP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18190 2026-01-27 cs.CV 75%

Multi-Perspective Subimage CLIP with Keyword Guidance for Remote Sensing Image-Text Retrieval

多视角子图像CLIP与关键词引导的遥感图像-文本检索

Yifan Li, Shiying Wang, Jianqiang Huang

机构 * School of Computer Technology and Applications(计算机技术与应用学院) Qinghai University(青海大学) Qinghai Provincial Laboratory for Intelligent Computing and Application(青海省智能计算与应用实验室)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract)

AI总结 MPS-CLIP通过关键词引导的多视角细粒度对齐提升遥感图像-文本检索性能,实现35.18%和48.40%的mR成绩。

Comments 7 pages, 3 figures. Code: https://github.com/Lcrucial1f/MPS-CLIP

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.05786 2026-01-27 cs.CL cs.HC cs.LG 73%

FedMentalCare: Towards Privacy-Preserving Fine-Tuned LLMs to Analyze Mental Health Status Using Federated Learning Framework

FedMentalCare: 向隐私保护的微调大语言模型分析心理健康状态的联邦学习框架

Nobin Sarwar

机构 * University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 FedMentalCare通过联邦学习与低秩适应技术,在保护隐私的同时微调大语言模型,用于分析心理健康状况,提升心理健康护理的可行性和安全性。

Comments 9 pages, 3 figures, 3 tables and 2 algorithms

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18533 2026-01-27 cs.CL 70%

From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation

从可验证点到奖励链:利用基于可验证参考的奖励进行开放生成的强化学习

Yuxin Jiang, Yufei Wang, Qiyuan Zhang, Xingshan Zeng, Liangyou Li, Jierun Chen, Chaofan Tao, Haoli Bai, Lifeng Shang

机构 * Huawei Technologies Co.,Ltd(华为技术有限公司) City University of Hong Kong(香港城市大学)

专题命中 指令微调 :LLM(abstract);SFT(abstract);分类 cs.CL

AI总结 本文提出基于可验证参考的强化学习方法,通过提取奖励链提升开放生成任务的效率和可靠性。

Comments 19 pages, 8 figures, 12 tables. Accepted at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.12025 2026-01-27 cs.LG 70%

Spotlight Your Instructions: Instruction-following with Dynamic Attention Steering

聚焦您的指令:通过动态注意力引导实现指令遵循

Praveen Venkateswaran, Danish Contractor

机构 * IBM Research(IBM研究院)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 通过动态调整注意力机制,提升大型语言模型对复杂指令的遵循能力,实现更高效的指令处理。

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.02296 2026-01-27 cs.CL 70%

How to Make LMs Strong Node Classifiers?

如何让语言模型成为强大的节点分类器?

Zhe Xu, Kaveh Hassani, Si Zhang, Hanqing Zeng, Michihiro Yasunaga, Limei Wang, Dongqi Fu, Ning Yao, Bo Long, Hanghang Tong

机构 * Meta University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 指令微调 :language model(abstract);instruction tuning(abstract);分类 cs.CL

AI总结 本文提出了一种无需架构修改的方法,使语言模型在节点分类任务中达到与最先进的图神经网络相当的性能,通过拓扑和语义检索增强输入并利用轻量级GNN分类器修剪类别候选。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18353 2026-01-27 cs.AI cs.CL cs.HC 62%

Can Good Writing Be Generative? Expert-Level AI Writing Emerges through Fine-Tuning on High-Quality Books

好的写作可以生成吗?通过在高质量书籍上微调,专家级AI写作得以出现

Tuhin Chakrabarty, Paramveer S. Dhillon

机构 * Stony Brook University(石溪大学) University of Michigan(密歇根大学)

专题命中 指令微调 :prompting(abstract);分类 cs.CL、cs.AI

AI总结 通过在高质量书籍上微调,AI在模仿知名作者方面超越人类专家,引发对创作本质和未来劳动的深层思考。

Comments Proceedings of CHI 2026 Conference (To Appear)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17212 2026-01-27 cs.CL 57%

DF-RAG: Query-Aware Diversity for Retrieval-Augmented Generation

DF-RAG:基于查询的多样性检索增强生成

Saadat Hasan Khan, Spencer Hong, Jingyu Wu, Kevin Lybarger, Youbing Yin, Erin Babinsky, Daben Liu

机构 * George Mason University(乔治·马歇尔大学) Capital One

专题命中 指令微调 :language model(abstract);分类 cs.CL

AI总结 DF-RAG通过在检索阶段引入多样性,提升复杂推理问答任务的F1性能,相比传统RAG提升了4-10个百分点,并接近Oracle上限的91.3%

Comments Accepted to Findings of EACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.10683 2026-01-27 cs.LG cs.CV 57%

LT-Soups: Bridging Head and Tail Classes via Subsampled Model Soups

LT-Soups: 通过子采样模型汤桥接头部和尾部类别

Masih Aminbeidokhti, Subhankar Roy, Eric Granger, Elisa Ricci, Marco Pedersoli

机构 * École de technologie supérieure University of Bergamo(贝拉姆博大学) University of Trento(特伦托大学) Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会)

专题命中 指令微调 :foundation model(abstract);分类 cs.LG

AI总结 LT-Soups通过两阶段模型汤框架在长尾分布中平衡头部和尾部类别性能,提升模型在不平衡数据集上的泛化能力。

Comments Neurips 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.05270 2026-01-27 cs.CV 50%

CLIP's Visual Embedding Projector is a Few-shot Cornucopia

CLIP的视觉嵌入投影器是少样本宝库

Mohammad Fahes, Tuan-Hung Vu, Andrei Bursuc, Patrick Pérez, Raoul de Charette

机构 * Inria(法国国家信息与自动化技术研究所) Kyutai

专题命中 指令微调 :language model(abstract)

AI总结 ProLIP通过正则化投影矩阵提升CLIP在少样本分类及跨领域迁移中的性能,提供更高效的替代方案。

Comments WACV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 后训练与偏好优化 15 篇

2601.18129 2026-01-27 cs.CL cs.AI 92%

Typhoon-S: Minimal Open Post-Training for Sovereign Large Language Models

Typhoon-S: 最小化开放的训练后处理以实现主权大语言模型

Kunat Pipatanakul, Pittawat Taveekitworachai

机构 * Typhoon, SCB 10X(Typhoon,SCB 10X)

专题命中 后训练与偏好优化 :large language model(title,abstract);language model(title,abstract);post-training(title,abstract);分类 cs.CL、cs.AI

AI总结 Typhoon-S通过最小化开放的训练后处理方法,实现主权大语言模型的可采用性和主权能力,无需大规模数据或复杂调优流程。

Comments 19 pages. Code is publicly available at https://github.com/scb-10x/typhoon-s . Datasets and model weights are available at https://huggingface.co/collections/typhoon-ai/typhoon-s

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17096 2026-01-27 cs.CY cs.AI cs.CL 90%

Beyond Instrumental and Substitutive Paradigms: Introducing Machine Culture as an Emergent Phenomenon in Large Language Models

超越工具性和替代性范式:引入机器文化作为大型语言模型中的涌现现象

Yueqing Hu, Xinyang Peng, Yukun Zhao, Lin Qiu, Ka-lai Hung, Kaiping Peng

专题命中 后训练与偏好优化 :large language model(title,abstract);language model(title,abstract);RLHF(abstract);分类 cs.CL、cs.AI

AI总结 本研究提出机器文化作为大型语言模型中的一种新兴现象,挑战传统工具性和替代性范式,揭示模型在文化表现上的独特特性。

Comments 16 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17918 2026-01-27 cs.CV cs.CL 88%

Benchmarking Direct Preference Optimization for Medical Large Vision-Language Models

医疗大视觉-语言模型的直接偏好优化基准测试

Dain Kim, Jiwoo Lee, Jaehoon Yun, Yong Hoe Koo, Qingyu Chen, Hyunjae Kim, Jaewoo Kang

机构 * Korea University(韩国大学) AIGEN Sciences(AIGEN公司) Hanyang University College of Medicine(翰林大学医学院) Asan Medical Center, University of Ulsan College of Medicine(釜山大学医学院阿桑医院) Yale University(耶鲁大学)

专题命中 后训练与偏好优化 :language model(title,abstract);preference optimization(title,abstract);分类 cs.CL

AI总结 本文评估了医疗领域中多种DPO变体,发现其在视觉问答任务中存在性能不一致和视觉误解问题,并提出针对性策略提升3.6%。

Comments EACL 2026 (Findings)

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.22881 2026-01-27 cs.LG cs.CL 88%

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

通过最大边际似然估计实现离线偏好优化

Saeed Najafi, Alona Fyshe

机构 * Department of Computing Science, University of Alberta, Canada(计算科学系,阿尔伯塔大学)

专题命中 后训练与偏好优化 :preference optimization(title,abstract);large language model(abstract);language model(abstract);RLHF(abstract)

AI总结 本文提出基于最大边际似然估计的MMPO方法,通过隐式偏好优化提升模型稳定性与对齐性能。

Comments EACL 2026, camera ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18009 2026-01-27 cs.IR 87%

Post-Training Denoising of User Profiles with LLMs in Collaborative Filtering Recommendation

利用LLM进行协同过滤推荐的用户资料后训练去噪

Ervin Dervishaj, Maria Maistro, Tuukka Ruotsalo, Christina Lioma

专题命中 后训练与偏好优化 :post-training(title,abstract);LLM(abstract);large language model(abstract);language model(abstract)

AI总结 利用LLM对用户资料进行后训练去噪以提升协同过滤推荐效果

Comments Accepted at the 48th European Conference on Information Retrieval (ECIR 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18306 2026-01-27 cs.CL cs.AI 86%

Calibrating Beyond English: Language Diversity for Better Quantized Multilingual LLM

超越英语的校准:为更好的量化多语言大语言模型的语言多样性

Everlyn Asiko Chimoto, Mostafa Elhoushi, Bruce A. Bassett

机构 * Lelapa AI Cerebras Systems, Inc University of the Witwatersrand(乌得勒支大学) University of Cape Town(开普敦大学) South African Astronomical Observatory(南非天文台)

专题命中 后训练与偏好优化 :LLM(title);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文通过多语言校准集提升多语言大语言模型的量化性能,发现非英语和多语言混合校准显著降低困惑度,强调语言对齐的重要性。

Comments Accepted to EACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.17329 2026-01-27 cs.LG cs.AI 81%

Conformal Feedback Alignment: Quantifying Answer-Level Reliability for Robust LLM Alignment

符合反馈对齐:量化答案级可靠性以实现鲁棒的大语言模型对齐

Tiejin Chen, Xiaoou Liu, Vishnu Nandam, Kuan-Ru Liou, Hua Wei

机构 * Arizona State University(亚利桑那州立大学)

专题命中 后训练与偏好优化 :LLM(title);RLHF(abstract);分类 cs.AI、cs.LG

AI总结 Conformal Feedback Alignment通过量化答案级可靠性提升大语言模型对齐的鲁棒性和数据效率。

Comments Accetped to Findings of EACL

详情

展开后加载摘要…

URL PDF HTML 收藏