语言大模型 / LLM

Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

面对动态个体偏好：通过配对微调解决冲突的人类价值观

Shanyong Wang, Shuhang Lin, Yining Zhao, Xi Zhu, Yongfeng Zhang

机构 * Rutgers University—New Brunswick（罗杰斯大学—新布伦斯维克分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Preference-Paired Fine-Tuning框架，通过Value Conflict Dilemma数据集解决动态个体偏好冲突问题，实验显示其在多选分类和开放生成任务中表现优异，优于传统方法。

Comments 20 pages, 13 figures

Mind over Space: Can Multimodal Large Language Models Mentally Navigate?

心灵超越空间：多模态大语言模型能否进行心理导航？

Qihui Zhu, Shouwei Ruan, Xiao Yang, Hao Jiang, Yao Huang, Shiji Zhao, Hanwei Fan, Hang Su, Xingxing Wei

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University（清华大学-博世联合机器学习中心、THBI实验室、BNRist中心、清华大学计算机科学与技术系） ； School of Automation Science and Electrical Engineering , Beihang University（北京航空航天大学自动化科学与电气工程学院） ； college of AI, Tsinghua University（清华大学人工智能学院） ； Department of Computer Science and Technology , Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 本文提出Video2Mental基准测试，评估多模态大语言模型的空间导航能力，发现标准预训练模型无法自然生成空间表示，NavMind通过显式认知地图提升导航性能。

Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models

Astra: 大语言模型激活空间尾特征值低秩适应

Kainan Liu, Yong Zhang, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao

机构 * Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 Astra通过利用模型输出激活的尾特征向量构建低秩适配器，实现了更高效的参数高效微调，提升了下游任务性能。

Comments 22 pages, 10 figures

ViLBias: Detecting and Reasoning about Bias in Multimodal Content

ViLBias：检测和推理解多模态内容中的偏见

Shaina Raza, Caesar Saleh, Azib Farooq, Emrul Hasan, Franklin Ogidi, Haad Zahid, Maximus Powers, Marcelo Lotif, Anam Zahid, Karanpal Sekhon, Veronica Chatrath, Roya Javedi, Vahid Reza Khazaie, Zhenyu Yu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 ViLBias通过多模态基准检测新闻中的偏见，利用LLM和VLMs提升推理准确率和忠实度，参数高效方法能恢复大部分微调性能。

Comments Under review

cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

cadrille: 多模态CAD重建与强化学习

Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） ； AXXX ； ETH Zurich（苏黎世联邦理工学院） ； Innopolis University（因诺波利斯大学） ； Institute of Mechanics, Armenia（亚美尼亚力学研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 cadrille通过强化学习实现多模态CAD重建，首次在CAD任务中应用RL微调，提升重建性能并设定新基准。

Comments ICLR 2026 (Oral)

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

赢得剪枝赌局：一种联合样本和token剪枝的统一方法用于高效监督微调

Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Xingzhang Ren, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Q-Tuning通过联合样本和token剪枝，提升LLM监督微调效率，在SmolLM2-1.7B上实现38%的性能提升。

Comments 26 pages, 9 figures, 15 tables

Small-Margin Preferences Still Matter-If You Train Them Right

小边距偏好依然重要-如果你训练得当的话

Jinlong Pang, Zhaowei Zhu, Na Di, Yichi Zhang, Yaxuan Wang, Chen Qian, Yang Liu

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Northeastern University（东北大学） ； DIMACS, Rutgers University（Rutgers大学DIMACS研究中心） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出MixDPO，一种基于难度的训练策略，通过课程学习和混合目标优化，提升LLM在模糊配对上的对齐效果。

UniMo: Unified Motion Generation and Understanding with Chain of Thought

UniMo: 基于推理链的统一运动生成与理解

Guocun Wang, Kenkun Liu, Jing Lin, Guorui Song, Jian Li, Xiaoguang Han

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 UniMo通过整合运动-语言信息和可解释的推理链，提升3D人体运动生成与理解的性能和可解释性。

A methodological analysis of prompt perturbations and their effect on attack success rates

Tiago Machado, Maysa Malfiza Garcia de Macedo, Rogerio Abreu de Paula, Marcelo Carpinette Grave, Aminat Adebiyi, Luan Soares de Souza, Enrico Santarelli, Claudio Pinhanez

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；RLHF(abstract)

Training-Free Group Relative Policy Optimization

Yuzheng Cai, Siqi Cai, Yuchen Shi, Zihan Xu, Lichao Chen, Yulei Qin, Xiaoyu Tan, Gang Li, Zongyi Li, Haojia Lin, Yong Mao, Ke Li, Xing Sun

机构 * Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Mitigating Forgetting Between Supervised and Reinforcement Learning Yields Stronger Reasoners

Xiangchi Yuan, Xiang Chen, Tong Yu, Dachuan Shi, Can Jin, Wenke Lee, Saayan Mitra

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Adobe Research（Adobe研究） ； Rutgers University（罗格斯大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

UI-UG: A Unified MLLM for UI Understanding and Generation

Hao Yang, Weijie Qiu, Ru Zhang, Zhou Fang, Ruichao Mao, Xiaoyu Lin, Maji Huang, Zhaosong Huang, Teng Guo, Shuoyang Liu, Hai Rao

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Playpen: An Environment for Exploring Learning Through Conversational Interaction

Nicola Horst, Davide Mazzaccara, Antonia Schmidt, Michael Sullivan, Filippo Momentè, Luca Franceschetti, Philipp Sadler, Sherzod Hakimov, Alberto Testoni, Raffaella Bernardi, Raquel Fernández, Alexander Koller, Oliver Lemon, David Schlangen, Mario Giulianelli, Alessandro Suglia

机构 * University of Potsdam（波恩大学） ； University of Trento（特伦特大学） ； Saarland University（萨尔大学） ； ETH Zurich（苏黎世联邦理工学院） ； Amsterdam UMC（阿姆斯特丹医疗中心） ； Free University of Bozen Bolzano（博兹纳自由大学） ； University of Amsterdam（阿姆斯特丹大学） ； Heriot-Watt University（赫里奥特-瓦特大学） ； DFKI（德意志联邦研究所） ； UCL（伦敦大学学院） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Accepted at EMNLP 2025 (Main) Source code: https://github.com/lm-playpen/playpen Please send correspodence to: lm-playschool@googlegroups.com

Chinchunmei at SemEval-2025 Task 11: Boosting the Large Language Model's Capability of Emotion Perception using Contrastive Learning

Tian Li, Yujian Sun, Huizhi Liang

机构 * School of Computing, Newcastle University（计算学院，新卡斯尔大学） ； Shumei AI Research Institute（舒美人工智能研究院） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Journal ref Association for Computational Linguistics, Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), 319-330

Structural Perturbation in Large Language Model Representations through Recursive Symbolic Regeneration

Kathlyn Eaglewood, Tobias Featherington, Dorian Mayfair, Sylvester Grimshaw, James Pettigrew

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Gradient-Regularized Latent Space Modulation in Large Language Models for Structured Contextual Synthesis

Derek Yotheringhay, Beatrix Nightingale, Maximilian Featherstone, Edmund Worthington, Hugo Ashdown

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

GuirlVG: Incentivize GUI Visual Grounding via Empirical Exploration on Reinforcement Learning

Weitai Kang, Bin Lei, Gaowen Liu, Caiwen Ding, Yan Yan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Minnesota（明尼苏达大学） ； Cisco Research（思科研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

Comments 9 pages

DiffLoRA: Differential Low-Rank Adapters for Large Language Models

Alexandre Misrahi, Nadezhda Chirkova, Maxime Louis, Vassilina Nikoulina

机构 * EPFL（瑞士联邦理工学院） ； NAVER LABS Europe（NAVER LABS欧洲） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Technical Report of TeleChat2, TeleChat2.5 and T1

Zihan Wang, Xinzhang Liu, Yitong Yao, Chao Wang, Yu Zhao, Zhihao Yang, Wenmin Deng, Kaipeng Jia, Jiaxin Peng, Yuyao Huang, Sishi Xiong, Zhuo Jiang, Kaidong Yu, Xiaohui Hu, Fubei Yao, Ruiyu Fang, Zhuoru Jiang, Ruiting Song, Qiyi Xie, Rui Xue, Xuewei He, Yanlei Xue, Zhu Yuan, Zhaoxi Zhang, Zilu Huang, Shiquan Wang, Xin Wang, Hanming Wu, Mingyuan Wang, Xufeng Zhan, Yuhan Sun, Zhaohu Xing, Yuhao Jiang, Bingkai Yang, Shuangyong Song, Yongxiang Li, Zhongjiang He, Xuelong Li

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)；post-training(abstract)；SFT(abstract)

Comments 32 pages, 5 figures

Classifying Unreliable Narrators with Large Language Models

Anneliese Brei, Katharine Henry, Abhisheik Sharma, Shashank Srivastava, Snigdha Chaturvedi

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Virginia Polytechnic Institute and State University（弗吉尼亚理工学院和州立大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Comments ACL 2025

Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

Jimin Huang, Mengxi Xiao, Dong Li, Zihao Jiang, Yuzhe Yang, Yifei Zhang, Lingfei Qian, Yan Wang, Xueqing Peng, Yang Ren, Ruoyu Xiang, Zhengyu Chen, Xiao Zhang, Yueru He, Weiguang Han, Shunian Chen, Lihang Shen, Daniel Kim, Yangyang Yu, Yupeng Cao, Zhiyang Deng, Haohang Li, Duanyu Feng, Yongfu Dai, VijayaSai Somasundaram, Peng Lu, Guojun Xiong, Zhiwei Liu, Zheheng Luo, Zhiyuan Yao, Ruey-Ling Weng, Meikang Qiu, Kaleb E Smith, Honghai Yu, Yanzhao Lai, Min Peng, Jian-Yun Nie, Jordan W. Suchow, Xiao-Yang Liu, Benyou Wang, Alejandro Lopez-Lira, Qianqian Xie, Sophia Ananiadou, Junichi Tsujii

机构 * The Fin AI（Fin AI） ； Wuhan University（武汉大学） ； Columbia University（哥伦比亚大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanjing University（南京大学） ； Rensselaer Polytechnic Institute（罗格斯理工学院） ； The University of Manchester（曼彻斯特大学） ； Stevens Institute of Technology（史泰斯理工学院） ； National University of Singapore（新加坡国立大学） ； University of Florida（佛罗里达大学） ； University of Montreal（蒙特利尔大学） ； Yale University（耶鲁大学） ； New York University（纽约大学） ； Harvard University（哈佛大学） ； NVIDIA（英伟达） ； Artificial Intelligence Research Centre（人工智能研究中心） ； Archimedes/Athena Research Centre（Archimedes/Athena研究中心） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Comments 33 pages, 13 figures

ProSec: Fortifying Code LLMs with Proactive Security Alignment

Xiangzhe Xu, Zian Su, Jinyao Guo, Kaiyuan Zhang, Zhenting Wang, Xiangyu Zhang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments The first two authors contributed equally to this work

Seed-Coder: Let the Code Model Curate Data for Itself

ByteDance Seed, Yuyu Zhang, Jing Su, Yifan Sun, Chenguang Xi, Xia Xiao, Shen Zheng, Anxiang Zhang, Kaibo Liu, Daoguang Zan, Tao Sun, Jinhua Zhu, Shulin Xin, Dong Huang, Yetao Bai, Lixin Dong, Chao Li, Jianchong Chen, Hanzhi Zhou, Yifan Huang, Guanghan Ning, Xierui Song, Jiaze Chen, Siyao Liu, Kai Shen, Liang Xiang, Yonghui Wu

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Reasoning-CV: Fine-tuning Powerful Reasoning LLMs for Knowledge-Assisted Claim Verification

Zhi Zheng, Wee Sun Lee

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Ultrasound Report Generation with Multimodal Large Language Models for Standardized Texts

Peixuan Ge, Tongkun Su, Faqin Lv, Baoliang Zhao, Peng Zhang, Chi Hong Wong, Liang Yao, Yu Sun, Zenan Wang, Pak Kin Wong, Ying Hu

机构 * Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； University of Macau（澳门大学） ； Chinese PLA General Hospital（中国人民解放军总医院） ； Macau University of Science and Technology（澳门科学技术大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI

$D^2LoRA$: Data-Driven LoRA Initialization for Low Resource Tasks

Javad SeraJ, Mohammad Mahdi Mohajeri, Mohammad Javad Dousti

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

ZO2: Scalable Zeroth-Order Fine-Tuning for Extremely Large Language Models with Limited GPU Memory

Liangyu Wang, Jie Ren, Hang Xu, Junxiao Wang, Huanyi Xie, David E. Keyes, Di Wang

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.LG

Comments 14 pages, 7 figures

Detecting Offensive Memes with Social Biases in Singapore Context Using Multimodal Large Language Models

Cao Yuxuan, Wu Jiayang, Alistair Cheong Liang Chuen, Bryan Shan Guanrong, Theodore Lee Chong Jen, Sherman Chann Zhi Shen

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Comments Accepted at 3rd Workshop on Cross-Cultural Considerations in NLP (C3NLP), co-located with NAACL 2025. This is an extended version with some appendix moved to the main body

Supervised Fine-Tuning LLMs to Behave as Pedagogical Agents in Programming Education

Emily Ross, Yuval Kansal, Jake Renzella, Alexandra Vassar, Andrew Taylor

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Towards Lightweight, Adaptive and Attribute-Aware Multi-Aspect Controllable Text Generation with Large Language Models

Chenyu Zhu, Yefeng Liu, Chenyang Lyu, Xue Yang, Guanhua Chen, Longyue Wang, Weihua Luo, Kaifu Zhang

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

Comments 17 pages,9 figures