语言大模型 / LLM

Weights-Rotated Preference Optimization for Large Language Models

Chenxu Yang, Ruipeng Jia, Mingyu Zheng, Naibin Gu, Zheng Lin, Siyuan Chen, Weichong Yin, Hua Wu, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；SFT(abstract)

Comments EMNLP 2025

On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization

Jiancong Xiao, Ziniu Li, Xingyu Xie, Emily Getzen, Cong Fang, Qi Long, Weijie J. Su

机构 * University of Pennsylvania（宾夕法尼亚大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Joint corresponding authors（联合通讯作者） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；RLHF(title,abstract)；LLM(abstract)

Comments Accepted for publication in the Journal of the American Statistical Association

Post-Training Language Models for Continual Relation Extraction

Sefika Efeoglu, Adrian Paschke, Sonja Schimmler

机构 * Freie Universität Berlin（柏林自由大学） ； Technische Universität Berlin（柏林技术大学） ； Fraunhofer Institute for Open Communication Systems（弗劳恩霍夫开放通信系统研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title)；large language model(abstract)；分类 cs.CL

Comments 17 pages, Initial Results and Reporting of the work. This work has been submitted to the IEEE for possible publication

KL-Regularised Q-Learning: A Token-level Action-Value perspective on Online RLHF

Jason R Brown, Lennie Wells, Edward James Young, Sergio Bacallado

机构 * Computational and Biological Learning Group, Department of Engineering, University of Cambridge, Cambridge, UK（计算生物学学习组，工程系，剑桥大学，剑桥，英国） ； Department of Computer Science and Technology, University of Cambridge, Cambridge, UK（计算机科学与技术系，剑桥大学，剑桥，英国） ； Statistics Laboratory, Department of Pure Mathematics and Mathematical Statistics, University of Cambridge, UK（统计实验室，纯粹数学与数学统计系，剑桥大学，英国） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Orthogonal Finetuning for Direct Preference Optimization

Chenxu Yang, Ruipeng Jia, Naibin Gu, Zheng Lin, Siyuan Chen, Chao Pang, Weichong Yin, Yu Sun, Hua Wu, Weiping Wang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization

Rui Wang, Qianguo Sun, Chao Song, Junlong Wu, Tianrong Chen, Zhiyun Zeng, Yu Li

机构 * International Digital Economy Academy（国际数字经济学院） ； Emdoor Collaborative Laboratory（Emdoor协同实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

OwkinZero: Accelerating Biological Discovery with AI

Nathan Bigaud, Vincent Cabeli, Meltem Gürel, Arthur Pignet, John Klein, Gilles Wainrib, Eric Durand

机构 * Owkin 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

Comments Preprint

Annotation-Free Open-Vocabulary Segmentation for Remote-Sensing Images

Kaiyu Li, Xiangyong Cao, Ruixun Liu, Shihong Wang, Zixuan Jiang, Zhi Wang, Deyu Meng

机构 * School of Software Engineering, Xi’an Jiaotong University（软件工程学院，西安交通大学） ； School of Computer Science and Technology and Ministry of Education Key Laboratory of Intelligent Networks and Network Security, Xi’an Jiaotong University（计算机科学与技术学院和教育部智能网络与网络安全重点实验室，西安交通大学） ； School of Automation, Xi’an Jiaotong University（自动化学院，西安交通大学） ； College of Artificial Intelligence, Xi’an Jiaotong University（人工智能学院，西安交通大学） ； School of Mathematics and Statistics and Ministry of Education Key Laboratory of Intelligent Networks and Network Security, Xi’an Jiaotong University（数学与统计学院和教育部智能网络与网络安全重点实验室，西安交通大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)

Comments All codes and models will be released at https://github.com/earth-insights/SegEarth-OV-2

OASIS: Open-world Adaptive Self-supervised and Imbalanced-aware System

Miru Kim, Mugon Joe, Minhae Kwon

机构 * Soongsil University（松蔚大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

Comments Accepted at the 34th ACM International Conference on Information and Knowledge Management (CIKM 2025)