大模型对齐与安全

ToolRec: Calibrated Preference Alignment for Query Recommendation in On-Device Assistants

ToolRec: 面向设备端助手的校准偏好对齐查询推荐

Zihan Luo, Lingkui Chen, Ruike Zhang, Hong Huang, Boyang Zhang, Ziniu Chen, Lizhong Wang, Chao Chen

专题命中 偏好对齐 ：alignment(title,abstract)

AI总结 提出ToolRec框架，通过构建系统工具库和双层校准机制优化点击数据，利用加权KTO对齐模型，在设备端助手查询推荐中提升点击率和相关性。

Comments Under review

MedLLM: An Open Medical Language Model at the Sub-Billion Scale

MedLLM：亚十亿参数规模的开源医疗语言模型

Maxx Richard Rahman, Asim Ahmed, Mihan Mohagheghzadeh, Wolfgang Maass

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出亚十亿参数规模的开源医疗语言模型MedLLM，经三阶段流程训练，在医疗基准测试中展现出亚十亿规模特有的能力分化现象，为医疗小模型研究提供了新方向。

SDO: Structure-Aware Data Organization for Efficient LLM Post-Training

SDO：面向高效大语言模型后训练的结构感知数据组织

Jinliang Gao, Ning Yang, Hai Wang, Baili Xiao, Pin Lyu

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 针对大语言模型后训练中数据组织固定导致的样本优化失衡问题，提出SDO框架，通过逐轮调整小批量与样本暴露，加快多任务收敛并均衡不同问题类型的准确率。

Comments 9 pages, 5 figures, 5 tables

Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization

个性化奖励基准：评估与人类对齐的个性化

Qiyao Ma, Dechen Gao, Rui Cai, Boqi Zhao, Hanchu Zhou, Junshan Zhang, Zhe Zhao

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出个性化奖励基准，用于评估奖励模型对个性化偏好的建模能力，发现现有模型在个性化任务中表现不佳，且该基准在下游任务中具有更高的预测相关性。

Comments Accepted to COLM 2026. Dataset: https://huggingface.co/datasets/QiyaoMa/Personalized-RewardBench

Hierarchical Latent Reasoning for LLM-based Recommendation

面向基于大语言模型（LLM）的推荐系统的分层潜在推理方法

Peiyu Hu, Siying Gu, Weihai Lu, Zhuodong Liu, Yuntian Tang, Jiahao Liang, Yiying Xie, Jiang Rong, Zhaokai Luo, Zhiyong Wang, Jia Wang

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文针对基于LLM的推荐系统提出分层潜在推理框架HiLaR，通过层感知强化优化提升推荐性能，在四个Amazon基准数据集上优于多种主流基线。

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

HSS-Synth：面向大语言模型的人文社科数据合成

Ru Peng, Tianyu Zhao, Xijun Gu, Zhiting Fan, Haokai Xu, Jinyang Zhang, Yawen Zeng, Yihong Zhuang, Kexin Yang, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（蚂蚁集团Inclusion AI） ； Peking University（北京大学） ； Qwen Team, Alibaba Group（阿里巴巴集团通义千问团队） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文针对LLM的HSS数据稀缺问题，提出以学科为中心的HSS-Synth流水线，生成23.7万指令微调样本，使Qwen3-8B-Base达SOTA并提升相关能力。

Comments ACL Findings 2026 Paper