大模型对齐与安全

On the Role of Preference Variance in Preference Optimization

关于偏好方差在偏好优化中的作用

Jiacheng Guo, Zihao Li, Jiahao Qiu, Yue Wu, Mengdi Wang

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； Princeton University（普林斯顿大学） ； AI Lab（人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究探讨了偏好方差在偏好优化中的作用，发现高方差提示在训练大型语言模型时表现更优。

Towards Continuous Intelligence Growth: Self-Training, Continual Learning, and Dual-Scale Memory in SuperIntelliAgent

迈向持续智能增长：在SuperIntelliAgent中实现自我训练、持续学习和双尺度记忆

Jianzhe Lin, Zeyu Pan, Yun Zhu, Ruiqi Song, Jining Yang

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 SuperIntelliAgent通过自我训练和双尺度记忆实现持续智能增长，利用可训练学习者与推理验证者配对，提升偏好对齐和学习效果。

Comments 15 pages, 4 figures

TinyLLM: Evaluation and Optimization of Small Language Models for Agentic Tasks on Edge Devices

TinyLLM: 小型语言模型在边缘设备上用于代理任务的评估与优化

Mohd Ariful Haque, Fahad Rahman, Kishor Datta Gupta, Khalil Shujaee, Roy George

机构 * Department of Cyber-Physical Systems, Clark Atlanta University, USA（计算机物理系统系，Clark Atlanta大学，美国） ； Department of Computer Science and Engineering, United International University, Bangladesh（计算机科学与工程系，联合国际大学，孟加拉国） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 TinyLLM研究小型语言模型在边缘设备上执行代理任务的优化方法，通过混合策略提升准确性与效率，验证了中等规模模型在多轮任务中的优势。

Comments 8 pages, 3 figures, 4 tables

Interactive Groupwise Comparison for Reinforcement Learning from Human Feedback

基于交互式组间比较的强化学习从人类反馈中学习

Jan Kompatscher, Danqing Shi, Giovanna Varni, Tino Weinkauf, Antti Oulasvirta

机构 * Aalto University（阿尔托大学） ； University of Cambridge（剑桥大学） ； University of Trento（特伦特大学） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出交互式组间比较方法，通过可视化和主动学习提升强化学习从人类反馈中学习的奖励和策略效果。

Comments 10 pages, 8 figures in proceedings of Computer Graphics Forum

Building Domain-Specific Small Language Models via Guided Data Generation

通过引导数据生成构建领域专用小型语言模型

Aman Kumar, Ekant Muljibhai Amin, Xian Yeow Lee, Lasitha Vidyaratne, Ahmed K. Farahat, Dipanjan D. Ghosh, Yuta Koreeda, Chetan Gupta

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种通过引导数据生成构建领域专用小型语言模型的方法，结合领域适应预训练、监督微调和偏好优化，展示了在工业诊断任务中优于开源模型的性能。

Comments Accepted at Thirty-Eighth Annual Conference on Innovative Applications of Artificial Intelligence (IAAI-26)

PromptTailor: Multi-turn Intent-Aligned Prompt Synthesis for Lightweight LLMs

PromptTailor: 为轻量级大语言模型进行多轮意图对齐的提示合成

Yizhou Xu, Janet Davis

机构 * Whitman College（惠特曼学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 PromptTailor通过意图对齐的提示合成提升轻量级大语言模型的输出质量，以更少的模型调用次数实现更高的用户偏好率。

Comments EMNLP 2025 Workshop PALS. Additional note: There is a citation error on Evoke. The paper we are referring to is "Evoking critical thinking abilities in LLMs via reviewer-author prompt editing."