大模型对齐与安全

RLHFSpec: Breaking the Efficiency Bottleneck in RLHF Training via Adaptive Drafting

RLHFSpec: 通过自适应草稿打破RLHF训练的效率瓶颈

Siqi Wang, Hailong Yang, Junjie Zhu, Xuezhu Wang, Yufan Xu, Depei Qian

专题命中 偏好对齐 ：RLHF(title,abstract)；分类 cs.LG

AI总结 RLHFSpec通过自适应草稿策略和高效样本再分配，提升RLHF训练效率，缓解生成瓶颈，提高整体性能。

Textual Self-attention Network: Test-Time Preference Optimization through Textual Gradient-based Attention

文本自注意力网络：通过基于文本的梯度注意力进行测试时偏好优化

Shibing Mo, Haoyang Ruan, Kai Wu, Jing Liu

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TSAN，一种无需参数更新的测试时偏好优化方法，通过文本梯度空间实现多候选响应的系统分析与综合，提升输出质量。

Comments AAAI2026

SUMFORU: An LLM-Based Review Summarization Framework for Personalized Purchase Decision Support

SUMFORU: 一种基于LLM的个性化购买决策支持的评论摘要框架

Yuming Feng, Xinrui Jiang

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 SUMFORU通过可调节的多元对齐方法，实现个性化购买决策支持，结合高质量数据管道和两阶段对齐流程，提升摘要的一致性、基础性和偏好对齐性能。

Comments Code available at https://github.com/Harry20030331/SumForU