Aligning Anime Video Generation with Human Feedback
Fudan University（复旦大学）；Bilibili Inc（哔哩哔哩公司）
针对动漫视频生成中的运动失真和闪烁问题，本文构建了首个含3万标注样本的多维奖励数据集，提出AnimeReward奖励模型和GAPO优化方法，有效提升生成视频与人类偏好的对齐质量。
2025-06-24 cs.CV
ArtCrafter: Text-Image Aligning Style Transfer via Embedding Reframing
Tsinghua University（清华大学）；Tsinghua International Graduate School（清华大学国际研究生院）；Pengcheng Laboratory（鹏城实验室）；Lenovo, Inc.（联想集团）；National Cheng Kung University（国立成功大学）
针对文本引导风格迁移中平衡文本语义表达与输出多样性的挑战，提出ArtCrafter框架，通过注意力风格提取模块、文本-图像对齐增强组件及嵌入重构设计，提升风格强度、可控性和多样性。
2025-04-17 cs.AI cs.CV
AToM: Aligning Text-to-Motion Model at Event-Level with GPT-4Vision Reward
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Informatics, Xiamen University（厦门大学信息学院）
针对文本到动作模型在事件级文本描述对齐上的挑战，提出AToM框架，通过构建MotionPrefer数据集、设计GPT-4Vision标注范式及强化学习微调，显著提升事件级对齐质量。
2024-11-27 cs.CV
CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching
CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（InnoHK下属CPII机构）
针对文本到图像扩散模型的图文对齐偏差问题，提出基于图文概念匹配机制的端到端微调策略CoMat，仅用20K文本提示微调SDXL，在两个基准上显著优于基线并取得最优性能。
2024-11-27 cs.AI cs.CL cs.CV
Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
文本到图像的人物检索的目的是根据给定的文本描述查询识别目标人物。主要的挑战是学习视觉和文本形式到一个共同的潜在空间的映射。先前的工作试图通过利用单独预训练的单峰模型来提取视觉和文本特征来解决这一挑战。然而，这些方法缺乏有效匹配多模态数据所需的必要的底层对齐能力。此外，这些工作使用先验信息来探索显式的部分对齐，这可能会导致模态内信息的失真。为了缓解这些问题，我们提出了IRRA：一个跨模态的隐式关系推理和对齐框架，它学习本地视觉-文本标记之间的关系，并增强全局图像-文本匹配，而无需额外的事先监督。具体来说，我们首先设计了一个隐式关系推理模块在掩蔽语言建模范式。这实现了跨模态的交互，通过整合的视觉线索到文本标记与跨模态多模态交互编码器。其次，为了全局对齐视觉和文本嵌入，提出了相似性分布匹配，以最小化图像-文本相似性分布和归一化标签匹配分布之间的KL分歧。所提出的方法在所有三个公共数据集上都取得了新的最先进的结果，与现有方法相比，Rank-1的准确性有大约3%-9%的显着保证金。
2023-03-22 cs.CV
PCPO: Proportionate Credit Policy Optimization for Aligning Image Generation Models
KAIST（韩国科学技术院）
PCPO通过稳定的目标重构和时间步重新加权，解决图像生成模型训练中的不稳定性问题，从而提升收敛速度和图像质量。
2026-02-24 cs.AI cs.CV cs.LG
Aligning Text-to-Image Diffusion Models with Reward Backpropagation
提出 AlignProp，通过端到端奖励梯度反向传播对齐文本到图像扩散模型，利用低秩适配器和梯度检查点降低内存，实现高效微调。
2024-11-07 cs.AI cs.CV cs.LG
Multilingual Text-to-Image Person Retrieval via Bidirectional Relation Reasoning and Aligning
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Key Laboratory of New Generation Artificial Intelligence Technology & Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新 generation 人工智能技术及交叉应用重点实验室（东南大学），教育部，中国）
该研究构建多语言TIPR基准，并提出Bi-IRRA框架，通过双向隐式关系推理与多维全局对齐实现跨语言、跨模态行人检索，取得最新最优性能。
2025-10-20 cs.AI cs.CV
DreamSync: Aligning Text-to-Image Generation with Image Understanding Feedback
University of Southern California（南加州大学）；University of Washington（华盛顿大学）；Bar-Ilan University（巴伊兰大学）；Google Research（谷歌研究院）
DreamSync 提出一种无需标注数据的模型无关训练算法，利用视觉语言模型从自身生成中筛选语义对齐且美观的图像，并通过 LoRA 迭代微调，从而同时提升文生图模型的文本忠实度和美学质量。
2023-11-29 cs.AI cs.CL cs.CV
A Dense Reward View on Aligning Text-to-Image Diffusion with Preference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有文本生成图像扩散模型偏好对齐方法忽略生成序列性的问题，本文从密集奖励视角出发，将时间折扣引入DPO式无显式奖励目标，提出适配T2I生成层级的对齐方法，实验效果与强基准相当。
2024-05-12 cs.CV
Embedding an Ethical Mind: Aligning Text-to-Image Synthesis via Lightweight Value Optimization
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
针对文本到图像模型易产生有害内容的问题，提出轻量级对齐方法LiVO，通过优化即插即用的价值编码器并结合自适应价值选择，在不更新大部分模型参数的情况下显著减少有害输出并加速收敛。
2024-10-16 cs.AI cs.CV cs.CY
Aligning Diffusion Models by Optimizing Human Utility
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Panasonic AI Research（松下人工智能研究院）；Salesforce AI Research（Salesforce人工智能研究院）
Diffusion-KTO通过最大化预期人类效用对齐文本到图像扩散模型，仅需简单的每张图像二元反馈信号，无需成对偏好数据或复杂奖励模型，在人类判断和自动评估指标上优于监督微调和Diffusion-DPO。
2024-10-11 cs.CV
When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models
Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）；Afari Intelligent Drive（阿法里智能驾驶）
本文提出NUMINA框架，通过识别和引导提升文本到视频扩散模型中数字对齐的准确性，实验显示在不同模型规模上均提升了计数精度，并保持了CLIP对齐和时间一致性。
2026-04-09 cs.CV
Seeing is Believing: Aligning Prompt Rewriting with Visual Anchors for Text-to-Image Generation
Peking University（北京大学）；Tencent（腾讯）；Dalian University of Technology（大连理工大学）；Nanyang Technological University（南洋理工大学）；University of Cambridge（剑桥大学）；Zhejiang University（浙江大学）
提出FaithRewriter框架，利用多模态大模型生成中间视觉线索，结合大语言模型生成视觉锚定的增强提示，再蒸馏至小模型，以缩小用户意图与生成图像之间的差距。
2026-07-02 cs.AI cs.CV
Altogether: Image Captioning via Re-aligning Alt-text
Meta FAIR；University of Washington（华盛顿大学）；New York University（纽约大学）
本文提出 Altogether 方法，通过多轮人工标注重新对齐已有替代文本以构建富含视觉概念的图像描述训练数据，并训练描述器大规模泛化该过程，从而提升图像描述质量及下游文本到图像生成和零样本分类任务。
2024-12-28 cs.CL cs.CV
SafeText: Safe Text-to-image Models via Aligning the Text Encoder
Duke University（杜克大学）
SafeText通过微调文本编码器而非扩散模块来对齐文本到图像模型，在不影响安全提示图像质量的前提下有效防止有害图像生成，并优于六种现有对齐方法。
2025-02-28 cs.CR cs.CV
Human Preference Score: Better Aligning Text-to-Image Models with Human Preference
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清源研究院）；Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心（CPII））；Shanghai AI Laboratory（上海人工智能实验室）
针对文本生成图像模型与人类偏好对齐不佳的问题，本研究收集人类选择数据集，训练分类器并提出Human Preference Score（HPS），用其引导微调Stable Diffusion，效果优于CLIP且泛化性好，能生成更符合人类偏好的图像。
2023-08-22 cs.AI cs.CV
Asynchronous Denoising Diffusion Models for Aligning Text-to-Image Generation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
本文提出异步扩散模型，通过为不同像素分配不同时间步以改进文本到图像生成的对齐效果。
2026-02-26 cs.CV
VPO: Aligning Text-to-Video Generation Models with Prompt Optimization
The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University（清华大学对话人工智能（CoAI）小组）；Zhipu AI（智谱AI）；The Knowledge Engineering Group (KEG), Tsinghua University（清华大学知识工程小组（KEG））
针对用户输入与训练数据描述存在差距导致视频生成质量不佳的问题，提出基于三大原则的两阶段VPO提示优化框架，显著提升视频生成的安全性、对齐度与质量，且泛化性强。
2025-08-30 cs.CL cs.CV cs.LG
SweetDreamer: Aligning Geometric Priors in 2D Diffusion for Consistent Text-to-3D
Hong Kong University of Science and Technology（香港科技大学）；Light Illusions；South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
针对text-to-3D生成中的多视角不一致问题，提出通过微调2D diffusion模型生成视角特定坐标图以对齐2D几何先验与3D形状，在保留生成多样性的同时大幅提升一致性，达到85%以上的人类评估一致率。
2023-10-20 cs.CV
Harmonizing Attention: Training-free Texture-aware Geometry Transfer
DATAGRID Inc.（DATAGRID公司）；Kyoto University（京都大学）
本文提出免训练的 Harmonizing Attention 方法，通过修改扩散模型自注意力层，以纹理对齐与几何对齐双注意力机制实现跨材质的纹理感知几何迁移，无需微调模型。
2024-09-01 cs.AI cs.CV cs.MM
RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出RewardSDS，利用奖励模型的对齐分数加权噪声样本以改进分数蒸馏，并扩展为RewardVSD，在图像、编辑和3D生成任务上显著提升质量与意图对齐。
2025-03-13 cs.CV
SPATIALALIGN: Aligning Dynamic Spatial Relationships in Video Generation
College of Computing（计算学院）；Data Science, Nanyang Technological University, 50 Nanyang Avenue, Singapore 639798（数据科学，南洋理工大学，50 Nanyang Avenue，新加坡639798）
SPATIALALIGN通过引入DSR-SCORE和DPO方法，提升文本到视频生成中动态空间关系的对齐能力。
2026-02-27 cs.CV
Generalizing Alignment Paradigm of Text-to-Image Generation with Preferences through $f$-divergence Minimization
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华大学深圳国际研究生院）
该研究将文本到图像模型的对齐范式从反向KL散度推广到$f$-散度，通过梯度场分析不同散度约束的影响，发现Jensen-Shannon散度在对齐性能与生成多样性间取得最佳权衡。
2024-11-06 cs.CV
Margin-aware Preference Optimization for Aligning Diffusion Models without Reference
KAIST AI（韩国科学技术院AI）；Hugging Face；Theia Insights；Korea University（高丽大学）
本文提出MaPO，一种无需参考的扩散模型对齐方法，通过优化偏好输出与非偏好输出之间的边界，提升T2I任务的适应性能，减少训练时间并优于现有方法。
2025-12-03 cs.CV
Aligning Large Language Models through Synthetic Feedback
NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；KAIST AI（韩国科学技术院人工智能学院）；SNU AI Center（首尔国立大学人工智能中心）
提出不依赖大量人类标注和专有LLMs的合成反馈对齐学习框架，通过对比不同原始LLMs的回复进行奖励建模，并利用强化学习优化模型，最终在对齐基准和人类评估中优于近期开源模型。
2023-10-21 cs.AI cs.CL cs.LG
Towards Aligning Language Models with Textual Feedback
ETH Zürich（苏黎世联邦理工学院）；IBM Research（IBM研究院）
提出仅依赖语言建模的 ALT 方法，通过条件化文本反馈对齐语言模型，在毒性降低上优于 PPO，并以 20% 样本达到摘要任务同等性能。
2025-03-18 cs.AI cs.CL cs.LG
Automated Filtering of Human Feedback Data for Aligning Text-to-Image Diffusion Models
KAIST AI（韩国科学技术院人工智能学院）；Chungnam National University（忠南大学）
本文提出自动化数据过滤算法FiFA，通过最大化偏好边际、文本质量和多样性来优化DPO微调，显著提升训练稳定性与性能，仅用不到0.5%数据和1% GPU时长即获17%的人类偏好提升。
2025-04-02 cs.AI cs.LG
Peering Through Preferences: Unraveling Feedback Acquisition for Aligning Large Language Models
University of California Los Angeles（加利福尼亚大学洛杉矶分校）
本研究分析了大语言模型对齐中评分与排序两种稀疏反馈协议，发现两者偏好不一致率达60%，且影响模型评估，揭示评估方法对反馈协议的依赖。
2024-02-05 cs.AI cs.CL cs.LG
Efficiently Aligning Language Models with Online Natural Language Feedback
提出使用在线自然语言反馈替代可验证奖励，通过迭代优化代理奖励模型并在过优化点收集专家监督，在模糊领域高效对齐语言模型，实验表明可大幅提升专家监督的数据效率。
2026-06-02 cs.AI cs.LG
A Critical Evaluation of AI Feedback for Aligning Large Language Models
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文批判性评估了RLAIF范式，发现RL步骤的提升主要源于SFT阶段使用较弱教师模型，而非RL本身；使用强模型（如GPT-4）进行简单SFT即可超越现有RLAIF流程，并提供了机制解释与改进建议。
2024-02-19 cs.AI cs.CL cs.LG
Aligning Generative Speech Enhancement with Perceptual Feedback
Nanyang Technological University, Singapore（南洋理工大学）；Independent Researcher（独立研究者）；Northwestern Polytechnical University, China（西北工业大学）；University of Palermo, Italy（巴勒莫大学）；Tencent（腾讯）
本文提出了一种基于语言模型的语音增强方法，通过引入感知反馈和直接偏好优化，提升语音质量并建立新的感知对齐增强范式。
2026-01-18 cs.AI cs.LG eess.AS
Aligning Protein Conformation Ensemble Generation with Physical Feedback
McGill University（麦吉尔大学）；IBM Research（IBM研究院）
提出基于能量的对齐（EBA）方法，利用物理模型反馈校准生成模型以平衡构象状态，在MD系综基准上实现高质量蛋白质系综生成的最先进性能。
2025-05-30 cs.LG q-bio.BM
RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control
PKU（北京大学）；BeingBeyond；WHU（武汉大学）
针对文本生成运动物理可行性不足难部署的问题，提出RLPF框架，结合物理反馈强化学习与对齐验证模块，实现兼具物理合理性与语义对齐性的运动生成，可部署于真实人形机器人。
2025-06-15 cs.LG cs.RO
Aligning Synthetic Medical Images with Clinical Knowledge using Human Feedback
University of California, San Francisco（加州大学旧金山分校）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；University of California, Berkeley（加州大学伯克利分校）
本文提出病理学家参与循环的框架，利用人类反馈训练奖励模型并微调扩散模型，以生成临床合理的合成医学图像，显著提升保真度、多样性和实用性。
2023-06-16 cs.CV cs.LG eess.IV
Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding
Agency for Defense Development（国防发展局）；University of Michigan（密歇根大学）；POSTECH
本文提出CAFT模型，通过分层视觉语言学习原理，解决长描述中细节丰富的场景理解问题，实现图像与文本的细粒度对齐，取得六个长文本检索基准的最优性能。
2026-11-11 cs.AI cs.CV cs.LG
Unaligning Everything: Or Aligning Any Text to Any Image in Multimodal Models
Florida State University（佛罗里达州立大学）
本文提出一种基于梯度的对抗攻击方法，通过微调图像使其嵌入与任意文本匹配，在多模态模型中实现100%攻击成功率，揭示了共享嵌入空间的对齐漏洞。
2024-07-01 cs.AI cs.CL cs.CV
Aligning Transformers with Continuous Feedback via Energy Rank Alignment
Department of Chemistry Stanford University（化学系 斯坦福大学）
针对化学空间搜索中的分子生成问题，提出能量排名对齐（ERA）算法，利用显式奖励函数优化自回归策略，无需强化学习，可稳健生成具有指定性质的分子和蛋白质序列。
2025-10-22 cs.AI cs.LG physics.chem-ph
Aligning language models with human preferences
Faculty of Engineering and Informatics（工程与信息学院）；Department of Informatics（信息学系）
本论文探讨将语言模型与人类偏好对齐的多种方法，视其为贝叶斯推理，证明RLHF是分布匹配的特例，并发现预训练阶段引入人类反馈更有效。
2024-04-18 cs.CL cs.LG
Curriculum Learning for Data-Efficient Vision-Language Alignment
University of Southern California（南加州大学）
使用对比学习从头开始对齐图像和文本编码器需要大量成对的图像-文本数据。我们通过使用更少量的配对数据对齐单独预训练的语言和视觉表示模型来缓解这种需求，并使用课程学习算法来学习细粒度的视觉语言对齐。TOnICS（Ontology-Informed Contrastive Sampling）最初对图像-文本对包含各种对象的小批量进行采样，以学习对象级对齐，并逐步对所有图像-文本对包含相同对象的小批量进行采样，以学习更细粒度的上下文对齐。使用TOnICS将预训练的BERT和VinVL模型彼此对齐，在下游zero-shot图像检索上优于CLIP，同时使用不到1%的训练数据。
2022-07-29 cs.AI cs.CL cs.CV
Aligning Large Language Models via Fine-grained Supervision
UCLA（加州大学洛杉矶分校）；Amazon（亚马逊公司）；Seoul National University（首尔大学）
本文提出通过细粒度token级监督增强LLM对齐，利用标注者最小编辑构建数据集训练token级奖励模型，并应用于细粒度PPO，相比传统PPO胜率提升5.1%。
2024-06-04 cs.AI cs.CL cs.LG
SIPO: Stabilized and Improved Preference Optimization for Aligning Diffusion Models
Shanghai Science and Intelligence Institute, Shanghai, China（上海科学与智能研究所）；Fudan University, Shanghai, China（复旦大学）；Australian Institute for Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）
本研究提出SIPO框架，通过时间步感知的重要性重新加权和梯度稳定技术，解决扩散模型对齐中训练不稳定和策略偏差问题，提升了对齐效果和稳定性。
2026-05-18 cs.AI cs.LG
ALFWorld: Aligning Text and Embodied Environments for Interactive Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
给出一个简单的请求，比如把一个洗好的苹果放进厨房的冰箱里，人类可以通过想象动作序列并对它们成功的可能性、原型性和效率进行评分，而这一切都不需要动一下肌肉。一旦我们看到厨房的问题，我们可以更新我们的抽象计划，以适应场景。智能代理需要相同的能力，但现有的工作还没有提供必要的基础设施，推理抽象和具体执行。我们通过引入ALFWorld来解决这个限制，ALFWorld是一个模拟器，它使代理能够在TextWorld中学习抽象的、基于文本的策略（Litté等人，2018），然后执行ALFRED基准的目标（Shridhar等人，2020年，在丰富的视觉环境中。ALFWorld允许创建一个新的BUTLER代理，其在TextWorld中学习的抽象知识直接对应于具体的、基于视觉的动作。反过来，正如我们经验证明的那样，这比仅在视觉基础环境中进行训练更能促进代理泛化。BUTLER简单的模块化设计考虑了这个问题，使研究人员能够专注于模型，以改善管道的每一部分（语言理解、规划、导航和视觉场景理解）。
2021-03-14 cs.AI cs.CL cs.CV
Benchmarking pre-trained text embedding models in aligning built asset information
École de technologie supérieure（特可诺高等学院）
本研究通过构建源自两个建筑资产分类词典的六个数据集，对最先进文本嵌入模型在聚类、检索和重排序任务上进行基准测试，评估其对齐建筑资产信息与领域技术概念的能力，并开源相关资源以支持未来研究。
2024-11-18 cs.AI cs.CL cs.IR
Federated Learning with Feedback Alignment
Korea University（韩国大学）
FLFA通过整合反馈对齐技术，有效缓解联邦学习中的局部漂移问题，提升模型收敛性能。
2025-12-14 cs.AI cs.CV cs.LG
Aligning Language Models for Icelandic Legal Text Summarization
Department of Computer Science Reykjavik University（计算机科学系雷克雅未克大学）
本研究探讨了基于偏好的训练技术（RLHF和DPO）在提升冰岛语法律文本摘要生成中的效果，发现其能提高法律准确性但未显著改善语言整体质量，并强调了人工定性评估的重要性。
2025-04-25 cs.AI cs.CL cs.LG
Joint Wasserstein Autoencoders for Aligning Multimodal Embeddings
TU Darmstadt（达姆施塔特工业大学）
学习多模态（例如图像和文本）的联合嵌入的关键挑战之一是确保跨数据集推广的连贯的跨模态语义。我们建议通过联合高斯正则化的潜在表示来解决这个问题。基于Wasserstein自编码器（WAE）对每个域中的输入进行编码，我们将潜在嵌入强制为类似于两个域之间共享的高斯先验，确保图像和文本的编码语义表示的兼容连续性。语义对齐是通过匹配的图像-文本对的监督来实现的。为了展示我们的半监督表示的好处，我们将其应用于跨模态检索和短语本地化。由于潜在空间的语义连续性，我们不仅实现了最先进的准确性，而且在数据集之间具有更好的泛化能力。
2019-09-14 cs.CL cs.CV cs.LG
CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters
Southeast University（东南大学）；ByteDance Inc.（字节跳动公司）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），中华人民共和国教育部，中国）
提出CuMA框架，通过人口统计感知路由将冲突梯度分离到专家子空间，解决密集模型在多文化对齐中的均值崩溃问题，在WorldValuesBench等基准上取得最优性能。
2026-06-15 cs.AI cs.CL cs.LG
Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出RAPL框架，通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励，从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
GUNDAM: Aligning Large Language Models with Graph Understanding
Renmin University of China（中国人民大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有LLMs图学习研究重文本特征、轻结构理解的不足，本研究提出GUNDAM模型以增强LLMs的图结构理解与推理能力，实验证明其性能优于SOTA基线，并通过理论分析揭示了推理路径的作用。
2024-10-08 cs.AI cs.CL cs.LG
Training language models to follow instructions with human feedback
OpenAI（开放人工智能研究中心）；Anthropic（Anthropic公司）；Alignment Research Center（对齐研究中心）
使语言模型更大并不能使它们更好地遵循用户的意图。例如，大语言模型可能会生成不真实的、有害的或对用户毫无帮助的输出。换句话说，这些模型并不符合其用户。在本文中，我们展示了一种通过人工反馈进行微调，使语言模型与用户在各种任务上的意图保持一致的方法。从一组标注器编写的提示和通过OpenAI API提交的提示开始，我们收集了所需模型行为的标注器演示数据集，我们使用监督学习来微调GPT-3。然后，我们收集一个模型输出排名的数据集，我们使用它来进一步微调这个监督模型，使用基于人类反馈的强化学习。我们将生成的模型称为InstructGPT。在对我们的即时分布的人类评估中，尽管参数少了100倍，但1.3B参数InstructGPT模型的输出优于175 B GPT-3的输出。此外，InstructGPT模型在真实性方面有所改进，减少了有毒输出的生成，同时在公共NLP数据集上具有最小的性能回归。尽管InstructGPT仍然会犯一些简单的错误，但我们的研究结果表明，利用人类反馈进行微调是将语言模型与人类意图对齐的一个有希望的方向。
2022-03-04 cs.AI cs.CL cs.LG
ASTRA: Aligning Speech and Text Representations for Asr without Sampling
Google（谷歌公司）
本文提出 ASTRA 方法，通过文本注入并利用 CTC/RNNT 模型固有对齐来改进 ASR，无需采样匹配序列长度，在 FLEURS 基准上达到 SOTA 性能。
2024-06-13 cs.LG cs.SD eess.AS
Statistical Impossibility and Possibility of Aligning LLMs with Human Preferences: From Condorcet Paradox to Nash Equilibrium
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文探讨了对齐大语言模型与人类偏好的统计限制，证明在一般概率偏好模型下，康德斯循环几乎必然存在，从而表明基于奖励的方法无法完全对齐偏好。同时，研究了非奖励方法下LLM采用混合策略的条件，证明在Luce模型下，少数群体偏好得以保留的统计可能性。
2026-04-30 cs.GT cs.LG econ.TH
How Well Can Preference Optimization Generalize Under Noisy Feedback?
Department of Computer Sciences（计算机科学系）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了在噪声反馈下偏好优化的一般化能力，分析了不同噪声类型和强度对模型性能的影响，并验证了其在实际LLM训练中的有效性。
2026-01-30 cs.LG
