Initial investigation of an encoder-decoder end-to-end TTS framework using marginalization of monotonic hard latent alignments
National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高等研究生院大学))
端到端文本到语音(TTS)合成是一种使用单个网络将输入文本直接转换为输出声学特征的方法。端到端TTS的最新进展是由于一个关键技术称为注意机制,迄今为止提出的所有成功的方法都是基于软注意机制。然而,尽管网络结构变得越来越复杂,但具有软注意力机制的端到端TTS系统仍然可能无法学习和预测输入和输出之间的准确对齐。这可能是因为软注意力机制过于灵活。因此,我们提出了一种方法,具有更明确的,但自然的约束,适合语音信号,使对齐学习和预测的端到端的TTS系统更强大。所提出的系统,与受约束的对齐方案借用段到段神经转导(SSNT),直接计算的联合概率的声学特征和对齐给定的输入文本。通过考虑语音的性质,对齐被设计为硬的和单调增加的,并且在训练期间将其作为潜在变量并被边缘化。在预测期间,可以从概率分布生成对准和声学特征两者。我们的方法的优点是,我们可以简化许多模块的软注意力,我们可以训练使用一个单一的似然函数的端到端的TTS模型。据我们所知,我们的方法是第一个没有软注意机制的端到端TTS。
2019-08-30 cs.CL cs.SD eess.AS
Best-of-$N$ TTS Evaluation is Confounded by ASR Family Alignment
KAIST(韩国科学技术院)
研究发现最佳N选语音合成评估受ASR家族对齐影响,同家族验证器-评估器对效果更好。提出两种跨家族排名集成方法,能降低平均词错误率,建议交叉评估器三角测量作为默认报告实践。
2026-08-06 cs.AI cs.CL cs.LG
From Pareto to Preference: Personalized Test-Time Scaling via Amortized Agentic Policy Discovery
Beijing Institute of Technology(北京理工大学);Xiaohongshu Inc(小红书公司)
本文提出PersonTTS框架,通过摊销智能体策略发现重用搜索经验,实现多维度用户需求下的个性化测试时扩展,在AIME和HMMT上显著提升联合需求满足率。
2026-10-08 cs.AI cs.CL
TTS-Transducer: End-to-End Speech Synthesis with Neural Transducer
NVIDIA(英伟达)
本研究针对音频编解码器多码本多标记预测的挑战,提出TTS-Transducer端到端语音合成架构,融合神经转换器(免显式时长预测)与非自回归Transformer,实现高效语音生成,性能优于当代系统。
2025-01-10 cs.AI cs.CL cs.SD
VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出了VARA-TTS,一种非自回归(non-AR)的文本到语音(TTS)模型,使用一个非常深的变分自编码器(VDVAE)与剩余注意力机制,它细化的文本到声学对齐逐层。层次隐变量与不同的时间分辨率从VDVAE被用作查询的剩余注意力模块。通过利用来自前一个注意层的粗略全局对齐作为额外的输入,下面的注意层可以产生对齐的细化版本。这分摊了在多个注意层之间学习文本到声学对齐的负担,并且在鲁棒性方面优于仅使用单个注意层。由联合训练的说话速度预测器计算话语级说话速度因子,该预测器将粗层的平均池化潜变量作为输入,以确定推断时的声学帧的数量。实验结果表明,VARA-TTS实现略差的语音质量的AR对应Tacotron 2,但数量级的速度在推理;和优于一个类似的非AR模型,BVAE-TTS,在语音质量方面。
2021-02-12 cs.CL cs.SD eess.AS
EmphTTS: an emphasis-control TTS with reinforcement learning
Aalto University(阿尔托大学)
针对语音合成中重音可控性挑战,提出EmphTTS系统,采用GRPO强化学习优化时长预测器,实现词级重音控制,显著提升重音表现与主观偏好。
2026-10-08 cs.CL eess.AS
X2-NativeCursor: Native-Token Text Progress Tracking for Incremental-Text Streaming Codec TTS
X Square Robot
提出X2-NativeCursor,一种轻量级观察器,利用原生语音词元在波形解码前跟踪增量TTS的文本进度,不改变生成器,显著降低对齐误差和实时因子。
2026-09-10 cs.CL
Not All Preferences are What You Need for Post-Training: Selective Alignment Strategy for Preference Optimization
Peking University(北京大学)
针对LLMs后训练对齐中token贡献不均的问题,提出利用策略与参考模型的token级对数概率差异聚焦高影响token的Selective-DPO方法,有效降低开销并提升对齐保真度,实验证明其优于标准DPO和蒸馏基线。
2025-07-10 cs.AI cs.CL
Effect of choice of probability distribution, randomness, and search methods for alignment modeling in sequence-to-sequence text-to-speech synthesis using hard alignment
1 National Institute of Informatics, Japan 2 SOKENDAI, Japan
序列到序列的文本转语音(TTS)主要是基于软注意的方法。近年来,基于硬注意力的方法被提出来防止致命的对准错误,但其离散对准的采样方法研究得很少。本研究探讨了在基于硬比对的序列到序列TTS方法(称为SSNT-TTS)中,用于比对转换建模的采样方法和概率分布的各种组合。我们澄清了离散变量的常见抽样方法,包括贪婪搜索,波束搜索,并在一个更一般的方式从伯努利分布的随机抽样。此外,我们还引入了二进制混凝土分布来更好地模拟离散变量。收听测试结果表明,确定性搜索优于随机搜索,二进制混凝土分布对自然对齐过渡的随机搜索具有较好的鲁棒性。
2019-10-28 cs.CL cs.SD eess.AS
HUI-Audio-Corpus-German: A high quality TTS dataset
Hof University of Applied Sciences(霍夫应用技术大学)
互联网上音频数据的可用性不断增加,导致了大量的数据集用于基于神经网络的文本到语音应用程序的开发和训练。语音质量差异很大、采样率低、缺乏文本规范化以及音频样本与相应转录句子的不利对齐仍然限制了在此任务上训练的深度神经网络的性能。此外,德语等语言的数据资源仍然非常有限。我们介绍了“HUI-Audio-Corpus-German”,这是一个用于TTS引擎的大型开源数据集,使用处理管道创建,可以生成高质量的音频到转录对齐,并减少创建所需的手动工作。
2021-06-11 cs.CL cs.SD eess.AS
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab(腾讯AI实验室)
本研究提出无需文本音频配对的无监督TTS声学模型UTTS,基于C-DSVAE主干与解纠缠表示学习,通过对齐转换实现零样本多说话人合成,经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
From 1,000,000 Users to Every User: Scaling Up Personalized Preference for User-level Alignment
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Ant Group(蚂蚁集团)
针对现有LLM对齐忽视用户偏好多样性的问题,本文提出可扩展个性化对齐框架,含偏好空间与角色表征,并构建AlignX数据集及两种对齐方法,在四个基准上平均提升17.06%准确率。
2025-05-22 cs.AI cs.CL
Uncovering Factor Level Preferences to Improve Human-Model Alignment
KAIST(韩国科学技术院);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Georgia Institute of Technology(佐治亚理工学院)
针对现有大语言模型对齐评估粗粒度、缺乏可解释性的问题,提出PROFILE框架开展因子层面偏好对齐分析,发现模型生成与判别任务的对齐差距,可用于提升人机对齐效果。
2025-11-15 cs.AI cs.CL
REAR: Test-time Preference Realignment through Reward Decomposition
Nanyang Technological University(新加坡国立大学);Nanjing University(南京大学)
提出REAR框架,通过将奖励函数分解为问题相关和偏好相关两部分,推导出可线性组合的对齐奖励,实现无需训练的测试时偏好重对齐,适用于多种任务。
2026-06-29 cs.CL cs.LG
Preference Orchestrator: Prompt-Aware Multi-Objective Alignment for Large Language Models
School of Computer Science and Engineering(计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications(新一代人工智能技术及其交叉应用关键实验室);Ministry of Education(教育部)
针对大型语言模型多目标对齐依赖手动偏好权重导致用户负担重、训练效率低的问题,提出PRO框架,通过轻量级偏好适配器自动推断提示特定权重,理论分析与实验验证其优于现有方法。
2025-11-03 cs.AI cs.CL
Disentangling Preference Representation and Text Generation for Efficient Individual Preference Alignment
Beihang University(北京航空航天大学);Beijing Institute for GAI(北京通用人工智能研究院);Meituan Inc.(美团公司);Ping An Technology(平安科技);University of Manchester(曼彻斯特大学)
本文提出一种解耦偏好表示与文本生成的个体偏好对齐范式,在保持或提升对齐质量的同时,将每个新个体偏好的额外训练时间减少80%到90%。
2024-12-30 cs.AI cs.CL
Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出对齐阶段假设,通过理论和实证分析,揭示了静态与策略偏好数据在LM对齐中的效果差异,并提出算法识别对齐阶段边界。
2026-01-27 cs.AI cs.CL
Rewarding Better Thinking for LLM Preference Alignment
研究大语言模型偏好对齐问题,提出思维清单奖励(TCR)方法,将偏好对转化为思维清单评估推理轨迹,引入EMA残差公式减少与结果监督重叠,实验证明该方法能提升对齐性能。
2026-07-23 cs.AI cs.CL
Preference Data Selection for Mitigating the Alignment Tax in Large Language Models
Microsoft Research Asia(微软亚洲研究院)
本文提出BALIGN策略,通过筛选偏好数据的三个关键特征,缓解大语言模型对齐税,在保留通用能力的同时提升对齐效果,达到最优帕累托前沿。
2026-08-26 cs.AI cs.CL
DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis
本文提出 DLLM-TTS 框架,将 TTS 建模为基于 X-Codec2 的条件块离散扩散,通过块内掩码扩散与并行预测实现高效语音生成,在 Seed-TTS-eval 基准上取得良好性能,兼具实用性与数据效率。
2026-08-04 cs.AI cs.CL
Self-supervised Attribute-aware Dynamic Preference Ranking Alignment
University of Science and Technology of China(中国科学技术大学)
针对现有方法依赖昂贵人工 pairwise 比较不适用于列表场景及人类偏好受多因素影响导致决策不一致的问题,提出自监督属性感知动态偏好排序模型 SeAdpra,通过 APDF 量化偏好差异并动态确定对齐顺序,在多个数据集上表现优异。
2025-02-15 cs.AI cs.CL
Length-Aware Rotary Position Embedding for Text-Speech Alignment
Supertone, Inc.(Supertone公司)
本文提出长度感知旋转位置编码(LARoPE),通过长度归一化索引计算相对距离以改进文本-语音对齐,在收敛速度、对齐准确度、长语音稳定性和零样本 TTS 基准上均优于 RoPE。
2025-09-14 cs.AI cs.CL cs.SD
Language Chain in Alignment: Cross-lingual Ranking Preference Optimization
Korea University(高丽大学)
针对大语言模型对齐依赖英语偏好数据导致其他语言性能欠佳的问题,提出CRPO框架,通过层级结构联合优化语言内与跨语言偏好,在多语言实验中性能优于标准方法。
2026-08-28 cs.AI cs.CL
Multi-Faceted Self-Consistent Preference Alignment for Query Rewriting in Conversational Search
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出MSPA-CQR方法,通过多维度自一致偏好对齐数据生成多样化查询,结合前缀引导的多维偏好优化,提升对话搜索中查询重写的效率与效果。
2026-04-08 cs.AI cs.CL
Text-to-speech synthesis based on latent variable conversion using diffusion probabilistic model and variational autoencoder
Nagoya university(名古屋大学)
文本转语音合成(TTS)是将文本转换成语音的任务。推动TTS的两个因素是概率模型和潜在表征学习的进步。我们提出了一种基于扩散概率模型和变分自动编码器(VAE)的潜在变量转换的TTS方法。在我们的TTS方法中,我们使用基于VAE的波形模型,从文本预测波形模型中潜变量分布的扩散模型,以及学习文本和语音潜序列之间对齐的对齐模型。我们的方法集成了扩散与VAE通过建模的均值和方差参数与扩散,其中目标分布是由近似从VAE。这个潜在变量转换框架潜在地使我们能够灵活地结合各种潜在特征提取器。我们的实验表明,我们的方法是强大的语言标签与穷人的拼写和对齐错误。
2022-12-16 cs.CL eess.AS stat.ML
Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment
University of Oxford(牛津大学);Southeast University(东南大学);University of Sydney(悉尼大学)
本文区分偏好对齐与行为对齐,证明偏好对齐可能降低模型的人类相似性,形成图灵测试差距,并提出人类相似性应作为独立对齐维度。
2026-09-23 cs.AI cs.CL cs.LG
Towards High-Quality Neural TTS for Low-Resource Languages by Learning Compact Speech Representations
Xiaohongshu(小红书)
本文旨在通过使用紧凑的语音表示减少训练数据的要求,以提高低资源的TTS。训练多级多码本(MSMC)VQ-GAN以学习表示MSMCR,并将其解码为波形。随后,我们训练多阶段预测器来预测文本中的MSMCR,用于TTS合成。此外,我们通过利用更多的音频来优化训练策略,以便更好地学习低资源语言的MSMCR。该方法利用说话人相似度度量从其他语言中选取音频样本来扩充训练集,并应用迁移学习来提高训练质量。在MOS测试中,所提出的系统在标准和低资源场景中显着优于FastSpeech和VITS,显示出较低的数据要求。所提出的训练策略有效地增强了波形重构的MSMCR。它进一步提高了TTS的性能,在偏好测试中赢得了77%的选票,用于只有15分钟配对数据的低资源TTS。
2022-10-27 cs.CL cs.SD eess.AS
MixDPO: Modeling Preference Strength for Pluralistic Alignment
Northeastern University(东北大学);Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
MixDPO通过建模偏好强度差异,提升多样的偏好对齐性能,同时保持子群体偏好,适用于高异质性场景。
2026-01-07 cs.AI cs.CL cs.LG
LifeAlign: Lifelong Alignment for Large Language Models with Memory-Augmented Focalized Preference Optimization
本文提出LifeAlign,一种通过记忆增强的聚焦偏好优化实现终身对齐的方法,解决大型语言模型在连续学习任务中保持偏好对齐和知识保留的问题。
2026-04-08 cs.AI cs.CL cs.LG
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架,通过偏好引导优化实现扩散文本到语音模型的情感对齐生成,提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment
Korea Advanced Institute of Science and Technology(韩国科学技术院);Yonsei University(延世大学)
提出SPA框架,利用少量人类标注数据和LLM的logits提取偏好标签进行迭代自标注,并结合噪声感知算法,仅用3.3%真实标签即实现了高效的LLM对齐。
2025-03-04 cs.AI cs.CL cs.LG
DSPA: Dynamic SAE Steering for Data-Efficient Preference Alignment
Carnegie Mellon University(卡内基梅隆大学)
DSPA通过在推理阶段动态调整稀疏自编码器的提示条件,提升数据效率的偏好对齐,同时在多个基准测试中表现优异。
2026-09-09 cs.AI cs.CL cs.LG
Reinforcement Learning with Reference-Based Rewards for Language Model Reasoning and Alignment
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出RefAlign算法,利用采样生成与参考答案间的相似度(如BERTScore)作为替代奖励,无需二元偏好数据或奖励模型即可实现通用语言模型对齐,并在安全、置信度等场景下取得与现有方法相当的性能。
2026-11-19 cs.AI cs.CL cs.LG
TODO: Enhancing LLM Alignment with Ternary Preferences
Meituan Inc.(美团公司);Beihang University(北京航空航天大学);University of Surrey(萨里大学)
针对二元偏好模型难以处理噪声和平局的问题,提出三元偏好对齐算法TODO,通过引入支持平局的TOBT模型改进偏好表示,在多项基准上显著提升了LLM的对齐性能。
2025-03-29 cs.AI cs.CL cs.IR
ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
Department of Artificial Intelligence, Korea University(韩国大学人工智能系)
提出ImmersiveTTS模型,通过多模态扩散Transformer和领域特定表示对齐,实现与环境音频自然融合的文本到语音生成。
2026-05-29 cs.AI cs.CL eess.AS
Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game
Tencent AI Lab(腾讯人工智能实验室)
提出对抗偏好优化(APO)框架,通过LLM与奖励模型的极小极大博弈交替更新,无需额外标注即可适应分布偏移,显著提升对齐基线的有用性与无害性。
2024-06-03 cs.AI cs.CL cs.LG
Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
提出DPA-RAG通用框架,通过外部重排序器偏好对齐与内部预对齐阶段,实现检索增强生成中LLM多样化知识偏好的双重对齐,在四个知识密集型QA数据集上优于基线。
2024-07-18 cs.AI cs.CL cs.LG
AlignTTS: Efficient Feed-Forward Text-to-Speech System without Explicit Alignment
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对高效率和性能,我们提出了AlignTTS并行预测梅尔频谱。AlignTTS基于前馈Transformer,它从字符序列中生成Mel谱,每个字符的持续时间由持续时间预测器确定,它不采用Transformer TTS中的注意力机制将文本与Mel谱对齐,而是采用动态规划的方法将对齐损失考虑到训练中所有可能的对齐。在LJSpeech数据集上的实验表明,该模型不仅在平均选项得分(MOS)上优于Transformer TTS 0.03,而且在效率上比实时的快50倍以上。
2020-03-04 cs.CL cs.SD eess.AS
Impact of Preference Noise on the Alignment Performance of Generative Language Models
Google Research(谷歌研究院)
本研究针对生成式语言模型对齐中20-40%偏好数据存在噪声的问题,提出可控噪声注入框架,系统验证噪声率对对齐性能的强负面影响,并证实基于置信度的数据过滤可有效缓解特定类型噪声的干扰。
2024-04-15 cs.CL
Robust and Unbounded Length Generalization in Autoregressive Transformer-Based Text-to-Speech
Google DeepMind(谷歌DeepMind)
本文提出Very Attentive Tacotron,通过可学习的对齐机制为交叉注意力提供相对位置信息,解决了自回归Transformer TTS在长语音上的重复、丢词和长度泛化问题,同时保持与T5基线相当的自然度。
2025-03-11 cs.CL cs.LG cs.SD
Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment
Ghent University(根特大学);imec;Contextual AI;Stanford University(斯坦福大学)
针对大语言模型对齐中因模型、数据与目标交互导致的欠指定问题,提出对比偏好数据构建方法CLAIR和可控稳定的对齐目标APO,显著提升Llama-3-8B-Instruct性能,缩小与GPT4-turbo的差距。
2024-09-14 cs.AI cs.CL cs.LG
Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models
Alibaba-NTU Global e-Sustainability CorpLab(阿里-国立大学全球可持续发展公司实验室);Nanyang Technological University(南洋理工大学);College of Computing and Data Science(计算与数据科学学院);Alibaba(阿里);Alibaba Inc.(阿里公司)
本文提出了一种基于文本情绪与显式语音情绪不一致程度的动态尺度的跨模态一致性引导分类器免费引导方法(CCG-CFG),通过使用文本情绪替代dropout条件,并采用硬样本挖掘策略蒸馏CCG-CFG引导信号,从而提升TTS模型的情绪对齐能力。在五个情感语料库和两个TTS基准测试中,该方法在CosyVoice2上实现了情绪识别准确率提升12%,主观评分提升10%,优于基线模型HierSpeech++、Qwen3-TTS和原始CosyVoice2,同时保持可懂性、自然度和高质量。
2026-06-11 cs.CL
TTS-PRISM: A Perceptual Reasoning and Interpretable Speech Model for Fine-Grained Diagnosis
Tsinghua University(清华大学);MiLM Plus, Xiaomi Inc.(小鹏科技MiLM Plus);The University of Tokyo(东京大学)
本文提出TTS-PRISM模型,通过多维诊断框架和可解释合成流程,实现对语音生成中细粒度声学问题的诊断与解释,实验表明其在人感知对齐上优于通用模型。
2026-04-24 cs.CL eess.AS
PMoL: Parameter Efficient MoE for Preference Mixing of LLM Alignment
Harbin Institute of Technology(哈尔滨工业大学);Beijing Normal University - Hong Kong Baptist University United International College(北京师范大学-香港浸会大学联合国际学院);Qilu University of Technology(齐鲁工业大学)
针对RLHF难以处理多冲突偏好导致大模型对齐效果下降的问题,提出结合MoE与LoRA的参数高效架构PMoL,通过专家组软损失实现偏好混合,以更低训练成本取得更优的多偏好对齐效果。
2024-11-02 cs.CL
Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent Inc.(腾讯公司)
针对多目标对齐中的“对齐税”和现有单向技术灵活性差的问题,提出可控偏好优化(CPO),通过显式指定不同目标的偏好分数引导模型生成响应,有效减轻对齐税并提升多目标对齐性能。
2024-10-11 cs.AI cs.CL cs.SY
E3 TTS: Easy End-to-End Diffusion-based Text to Speech
Google(谷歌公司)
本文提出 E3 TTS,一种无需中间表示和对齐信息的端到端扩散文本到语音模型,可直接从纯文本生成高保真音频,并支持零样本编辑等任务。
2023-11-02 cs.CL cs.LG cs.SD
Alignment Data Map for Efficient Preference Data Selection and Diagnosis
Sogang University(ソガン大学);Upstage(アップステージ);Korea University(韩国大学)
本文提出对齐数据图,通过评估偏好数据的对齐分数,选择高质量低变异性样本,提升对齐效果并提高标注准确性。
2026-04-20 cs.CL
From Script to Drama: An Agentic Framework for Controllable Multi-Speaker Dialogue TTS
Northwestern Polytechnical University(西北工业大学)
该论文提出一个基于批评驱动迭代细化的智能体框架,用于可控多说话人对话语音合成,通过语句级和场景级批评路由至编辑或重合成,在双语基准上优于直接模型和仅重生成方案。
2026-09-29 cs.CL cs.SD eess.AS
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
提出UR-BERT,一种基于罗马化转录的TTS编码器,通过统一书写系统为罗马化表示,结合语音标记预测目标,在495种语言上实现高效多语言TTS,优于现有基线并泛化到未见语言。
2026-06-12 cs.CL cs.SD
A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models
University of California, San Diego(加利福尼亚大学圣地亚哥分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Adobe Research(奥多比研究院);The Ohio State University(俄亥俄州立大学);Allen Institute for AI(艾伦人工智能研究所)
本文综述了大语言模型个性化偏好对齐技术,提出涵盖训练时、推理时和用户建模方法的分类体系,并分析了各方法优劣、评估基准与开放问题。
2025-04-09 cs.CL
ContraSolver: Self-Alignment of Language Models by Resolving Internal Preference Contradictions
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出 ContraSolver 算法,通过构建偏好图并解决内部偏好矛盾,实现大型语言模型的无监督自对齐,在多个生成任务上显著提升模型性能。
2024-06-13 cs.CL
PACIFIC: Can LLMs Discern the Psychometric Traits Influencing Your Preferences? Personality-Driven Preference Alignment in LLMs
University of California, Irvine(加州大学尔湾分校)
研究通过实验发现,基于用户性格特征的偏好对齐可显著提升个性化问答准确性,提出PACIFIC数据集及自动检索框架,用于改进LLM回答生成。
2026-09-14 cs.CL
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT;Amazon(亚马逊)
本文提出DQO方法,用预训练翻译质量估计模型替代人类偏好,并将DPO式对齐用于NMT,仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL
PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型偏好优化存在的视觉不敏感性问题,提出PEA-DPO框架,利用视觉偏好信号缓解该问题,提升多模态对齐效果并减少幻觉。
2026-08-21 cs.AI cs.CL cs.CV