Combining Data-driven Supervision with Human-in-the-loop Feedback for Entity Resolution
Salesforce（赛富时）
训练数据集和生产中遇到的数据之间的分布差距是众所周知的。训练数据集通常是在固定的时间段内构建的，并通过仔细管理要标记的数据来构建。因此，训练数据集可能不包含在真实世界生产环境中可能遇到的所有可能的数据变化。我们的第一个模型的任务是构建一个实体解析系统--一个识别和整合代表同一个人的数据点的模型--我们的第一个模型表现出了明显的培训-生产性能差距。在本案例研究中，我们将讨论我们的以人为本、以数据为中心的解决方案，以缩小培训与生产性能的差异。最后，我们总结了适用于以数据为中心的学习的要点。
2021-11-20 cs.CL
Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior?
Colgate University（科尔盖特大学）
本文研究在 BabyLM 等发展合理性数据上使用课程训练神经语言模型能否改善其与人类阅读行为的一致性，发现课程虽略有助于语法知识习得，但不足以使模型预测更符合人类语言处理。
2023-11-30 cs.CL
Aligning Neural Machine Translation Models: Human Feedback in Training and Inference
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Carnegie Mellon University（卡内基梅隆大学）；Unbabel（Unbabel公司）
本文系统比较了将质量指标作为奖励模型融入机器翻译流程的多种方式，发现基于质量估计的数据过滤对发挥强化学习潜力至关重要，并证明强化学习训练与重排序技术结合可显著提升翻译质量。
2024-07-04 cs.CL
Towards Quantifiable Dialogue Coherence Evaluation
Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
对话连贯性的自动评估是开发有前途的对话系统的关键，已引起越来越多的关注。然而，现有的度量标准有两个主要的局限性：（a）它们大多是在简化的两级设置（连贯与不连贯）中训练的，而人类给出的是Likert类型的多级连贯性分数，被称为“可量化”;（b）由于在训练期间缺乏人类指导，它们预测的连贯性分数无法与实际的人类评级标准保持一致。为了解决这些局限性，我们提出了可量化的对话一致性评价（QuantiDCE），一个新的框架，旨在训练一个可量化的对话一致性度量，可以反映实际的人类评级标准。具体而言，QuantiDCE包括两个训练阶段，多级排名（MLR）预训练和知识蒸馏（KD）微调。在MLR预训练过程中，提出了一种新的MLR损失，使模型能够学习相干度的粗略判断。然后，在KD微调期间，预训练的模型被进一步微调，以仅用很少的人工注释数据来学习实际的人类评级标准。为了在有限的微调数据下也能推广泛化能力，引入了一种新的KD正则化来保留在预训练阶段学习到的知识。实验结果表明，由QuantiDCE训练的模型与人类判断的相关性比其他最先进的指标更强。
2021-07-22 cs.CL
InstructPatentGPT: Training patent language models to follow instructions with human feedback
National Yang Ming Chiao Tung University（国立阳明交通大学）；School of Law（法学院）
本研究将专利审查概念化为基于人类反馈的强化学习系统，通过三阶段训练使语言模型生成更易授权的专利权利要求，并在单GPU上验证了概念可行性。
2024-05-25 cs.CL
Leveraging Vision-Language Pre-training for Human Activity Recognition in Still Images
Department of Computing Science University of Aberdeen（计算科学系大学阿伯丁）
针对静态图像人类活动识别缺乏运动线索的问题，研究通过微调多模态CLIP模型，在285张MSCOCO标注图像上将识别准确率从从头训练CNN的41%提升至76%，验证了视觉-语言预训练对该任务的提升作用。
2025-06-16 cs.CL cs.CV
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
Anthropic（Anthropic公司）
我们应用偏好建模和基于人类反馈的强化学习（RLHF）来微调语言模型，以充当有用和无害的助手。我们发现这种对齐训练提高了几乎所有NLP评估的性能，并且与Python编码和总结等专业技能的训练完全兼容。我们探索了一种迭代的在线训练模式，其中偏好模型和强化学习策略每周更新一次，使用新鲜的人类反馈数据，有效地改进了我们的数据集和模型。最后，我们研究了RLHF训练的鲁棒性，并确定了RL奖励和策略与其初始化之间KL偏差的平方根之间的大致线性关系。除了我们的主要结果，我们进行周边分析校准，竞争的目标，并使用OOD检测，比较我们的模型与人类作家，并提供样本，从我们的模型使用提示出现在最近的相关工作。
2022-04-12 cs.CL cs.LG
Training and Evaluating with Human Label Variation: An Empirical Study
School of Computing and Information Systems, University of Melbourne（计算与信息系统学院，墨尔本大学）；Mohamed bin Zayed University of Artificial Intelligence（莫德尔·比兹·扎耶德人工智能大学）
针对人类标签变化（HLV）问题，利用模糊集理论提出可微评估指标并作为训练目标，通过6个数据集和14种方法的实证研究发现，使用分解标注或软标签训练效果最佳，且软微平均F1分数是评估HLV数据的最佳指标之一。
2025-10-13 cs.CL cs.LG
Overprotective Training Environments Fall Short at Testing Time: Let Models Contribute to Their Own Training
University of Trento（特伦托大学）
尽管取得了重要进展，但会话系统通常会生成对人类来说听起来不自然的对话。我们推测原因在于他们不同的训练和测试条件：代理人在受控的“实验室”环境中接受训练，但在“野外”进行测试。在训练过程中，他们学习根据人类对话历史生成一个话语。另一方面，在测试过程中，它们必须相互作用，因此要处理噪声数据。我们建议通过使用包含人类和机器生成的对话样本的混合批次来训练模型来填补这一空白。我们评估了GuessWhat？！上提出的方法的有效性，一种视觉参照游戏。
2021-03-30 cs.CL cs.CV
Improving Summarization with Human Edits
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Abridge AI Inc.（Abridge AI公司）
本文提出SALT，将人工编辑与模型生成文本共同纳入序列对齐似然/非似然训练，并用模仿编辑降低数据成本，在医学摘要上优于DPO。
2025-01-05 cs.AI cs.CL cs.LG
Speaking the Same Language: Matching Machine to Human Captions by Adversarial Training
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；UC Berkeley EECS（加州大学伯克利分校电气工程与计算机科学系）；Facebook AI Research（Facebook 人工智能研究院）
虽然在过去的几年里，图像描述已经取得了很大的进步，但机器和人类的字幕仍然是相当不同的。仔细观察发现，这是由于生成的单词分布，词汇量大小以及生成器对频繁字幕的强烈偏见的缺陷。此外，由于字幕任务中固有的模糊性，人类理所当然地生成多个不同的字幕，这在当今的系统中是没有考虑的。为了解决这些挑战，我们将字幕生成器的训练目标从再现地面实况字幕改为生成一组与人类生成的字幕无法区分的字幕。我们没有手工制作这样的学习目标，而是采用对抗训练结合近似Gumbel采样器来隐式地将生成的分布与人类分布相匹配。虽然我们的方法在标题的正确性方面达到了与最先进水平相当的性能，但我们生成了一组不同的标题，这些标题的偏差明显较小，并且在几个方面更好地匹配单词统计。
2017-11-06 cs.AI cs.CL cs.CV
Pre-training LLMs using human-like development data corpus
Georgia Institute of Technology（佐治亚理工学院）
本研究在BabyLM任务框架下，使用与13岁儿童接触量相近的token预训练LLMs，评估其上下文词表示学习能力，并提供了不同架构的基线及RoBERTa复现结果。
2024-01-10 cs.AI cs.CL
Multi-turn Training with Basic Human Feedback Helps Little on LLM Reasoning
Tencent Interactive Entertainment（腾讯互动娱乐）；The Hong Kong University of Science and Technology（香港理工大学）；Sun Yat-sen University（中山大学）
本研究对比单轮与多轮训练策略，发现单轮训练在推理任务上更有效，多轮训练收益有限且可能损害性能。
2025-10-27 cs.CL cs.IT cs.LG
Constrained Few-Shot Learning: Human-Like Low Sample Complexity Learning and Non-Episodic Text Classification
The University of Auckland（奥克兰大学）
针对传统情景式FSL仍需大量不相交类别标注样本的问题，本文提出CFSL任务，要求训练类样本数M≤K，并给出基于Cat2Vec与类别对比损失的方法。
2023-12-07 cs.CL cs.LG
Multilingual Twitter Sentiment Classification: The Role of Human Annotators
Jožef Stefan Institute（约瑟夫·斯特凡研究所）
Twitter情绪自动分类的局限性是什么？我们分析了大量不同语言的手动标记的推文，将其用作训练数据，并构建自动分类模型。事实证明，分类模型的质量更多地取决于训练数据的质量和大小，而不是训练模型的类型。实验结果表明，有没有统计上的显着差异的性能的顶级分类模型。我们量化的质量训练数据，通过应用各种注释协议的措施，并确定不同的数据集的弱点。我们表明，当训练集的大小足够大时，模型的性能接近注释者之间的协议。然而，定期监控自注释器和注释器间的协议是至关重要的，因为这可以改善训练数据集，从而提高模型性能。最后，我们表明，有强有力的证据表明，人类感知的情绪类（消极的，中性的，积极的）有序。
2016-05-05 cs.AI cs.CL
From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP
Department of Computer Science, University of Copenhagen, Denmark（丹麦哥本哈根大学计算机科学系）；Faculty of Law, University of Copenhagen, Denmark（丹麦哥本哈根大学法学院）；Amazon（亚马逊）；LMU Munich & Munich Center for Machine Learning (MCML)（慕尼黑大学及慕尼黑机器学习中心（MCML））
本文探讨人类标签变异在NLP后训练时代的重要性，提出将其作为内在价值自我目的进行保护，以提升模型鲁棒性和社会技术安全。
2026-04-22 cs.AI cs.CL cs.CY
Chain-of-Thought Training for Open E2E Spoken Dialogue Systems
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团）
本文提出利用思维链形式化训练开放式端到端口语对话系统，使对话训练与多模态语言模型的ASR、TTS和文本LM预训练保持一致，在仅300小时公开对话数据上实现超过1.5的ROUGE-1提升。
2025-05-31 cs.CL cs.SD eess.AS
StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models
Columbia University（哥伦比亚大学）
提出StyleTTS 2模型，通过风格扩散和结合大型语音语言模型的对抗训练，首次在单/多说话人数据集上实现人类水平的文本转语音合成。
2023-11-20 cs.AI cs.CL cs.LG
Borrowing Human Senses: Comment-Aware Self-Training for Social Media Multimodal Classification
The Hong Kong Polytechnic University（香港理工大学）
社交媒体每天都在使用成对的图像和文本创建大量的多媒体内容，迫切需要自动化各种多模态分类任务的视觉和语言理解。与一般研究的视觉语言数据相比，社交媒体帖子往往表现出更多的隐含图像-文本关系。为了更好地粘合其中的跨模态语义，我们从用户评论中捕获暗示特征，这些特征通过联合利用视觉和语言相似性来检索。之后，分类任务的探索，通过自我训练的教师和学生的框架，通常有限的标记数据尺度在现有的基准的动机。大量的实验进行了四个多模态的社会媒体基准图像文本关系分类，讽刺检测，情感分类和仇恨言论检测。结果表明，我们的方法进一步提高了以前最先进的模型的性能，这些模型不采用评论建模或自训练。
2023-03-27 cs.AI cs.CL cs.IR
