首页/论文/1109.0069

arXiv 1109.00692011-09cs.CL

关于判决形式的评分员间协议

Inter-rater Agreement on Sentence Formality

The Pennsylvania State University（宾夕法尼亚州立大学）

Shibamouli Lahiri, Xiaofei Lu

备注：: 5 pages, 1 figure, 1 table

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

形式是文体变异的一个重要维度。在本研究中，我们进行了一个评价者间的信度实验，以评估句子正式的五点李克特量表，并获得了良好的一致性结果，以及不同的句子类别不同的评级分布。我们还进行了难度分析，以确定我们的评级程序的瓶颈。我们的主要目标是设计一个自动评分机制，为商务级别的正式，这项研究是重要的，为此目的。

英文摘要：

Formality is one of the most important dimensions of writing style variation. In this study we conducted an inter-rater reliability experiment for assessing sentence formality on a five-point Likert scale, and obtained good agreement results as well as different rating distributions for different sentence categories. We also performed a difficulty analysis to identify the bottlenecks of our rating procedure. Our main objective is to design an automatic scoring mechanism for sentence-level formality, and this study is important for that purpose.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

SQUINKY！句子层面的正式性、信息性和含义语料库

SQUINKY! A Corpus of Sentence-level Formality, Informativeness, and Implicature

University of Michigan（密歇根大学）

我们介绍了一个语料库的7,032个句子，由人类注释者评估的正式性，信息量和含义的1-7级。语料库注释使用亚马逊机械土耳其。在所获得的判断的可靠性进行了检查，通过比较两个MTurk实验的平均评级，并与飞行员注释（对句子的正式性）在一个更受控的设置进行相关性。尽管主观性和内在的困难的注释任务，平均评级之间的相关性是相当令人鼓舞的，特别是在正式和信息。我们进一步探讨了这三个语言变量之间的相关性，体裁的评级和体裁内的相关性，与自动文体评分的兼容性，以及文档在风格方面的基本构成。到目前为止，我们的语料库是最大的商务级注释语料库发布的正式，信息量和含义。

2016-09-27cs.CL

学习一种形式感知的日语句子表示

Learning a Formality-Aware Japanese Sentence Representation

Johns Hopkins University（约翰斯·霍普金斯大学）

虽然在编码器-解码器序列到序列模型中生成中间表示的方式通常允许它们保留输入句子的语义，但可能会忽略诸如正式之类的输入特征。另一方面，翻译等下游任务将受益于使用除了语义之外还保留形式的句子表示，以便生成具有适当社交形式级别的句子-与朋友交谈与主管交谈之间的区别。我们提出了一个序列到序列的方法学习的形式意识表示为日语句子，句子生成的条件是对输入句子的原始表示，和一个侧约束，引导句子表示对保留形式信息。此外，我们建议增加句子表示与正式的学习表示，这有利于提取正式的下游任务。我们解决缺乏正式注释的平行数据，适应以前的工作程序正式分类的日语句子。实验结果表明，我们的技术不仅可以帮助解码器恢复输入句子的形式，但也略有改善输入句子语义的保存。

2023-01-17cs.CLcs.LG

基于合成监督的神经机器翻译形式控制

Controlling Neural Machine Translation Formality with Synthetic Supervision

Amazon AWS AI（亚马逊AWS人工智能）；University of Maryland（马里兰大学）

这项工作的目的是产生翻译，传达源语言内容在正式的水平，是适合特定的观众。将这个问题框架为神经序列到序列任务，理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而，在实践中，现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案，该方案通过动态推断缺失的元素来自动生成合成训练三元组，从而实现端到端训练。全面的自动和人工评估表明，我们的最佳模型通过生成更好地匹配所需正式级别的翻译，同时保留源含义，从而优于现有模型。

2019-11-28cs.CL

混合文本注释的形式风格转换

Formality Style Transfer with Hybrid Textual Annotations

Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）

正式文体转换是指在不改变句子内容的前提下，对句子的正式形式进行修改。它的挑战是缺乏大规模的并行数据。在本文中，我们提出了一个杂食模型，采取并行数据和形式分类的数据联合，以减轻数据稀疏性问题。我们经验证明了我们的方法的有效性，实现了最先进的性能，最近提出的基准数据集的正式转让。此外，我们的模型可以很容易地适应其他无监督的文本风格传输任务，如无监督的情感传输，并在三个广泛认可的基准上取得有竞争力的结果。

2019-03-15cs.CL

半监督形式风格迁移与一致性训练

Semi-Supervised Formality Style Transfer with Consistency Training

Tokyo Institute of Technology（东京工业大学）

正式风格转换是指在不改变句子意义的前提下，将非正式句子改写为正式句子。为了解决现有并行数据集的数据稀缺问题，以前的研究倾向于采用循环重构方案来利用额外的未标记数据，其中FST模型主要受益于目标端未标记句子。在这项工作中，我们提出了一个简单而有效的半监督框架，以更好地利用基于一致性训练的源端未标记句子。具体来说，我们的方法通过强制模型为其扰动版本生成类似的输出来增强从源端非正式句子获得的伪并行数据。此外，我们还实证研究了各种数据扰动方法的影响，并提出了有效的数据过滤策略来改进我们的框架。GYAFC基准测试的实验结果表明，我们的方法可以达到国家的最先进的结果，即使不到40%的并行数据。

2022-03-25cs.CL

基于语言模型判别器和互信息最大化的半监督形式风格转换

Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization

Georgia Institute of Technology（佐治亚理工学院）

形式风格转换是将非正式句子转换为语法正确的正式句子的任务，可以用于提高许多下游NLP任务的性能。在这项工作中，我们提出了一个半监督的形式风格的传输模型，利用一个基于语言模型的转换，以最大限度地提高输出句子的可能性是正式的，这使我们能够使用最大化的令牌级的条件概率进行训练。我们进一步建议最大化源和目标风格之间的互信息作为我们的训练目标，而不是最大化经常导致重复和琐碎的生成响应的规则可能性。实验表明，我们的模型在自动化指标和人类判断方面都明显优于以前的最先进基线。我们进一步将我们的模型推广到无监督的文本风格转换任务，并在两个基准情感风格转换数据集上取得了显着的改进。

2020-10-10cs.AIcs.CLcs.LG

更多相关论文收起更多论文

语篇连接词的自动预测

Automatic Prediction of Discourse Connectives

Google（谷歌）

准确预测合适的话语联系语（然而，此外，等等）是任何旨在从较短的句子和段落中构建连贯流畅的话语的系统的关键组成部分。例如，一个对话系统可能会通过从Web上检索的不同文档中提取的段落进行采样，从而组合出一个长而信息丰富的答案。我们制定了话语连接词预测的任务，并发布了一个由话语连接词分隔的2.9M句子对的数据集。然后，我们评估了人类评分员的任务难度，将最近提出的可分解注意力（DA）模型应用于该任务，并观察到自动预测器具有比人类评分员更高的F1（32 vs. 30）。尽管如此，在特定条件下，评分者仍然优于DA模型，这表明未来还有改进的空间。

2018-02-01cs.CL

预测在LLM-as-a-Judge难度评估中与人类评分者的分歧

Predicting Disagreement with Human Raters in LLM-as-a-Judge Difficulty Assessment without Using Generation-Time Probability Signals

Yo Ehara

本文提出一种无需生成时间概率信号的方法，通过构建嵌入空间预测LLM生成的难度评分与人类评分者的分歧，实验表明其在预测分歧上的AUC优于基于概率的基线方法。

2026-05-12cs.CLcs.CY

基于深度学习的文本风格迁移研究综述

A Review of Text Style Transfer using Deep Learning

Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University - Skopje（圣西里尔和美多德大学斯科普里计算机科学与工程学院）

风格是句子的一个组成部分，由一个人所用的词来表示。不同的人有不同的表达方式，然而，他们会根据社会背景、听众、对话者或场合的正式程度来调整自己的说话和写作风格。语篇风格转换是指在保持原句子意义的同时，对句子的写作风格进行调整和/或改变。本文对基于深度学习的文本风格转换方法进行了系统的综述。我们指出了深度神经网络的技术进步，这些技术进步一直是自然语言理解和生成领域当前成功背后的驱动力。文章围绕文本风格迁移过程中的两个关键阶段展开，即表示学习和新风格的句子生成。讨论强调了拟议解决方案之间的共同点和差异，以及预计将指导和促进该领域进一步研究的挑战和机遇。

2021-09-30cs.AIcs.CL

情绪评级：强度，注释信心和协议如何纠缠在一起

Emotion Ratings: How Intensity, Annotation Confidence and Agreements are Entangled

Institut für Maschinelle Sprachverarbeitung（机器语言研究所）；University of Stuttgart（斯图加特大学）

当人类判断文本的情感内容时，他们也隐含地评估这种判断的正确性，即他们的信心。我们假设人们对自己在注释任务中表现良好的自信会导致彼此之间的（不）一致。如果这是真的，置信度可以作为注释中系统差异的诊断工具。为了验证我们的假设，我们对当代美国英语语料库的一个子集进行了研究，在这个语料库中，我们要求评分员区分中性句子和情感句子，同时对他们的答案的置信度进行评分。信心结果近似于注释者之间的分歧。此外，我们发现，信心是相关的情感强度：感知更强的影响文本提示注释更确定的分类性能。这一见解与强度的建模研究有关，因为它提出了一个问题，即自动回归器或分类器是否真的能预测强度，或者更确切地说，是人类自我感知的信心。

2021-03-02cs.CL

估计主观群体评价作为改进自然语言生成的附加目标

Estimating Subjective Crowd-Evaluations as an Additional Objective to Improve Natural Language Generation

Intel Labs（英特尔实验室）；University of Potsdam（波茨坦大学）

人工评分是评价自然语言处理算法性能的最常用方法之一。类似地，通常使用人类评级器来测量由自然语言生成模型生成的句子的质量。在本文中，我们主张探索在多任务学习环境中训练语言生成模型的过程中使用主观评价。作为一个案例研究，我们使用一个群众创作的对话语料库微调六个不同的语言生成模型。其中两个模型结合了多任务学习，并使用主观评分作为明确的学习目标的一部分。对生成的对话行的人类评估显示，多任务模型生成的话语被主观地评为最典型的，最能推动对话向前发展的，最不冒犯的。基于这些有前途的第一个结果，我们讨论了未来的研究方向，将主观的人类评价纳入语言模型训练，从而保持人类用户在循环过程中的发展。

2021-04-12cs.CL