Rethinking Text Attribute Transfer: A Lexical Analysis
Columbia University（哥伦比亚大学）；Bytedance AI Lab（字节跳动人工智能实验室）
文本属性迁移是指对某些语言属性（如情感、风格、作者等）的修改。并将它们从一种类型转换为另一种类型。在本文中，我们的目的是分析和解释在转移过程中发生了什么变化。我们首先观察到，在许多现有的模型和数据集中，句子中的某些单词在确定句子属性类方面发挥着重要作用。这些单词称为\textit{the Pivot Words}。基于这些主元词，我们提出了一个词汇分析框架\textit{the Pivot Analysis}，定量分析这些词在文本属性分类和迁移中的作用。我们将此框架应用于现有的数据集和模型，并表明：（1）主元词是句子属性分类的强特征;（2）要改变句子的属性，许多数据集只需要改变某些主元词;（3）因此，许多迁移模型只执行词汇级别的修改，而不改变更高级别的句子结构。我们的工作提供了一个深入的了解语言属性转移，并进一步确定了未来的要求和挑战，这项任务\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}。
2019-09-26 cs.CL cs.LG
BomJi at SemEval-2018 Task 10: Combining Vector-, Pattern- and Graph-based Information to Identify Discriminative Attributes
Massachussetts Institute of Technology（麻省理工学院）；Aix-Marseille University（艾克斯-马赛大学）
本文介绍了BomJi，一个有监督的系统，用于捕获单词对中的判别属性（例如黄色作为香蕉对西瓜的判别属性）。该系统依赖于一个XGB分类器，该分类器经过精心设计的基于图形、模式和词嵌入的特征训练。它参加了SemEval- 2018任务10捕获区别性属性，获得了0：73的F1分数，在26个参与系统中排名第二。
2018-04-30 cs.CL
Faithful Target Attribute Prediction in Neural Machine Translation
Amazon AI（亚马逊人工智能（Amazon AI））
NMT中使用的训练数据很少针对特定属性进行控制，例如大小写或性别，这可能会导致翻译错误。我们认为，同时预测目标词和属性是一种有效的方法，以确保翻译更忠实于训练数据分布相对于这些属性。在升级的输入翻译和性别预测两个任务上的实验结果表明，该策略有助于反映测试中的训练数据分布。它还有助于在升级的输入翻译任务上进行数据增强。
2021-09-24 cs.CL
English Out-of-Vocabulary Lexical Evaluation Task
Texas A&M University（得克萨斯农工大学）；Southern Methodist University（南卫理公会大学）；Wuhan University of Technology（武汉理工大学）
与以前的未知名词标注任务不同，这是第一次尝试专注于不需要任何先验知识的词汇外（OOV）词汇评估任务。OOV单词是只出现在测试样本中的单词。任务的目标是为OOV词汇分类和预测提供解决方案。这些任务要求注释者根据相关上下文推断出OOV词的属性。然后，我们利用无监督的词嵌入方法，如Word2Vec和Word2GM进行分类任务和OOV词属性预测任务的基线实验。
2019-05-03 cs.CL
Identifying Intensity of the Structure and Content in Tweets and the Discriminative Power of Attributes in Context with Referential Translation Machines
AI Enablement（AI赋能部门）；Huawei Türkiye R&D Center（华为土耳其研发中心）
本文提出用堆叠RTM将属性—词语相似性及多语言推文情感强度预测建模为MTPP，在任务10与任务1上均取得良好效果。
2024-07-06 cs.AI cs.CL
Calculated attributes of synonym sets
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心应用数学研究所）
本文提出的形式化的目标是尽可能地将同义词概念的理论语言学问题和通常基于经验直觉的不合理因素的计算机语言学方法结合起来。利用词向量表示方法，提出了同义词集的几何建模方法。词嵌入是基于神经网络（Skip-gram，CBOW）的，由T.米科洛夫标准余弦相似度被用作词向量之间的距离。介绍了同义集合词的几个几何特征：同义集合内部、同义集合词的秩和中心性。这些概念旨在选择最重要的同义词集单词，即意义最接近同义词集意义的单词。一些实验提出的概念，根据RusVectores资源，表示。有关这项工作的简要说明，请参见幻灯片https://goo.gl/K82Fei
2018-03-05 cs.CL cs.IR
Important Attribute Identification in Knowledge Graph
Alibaba Group（阿里巴巴集团）
知识图谱（KG）由实体及其描述、属性以及实体之间的关系组成，在各种自然语言处理任务中得到越来越多的应用。在像Wikidata这样的典型知识图谱中，实体通常有大量的属性，但很难知道哪些是重要的。在从信息检索到自然语言生成的各种应用中，属性的重要性可以是有价值的信息。在本文中，我们提出了一个通用的方法，使用外部用户生成的文本数据来评估一个实体的属性的相对重要性。更具体地说，我们使用词/子词嵌入技术将外部文本数据与实体的属性名称和值进行匹配，并根据其匹配的内聚性对属性进行排名。据我们所知，这是第一个基于向量的语义匹配的重要属性识别的工作，我们的方法优于以往的传统方法。我们还将检测到的重要属性的结果应用到语言生成任务中;与以前生成的文本相比，新方法生成了更多定制和信息丰富的消息。
2018-10-12 cs.CL
Identifying and Explaining Discriminative Attributes
University of Manchester（曼彻斯特大学）
识别一个词的意思的中心是什么以及是什么将它与其他词区分开来是一项基本的自然语言推理任务。本文描述了一个显式的词向量表示模型（WVM），以支持鉴别属性的识别。本文的一个核心贡献是定量和定性比较分析不同类型的数据源和知识库的建设可解释和明确的WVM：（i）知识图谱建立从字典定义，（ii）实体属性关系图来自图像和（iii）常识知识图谱。使用详细的定量和定性分析，我们证明了这些数据源具有互补的语义方面，支持创建明确的语义向量空间。显式向量空间使用判别属性识别任务进行评估，显示出与任务中最先进的系统相当的性能（F1得分= 0.69），同时提供完整的模型透明度和可解释性。
2019-09-05 cs.AI cs.CL
Word Alignment-Based Evaluation of Uniform Meaning Representations
Charles University Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics (ÚFAL)（查理大学数学物理学院形式与应用语言学研究所（ÚFAL））
本文提出基于词对齐的统一意义表示比较方法，通过分析词对齐关系提高语义表示比较的直观性和可解释性，避免了smatch的NP难搜索问题。
2026-03-27 cs.CL
Political Depolarization of News Articles Using Attribute-aware Word Embeddings
Dartmouth College（达特茅斯学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
美国的政治两极分化正在加剧。这种两极分化对公共领域产生了负面影响，助长了意识形态回音室的形成。在本文中，我们专注于解决导致这种极性的因素之一，极化媒体。我们介绍一个框架去极化新闻文章。给定一篇关于某个主题的具有特定意识形态倾向的文章（例如，自由派或保守派），框架首先检测文章中的极性语言，然后生成用中性表达替换极性语言的新文章。为了检测极性词，我们训练了一个多属性感知的词嵌入模型，该模型感知36万篇完整长度的媒体文章上的意识形态和主题。然后，对于文本生成，我们提出了一种新的算法称为文本退火去极化算法（TADA）。TADA从词嵌入模型中检索中性表达，不仅减少了意识形态的极性，而且在保持语法正确性的同时保留了文本的原始论点。我们评估我们的框架，通过比较我们的模型在两种模式下，全自动和半自动，99个故事，跨越11个主题的去极化输出。根据161名测试人员的反馈，我们的框架成功地在半自动模式下对90.1%的段落进行了去极化，在全自动模式下对78.3%的段落进行了去极化。此外，81.2%的测试者认为非极性内容信息保存良好，79%的测试者认为去极性不会损害语义正确性，当他们比较原始文本和去极性文本时。我们的工作表明，数据驱动的方法可以帮助定位政治极性，并有助于文章的去极化。
2021-04-19 cs.AI cs.CL
Compositional Approaches for Representing Relations Between Words: A Comparative Study
The University of Liverpool（利物浦大学）
识别词（或实体）之间存在的关系对于各种自然语言处理任务（诸如，关系搜索、名词修饰语分类和类比检测）是重要的。从语料库中提取词与词共现的模式，并为每个词对分配一个模式频率向量，是表示词对之间关系的一种流行方法。尽管这种方法很简单，但它存在数据稀疏性，信息可扩展性和语言创造性的问题，因为该模型无法处理语料库中以前未见过的单词对。相比之下，用于表示单词之间的关系的合成方法通过使用每个单独单词的属性来间接地组成两个单词之间的共同关系的表示来克服这些问题。本研究的目的是比较不同的操作创建关系表征的词级表示。我们调查的组合方法的性能，通过测量的关系相似性，使用几个基准数据集的词类比。此外，我们评估了不同的关系表示在知识库完成任务。
2017-09-04 cs.CL
Causal ATE Mitigates Unintended Bias in Controlled Text Generation
IISc（印度科学学院）；IBM Research（IBM研究院）
本文提出利用因果平均处理效应（Causal ATE）方法消除语言模型属性控制中由伪相关引起的非预期偏差，并证明其在毒性缓解任务中能有效解决去毒后针对受保护群体的无意识偏差问题。
2024-02-16 cs.CL
Rotate King to get Queen: Word Relationships as Orthogonal Transformations in Embedding Space
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
词嵌入的一个显著特性是词关系可以作为线性子结构存在于嵌入空间中。例如，$\textit{gender}$对应于$\vec{\textit{woman}} - \vec{\textit{man}}$和$\vec{\textit{queen}} - \vec{\textit{king}}$。这反过来又允许用算术来解决单词类比：$\vec{\textit{king}} - \vec{\textit{man}} + \vec{\textit{woman}} \approx \vec{\textit{queen}}$。这个属性值得注意，因为它表明在词嵌入上训练的模型可以很容易地学习几何翻译等关系。然而，没有证据表明模型$\textit{exclusively}$以这种方式表示关系。我们记录了下游模型可能学习这些关系的另一种方式：正交和线性变换。例如，给定$\textit{gender}$的平移向量，我们可以找到表示旋转和反射的正交矩阵$R$，使得$R(\vec{\textit{king}}) \approx \vec{\textit{queen}}$和$R(\vec{\textit{man}}) \approx \vec{\textit{woman}}$。使用正交变换的类比推理几乎与使用向量算术一样精确;使用线性变换比两者都精确。我们的研究结果表明，这些转换可以很好地表示词的关系作为翻译向量…
2019-09-05 cs.CL
A Unified Framework for Pun Generation with Humor Principles
University of California, Los Angeles（加州大学洛杉矶分校）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
我们提出了一个统一的框架来生成谐音双关语和同形双关语，以解决现有作品中的分裂。具体而言，我们将双关语的三个语言属性的语言模型：歧义，独特性和惊喜。我们的框架由三个部分组成：1）上下文单词/短语选择器，以促进上述属性，2）在非双关语句子上训练的生成模型，将上下文单词/短语纳入生成输出，以及3）标签预测器，学习双关语的结构，用于在推理时引导生成模型。对这两种双关语类型的评估结果表明，我们的模型在强基线上的有效性。
2022-10-24 cs.CL
ADEPT: A DEbiasing PrompT Framework
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
ADEPT通过提示调优和流形学习启发的训练准则，在去除预训练语言模型偏见的同时保持其表示能力，并在多个基准上取得竞争性结果。
2025-05-24 cs.CL
Controllable Text-to-Image Generation
University of Oxford（牛津大学）
在本文中，我们提出了一种新的可控的文本到图像的生成对抗网络（ControlGAN），它可以有效地合成高质量的图像，并根据自然语言描述控制部分图像生成。为了实现这一目标，我们引入了一个词级空间和通道的注意力驱动的生成器，可以解开不同的视觉属性，并允许模型专注于生成和操纵对应于最相关的单词的子区域。此外，提出了一个字级的监督反馈提供细粒度的监督反馈，通过相关的话与图像区域，促进训练一个有效的生成器，能够操纵特定的视觉属性，而不影响其他内容的生成。此外，感知损失被用来减少图像生成中的随机性，并鼓励生成器操纵修改文本中所需的特定属性。在基准数据集上的大量实验表明，我们的方法优于现有的最先进的，并且能够有效地操纵合成图像使用自然语言描述。代码可在https://github.com/mrlibw/ControlGAN上获得。
2019-12-19 cs.CL cs.CV cs.LG
Reinterpreting 'the Company a Word Keeps': Towards Explainable and Ontologically Grounded Language Models
Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究所）
本文针对LLM不可解释且在内涵、时间和情态推理中易出错的问题，提出将其自下而上的逆向工程策略迁移至符号框架，以构建可解释、语言无关且本体论根基稳固的语言模型。
2024-06-06 cs.AI cs.CL cs.LG
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
China Mobile Science and Technology（中国移动科学技术）；Beijing Institute of Technology（北京理工大学）
提出UniSAE统一框架，通过离散音素后验图（DPPG）表示语音内容，支持从子音素到词级的说话人、情感和内容编辑，并采用扩散解码器生成语音。
2026-07-01 cs.AI cs.CL cs.SD
Language-Independent Sentiment Analysis Using Subjectivity and Positional Information
Sofia University “St Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德斯基”）；National University of Singapore（新加坡国立大学）
我们描述了一种新的语言独立的方法来确定极性，积极或消极的，作者的意见在自然语言文本中的特定主题的任务。特别地，基于属性、单个单词或单词二元语法的位置和它们主观的可能性，将权重分配给属性、单个单词或单词二元语法。每个属性的主观性估计在两个步骤的过程中，首先是主观的概率计算包含属性的每个句子，然后这些概率被用来改变属性的极性分类的权重。在电影评论的标准数据集上的评估结果显示出89.85%的分类准确率，这与之前发表的最佳结果相媲美，该结果适用于不使用额外语言信息或外部资源的系统。
2019-11-28 cs.CL cs.IR cs.LG
A Predictive Model of Digital Information Engagement: Forecasting User Engagement With English Words by Incorporating Cognitive Biases, Computational Linguistics and Natural Language Processing
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；Google（谷歌公司）
本研究提出READ模型，结合认知偏差、计算语言学和自然语言处理预测数字信息参与度，通过大规模调查验证，以84%准确率区分同义词参与度，具有跨领域应用潜力。
2023-07-26 cs.CL cs.HC cs.LG
Don't CLAP: Are Music-Text Models Bag-of-Words?
Georgia Institute of Technology（佐治亚理工学院）
本研究通过属性交换扰动测试，发现CLAP等音乐-文本模型无法区分改变含义的标题扰动，其表示接近词袋，缺乏细粒度音乐语义绑定能力。
2026-09-28 cs.CL cs.SD eess.AS
Learning Attitudes and Attributes from Multi-Aspect Reviews
Stanford（斯坦福大学）
大多数在线评论由纯文本反馈和单个数字评分组成。然而，产品和意见有多个方面，了解有助于用户评级的“方面”可能有助于我们更好地了解他们的个人偏好。例如，用户对有声读物的印象可能取决于故事和叙述者等方面，了解他们对这些方面的看法可能有助于我们推荐更好的产品。在本文中，我们建立模型的评级系统中，这样的尺寸是明确的，在这个意义上说，用户离开单独的评级为产品的每个方面。通过引入由500万篇评论组成的新语料库，这些评论被分为三到六个方面，我们在三个预测任务上评估了我们的模型：首先，我们使用我们的模型来揭示评论的哪些部分讨论了哪些方面。其次，我们使用我们的模型来总结评论，这对我们来说意味着找到最能解释用户评分的句子。最后，由于方面评级在我们考虑的许多数据集中是可选的，我们使用我们的模型来恢复用户评估中丢失的评级。我们的模型与现有小规模数据集上的最先进方法相匹配，同时扩展到我们介绍的真实世界数据集。此外，我们的模型能够“解开”内容和情感词：我们自动学习指示特定方面的内容词以及指示特定评级的特定方面的情感词。
2012-10-31 cs.CL cs.IR cs.LG
On the Emergence of Linear Analogies in Word Embeddings
Google DeepMind（谷歌DeepMind）；Johns Hopkins & EPFL（约翰霍普金斯大学与EPFL）
本文提出理论生成模型，以二元语义属性定义单词并推导共现概率，解析地解释了词嵌入中线性类比结构的涌现及其四个观测性质，且与真实数据吻合。
2025-10-23 cond-mat.dis-nn cs.CL cs.LG
