Moving Other Way: Exploring Word Mover Distance Extensions
Yandex（俄罗斯搜索引擎公司雅虎（注：Yandex是俄罗斯的搜索引擎公司，常见中文名是“俄罗斯搜索引擎公司雅虎”））；Higher School of Economics（高等经济学院）
词移动距离（WMD）是一种流行的两个文本的语义相似性度量。这份立场文件研究了大规模毁灭性武器的几种可能扩展。我们的实验与语料库中的词的频率作为加权因子和词向量空间的几何形状。我们验证可能的扩展大规模杀伤性武器的六个文件分类数据集。一些建议的扩展表现出更好的结果，在k-最近邻分类错误比WMD。
2022-02-08 cs.CL
Exploring Safety-Utility Trade-Offs in Personalized Language Models
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本研究揭示了大型语言模型在个性化过程中存在的安全性-实用性权衡偏差，通过多维度评估量化该偏差，并针对开源与API模型提出基于偏好调优和提示防御的缓解策略。
2025-02-11 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia（西波希米亚大学）；NTIS—New Technologies for the Information Society（NTIS—新信息技术学会）
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了，但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为，捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务，检查语法，形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验，并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
MORPHEUS: Modeling Role from Personalized Dialogue History by Exploring and Utilizing Latent Space
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；AI Lab, China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司AI实验室）
本文提出MORPHEUS框架，通过人物设定码本和角色后验分布在潜在空间中建模角色，以三阶段训练实现无外部角色数据的个性化对话生成，并在中英文数据集上验证其效果。
2024-07-02 cs.CL
Exploring Metaphorical Senses and Word Representations for Identifying Metonyms
Carnegie Mellon University（卡内基梅隆大学）
借代是一个具有比喻意义的词，类似于隐喻。由于转喻与隐喻密切相关，我们将成功用于隐喻识别的特征应用到检测转喻的任务中。在ACL SemEval 2007任务8数据与黄金标准的转喻注释，我们的系统实现了86.45%的准确率的位置转喻。代码可以在GitHub上找到。
2015-08-19 cs.CL
Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots
Wangxuan Institute of Computer Technology（王选计算机技术研究所）；Center for Data Science（数据科学中心）；Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）；Peking University（北京大学）；Soochow University（苏州大学）；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Renmin University of China（中国人民大学）
现有的多轮语境-反应匹配方法主要集中在获得多层次、多维度的表征以及语境话语与反应之间更好的交互。然而，在真实对话场景中，响应候选是否合适不仅取决于给定的对话上下文，还取决于其他背景，例如，措辞习惯、用户特定的对话历史内容。为了填补这些最新的方法和现实世界的应用之间的差距，我们将用户特定的对话历史的响应选择，并提出了一个个性化的混合匹配网络（PHMN）。我们的贡献是两方面的：1）我们的模型从用户特定的对话历史中提取个性化的措辞行为作为额外的匹配信息; 2）我们对上下文-响应话语进行混合表示学习，并显式地引入定制的注意力机制来从上下文-响应交互中提取重要信息，以提高匹配的准确性。我们在两个具有用户标识的大型数据集上评估我们的模型，即，个性化Ubuntu对话语料库（P-Ubuntu）和个性化微博数据集（P-Weibo）。实验结果证实，我们的方法显着优于几个强大的模型相结合的个性化注意，措辞行为，和混合表示学习。
2021-03-17 cs.CL
JeSemE: A Website for Exploring Diachronic Changes in Word Meaning and Emotion
Graduate School ‘The Romantic Model’（“浪漫主义模式”研究生院）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
我们在这里介绍了一个大大扩展版本的JeSemE，一个交互式网站，用于可视化地探索计算得出的时变信息的词义和词汇的情绪，从五个大的历时文本语料库组装。JeSemE是专为（数字）人文学科的学者设计的，作为查阅手动编译的替代方案，印刷字典以获取此类信息（如果有的话）。这个工具独特地结合了最先进的分布式语义与人类情感的细微差别模型，我们认为这两个信息流有利于人文文本的数据驱动解释。
2020-12-18 cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
一个词和它的描述，或者一个词和它的嵌入之间的关系是什么？描述和嵌入都是词的语义表征。但是，在这些表征中保留了来自原始词的哪些信息呢？或者更重要的是，这两种表征共享了关于一个词的哪些信息？定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量，以人类可理解的方式表达单词的含义-作为字典定义。相反，反向词典任务探索直接从定义预测词嵌入的能力。在本文中，通过处理这两个任务，我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统，并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Exploring automatic word sense disambiguation with decision lists and the Web
由于知识获取的瓶颈，监督学习是词义消歧的最有效的范例。在本文中，我们采取了两个公开可用的语料库和一个额外的语料库自动从Web上获得的决策列表的性能进行了深入的研究，使用细粒度的高度多义的意义在WordNet。决策列表显示了一个多功能的国家的最先进的技术。实验表明，除其他事实外，SemCor可以是一个可接受的（0.7精度多义词）的起点，为所有的词系统。在DSO语料库上的结果表明，对于一些高度多义词，0.7的精确度似乎是目前最先进的限制。另一方面，独立构建的手写标记语料库是不相互有用的，从Web上自动获取的语料库是失败的。
2000-10-17 cs.CL
How Can Context Help? Exploring Joint Retrieval of Passage and Personalized Context
IBM Research AI（IBM研究院人工智能部门）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对个性化上下文融入文档对话系统研究不足的问题，提出上下文感知段落检索任务，构建专用数据集并提出PCAS方法，实验证明其在段落检索和相关上下文识别上均优于基线，可为该方向研究提供支撑。
2023-08-26 cs.AI cs.CL cs.IR
CLaC at SemEval-2016 Task 11: Exploring linguistic and psycho-linguistic Features for Complex Word Identification
Concordia University（康考迪亚大学）
本文描述了由CLaC-EDLK团队部署到“SemEval 2016，复杂词识别任务”的系统。任务的目标是确定给定上下文中的给定单词是“简单”还是“复杂”。我们的系统依赖于语言特征和认知复杂性。我们使用了几种监督模型，但随机森林模型优于其他模型。总体而言，我们的最佳配置在任务中获得了68.8%的G分数，在45个系统中排名第21位。
2017-09-08 cs.CL
Exploring phrase-compositionality in skip-gram models
在本文中，我们介绍了一个变化的跳跃语法模型，共同学习分布式词向量表示和他们的方式组成，以形成短语嵌入。特别是，我们提出了一个学习过程，采用了一个短语组合功能，可以捕捉我们想要如何组成短语向量，从他们的组成词向量。我们的实验表明，改进的单词和短语的相似性任务，以及句法任务，如依存句法分析使用建议的联合模型。
2016-07-21 cs.CL
Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文利用独立成分分析（ICA）分解词嵌入，发现其独立成分可表示可组合的语义特征，并提出用大型语言模型自动执行单词入侵者测试，以低成本量化向量可解释性。
2024-09-04 cs.CL
Exploring text datasets by visualizing relevant words
Technische Universität Berlin（柏林工业大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希赫兹研究所）；Korea University（高丽大学）
在使用新数据集时，在应用任何高级机器学习算法之前，首先探索并熟悉它是很重要的。然而，据我们所知，不存在快速和可靠地洞察所选文档的内容的工具，这些文档与属于不同类别的其他文档的区别在于什么。在本文中，我们建议从一组文本中提取“相关词”，这些文本总结了属于某个类别的文档的内容（或在未标记数据集的情况下发现的聚类），并将它们可视化在词云中，以便一眼就可以对显着特征进行调查。我们比较了三种方法提取相关的单词，并通过提供科学出版物数据集中包含的类的概述以及通过发现最近的《纽约时报》文章片段中的热门话题来展示所产生的单词云的有用性。
2017-07-17 cs.CL
My Words Imply Your Opinion: Reader Agent-based Propagation Enhancement for Personalized Implicit Emotion Analysis
School of Computer and Information Technology, Shanxi University, China（山西大学计算机与信息学院）；Institute of Automation, Chinese Academy of Science, China（中国科学院自动化研究所）；Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education, Shanxi University, China（教育部计算智能与中文信息处理重点实验室）；Joint Laboratory of Tourism Big Data in Shanxi Province, China（山西省旅游大数据联合实验室）
针对个性化隐式情感分析忽视读者影响的问题，提出RAPPIE模型，利用大语言模型模拟读者反馈并构建角色感知多视图图学习，在两个新数据集上显著优于基线。
2025-05-22 cs.CL
Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming
Purdue University（普渡大学）；University of Chicago（芝加哥大学）
在自然语言处理中，被训练来估计上下文中的单词概率的模型已经变得无处不在。这些模型如何使用上下文中的词汇线索来告知他们的单词概率？为了回答这个问题，我们提出了一个案例研究，分析了预先训练的BERT模型与语义启动的测试。使用英语词汇刺激，显示在人类启动，我们发现，BERT也显示“启动”，预测一个词的概率更大时，上下文包括一个相关的词与一个无关的。这种影响随着上下文提供的信息量的增加而减少。后续分析表明，随着上下文信息量的增加，BERT越来越多地被相关的启动词分散注意力，相关词的概率越来越低。我们的研究结果强调了在这些模型中研究单词预测时考虑上下文约束效应的重要性，并强调了与人类处理的可能相似之处。
2020-10-06 cs.CL
From meaning to perception -- exploring the space between word and odor perception embeddings
University of Copenhagen（哥本哈根大学）
在本文中，我们建议使用Word 2 vec算法，以获得气味感知嵌入（或气味嵌入），只使用公开的香水描述。这些嵌入除了显示出彼此之间有意义的相似关系外，还显示出与各自的词嵌入具有一些共享信息。这些嵌入的意义表明，美学可能会提供足够的约束，在非随机组合的数据上使用分布式语义驱动的算法。此外，它们为气味分类和香水分析提供了新的方法。我们还采用了嵌入，试图了解香水的美学性质，基于真实和随机生成的香水之间的差异。在另一个试验性实验中，我们探索了词嵌入空间和气味感知嵌入空间之间映射的可能性，通过在共享词汇上拟合回归量，然后预测没有先验相关气味的词的气味感知嵌入，例如夜晚或天空。
2022-03-19 cs.CL
Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy
CiTIUS – Research Center in Intelligent Technologies（CiTIUS——智能技术研究中心）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出了一个多语种的研究，在上下文中的词义表征。我们评估的能力，静态和上下文模型，以充分代表不同的词汇语义关系，如同音异义和同义。为此，我们创建了一个新的多语言数据集，使我们能够对多个因素进行受控评估，例如周围环境的影响或单词之间的重叠，传达相同或不同的含义。通过对四种情景的系统评估表明，基于Transformers的最佳单语模型可以充分消除上下文中的同音异义词。然而，由于它们严重依赖于上下文，这些模型无法表示在相似句子中出现的具有不同含义的单词。实验用加利西亚语、葡萄牙语、英语和西班牙语进行，数据集（有3,000多个评估项目）和新模型都随本研究免费发布。
2021-06-29 cs.CL
Exploring Distantly-Labeled Rationales in Neural Network Models
Peking University（北京大学）
近年来的研究试图将人类的各种理论整合到神经网络中以提高模型的性能，但很少有人关注理论的质量。现有的方法大多将模型的关注点完全、均匀地分配给距离较远的理性词，而忽略了潜在的重要非理性词，也没有区分不同理性词的重要性。在本文中，我们提出了两个新的辅助损失函数，以更好地利用远距离标记的理由，这鼓励模型保持对标记理由（PIN）以外的重要词的关注，并减少对无用理由（NoIR）的冗余训练。两个典型的分类任务的实验表明，我们提出的方法可以推动一个分类模型，有效地学习关键线索，从非完美的理由，同时保持其重点扩散到其他未标记的重要词的能力，从而显着优于现有的方法。
2021-06-03 cs.CL
Exploring sentence informativeness
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎-萨克雷大学）；Société Générale（法国兴业银行）
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量，我们执行一组句子的手动注释。我们的结论是，这两种措施对应于不同的概念的信息。然而，我们的实验表明，使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
NPA: Neural News Recommendation with Personalized Attention
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；USTC（中国科学技术大学）；Peking University（北京大学）
新闻推荐对于帮助用户发现感兴趣的新闻、缓解信息过载具有重要意义。不同的用户通常具有不同的兴趣，并且同一用户可以具有各种兴趣。因此，不同的用户可以点击关注不同方面的同一新闻文章。本文提出了一种具有个性化注意力的神经网络新闻推荐模型。我们的方法的核心是一个新闻表示模型和用户表示模型。在新闻表示模型中，我们使用CNN网络来学习基于标题的新闻文章的隐藏表示。在用户表示模型中，我们根据用户点击新闻文章的表示来学习用户的表示。由于不同的词和不同的新闻文章可能有不同的信息量代表新闻和用户，我们建议应用词和新闻级别的注意力机制，以帮助我们的模型参加重要的词和新闻文章。此外，同一篇新闻文章和同一个词对于不同的用户可能有不同的信息量。因此，我们提出了一个个性化的注意力网络，利用嵌入的用户ID生成查询向量的单词和新闻级的注意力。在MSN新闻的真实新闻推荐数据集上进行了大量的实验，实验结果验证了本文方法在新闻推荐上的有效性。
2019-07-12 cs.CL cs.IR
Compositional Demographic Word Embeddings
University of Michigan（密歇根大学）
词嵌入通常来源于包含来自许多个体的文本的语料库，因此导致通用表示而不是个体个性化表示。虽然个性化嵌入可以用于提高语言模型性能和其他语言处理任务，但它们只能为具有大量纵向数据的人计算，而新用户则不是这种情况。我们提出了一种新形式的个性化词嵌入，其使用从用户的全部或部分人口统计信息（即，性别、年龄、地点、宗教）。我们发现，由此产生的人口统计意识的单词表示优于通用的单词表示的两个任务的英语：语言建模和词的关联。我们进一步探讨了可用属性的数量和它们的相对有效性之间的权衡，并讨论了使用它们的伦理影响。
2020-10-29 cs.AI cs.CL cs.LG
An Ensemble Approach to Personalized Real Time Predictive Writing for Experts
Intuit AI（Intuit人工智能研究院）
本研究结合大语言模型、马尔可夫模型与字符级模型构建端到端个性化实时预测写作系统，经Intuit数据微调后适配金融场景，延迟低、数据需求少，已为QBLive专家节省超百万次击键，可快速集成至各类写作产品。
2023-08-25 cs.CL
Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models
Peking University（北京大学）
最近的研究揭示了自然语言处理（NLP）模型的安全威胁，称为后门攻击。受害者模型可以在干净的样本上保持竞争性能，而在插入特定触发词的样本上表现异常。以前的后门攻击方法通常假设攻击者具有一定程度的数据知识，无论是用户将使用的数据集还是类似任务的代理数据集，以实现数据投毒过程。然而，在本文中，我们发现可以通过修改单个词嵌入向量来以无数据的方式破解模型，而在干净的样本上几乎没有牺牲准确性。在情感分析和配对分类任务上的实验结果表明，该方法具有更高的效率和更高的隐蔽性。我们希望这项工作可以提高人们对隐藏在NLP模型嵌入层中的这种关键安全风险的认识。我们的代码可在https://github.com/lancopku/Embedding-Poisoning上获得。
2021-03-29 cs.CL
NRPA: Neural Recommendation with Personalized Attention
Tianjin University（天津大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
现有的基于评论的推荐方法通常使用相同的模型来从用户对项目发布的评论中学习所有用户/项目的表示。然而，不同的用户有不同的偏好，不同的项目有不同的特点。因此，相同的词或类似的评论对于不同的用户和项目可能具有不同的信息量。在本文中，我们提出了一种具有个性化注意力的神经推荐方法，以从评论中学习用户和项目的个性化表示。我们使用评论编码器从单词中学习评论的表示，使用用户/项目编码器从评论中学习用户或项目的表示。我们提出了一个个性化的注意力模型，并将其应用到评论和用户/项目编码器，以选择不同的重要的话和评论，为不同的用户/项目。在五个数据集上的实验验证了该方法可以有效地提高神经推荐的性能。
2019-05-29 cs.CL cs.IR cs.LG
Now It Sounds Like You: Learning Personalized Vocabulary On Device
Meta Reality Labs（元现实实验室）；FAIR, Meta（元研究院）
本文提出一种名为OOV expansion的新技术，通过引入个性化OOV adapter从中心模型转移知识并学习个性化词汇嵌入，有效解决了设备端闭集词汇语言模型无法处理用户特定词表外词汇的问题，在最小化内存和延迟影响下显著提升了模型准确率。
2024-02-13 cs.AI cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University（罗格斯大学）
虽然词向量表征的重要性质已被广泛研究，但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中，我们调查在何种程度上常用的句子向量表示空间，以及反映某些类型的语义。我们提出了一些计划，以诱导评估数据，词汇类比数据的基础上，以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法，包括基于BERT风格的上下文嵌入。我们发现，不同的模型有很大的不同，在他们的能力，以反映这种不确定性。
2020-03-09 cs.CL
From Review to Rating: Exploring Dependency Measures for Text Classification
Queensland University of Technology（昆士兰科技大学）
存在各种文本分析技术，其试图从文本中发现非结构化信息。在这项工作中，我们将探索使用统计依赖措施的文本分类，表示文本作为词向量。学生的满意度得分在3点量表和他们的自由文本评论写的大学科目作为数据集。我们比较了两种文本表示：频率词表示和词向量的词频关系，发现词向量提供了更高的准确性。然而，这些词向量具有大量的特征，这减轻了计算复杂性的负担。因此，我们探索了使用非线性依赖性措施的特征选择，最大限度地提高文本评论和相应的分数之间的依赖性。我们对学生满意度数据集的定量和定性分析表明，我们的方法实现了与完整特征向量相当的准确性，同时在测试中快了一个数量级。这些文本分析和特征缩减技术可以用于其他文本数据应用，例如情感分析。
2017-09-04 cs.CL
Words Like Knives: Backstory-Personalized Modeling and Detection of Violent Communication
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（人工智能研究院）
本文基于非暴力沟通理论构建PersonaConflicts Corpus，研究关系背景故事对人类和LLMs冲突检测的影响，发现背景故事显著影响人类感知而模型难以有效利用，并持续高估信息的积极感受，强调个性化对LLMs作为沟通调解者的重要性。
2025-08-22 cs.CL
LCP-RIT at SemEval-2021 Task 1: Exploring Linguistic Features for Lexical Complexity Prediction
Rochester Institute of Technology（罗切斯特理工学院）
本文描述了LCP-RIT团队提交的SemEval-2021任务1：词汇复杂度预测（LCP）。任务组织者为参与者提供了CompLex的增强版本（Shardlow等人，2020），一个英语多域数据集，其中上下文中的单词使用五点李克特量表就其复杂性进行注释。我们的系统使用逻辑回归和广泛的语言特征（例如心理语言学特征，n元语法，词频，POS标签）来预测该数据集中单个单词的复杂性。我们分析了不同的语言特征在分类性能的影响，我们评估的结果，平均绝对误差，均方误差，皮尔逊相关性，斯皮尔曼相关性。
2021-05-18 cs.CL
Federated Marginal Personalization for ASR Rescoring
Facebook AI（Facebook人工智能）
我们介绍了联邦边缘个性化（FMP），这是一种使用联邦学习（FL）在私人设备上持续更新个性化神经网络语言模型（NNLM）的新方法。FMP不是对个人数据微调NNLM的参数，而是定期估计单词的全局和个性化边缘分布，并通过特定于每个单词的适应因子调整NNLM的概率。我们提出的方法可以克服联邦微调的局限性，并有效地学习设备上的个性化NNLM。我们研究了FMP在二次通过ASR再评分任务中的应用。在两个语音评估数据集上的实验显示出适度的字出错率（WER）降低。我们还表明，FMP可以提供合理的隐私，只有一个微不足道的成本在语音识别的准确性。
2020-12-01 cs.CL stat.ML
Exploring Fine-Tuned Embeddings that Model Intensifiers for Emotion Analysis
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；University of Stuttgart（斯图加特大学）
像“有点惊讶”、“完全震惊”或“一点也不震惊”这样的形容词短语没有被当前公开的最先进的情绪分类和强度预测系统正确地处理，这些系统使用占主导地位的非上下文化的词嵌入作为输入。基于这一发现，我们分析了这些系统所使用的嵌入在处理这种情况下，他们的能力之间的差异。此外，我们认为，情感词的上下文中的增强需要特殊的处理，建立情感极性分类，但不是更细粒度的情感预测。为了解决这个问题，我们分析了不同方面的后处理管道，丰富了这些短语的单词表示。这包括在短语层面和子词层面上扩展语义空间，然后对情感词汇进行改造。我们使用A La Carte和Bag-of-Substrings扩展来评估这些步骤的影响，这些扩展基于预训练的GloVe，Word 2 vec和fastText嵌入，针对包含我们的焦点短语的推文的强度注释的众包语料库。我们表明，基于fastText的模型不会从处理这些特定的短语中获益。对于Word 2 vec嵌入，我们证明了我们的后处理管道在密集填充增强器的新型数据集上将结果提高了8%。
2019-04-05 cs.CL
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine（洛林大学）
“经典”词嵌入，如Word 2 Vec，已被证明可以根据词的分布特性捕获词的语义。然而，它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系，如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系，但不能直接捕捉这些词的组合属性。据我们所知，最近的研究主要集中在表示学习上，它可以增强一个学习者和另一个学习者的优势。在这项工作中，我们开始探索另一种方法，使用上下文和KB嵌入联合在同一水平上，并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型，并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础，朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
Explicit v.s. Implicit Memory: Exploring Multi-hop Complex Reasoning Over Personalized Information
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；National University of Singapore（新加坡国立大学）
本文提出多跳个性化推理任务及数据集，系统比较显式与隐式记忆方法，并提出混合方法 HybridMem，以提升大语言模型智能体在个性化信息上的多跳复杂推理能力。
2025-08-18 cs.AI cs.CL cs.IR
One Chatbot Per Person: Creating Personalized Chatbots based on Implicit User Profiles
Renmin University of China（中国人民大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Key Laboratory of Data Engineering and Knowledge Engineering, MOE（教育部数据工程与知识工程重点实验室）；Université de Montréal（蒙特利尔大学）
个性化聊天机器人专注于赋予聊天机器人一致的个性，以表现得像真实用户一样，提供更多信息的响应，并进一步充当个人助理。现有的个性化方法试图将几个文本描述作为显式的用户简档。然而，这种显式配置文件的获取是昂贵和耗时的，因此对于大规模的现实世界的应用是不切实际的。此外，受限的预定义简档忽略了真实用户的语言行为，并且不能随着用户兴趣的改变而自动更新。在本文中，我们提出了从大规模用户对话历史中自动学习隐式用户简档，以构建个性化聊天机器人。具体而言，利用Transformer在语言理解方面的优势，我们训练个性化的语言模型，以根据用户的历史响应构建通用的用户简档。为了突出对输入帖子的相关历史响应，我们进一步建立了历史后响应对的键值记忆网络，并构建了动态的帖子感知用户简档。动态配置文件主要描述用户在历史中对类似帖子的响应以及如何响应。为了明确地利用用户的常用词，我们设计了一个个性化的解码器，融合两种解码策略，包括从通用词汇表中生成一个词和从用户的个性化词汇表中复制一个词。在两个真实数据集上的实验表明，与现有的方法相比，我们的模型有显着的改善。我们的代码可在https://github.com/zhengyima/DHAP上获得
2021-09-02 cs.AI cs.CL
Tell me what I need to know: Exploring LLM-based (Personalized) Abstractive Multi-Source Meeting Summarization
University of Göttingen（哥廷根大学）；Mercedes-Benz AG（梅赛德斯-奔驰公司）
提出三阶段 LLM 多源会议摘要框架，融合补充材料并按参与者特征个性化，显著提升摘要相关性与信息量，同时评估多模型性能—成本权衡。
2024-10-18 cs.AI cs.CL
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP（圣保罗大学数学与计算机科学研究所）
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展，也不可互换，这使得它们不适合规范化用户生成内容（UGC）。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中，我们提出了一种技术的基础上分布式表示的话（或词嵌入）。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式，以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点，我们提出了一个完全无监督的，可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论，优于目前可用的工具，巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Personalized Neural Embeddings for Collaborative Filtering with Text
Hong Kong University of Science and Technology（香港科技大学）；Department of Computer Science and Engineering（计算机科学与工程系）
协同过滤是推荐系统的核心技术。传统的CF方法利用用户-项目关系（例如，点击、喜欢和观看），因此它们遭受数据稀疏性问题。项目通常与非结构化文本相关联，例如文章摘要和产品评论。我们开发了一个个性化神经嵌入（PNE）框架，以无缝地利用交互和单词。我们学习这样的嵌入用户，项目和单词联合，并预测用户的喜好项目的基础上，这些学习的表示。PNE通过行为因素和语义因素两个方面来估计用户喜欢某个项目的概率。在两个真实世界的数据集上，PNE在三个指标方面表现出比四个最先进的基线更好的性能。我们还表明，PNE学习有意义的词嵌入的可视化。
2019-03-19 cs.AI cs.CL cs.IR
The Dark Patterns of Personalized Persuasion in Large Language Models: Exposing Persuasive Linguistic Features for Big Five Personality Traits in LLMs Responses
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
本研究识别出13项影响大五人格的语言特征，分析了19个LLMs如何根据提示中的人格线索调整说服性语言，揭示了其生成影响心理和福祉内容的潜力。
2024-11-12 cs.AI cs.CL
Exploring Personalized Health Support through Data-Driven, Theory-Guided LLMs: A Case Study in Sleep Health
Weill Cornell Medicine, \ University New York NY USA；Weill Cornell Medicine, \ University
本研究提出HealthGuru，一种数据驱动、理论引导的LLM聊天机器人，通过多智能体框架和情境多臂老虎机提供个性化睡眠建议，实地实验表明其能改善睡眠指标并提升用户动机。
2025-08-04 cs.CL cs.HC
Media of Langue: The Interface for Exploring Word Translation Network/Space
The University of Tokyo（东京大学）
本文提出 Word Translation Network 及探索界面 Media of Langue，支持多语言词语义配置与词典信息查询，并发布覆盖七个语言对的网络应用。
2024-10-26 cs.CL cs.HC
Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal
University of Maryland（马里兰大学）；Nanyang Technological University（南洋理工大学）
本研究通过三个假设（低分辨率、语义相似词区分、低频词概率准确性）解释了语言模型概率在预测处理努力上优于完形填空数据的原因。
2026-05-26 cs.CL
Personalization for BERT-based Discriminative Speech Recognition Rescoring
Amazon Alexa（亚马逊Alexa）
针对端到端语音识别中的个性化内容识别难题，本文比较地名词典、提示和交叉注意力编码器-解码器三种神经重打分方法，证明均显著降低个性化命名实体测试集 WER。
2023-07-13 cs.CL eess.AS
Industrial Memories: Exploring the Findings of Government Inquiries with Neural Word Embedding and Machine Learning
University College Dublin（都柏林大学学院）
本文提出一个结合词嵌入、文本分类与可视化的文本挖掘系统，将爱尔兰工业学校政府调查报告转化为交互式网络平台，帮助公众从冗长文件中发掘隐藏的历史见解。
2023-08-02 cs.CL cs.CY
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
无数据文本分类，即，弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词（称为种子词）进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验，然而，这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题，在本文中，我们提出了一种新的制定类别先验。首先，对于每个文件，我们认为它的标签隶属度，不仅计算种子词的出现，但也使用一种新的原型计划，它捕获伪最近邻类别。其次，对于每个标签，我们考虑其语料库的频率先验知识，这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中，我们提出了一种新的生成式无数据方法，即弱监督原型主题模型（WSPTM）。在真实数据集上的实验结果表明，WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
BrightCookies at SemEval-2025 Task 9: Exploring Data Augmentation for Food Hazard Classification
Wageningen Food Safety Research（瓦赫宁根食品安全研究所）；Centre for Language Studies（语言研究系）；Radboud University（拉德堡德大学）
本文针对SemEval-2025食品危害检测挑战，提出三种词级数据增强技术改善少数类分类，发现transformer模型整体性能更优，其中上下文词插入显著提升了细粒度少数危害类的预测准确率。
2025-04-29 cs.CL
Exploring Large Language Models for Word Games:Who is the Spy?
本研究以“谁是卧底”游戏为例，提出基于思维链的无训练调度框架，提升大语言模型在文字游戏中的情境推理与身份伪装等能力，验证了其在结构化游戏社交互动中的潜力。
2025-03-19 cs.AI cs.CL
Factors Influencing the Surprising Instability of Word Embeddings
University of Michigan（密歇根大学）
尽管最近流行的词嵌入方法，只有一个小的身体的工作，探索这些表示的局限性。在本文中，我们考虑嵌入空间的一个方面，即其稳定性。我们发现，即使是相对较高的频率的话（100-200次）往往是不稳定的。我们提供了经验证据，各种因素如何有助于词嵌入的稳定性，我们分析了稳定性对下游任务的影响。
2018-04-25 cs.CL
Exploring the Word Sense Disambiguation Capabilities of Large Language Models
University of Bari Aldo Moro（巴里·阿尔多·莫罗大学）；University of Pisa（比萨大学）
本文通过扩展XL-WSD基准评估大型语言模型的词义消歧能力，发现其在零样本下表现良好但不及最先进方法，而中等参数量微调模型可超越所有模型。
2025-03-11 cs.AI cs.CL
Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
Xiamen University（厦门大学）；Baidu Inc.（百度公司）
无监督的风格转换旨在改变输入句子的风格，同时保留其原始内容，而不使用并行训练数据。在目前的主流方法中，由于缺乏对目标风格的影响的细粒度控制，它们无法产生令人满意的输出句子。在本文中，我们提出了一种新的注意序列到序列（Seq2seq）模型，动态地利用每个输出单词的相关性，以目标风格的无监督风格转移。具体来说，我们首先预训练一个风格分类器，其中每个输入单词与原始风格的相关性可以通过逐层相关传播来量化。在去噪自动编码的方式，我们训练注意力Seq2seq模型重建输入的句子，并重新预测词级先前量化的风格相关性的同时。通过这种方式，该模型被赋予了自动预测每个输出词的风格相关性的能力。然后，我们为该模型的解码器配备了一个神经风格组件，以利用预测的词级风格相关性来实现更好的风格传递。特别是，我们微调这个模型使用精心设计的目标函数，涉及风格转移，风格相关性的一致性，内容保存和流畅性建模损失条款。实验结果表明，我们提出的模型达到了最先进的性能，在传输精度和内容保存。
2022-03-11 cs.CL cs.LG
Assessing Personalized AI Mentoring with Large Language Models in the Computing Field
Oklahoma State University（俄克拉荷马州立大学）；Purdue University（普渡大学）
本研究针对计算机领域个性化职业指导，用零样本学习评估GPT-4、LLaMA 3、Palm 2三款大语言模型，结合定量定性分析验证GPT-4个性化指导效果更优，为相关工具开发奠基。
2024-12-11 cs.AI cs.CL
An exploratory study of L1-specific non-words
在本文中，我们探讨L1特定的非词，即非词在一个目标语言（在这种情况下，瑞典语），重新排名由不同的语言语言模型。我们推测，母语为某一特定语言的人对母语特有的非词的反应不同于对一般非词的反应。我们提出了两个小的案例研究的结果，探讨是否重新排名不同的语言模型的非单词导致感知差异“瑞典”（试点研究1）和是否德语和英语为母语的人有更长的反应时间在词汇决策任务时，提出了各自的L1特定的非单词（试点研究2）。初步的结果似乎表明，L1特定的非词处理第二慢，纯粹的瑞典人期待的非词。
2020-09-02 cs.CL
Exploring the Role of Logically Related Non-Question Phrases for Answering Why-Questions
IIIT-Hyderabad（海得拉巴国际信息技术学院）；IBM Research（IBM研究院）
在本文中，我们表明，某些短语，虽然不存在于一个给定的问题/查询，在回答问题中发挥了非常重要的作用。探索这些短语在回答问题中的作用不仅减少了对用于提取答案的匹配问题短语的依赖，而且提高了所提取答案的质量。这里匹配问题短语是指在给定问题和候选答案中共同出现的短语。为了实现上述讨论的目标，我们引入了一个基于bigram的词图模型填充在给定的文档中的术语的语义和主题相关性。接下来，我们应用一种改进的基于先验的方法进行排名，该方法将候选文档中的所有单词相对于一组根词（即问题和候选文档中存在的非停用词）进行排名。因此，与词根词逻辑相关的术语的得分高于与词根词不相关的术语。实验结果表明，我们设计的系统比国家的最先进的回答为什么问题的任务。
2013-03-29 cs.CL cs.IR
