Automatic Generation of Personalized Comment Based on User Profile
Peking University（北京大学）；Xidian University（西安电子科技大学）
社交媒体上的评论在内容、风格和词汇方面非常多样化，这使得生成评论比其他现有的自然语言生成（NLG）任务更具挑战性。此外，由于不同的用户具有不同的表达习惯，因此在生成评论时有必要考虑用户的简档。在本文中，我们介绍了自动生成个性化评论~（AGPC）的社会媒体的任务。基于微博上数以万计的用户真实评论和相应的用户简档，我们提出了个性化评论生成网络（PCGN）。该模型利用门控记忆的用户特征嵌入，并参与用户描述，以模拟用户的个性。此外，在解码过程中考虑外部用户表示以增强评论生成。实验结果表明，该模型可以生成自然、人性化和个性化的评论。
2019-07-24 cs.CL
Code Comment Inconsistency Detection with BERT and Longformer
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Penn State University（宾夕法尼亚州立大学）
注释或源代码的自然语言描述是软件开发人员的标准做法。通过交流代码的重要方面，如功能和用法，注释有助于软件项目的维护。然而，当代码被修改而没有对注释进行相应的更正时，注释和代码之间可能会出现不一致，这可能会导致开发人员混淆和错误。在本文中，我们提出了两个基于BERT的模型（Devlin等人，2019）和Longformer（Beltagy等人，2020）来检测自然语言推断（NLI）上下文中的这种不一致。通过在代码更改期间和之后对先前建立的评论方法对语料库进行评估，我们证明了我们的模型优于多个基线，并产生与排除语言和词汇特征的最先进模型相当的结果。我们进一步讨论了未来研究的想法，在使用预训练的语言模型的不一致检测和自动评论更新。
2022-07-29 cs.CL
Code Needs Comments: Enhancing Code LLMs with Comment Augmentation
Shanghai AI Laboratory（上海人工智能实验室）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；The Chinese University of Hong Kong（香港中文大学）
本文针对预训练中代码-注释对齐数据稀缺的问题，提出注释生成与数据过滤相结合的数据增强方法，在三个代码大语言模型上验证了其对编程能力的稳定提升效果。
2024-02-20 cs.CL
APIContext2Com: Code Comment Generation by Incorporating Pre-Defined API Documentation
University of British Columbia Okanagan（不列颠哥伦比亚大学奥肯那根分校）
代码注释对理解软件程序有很大的帮助，也可以帮助开发人员节省大量的软件维护时间。代码注释生成的目的是自动预测给定代码片段的自然语言中的注释。一些作品调查的影响，整合外部知识的质量生成的评论。在这项研究中，我们提出了一个解决方案，即APIContext 2Com，通过将预定义的应用程序编程接口（API）上下文，以提高生成的评论的有效性。API上下文包括在代码片段中使用的预定义API的定义和描述。由于详细的API信息表达了代码段的功能，因此它有助于更好地生成代码摘要。我们引入了一个seq-2-seq编码器-解码器神经网络模型，该模型具有不同的多个编码器集合，以有效地将不同的输入转换为目标评论。还开发了一个排名机制来排除非信息性的API，以便我们可以过滤掉不相关的API。我们使用CodeSearchNet的Java数据集来评估我们的方法。结果表明，该模型对BLEU 1、BLEU 2、BLEU 3、BLEU 4、METEOR、ROUGE-L的最佳基线分别提高了1.88（8.24%）、2.16（17.58%）、1.38（18.3%）、0.73（14.17%）、1.58（14.98%）和1.9（6.92%）。人类评估和消融研究证实了生成的评论的质量以及架构和排名API的效果。
2023-03-03 cs.CL cs.LG cs.SE
Deep Learning to Detect Redundant Method Comments
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
软件中的注释对于维护和重用至关重要。但除了规范性的建议，几乎没有实际的支持或量化的理解是什么使评论有用。在本文中，我们介绍了识别注释的任务，这些注释对它们要记录的代码没有信息。为了解决这个问题，我们从代码中引入了注释蕴涵的概念，高蕴涵表示注释的自然语言语义可以直接从代码中推断出来。虽然不是所有的隐含注释都是低质量的，但是太容易推断的注释，例如，重述代码的注释，被软件风格的权威人士广泛禁止。在此基础上，我们开发了一个名为CRAIC的工具，评分方法级的冗余评论。然后，开发人员可以扩展或删除高度冗余的注释。CRAIC使用深度语言模型来利用大型软件语料库，而不需要昂贵的蕴涵手动注释。我们表明，CRAIC可以执行的评论蕴涵任务与人类的判断很好的协议。我们的研究结果也对文档工具产生了影响。例如，我们发现Javadoc中的常见标记从代码中的可预测性至少是非Javadoc语句的两倍，这表明Javadoc标记的信息量比更自由的注释少
2018-06-12 cs.CL cs.SE
SentiMATE: Learning to play Chess through Natural Language Processing
University College London（伦敦大学学院）
我们提出了SentiMATE，一种新型的端到端深度学习模型，用于国际象棋，采用自然语言处理，旨在学习评估移动质量的有效评估函数。该函数根据与训练动作相关联的评论的情绪进行预训练，并用于指导和优化智能体的游戏决策。这项研究的贡献是三方面的：我们建立并提出了一个分类器，它提取了大量评论数据集中描述国际象棋移动质量的评论，以及一个在国际象棋评论上训练的情感分析模型，以准确预测所述移动的质量，然后使用这些预测来评估国际象棋代理的最佳下一步行动。两种分类器都达到了90%以上的分类准确率.最后，我们提出了一个国际象棋引擎，SentiMATE，它根据预先训练的情感评估函数来评估国际象棋的移动。我们的研究结果显示出强有力的证据来支持我们最初的假设-“自然语言处理可以用来训练一个新的和样本有效的评价功能在象棋引擎？- 当我们将我们的评估功能集成到现代国际象棋引擎中并与具有传统国际象棋移动评估功能的代理进行比赛时，在一级搜索深度上击败随机代理和DeepChess实现-表示传统国际象棋代理（采用alpha-beta搜索算法）的移动数量，以便评估给定的国际象棋状态。
2019-09-25 cs.AI cs.CL cs.LG
On the relation between dependency distance, crossing dependencies, and parsing. Comment on "Dependency distance: a new perspective on syntactic patterns in natural languages" by Haitao Liu et al
Universidade da Coruña（拉科鲁尼亚大学）
Liu et al.（2017）全面介绍了人类语言中依赖距离的研究。虽然这篇文章是关于这个复杂主题的非常丰富和有用的报告，但在这里我将扩展计算语言学（特别是自然语言处理）研究可以告知DDM研究的一些具体问题，反之亦然。这些方面在Liu等人的文章或其他地方没有进行太多的探索，可能是由于两个研究团体之间的重叠很少，但它们可能会为提高我们对人类语言进化的理解提供有趣的见解，大脑处理和理解语言的机制，以及构建有效的计算机系统来实现这一目标。
2017-06-03 cs.CL
Analyzing Information Leakage of Updates to Natural Language Models
Microsoft（微软）；University of Melbourne（墨尔本大学）
为了不断提高质量并反映数据的变化，机器学习应用程序必须定期重新训练和更新其核心模型。我们表明，差异分析的语言模型快照之前和之后的更新可以揭示一个令人惊讶的数量的详细信息的变化，在训练数据。我们提出了两个新的度量- \emph{differential score}和\emph{differential rank} -用于分析由于自然语言模型更新而导致的泄漏。我们使用这些指标对使用不同方法和配置在几个不同数据集上训练的模型进行泄漏分析。我们讨论我们的研究结果的隐私影响，提出缓解策略，并评估其效果。
2021-08-05 cs.CL cs.CR cs.LG
TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation
National Taiwan University（台湾大学）
基于评分函数的自然语言生成（NLG）方法（诸如REINFORCE）通常遭受低样本效率和训练不稳定性问题。这主要是由于离散空间采样的不可微性质，因此这些方法不得不将离散空间采样视为黑箱并忽略梯度信息。为了提高REINFORCE算法的样本效率和减小算法的方差，提出了一种新的算法TaylorGAN，该算法通过非策略更新和一阶泰勒展开来增强梯度估计。这种方法使我们能够以较小的批量从头开始训练NLG模型-无需最大似然预训练，并且在质量和多样性的多个指标上优于现有的基于GAN的方法。源代码和数据可在https://github.com/MiuLab/TaylorGAN上获得
2020-11-27 cs.CL cs.LG
Performance evaluation of Reddit Comments using Machine Learning and Natural Language Processing methods in Sentiment Analysis
Shanghaitech University（上海科技大学）
本研究利用GoEmotions数据集评估多种机器学习模型在Reddit评论情感分析中的性能，发现RoBERTa在细粒度分类中准确率最高，凸显其潜力。
2024-05-28 cs.CL
Emotion Correlation Mining Through Deep Learning Models on Natural Language Text
Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）；Center for Data Science and Big Data Analytics, Oakland University（奥克兰大学数据科学与大数据分析中心）
情绪分析一直是研究者关注的焦点。人工智能领域以前的大多数工作都集中在识别情感上，而不是挖掘情感没有被识别或被错误识别的原因。情绪之间的相关性导致情绪识别的失败。本文试图通过网络新闻中的自然语言文本来填补情感识别和情感关联挖掘之间的空白。情绪之间的相关性主要是由人类的情绪认知偏差引起的，表现为情绪的混乱和演变。为了从文本情感识别中挖掘情感相关性，提出了三种特征和两种深度神经网络模型。通过正交基提取情感混淆规律。从一步转移、有限步转移和最短路径转移三个角度对情感演化规律进行了评价。该方法是使用三个小册子的标题，机构，和评论的新闻文章，涵盖了客观和主观的文本在不同的长度（长和短）进行验证。实验结果表明，在主观评论中，情绪很容易被误认为是愤怒。评论容易引起爱-怒、悲-怒的情绪循环。在客观新闻中，容易将文本情感识别为爱情，造成恐喜循环。也就是说，记者可能会试图用恐惧和喜悦的词语来吸引注意力，但却引起了爱的情感;新闻发布后，网民会产生情感评论来表达他们的强烈情绪，即，愤怒悲伤和爱这些发现可以为情感互动的应用提供见解，如网络舆情，社交媒体沟通，人机交互。
2020-07-28 cs.AI cs.CL cs.LG
Analyzing Examinee Comments using DistilBERT and Machine Learning to Ensure Quality Control in Exam Content
本研究利用DistilBERT和机器学习分析考生评论以识别问题试题，证明NLP标记能补充传统统计方法，提高考试效度并减轻人工审查负担。
2025-04-08 cs.CL
Health, Psychosocial, and Social issues emanating from COVID-19 pandemic based on Social Media Comments using Natural Language Processing
Dalhousie University（达尔豪斯大学）；University of Saskatchewan（萨斯喀彻温大学）
COVID-19大流行已造成全球健康危机，影响人类生活的多个方面。在缺乏疫苗和抗病毒药物的情况下，已经实施了一些行为改变和政策措施，例如物理距离，以控制冠状病毒的传播。社交媒体数据可以揭示公众对全球各国政府和卫生机构如何处理大流行病的看法，以及这种疾病对人们的影响，无论他们的地理位置与阻碍或促进全球控制大流行病传播的各种因素一致。本文旨在利用社交媒体数据调查COVID-19大流行对全球人们的影响。我们应用自然语言处理和主题分析，利用社交媒体数据了解公众对COVID-19疫情的意见、体验和问题。首先，我们从Twitter、Facebook、YouTube和三个在线论坛收集了超过4700万条与COVID-19相关的评论。其次，我们执行数据预处理，包括应用NLP技术来清理和准备自动主题提取的数据。第三，我们应用上下文感知的NLP方法从超过100万条随机选择的评论中提取有意义的关键词或主题，并计算每个主题的情感得分，并使用基于词典的技术根据得分分配情感极性。第四，我们将相关主题归类为更广泛的主题。共出现34个负面主题，其中15个为公众视角的健康相关问题、心理社会问题及与COVID-19疫情相关的社会问题。此外，从我们的研究结果中还发现了20个积极的主题。最后，我们建议的干预措施，可以帮助解决基于积极的主题和其他补救的想法植根于研究的负面问题。
2020-07-23 cs.CL cs.IR cs.SI
SOCCER: An Information-Sparse Discourse State Tracking Collection in the Sports Commentary Domain
Brown University（布朗大学）
在追求自然语言理解的过程中，人们一直对跟踪整个叙述中的状态变化感兴趣。在建模以事务为中心的对话和过程文本的状态方面已经取得了令人印象深刻的进展。然而，这个问题已经不太深入研究的领域，一般话语的地面真理描述的状态可能是松散的定义和状态变化是不太密集分布在话语。本文提出转向简化的，完全可观察的系统，显示其中一些属性：体育赛事。我们策划了2，263场足球比赛，包括带有时间戳的自然语言评论，以及离散事件，例如球队进球，交换球员或被罚牌。我们提出了一个新的任务制定，在不同的时间戳的游戏评论的段落，系统被要求识别游戏中事件的发生。这个域允许对状态进行丰富的描述，同时避免了许多其他现实世界设置的复杂性。作为性能测量的初始点，我们包括两个基线方法从句子分类的角度与时间依赖和当前国家的最先进的生成模型，分别，并证明，即使是复杂的现有方法的斗争状态跟踪任务时，状态的定义扩大或非事件的喋喋不休变得普遍。
2021-06-03 cs.CL
A perspective on the advancement of natural language processing tasks via topological analysis of complex networks
University of São Paulo（圣保罗大学）
对Cong和Liu的"Approaching human language with complex networks"的评论（Physics of Life Reviews，Volume 11，Issue 4，December 2014，Pages 598 - 618）。
2014-12-03 cs.CL
Sentiment Analysis with R: Natural Language Processing for Semi-Automated Assessments of Qualitative Data
情感分析是自然语言处理和计算语言学领域的一个分支学科，可用于文本文档的自动或半自动分析。这些分析的目的之一是认识到表达的态度是积极或消极的，因为它可以包含在社交媒体平台或政治文件和演讲以及虚构和非虚构文本的评论中。关于社交媒体平台上的评论分析，这是对之前关于社交媒体网络数据半自动筛选的教程的扩展。关于社交媒体评论的纵向视角以及关于虚构和非虚构文本的横截面视角，例如整本书和图书馆，可以导致大量的文本文档。通过使用具有可接受的评分者间可靠性的情感分析，可以简化和加速他们的分析。因此，本教程介绍了使用R执行情感分析的基本功能，并解释了如何逐步分析文本文档-无论其底层格式如何。所有先决条件和步骤都有详细描述，相关代码可在GitHub上获得。两个政治演讲的比较说明了一个可能的用例。
2022-06-25 cs.CL cs.CV stat.AP
