Graph-based Keyword Planning for Legal Clause Generation from Topics
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Adobe Research（奥多比研究院）
基于最少的用户提供的信息生成特定于域的内容（如法律条款），在自动化法律合同生成方面有很大的好处。在本文中，我们提出了一个可控的基于图的机制，可以生成法律条款只使用的主题或类型的法律条款。我们的管道包括两个阶段，涉及一个基于图的规划器，然后是一个子句生成器。规划器使用可控的基于图的机制基于输入主题将法律条款的内容概述为按照从通用到更具体的条款信息的顺序的关键字序列。生成阶段接受给定的计划并生成子句。管道由基于图形的规划器和文本生成组成。我们说明了我们提出的两阶段的方法在合同中的条款主题广泛的有效性。
2023-01-07 cs.AI cs.CL
Grammatical Error Correction in Low Error Density Domains: A New Benchmark and Analyses
Siteimprove（Siteimprove公司）；University of Copenhagen（哥本哈根大学）；Alexandra Institute（亚历山德拉研究所）；King’s College London（伦敦国王学院）；Imperial College London（伦敦帝国理工学院）
语法错误纠正（GEC）系统的评估主要集中在非英语母语学习者撰写的文章上，然而这只是GEC应用程序的一部分。我们的目标是扩大GEC的目标领域，并发布CWEB，这是GEC的一个新基准，由不同熟练程度的英语使用者生成的网站文本组成。网站数据是一个常见而重要的领域，包含的语法错误比学习者的文章少得多，这对最先进的GEC系统提出了挑战。我们证明，这背后的一个因素是系统无法依赖于一个强大的内部语言模型在低错误密度域。我们希望这项工作将促进开放领域的GEC模型，推广到不同的主题和流派的发展。
2020-10-15 cs.CL
Sentence Similarity Measures for Fine-Grained Estimation of Topical Relevance in Learner Essays
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了在学习者作文中评估水平提示关联的任务。使用词重叠，神经嵌入和神经组成模型的各种系统进行评估的两个数据集的学习者写作。我们提出了一种新的词汇级相似度计算方法，该方法学习调整特定任务的预训练词嵌入的权重，与其他相关基线相比，实现了更高的准确性。
2016-06-09 cs.CL cs.LG cs.NE
A Planning based Framework for Essay Generation
Harbin Institute of Technology（哈尔滨工业大学）
利用计算机程序自动生成文章是人工智能和自然语言处理领域的一个具有挑战性的课题。在本文中，我们的目标是文章生成，这需要作为输入的主题词的想法，并生成一个有组织的文章下的主题。我们遵循文本规划\cite{Reiter1997}的思想，开发了一个短文生成框架。该框架由主题理解、句子抽取和句子重排三部分组成。对于每个组成部分，我们研究了几种统计算法，并在定性或定量分析方面对它们进行了实证比较。虽然我们在汉语语料库上进行了实验，但该方法是语言无关的，可以很容易地适应其他语言。我们列出了剩余的挑战，并为未来的研究提出了建议。
2016-01-06 cs.CL
MTLHealth: A Deep Learning System for Detecting Disturbing Content in Student Essays
ACT, Inc.（ACT公司）；Oregon State University（俄勒冈州立大学）
向ACT等标准化考试提交的论文偶尔会提到欺凌、自残、暴力和其他形式的令人不安的内容。评分员必须非常小心地识别这样的情况，并决定是否代表可能处于危险中的学生向当局报警。对健壮的计算机系统的需求日益增长，以通过自动标记干扰内容的潜在实例来支持人类决策者。本文介绍了MTLHealth，这是一个基于计算语言学最新进展的令人不安的内容检测管道，特别是预训练的语言模型Transformer网络。
2021-03-13 cs.CL
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
Catching the Drift: Probabilistic Content Models, with Applications to Generation and Summarization
我们认为，在一个特定的领域内的文本的内容结构建模的问题，在文本地址的主题和这些主题出现的顺序。我们首先提出了一个有效的知识精益学习内容模型的方法，从未注释的文档，利用一种新的适应算法隐马尔可夫模型。然后，我们将我们的方法应用到两个互补的任务：信息排序和提取摘要。我们的实验表明，将内容模型在这些应用程序中产生实质性的改进，比以前提出的方法。
2004-05-12 cs.CL
Dialogue Summarization with Emotion Dynamics Using Topic- and Participant-Centric Decomposition
Delft University of Technology（代尔夫特理工大学）
该研究针对对话摘要问题，提出基于改进分层智能体链方法的框架，从主题和参与者两个视角分解对话，结合自动推断情感生成摘要，并引入情感轨迹指标评估，实验表明其框架能生成含语义和情感内容的摘要，凸显方法有效性。
2026-07-17 cs.AI cs.CL cs.MA
GenAI Content Detection Task 2: AI vs. Human -- Academic Essay Authenticity Challenge
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；TOBB ETU（TOBB经济技术大学）
本文概述了与COLING 2025共同举办的首届学术论文真实性挑战赛，该任务旨在检测英语和阿拉伯语中机器生成与人类撰写的论文，多数团队采用微调的transformer模型或LLMs，表现最佳的系统在两种语言上的F1分数均超过0.98，显著优于基线。
2024-12-24 cs.AI cs.CL
Can Large Language Models Differentiate Harmful from Argumentative Essays? Steps Toward Ethical Essay Scoring
Konkuk University（韩国康 kuk 大学）
本研究提出HED基准，揭示LLMs在识别有害文章方面的能力不足，并强调需开发更注重伦理因素的AES系统。
2026-01-09 cs.CL
Context is Enough: Empirical Validation of $\textit{Sequentiality}$ on Essays
IIIT-Hyderabad（IIIT-海得拉巴）
本文通过ASAP++和ELLIPSE数据集实证验证，仅用上下文词的序列性指标与人类对作文组织性、连贯性等语篇特征的评估更对齐，结合标准语言特征时预测价值超其他版本，且优于零样本LLM预测，可作为自动化作文评分的有效特征。
2025-11-12 cs.CL
Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid Essay in Education
Monash University（莫纳什大学）
本研究针对人类与AI协作撰写的混合文本，提出了一种基于原型距离的两步边界检测方法，在域内和域外评估中分别提升22%和18%。
2023-12-25 cs.AI cs.CL
Prove Your Point!: Bringing Proof-Enhancement Principles to Argumentative Essay Generation
Harbin Institute of Technology（哈尔滨工业大学）
针对当前议论文生成方法逻辑混乱、难以有效论证的问题，本文提出两阶段框架PESA，通过大模型构建逻辑信息伪标签、结合证明原理的树规划保障逻辑一致性，生成的文章逻辑有效性和说服力优于强基线模型。
2024-10-30 cs.AI cs.CL
LLM-Based Persuasion Enables Guardrail Override in Frontier LLMs
Maritaca AI；JusBrasil
研究展示通过大语言模型作为模拟用户进行说服对话，可使其他大语言模型生成争议性文本，采用自然语言压力策略，如同行比较和认知责任重构，实现说服效果。
2026-05-13 cs.CL
Rank-Then-Score: Enhancing Large Language Models for Automated Essay Scoring
Peking University（北京大学）；Beijing Normal University（北京师范大学）
本文提出Rank-Then-Score微调框架，通过先排序生成候选分数集再评分的方式增强大语言模型的自动作文评分能力，在HSK和ASAP数据集上均优于直接提示方法。
2025-04-08 cs.AI cs.CL
When Automated Assessment Meets Automated Content Generation: Examining Text Quality in the Era of GPTs
University of Notre Dame（圣母大学）；Georgia Tech（佐治亚理工学院）；Shenzhen University（深圳大学）
本文构建涵盖评分模型、人类与GPT作文及统计分析的框架，基于18,460篇作文实证发现Transformer PLM给GPT文本评分平均高10–15%，揭示生成式AI对自动评分的影响。
2023-09-25 cs.AI cs.CL
Assessing GPTZero's Accuracy in Identifying AI vs. Human-Written Essays
研究评估GPTZero对不同长度AI与人类文章的识别准确率，发现其能准确检测AI生成内容，但对人类文本存在误报，教育者应谨慎使用。
2025-06-30 cs.AI cs.CL
How Large Language Models Are Changing MOOC Essay Answers: A Comparison of Pre- and Post-LLM Responses
University of Helsinki（赫尔辛基大学）；Haaga-Helia University of Applied Sciences（哈加-赫利亚应用科学大学）；Aalto University（阿尔托大学）
本研究通过分析AI伦理MOOC中ChatGPT发布前后的学生作文数据集，发现其推出导致作文长度和风格显著变化、AI/LLM相关关键词流行度改变，但主题未必然变化，量化了LLMs对在线教育的影响。
2025-04-17 cs.CL cs.CY
Decoding AI and Human Authorship: Nuances Revealed Through NLP and Statistical Analysis
Austin Peay State University（奥斯汀佩伊州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）；American Express Company（美国运通公司）
该研究基于50万篇论文数据集，通过统计分析与自然语言处理揭示AI与人类文本在词数、词长、词汇多样性和新颖性等方面的细微差异，为理解AI创作能力及NLP发展提供见解。
2024-07-15 cs.AI cs.CL cs.DL
How well can LLMs Grade Essays in Arabic?
本研究使用AR-AES数据集评估ChatGPT等大型语言模型在阿拉伯语自动作文评分任务中的表现，采用多种评估方法与混合语言提示策略，发现ACEGPT表现最佳但仍不及BERT模型，并首次基于真实学生数据揭示了LLMs处理阿拉伯语的挑战及提示工程的积极作用。
2025-01-27 cs.AI cs.CL
Can AI grade your essays? A comparative analysis of large language models and teacher ratings in multidimensional essay scoring
Technical University Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）
本文比较了五种大语言模型与37位教师在德语作文多维评分中的表现，发现闭源模型优于开源模型，其中o1模型与人类评分一致性最高，可用于辅助教师减负，但需改进以更好评估内容质量。
2024-11-25 cs.AI cs.CL cs.HC
Learning to Write Rationally: How Information Is Distributed in Non-Native Speakers' Essays
College of Information Sciences and Technology（信息科学与技术学院）；Center for Language Science（语言科学中心）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究通过分析不同母语背景的二语学习者的论文，发现较高L2熟练度能降低语言产出的预期不确定性，但信息分布的均匀性在L2写作中具有普遍性，受L1背景和L2熟练度影响较小。
2024-11-05 cs.CL
Machine-Assisted Grading of Nationwide School-Leaving Essay Exams with LLMs and Statistical NLP
Tallinn University（塔林大学）；University of Tartu（塔尔图大学）；Estonian Business School（爱沙尼亚商学院）；Institute of the Estonian Language（爱沙尼亚语言研究所）
本文研究了利用LLM和统计NLP进行全国毕业考试作文自动评分的可行性，证明其在保持人类监督的同时可实现高精度评估。
2026-01-22 cs.AI cs.CL
SweLL on the rise: Swedish Learner Language corpus for European Reference Level studies
University of Gothenburg（哥德堡大学）；Stockholm University（斯德哥尔摩大学）；Center for Language Introduction（语言引入中心）
我们提出了一个新的资源，瑞典，瑞典学习者的论文语料库链接到学习者的表现，根据欧洲共同参考框架（CEFR）。SweLL由三个子语料库组成- SpIn，SW 1203和Tisus，收集自三个不同的教育机构。所有子语料库的通用元数据包括年龄、性别、母语、在瑞典的居住时间、书面任务类型。根据子语料库，学习者文本可能包含额外的信息，如文本体裁，主题，等级。CEFR六个等级中的五个在语料库中被代表：A1，A2，B1，B2和C1，总共包含339篇文章。C2级别不包括在内，因为C2级别的课程不提供。工作流程包括论文和许可证的收集，论文数字化和注册，元数据注释，自动语言注释。基于SW 1203子语料库，研究了评分者间的一致性。关于SweLL的工作仍在进行中，有100多篇论文正在等待。本文描述了SweLL编译背后的资源和“how-to”。
2016-04-22 cs.CL
ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Amazon（亚马逊）
本文构建了包含4038篇GPT生成议论文的ArguGPT语料库，通过教师评估、语言分析和SVM/RoBERTa检测器实验，系统揭示了机器与人工议论文的差异并实现了90%以上的检测准确率。
2023-09-23 cs.CL
Specialists or Generalists? Multi-Agent and Single-Agent LLMs for Essay Grading
Sahel AI, Sahel Group Inc.（Sahel AI，Sahel Group Inc.）；University College London (UCL)（University College London（UCL））；Prince Sultan University
本文比较了多智能体与单智能体LLM在作文评分中的表现，发现多智能体系统在识别弱作文方面更优，而单智能体系统在中等质量作文上表现更好，少样本校准对性能影响显著。
2026-01-29 cs.CL cs.MA
LLM Agents at the Roundtable: A Multi-Perspective and Dialectical Reasoning Framework for Essay Scoring
NC AI；Chung-Ang University
本文提出多智能体框架 RES，通过模拟圆桌讨论和辩证推理整合多视角作文评估，在零样本条件下显著提升自动作文评分与人类评价的一致性。
2025-09-19 cs.CL
AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses
Adobe Media Data Science Research（Adobe媒体数据科学研究院）；IIIT-Delhi（德里印度信息技术学院）；SUNY at Buffalo（纽约州立大学布法罗分校）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于深度学习的自动作文评分（AES）系统正在被各州和语言测试机构积极使用，以评估数百万名候选人的生活改变决定，从大学申请到签证批准。然而，很少有研究来理解和解释基于深度学习的评分算法的黑盒性质。以前的研究表明，评分模型很容易被愚弄。在本文中，我们将探讨它们令人惊讶的对抗性脆性背后的原因。我们利用最新进展的可解释性，以找到在何种程度上的功能，如连贯性，内容，词汇和相关性是重要的自动评分机制。我们用它来研究过度敏感，即，输出分数的大变化而输入文章内容的小变化）和超稳定性即，输出分数变化小，输入文章内容变化大）。我们的研究结果表明，尽管自动评分模型被训练为具有丰富上下文嵌入（如BERT）的“端到端”模型，但其行为类似于词袋模型。几个字决定了作文分数，而不需要任何上下文，这使得模型在很大程度上过于稳定。这与最近对预训练表示学习模型的探索性研究形成鲜明对比，这些研究表明，它们编码了丰富的语言特征，如词性和形态。此外，我们还发现模型已经学习了数据集偏差，使它们变得过于敏感。为了解决这些问题，我们提出了基于检测的保护模型，可以检测到过敏感和过稳定导致样本具有高精度。我们发现，我们提出的模型能够检测到不寻常的归因模式，并成功地标记对抗样本。
2021-10-14 cs.AI cs.CL cs.CY
Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks
Department of Computer Science（计算机科学系）；Savitribai Phule Pune University（萨维特里·巴伊·普内大学）；Dr. D. Y. Patil School of Science and Technology（D.Y.帕提尔科学与技术学院）
研究探讨了大语言模型在内容正确性不变时，写作风格对评分的隐性偏见，发现作文任务存在显著偏见，而数学和编程任务则无显著偏见。
2026-03-19 cs.CL
Detecting Off-topic Responses to Visual Prompts
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
近年来，论文评分的自动化方法取得了很大进展，其准确性非常接近人类注释者。然而，这种自动评分器的一个已知弱点是没有考虑所提交文本的语义相关性。虽然有现有的工作检测答案的相关性给出了文本提示，很少有以前的研究已经完成，将视觉写作提示。我们提出了一个神经架构和几个扩展用于检测对视觉提示的离题反应，并在语言学习者编写的文本数据集上对其进行评估。
2017-07-17 cs.CL cs.LG cs.NE
Large Language Models for Difficulty Estimation of Foreign Language Content with Application to Language Learning
University of Lausanne（洛桑大学）；IT University of Copenhagen（哥本哈根信息技术大学）
本文提出利用大型语言模型帮助学习者提升外语水平，通过识别符合学习者兴趣与水平的文本和视频内容，实现比传统方法更精确的语言难度估计，从而持续激发学习动机并保持学习投入。
2023-09-10 cs.AI cs.CL
CERD: A Comprehensive Chinese Rhetoric Dataset for Rhetorical Understanding and Generation in Essays
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Institute of AI for Education, East China Normal University（华东师范大学上海人工智能教育研究院）；Department of Chinese Language and Literature, East China Normal University（华东师范大学中文系）；Microsoft Research Asia（微软亚洲研究院）
本文提出中文议论文修辞数据集CERD，涵盖4个粗粒度和23个细粒度修辞类别及五个关联子任务，实验证明大语言模型在多任务联合微调下表现最佳，为修辞研究建立了基准。
2024-09-29 cs.CL
Modeling Topical Coherence in Discourse without Supervision
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；IBM Research（IBM研究院）
文本的连贯性是一个重要的属性来衡量手动和自动生成的话语，但定义明确的量化指标，它仍然是难以捉摸的。在本文中，我们提出了一个衡量标准，得分主题连贯性的输入段落的实值规模，通过分析其潜在的主题结构。我们首先提取一段文本的句子与之相关的所有可能的主题。然后，通过计算以下内容来衡量文本的连贯性：（a）主题相对于段落的不确定程度，以及（b）这些主题之间的相关性。我们的模块化框架的所有组件都只依赖于未标记的数据和WordNet，因此使其完全无监督，这对于任何度量的通用用途来说都是一个重要的功能。实验在两个数据集上进行-一个公开的论文评分数据集（代表人类话语），和一个合成数据集，该数据集通过混合涵盖不同主题的多个段落的内容构建。我们的评估表明，测量的一致性得分与两个数据集的地面实况呈正相关。通过对合成数据进行人工评估，进一步验证了我们的一致性得分，显示出79.3%的显著一致性
2018-09-02 cs.AI cs.CL cs.IR
Does Writing with Language Models Reduce Content Diversity?
New York University（纽约大学）
本文通过受控实验发现，使用经反馈调优的InstructGPT辅助写作会显著降低内容多样性，且该效应主要源于模型贡献的文本更同质，揭示了模型对齐人类反馈可能以牺牲多样性为代价。
2024-07-01 cs.CL cs.CY cs.HC
SWIM: Student Writing Simulation via Proficiency-Conditioned Generation
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
本研究提出SWIM任务，评估提示、SFT、RL方法在学生写作模拟中的表现，发现明确监督比单独提示对齐效果更强，但低熟练度写作仍难复现。
2026-09-04 cs.CL cs.LG
Same Author or Just Same Topic? Towards Content-Independent Style Representations
Utrecht University（乌得勒支大学）
语言风格是语言的重要组成部分。风格表征发展的最新进展越来越多地使用作者身份验证（AV）的训练目标：两个文本是否具有相同的作者？AV训练任务的假设（同一作者近似相同的写作风格）使自我监督，因此，广泛的培训。然而，在AV任务上的良好表现并不能确保良好的“通用”风格表示。例如，由于同一作者通常可能会撰写某些主题，因此在AV上训练的表示也可能编码内容信息，而不仅仅是风格。我们介绍了一个变异的AV训练任务，控制使用会话或域标签的内容。我们评估是否已知的风格尺寸表示和首选的内容信息，通过一个原始的变化，最近提出的STEL框架。我们发现，通过控制会话训练的表示比用域或没有内容控制训练的表示在表示独立于内容的风格方面更好。
2022-04-11 cs.CL
Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts
CNRS（法国国家科学研究中心）；University of Lorraine（洛林大学）；Sorbonne Nouvelle University（新索邦大学）；Institut Universitaire de France（法国大学研究院）；University of Strasbourg（斯特拉斯堡大学）
本文提出Chain-of-MetaWriting方法，通过细粒度语言学与文本分析探究小型语言模型（SLMs）模仿人类写作步骤的能力，发现其在法语写作任务中处理敏感话题及文本连贯性上存在不足。
2024-12-19 cs.CL
Graph-based Topic Extraction from Vector Embeddings of Text Documents: Application to a Corpus of News Articles
Imperial College London（帝国理工学院）
新闻内容的生产正在以惊人的速度增长。为了帮助管理和监测大量的文本，越来越需要开发有效的方法，以便深入了解新兴的内容领域，并将非结构化的文本语料库分层为本质上源于内容相似性的“主题”。在这里，我们提出了一个无监督的框架，汇集了强大的矢量嵌入从自然语言处理与工具，从多尺度图分区，可以揭示自然分区在不同的分辨率，而无需作出先验假设的集群在语料库中的数量。我们通过与其他流行的聚类和主题建模方法的端到端比较，展示了基于图的聚类的优势，并评估了不同的文本向量嵌入，从经典的词袋到Doc2Vec，再到最近的基于Transformers的模型BERT。这项比较工作是通过对2016年总统大选期间美国新闻报道语料库的分析来展示的。
2020-10-28 cs.AI cs.CL cs.LG
Multilingual Topic Classification in X: Dataset and Analysis
Cardiff University（卡迪夫大学）；Amazon（亚马逊公司）；Snap Inc.（Snap公司）
针对社交媒体跨语言内容分类难题，本文推出包含英、西、日、希四种语言的多语言推文主题分类数据集X-Topic，并基于该数据集开展跨语言分析，对比了通用与领域特定语言模型的能力。
2024-10-04 cs.CL
Short-PHD: Detecting Short LLM-generated Text with Topological Data Analysis After Off-topic Content Insertion
The University of Hong Kong（香港大学）；University of Delaware（特拉华大学）
本文提出Short-PHD方法，通过在输入前插入无关主题内容以稳定短文本的持久同调维数估计，从而在零样本设定下有效检测短LLM生成文本。
2025-04-01 cs.CL
Assessing In-context Learning and Fine-tuning for Topic Classification of German Web Data
University of Konstanz（康斯坦茨大学）；Cluster of Excellence “The Politics of Inequality”（卓越集群“不平等政治”）
本文将德语网页主题检测建模为二元分类任务，比较微调预训练编码器与上下文学习策略，发现少量标注数据即可训练有效分类器，微调效果优于上下文学习，结合URL与内容特征表现最佳。
2024-07-23 cs.CL
A Joint Model of Conversational Discourse and Latent Topics on Microblogs
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
传统的话题模型不能有效地从微博消息中提取话题，因为缺乏结构和上下文的短消息表现出数据稀疏性，导致消息级的词共现模式很差。针对这一问题，本文根据微博消息的转发和回复关系将其组织成会话树，并提出一个无监督的模型，该模型联合学习词分布来表示：1）会话话语的不同角色，2）反映内容信息的各种潜在主题。通过明确区分不同的话语角色，包含主题词的消息的概率，我们的模型是能够发现集群的话语词是指示的主题内容。在一个大规模的微博语料库的自动评估，我们的联合模型产生的主题具有更好的连贯性分数比竞争的主题模型从以前的研究。对模型输出的定性分析表明，我们的模型诱导有意义的话语和主题的表征。我们进一步提出了一个基于我们的联合模型的输出微博摘要的实证研究。实验结果表明，联合建模的话语和主题表征可以有效地指示微博会话中值得摘要的内容。
2018-09-11 cs.CL
Collage is the New Writing: Exploring the Fragmentation of Text and User Interfaces in AI Tools
University of Bayreuth（拜罗伊特大学）
本文提出将前卫文学中的“拼贴”概念应用于AI写作工具设计，通过碎片化文本、并置声音、整合多源材料及编辑决策四个层面，分析并启发界面设计，连接历史文学关注与未来工具创新。
2024-05-27 cs.CL cs.HC
Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis
University of Maryland（马里兰大学）；Morgan State University（摩根州立大学）；nist（美国国家标准与技术研究院）
本文首次在交互式内容分析任务中系统比较神经、有监督和经典主题模型，发现上下文神经主题模型综合表现最佳，而LDA在模拟和用户研究中与部分NTMs相当，表明现有自动评估指标无法全面反映主题模型的实际任务能力。
2024-02-20 cs.CL cs.CY cs.HC
Discovering topics in text datasets by visualizing relevant words
Technische Universität Berlin（柏林工业大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Korea University（高丽大学）
在处理大量文档时，必须快速获得文本内容的概述。在本文中，我们将展示如何通过使用聚类算法来识别数据集中的主题，然后选择和可视化相关的单词，将一组文档与其他文本区分开来，以总结属于每个主题的文档的内容。我们展示了我们的方法，发现在纽约时报的文章片段集合的热门话题。
2017-07-18 cs.CL
Generating Summaries with Topic Templates and Structured Convolutional Decoders
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
现有的神经生成方法将多句文本创建为单个序列。在本文中，我们提出了一个结构化的卷积解码器，是由目标摘要的内容结构指导。我们比较我们的模型与现有的顺序解码器上的三个数据集代表不同的域。自动和人工评估表明，我们的摘要具有更好的内容覆盖率。
2019-06-11 cs.CL
Topic Modelling and Event Identification from Twitter Textual Data
University of Ottawa（渥太华大学）；Institute for Big Data Analytics, Dalhousie University（达尔豪斯大学大数据分析研究所）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Peacegeeks（和平极客）；iHUB
互联网上社交媒体内容的巨大增长激发了文本分析的发展，以了解和解决现实生活中的问题。利用统计主题建模可以帮助研究人员和从业人员更好地理解文本内容，并为进一步分析提供有用的信息。当我们处理大量动态文本时，统计主题建模变得尤为重要，例如，Facebook或Twitter数据集。在这项研究中，我们总结了四个数据集的Twitter消息在肯尼亚具有挑战性的社会事件的消息内容。我们使用潜在狄利克雷分配（LDA）主题模型来分析内容。我们的研究使用了两个评价指标，归一化互信息（NMI）和主题一致性分析，以选择最好的LDA模型。实验结果表明，该工具可以有效地提取讨论主题并进行归纳，以便于进一步的人工分析
2016-08-08 cs.CL cs.SI
Tracing Forum Posts to MOOC Content using Topic Analysis
University of Alberta（阿尔伯塔大学）
大规模开放在线课程是开放的教育计划，通过互联网向大量人群开放。为了促进学习，MOOC讨论论坛存在，学生和教师交流与课程相关的问题，答案和想法。这篇论文的主要目的是研究使用主题分析追踪讨论论坛帖子到课程视频和阅读材料。我们利用潜狄利克雷分配（LDA）的无监督和监督的变体，从课程材料中提取主题并对论坛帖子进行分类。我们验证了我们的方法，从五个Coursera课程的帖子引导，并确定主题模型可以用来映射学生的讨论帖子回到基础课程讲座或阅读。标记的LDA优于无监督的分层狄利克雷过程LDA和基础LDA为我们的可追溯性任务。这项研究是有用的，因为它提供了一个自动化的方法，聚类学生的讨论课程材料，使教师能够快速评估学生的误解的内容，并相应地澄清材料。
2019-04-15 cs.CL cs.CY cs.IR
A Poisson convolution model for characterizing topical content with word frequency and exclusivity
Harvard University（哈佛大学）
在分析文档集合中的一个持续的挑战是如何根据一组推断的主题来概括内容，这些主题可以根据主题进行实质性解释。目前的做法是根据最常见的单词来参数化主题，这种做法忽略了不同主题之间单词的差异使用，从而限制了可解释性。我们认为，共同和专属的主题的话更有效地表征主题内容。我们考虑一个设置，专业编辑注释文档的主题类别的集合，组织成一个树，其中叶节点对应于最具体的主题。每个文档都被注释到树的不同级别的多个类别中。我们引入了一个层次泊松卷积模型来分析在这种设置的注释文档。该模型利用专业编辑定义的类别之间的结构，推断出一个明确的语义描述，为每个主题的话，是频繁和排他性的。我们在Amazon Turk上进行了一个大型的随机实验，以证明基于FREX分数的主题摘要比目前建立的基于频率的摘要更具可解释性，并且所提出的模型比目前的模型更有效地估计排他性。我们还开发了一个并行化的哈密顿蒙特卡罗采样器，允许的推断规模以百万计的文件。
2014-07-28 cs.CL cs.IR cs.LG
topicwizard -- a Modern, Model-agnostic Framework for Topic Model Visualization and Interpretation
Aarhus University（奥胡斯大学）
针对现有主题模型可视化工具多局限于特定模型类型、传统词列表解释方式存在偏差且信息有限的问题，研究提出模型无关的topicwizard框架，通过交互式可视化工具助力用户全面理解主题、文档与词汇间的语义关系。
2025-05-19 cs.CL
Interpretable Fake News Detection with Topic and Deep Variational Models
University of Connecticut（康涅狄格大学）；University of Pittsburgh（匹兹堡大学）
社会对社交媒体和用户生成的新闻和信息内容的依赖日益增加，增加了不可靠来源和虚假内容的影响，这混淆了公共话语，降低了对媒体的信任。验证这些信息的可信度是一项艰巨的任务，容易受到确认偏差的影响，导致算法技术的发展，以区分假新闻和真新闻。然而，大多数现有方法很难解释，因此很难建立对预测的信任，并且在许多现实场景中做出不切实际的假设，例如，视听功能或出处的可用性。在这项工作中，我们专注于使用可解释的特征和方法来检测文本内容的假新闻。特别是，我们开发了一个深度概率模型，该模型使用变分自编码器和双向长短期记忆（LSTM）网络集成了文本新闻的密集表示，并具有从贝叶斯混合模型推断出的语义主题相关特征。使用3个真实世界数据集进行的广泛实验研究表明，我们的模型与最先进的竞争模型具有可比性，同时促进了学习主题的模型可解释性。最后，我们进行了模型消融研究，通过评估性能和定性地通过低维嵌入中的可分性来定量地证明集成神经嵌入和主题特征的有效性和准确性。
2022-09-04 cs.CL
Deep Belief Nets for Topic Modeling
Technical University of Denmark（丹麦技术大学）；Issuu
将传统的协同过滤应用于数字出版是具有挑战性的，因为用户数据由于相对于用户数量的大量文档而非常稀疏。另一方面，基于内容的方法很有吸引力，因为文本内容通常信息量很大。在本文中，我们描述了大规模的基于内容的协同过滤的数字出版。为了解决数字出版推荐问题，我们比较了两种方法：潜在狄利克雷分配（LDA）和深度信念网（DBN），这两种方法都能找到文档的低维潜在表示。有效的检索可以在潜在表示中进行。我们既致力于公共基准，也致力于在线出版平台Issuu提供的数字媒体内容。本文还提供了一个新开发的深度信念网工具箱，用于主题建模，专门针对DBN模型的性能评估以及与LDA模型的比较。
2015-01-18 cs.CL cs.LG stat.ML
Content Modeling Using Latent Permutations
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的贝叶斯主题模型来学习语篇级文档结构。我们的模型利用话语理论的见解，以反映文档主题的基本组织的方式来约束潜在的主题分配。我们提出了一个全局模型，其中主题选择和排序都偏向于在相关文档的集合中相似。我们表明，这个空间的排序可以有效地表示使用分布排列称为广义马洛模型。我们将我们的方法应用到三个互补的话语级任务：跨文档对齐，文档分割和信息排序。我们的实验表明，将我们的置换为基础的模型在这些应用程序中产生了显着的改善性能比以前提出的方法。
2014-01-15 cs.CL cs.IR cs.LG
Stay on Topic, Please: Aligning User Comments to the Content of a News Article
Center for Data Analytics and Biomedical Informatics（数据分析与生物信息学中心）；Temple University（天普大学）
社会科学家已经表明，高达50%的内容张贴到新闻文章没有关系，其新闻内容。在这项研究中，我们提出了一个分类算法来分类用户的评论张贴到一个新的文章基地上对齐其内容。对齐试图根据内容、讨论中的实体和主题的相似性将用户评论与文章匹配。我们提出了一种基于BERTAC，BAERT的方法，共同学习文章评论嵌入和推断评论的相关性类。我们引入了一个有序分类损失，惩罚预测和真实标签之间的差异。我们进行了深入的研究，以显示拟议的损失对学习过程的影响。在五个有代表性的新闻媒体上的结果表明，我们的方法可以学习评论类，与基线相比平均准确率提高了36%，与BA-BC模型相比平均准确率提高了25%。BA-BC是我们提出的一种方法，它由两个模型组成，旨在分离地捕获新闻文章的形式语言和评论的非正式语言。我们还进行了用户研究，以评估人类标记性能，以了解分类任务的难度。根据Krippendorff的alpha评分，用户对评论-文章对齐的一致性是“中等”，这表明分类任务很难。
2021-03-03 cs.CL cs.IR cs.LG
