PReSS: An Automated Black-Box Framework for Evaluating Political Stance Stability in LLMs
Bangladesh University of Engineering and Technology(孟加拉工程科技大学);University of California Riverside(加州大学河滨分校)
PReSS通过评估LLM在不同话题下的立场稳定性,揭示了模型政治立场的动态变化,为理解和干预政治敏感行为提供新视角。
2026-07-28 cs.CL
Different Time, Different Language: Revisiting the Bias Against Non-Native Speakers in GPT Detectors
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);University of Oslo, Language Technology Group(奥斯陆大学语言技术组)
该研究重新审视了GPT检测器对非母语者的偏见问题,发现非母语者的文本困惑度不低,并且现代检测器无需依赖困惑度即可有效工作。
2026-02-05 cs.CL
MP2D: An Automated Topic Shift Dialogue Generation Framework Leveraging Knowledge Graphs
IPAI, Seoul National University(首尔国立大学IPAI研究所);Dept. of ECE, Seoul National University(首尔国立大学电子与计算机工程系);LG AI Research(LG人工智能研究院);SNU-LG AI Research Center(首尔国立大学LG人工智能研究中心)
针对对话话题转移训练数据稀缺的问题,提出利用知识图谱的MP2D框架生成带自然话题过渡的对话数据集,构建TS-WikiDialog基准,验证了该数据能提升模型处理话题转移的性能。
2024-03-09 cs.AI cs.CL
Revisiting Noise in Natural Language Processing for Computational Social Science
the University of Copenhagen(哥本哈根大学)
本文通过多个案例研究重新审视计算社会科学中的噪声,论证某些噪声可编码个体沟通风格和文化依赖等有价值信息,并强调处理不同噪声需采取不同策略。
2025-03-10 cs.CL
CAMI: A Counselor Agent Supporting Motivational Interviewing through State Inference and Topic Exploration
Beijing Institute of Technology(北京理工大学);Singapore Management University(新加坡管理大学);Australian National University(澳大利亚国立大学);National Institute of Education(教育学院);Singapore University of Social Sciences(新加坡社科大学);National University of Singapore(新加坡国立大学)
本文提出基于动机性访谈的自动化咨询师智能体CAMI,通过STAR框架中的状态推断、主题探索和响应生成模块提升咨询效果,实验表明其优于现有方法并展现更真实的咨询师行为。
2025-02-05 cs.CL
Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers
University of Southern California(南加州大学)
本文重新评估OPRO在小规模LLM(如LLaMa-2和Mistral 7B)上的优化效果,发现其因推理能力有限而表现不佳,建议考虑模型能力与成本,并推荐直接指令作为基线。
2024-07-19 cs.CL cs.HC
From Small to Large Language Models: Revisiting the Federalist Papers
Booth School of Business of the University of Chicago(芝加哥大学布斯商学院)
本文重访《联邦党人文集》作者归属问题,比较小型与大型语言模型,发现基于功能词主题嵌入的贝叶斯方法优于默认 LLM 嵌入,表明传统统计语言模型在作者归属中仍具优势。
2025-04-11 cs.CL cs.LG stat.ML
SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出SoCRATES基准,通过多领域真实冲突场景和五维社会认知适应轴评估LLM调解员,使用主题定位评估器实现0.82的人类专家一致性,发现最强模型仅缩小约三分之一的未调解共识差距。
2026-06-04 cs.AI cs.CL
Revisiting Multilingual Data Mixtures in Language Model Pretraining
EPFL(瑞士联邦理工学院)
预训练大语言模型(LLM)中不同多语言数据混合的影响一直是一个持续争论的话题,经常引起对语言覆盖率和模型性能之间潜在权衡的担忧(即,多语言的诅咒)。在这项工作中,我们通过在不同的多语言语料库上训练1.1B和3B参数LLM来研究这些假设,语言的数量从25到400不等。我们的研究挑战了围绕多语言培训的共同信念。首先,我们发现,结合英语和多语言数据并不一定会降低任何一组的语言性能,前提是语言有足够数量的令牌包括在预训练语料库。其次,我们观察到,使用英语作为一种枢纽语言(即,作为多语言通用化催化剂的高资源语言)在各语言家族中产生益处,并且与预期相反,从特定家族中选择中枢语言并不能始终如一地提高该家族中语言的性能。最后,我们没有观察到显著的“多语言诅咒”,因为在这种规模下,模型中的训练语言数量增加了。我们的研究结果表明,多语言数据,当平衡适当,可以提高语言模型的能力,而不影响性能,即使在低资源设置
2025-10-29 cs.AI cs.CL cs.LG
Revisiting Topic-Guided Language Models
Columbia University(哥伦比亚大学)
本文在标准化设置下评估四种主题引导语言模型与两个基线,发现它们均未优于标准 LSTM,且基线隐藏状态已包含主题信息。
2023-12-04 cs.CL cs.LG
Chasing Progress, Not Perfection: Revisiting Strategies for End-to-End LLM Plan Generation
Google DeepMind(谷歌DeepMind)
本研究通过端到端LLM规划器与多指标评估,发现仅微调不足以提升规划鲁棒性,但思维链等策略增强计划可执行性,其中基于最长连续公共子序列奖励的强化学习最有效,兼顾有效性与可执行性。
2024-12-14 cs.AI cs.CL
Comparative Study and Framework for Automated Summariser Evaluation: LangChain and Hybrid Algorithms
本文提出基于LangChain与混合算法的自动化摘要评估框架,利用LLM评分指标衡量用户对PDF摘要内容的理解,以支持学习分析。
2023-10-04 cs.CL cs.LG
Toward Purpose-oriented Topic Model Evaluation enabled by Large Language Models
本研究提出利用大语言模型构建面向目的的自动化主题模型评估框架,通过九种指标覆盖四个质量维度,在多种数据集上验证,能揭示传统指标忽略的冗余和语义漂移问题,支持可扩展的细粒度评估。
2025-09-08 cs.AI cs.CL cs.DL
Revisiting the syntax of imperatives in Yemeni Arabic: An Agree across phases approach
Ibb University(伊卜大学)
本文重新审视也门阿拉伯语祈使句语法,提出跨阶段同意(AAP)方法,通过语法与语篇的紧密互动解释简单和复杂祈使结构,包括A'-链结构,并探讨祈使句的主题主语为二人代词,前置动词的代词或名词元素为C领域元素。
2026-05-08 cs.CL
Revisiting the Reliability of Language Models in Instruction-Following
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出可靠@k指标和自动生成相似提示的流水线,构建IFEval++基准,发现当前模型在细微差异提示下性能下降高达61.8%,并探索了三种改进方法。
2026-05-28 cs.AI cs.CL cs.SE
Benchmarking Resource-Efficient LLMs for Research Topic Ontology Generation in the Biomedical Field
Knowledge Media Institute, The Open University, Milton Keynes, UK(开放大学知识媒体研究所);Department of Business and Law, University of Milano-Bicocca, Milan, IT(米兰-比科卡大学商业与法律系)
本文评估五个小型开源LLMs识别生物医学概念语义关系的性能,引入MeSH-Rel-4K数据集并分析三种策略,发现针对性微调使平均F1分数显著提高,突破推理瓶颈,为构建生物医学本体提供准确自动化方法。
2026-07-21 cs.CL cs.DL
OpinSummEval: Revisiting Automated Evaluation for Opinion Summarization
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
本文提出OpinSummEval数据集,评估24种自动指标与人类评分在意见摘要四个维度上的相关性,发现神经网络指标更优但仍有局限,需改进评估方法。
2023-11-11 cs.AI cs.CL
Agentic AutoSurvey: Let LLMs Survey LLMs
Lehigh University(莱文大学);University of Florida(佛罗里达大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出Agentic AutoSurvey多智能体框架,通过四个专门化智能体协同自动生成文献综述,在六个LLM研究主题上取得8.18/10的评分,显著优于现有基线,证明了多智能体架构在自动综述生成中的有效性。
2025-09-23 cs.CL cs.HC cs.IR
Check-worthy Claim Detection across Topics for Automated Fact-checking
Queen Mary University of London(伦敦玛丽女王大学);Taif University(塔伊夫大学)
自动事实核查系统的一个重要组成部分是索赔核查价值检测系统,该系统通过根据需要对句子进行优先级排序来进行检查。尽管有大量的研究在处理这项任务,但以前的研究忽略了在不同主题中识别值得检查的声明的挑战性。在本文中,我们评估并量化了检测新的、看不见的主题的值得检查的声明的挑战。在强调了这个问题之后,我们提出了AraCWA模型来减轻在检测跨主题的值得检查的声明时的性能恶化。AraCWA模型通过整合用于少样本学习和数据增强的两个组件来提高新主题的性能。使用一个公开的数据集的阿拉伯语推文组成的14个不同的主题,我们表明,我们提出的数据增强策略实现了实质性的改善,在整个主题的改善程度各不相同的主题。此外,我们分析了主题之间的语义相似性,这表明相似性度量可以用作代理,以确定一个看不见的主题的难度水平之前,进行标记的基本句子的任务。
2022-12-16 cs.CL
Automated Sentiment Classification and Topic Discovery in Large-Scale Social Media Streams
Georgia Institute of Technology(佐治亚理工学院)
本文提出一个面向 Twitter 的大规模情感与主题分析框架,通过关键词定向采集、多模型情感标注、LDA 主题建模及交互式可视化,实现动态地缘政治语境下社交媒体话语的可扩展分析。
2025-05-03 cs.CL
Supporting Automated Fact-checking across Topics: Similarity-driven Gradual Topic Learning for Claim Detection
针对跨主题的阿拉伯语候选声明检测,提出渐进式主题学习(GTL)及其基于相似性的变体(SGTL),在14个主题中的11个上优于最先进基线。
2024-11-08 cs.CL
Revisiting Low Resource Status of Indian Languages in Machine Translation
IIIT Hyderabad(国际信息技术研究所海得拉巴分校);University of Bath(巴斯大学)
印度语言机器翻译的性能受到阻碍,由于缺乏大规模的多语言句子对齐语料库和强大的基准。通过本文,我们提供并分析了一个自动化的框架,以获得这样的语料库的印度语言神经机器翻译(NMT)系统。我们的管道包括一个基线NMT系统,一个检索模块和一个对齐模块,用于与政府新闻稿等公开网站合作。对这项工作的主要贡献是获得一种增量方法,该方法使用上述管道来迭代地改进语料库的大小,并改进我们系统的每个组件。通过我们的工作,我们还评估了设计的选择,如选择旋转语言和迭代增量增加语料库大小的影响。我们的工作,除了提供一个自动化的框架,还导致生成一个相对较大的语料库相比,现有的语料库,可用于印度语言。该语料库帮助我们在公开可用的WAT评估基准和其他标准评估基准上获得大幅改进的结果。
2020-11-04 cs.CL
Is Automated Topic Model Evaluation Broken?: The Incoherence of Coherence
University of Maryland(马里兰大学)
主题模型评估,就像其他无监督方法的评估一样,可能会有争议。然而,该领域已经围绕主题连贯性的自动估计进行了合并,这依赖于参考语料库中单词共现的频率。根据这些指标,当代神经主题模型超过了经典模型。与此同时,主题模型评估存在验证差距:为经典模型开发的自动一致性尚未使用神经模型的人类实验进行验证。此外,主题建模文献的元分析揭示了自动主题建模基准测试中的实质性标准化差距。为了解决验证差距,我们比较了自动连贯性与两个最广泛接受的人类判断任务:主题评级和单词入侵。为了解决标准化的差距,我们在两个常用的数据集上系统地评估了一个占主导地位的经典模型和两个最先进的神经模型。自动评估宣布一个获胜的模型,而相应的人类评估没有,这就质疑了独立于人类判断的全自动评估的有效性。
2021-10-27 cs.CL cs.LG
ProxAnn: Use-Oriented Evaluations of Topic Models and Document Clustering
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Universidad Carlos III de Madrid(马德里卡斯蒂利亚-拉曼恰大学)
ProxAnn提出可扩展的人类评估协议及LLM自动化代理,通过让标注者推断主题类别并应用于其他文档来评估主题模型与文档聚类,实验证明最佳LLM代理在统计上与人类标注者不可区分,可作为自动化评估的合理替代。
2025-07-01 cs.CL
Contextualized Topic Coherence Metrics
Sorbonne University(索邦大学);McGill University(麦吉尔大学);Cornell University(康奈尔大学)
针对神经主题模型优化自动化指标而忽视实际意义的问题,提出基于LLM的Contextualized Topic Coherence(CTC)指标族,包含全自动与半自动版本,实验证明其优于现有自动化方法且在短文档上表现稳健。
2023-05-23 cs.CL cs.IR
SegNSP: Revisiting Next Sentence Prediction for Linear Text Segmentation
University of Porto(波尔图大学);INESC TEC;University of Beira Interior(贝拉内里大学)
SegNSP通过下一句预测任务改进线性文本分段,无需显式主题标签,实现高质量分段并提升下游NLP应用性能。
2026-02-11 cs.AI cs.CL cs.IR
TopicENA: Enabling Epistemic Network Analysis at Scale through Automated Topic-Based Coding
National Chengchi University(国立政治大学);The London School of Economics and Political Science(伦敦政治经济学院)
TopicENA通过自动编码实现大规模认知网络分析,利用BERTopic与ENA结合,提升大规模文本分析的可扩展性和可解释性。
2026-02-08 cs.AI cs.CL
Automated Word Puzzle Generation via Topic Dictionaries
Eötvös Loránd University(厄特沃什·罗兰大学)
我们提出了一种通用的自动化字谜生成方法。与该新领域中的先前方法相反,所提出的方法不依赖于通过认真的人类注释努力获得的高度结构化的数据集:它只需要非结构化和未注释的语料库(即,文档集合)作为输入。该方法建立在两个附加支柱上:(i)主题模型,其从输入语料库中归纳主题词典(示例包括例如,潜在语义分析、组结构词典或潜在狄利克雷分配),以及(ii)词对的语义相似性度量。我们的方法可以(i)自动生成大量不同类型的正确的字谜,包括奇数出,选择相关的词和分离的主题难题。(ii)它可以通过替换语料库组件轻松创建特定领域的谜题。(iii)它还能够自动生成具有可参数化难度级别的谜题,例如,初学者或中级学习者。
2012-06-02 cs.CL math.CO
HADES: Homologous Automated Document Exploration and Summarization
Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学)
本文介绍了一种新的结构相似文档自动比较工具HADES。HADES旨在简化处理大量文件的专业人员的工作,如政策文件,法律行为和科学论文。该工具采用多步骤管道,首先使用主题建模,摘要和分析每个主题的最重要的单词来处理PDF文档。该过程最后是一个交互式网络应用程序,具有便于比较文档的可视化效果。HADES有可能大大提高处理大量文件的专业人员的生产力,减少完成与比较文件分析有关的任务所需的时间和精力。我们的软件包在GitHub上可用。
2023-02-25 cs.CL
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering(信息与通信工程学院);Beijing University of Posts and Telecommunications(北京邮电大学)
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型(PLSA,LDA)是话题建模的主流方法,近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而,传统生成模型的结果对主题数量K敏感,必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区,而无需手动指定社区的数量。受这些算法的启发,本文提出了一种新的基于层次潜在语义映射(HLSM)的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联,然后构建具有这种关联的词的单分网络,并从该网络分层生成主题。我们将HLSM应用于几个文档集合,并与几种最先进的方法进行了实验比较,证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
TaxCE : A Framework for Automated Taxonomy Construction and Evaluation at Scale
Amazon(亚马逊)
针对大规模非结构化反馈文本分类法构建的挑战,本文提出TaxCE框架,结合EEG指标的闭环迭代优化机制,在分类法质量上优于现有基线方法。
2026-09-01 cs.CL
Semi-automated extraction of research topics and trends from NCI funding in radiological sciences from 2000-2020
University of Washington School of Medicine(华盛顿大学医学院);University of Washington Dept. of Radiation Oncology(华盛顿大学放射肿瘤学系);University of Washington Dept. of Radiology(华盛顿大学放射学系)
本研究提出半自动化方法,从2000-2020年NCI放射科学19亿美元资助中提取主题与趋势,发现治疗和物理研究资助增长超过诊断和生物学,为资助方、研究者和公众提供参考。
2023-06-22 cs.CL cs.CV
Are Neural Topic Models Broken?
University of Maryland(马里兰大学)
最近,主题模型的自动化和人工评估之间的关系受到了质疑。方法开发人员已经将新主题模型变体的有效性押在自动化测量上,而它们未能近似人类偏好将这些模型置于不确定的基础上。此外,现有的评价模式往往脱离现实世界的使用。受内容分析作为主题建模的主要现实用例的启发,我们分析了主题模型的两个相关方面,这两个方面会影响其在实践中的有效性和可信度:其估计的稳定性以及模型发现的类别与数据中人类确定的类别相一致的程度。我们发现,神经主题模型在这两个方面的表现都不如一个既定的经典方法。我们采取了一个步骤,以解决这两个问题的串联,证明了一个简单的集成方法可以可靠地优于合奏的成员。
2022-10-28 cs.CL cs.HC
Changing the Mind of Transformers for Topically-Controllable Language Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
基于transformer的大型语言模型可以通过建议迄今为止所写文本的合理延续来帮助人类作者。然而,当前的交互式写作助手不允许作者在期望的主题方向上引导文本生成。为了解决这个问题,我们设计了一个框架,显示多个候选即将到来的主题,其中用户可以选择一个子集来指导生成。我们的框架由两部分组成:(1)一种方法,通过预测可能的延续中的词簇中心来产生一组候选主题,以及(2)一个文本生成模型,其输出符合所选主题。这两个组件的训练都是自我监督的,只使用未标记的文本。我们的实验表明,我们的主题选项比标准的聚类方法更好,我们的框架经常生成与所选主题相关的流畅句子,由自动化指标和众包工人判断。
2021-03-29 cs.CL
TruthBot: An Automated Conversational Tool for Intent Learning, Curated Information Presenting, and Fake News Alerting
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Indian Institute of Information Technology Delhi(印度德里信息技术学院)
我们介绍TruthBot,一个多功能多语言对话聊天机器人,旨在寻求特定主题的真相(值得信赖和验证的信息)。它可以帮助用户获得特定主题的信息,事实检查信息,并获得最新消息。聊天机器人通过从先前意图的数据训练深度神经网络来学习查询的意图,并在将意图分类到上述类别之一时做出适当的响应。每个类都作为一个单独的模块实现,该模块使用自己的知识库或搜索Web以获得正确的信息。聊天机器人的主题目前设置为COVID-19。然而,机器人可以很容易地定制任何特定主题的响应。我们的实验结果表明,每个模块的性能显着优于其最接近的竞争对手,这是验证了定量和通过多种语言的几个基于用户的调查。TruthBot已于2020年6月部署,目前正在运行。
2021-01-31 cs.CL cs.SI
Detecting Off-topic Responses to Visual Prompts
The ALTA Institute(ALTA研究所);Computer Laboratory(计算机实验室);University of Cambridge(剑桥大学)
近年来,论文评分的自动化方法取得了很大进展,其准确性非常接近人类注释者。然而,这种自动评分器的一个已知弱点是没有考虑所提交文本的语义相关性。虽然有现有的工作检测答案的相关性给出了文本提示,很少有以前的研究已经完成,将视觉写作提示。我们提出了一个神经架构和几个扩展用于检测对视觉提示的离题反应,并在语言学习者编写的文本数据集上对其进行评估。
2017-07-17 cs.CL cs.LG cs.NE
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs(SHL实验室)
针对自动作文评分系统难以识别跑题作答的问题,提出带主题正则化模块的无监督AOES模型,结合混合损失训练与马氏距离实现评分与跑题检测,性能优于基线与传统方法,且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
When Numbers Tell Half the Story: Human-Metric Alignment in Topic Model Evaluation
Université de Lorraine, CNRS, LORIA(洛林大学、法国国家科学研究中心、LORIA);Université de Strasbourg(斯特拉斯堡大学);Université de Sherbrooke(Sherbrooke大学)
本文提出TWM任务,通过评估跨主题差异性,弥补现有自动度量与人类判断的差距,适用于领域特定语料的评估。
2026-03-02 cs.AI cs.CL cs.LG
Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis
University of Maryland(马里兰大学);Morgan State University(摩根州立大学);nist(美国国家标准与技术研究院)
本文首次在交互式内容分析任务中系统比较神经、有监督和经典主题模型,发现上下文神经主题模型综合表现最佳,而LDA在模拟和用户研究中与部分NTMs相当,表明现有自动评估指标无法全面反映主题模型的实际任务能力。
2024-02-20 cs.CL cs.CY cs.HC
Assessing COVID-19 Impacts on College Students via Automated Processing of Free-form Text
University Of South Florida(南佛罗里达大学);Northern Illinois University(北伊利诺伊大学);Ajivar LLC(Ajivar有限责任公司)
在本文中,我们报告了通过处理大学生生成的自由格式文本来评估COVID-19对大学生影响的实验结果。通过自由形式的文本,我们指的是大学生(就读于四年制美国大学)通过专门设计的应用程序发布的文本条目,以评估和改善他们的心理健康。使用一个数据集,包括超过9000个文本条目,从1451名学生收集了超过四个月(分为前和后COVID-19),并建立了NLP技术,a)我们评估了学生最感兴趣的主题如何在前和后COVID-19之间变化,b)我们评估了学生在前和后COVID-19之间在每个主题中表现出的情绪。我们的分析显示,在COVID-19之后,教育等主题对学生的重要性明显降低,而健康则变得更加流行。我们还发现,在所有主题中,学生在COVID-19后的负面情绪比COVID-19前高得多。我们希望我们的研究能够对高等教育的政策制定者产生影响,包括大学管理人员,教师,家长和心理健康顾问。
2020-12-17 cs.AI cs.CL cs.IR
Plug-and-Blend: A Framework for Controllable Story Generation with Blended Control Codes
Georgia Institute of Technology(佐治亚理工学院)
大型预训练神经语言模型(LM)具有非常强大的文本生成能力。然而,在实践中,他们很难控制创造性的目的。我们描述了一个即插即用可控的语言生成框架,即插即用混合,它允许人类用户输入多个控制代码(主题)。在自动故事生成的上下文中,这允许人类用户对将出现在生成的故事中的主题和它们之间的过渡进行松散或细粒度的控制,并且甚至可以允许重叠、混合的主题。自动化评估显示,我们的框架,与不同的生成LM,控制对给定的连续加权控制代码的生成,同时保持生成的句子流畅,表现出强大的混合能力。人类参与者的评估表明,生成的故事在两个主题之间明显过渡。
2021-07-28 cs.AI cs.CL cs.HC
Transfer Topic Labeling with Domain-Specific Knowledge Base: An Analysis of UK House of Commons Speeches 1935-2014
Clemson University(克莱姆森大学);King’s College London(伦敦国王学院);University of Essex(埃塞克斯大学)
主题模型被广泛应用于自然语言处理中,使研究人员能够估计文档集合中的潜在主题。大多数主题模型使用无监督的方法,因此需要附加有意义的标签到估计的主题的额外步骤。这种手动标记的过程是不可扩展的,并且受到人为偏见的影响。我们提出了一个半自动转移主题标记方法,旨在解决这些问题。领域特定的代码本形成了自动主题标记的知识库。我们展示了我们的方法与动态主题模型分析的完整语料库的英国下议院演讲1935年至2014年,使用的编码指令的比较pronedas项目标签的主题。我们表明,我们的方法效果很好,我们估计的大多数主题,但我们也发现,机构的具体主题,特别是国家以下各级治理,需要手动输入。我们使用人类专家编码来验证我们的结果。
2018-08-27 cs.CL cs.CY
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
文档自动摘要技术的发展日趋成熟,为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档,向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本,为用户提供有用信息的过程,而多文档摘要是从一组文档中生成摘要,提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具,本文考虑了词汇衔接特征在自动文摘中的作用,并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义,然后构造词汇链,去除得分较低的词汇链,从词汇链中粗略地检测出主题,并根据主题对文本进行分割,选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明,与最先进的摘要方法相比,我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
Improving Customer Service with Automatic Topic Detection in User Emails
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究所)
本研究提出了一种基于BERTopic的自动化邮件主题检测系统,用于提升客户服务效率,实现了每封邮件0.041秒的快速准确分类,F1分数达0.96。
2025-06-06 cs.AI cs.CL cs.LG
Topic-Centric Unsupervised Multi-Document Summarization of Scientific and News Articles
Wright State University(莱特州立大学)
自然语言处理的最新进展已经实现了广泛任务的自动化,包括机器翻译、命名实体识别和情感分析。然而,文档或文档组的自动摘要仍然难以实现,许多努力仅限于提取关键字、关键短语或关键句子。由于问题的固有困难和训练数据的有限可用性,尚未实现准确的抽象概括。在本文中,我们提出了一个以主题为中心的无监督多文档摘要框架,用于为Microsoft Academic Graph(MAG)中的20个研究领域(FoS)的科学文章和DUC-2004任务2的新闻文章生成提取和抽象摘要。该算法通过开发显著语言单元选择和文本生成技术来生成抽象摘要。我们的方法在自动提取评估指标上进行评估时与最先进的方法相匹配,并且在五个人类评估指标(蕴涵,连贯性,简洁性,可读性和语法)上的抽象摘要中表现得更好。我们在两位共同作者的语言学家之间获得了0.68的Kappa评分,他们评估了我们的结果。我们计划公开分享MAG-20,这是一个人类验证的主题聚类研究文章及其摘要的黄金标准数据集,以促进抽象摘要的研究。
2020-11-03 cs.CL cs.IR cs.LG