Spectra: A Rules-Driven LLM Pipeline for Automated KYC Document Processing
Royal Bank of Canada（加拿大皇家银行）
针对KYC开户流程耗时问题，提出Spectra平台，结合规则引擎与LLM智能体，实现文档分类、提取和验证自动化，达到100%分类准确率、89.4%提取准确率，人工负担降低96%。
2026-09-23 cs.AI
Sentiment Analysis based Multi-person Multi-criteria Decision Making Methodology using Natural Language Processing and Deep Learning for Smarter Decision Aid. Case study of restaurant choice using TripAdvisor reviews
Andalusian Research Institute in Data Science and Computational Intelligence（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
决策模型的约束，采取专家评价与预定义的数字或语言术语。我们声称，使用情感分析将允许决策模型考虑专家评价自然语言。因此，我们提出了基于情感分析的多人多标准决策（SA-MpMcDM）方法，更智能的决策辅助，建立专家的评价，从他们的自然语言评论，甚至从他们的数字评级，如果他们是可用的。SA-MpMcDM方法结合了用于基于方面的情感分析的端到端多任务深度学习模型，称为DOC-ABSADeepL模型，能够识别专家评审中提到的方面类别，并提取他们的意见和标准。通过专家的注意力，通过名为标准加权的程序来汇总各个评价。我们在使用TripAdvisor评论进行餐厅选择的案例研究中评估了该方法，因此我们构建，手动注释并发布了TripR-2020餐厅评论数据集。我们分析了SA-MpMcDM方法在不同的情况下使用和不使用自然语言和数值评估。分析表明，两种信息源的组合导致更高的质量偏好向量。
2020-10-14 cs.AI cs.CL cs.LG
Automated Extraction of Number of Subjects in Randomised Controlled Trials
Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）
本文提出了一种自动提取随机对照试验（RCT）受试者数量的简单方法。我们的方法首先应用一组基于规则的技术，从文章摘要中提取候选研究规模。监督分类，然后执行的候选人与支持向量机，使用一小组的词汇，结构和上下文的功能。只有一个小的注释训练集的201个随机对照试验，我们获得了88%的准确性。我们相信该系统将有助于复杂的医疗文本处理任务，例如总结和问答。
2016-06-22 cs.AI cs.CL cs.IR
A Framework for Automated Multi-Source Satellite Data Analytics and LLM-Based Report Generation
University of Sharjah（沙迦大学）
本文提出一个基于ArcPy的自动化工具，从Landsat 7/8/9数据中提取地表温度，结合LLM进行结果解释，显著缩短处理时间并提高精度，在拉斯海马验证了其有效性。
2026-10-27 astro-ph.IM cs.AI
ShapefileGPT: A Multi-Agent Large Language Model Framework for Automated Shapefile Processing
School of Mathematics and Computer Science, Zhejiang Agriculture and Forestry University（浙江农林大学数学与计算机科学学院）；School of Earth Sciences, Zhejiang University（浙江大学地球科学学院）；Xiaohongshu（小红书）；Baichuan Inc.（百川智能）
本文提出ShapefileGPT多智能体大语言模型框架，通过规划智能体与工作智能体协同及专用函数库实现Shapefile任务自动化，在基准测试中取得95.24%的任务成功率，优于GPT系列模型，突破了传统LLMs在空间分析中的局限。
2024-10-23 cs.AI
Data Readiness for Natural Language Processing
RISE（瑞典研究院）
本文档涉及机器学习和自然语言处理背景下的数据准备。它描述了组织如何识别、提供、验证和准备数据，以促进自动化分析方法。该文件的内容基于我们作为应用研究机构在工作中遇到的实际挑战和常见问题，帮助公共和私营部门的组织和公司在其业务流程中使用数据。
2020-09-30 cs.AI cs.CL cs.CY
Advancing Automated Ethical Profiling in SE: a Zero-Shot Evaluation of LLM Reasoning
University of L'Aquila（拉奎拉大学）；Gran Sasso Science Institute（格兰萨索科学研究所）
该研究提出全自动化框架，在零样本设置下用30个现实伦理场景评估16款大语言模型的伦理推理能力，发现模型与伦理专家判断的一致性较高，具备作为软件工程流程中伦理推理引擎的潜力，可支撑自动化伦理画像。
2025-10-01 cs.AI cs.SE
Multiple-Choice Question Generation: Towards an Automated Assessment Framework
Cambridge University（剑桥大学）
自动生成问题是实现英语理解能力个性化评价的重要途径。最近，基于transformer的预训练语言模型已经证明了从上下文段落中产生适当问题的能力。通常，这些系统是使用基于n-gram的度量或手动定性评估来针对手动生成的问题的参考集进行评估的。在这里，我们专注于一个完全自动化的多项选择题生成（MCQG）系统，问题和可能的答案必须从上下文段落中生成。应用基于n-gram的方法对于这种形式的系统是具有挑战性的，因为参考集不太可能捕获所有可能的问题和答案选项。相反，手动评估的规模差，是昂贵的MCQG系统开发。在这项工作中，我们提出了一套性能标准，评估不同方面的兴趣所产生的多项选择题。这些品质包括：语法正确性，可回答性，多样性和复杂性。这些指标的初始系统进行了描述，并单独评估标准的多项选择阅读理解语料库。
2022-09-23 cs.AI cs.CL
LLM Agents for Automated Post-Training via Structured Recipe Optimization
University of Oxford（牛津大学）；LIGHTSPEED（光速（腾讯旗下机构））；University of Cambridge（剑桥大学）
该研究提出结构化配方优化（SRO）范式，通过适配任务的配方空间设计器与多域配方优化器，实现LLM自动后训练，在多模型多基准实验中性能优于基线方法。
2026-10-14 cs.AI cs.LG
SignalLLM: A General-Purpose LLM Agent Framework for Automated Signal Processing
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院）；MARS Lab, Nanyang Technological University, Singapore（南洋理工大学MARS实验室）
针对传统信号处理流水线依赖专家经验、泛化性差的问题，提出通用大语言模型智能体框架SignalLLM，通过模块化分层规划与多策略执行，在少样本/零样本场景下的多项信号处理任务中性能优于现有方法。
2025-10-30 cs.AI cs.LG eess.SP
Leveraging LLM Agents for Automated Optimization Modeling for SASP Problems: A Graph-RAG based Approach
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对LLM在传感器阵列信号处理领域缺乏领域知识导致自动化优化建模效果差的问题，提出基于多智能体和Graph-RAG的MAG-RAG方法，有效匹配领域知识并超越现有基准。
2025-01-30 cs.AI eess.SP
The Choice of Knowledge Base in Automated Claim Checking
ETH Zurich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）
自动索赔检查是确定索赔的真实性的任务，给出了在可信事实的知识库中找到的证据。虽然以前的工作已经采取了知识库作为给定的和优化的索赔检查管道，我们采取相反的方法-管道作为给定的，我们探索的知识库的选择。我们的第一个见解是，索赔检查管道可以转移到一个新的索赔领域，并可以访问新领域的知识库。其次，我们没有找到一个“普遍最好的”知识库-任务数据集和知识库的较高域重叠往往会产生更好的标签准确性。第三，组合多个知识库并不能提高性能，而只能使用最接近的领域知识库。最后，我们表明，索赔检查管道的选择证据的置信度得分可以用来评估知识库是否会表现良好的一组新的索赔，即使在没有地面真理标签。
2022-03-10 cs.CL
Automated Medical Report Generation for ECG Data: Bridging Medical Text and Signal Processing with Deep Learning
Zuse Institut Berlin（柏林Zuse研究所）；BIOTRONIK SE & Co KG（百多力公司）
本研究将深度学习驱动的图像描述生成技术应用于心电图数据，提出基于编码器-解码器的方法，利用医疗专业人员撰写的报告训练模型生成类临床医生解读，性能显著优于现有模型，源代码公开且具临床应用潜力。
2024-12-05 cs.AI cs.CL
Automated Detection of Non-Relevant Posts on the Russian Imageboard "2ch": Importance of the Choice of Word Representations
Chatme AI LLC（Chatme AI 有限责任公司）；Novosibirsk State University（新西伯利亚国立大学）
本研究考虑了Web论坛上的非相关帖子的自动检测问题，并讨论了解决这个问题的方法，通过近似它与给定的帖子和论坛讨论线程的开放帖子之间的语义相关性检测的任务。近似任务可以通过学习具有两个帖子的组合词嵌入的监督分类器来解决。考虑到这项任务的成功可能是相当敏感的词表示的选择，我们提出了不同的词嵌入模型的性能比较。我们训练了7个模型（Word 2 Vec，Glove，Word 2 Vec-f，Wang 2 Vec，AdaGram，FastText，Swivel），在人类判断数据集上评估了它们产生的嵌入，并比较了它们在非相关职位检测任务上的表现。为了进行比较，我们提出了一个数据集的语义相关的帖子从最流行的俄罗斯网络论坛，imageboard的“2ch”，这具有挑战性的词汇和语法功能。
2017-07-16 cs.CL
Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi
本文研究利用大型语言模型和上下文学习自动生成数学多选题的干扰项与反馈消息，并提出生成式 AI 评估指标，通过真实数据集实验揭示了该任务的改进空间与未来方向。
2024-01-11 cs.CL
Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi；Stanford University（斯坦福大学）；Kitco Design
本研究探索利用大型语言模型自动生成数学选择题干扰项，比较上下文学习与微调等方法，发现模型虽能生成有效干扰项，但难以预测学生常见错误。
2024-04-18 cs.CL
AGReE: A system for generating Automated Grammar Reading Exercises
Educational Testing Service Canada（加拿大教育考试服务中心）；Educational Testing Service（教育考试服务中心）
我们描述了AGReE系统，它需要用户提交的段落作为输入，并自动生成语法练习，可以在阅读时完成。为各种不同的语法结构生成多项选择练习项目：标点符号、冠词、连词、代词、介词、动词和名词。我们还进行了一次大规模的人类评估，大约有4,500个多项选择练习项目。我们注意到，对于95%的项目，五分之一的评分者能够确定正确答案，而对于85%的情况，评分者认为只有一个正确答案。最后，错误分析表明，评分员在标点符号和连词上犯的错误最多。
2022-11-03 cs.CL
Performance in the Courtroom: Automated Processing and Visualization of Appeal Court Decisions in France
École Polytechnique（巴黎综合理工学院）；HEC Paris（巴黎高等商学院）
人工智能技术在法律领域已经很受欢迎和重要。我们从司法判决中提取法律指标，以减少法律制度的信息不对称和接近司法的差距。我们使用NLP方法从判决中提取有趣的实体/数据，以构建律师和判决的网络。我们提出的指标排名律师的基础上，他们的经验，赢/输比和他们的网络中的律师的重要性。我们还执行社区发现的判断网络，并提出指标，以代表利用社区功能的情况下的困难。
2020-07-09 cs.AI cs.CL cs.IR
Automated Utterance Labeling of Conversations Using Natural Language Processing
The University of British Columbia（不列颠哥伦比亚大学）；Carleton University（卡尔顿大学）；Arizona State University（亚利桑那州立大学）
会话数据在心理学中是必不可少的，因为它可以帮助研究人员了解个人的认知过程，情绪和行为。话语标记是分析这类数据的常用策略。NLP算法的发展使研究人员能够自动完成这项任务。然而，心理会话数据对NLP研究人员提出了一些挑战，包括多标签分类，大量的类别和有限的可用数据。这项研究探讨了在成年过渡对话的背景下，NLP方法生成的自动标签如何与人类标签相媲美。我们提出了应对心理学研究中提出的三个常见挑战的策略。我们的研究结果表明，具有领域自适应的深度学习方法（Roberta-CON）优于所有其他机器学习方法;我们提出的分层标签系统被证明可以帮助研究人员战略性地分析会话数据。我们的Python代码和NLP模型可以在https://github.com/mlaricheva/automated_labeling上找到。
2022-08-12 cs.CL
Automated Detection and Analysis of Power Words in Persuasive Text Using Natural Language Processing
VIT Bhopal University（VIT博帕尔大学）
本文提出基于自定义词典和Python包The Text Monger的强力词自动检测方法，通过分析小说、演讲和营销材料评估强力词对情感和读者参与度的影响，为内容创作者和广告商提供实用策略。
2024-09-28 cs.CL
Transformer-based Approaches for Legal Text Processing
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Institute of Statistical Mathematics（统计数学研究所）；University of Engineering and Technology, VNU（越南国立大学工程技术学院）；National Institute of Informatics（日本国立信息学研究所）
在本文中，我们介绍了我们的方法，使用基于transformer的模型的不同问题的科利埃2021年自动法律文本处理的竞争。由于法律文件的特点以及数据量的限制，法律文件的自动处理是一项具有挑战性的任务。通过我们详细的实验，我们发现基于transformer的预训练语言模型可以很好地解决自动法律文本处理问题。我们详细描述了每个任务的处理步骤，如问题制定，数据处理和增强，预训练，微调。此外，我们还向社区介绍了两个预训练模型，它们利用了法律领域的并行翻译，NFSP和NMSP。其中，NFSP在比赛任务5中取得了最先进的成绩。虽然本文侧重于技术报告，但其方法的新颖性也可以成为使用基于transformer的模型进行自动化法律文档处理的有用参考。
2022-02-13 cs.AI cs.CL cs.NE
A Survey on Automated Fact-Checking
University of Cambridge（剑桥大学）
由于信息和错误信息在现代媒体生态系统中的传播速度，事实核查变得越来越重要。因此，研究人员一直在探索如何将事实核查自动化，使用基于自然语言处理、机器学习、知识表示和数据库的技术来自动预测索赔的真实性。在本文中，我们调查自动事实检查源于自然语言处理，并讨论其相关的任务和学科的连接。在此过程中，我们将对现有的数据集和模型进行概述，旨在统一给出的各种定义并确定共同的概念。最后，我们强调了未来研究面临的挑战。
2022-06-06 cs.CL
Sentiment Analysis with R: Natural Language Processing for Semi-Automated Assessments of Qualitative Data
情感分析是自然语言处理和计算语言学领域的一个分支学科，可用于文本文档的自动或半自动分析。这些分析的目的之一是认识到表达的态度是积极或消极的，因为它可以包含在社交媒体平台或政治文件和演讲以及虚构和非虚构文本的评论中。关于社交媒体平台上的评论分析，这是对之前关于社交媒体网络数据半自动筛选的教程的扩展。关于社交媒体评论的纵向视角以及关于虚构和非虚构文本的横截面视角，例如整本书和图书馆，可以导致大量的文本文档。通过使用具有可接受的评分者间可靠性的情感分析，可以简化和加速他们的分析。因此，本教程介绍了使用R执行情感分析的基本功能，并解释了如何逐步分析文本文档-无论其底层格式如何。所有先决条件和步骤都有详细描述，相关代码可在GitHub上获得。两个政治演讲的比较说明了一个可能的用例。
2022-06-25 cs.CL cs.CV stat.AP
Towards Dog Bark Decoding: Leveraging Human Speech Processing for Automated Bark Classification
University of Michigan（密歇根大学）；National Institute of Astrophysics, Optics and Electronics (INAOE)（国家天体物理、光学和电子研究所（INAOE））
本文提出利用在人类语音上预训练的自监督语音表示模型进行狗吠分类，在狗识别、品种、性别和上下文四个任务上显著优于基线方法。
2024-04-29 cs.CL
Improving Automated Patent Claim Parsing: Dataset, System, and Experiments
Drexel University（德雷塞尔大学）
现成的自然语言处理软件在解析专利权利要求时表现不佳，这是因为它们使用的语言不规则，而语料库是由新闻文章和通常用于训练该软件的网络构建的。为了避免积累足够大的数据集以完全重新训练专利权利要求的解析器的广泛且昂贵的过程，提出了一种通过强制词性标签校正使现有自然语言处理软件适应专利权利要求的方法。本文讨论了一个Amazon Mechanical Turk收集活动，该活动旨在生成一个公共语料库来训练这种改进的索赔解析系统，并确定了在该活动期间学到的经验教训，这些经验教训可用于未来使用AMT的NLP数据集收集活动。利用该语料库和其他专利权利要求集的实验测量了通过权利要求解析系统获得的解析性能改进。最后，在其他专利处理应用程序中的改进的权利要求解析系统的效用证明通过实验表明，改进的自动专利主题分类时，新的权利要求解析系统被用来生成的功能。
2016-05-05 cs.CL
Automated Fact Checking: Task formulations, methods and future directions
University of Sheffield（谢菲尔德大学）
最近对错误信息的关注增加了对事实核查的研究，这是一项评估索赔真实性的任务。自动化这项任务的研究已经在各种学科中进行，包括自然语言处理，机器学习，知识表示，数据库和新闻。虽然取得了实质性进展，但研究界发表的相关论文和文章往往互不了解，使用的术语也不一致，从而阻碍了理解和进一步进展。在本文中，我们调查了自动事实检查研究源于自然语言处理和相关学科，统一的任务制定和方法的论文和作者。此外，我们强调使用证据作为一个重要的区分因素，其中跨越任务的制定和方法。最后，我们提出了未来的自然语言处理研究自动事实检查的途径。
2018-09-05 cs.CL
Assessing COVID-19 Impacts on College Students via Automated Processing of Free-form Text
University Of South Florida（南佛罗里达大学）；Northern Illinois University（北伊利诺伊大学）；Ajivar LLC（Ajivar有限责任公司）
在本文中，我们报告了通过处理大学生生成的自由格式文本来评估COVID-19对大学生影响的实验结果。通过自由形式的文本，我们指的是大学生（就读于四年制美国大学）通过专门设计的应用程序发布的文本条目，以评估和改善他们的心理健康。使用一个数据集，包括超过9000个文本条目，从1451名学生收集了超过四个月（分为前和后COVID-19），并建立了NLP技术，a）我们评估了学生最感兴趣的主题如何在前和后COVID-19之间变化，b）我们评估了学生在前和后COVID-19之间在每个主题中表现出的情绪。我们的分析显示，在COVID-19之后，教育等主题对学生的重要性明显降低，而健康则变得更加流行。我们还发现，在所有主题中，学生在COVID-19后的负面情绪比COVID-19前高得多。我们希望我们的研究能够对高等教育的政策制定者产生影响，包括大学管理人员，教师，家长和心理健康顾问。
2020-12-17 cs.AI cs.CL cs.IR
Automated Fact-Checking: A Survey
Queen Mary University of London（伦敦玛丽女王大学）；Taif University（塔伊夫大学）
随着网上虚假信息的不断增长，自动事实核查近年来受到了越来越多的关注。自然语言处理（NLP）领域的研究人员通过构建事实检查数据集、设计自动事实检查管道和提出NLP方法来进一步研究不同组件的开发，为这项任务做出了贡献。本文回顾了自动事实核查的相关研究，包括索赔检测和索赔验证组件。
2021-09-23 cs.CL
Automated Information Extraction from Thyroid Operation Narrative: A Comparative Study of GPT-4 and Fine-tuned KoELECTRA
Seoul National University（首尔大学）；Ewha Womans University Medical Center（梨花女子大学医疗院）；Seoul National University Hospital and College of Medicine（首尔大学医院暨医学院）
本文比较 GPT-4 与微调 KoELECTRA 在甲状腺手术叙述信息抽取中的表现，利用 NLP 克服正则表达式难以处理自由文本和冰冻活检报告的问题。
2024-06-12 cs.CL
Generating Multiple-Choice Knowledge Questions with Interpretable Difficulty Estimation using Knowledge Graphs and Large Language Models
本文提出利用知识图谱和大语言模型生成带难度估计的多选题，通过知识图谱构建和语言模型生成相结合，实现高质量且可解释的多选题生成。
2026-04-12 cs.AI cs.CL cs.LG
A Natural Language Processing and Deep Learning based Model for Automated Vehicle Diagnostics using Free-Text Customer Service Reports
初始故障检测和诊断是提高车辆运行效率、安全性和稳定性的必要措施。近年来，许多研究调查了数据驱动的方法，以改善车辆诊断过程中使用现有的车辆数据。此外，数据驱动的方法，以加强客户服务代理的互动。在这项研究中，我们展示了一个机器学习管道，以改善自动车辆诊断。首先，自然语言处理（NLP）用于自动从自由文本故障报告（在客户致电服务部门期间生成）中提取关键信息。然后，使用深度学习算法来验证服务请求并过滤模糊或误导性的声明。最终，实现不同的分类算法来对服务请求进行分类，以便将有效的服务请求定向到相关的服务部门。所提出的模型-双向长短期记忆（BiLSTM）以及卷积神经网络（CNN）-与技术人员的能力相比，在验证服务请求方面显示出超过18%的准确性提高。此外，在预处理和特征提取阶段使用基于域的NLP技术以及基于CNN-BiLSTM的请求验证增强了梯度树提升（GTB）服务分类模型的准确性（$>25\%$），灵敏度（$>39\%$），特异性（$>11\%$）和精度（$>11\%$）。受试者工作特征曲线下面积（ROC-AUC）达到0.82。
2021-11-29 cs.CL cs.SY eess.SP
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
Automated Fidelity Assessment for Strategy Training in Inpatient Rehabilitation using Natural Language Processing
University of Pittsburgh（匹兹堡大学）
策略训练是一种多学科康复方法，教授技能，以减少中风后认知障碍患者的残疾。在随机对照临床试验中，策略训练被证明是比传统康复方法更可行和有效的促进独立性的干预措施。一个标准化的保真度评估是用来衡量坚持治疗原则，通过检查指导和指导的口头线索，在视频记录的康复会议。虽然保真度评估检测引导和直接的言语线索是有效的和可行的单网站的研究，它可以成为劳动密集型，耗时，昂贵的大型，多网站的务实试验。为了解决这一挑战，广泛的战略培训实施，我们利用自然语言处理（NLP）技术来自动化战略培训保真度评估，即，从康复疗程的视频记录中自动识别引导和定向的言语提示。我们为此任务开发了一个基于规则的NLP算法，一个长短期记忆（LSTM）模型和一个来自Transformers（BERT）模型的双向编码器表示。BERT模型的F1得分为0.8075，表现最好。该BERT模型在从一个单独的主要区域卫生系统收集的外部验证数据集上进行了验证，并获得了0.8259的F1得分，这表明BERT模型具有良好的泛化能力。这项研究的结果在心理学和康复干预研究和实践中具有广泛的前景。
2023-01-24 cs.CL
An Interdisciplinary Approach for the Automated Detection and Visualization of Media Bias in News Articles
University of Wuppertal（伍珀塔尔大学）
媒体报道对公众对事件的看法有重大影响。然而，媒体往往有偏见。使新闻文章产生偏见的一种方法是改变用词。通过词语选择自动识别偏见是具有挑战性的，主要是由于缺乏黄金标准数据集和高度的上下文依赖性。在这个研究项目中，我的目标是设计数据集和方法来识别媒体偏见。为了实现这一目标，我计划研究使用自然语言处理和深度学习的方法，同时使用心理学和语言学的模型和分析概念。第一批结果表明了跨学科研究方法的有效性。我的愿景是设计一个系统，帮助新闻读者意识到偏见造成的媒体报道差异。到目前为止，我最好的基于BERT的模型是在由远距离标签组成的更大语料库上进行预训练的，这表明远距离监督有可能成为偏见检测这一困难任务的解决方案。
2021-12-26 cs.CL
Towards Automated Classification of Attackers' TTPs by combining NLP with ML Techniques
University of Innsbruck（因斯布鲁克大学）
日益复杂和越来越多的威胁行为者以及网络攻击的速度，使得及时识别攻击对组织的安全至关重要。因此，负责安全的人员采用关于新出现的攻击、攻击者的行动过程或危害指标的各种各样的信息源。然而，大量所需的安全信息是以非结构化文本形式提供的，这使得自动和及时提取攻击者的战术、技术和程序（TTP）变得复杂。为了解决这个问题，我们系统地评估和比较不同的自然语言处理（NLP）和机器学习技术用于安全信息抽取的研究。根据我们的调查，我们提出了一个数据处理管道，自动分类非结构化文本根据攻击者的战术和技术来自对手的战术，技术和程序的知识库。
2022-07-18 cs.CL cs.CR
Bias in Automated Speaker Recognition
Delft University of Technology（代尔夫特理工大学）
自动说话人识别使用数据处理来通过语音识别说话人。如今，自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用，并且已知偏见的来源，但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见，在机器学习开发工作流程的说话人验证，语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源，我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段，包括数据生成，模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人，他们的表现明显下降。利用我们的研究结果的见解，我们为减轻自动说话人识别中的偏见提出了实用的建议，并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
AutoLogi: Automated Generation of Logic Puzzles for Evaluating Reasoning Abilities of Large Language Models
Alibaba Group（阿里巴巴集团）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）
提出自动生成开放式逻辑谜题的方法AutoLogi，通过程序验证和难度控制构建双语基准，更准确评估LLM推理能力，性能范围35%-73%优于多项选择的21%-37%，并可生成训练数据增强推理。
2025-02-24 cs.CL
NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods
Telfer School of Management, University of Ottawa（渥太华大学泰尔弗管理学院）
本文综述了自动化过程提取领域，指出ML/DL方法正越来越多地用于NLP组件且优于经典规则方法，但缺乏黄金标准标注数据集阻碍了客观评估与模型训练，并探讨了LLM在该领域的初步应用与发展前景。
2024-09-10 cs.CL
NeuraHealth: An Automated Screening Pipeline to Detect Undiagnosed Cognitive Impairment in Electronic Health Records with Deep Learning and Natural Language Processing
Massachusetts General Hospital（麻省总医院）；McCance Center for Brain Health（麦坎斯大脑健康中心）
痴呆相关的认知障碍（CI）是一种神经退行性疾病，影响全球超过5500万人，并以每3秒一个新病例的速度快速增长。全球75%的病例未被诊断，其中90%发生在低收入和中等收入国家，估计全球每年的成本为1.3万亿美元，预计到2030年将达到2.8万亿美元。由于无法治愈，临床试验反复失败，缺乏早期诊断，死亡率为100%。电子健康记录（EHR）中的信息可以为CI的早期检测提供重要线索，但专家的手动审查是繁琐且容易出错的。已经提出了几种计算方法，然而，他们缺乏对复杂的语言结构的EHR的语言上下文的增强的理解。因此，我提出了一个新的，更准确的框架，神经健康，以确定谁没有早期诊断的患者。在NeuraHealth中，我使用来自Mass General Brigham BioBank的患者EHR，微调了一个基于双向注意力的深度学习自然语言处理模型来对序列进行分类。序列预测用于生成结构化特征作为患者水平正则化逻辑回归模型的输入。这种两步框架创建了高维度，优于所有现有的最先进的计算方法以及临床方法。此外，我将这些模型集成到一个现实世界的产品，一个网络应用程序，以创建一个自动化的EHR筛查管道，用于可扩展和高速发现EHR中未检测到的CI，使早期诊断在医疗设施和医疗服务稀缺的地区变得可行。
2022-06-20 cs.CL
DocAgent: A Multi-Agent System for Automated Code Documentation Generation
Meta AI
针对现有LLM代码文档生成不完整、不准确的问题，提出多智能体协作系统DocAgent，采用拓扑代码处理构建上下文，由专门智能体协作生成文档，实验表明其显著优于基线，并验证了拓扑处理顺序的关键作用。
2025-05-23 cs.AI cs.CL cs.LG
AutoTestForge: A Multidimensional Automated Testing Framework for Natural Language Processing Models
Xidian University（西安电子科技大学）；University of Southampton（南安普顿大学）
本文提出AutoTestForge框架，利用大语言模型自动生成测试用例并通过多模型投票保证质量，从分类法、公平性和鲁棒性三个维度评估NLP模型，在情感分析和语义文本相似度任务上取得了优于现有工具的错误检测率。
2025-03-07 cs.CL cs.CR cs.SE
Classification errors distort findings in automated speech processing: examples and solutions from child-development research
University of Missouri（密苏里大学）；University of Wuppertal（伍珀塔尔大学）；Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；EHESS（法国高等社会科学研究院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；Australian National University（澳大利亚国立大学）
本文研究了分类错误对自动语音处理中测量和统计推断的影响，提出了一种贝叶斯方法来评估和恢复这些误差，以提高儿童语言发展研究的准确性。
2026-02-19 cs.CL cs.LG stat.AP
Automated Extraction of Records of Processing Activities (RoPA) Using Hybrid RAG and Locally Deployed Large Language Models
Academy of Cryptography Techniques（密码技术学院）；Government Cipher Committee（政府密码委员会）；Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学）；Vietnam National University Ho Chi Minh City（越南胡志明市国家大学）
针对越南RoPA合规需求，提出RoPA Manager系统，结合混合检索与本地LLM自动提取处理活动记录，构建基准并验证了本地模型与云模型性能相当。
2026-09-24 cs.CL cs.CR cs.IR
Automated Answer Validation using Text Similarity
IBM Research India（IBM印度研究院）；Tata Consultancy Services（塔塔咨询服务公司）
本文面向自动化答案验证，实现 Siamese neural network 监督模型，提出泛化的文本相似度方案，并与同类方法比较。
2024-01-13 cs.CL cs.IR
A Review of Automated Speech and Language Features for Assessment of Cognitive and Thought Disorders
Arizona State University（亚利桑那州立大学）
人们普遍认为，从分析语音（声学信号）和语言产生（单词和句子）中获得的信息是了解个人认知能力健康状况的有用窗口。事实上，大多数神经心理学测试组合都有一个与言语和语言相关的组成部分，临床医生从患者那里引出言语，以便在广泛的维度上进行主观评估。随着语音信号处理和自然语言处理的发展，最近人们对开发检测认知语言功能中更细微变化的工具产生了兴趣。这项工作依赖于从记录和转录的语音中提取一组特征，用于语音和语言的客观评估，神经系统疾病的早期诊断以及诊断后的疾病跟踪。重点是认知和思维障碍，在本文中，我们提供了现有的语音和语言功能在这一领域的审查，讨论其临床应用，并突出其优点和缺点。从广义上讲，综述分为两类：基于自然语言处理的语言特征和基于语音信号处理的语音特征。在每一个类别中，我们考虑的功能，旨在衡量认知语言学，包括语言多样性，句法复杂性，语义连贯性和时间的互补维度。最后，我们提出了新的研究方向，以进一步推进该领域的审查。
2019-11-05 cs.CL cs.SD eess.AS
