Human Evaluation and Correlation with Automatic Metrics in Consultation Note Generation
Babylon（巴比伦（医疗公司））；University of Aberdeen（阿伯丁大学）
近年来，机器学习模型在生成临床咨询笔记方面已经迅速变得更好;然而，关于如何正确评估生成的咨询笔记以了解它们可能对使用它们的临床医生和患者的临床安全产生的影响的工作很少。为了解决这个问题，我们提出了一项广泛的咨询笔记人类评估研究，其中5名临床医生（i）听取57次模拟咨询，（ii）编写自己的笔记，（iii）后编辑许多自动生成的笔记，以及（iv）提取所有错误，包括定量和定性错误。然后，我们进行了相关性研究与18个自动质量指标和人类的判断。我们发现，一个简单的，基于字符的Levenshtein距离度量执行标准杆，如果不是更好地比常见的基于模型的指标，如BertScore。我们所有的发现和注释都是开源的。
2022-04-01 cs.CL
Automatic Identification of Sarcasm Target: An Introductory Approach
IIT-BHU (Varanasi)（印度理工学院（瓦拉纳西））；IIT Bombay（印度理工学院孟买分校）；Monash University（蒙纳士大学）；IITB-Monash Research Academy（印度理工学院孟买分校-蒙纳士研究学院）
过去在计算讽刺的工作主要涉及讽刺检测。本文介绍了一个新颖的相关问题：讽刺目标识别，即，在讽刺的句子中提取嘲笑的目标）。我们提出了一个介绍性的方法，讽刺目标识别。我们的方法采用两种类型的提取器：一个基于规则，另一个由统计分类器。为了比较我们的方法，我们使用了两个基线：一个是朴素的基线，另一个是基于情感目标识别的基线。我们进行我们的实验，书籍片段和推文，并表明，我们的混合方法比两个基线，也比单独使用两个提取器。我们的介绍性方法建立了讽刺目标识别的可行性，并将作为未来工作的基线。
2017-08-25 cs.CL
Towards automatic identification of linguistic politeness in Hindi texts
Dr. Bhim Rao Ambedkar University（比姆·拉奥·安贝德卡博士大学）
在本文中，我提出了一个分类的自动识别语言礼貌印地语文本。我已经使用了超过25,000条博客评论的手动注释语料库来训练SVM。本文运用话语礼貌和插入礼貌的研究方法，阐述了印地语中规范的、规约化的礼貌结构。可以看出，使用这些手动识别的结构作为训练SVM的特征，显着提高了测试集上的分类器的性能。经过训练的系统提供了超过77%的显着高准确度，这是人类准确度的2%以内。
2021-11-30 cs.CL
Comparing representations of long clinical texts for the task of patient note-identification
Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；Data Science Platform, Imagine Institute（伊马金研究所数据科学平台）；Hôpital Universitaire Necker-Enfants Malades（内克尔-恩范茨-马拉德大学医院）；Assistance Publique - Hôpitaux de Paris (APHP)（巴黎公共医疗援助医院集团）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用实验室）；INESC-ID（里斯本大学学院计算机与系统工程研究中心）；Instituto Superior Técnico（里斯本高等技术学院）；Universidade de Lisboa（里斯本大学）
本文针对患者笔记识别任务，比较了HAN、HTN、LongFormer及BERT等嵌入方法与池化策略，发现BERT结合mean_max池化在处理长临床文本和捕捉患者级表示上效果最优，并在MIMIC和Necker数据上验证了泛化性。
2025-03-31 cs.CL
Towards Automatic Generation of Shareable Synthetic Clinical Notes Using Neural Language Models
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；IBM Almaden Research Center（IBM阿尔马登研究中心）
大规模的临床数据对于推动当今许多计算科学的进步是非常宝贵的。然而，对患者隐私的担忧阻碍了此类数据的公开传播，并导致了次优的孤立研究。去识别方法试图解决这些问题，但被证明是容易受到对抗攻击。在这项工作中，我们专注于存储在临床笔记中的大量非结构化自然语言数据，并提出自动生成合成临床笔记，这些笔记更适合使用在真实去识别记录上训练的生成模型进行共享。为了评估这些笔记的优点，我们测量了它们的隐私保护特性以及在训练临床NLP模型中的实用性。使用神经语言模型的实验产生的笔记，其效用接近的一些临床NLP任务的真实的，但留下足够的空间，为未来的改进。
2019-05-21 cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg（汉堡大学）；International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）；City University of Hong Kong（香港城市大学）
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统，自动编辑文本，使其更好地坚持学术写作风格。在现有的学术资源，如当代美国英语语料库（COCA）的学术词汇表，新的学术词汇表，和学术搭配表，我们还探讨了如何动态地建立这样的资源，将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译，这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别（IWI），学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名，我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念（CoInCO）“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数，显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源，写作辅助工具。
2020-03-05 cs.CL
Automatic Identification of Closely-related Indian Languages: Resources and Experiments
Dr. Bhim Rao Ambedkar University（比姆·拉奥·安贝德卡尔博士大学）；Jadavpur University（贾达普大学）；Rutgers University（罗格斯大学）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
在本文中，我们讨论了一个尝试，以开发一个自动语言识别系统，为5个密切相关的印度-雅利安语的印度，阿瓦地，Bhojpuri，Braj，印地语和Magahi。我们从各种资源中为这些语言编制了一个长度不等的可比语料库。我们详细讨论了这些语料库的创建方法。使用这些语料库，语言识别系统的开发，目前给出的最先进的准确率为96.48%。我们还利用这些语料库研究了这5种语言在词汇水平上的相似性，这是第一次基于数据的研究这些语言的接近程度。
2018-03-26 cs.CL
Automatic Identification of Arabic expressions related to future events in Lebanon's economy
Lebanese University（黎巴嫩大学）
在本文中，我们提出了一种方法来自动识别未来的事件，在黎巴嫩的经济从阿拉伯语文本。挑战有三个方面：首先，我们需要建立一个涵盖黎巴嫩经济的阿拉伯语文本语料库;其次，我们需要研究未来事件如何在这些文本中以语言表达;第三，我们需要相应地自动识别相关的文本片段。我们将验证这种方法上构造的语料库形式的网络，并表明它有非常有前途的结果。为此，我们将使用SLCSAS，一个基于上下文浏览器方法的语义分析系统，以及“AlKhalil Morpho Sys”系统进行形态句法分析。
2018-05-29 cs.CL
UoB at SemEval-2020 Task 1: Automatic Identification of Novel Word Senses
University of Birmingham（伯明翰大学）
随着语言使用的社会环境的变化，语言也在不断发展，以适应使用者的需求。词汇语义变化分析是一个新兴的语义分析领域，其目的是跟踪词义随时间的变化。提出了一种适用于新词义识别的基于贝叶斯词义归纳的词义变化检测方法。该方法用于SemEval-2020任务1的提交，该任务表明该方法能够执行SemEval任务。同样的方法也适用于从15年的Twitter数据中收集的语料库，其结果然后用于识别可能是俚语的单词。
2020-10-18 cs.CL
A preliminary study on evaluating Consultation Notes with Post-Editing
Babylon Health（巴比伦健康公司）；University of Aberdeen（阿伯丁大学）
自动摘要有可能帮助医生简化文书工作，如做笔记。但是，要评估这些系统并证明它们在临床环境中使用是安全的是非常困难的。为了规避这个问题，我们提出了一个半自动的方法，医生后编辑生成的笔记提交之前。我们进行了初步的研究，以节省时间的自动生成的咨询记录与后期编辑。我们的评估人员被要求听取模拟磋商，并对生成的三份笔记进行后期编辑。我们计时，发现这比从头开始写笔记要快。我们提出的见解和经验教训，从这个实验。
2021-04-09 cs.CL
How We Refute Claims: Automatic Fact-Checking through Flaw Identification and Explanation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对现有自动事实核查在应对复杂现实谣言上的不足，该研究提出面向缺陷的事实核查新任务，推出专用框架RefuteClaim，构建FlawCheck数据集，实验验证了其在虚假主张分类与解释上的有效性。
2024-01-27 cs.CL
Rare Disease Identification from Clinical Notes with Ontologies and Weak Supervision
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Health Data Research UK（英国健康数据研究所）
由于可用于机器学习的病例很少，并且需要临床专家进行数据注释，因此使用自然语言处理（NLP）从临床笔记中识别罕见疾病具有挑战性。我们提出了一种使用本体和弱监督的方法。该方法包括两个步骤：（i）文本到UMLS，将文本提及链接到统一医学语言系统（UMLS）中的概念，使用命名实体链接工具（例如SemEHR）和基于自定义规则和基于上下文表示的双向编码器表示（Transformers（BERT））的弱监督，以及（ii）UMLS到ORDO，将UMLS概念与孤儿罕见病本体（ORDO）中的罕见病匹配。使用MIMIC-III美国重症监护出院摘要作为案例研究，我们表明，文本到UMLS过程可以大大改善与弱监督，没有任何注释的数据，从领域专家。我们的分析表明，整个管道处理出院摘要可以显示罕见病病例，这些病例大多未在入院的手动ICD代码中捕获。
2021-07-29 cs.CL
Themes of Revenge: Automatic Identification of Vengeful Content in Textual Data
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Emory University（埃默里大学）；Byram Hills High School（拜拉姆希尔斯高中）
据报道，复仇是一种强大的动力，是从校园枪击事件到右翼恐怖分子等各种单独肇事者行为的基础。在本文中，我们开发了一种自动化的方法来识别文本数据中的错误主题。在四个数据集上测试该模型（来自社交媒体、校园枪击案、右翼恐怖分子和伊斯兰恐怖分子的可疑文本），我们给出了有希望的结果，即使在极端不平衡的数据集上测试该方法。本文不仅提出了一个简单而强大的方法，可用于筛选单独的肇事者，但也验证了简单的理论模型的报复。
2022-05-03 cs.CL
Automatic Language Identification in Texts: A Survey
The University of Helsinki（赫尔辛基大学）；The University of Melbourne（墨尔本大学）；University of Wolverhampton（伍尔弗汉普顿大学）
语言识别（LI）是确定文档或其部分所用的自然语言的问题。自动LI已经被广泛研究了五十多年。如今，LI是许多文本处理流水线的关键部分，因为文本处理技术通常假定输入文本的语言是已知的。这方面的研究最近特别活跃。本文简要介绍了李学研究的历史，并对李学研究的特点和方法进行了广泛的调查。为了描述的功能和方法，我们介绍了一个统一的符号。我们讨论评估方法，LI的应用，以及现成的LI系统，不需要最终用户的培训。最后，我们确定了开放的问题，调查的工作，到目前为止，对每个问题，并提出未来的研究方向在LI。
2018-11-21 cs.CL
Automatic Identification of Motivation for Code-Switching in Speech Transcripts
The Harker School（哈克学校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
语码转换或语言之间的转换有多种原因，并具有重要的语言学、社会学和文化意义。使用多种语言的人会出于各种目的进行语码转换，如表达情感、借用术语、开玩笑、引入新话题等。语码转换的原因可能对分析很有用，但并不明显。为了纠正这种情况，我们注释了一个新的数据集的动机在西班牙语-英语的代码转换。我们建立了第一个系统（据我们所知）来自动识别说话者在日常讲话中进行代码转换的各种动机，在所有动机中实现了75%的准确率。此外，我们表明，该系统可以适应新的语言对，实现66%的准确率对一个新的语言对（印度语-英语），证明了跨语言的适用性，我们的注释计划
2022-11-30 cs.CL
Reliable Automated Triage in Spanish Clinical Notes: A Hybrid Framework for Risk-Aware HIV Suspicion Identification
Dept. of Lenguajes y Sistemas Informáticos, Escuela Técnica Superior de Ingeniería Informática, Universidad Nacional de Educación a Distancia (UNED)（语言与系统信息学系，信息工程技术学校，国家远程教育大学（UNED））；Dept. Informática y Estadística, Escuela Técnica Superior de Ingeniería Informática, Universidad Rey Juan Carlos (URJC)（信息与统计学系，信息工程技术学校，皇家胡安·卡洛斯大学（URJC））
本文提出一种混合框架，用于在西班牙临床笔记中识别HIV怀疑，通过分离随机不确定性和epistemic不确定性，提高分诊的可靠性。
2026-05-20 cs.CL
Feature-Augmented Neural Networks for Patient Note De-identification
SUNY Albany（纽约州立大学奥尔巴尼分校）；MIT（麻省理工学院）
患者记录包含医学调查人员可能非常感兴趣的大量信息。然而，为了保护患者的隐私，受保护的健康信息（PHI）必须从患者笔记中删除，然后才能合法发布，这一过程称为患者笔记去识别。去识别系统的主要目标是具有尽可能高的召回率。最近，第一个基于神经网络的去识别系统已经被提出，产生了最先进的结果。与其他系统不同的是，它不依赖于人类工程特征，这使得它能够快速部署，但不利用人类专家或电子健康记录（EHR）的知识。在这项工作中，我们探索了一种方法，将人类工程的功能，以及来自EHR的功能，以神经网络为基础的去识别系统。我们的研究结果表明，添加的功能，特别是EHR衍生的功能，进一步提高了最先进的病人笔记去识别，包括一些最敏感的PHI类型，如病人的名字。由于在现实生活中，患者笔记通常与EHR一起提供，因此我们建议去识别系统的开发人员利用EHR包含的信息。
2016-10-30 cs.CL cs.NE stat.ML
Verifying Claims About Metaphors with Large-Scale Automatic Metaphor Identification
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
本文利用Common Crawl语料和自动隐喻检测，大规模验证动词隐喻的语言学论断，发现隐喻动词的直接宾语在具体性、可意象性和熟悉度上更低，且更常出现在情感与主观句中。
2024-04-01 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Microsoft Research India（微软研究院印度分部）
本文提出基于社交媒体信号识别单词被借用可能性的计算方法，其预测表现优于基线两倍多，并发现88%的外来语标签应被替换为母语标签，揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
Automatic Detection of Fake News
University of Michigan（密歇根大学）；University of Amsterdam（阿姆斯特丹大学）
误导性信息在社交媒体、新闻博客和在线报纸等日常访问媒体渠道中的扩散，使得识别值得信赖的新闻来源变得具有挑战性，从而增加了对能够提供对在线内容可靠性的见解的计算工具的需求。本文主要研究网络新闻中虚假内容的自动识别问题。我们的贡献是双重的。首先，我们介绍了两个用于假新闻检测任务的新数据集，涵盖了七个不同的新闻领域。我们详细描述了收集，注释和验证过程，并提出了几个探索性的分析，在虚假和合法的新闻内容的语言差异的识别。其次，我们进行了一系列学习实验，以构建准确的假新闻检测器。此外，我们提供了自动和人工识别假新闻的比较分析。
2017-08-23 cs.CL
The Relevance of Text and Speech Features in Automatic Non-native English Accent Identification
Iowa State University（爱荷华州立大学）
本文介绍了我们的实验与自动识别母语口音的语音样本的非英语母语者使用低级别的音频功能，和n-gram功能，从手动transmittance。使用一个公开的非母语语音语料库和简单的音频特征表示，不执行字/音素识别，我们表明，这是可能实现接近90%的分类精度为这项任务。虽然字符n-gram执行类似的语音功能，我们表明，语音功能不受提示的变化，而ngram。由于遵循的方法可以很容易地适应任何语言，只要我们有足够的训练数据，我们相信这些结果将提供有用的见解口音识别系统的发展和口音的语言学习的背景下的研究。
2018-04-16 cs.CL
Topic Identification for Speech without ASR
The Johns Hopkins University（约翰斯·霍普金斯大学）
用于语音的现代主题识别（主题ID）系统使用自动语音识别（ASR）来产生语音转录，并且对这样的ASR输出执行监督分类。然而，在资源有限的条件下，开发标准ASR系统所需的手动转录语音可能严重受限或不可用。在本文中，我们研究了替代的无监督解决方案，以获得语音标记的词汇自动发现的单词或音素类单位，而不依赖于ASR系统的监督训练。此外，使用自动音素标记，我们证明了一个基于卷积神经网络的框架学习口语文档表示提供了竞争力的性能相比，一个标准的词袋表示，证明了全面的主题ID评估单标签和多标签分类任务。
2017-07-11 cs.CL
Empowering the Fact-checkers! Automatic Identification of Claim Spans on Twitter
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Delhi（德里印度理工学院）
2019冠状病毒病（COVID-19）后，医疗和政治主张的广泛传播导致错误信息和假新闻大量增加。目前的时尚是使用人工事实检查器来有效地对这些数据进行分类和验证，以对抗这种雪崩式的索赔错误信息。然而，信息传播的速度远远超过了事实核查人员的力量。因此，为了帮助手动事实检查器消除多余的内容，自动识别和提取帖子中存在的有价值的（错误）信息片段变得至关重要。在这项工作中，我们介绍了索赔跨度识别（CSI）的新任务。我们提出了CURT，一个大规模的Twitter语料库与令牌级索赔跨度超过7.5K的推文。此外，除了标准的令牌分类基线外，我们还使用DABERTa对我们的数据集进行了基准测试，DABERTa是RoBERTa的一种基于适配器的变体。实验结果证明，DABERTa在几个评估指标上优于基线系统，提高了约1.5个点。我们还报告了详细的误差分析，以验证模型的性能以及消融研究。最后，我们发布了全面的span注释指南供公众使用。
2022-10-11 cs.CL
Automatic Aggregation by Joint Modeling of Aspects and Values
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个产品评论片段的聚合模型，通过联合方面识别和情感分析。我们的模型同时识别产品评论中呈现的一组基本的可评级方面（例如，日本餐馆的寿司和味噌），并确定每个方面的相应情绪。这种方法可以直接发现产品的高评价或不一致的方面。我们的生成模型承认一个有效的变分平均场推理算法。它也很容易扩展，我们描述了几个修改及其对模型结构和推理的影响。我们测试我们的模型上的两个任务，联合方面识别和情感分析上的一组Yelp评论和方面识别单独的一组医疗摘要。我们评估的方面识别，情感分析，和每个字的标签准确性模型的性能。我们证明，我们的模型优于适用的基线相当大的保证金，产生高达32%的相对误差减少方面的识别和高达20%的相对误差减少情感分析。
2014-01-23 cs.CL
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University（泰夫大学）
阿拉伯语方言识别是自然语言处理的一项具体任务，旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用（例如机器翻译、多语言文本到语音合成和跨语言文本生成）的第一步。因此，在过去十年中，人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中，我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先，我们要明确问题及其挑战。然后，调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此，我们回顾了传统的机器学习方法，深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外，我们说明了文献中研究的阿拉伯方言的分类，阿拉伯方言识别进行的文本处理的各个层次（例如，标记、句子和文档级别），以及可用的注释资源，包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
De-identification of Patient Notes with Recurrent Neural Networks
MIT（麻省理工学院）；SUNY Albany（纽约州立大学奥尔巴尼分校）
目的：电子健康记录（EHR）中的患者记录可能包含医学调查的关键信息。然而，绝大多数医学调查人员只能访问去身份化的笔记，以保护患者的机密性。在美国，《健康保险携带和责任法案》（Health Insurance Portability and Accountability Act，HIPAA）定义了18种类型的受保护健康信息（Protected Health Information，PHI），这些信息需要被删除以去识别患者记录。考虑到EHR数据库的规模，有限数量的研究人员可以访问未去识别的笔记，以及人类注释者的频繁错误，手动去识别是不切实际的。因此，一个可靠的自动去识别系统将具有很高的价值。材料与方法：我们介绍了第一个去识别系统的基础上，人工神经网络（ANN），它不需要手工制作的功能或规则，不像现有的系统。我们在两个数据集上比较了该系统与最先进系统的性能：i2b2 2014去识别挑战数据集，这是最大的公开去识别数据集，以及MIMIC去识别数据集，我们组装的数据集是i2b2 2014数据集的两倍。结果：我们的ANN模型优于最先进的系统。它在i2b2 2014数据集上的F1得分为97.85，召回率为97.38，精度为97.32，在MIMIC去识别数据集上的F1得分为99.23，召回率为99.25，精度为99.06。结论：我们的研究结果支持使用人工神经网络去识别病人的笔记，因为他们表现出更好…
2016-06-10 cs.AI cs.CL cs.NE
FrameNet automatic analysis : a study on a French corpus of encyclopedic texts
Orange Labs（奥兰治实验室）；Aix-Marseille Université（艾克斯-马赛大学）
本文介绍了一个自动框架分析系统的评价语料库的法国百科全书的历史文本注释根据FrameNet形式主义。所选择的方法依赖于一个集成的序列标记模型，共同优化帧识别和语义角色分割和识别。本研究的目的是从多个维度分析任务复杂性。因此，我们从特征选择的角度和数据的角度提供了详细的评估。
2018-12-19 cs.CL
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University（约翰斯·霍普金斯大学）；Brno University of Technology（布尔诺理工大学）；Raytheon BBN Technologies（雷神BBN技术公司）
自动语音识别（ASR）系统通常需要针对资源极低的语言来开发，以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时，考虑通用电话识别是很自然的，但是还需要研究使用非常少量（几分钟而不是几小时）的转录语音来适应通用电话模型，特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架，并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序，它采用了通用的电话建模方法ASR，并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation
Babylon（巴比伦）；University of Aberdeen（阿伯丁大学）；ADAPT Research Centre, Dublin City University（都柏林城市大学ADAPT研究中心）
由于输出质量的许多方面固有的主观性质，评估自动生成的文本通常是困难的。这种困难在自动会诊记录生成中由于医学专家之间关于哪些患者陈述应包括在所生成的记录中以及关于它们各自在得出诊断中的重要性的不同意见而变得复杂。以前的笔记生成系统的真实世界的评估看到专家评估员之间的实质性分歧。在本文中，我们提出了一个协议，旨在提高客观性接地评估咨询清单，这是在初步步骤中创建，然后作为一个共同的参考点，在质量评估。在使用该协议的第一次评估研究中，我们观察到注释者之间的协议水平良好;此外，与使用原始人类注释相比，使用研究中产生的咨询检查表作为ROUGE或BERTScore等自动度量的参考，提高了它们与人类判断的相关性。
2022-11-17 cs.CL
Automatic detection of diseases in Spanish clinical notes combining medical language models and ontologies
CTIC Centro Tecnológico（CTIC技术中心）
提出融合大型语言模型与医学本体的混合方法，从西班牙语初诊或复诊报告中检测皮肤科病理，并通过有序学习类型、严重程度和部位取得最优分类性能。
2024-12-04 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab（语言建模计算方法实验室）；New York University Abu Dhabi（纽约大学迪拜分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学多哈分校）
本文研究阿拉伯方言文本规范化（CODAfication）任务，通过在预训练序列到序列模型中利用方言识别信息，提升了五种城市方言的规范化性能，并公开了代码、数据和模型。
2024-07-03 cs.CL
MIMICause: Representation and automatic extraction of causal relation types from clinical notes
Accenture Labs（埃森哲实验室）；Indian Institute of Science（印度科学学院）；Arizona State University（亚利桑那州立大学）；Duke University（杜克大学）
理解临床笔记中传达的因果叙述可以帮助向个性化医疗保健迈进。从临床记录中提取的因果信息可以与结构化的EHR数据相结合，例如患者的人口统计学，诊断和药物。这将提高医疗保健提供者识别临床记录中传达的患者故事的各个方面的能力，并帮助做出更明智的决策。在这项工作中，我们提出了注释指南，开发一个注释语料库，并提供基线分数，以确定类型和方向之间的因果关系的一对生物医学概念的临床笔记;传达隐含或明确，确定在一个单一的句子或跨多个句子。我们注释了从2018年n2 c2共享任务数据集中采样的总共2714个去识别示例，并训练了四种不同的基于语言模型的架构。基于我们的指南的注释实现了较高的注释者间一致性，即Fleiss kappa（$κ$）评分为0.72，我们的因果关系识别模型在测试数据上实现了0.56的宏观F1评分。临床文本的高注释者间一致性显示了我们注释指南的质量，而提供的基线F1评分为未来研究理解临床文本中的叙述设定了方向。
2022-03-14 cs.CL
Adverse Childhood Experiences Identification from Clinical Notes with Ontologies and NLP
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
不良童年经历（ACE）被定义为在整个童年和/或青春期发生的高度压力和潜在创伤性事件或环境的集合。它们已被证明与晚年精神健康疾病或其他异常行为的风险增加有关。然而，利用自然语言处理（NLP）从自由文本电子健康记录（EHR）中识别ACE具有挑战性，因为（a）没有NLP就绪的ACE本体;（b）可用于机器学习的病例有限，需要临床专家的数据注释。我们目前正在开发一种工具，它将使用NLP技术来帮助我们从临床笔记中发现ACE。这将使我们能够进一步研究确定ACE与精神疾病后续发展之间关系的证据（例如，成瘾）在大规模和纵向自由文本EHR，这是以前不可能的。
2022-08-24 cs.CL cs.LG
Basis Identification for Automatic Creation of Pronunciation Lexicon for Proper Names
Tata Consultancy Services（塔塔咨询服务公司）
开发一个专有名词发音词典通常是一个不可避免的手工努力。在文献中，字形到音素（G2P）转换模块通常是基于规则的，并且最适合特定语言中的非专有名称。专有名称对于G2P模块来说是外来的。我们遵循一个优化的方法，使专有名词发音词典的自动构建。这个想法是构造一个小的正交词集（基础），它可以跨越给定数据库中的名称集。我们提出了两个算法的建设，这个基础。一个数据库中所有专有名称的转录词典可以通过仅对一小部分基本词进行人工转录而产生。我们首先构造一个成本函数，并表明，成本函数的最小化结果的基础。我们推导出这个成本函数的收敛条件，并在一个非常大的专有名称数据库上进行实验验证。实验结果表明，该方法可以通过对少量基本词的转录来实现。所提出的算法是通用的和独立的语言，但性能更好，如果专有名称具有相同的起源，即，相同的语言或地理区域。
2014-06-05 cs.CL
Clinical Utility of the Automatic Phenotype Annotation in Unstructured Clinical Notes: ICU Use Cases
Imperial College London（帝国理工学院）；Pangaea Data Limited；Queen Mary University of London（伦敦玛丽女王大学）；Hong Kong Baptist University（香港浸会大学）
目的：临床记录包含其他地方没有的信息，包括药物反应和症状，所有这些在预测急性护理患者的关键结局时都非常重要。我们提出了从临床笔记中自动注释表型的方法来捕获基本信息，这是对通常使用的生命体征和实验室检查结果的补充，以预测重症监护室（ICU）的结果。研究方法：我们开发了一种新的表型注释模型来注释患者的表型特征，然后将其用作预测模型的输入特征来预测ICU患者的结局。我们使用MIMIC-III数据集对超过24，000名患者的三个ICU预测任务进行实验，包括住院死亡率，生理失代偿和住院时间。结果如下：结合表型信息的预测模型预测住院死亡率达到0.845（AUC-ROC），生理失代偿达到0.839（AUC-ROC），住院时间达到0.430（Kappa），所有这些都始终优于仅利用生命体征和实验室检查结果的基线模型。此外，我们进行了全面的可解释性研究，表明表型在患者和队列水平上提供了有价值的见解。结论：所提出的方法表明，表型信息补充了传统上使用的生命体征和实验室检查结果，显著提高了ICU预后的预测。
2021-11-24 cs.CL
Automatic Identification of Subjects for Textual Documents in Digital Libraries
互联网上的电子文档数量增长非常迅速。如何有效地识别文档的主题成为一个重要的问题。以往的研究主要集中在名词在文档中的行为。虽然主语是由名词组成的，但决定哪些名词是主语的成分不仅仅是名词。基于语篇是有组织的和事件驱动的假设，名词和动词共同参与了主语识别的过程。本文考虑了四个因素：1）词的重要性，2）词频，3）词的共现，4）词的距离，并提出了一个模型来确定主题的文本文档。初步实验表明，该模型的性能接近人类。
1999-02-01 cs.CL cs.DL
Automatic Language Identification for Romance Languages using Stop Words and Diacritics
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Lyon（里昂大学）
自动语言识别是一个自然语言处理问题，它试图确定给定内容的自然语言。在本文中，我们提出了一种统计方法，用于自动语言识别的书面文本使用字典包含停用词和变音符号。我们提出了不同的方法来结合这两个词典来准确地确定文本语料库的语言。之所以选择这种方法，是因为停用词和变音符号对于一种语言来说是非常特定的，尽管有些语言有一些相似的词和专用字符，但它们并不都是通用的。考虑的语言是浪漫语言，因为它们非常相似，通常很难从计算的角度区分它们。我们已经测试了我们的方法使用Twitter语料库和新闻文章语料库。两个语料库都由UTF-8编码的文本组成，因此可以考虑变音符号，在文本没有变音符号的情况下，仅使用停止词来确定文本的语言。实验结果表明，该方法对小文本的正确率在90%以上，
2018-06-14 cs.CL cs.IR
Do Physicians Know How to Prompt? The Need for Automatic Prompt Optimization Help in Clinical Note Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Fudan University（复旦大学）
本研究提出自动提示优化框架，发现GPT4 APO能标准化临床笔记生成质量，并建议结合专家定制化的两阶段优化流程。
2024-07-05 cs.AI cs.CL
Corpus-based Method for Automatic Identification of Support Verbs for Nominalizations
名词化是大多数语言中的一种高产出现象。名词化过程是动词从句法角色转变为名词地位的过程。原动词通常被语义上空的支持动词（例如，“提出建议”）。对于一个给定的名物化，支持动词的选择是不可预测的，这给语言学习者和自然语言处理系统带来了问题。本文提出了一种从无标记语料库中通过低层次句法处理和比较动词形式和潜在名词化形式的论元来发现支持动词的方法。这一过程的结果是一个给定谓词的名物化形式的潜在支持动词列表。
1995-03-09 cmp-lg cs.CL
A survey of automatic de-identification of longitudinal clinical narratives
The University of Waikato（怀卡托大学）
在研究中使用医疗数据，也称为电子健康记录，有助于发展和推进医学科学。然而，在使用医疗数据进行分析时，保护患者的机密性和身份至关重要。医疗数据可以是表格结构（即表格）、自由形式叙述和图像的形式。本研究以自由格式纵向文本中的医学数据为研究对象。电子健康记录的去识别化提供了在不影响患者隐私的情况下将此类数据用于研究的机会，并避免了需要患者个人同意的情况。近年来，人们越来越关注开发一种准确、鲁棒和适应性强的电子健康记录自动去识别系统。这主要是由于存在大量健康数据，但由于法律和道德限制，无法在研究中使用这些数据。2014年i2 b2 UTHealth和2016年CEGS N-GRID共享任务等竞赛中的去识别轨道为推进这一领域提供了一个很好的平台。其主要原因包括数据集的开源性质以及原始精神病学数据用于2016年比赛的事实。本研究的重点是在纵向临床叙述的自动去识别开发中使用的技术的明显趋势变化。更具体地说，从仅使用基于条件随机场（CRF）的系统或仅使用基于规则（正则表达式、字典或组合）的系统，到混合模型（结合CRF和规则），以及最近到基于深度学习的系统的转变。我们回顾了2014年和2016年竞赛的文献和结果，并讨论了这些系统的结果。我们还提供了一个从这次调查中出现的研究问题列表。
2018-10-16 cs.AI cs.CL
Identification of Tasks, Datasets, Evaluation Metrics, and Numeric Scores for Scientific Leaderboards Construction
IBM Research – Ireland（IBM研究院（爱尔兰））
虽然新任务和新数据集的快节奏开始有助于促进社区中朝着有趣方向的积极研究，但跟踪不同数据集上不同领域的大量研究活动可能会变得越来越困难。社区可以大大受益于能够总结科学结果的自动系统，例如，以排行榜的形式。在本文中，我们建立了两个数据集，并开发了一个框架（TDMS-IE），旨在自动提取任务，数据集，指标和得分从自然语言处理论文，自动建设的排行榜。实验表明，我们的模型优于几个基线的大幅度。我们的模型是自动排行榜建设的第一步，例如，在NLP领域。
2019-06-21 cs.AI cs.CL
ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification
Jožef Stefan Institute（约泽夫·斯蒂芬研究所）；Center za jezikovne vire in tehnologije（语言资源与技术中心）；Univerze v Ljubljani（卢布尔雅那大学）
ChatGPT在自然语言生成任务中表现出了强大的能力，这自然会导致研究人员探索其能力的极限。在本文中，我们研究ChatGPT是否可以用于zero-shot文本分类，更具体地说，自动体裁识别。我们将ChatGPT与多语言XLM-RoBERTa语言模型进行了比较，该语言模型在数据集上进行了微调，并手动注释了流派。该模型进行了比较测试集在两种语言：英语和斯洛文尼亚语。结果表明，ChatGPT在应用于两个模型之前都没有见过的数据集时，性能优于微调模型。即使在斯洛文尼亚语作为一种资源不足的语言应用时，ChatGPT的表现也不比应用于英语时差。但是，如果模型完全以斯洛文尼亚语提示，性能会显着下降，显示ChatGPT在较小语言上使用的当前限制。所呈现的结果使我们质疑这是否是结束费力的手动注释活动的开始，即使是较小的语言，如斯洛文尼亚语。
2023-03-08 cs.CL cs.LG
SHIELD: A Diverse Clinical Note Dataset and Distilled Small Language Models for Enterprise-Scale De-identification
Stanford Medicine（斯坦福医学院）
针对现有临床去标识化基准数据集的不足，构建了包含1381份笔记、10229个PHI标注的多样化数据集SHIELD，并通过教师-学生蒸馏框架将大语言模型能力迁移至可本地部署的小模型，在标准工作站上达到0.89精确率和0.88召回率。
2026-07-02 cs.AI cs.CL
HYPE: A High Performing NLP System for Automatically Detecting Hypoglycemia Events from Electronic Health Record Notes
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低血糖症在糖尿病治疗者中很常见，而且有潜在的危险。电子健康记录（EHR）是低血糖监测的重要资源。在这项研究中，我们报告了基于深度学习的自然语言处理系统的开发和评估，以从电子病历叙述中自动检测低血糖事件。公共卫生专家注释了500名糖尿病患者的EHR笔记。我们使用这个注释数据集来训练和评估HYPE，用于低血糖检测的监督NLP系统。在我们的实验中，卷积神经网络模型在10倍交叉验证设置中产生了有前途的性能$Precision=0.96 \pm 0.03, Recall=0.86 \pm 0.03, F1=0.91 \pm 0.03$。尽管注释的数据是高度不平衡的，我们的基于CNN的HYPE系统仍然实现了高性能的低血糖检测。HYPE可用于基于EHR的低血糖监测，并帮助临床医生及时治疗高危患者。
2018-11-29 cs.AI cs.CL
Automatic Identification of Support Verbs: A Step Towards a Definition of Semantic Weight
目前词汇密度和语义权重的概念的定义是基于封闭类和开放类的词的划分，以及直觉。本文开发了一个计算上易于处理的语义权重的定义，集中在它意味着什么一个词是语义轻，定义涉及到看一个词的频率在特定的句法结构，这是指示亮度。像“make”和“take”这样的动词，当它们充当支持动词时，通常被认为是语义轻的。为了测试我们的定义，我们根据Grefenstette和Teufel（1995）的实验进行了一项实验，在该实验中，我们自动识别语料库中这些词的轻实例;这是通过将我们的频率相关的语义权重定义纳入类似于Grefenstette和Teufel的统计方法来完成的。结果表明，这是一个合理的定义语义轻的动词，这可能是扩展到定义语义轻的其他类别的话。
1995-10-26 cmp-lg cs.CL
Automatic Spoken Language Identification using a Time-Delay Neural Network
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
闭集口语识别是从一组已知语言中识别录制的音频片段中所说的语言的任务。在这项研究中，建立并训练了一个语言识别系统，以区分阿拉伯语，西班牙语，法语和土耳其语，只不过是基于记录的语音。一个预先存在的多语言数据集被用来训练一系列基于Tedmont TDNN模型的声学模型，以执行自动语音识别。该系统配备了一个定制的多语种语言模型和一个专门的发音词典，其语言名称预先加在音素之前。训练后的模型用于生成所有四种语言的测试数据的音素对齐，并且基于选择话语中最常见的语言前缀的投票方案来预测语言。通过将预测的语言与已知语言进行比较来衡量准确性，并确定在识别西班牙语和阿拉伯语方面非常高，在识别土耳其语和法语方面略低。
2022-05-19 cs.CL cs.LG cs.SD
Differentially Private De-identification of Dutch Clinical Notes: A Comparative Evaluation
Sapienza University of Rome（罗马大学）；Translated；Amsterdam UMC（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）
研究比较了差分隐私、命名实体识别和大型语言模型在荷兰临床文本去标识化中的性能，发现结合语言预处理可显著提升隐私与效用的平衡。
2026-04-23 cs.AI cs.CL cs.CR
Automatic Event Salience Identification
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
识别语篇单位的显著性（即重要性）是语言理解的一项重要任务。虽然事件在文本中扮演着重要的角色，但很少有研究分析它们的显着性状态。本文对事件显著性任务进行了实证研究，提出了基于内容相似性和基于语篇关系的两种显著性检测模型。第一个是基于特征的突显模型，它包含了话语单位之间的相似性。第二个是神经模型，它捕捉话语单位之间更复杂的关系。在我们新的大规模事件显著性语料库上进行测试，这两种方法的性能都明显优于强频率基线，而我们的神经模型进一步提高了基于特征的方法。我们的分析表明，我们的神经模型捕捉到了显着性和话语单位关系之间有趣的联系（例如，脚本和框架结构）。
2018-09-03 cs.AI cs.CL
UPB at SemEval-2022 Task 5: Enhancing UNITER with Image Sentiment and Graph Convolutional Networks for Multimedia Automatic Misogyny Identification
University Politehnica of Bucharest（布加勒斯特理工大学）
近年来，由于社交媒体的指数增长和此类信息的传播及其影响，在线媒体中仇恨言论，攻击性或辱骂性语言的检测已成为NLP研究的重要主题。厌女症检测虽然在仇恨言语检测中起着重要的作用，但却没有得到同样的重视。在本文中，我们描述了我们的分类系统提交给SemEval-2022任务5：MAMI -多媒体自动厌女症识别。共同的任务旨在通过分析模因图像及其文本标题来识别多模态设置中的厌女症内容。为此，我们提出了两个模型的基础上预先训练的UNITER模型，一个增强了图像情感分类器，而第二个利用词汇图卷积网络（VGCN）。此外，我们探索使用上述模型的合奏。我们最好的模型在子任务A中达到了71.4%的F1分数，在子任务B中达到了67.3%，使我们的团队处于排行榜的前三分之一。我们在GitHub上发布了我们模型的代码和实验
2022-05-29 cs.AI cs.CL
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
A Continued Pretrained LLM Approach for Automatic Medical Note Generation
DeepScribe Inc.（迪普斯克里布公司）
本文提出基于13B LLaMA2持续训练的HEAL，面向医疗对话与自动病历生成，以更低成本在PubMedQA、医疗概念识别及记录正确性和完整性上达到或超过GPT-4等模型。
2024-04-03 cs.AI cs.CL
RweetMiner: Automatic identification and categorization of help requests on twitter during disasters
Kyung Hee University（庆熙大学）；National University of Sciences and Technology (NUST)（国立科技大学（NUST））；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所（QCRI））
灾难性事件给人道主义组织寻找受灾民众并向其提供援助造成了不确定的局面。许多人在灾难期间转向社交媒体请求帮助和/或向他人提供救济。然而，大多数寻求帮助的社交媒体帖子无法被正确检测到，并且仍然被隐藏，因为它们通常是嘈杂和不规范的。现有的系统缺乏规划一个有效的策略，推文预处理和把握推文的上下文。这项研究，首先，正式定义请求推文的背景下，社交网站，以下rweets，以及他们不同的主要类型和子类型。我们的主要贡献是识别和分类的rweets。对于rweet识别，我们采用了两种方法，即基于规则和逻辑回归，并显示其高精度和F1分数。使用逻辑回归将rweets分类为医疗，食品和住所等子类型，显示了有希望的结果，并且优于现有的工作。最后，我们引入了一个架构来存储中间数据，以加速机器学习分类器的开发过程。
2023-03-04 cs.AI cs.CL
An Investigation of Evaluation Metrics for Automated Medical Note Generation
Microsoft Health AI（微软健康人工智能部门）
本文针对自动临床记录生成评估难题，提出任务特定指标并与多种SOTA指标比较，基于七个专家标注数据集发现一个稳定指标子集与人工判断相关性最高。
2023-05-27 cs.AI cs.CL cs.LG
Paradox of De-identification: A Critique of HIPAA Safe Harbour in the Age of LLMs
New York University（纽约大学）
本文批判HIPAA安全港在大型语言模型时代存在的不足，指出去标识的不完美性可能影响患者与提供者之间的信任，并提出通过因果图和实证研究揭示去标识悖论，呼吁社区采取行动。
2026-02-09 cs.CL cs.CY
