Towards Better Question Generation in QA-based Event Extraction
Jinan University(暨南大学);Beijing Jiaotong University(北京交通大学)
针对基于问答的事件抽取中问题质量影响抽取准确性的挑战,提出四个评估标准及强化学习方法RLQG,可生成高质量上下文相关问题,在ACE和RAMS数据集上验证了有效性与鲁棒性。
2024-07-21 cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory(Sber人工智能实验室)
医学实体抽取是医学文本处理的第一步。通常,医学EE是一个两步过程:命名实体识别(NER)和命名实体规范化(NEN)。我们提出了一种从电子健康记录(EHR)中进行医疗EE的新方法,作为一个单步多标签分类任务,通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标,以远程监督的方式进行端到端的训练。我们表明,我们的模型可以学习对足够频繁出现的实体进行泛化,从而为最频繁的实体实现人类级别的分类质量。我们的工作表明,医疗实体提取可以在没有人类监督的情况下进行端到端的提取,并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Assessing the Efficacy of Clinical Sentiment Analysis and Topic Extraction in Psychiatric Readmission Risk Prediction
McLean Hospital(麦克莱恩医院);Harvard Medical School(哈佛医学院);Brandeis University(布兰迪斯大学)
预测哪些患者更有可能在出院后30天内再次入院,这是临床决策中一个有价值的信息。然而,建立一个成功的再入院风险分类的基础上的电子健康记录(EHR)的内容已被证明是一项具有挑战性的任务。以前探索的功能主要包括结构化的信息,如社会人口学数据,合并症代码和生理变量。在本文中,我们评估纳入额外的临床可解释的NLP为基础的功能,如主题提取和临床情感分析,以预测精神病患者的早期再入院风险。
2019-10-09 cs.CL
On the Effects of Low-Quality Training Data on Information Extraction from Clinical Reports
Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche(意大利国家研究委员会信息科学与技术研究所);Qatar Computing Research Institute, Qatar Foundation(卡塔尔基金会卡塔尔计算研究所);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
在过去的五年中,已经有一系列关于从临床文档中信息抽取的工作,即,该算法能够从日常临床实践中产生的非正式和非结构化文本中提取与此类实践相关的概念。这些文献中的大多数是关于基于监督学习的方法,即,用于从手动注释的示例训练信息抽取系统的方法。虽然人们已经做了大量工作来设计生成越来越准确的信息提取器的学习方法,但还没有研究过训练数据质量对学习过程的影响。训练数据的低质量通常源于这样一个事实,即注释数据的人与必须根据其判断来评估自动注释数据的人不同。在本文中,我们测试的影响,这些数据质量问题的准确性信息抽取系统应用于临床领域。我们通过比较从由权威编码器注释的训练数据导出的准确度(即,也注释了测试数据并且我们必须遵守其判断的人),其准确度来自由不同编码器注释的训练数据。结果表明,虽然两个编码器之间的分歧(如在训练集上测量的)是实质性的,但差异(令人惊讶的是)并不总是统计学上显著的。
2015-03-04 cs.CL cs.IR cs.LG
Assessing the Quality of MT Systems for Hindi to English Translation
Banasthali University(巴纳斯塔利大学);CDAC(电子发展公司)
评价在检查机器翻译输出质量方面起着至关重要的作用。它可以手动或自动完成。手动评估非常耗时且主观,因此大多数情况下使用自动度量。本文使用BLEU、METEOR等自动化指标对不同机器翻译引擎的印地语-英语(印地语数据作为输入,英语作为输出)翻译质量进行了评估,并将自动化评估结果与人工排名进行了比较。
2014-04-15 cs.CL
Assessing Human Translations from French to Bambara for Machine Learning: a Pilot Study
Centre National Collaboratif de l’Education en Robotique et en Intelligence Artificielle (RobotsMali)(国家机器人与人工智能教育合作中心(RobotsMali));Rochester Institute of Technology(罗切斯特理工学院);Orange Silicon Valley(Orange硅谷)
我们提出了新的方法来评估人类翻译对齐文本的质量,以学习资源不足的语言的机器翻译模型。马里大学生翻译法文文本,对班巴拉语进行书面或口头翻译。我们的研究结果表明,类似的质量可以从书面或口头翻译某些类型的文本。他们还提出了具体的指示,应给予翻译人员,以提高他们的工作质量。
2020-03-31 cs.CL
Assessing Large Language Models for Structured Medical Order Extraction
George Mason University(乔治·马歇尔大学)
本文评估通用LLaMA-4 17B模型在MEDIQA-OE 2025医嘱抽取任务中的表现,通过单样本提示工程实现平均F1为37.76,证明非领域特定大模型可作为临床NLP任务的强基线。
2025-10-12 cs.AI cs.CL
$T^5Score$: A Methodology for Automatically Assessing the Quality of LLM Generated Multi-Document Topic Sets
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出 $T^5Score$ 评估方法论,通过将多文档主题集质量分解为可量化方面并辅以易执行的标注任务,解决了 LLM 生成主题评估一致性低的问题,并在多数据集上验证了其有效性。
2025-05-29 cs.CL
Assessing the Role of Data Quality in Training Bilingual Language Models
Apple(苹果公司)
本研究针对双语语言模型跨语言性能差异大的问题,发现数据质量不均是双语场景性能下降的主因,提出仅用高质量英语数据筛选双语训练数据的策略,有效提升单语性能并缩小双语模型性能差距。
2025-06-15 cs.CL
ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Southeast University(东南大学)
针对现有数据质量过滤依赖参考数据集易引入偏差、损害多样性的问题,提出基于双模型困惑度差异的ScalingFilter方法,反向利用缩放定律评估数据质量,在下游任务性能与语义多样性间实现最优平衡。
2024-08-15 cs.CL
How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs
University of Edinburgh(爱丁堡大学)
从历史上看,分析特定语言现象的翻译质量是困难和耗时的。神经机器翻译具有吸引人的特性,它可以为任意翻译产生分数,我们提出了一种新的方法来评估NMT系统对特定语言现象的建模效果,例如长距离协议,新单词的产生以及极性的忠实翻译。其核心思想是,我们衡量是否参考翻译更可能在NMT模型下比对比翻译,介绍了一种特定类型的错误。我们提出了LingEval 97,一个基于WMT英语->德语翻译任务的97000个对比翻译对的大规模数据集,使用简单的规则自动创建错误。我们报告了一些系统的结果,发现最近推出的字符级NMT系统在音译方面比字节对编码(BPE)分割的模型表现更好,但在形态句法协议和翻译不连续的意义单位方面表现更差。
2017-02-13 cs.CL
Assessing Post-editing Effort in the English-Hindi Direction
IIIT, Hyderabad(海得拉巴国际信息技术研究所)
我们目前的调查结果,从第一次深入的编辑后的努力估计在英语-印地语方向沿着多个努力指标的研究。我们进行了一个对照实验,涉及专业翻译,谁完成分配的任务交替,从零开始翻译和编辑后的条件。我们发现,与从头开始翻译相比,后期编辑减少了翻译时间(63%),使用了更少的重复(59%),并减少了停顿次数(63%)。我们通过人工评估任务进一步验证了翻译的质量,在该任务中我们没有检测到任何可辨别的质量差异。
2021-12-18 cs.CL
Assessing Quality of Experience in Natural Language Generation of German Text
Technische Universität Berlin(柏林工业大学)
该研究针对德语NLG,构建了含人工评分的TextQ-German数据集,开发出混合等自动QoE预测模型,为NLG评估提供了公开资源与基线,助力贴合人类感知的NLG系统开发。
2026-08-20 cs.CL
Assessing the Sufficiency of Arguments through Conclusion Generation
Paderborn University(帕德博恩大学)
论点的前提提供证据或其他理由来支持一个结论。然而,所需支持的数量取决于结论的一般性、单个前提的性质等。在论证质量研究中,一个论证的前提使其结论值得合理地得出,这就是充分论证。以前的工作解决充分性评估作为一个标准的文本分类问题,没有建模的前提和结论的内在关系。在本文中,我们假设一个充分论证的结论可以从它的前提中产生。为了研究这一假设,我们探索了基于大规模预训练语言模型的输出来评估充分性的潜力。我们最好的模型变体达到了0.885的F1分数,超过了之前的最先进水平,与人类专家不相上下。虽然人工评价揭示了所产生结论的质量,但其影响最终仍然很低。
2021-10-26 cs.CL
Automatically generating question-answer pairs for assessing basic reading comprehension in Swedish
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出了一个质量的自动生成的阅读理解问题,从瑞典语文本的评价,使用Quinductor方法。该方法是一种轻量级的、数据驱动的、非神经网络的问题自动生成方法。评估表明,Quinductor是一种可行的QG方法,可以为基于神经网络的QG方法提供强有力的基线。
2022-11-28 cs.CL
Facts Do Care About Your Language: Assessing Answer Quality of Multilingual LLMs
Princeton University(普林斯顿大学)
本文评估 Llama3.1 系列多语言大模型在初高中事实性问题上的回答质量,发现其在非英语语言中不仅正确性下降、产生冗余低真实度信息,还加剧了对稀有语言的偏见。
2025-06-03 cs.AI cs.CL
Assessing the Role of Lexical Semantics in Cross-lingual Transfer through Controlled Manipulations
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
该研究通过人工操控英语句子模拟目标语言特征的方法,评估词汇语义等语言属性对跨语言迁移中语言与英语预训练表示空间对齐质量的影响,发现词汇匹配程度的影响远大于文字、词序等属性。
2024-08-14 cs.CL
Assessing the Impact of the Quality of Textual Data on Feature Representation and Machine Learning Models
School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院)
本研究开发 token 级文本数据集质量错误率指标,用 Mixtral LLM 量化纠正错误,分析医疗数据集后发现模型对<10%错误率耐受、≥10%性能显著下降,强调数据集质量评估及错误纠正的重要性。
2025-02-12 cs.CL
Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data
University of Manchester(曼彻斯特大学)
本研究针对LLM训练数据的极端主义言论问题,以Dolma语料库为对象,经多步骤提取得出其含数十万份极端主义文档的下限,并探讨相关数据整理与预训练影响。
2026-08-18 cs.CL
Machine learning for assessing quality of service in the hospitality sector based on customer reviews
Laboratorios de Investigación en Inteligencia Artificial y Computación de Alto Desempeño, Human Brain Technologies(人脑技术公司人工智能与高性能计算研究实验室);Univesidad Nacional de Colombia(哥伦比亚国立大学);Colegio de Estudios Superiores de Administración(高等行政研究学院);Pontificia Universidad Javeriana(哈维里亚那天主教大学);Fundación Universitaria Konrad Lorenz(康拉德·洛伦兹大学基金会)
越来越多地使用在线酒店平台提供有关客户偏好的第一手信息,这对于改善酒店服务和提高服务质量感知至关重要。客户评论可以用来自动提取最相关的方面的服务质量的招待客户.本文提出了一个框架的服务质量在酒店业的基础上开发客户评论,通过自然语言处理和机器学习方法的评估。所提出的框架自动发现与酒店客户相关的服务质量方面。Booking.com上来自波哥大和马德里的酒店点评将被自动删除。语义信息是通过潜在的Dirichlet分配和FastText来推断的,它们允许将文本评论表示为向量。降维技术应用于可视化和解释大量的客户评论。生成最重要的服务质量方面的可视化,允许定性和定量地评估服务质量。结果表明,它是可以自动提取的主要服务质量方面的客户感知从大型客户评论数据集。这些研究结果可以被酒店管理者用来更好地了解客户,提高服务的服务质量。
2021-07-21 cs.CL cs.CY
Assessing the Quality of Scientific Papers
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
科学论文的整体质量取决于许多因素,包括可读性、语言质量、流畅性、语义复杂性,当然还有特定领域的技术因素。这些因素因研究领域而异。本文提出了一种评价某一学科科技论文整体质量的指标和方法。我们的方法是基于语料库语言学技术的,它可以应用于其他技术和科学领域,但我们的方法在计算机科学领域进行评估。这种技术能够提取与特定领域相关的所需信息和知识。为此,我们创建了一个大型语料库,由来自非常高影响力的会议的论文组成。首先,我们分析这个语料库,以提取丰富的特定领域的术语和知识。然后,我们使用所获得的知识来估计科学论文的质量,通过应用我们提出的措施。我们检查我们的措施,高和低科学影响力测试语料库。我们的研究结果表明,在高和低的影响测试语料库的测量分数的显着差异。其次,我们开发了一个分类器的基础上,我们提出的措施,并比较它的基线分类。我们的研究结果表明,基于我们的测量的分类器优于基线分类器。基于所提出的结果,所提出的措施和技术可以用于自动评估的科学论文。
2019-08-12 cs.CL cs.DL cs.IR
Assessing ASR Model Quality on Disordered Speech using BERTScore
Google Research(谷歌研究院);University of Washington(华盛顿大学);Leonard Florence Center for Living(伦纳德·弗洛伦斯生活中心);MND Association(运动神经元病协会)
字错误率(WER)是用于评估自动语音识别(ASR)模型质量的主要度量。研究表明,ASR模型对有言语障碍的说话者的WER往往比典型的英语说话者高得多。很难确定模型在如此高的错误率下是否有用。本研究调查使用BERTScore,文本生成的评价指标,提供了一个更翔实的衡量ASR模型的质量和有用性。BERTScore和WER都与语音语言病理学家手动注释的预测错误进行了比较,以确定错误类型和评估。BERTScore被发现与人类对错误类型和评估的评估更相关。BERTScore特别对保留意义的正字法变化(收缩和归一化错误)更鲁棒。此外,BERTScore比WER更适合错误评估,使用有序逻辑回归和赤池信息标准(AIC)进行测量。总的来说,我们的研究结果表明,BERTScore可以从实际的角度评估ASR模型性能时,补充WER,特别是对于无障碍应用程序,其中模型是有用的,即使在较低的准确性比典型的语音。
2022-09-21 cs.CL cs.LG eess.AS
Feature Analysis for Assessing the Quality of Wikipedia Articles through Supervised Classification
University of Milano-Bicocca(米兰比可卡大学);Consorzio C2T(C2T联盟)
如今,由于Web 2.0技术,人们有可能以非常简单的方式在不同的社交媒体上生成和传播内容。在这方面,对网上信息质量的评价正成为一个越来越重要的问题。事实上,每天都有源源不断的内容由通常未知的来源生成,这些来源未经传统权威实体认证。这就需要制定适当的方法,根据与这些内容有关的“客观”方面,系统地评价这些内容。这将有助于个人,谁现在往往越来越多地形成自己的意见,根据他们在网上和社交媒体上阅读,接触到的信息,实际上是有用的和验证。维基百科是当今最大的在线资源之一,用户依赖它作为信息来源。如果没有适当的监控和修改,每天发送到在线百科全书的协作生成的内容的数量可能会导致低质量的文章(以及因此产生的错误信息)。基于此,本文研究了自动评估维基百科条目质量的问题。特别是,重点是手工制作的功能,可以采用监督机器学习技术进行分类的维基百科文章的定性基础上的分析。相对于以前的文献,更广泛的一组连接到维基百科的文章的特点考虑和详细说明。通过考虑先前工作中提供的标记数据集和不同的监督机器学习算法来执行评估,这些算法相对于所考虑的特征产生了令人鼓舞的结果。
2018-12-06 cs.CL cs.LG
Assessing the quality of sources in Wikidata across languages: a hybrid approach
King’s College London(伦敦国王学院);BBC(英国广播公司);University of Southampton(南安普顿大学)
维基数据是网络上最重要的结构化数据来源之一,由全球志愿者社区建立。作为第二来源,其内容必须有可靠的参考文献支持;这一点尤其重要,因为维基数据明确鼓励编辑添加没有广泛共识的声明,只要它们得到参考文献的证实。尽管如此,尽管内容和参考文献之间存在这种重要联系,维基数据系统评估和确保其参考文献质量的能力仍然有限。为此,我们进行了一项混合方法研究,以确定维基数据参考文献的相关性,易用性和权威性,在规模和不同的语言中,使用在线众包,描述性统计和机器学习。在我们以前的工作的基础上,我们运行了一系列微任务实验来评估一个大型的参考文献语料库,这些参考文献是从具有多种语言标签的维基数据三元组中采样的。我们使用一个整合的、策划的众包评估版本来训练几个机器学习模型,以将分析扩展到整个维基数据。这些发现帮助我们确定维基数据中引用的质量,并确定在定义和捕获网络上用户生成的多语言结构化数据的质量方面的常见挑战。我们还讨论了正在进行的编辑实践,这可以鼓励以更直接的方式使用更高质量的参考资料。研究中使用的所有数据和代码都可以在GitHub上获得反馈,并由研究社区进一步改进和部署。
2021-09-20 cs.AI cs.CL
MTUncertainty: Assessing the Need for Post-editing of Machine Translation Outputs by Fine-tuning OpenAI LLMs
Logrus Global(洛格斯全球公司);The University of Manchester(曼彻斯特大学)
本研究将翻译质量评估转化为二分类任务,微调OpenAI的gpt3.5等模型,在8个语言对上验证了其判断译文是否需译后编辑的良好效果,同时发现单纯增大模型规模对该任务性能无明显提升。
2024-06-21 cs.AI cs.CL
Assessing the Effects of Hyperparameters on Knowledge Graph Embedding Quality
MRC Integrative Epidemiology Unit(MRC综合流行病学单元);Bristol Medical School(布里斯托尔医学院);University of Bristol(布里斯托尔大学)
将知识图谱嵌入到低维空间中是将诸如链接预测或节点分类之类的方法应用于这些数据库的流行方法。这种嵌入过程在计算时间和空间方面都非常昂贵。部分原因是超参数的优化,这涉及到从一个大的超参数空间中通过随机、引导或蛮力选择重复采样,并测试结果嵌入的质量。然而,并不是这个搜索空间中的所有超参数都同样重要。事实上,通过对超参数的相对重要性的先验知识,可以从搜索中完全消除一些超参数,而不会显著影响输出嵌入的整体质量。为此,我们进行了Sobol敏感性分析,以评估调整不同超参数对嵌入质量方差的影响。这是通过执行数千次嵌入试验来实现的,每次都测量由不同超参数配置产生的嵌入的质量。我们回归了这些超参数配置的嵌入质量,使用该模型为每个超参数生成Sobol敏感性指数。通过评估Sobol指数之间的相关性,我们发现知识图谱之间的超参数敏感性存在很大差异,不同的数据集特征可能是导致这些不一致的原因。作为这项工作的额外贡献,我们识别了UMLS知识图谱中可能通过逆关系导致数据泄漏的几个关系,并推导并提出了UMLS-43,这是该图的一个泄漏鲁棒性变体。
2022-07-05 cs.AI cs.CL cs.SI
Assessing the Quality of Multiple-Choice Questions Using GPT-4 and Rule-Based Methods
Carnegie Mellon University(卡内基梅隆大学)
针对学生生成多项选择题的19种题目编写缺陷,比较自研规则方法与 GPT-4,规则方法在200道四学科问题上以91%对79%的缺陷检出率优于 GPT-4。
2023-07-16 cs.AI cs.CL cs.HC
Assessing Post-Reform Changes in Risk Disclosure Quality with a Multidimensional Text Analysis Approach
Degree Programs in Business Sciences(商业科学系);Institute of Business Sciences(商业科学研究所);University of Tsukuba(筑波大学);Tokyo, Japan(日本东京)
提出结合日语NLP指标提取、配对检验、移位函数分析和指标间相关性的纵向文本分析方法,评估日本2019年披露改革对风险披露质量的多维影响,发现披露量增加但可读性下降,信息结构改善但描述质量停滞。
2026-06-26 cs.CL cs.DL
UIClip: A Data-driven Model for Assessing User Interface Design
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出了数据驱动模型 UIClip,通过截图和自然语言描述评估 UI 设计质量与视觉相关性,并在与人类设计师排名的对比中表现出最高一致性,可应用于代码生成、设计提示和示例搜索等下游任务。
2024-04-18 cs.CL cs.CV cs.HC
Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP
IBM Research(IBM研究院)
一个对抗性的例子是一个输入被小扰动所转换,机器学习模型总是错误分类。虽然有许多方法可以为文本数据生成对抗性示例,但评估这些对抗性示例的质量并不是微不足道的,因为微小的扰动(例如改变句子中的一个词)可能会导致其含义,可读性和分类标签的显著变化。在本文中,我们提出了一个由一组自动评估指标和人类评估准则组成的评估框架,以严格评估基于上述属性的对抗性示例的质量。我们用六种基准攻击方法进行了实验,发现一些方法生成的对抗性示例可读性和内容保护性都很差。我们还了解到,多种因素可能会影响攻击性能,例如文本输入的长度和分类器的结构。
2020-06-01 cs.CL cs.LG
Fundus: A Simple-to-Use News Scraper Optimized for High Quality Extractions
Humboldt Universität zu Berlin(柏林洪堡大学)
本研究提出了名为Fundus的易用新闻爬虫框架,采用针对各报纸定制的手工提取器并整合爬取与提取流程,经评估提取质量显著优于现有工具,且支持pip安装,便于非技术用户使用。
2024-06-24 cs.CL cs.IR
Mark-Evaluate: Assessing Language Generation using Population Estimation Methods
Hasso Plattner Institute(哈索·普拉特纳研究所)
我们提出了一个家庭的指标来评估语言生成来自广泛使用的生态学人口估计方法。更具体地说,我们使用标记重捕和最大似然方法,已应用在过去几十年来估计封闭种群在野外的大小。我们提出了三个新的指标:ME $_\text{Petersen}$和ME $_\text{CAPTURE}$,它检索一个单值的评估,和ME $_\text{Schnabel}$返回一个双值的度量,以评估评估集的质量和多样性,分别。在合成实验中,我们的方法家族对质量和多样性的下降很敏感。此外,我们的方法显示出更高的相关性,人类的评价比现有的指标在几个具有挑战性的任务,即无条件的语言生成,机器翻译,和文本摘要。
2020-10-09 cs.AI cs.CL cs.LG
Assessing the Quality of AI-Generated Clinical Notes: A Validated Evaluation of a Large Language Model Scribe
Suki AI;Santa Clara Valley Medical Center(圣克拉拉谷医疗中心);Stanford University School of Medicine(斯坦福大学医学院);Stanford Cardiovascular Institute(斯坦福心血管研究所);Hippocratic AI;The Permanente Medical Group(永久医疗集团)
本研究通过盲法比较LLM生成的临床笔记与专家笔记,验证了PDIQ9工具在评估AI抄写员质量方面的有效性,发现两者质量相近但存在显著差异。
2025-05-15 cs.AI cs.CL
Developing a Scalable Benchmark for Assessing Large Language Models in Knowledge Graph Engineering
Institute for Applied Informatics(应用信息学研究所);Leipzig University(莱比锡大学)
本文提出了一个可扩展的基准测试框架LLM-KG-Bench,用于评估大型语言模型在知识图谱工程中的性能,涵盖语法修正、事实提取和数据集生成三个挑战,并提供了自动评估与可视化工具。
2023-08-31 cs.AI cs.CL cs.DB