ClassEval: A Manually-Crafted Benchmark for Evaluating LLMs on Class-level Code Generation
Fudan University(复旦大学)
本文构建含100项任务的手工Python类级代码生成基准ClassEval,评估11个LLM,揭示类级与方法级能力差异、模型梯队及适用生成策略。
2023-08-14 cs.AI cs.CL
RuCCoD: Towards Automated ICD Coding in Russian
AIRI;Sber AI;Skoltech;Sber AI Lab;HSE University(HSE大学);Innopolis University(Innopolis大学);ISP RAS Research Center for Trusted AI(ISP RAS可信AI研究中心)
本研究提出俄语ICD编码数据集RuCCoD,评估多种模型,并证明自动预测编码训练优于人工标注,为资源有限语言的临床编码自动化提供见解。
2025-09-26 cs.AI cs.CL cs.DB
Squeez: Task-Conditioned Tool-Output Pruning for Coding Agents
KR Labs(KR实验室)
本文研究了编码代理的任务条件工具输出剪枝,通过构建11477个示例的基准测试集,利用Qwen 3.5 2B模型实现92%的输入token剪枝,达到0.86召回率和0.80 F1分数,优于零样本模型和启发式基线。
2026-04-04 cs.AI cs.SE
DevEval: A Manually-Annotated Code Generation Benchmark Aligned with Real-World Code Repositories
School of Computer Science, Peking University(北京大学计算机学院);Key Laboratory of High Confidence Software Technologies (Peking University), Ministry of Education(教育部高可信软件技术重点实验室(北京大学))
针对现有基准与真实代码仓库对齐度差的问题,提出手动标注的代码生成基准DevEval,包含1874个样本,并评估8个主流LLM,揭示了其在真实场景中的编码能力与不足。
2024-05-30 cs.CL cs.SE
Automatic deductive coding in discourse analysis: an application of large language models in learning analytics
Beijing Institute of Technology(北京理工大学);Central China Normal University(华中师范大学);McGill University(麦吉尔大学);Western Washington University(西华盛顿大学)
针对话语演绎编码耗时耗力的问题,本文比较传统文本分类、类BERT模型与结合提示词工程的GPT,证明后者在少量训练样本下于两个数据集均取得更优准确率和Kappa值。
2024-10-02 cs.CL cs.HC
Zero-Shot ATC Coding with Large Language Models for Clinical Assessments
University of Waterloo(滑铁卢大学);InterRAI Canada(加拿大InterRAI机构)
针对医疗场景中手动分配ATC编码效率低且需保障数据隐私的问题,提出将ATC编码构建为层级信息抽取任务的大语言模型方法,验证了小模型也可实现有效编码,为隐私敏感医疗环境的自动ATC编码提供基础。
2024-12-10 cs.CL
An Empirical Cost Attribution of Context-Compression Gateways in Multi-Turn Coding Agents
Paritok
通过分解多轮编码智能体中压缩网关的令牌账单,发现工具模式过滤线性节省成本,内容压缩二次方节省但受上下文限制,召回成本有界,单次压缩基准不能证明多轮成本节省。
2026-09-22 cs.CL cs.PF cs.SE
TopicENA: Enabling Epistemic Network Analysis at Scale through Automated Topic-Based Coding
National Chengchi University(国立政治大学);The London School of Economics and Political Science(伦敦政治经济学院)
TopicENA通过自动编码实现大规模认知网络分析,利用BERTopic与ENA结合,提升大规模文本分析的可扩展性和可解释性。
2026-02-08 cs.AI cs.CL
Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals
Carnegie Mellon University(卡内基梅隆大学);Ariel University(阿里尔大学);Microsoft Research(微软研究院)
针对强化学习样本效率低的问题,提出Read and Reward框架,通过阅读Atari游戏说明手册提取信息并生成辅助奖励,显著提升多种RL算法的性能与训练速度。
2024-07-20 cs.AI cs.CL cs.LG
Reading the Manual: Event Extraction as Definition Comprehension
Johns Hopkins University(约翰霍普金斯大学);University of Rochester(罗切斯特大学)
我们问文本的理解是否已经进展到我们可以通过从注释手册中提取事件信息的增量细化漂白语句。这样的能力将允许预期的最终用户通过诸如“某人在某个时间出生在某个地点”之类的声明来简单地构造和扩展提取框架。“我们介绍了一个使用这种语句的模型的例子,实验表明我们可以在封闭的本体下提取事件,并通过阅读新的定义来概括看不见的事件类型。
2020-10-23 cs.CL
CARE: A Clue-guided Assistant for CSRs to Read User Manuals
College of Computer Science, Sichuan University(四川大学计算机学院);Dalian University of Technology(大连理工大学);University of Electronic Science and Technology(电子科技大学)
提出CARE阅读助手,通过显式线索链和自监督策略帮助客服代表从用户手册中快速找到准确回复,实验证明其能显著减少阅读时间并保持高服务质量。
2024-08-26 cs.CL
Aligning AI Research with the Needs of Clinical Coding Workflows: Eight Recommendations Based on US Data Analysis and Critical Review
The University of Sydney(悉尼大学);CSIRO Data61(CSIRO数据61);The University of Málaga(马拉加大学);Beamtree
本文通过分析美国电子健康记录数据,指出当前临床编码AI评估方法脱离实际,并提出八项改进建议及辅助编码员的新AI方法。
2025-06-18 cs.AI cs.CL
Automatic Coding at Scale: Design and Deployment of a Nationwide System for Normalizing Referrals in the Chilean Public Healthcare System
Center for Mathematical Modeling(数学建模中心);University of Chile(智利大学);Chilean Ministry of Health(智利卫生部);Pontifical Catholic University of Chile(智利天主教大学)
针对智利公共医疗系统转诊中手动疾病编码耗时易错的问题,提出一种结合NER模型与Elasticsearch的两步自动编码系统,在子类别和类别级别分别取得0.63和0.83的MAP分数,并公开代码以支持卫生专业人员优化流程。
2023-07-09 cs.CL
A Comparative Study on Automatic Coding of Medical Letters with Explainability
Lancaster University(兰卡斯特大学);The University of Manchester(曼彻斯特大学)
本研究比较了在本地计算机上使用NLP和ML模型自动编码医疗信函的方法,结合可解释性,利用MIMIC-III和HAN/HLAN模型,为97.98%的代码提供了有用信息,推动了临床编码的自动化实践。
2024-07-18 cs.AI cs.CL
Procode: the Swiss Multilingual Solution for Automatic Coding and Recoding of Occupations and Economic Activities
Unisanté(瑞士大学卫生中心(Unisanté));University of Lausanne(洛桑大学);Research Institute for Environmental and Occupational Health(环境与职业健康研究院)
Objective.流行病学研究需要符合职业或经济活动分类的数据。分类通常包括数百个代码和标题。原始数据的手动编码可能会导致错误分类,并且非常耗时。目标是开发和测试一个名为Procode的网络工具,用于对照分类对自由文本进行编码,并在不同分类之间重新编码。方法.采用k折交叉验证的方法,研究了三种文本分类器,即互补朴素贝叶斯(CNB)、支持向量机(SVM)和随机森林分类器(RFC)。有30000个自由文本,带有手动分配的法国职业分类(PCS)和法国活动分类(NAF)的分类代码。对于重新编码,Procode集成了一个工作流程,根据现有的人行横道将一种分类的代码转换为另一种。由于这是一个简单的操作,因此只测量了重新编码时间。结果在三个被调查的文本分类器中,CNB导致最好的性能,其中分类器分别准确地预测PCS和NAF的分类代码的57-81%和63-83%。SVM导致结果稍低(1-2%),而RFC准确编码高达30%的数据。编码操作需要每10000个记录一分钟,而重新编码则更快,即5-10秒。结论集成在Procode中的算法表现出令人满意的性能,因为该工具必须通过在500-700个不同的选择中进行选择来分配正确的代码。根据结果,作者决定在Procode中实现CNB。将来,如果另一个分类器表现出更好的性能,更新将包括所需的修改。
2020-11-30 cs.CL
Towards The Automatic Coding of Medical Transcripts to Improve Patient-Centered Communication
Purdue University(普渡大学)
本文旨在提供一种自动编码医患沟通记录的方法,以提高以患者为中心的沟通(PCC)。PCC是高质量医疗保健的核心部分。为了改善PCC,医生和患者之间的对话已被记录并标记有预定义的代码。受过训练的人类编码员已经手动编码了转录本。由于它需要巨大的劳动力成本,并造成可能的人为错误,自动编码方法应考虑效率和有效性。我们采用了三种机器学习算法(朴素贝叶斯,随机森林,和支持向量机)来分类行在转录到相应的代码。结果表明,有证据区分的代码,这被认为是足够的培训人类注释。
2021-09-22 cs.CL cs.LG
Multitask Recalibrated Aggregation Network for Medical Code Prediction
Aalto University(阿尔托大学);Nanyang Technological University(南洋理工大学)
医疗编码将专业书面的医疗报告转换为标准化代码,是医疗信息系统和健康保险报销的重要组成部分。由受过训练的人类编码人员进行手动编码是耗时且容易出错的。因此,已经开发了自动编码算法,尤其是建立在机器学习和深度神经网络的最新进展上。为了解决编码冗长和嘈杂的临床文档和捕获代码关联的挑战,我们提出了一个多任务重新校准的聚合网络。特别是,多任务学习跨不同编码方案共享信息,并捕获不同医疗代码之间的依赖关系。共享模块中的特征重新校准和聚合增强了冗长笔记的表示学习。使用真实世界的MIMIC-III数据集进行的实验表明,预测性能得到了显着提高。
2021-06-29 cs.CL
A Systematic Literature Review of Automated ICD Coding and Classification Systems using Discharge Summaries
Western Sydney University(西悉尼大学)
自由文本临床叙述的编码长期以来被认为有利于二次使用,如资金,保险索赔处理和研究。目前分配代码的方案是一个非常昂贵、耗时且容易出错的手动过程。近年来,许多研究人员研究了使用自然语言处理(NLP)、相关的机器学习(ML)和深度学习(DL)方法和技术来解决临床叙述的手动编码问题,并帮助人类编码器更准确和高效地分配临床代码。本系统性文献综述全面概述了自动化临床编码系统,该系统利用适当的NLP、ML和DL方法和技术为出院小结分配ICD代码。我们遵循系统性综述和荟萃分析的首选报告项目(PRISMA)指南,并在2010年1月至2020年12月的四个学术数据库(PubMed、ScienceDirect、计算机协会(ACM)数字图书馆和计算语言学协会(ACL)选集)中对出版物进行了全面检索。我们审查了7,556篇出版物; 38篇符合纳入标准。这次审查确定:具有出院摘要的数据集; NLP技术以及一些其他数据提取过程,不同的特征提取和嵌入技术。为了衡量分类方法的性能,使用不同的评估指标。最后,对未来ICD码自动赋码的研究方向进行了展望。仍需努力提高ICD编码预测的准确性,使用最新版本的分类系统提供大规模去识别临床语料库。这可以成为一个指导和分享知识的平台,与经验不足的程序员和研究人员。
2021-07-12 cs.CL cs.LG
TreeMAN: Tree-enhanced Multimodal Attention Network for ICD Coding
Nankai University(南开大学);Mashang Consumer Finance Co.,Ltd.(马上消费金融股份有限公司)
本文提出TreeMAN模型,通过注意力机制融合结构化医疗数据中的树特征与临床文本特征,生成多模态表示用于ICD编码,并在MIMIC数据集上取得优于现有方法的性能。
2023-05-29 cs.CL
IDK-MRC: Unanswerable Questions for Indonesian Machine Reading Comprehension
KAIST(韩国科学技术院)
机器阅读理解(MRC)已经成为自然语言理解(NLU)中的基本任务之一,因为它经常被包括在几个NLU基准中(Liang等人,2020; Wilie等人,2020年)。然而,大多数MRC数据集只有可回答的问题类型,忽略了不可回答的问题的重要性。仅在可回答的问题上训练的MRC模型将选择最有可能是答案的跨度,即使答案实际上不存在于给定的段落中(Rajpurkar等人,2018年)。这个问题尤其存在于中低资源语言中,如印度尼西亚语。现有的印度尼西亚MRC数据集(Purwarianti等人,2007; Clark等人,2020年)仍然不够,因为规模小,问题类型有限,即,它们只涉及可回答的问题。为了填补这一空白,我们构建了一个新的印度尼西亚MRC数据集,称为I(n)不知道- MRC(IDK-MRC),通过结合自动和手动无法回答的问题生成,以最大限度地减少手动数据集构建的成本,同时保持数据集的质量。结合现有的可回答问题,IDK-MRC总共包含超过10 K个问题。我们的分析表明,我们的数据集显着提高了印度尼西亚MRC模型的性能,对于无法回答的问题显示出很大的改善。
2022-10-25 cs.CL
Generalized Zero-shot ICD Coding
Cornell University(康奈尔大学);Petuum Inc(Petuum公司)
国际疾病分类(ICD)是诊断的分类代码列表。自动ICD编码的需求很高,因为手动编码可能是劳动密集型的,而且容易出错。这是一个具有极长尾标签分布的多标签文本分类任务,使得很难同时对频繁代码和zero-shot代码进行细粒度分类。在本文中,我们提出了一个潜在的特征生成框架,广义zero-shot ICD编码,我们的目标是提高预测的代码,没有标记的数据,而不损害性能看到的代码。我们的框架生成伪功能的ICD代码描述的条件,并利用ICD代码的层次结构。为了保证生成的特征和真实特征之间的语义一致性,我们在输入文档中重建与条件ICD代码相关的关键字。据我们所知,这项工作代表了第一个提出了一个对抗生成模型的广义零样本学习多标签文本分类。大量的实验证明了我们的方法的有效性。在公开的MIMIC-III数据集上,我们的方法将zero-shot代码的F1分数从接近0提高到20.91%,并将AUC分数从以前的最先进水平提高了3%(绝对提高)。我们还表明,该框架提高了Few-Shot代码的性能。
2019-09-28 cs.CL cs.LG