Improving LLM-Generated Code Quality with GRPO
University of Bristol(布里斯托大学)
本文针对现有代码生成训练仅以功能正确性为奖励的不足,提出用综合代码质量库作为GRPO奖励,实验证明该方法能提升代码质量并获专家盲评确认。
2025-06-02 cs.AI
AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science
Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学);International Monetary Fund(国际货币基金组织)
本文提出AIRepr分析师-检查员框架,通过两种增强可复现性的提示策略自动评估和改进LLM数据分析工作流,实验证明高可复现性工作流能同时提升分析准确性。
2025-11-07 cs.AI cs.CL cs.HC
AI-Assisted Computational Reproducibility on the FABRIC Testbed
RENCI, University of North Carolina at Chapel Hill, NC, USA(RENCI,北卡罗来纳大学教堂山分校);University of Massachusetts Amherst, MA, USA(马萨诸塞大学阿姆赫斯特分校)
利用FABRIC试验台和LLM编码助手LoomAI,通过三个跨领域案例研究,展示了AI辅助工作流将复现实验的工作量减少约4-6倍,但在分析阶段仍需人工指导。
2026-10-08 cs.AI cs.DC
Prompt-Efficient Fine-Tuning for GPT-like Deep Models to Reduce Hallucination and to Improve Reproducibility in Scientific Text Generation Using Stochastic Optimisation Techniques
Higher School of Economics (HSE)(高等经济大学(HSE));AI for Computational biology (AIC)(计算生物学人工智能研究所(AIC))
本研究提出一种参数高效微调方法(PEFT),通过LoRA适配器微调GPT-2为MS-GPT,用于质谱科学文本生成,以减少幻觉并提高可复现性,实验显示其在BLEU、ROUGE和困惑度上优于基线,并提出了基于余弦相似性的可复现性度量。
2024-11-10 cs.AI cs.CL
Improving Labeling Consistency with Detailed Constitutional Definitions and AI-Driven Evaluation
Cisco AI Defense(思科AI防御)
提出一种AI驱动的工作流,通过为每个类别编写详细的宪法定义并由前沿LLM解释,以比人类更一致和准确地生成黄金标签,在三个内容审核类别上将跨模型不一致性降低高达57倍。
2026-05-22 cs.AI cs.CL
Co-Annotator: Expert-Distilled ViT and VLM for Visual and Documentation Guidance in Age-Related Macular Degeneration
Columbia University(哥伦比亚大学)
本研究提出Co-Annotator,将专家注视与口述提炼为AOI指导的ViT和生物标志物预填充的VLM,在AMD诊断中联合应用可显著提升效率且不降低准确率。
2026-09-01 cs.AI cs.HC
CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback
Pennsylvania State University(宾夕法尼亚州立大学)
针对大语言模型在语码混合翻译上的不足,提出CHAI框架,利用LLM标注、RLAIF及领域知识宪法,使模型在CM翻译任务上平均胜率提升68.45%。
2026-09-15 cs.AI cs.CL cs.LG
BenGER Platform: A Collaborative Web Platform for End-to-End Benchmarking of German Legal Tasks
Technical University of Munich(慕尼黑技术大学)
提出BenGER开源Web平台,集成任务创建、协作标注、可配置LLM运行及多维度评估,支持多组织项目与租户隔离,实现法律推理基准测试的端到端透明与可复现。
2026-05-27 cs.AI cs.CL
Interpreting Expert Annotation Differences in Animal Behavior
Caltech(加州理工学院);Northwestern University(西北大学);UT Austin(德克萨斯大学奥斯汀分校)
手工注释的数据可能会因主观差异、评估者内部差异和注释者专业知识不同等因素而有所不同。我们研究了来自不同专家的注释,这些专家在一组动物行为视频上标记了相同的行为类,并观察到注释风格的变化。我们提出了一种新的方法,使用程序合成,以帮助解释行为分析的注释差异。我们的模型选择相关的轨迹特征,并学习时间过滤器作为程序的一部分,这对应于注释者在每个时间戳对该特征的估计重要性。我们在行为神经科学数据集上的实验表明,与基线方法相比,我们的方法在捕获注释器标签和学习可解释的时间过滤器方面更准确。我们相信,我们的方法可以提高科学研究中使用的行为注释的可重复性。我们计划发布我们的代码。
2021-06-11 cs.AI cs.LG
LPI-RIT at LeWiDi-2025: Improving Distributional Predictions via Metadata and Loss Reweighting with DisCo
Rochester Institute of Technology(罗切斯特理工学院)
针对LeWiDi 2025标注者分歧建模任务,研究团队对DisCo神经架构进行扩展,引入标注者元数据嵌入、增强输入表示与多目标训练损失,在三个数据集的两类评估指标上均实现显著提升,并通过分析明确了分歧感知建模的生效机制。
2025-10-05 cs.AI cs.CL cs.LG
ALLURE: Auditing and Improving LLM-based Evaluation of Text using Iterative In-Context-Learning
Microsoft Research(微软研究院);Microsoft(微软)
本文提出ALLURE,通过对比LLM评估与人工标注并迭代加入偏差实例进行ICL,审计并改进LLM的文本评估能力,减少对人工标注的依赖。
2023-09-27 cs.AI cs.CL cs.HC
CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis
Temple University(Temple大学)
本文提出CentaurTA Studio,通过人机协作提升主题分析效率,实现高准确率和可靠评估,验证了反馈循环和持续优化的重要性。
2026-03-18 cs.AI cs.HC
Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program)
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);CIFAR(加拿大高等研究院);Université de Montréal(蒙特利尔大学);Yahoo! Research(雅虎研究院);Télécom Paris(巴黎电信学院);Institut Polytechnique de France(法国理工学院);University of Washington(华盛顿大学);Apple(苹果公司);Google(谷歌)
机器学习研究的挑战之一是确保所呈现和发表的结果是合理和可靠的。复制,即使用相同的代码和数据(如果可用)获得与论文或演讲中所呈现的相似结果,是验证研究结果可靠性的必要步骤。复制数据库也是促进开放和无障碍研究的一个重要步骤,从而使科学界能够迅速整合新的发现,并将想法转化为实践。Reproductibility还促进了强大的实验工作流程的使用,这可能会减少无意的错误。在2019年,神经信息处理系统(NeurIPS)会议,机器学习研究的首要国际会议,介绍了一个再现性计划,旨在提高整个社区的标准,我们如何进行,交流和评估机器学习研究。该计划包含三个组成部分:代码提交政策,社区范围内的再现性挑战,以及将机器学习再现性检查表作为论文提交过程的一部分。在本文中,我们描述了这些组件中的每一个,它是如何部署的,以及我们能够从这一举措中学到什么。
2020-12-30 cs.LG stat.ML
Improving Neutral Point-of-View Generation with Data- and Parameter-Efficient RL
Google DeepMind(谷歌DeepMind)
本文提出参数高效强化学习(PE-RL)以提升大语言模型在中立观点生成任务上的表现,相比最强基线LoRA微调,NPOV质量从97.06%提升至99.08%,且能泛化到话题之外,并发布数据集SHQ-NPOV。
2025-10-08 cs.AI cs.CL cs.LG
Improving annotator selection in Active Learning using a mood and fatigue-aware Recommender System
University of Coimbra(科英布拉大学)
本研究针对主动学习中查询-标注者配对未考虑情绪、疲劳等内在因素的问题,提出基于知识的推荐系统策略,结合标注者过往准确率、情绪疲劳水平及实例信息选择标注者,可减少标注错误、降低模型训练不确定性,提升准确率与F1值。
2025-07-31 cs.HC cs.LG
Don't Waste a Single Annotation: Improving Single-Label Classifiers Through Soft Labels
The University of Sheffield(谢菲尔德大学)
针对单标签分类任务传统标注训练方法浪费标注分歧等信息的问题,提出利用标注者置信度、次选标签及分歧生成软标签的方法,可提升分类器在硬标签测试集上的性能与校准效果。
2023-11-09 cs.AI cs.CL cs.LG
Multi-News+: Cost-efficient Dataset Cleansing via LLM-based Data Annotation
Chung-Ang University(中央大学);Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(中央大学高级影像科学、多媒体与电影研究生院)
本研究利用大语言模型结合思维链和多数投票策略,对多文档摘要数据集Multi-News进行清洗以剔除不相关文档,构建了增强版Multi-News+,提供了一种高效且低成本的数据集质量提升方法。
2024-09-24 cs.AI cs.CL
Supporting Artifact Evaluation with LLMs: A Study with Published Security Research Papers
本文研究利用大语言模型提升人工验证效率,通过文本复现评分、自动沙箱环境准备和方法缺陷评估,提高复现准确率和执行环境设置率,推动安全领域研究的可持续性。
2026-03-06 cs.AI cs.CL cs.CR
The Term 'Agent' Has Been Diluted Beyond Utility and Requires Redefinition
本文指出AI中“agent”一词因多义而模糊,提出基于最低要求与多维谱系的定义框架,以提升研究清晰度、可复现性并支持政策制定。
2025-08-07 cs.AI cs.CY
Improving the Reproducibility of Deep Learning Software: An Initial Investigation through a Case Study Analysis
Purdue University(普渡大学);NVIDIA(英伟达公司);Loyola University Chicago(芝加哥洛约拉大学)
本文通过案例研究提出系统性指南,从环境复现、端到端算法、架构公开和数据处理透明度等方面提升深度学习模型的可复现性,并辅以敏感性分析以弥合研究与实践差距。
2025-05-06 cs.LG cs.SE
Improving reproducibility by controlling random seed stability in machine learning based estimation via bagging
Division of Biostatistics, University of California, Berkeley, California, U.S.A.(加州大学伯克利分校生物统计学系)
本文提出通过袋外法消除机器学习去偏估计中的随机种子依赖,提高稳定性并减少计算开销。
2026-04-20 cs.LG stat.ME stat.ML
Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking
Lowes(劳氏公司)
研究针对零售对话代理评估难题,提出GenAI Evaluation管道,通过规范化等处理生产日志,能评估多维度指标。选择性重新评估提高效率,支持审计。每日处理约50000条记录,已评估超两百万次交互,取得较好分数和准确率。
2026-07-15 cs.AI
Pragmatic Inference Chain (PIC) Improving LLMs' Reasoning of Authentic Implicit Toxic Language
Nanyang Technological University(南洋理工大学);University of Macau(澳门大学)
本文针对真实隐性有毒语言检测中推理难度高的问题,提出语用推理链(PIC)提示方法,融合认知科学与语言学发现,显著提升多个大语言模型识别隐性有毒语言的成功率,并增强推理过程的可解释性。
2025-08-21 cs.AI cs.CL
AuthorGAN: Improving GAN Reproducibility using a Modular GAN Framework
IBM Research AI(IBM研究院人工智能部门);IIIT Delhi(德里印度理工学院)
生成模型在文献中越来越受欢迎,生成对抗网络(GAN)是最成功的变体。随着这种需求的增长和普及,实现和使用GAN模型变得同样困难和具有挑战性。在47个从业者进行的定性用户调查显示,专家级技能需要使用GAN模型的给定任务,尽管存在各种开源库。在这项研究中,我们提出了一个新的系统称为AuthorGAN,旨在实现真正的民主化GAN创作。定义了GAN模型的高度模块化的库不可知表示,以实现GAN架构在Keras,Tensorflow和PyTorch等不同库之间的互操作性。使用node-red平台构建了一个直观的基于拖放的可视化设计器,以实现自定义架构设计,而无需编写任何代码。五种不同的GAN模型作为该框架的一部分实现,并使用基准MNIST数据集显示不同GAN模型的性能。
2019-11-26 cs.HC cs.LG
Anti-Distillation: Improving reproducibility of deep networks
Google(谷歌)
深度网络在提高机器学习和人工智能系统的性能方面具有革命性意义。然而,它们的高预测准确性是以\emph{model irreproducibility\/}的非常高的水平为代价的,这在经典线性模型中是不会发生的。两个模型,即使它们被认为是相同的,具有相同的架构和相同的训练参数集,并且在相同的训练样本集上训练,同时可能提供相同的平均预测精度,也可能在单独的、先前看不见的样本上进行非常不同的预测。\emph{Prediction differences\/}可以与预测本身的数量级一样大。合奏已经被证明可以在一定程度上减轻这种行为,但如果没有额外的推动,可能无法充分发挥其潜力。在这项工作中,提出了一种新的方法,\emph{Anti-Distillation\/},以解决深度网络中的不可再现性,其中集成模型用于生成预测。Anti-Distillation通过在小批量的示例中去相关它们的输出等技术,迫使集成组件彼此远离,迫使它们变得更加不同和更加多样化。这样做增强了集成的好处,使最终的预测更具可重复性。实证结果表明,在基准数据集和真实数据集上,Anti-Distillation实现了显著的预测差异减少。
2020-10-19 cs.LG cs.NE stat.ML
A Self-Improving Architecture for Dynamic Safety in Large Language Models
Georgia Institute of Technology(佐治亚理工学院)
本文提出自改进安全框架SISF,通过反馈循环实现LLM系统在运行时自动检测安全故障并生成防御策略,实验显示其能有效降低攻击成功率,提升系统鲁棒性。
2026-04-01 cs.AI cs.CR cs.SE
Efficient Annotator Reliability Assessment with EffiARA
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
本文提出EffiARA标注框架及配套Python包和网络工具,首次覆盖从资源评估到可靠性分析的完整标注流程,并通过软标签聚合与不可靠标注者替换提升标注质量。
2025-06-03 cs.CL cs.LG
REALM: Reliable Expertise-Aware Language Model Fine-Tuning from Noisy Annotations
Department of Electrical and Computer Engineering(电气与计算机工程系)
REALM通过无监督学习同时学习模型参数和标注者专业能力评分,提升在噪声标注下的微调效果,实验显示其在多种任务和数据集上均优于传统方法。
2026-09-01 cs.LG
Enabling Reproducibility and Meta-learning Through a Lifelong Database of Experiments (LDE)
IBM Research(IBM研究院);University of Groningen(格罗宁根大学)
人工智能(AI)的开发本质上是迭代和实验性的。在正常的开发过程中,特别是随着自动化人工智能的出现,会产生数百或数千个实验,这些实验往往会丢失或永远不会再次检查。我们失去了记录这些实验并从中大规模学习的机会,但跟踪和复制这些实验的复杂性往往让数据科学家望而却步。我们提出了终身实验数据库(LDE),自动提取和存储链接的元数据从实验工件,并提供功能,以重现这些工件,并执行跨它们的元学习。我们存储来自AI开发生命周期多个阶段的上下文,包括数据集、管道、每个阶段的配置方式,以及训练运行时的运行环境信息。存储的元数据的标准化特性允许查询和聚合,特别是在通过性能度量对工件进行排名方面。我们展示了LDE的能力,再现现有的元学习研究和存储在我们的系统中再现的元数据。然后,我们在此元数据上执行两个实验:1)检查性能指标的可重复性和可变性,以及2)在数据之上实现一些元学习算法,并检查实验结果的可变性如何影响推荐性能。实验结果表明,性能存在显著差异,特别是取决于数据集配置;当元学习建立在结果之上时,这种差异会继续存在,当使用聚合结果时,性能会提高。这表明,自动收集和聚合结果的系统(如LDE)不仅有助于实现元学习,而且还可以提高其性能。
2022-02-23 cs.AI cs.LG
D-LEMA: Deep Learning Ensembles from Multiple Annotations -- Application to Skin Lesion Segmentation
Simon Fraser University(西蒙弗雷泽大学)
由于人类注释者的内在差异和模糊的边界,医学图像分割注释甚至在专家之间也存在观察者间和观察者内的变化。利用注释者对图像的意见集合是评估黄金标准的一种有趣方式。虽然在监督环境中训练深度模型,每个图像只有一个注释已经得到了广泛的研究,但将它们的训练推广到每个图像包含多个注释的数据集仍然是一个相当未探索的问题。在本文中,我们提出了一种在训练深度模型时处理注释者分歧的方法。为此,我们提出了一个贝叶斯全卷积网络(FCN)的集合,通过考虑多个地面实况注释聚合中的两个主要因素来进行分割任务:(1)处理训练数据中源于注释者之间分歧的矛盾注释,以及(2)通过融合基础模型的预测来提高置信度校准。我们证明了我们的方法在ISIC Archive上的优越性能,并通过对PH 2和DermoFit数据集的交叉数据集评估来探索我们所提出的方法的泛化性能。
2021-04-29 cs.CV cs.LG eess.IV
Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop
Dialpad Canada Inc.(Dialpad加拿大公司)
由于语音识别错误、不流利等,电话转录数据可能非常嘈杂。不仅注释这些数据对于注释者来说非常具有挑战性,而且即使在注释作业完成之后,这些数据也可能具有大量注释错误,从而导致非常差的模型性能。在本文中,我们提出了一个主动学习框架,该框架利用人类在循环学习中识别来自注释数据集的数据样本,以进行更有可能包含注释错误的重新注释。通过这种方式,我们大大减少了对整个数据集进行数据重新注释的需求。我们进行了广泛的实验与我们提出的方法命名实体识别,并观察到,通过重新注释只有约6%的训练实例的整个数据集,F1分数为某一实体类型可以显着提高约25%。
2022-11-02 cs.AI cs.CL cs.LG
UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability Prediction with Multi-task Learning on Self-Supervised Annotations
University of Trieste(的里雅斯特大学);International School for Advanced Studies (SISSA)(国际高等研究学院(SISSA))
本文描述了一种自监督的数据增强方法,用于在只有适量标记数据可用时提高学习模型的性能。原始模型的多个副本最初在下游任务上进行训练。然后,他们的预测用于注释大量未标记的示例。最后,对所得到的训练集的并行注释执行多任务训练,并通过对注释者特定的头部预测进行平均来获得最终分数。神经语言模型在Evalita 2020的AcCompl-it共享任务的背景下使用该程序进行微调,从而在预测质量方面获得了相当大的改进。
2020-11-10 cs.CL cs.LG