Lost in the Averages: A New Specific Setup to Evaluate Membership Inference Attacks Against Machine Learning Models
Imperial College London(帝国理工学院伦敦分校);Lausanne University Hospital (CHUV)(洛桑大学医院(CHUV))
针对成员推断攻击评估,提出模型种子博弈以替代传统博弈,避免风险被数据集平均掩盖,更准确反映特定模型或合成数据的隐私风险,实验显示高达94%高风险记录被传统方法遗漏。
2025-10-16 cs.CR cs.LG
Hyperparameters in Score-Based Membership Inference Attacks
University of Helsinki(赫尔辛基大学)
本研究提出一种在无目标模型超参数知识时,通过匹配输出分布选择影子模型超参数的方法,使基于分数的成员推断攻击性能接近理想情况,并发现差分隐私迁移学习中用训练数据做超参数优化不显著增加隐私风险。
2025-02-27 cs.AI cs.LG
Evaluating the Dynamics of Membership Privacy in Deep Learning
本文提出动态分析框架,在样本层面量化成员推断攻击的隐私泄露动态,发现高脆弱样本的隐私风险在训练早期即已确定,为主动隐私保护训练奠定基础。
2025-08-03 cs.AI cs.LG
When Privacy Isn't Synthetic: Hidden Data Leakage in Generative AI Models
Department of Mathematical Sciences University of Texas at El Paso(数学科学系德克萨斯理工大学埃尔帕索分校);Department of Computer Science University of Texas at El Paso(计算机科学系德克萨斯理工大学埃尔帕索分校);Department of Radiology St. Jude Children’s Research Hospital(放射医学系圣犹太儿童研究医院)
本文提出了一种针对生成AI模型的黑盒成员推断攻击,通过数据流形中的结构重叠泄露隐私信息,揭示了合成数据生成中未被充分探索的隐私风险。
2025-12-05 cs.AI cs.LG
Bits for Privacy: Evaluating Post-Training Quantization via Membership Inference
Department of Computer Science University of Luxembourg(计算机科学系卢森堡大学);Department of Computer Science Nanjing University(计算机科学系南京大学)
研究通过成员推断攻击评估训练后量化在隐私和效用之间的平衡,发现低精度量化可显著降低隐私泄露风险,但会牺牲模型效用。
2025-12-17 cs.CR cs.LG
Evaluating Membership Inference Attacks in heterogeneous-data setups
University of Twente, The Netherlands(特文特大学,荷兰);Inria, France(法国国家信息与自动化技术研究院)
本文提出了一种度量标准来评估成员推断攻击在异构数据设置中的表现,揭示了攻击准确性依赖于实验设置,并指出了缺乏标准化基线对风险评估的挑战。
2025-04-28 cs.CR cs.LG
FiMMIA: scaling semantic perturbation-based membership inference across modalities
SberAI
本文提出FiMMIA框架,用于多模态大语言模型中的成员推断攻击,通过识别数据分布偏移和改进基线流程,提升对抗检测性能。
2025-12-02 cs.LG
SoK: Rethinking Membership Inference in Tabular Machine Learning
TekPrivacy;SnT, University of Luxembourg(卢森堡大学SnT研究所);Faculty of Sciences of the University of Porto(波尔图大学理学院)
本文针对表格机器学习的成员推断攻击(MIAs)提出新分类法,研究发现高类别粒度、高多数类占比的数据集更易受攻击,现有防御无法充分保护含独特特征的敏感个体。
2026-10-14 cs.LG
Membership Inference over Diffusion-models-based Synthetic Tabular Data
University of Alberta(阿尔伯塔大学)
该研究针对基于扩散模型的合成表格数据生成方法,提出基于逐步误差比较的查询式 MIA,评估 TabDDPM 与 TabSyn 的隐私风险,发现前者更易受攻击、后者更具韧性。
2025-10-16 cs.AI cs.CR cs.LG
Cascading and Proxy Membership Inference Attacks
Purdue University(普渡大学);NVIDIA Research(NVIDIA研究)
针对成员推断攻击,提出自适应场景下的级联攻击(CMIA)和非自适应场景下的代理攻击(PMIA),利用成员依赖性或代理样本行为提升推断性能,在低假阳性率下显著优于现有方法。
2025-09-07 cs.CR cs.LG
Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks
Politecnico di Milano(米兰理工大学)
本文提出Knowledge Recycling(KR)流水线及Generative Knowledge Distillation(GKD)技术,通过合成数据集再生与软标签机制优化合成数据训练,不仅缩小了与真实数据的性能差距,还使模型对成员推理攻击具备几乎完全的免疫力。
2024-07-30 cs.AI cs.CR cs.CV
Real-World Benchmarks Make Membership Inference Attacks Fail on Diffusion Models
University of Southern California(南加州大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究发现现有扩散模型成员推理攻击的性能被高估,提出更贴合真实场景的CopyMark基准,实验证明现有攻击在实际条件下效果大幅下降,指出当前MIA无法可靠识别预训练扩散模型的未授权数据使用。
2024-10-04 cs.LG
LTU Attacker for Membership Inference
RPI(伦斯勒理工学院);LISN/CNRS/INRIA(LISN/法国国家科学研究中心/法国国家信息与自动化研究所);U. Paris-Saclay(巴黎萨克雷大学);Paradigm(第四范式);ChaLearn
我们解决的问题,防御预测模型,如机器学习分类器(后卫模型),对成员推断攻击,在黑箱和白箱设置,当教练和训练模型公开发布。Defender旨在优化双重目标:实用性和隐私。利用包括攻击者和评估者的外部装置来评估效用和隐私两者。一方面,使用与Defender训练数据分布相似的保留数据来评估效用;另一方面,使用与Defender训练数据混合的保留数据来评估成员推断攻击鲁棒性。在这两种情况下,分类准确度或出错率被用作度量:效用是用防御者模型的分类准确度来评估的;隐私是用所谓的“留两个未标记”LTU攻击者的成员预测误差来评估的,LTU攻击者可以访问所有的防御者和保留数据,除了每个样本的成员标记。我们证明了,在一定条件下,即使是一个“天真”的LTU攻击者可以实现较低的隐私损失与简单的攻击策略,从而导致具体的必要条件,以保护隐私,包括:防止过度拟合和增加一些随机性。然而,我们还表明,这种天真的LTU攻击者可能无法攻击文献中已知易受攻击的模型的隐私,这表明知识必须辅以强大的攻击策略,才能将LTU攻击者变成评估隐私的强大手段。我们在QMNIST和CIFAR-10数据集上的实验验证了我们的理论结果,并证实了过拟合预防和随机性在算法中的作用,以防止隐私攻击。
2022-02-04 cs.LG
Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models
本研究对比多智能体流水线与自我优化方法,发现针对本地7B模型,两次调用自我优化在GSM8K表现更优且令牌用量低,经任务感知重设计后在HumanEval也能维持高准确率,简单方法优于多智能体架构。
2026-07-30 cs.LG
Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using Fairlogue and the All of Us Research Program
College of Engineering, The University of Arizona(亚利桑那大学工程学院)
本文使用Fairlogue工具包在临床预测任务中评估交叉公平性,发现交叉群体差异大于单轴分析,但反事实诊断表明多数差异与随机分组相当。
2026-06-17 cs.CY cs.LG q-bio.QM
Revisiting Membership Inference Under Realistic Assumptions
University of Virginia(弗吉尼亚大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究成员推理的设置中,通常使用的一些假设在以前的研究放松。首先,我们考虑倾斜的先验,以涵盖的情况下,如只有一小部分的候选人池的目标是由对手实际上是成员,并制定一个PPV为基础的度量适合这种设置。这种设置比研究人员通常考虑的平衡先验设置更现实。其次,我们考虑的对手,选择推理阈值,根据他们的攻击目标,并制定了一个阈值选择程序,提高推理攻击。由于以前的推理攻击失败的不平衡的先验设置,我们开发了一个新的推理攻击的直觉,即对应于训练集成员的输入将接近局部最小值的损失函数,并表明,攻击,结合这与阈值的每实例损失可以实现高PPV,即使在其他攻击似乎是无效的设置。我们的实验代码可以在这里找到:https://github.com/bargavj/EvaluatingDPML。
2021-01-13 cs.CR cs.LG stat.ML
DeepLeak: Privacy Enhancing Hardening of Model Explanations Against Membership Leakage
Department of Computer and Information Science(计算机与信息科学系);University of Michigan-Dearborn(密歇根大学-迪尔伯恩分校)
DeepLeak通过系统化方法减少模型解释中的成员泄露,提升隐私保护与可解释性的平衡。
2026-01-06 cs.CR cs.LG
On the Effectiveness of Membership Inference in Targeted Data Extraction from Large Language Models
American University of Beirut(贝鲁特美国大学)
本研究通过整合多种成员推断技术评估其在大型语言模型目标数据提取中的有效性,并与传统基准测试进行比较以评估实际应用价值。
2026-02-26 cs.CL cs.CR cs.LG
Re-evaluating the Memory-balanced Pipeline Parallelism: BPipe
Meituan(美团)
本文重新评估了内存平衡流水线并行技术 BPipe,发现其在 LLaMA 训练及应用 flash attention 的 GPT-3 训练中收益微弱,分析了性能差异原因并提出了一种新的 BPipe 性能估计方法。
2024-01-04 cs.CL cs.DC cs.LG
Membership Inference Attacks on Large-Scale Models: A Survey
Institute of Science Tokyo(东京科学研究所)
本文为首个针对大语言模型、大多模态模型的成员推理攻击全面综述,按多维度分类分析攻击方法,覆盖模型流水线多阶段,指出挑战并提出隐私增强研究方向。
2025-08-31 cs.CR cs.LG
Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2
Minot State University(迈诺特州立大学)
本文在SST-2上比较TF-IDF逻辑回归与DistilBERT的成员推断攻击脆弱性,发现两者均泄露成员信号,而轻量训练调整(如减少epoch)可在效用损失极小下改善隐私-效用权衡。
2026-09-11 cs.CL cs.CR cs.LG
Revisiting the LiRA Membership Inference Attack Under Realistic Assumptions
Universitat Rovira i Virgili(罗维拉-维格ili大学)
本文重新评估了在现实假设下的LiRA成员推断攻击,发现抗过拟合和迁移学习显著削弱了攻击效果,同时强调了评估协议需考虑实际训练实践和可重复性。
2026-03-08 cs.CR cs.LG
Building Fast, Evaluating Slow: Pipeline Choices Dominate Autointerpretability Score Variance
ETH Zürich(苏黎世联邦理工学院)
研究稀疏自动编码器可解释性得分的跨论文比较,通过多指标、多模型及方法变化轴的实验发现方法方差主导得分方差,排名不稳定,基于得分的比较可能反映管道差异,贡献评估方法以推动可解释性研究。
2026-07-23 cs.CL cs.LG
RAGProbe: An Automated Approach for Evaluating RAG Applications
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
本文提出 RAGProbe 自动化方法,通过生成问答对变体触发 RAG 流水线失败,并在多个数据集和开源流水线上验证其能显著提高失败检出率,可集成到 CI/CD 中持续监测 RAG 系统质量。
2024-09-24 cs.CL cs.LG
Investigating Bias: A Multilingual Pipeline for Generating, Solving, and Evaluating Math Problems with LLMs
HTW Berlin University of Applied Sciences(柏林应用科学大学)
本文提出多语言流水线生成、解决和评估数学问题,发现英语解决方案质量优于阿拉伯语,揭示语言偏差问题。
2025-12-03 cs.AI cs.CL cs.LG
A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline
Cornell University(康奈尔大学);HHMI Janelia Research Campus(霍华德·休斯医学研究所贾雷尔研究园区)
本研究评估通用编码代理在果蝇光遗传学数据到发现流程中的表现,发现代理能解决单个阶段任务,但端到端流程仍超出其能力,主要挑战包括缺乏预定义迭代标准和科学判断能力。
2026-08-12 cs.AI cs.CV cs.LG
Estimating Model-Level Membership Inference Vulnerability Without Reference Models
Imperial College London(伦敦帝国学院)
针对现有成员推理攻击需大量参考模型、实用性受限的问题,提出无需参考模型、基于损失分布高损失区异常值缺失估计模型级MIA漏洞的方法,在多架构数据集上表现优于低成本攻击及分布差异度量,且适用于大语言模型风险评估。
2026-10-08 cs.CR cs.LG
Dual-Model Defense: Safeguarding Diffusion Models from Membership Inference Attacks through Disjoint Data Splitting
VinAI Research(VinAI研究院)
本文提出 DualMD 和 DistillMD 两种基于不相交数据划分的双模型方法,通过限制单模型信息量和知识蒸馏有效防御扩散模型的成员推断攻击,同时保持生成性能并缓解模型记忆问题。
2024-10-22 cs.CV cs.LG
EvalBlocks: A Modular Pipeline for Rapidly Evaluating Foundation Models in Medical Imaging
Radboud University Medical Center(拉德堡德大学医学中心);Diagnostic Image Analysis Group, Radboud University Medical Center, Nijmegen, The Netherlands(荷兰奈梅亨拉德堡德大学医学中心诊断图像分析组)
本文提出EvalBlocks,一种模块化框架,用于高效评估医学影像基础模型,通过集中跟踪实验和结果,实现快速迭代和模型创新。
2026-04-01 cs.CV cs.LG
On Reliability of Membership Inference Vulnerability Evaluation
University of Helsinki(赫尔辛基大学);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍兹中心)
本文揭示了高效成员推断攻击评估中两个关键缺陷:跨样本FPR未校准导致差分隐私审计不可靠,以及有限总体偏差导致样本脆弱性高估,并提出了后处理校准方法。
2026-10-02 cs.CR cs.LG
Membership Inference Attacks against Large Vision-Language Models
EPFL(洛桑联邦理工学院);UCLA(加利福尼亚大学洛杉矶分校)
本研究针对大型视觉-语言模型,首次提出成员推断攻击基准和专用流水线,并引入基于置信度的MaxRényi-K%指标,以检测训练数据中的敏感信息。
2024-11-05 cs.AI cs.CL cs.CR
MMGenBench: Fully Automatically Evaluating LMMs from the Text-to-Image Generation Perspective
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
本文提出全自动评估流水线MMGenBench-Pipeline及配套基准测试,通过文本到图像生成比较评估LMMs的图像理解与描述能力,发现现有模型仍有显著提升空间。
2025-03-08 cs.AI cs.CL cs.CV
Bounded Fuzzy Possibilistic Method of Critical Objects Processing in Machine Learning
学习方法的不满意的精度主要是由于忽略了重要参数的影响,如隶属度分配,数据对象的类型,距离或相似性函数。所提出的方法,称为有界模糊可能性方法(BFPM)解决了不同的问题,以前的聚类或分类方法没有充分考虑在其成员分配。在模糊方法中,对象的成员数之和应该为1。因此,任何数据对象都可以在至多一个簇或类中获得完全成员资格。可能性方法放宽了这一条件,但即使任意对象仅从一个簇中获得成员资格,该方法也可以满足结果,这妨碍了对象的运动分析。然而,BFPM不同于以往的模糊和可能性的方法,通过消除这些限制。此外,BFPM为目标的运动分析提供了灵活的搜索空间。数据对象也被认为是学习方法中的基本关键,并且知道对象的确切类型导致为学习算法提供合适的环境。论文介绍了一种新类型的对象,称为关键,以及分类数据对象分为两个不同的类别:基于结构和基于行为。关键对象被认为是学习过程中错误分类和错误分配的原因。论文还提出了新的方法来研究关键对象的行为,目的是评估对象从一个集群或类到另一个集群或类的移动(突变)。论文还介绍了一种新的类型的功能,称为显性,这被认为是错误的分类和错误分配的原因之一。在此基础上,本文提出了一套新的相似度函数,称为加权特征距离(WFD)和优先加权特征距离(PWFD)。
2020-07-26 cs.AI cs.LG stat.ML
From In Silico to In Vitro: Evaluating Molecule Generative Models for Hit Generation
University College London(伦敦大学学院);University of Urbino Carlo Bo(乌尔比诺卡尔洛·博大学)
本文评估分子生成模型在命中生成中的有效性,通过实验验证其在药物发现流程中的应用潜力及局限性。
2025-12-26 cs.AI cs.LG
Measuring Faithfulness and Abstention: An Automated Pipeline for Evaluating LLM-Generated 3-ply Case-Based Legal Arguments
Intelligent Systems Program, University of Pittsburgh(匹兹堡大学智能系统项目);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
本文提出一种自动化流水线,通过外部LLM提取因子并与案件三元组比对,评估LLM生成三层法律论证时的忠实性、因子利用和弃权(不执行)能力,发现现有模型虽幻觉率低但因子利用不足且弃权表现差。
2025-06-03 cs.AI cs.CL cs.LG
How to Train Private Clinical Language Models: A Comparative Study of Privacy-Preserving Pipelines for ICD-9 Coding
针对临床文本训练大模型易泄露隐私、差分隐私方法易降低诊断准确率的问题,对比四种ICD-9编码隐私保护训练流水线,发现中等及宽松隐私预算下,差分隐私教师模型的知识蒸馏方法隐私-效用权衡最优,为临床NLP隐私保护提供实用路径。
2025-11-18 cs.CL cs.LG
Auditing of Unlearning Algorithms
Stanford University(斯坦福大学);University of Zurich(苏黎世大学)
研究无学习算法能否消除训练数据影响这一问题,利用成员推理攻击计算无学习参数ε下限的审计器来评估多种算法,发现有严格保证的算法ε边界小,经验方法边界大,审计器为证伪无学习声明提供工具并经实验验证。
2026-07-08 cs.CR cs.LG
Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models
University of California, Los Angeles(加州大学洛杉矶分校);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
该研究针对微调TTS模型提出首个黑盒成员推断框架,通过优化查询生成与表示工程,在三类模型上实现高隐私泄露,揭示了TTS模型的严重隐私风险。
2026-09-03 cs.CR cs.LG cs.SD
AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model
University of Technology Sydney(悉尼科技大学);USU Software AG(USU软件股份公司)
机器学习(ML)管道的评估在自动ML管道组合和优化期间是必不可少的。以前的方法,如基于贝叶斯和基于遗传的优化,在Auto-Weka,Auto-sklearn和TPOT中实现,通过执行它们来评估管道。因此,这些方法的管道组成和优化需要大量的时间,这使他们无法探索复杂的管道来找到更好的预测模型。为了进一步探索这一研究挑战,我们进行了实验,表明许多生成的管道是无效的,没有必要执行它们来确定它们是否是好的管道。为了解决这个问题,我们提出了一种新的方法来评估ML管道使用代理模型(AVATAR)的有效性。AVATAR能够通过快速忽略无效管道来加速自动ML管道组合和优化。我们的实验表明,AVATAR是更有效地评估复杂的管道相比,传统的评估方法,需要他们的执行。
2020-02-03 cs.LG stat.ML
Generative Models for Simulating Mobility Trajectories
UNIL-HEC Lausanne(洛桑大学高等商学院);Columbia University(哥伦比亚大学)
移动数据集是评估地理信息系统算法和促进实验再现性的基础。但隐私问题限制了这些数据集的共享,因为即使是聚合的位置数据也容易受到成员推断攻击。当前的合成移动性数据集生成器试图表面上匹配先验建模的移动性特征,其不准确地反映真实世界的特征。因此,对人类移动性进行建模以生成合成的但在语义和统计上真实的轨迹对于发布具有令人满意的效用水平的轨迹数据集同时保护用户隐私是至关重要的。具体来说,人类移动性固有的长期依赖性很难用判别模型和生成模型来捕捉。在本文中,我们对递归神经架构(RNN),生成对抗网络(GANs)和非参数copula的性能进行了基准测试,以生成合成的移动性轨迹。我们评估生成的轨迹,其地理和语义相似性,昼夜节律,远程依赖性,训练和生成时间。我们还包括两个样本测试,以评估所观察到的和模拟的分布之间的统计相似性,我们分析的隐私权衡成员推断和位置序列攻击。
2018-11-30 cs.LG stat.ML
A Data-Centric Perspective on Evaluating Machine Learning Models for Tabular Data
University of Mannheim(曼海姆大学);University of Rostock(罗斯托克大学)
针对表格数据模型评估中过度标准化预处理的偏差问题,提出数据中心评估框架,发现针对特定数据集的特征工程会显著改变模型排名并降低模型选择重要性,强调表格数据需要特征工程并具有时间特征。
2024-12-18 cs.AI cs.LG
Detecting Training Data of Large Language Models via Expectation Maximization
University of California, Santa Barbara(加州大学圣巴巴拉分校);AWS AI Lab(AWS人工智能实验室)
本文提出EM-MIA方法,通过期望最大化策略检测大型语言模型的训练数据,实验表明其在分布重叠明显时表现优异,揭示了当前方法的局限性。
2026-01-26 cs.AI cs.CL cs.CR
BenchTemp: A General Benchmark for Evaluating Temporal Graph Neural Networks
Wuhan University(武汉大学);ETH Zürich(苏黎世联邦理工学院);eBay(易贝);Ant Group(蚂蚁集团);University of Electronic Science and Technology of China(电子科技大学)
针对时序图神经网络评估中数据集与流程不一致等问题,提出通用基准BenchTemp,提供统一数据集和标准流程,全面比较模型在多种任务与设置下的有效性和效率。
2023-08-31 cs.AI cs.LG
WildTrace: Evaluating Training Data Detection in Realistic Large-Scale LLM Post-Training
Southern University of Science and Technology(南方科技大学)
该研究针对大规模LLM后训练中训练数据检测的评估问题,提出WildTrace基准,发现现有检测方法性能接近随机猜测,评估协议会显著影响检测性能,凸显了开发实用稳健检测方法的潜力。
2026-10-14 cs.AI cs.LG
Machine Learning Pipeline for Pulsar Star Dataset
University of Sao Paulo(圣保罗大学);Institute of Mathematics and Computer Science(数学与计算机科学研究所)
这项工作汇集了一些最常见的机器学习(ML)算法,目标是在从一组不平衡数据中获得的结果的水平上进行比较。该数据集由近17000个对天文物体进行的观测组成,以识别天体(HTRU2)。该方法建议的基础上评估这些不同的模型在同一数据库中的准确性处理不平衡数据的两种不同的策略。结果表明,尽管这种类型的数据中存在噪声和不平衡的类,它是可能的,将它们应用于标准的ML算法,并获得有前途的准确率。
2020-05-03 astro-ph.IM cs.LG
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
Arizona State University(亚利桑那州立大学)
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益,我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击,并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明,贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型,没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外,我们表明,确定性CNN提取器后的随机分类器具有足够的鲁棒性增强,而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
2021-06-17 cs.CV cs.LG
ClawGUI: A Unified Framework for Training, Evaluating, and Deploying GUI Agents
Zhejiang University(浙江大学)
ClawGUI通过统一框架解决GUI代理训练、评估和部署中的三大缺口,提供标准化评估流程和跨平台部署能力,实现移动端GUI任务的成功率提升。
2026-04-13 cs.AI cs.CL cs.CV
Your Image Generator Is Your New Private Dataset
Politecnico di Milano(米兰理工大学)
本文提出TCKR流水线,通过动态图像描述、扩散模型微调和生成式知识蒸馏构建合成训练集,在十个分类基准上达到与真实数据相当甚至更优的准确率,并显著降低成员推理攻击风险。
2025-04-08 cs.AI cs.CV cs.LG
KGpipe: Generation and Evaluation of Pipelines for Data Integration into Knowledge Graphs
ScaDS.AI Dresden/Leipzig(ScaDS.AI 德累斯顿/莱比锡)
KGpipe通过整合现有工具和LLM功能,提供数据整合到知识图谱的管道生成与评估框架,展示其灵活性和有效性。
2025-11-23 cs.AI cs.DB cs.LG
Predicting computational reproducibility of data analysis pipelines in large population studies using collaborative filtering
Concordia University(康考迪亚大学)
评估数据分析管道的计算再现性已成为一个关键问题。然而,由于其计算和存储要求,对于涉及来自大量受试者的数据的分析来说,这是一个繁琐的过程。我们提出了一种方法来预测大人口研究中数据分析管道的计算再现性。我们制定的问题作为一个协同过滤过程中,约束的训练集的建设。我们提出了6种不同的策略来构建训练集,我们在2个数据集上进行了评估,一个是对具有越来越多的主题类型的人群进行建模的合成数据集,另一个是通过神经信息学管道获得的真实数据集。结果表明,一种抽样方法,“随机文件编号(均匀)”是能够预测计算再现性具有良好的精度。我们还分析了包括文件和主题偏见的协同过滤模型的相关性。我们的结论是,所提出的方法是能够大大加快再现性评价,减少准确性损失。
2018-09-26 cs.LG stat.ME stat.ML
Evaluating Very Long-Term Conversational Memory of LLM Agents
University of North Carolina Chapel Hill(北卡罗来纳大学教堂山分校);University of Southern California(南加利福尼亚大学);Snap Inc(Snap公司)
本文针对超长期对话记忆评估的空白,提出机器-人工流水线生成高质量超长期对话并构建LoCoMo数据集,通过问答、事件摘要和多模态生成基准揭示现有LLMs与人类在长程记忆上的显著差距。
2024-02-27 cs.AI cs.CL cs.LG
ELF-Gym: Evaluating Large Language Models Generated Features for Tabular Prediction
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室)
本文提出ELF-Gym框架,通过构建包含251个Kaggle黄金特征的数据集,从下游性能和语义/功能相似性两方面定量评估LLM生成特征与人类专家的差距,并实证揭示了LLM在复杂特征构建上的显著不足。
2024-10-13 cs.AI cs.CL cs.LG
Evaluating Structured Information Extraction with Open Models in a High Risk Public Sector Application
Berlin University of Applied Sciences(柏林应用科学大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
本研究针对欧盟AI法案高风险公共部门应用场景,构建基准评估开源OCR、LLM、VLM在学生申请处理任务的性能,发现零样本下多数模型表现差,输入结构保留是关键因素。
2026-08-20 cs.AI cs.CR cs.IR