Evaluating utility in synthetic banking microdata applications
Business School, University of Edinburgh(爱丁堡大学商学院);Central Bank of Paraguay(巴拉圭中央银行);Centre for Statistics, University of Edinburgh(爱丁堡大学统计中心);Centre for Financial Innovations, University of Edinburgh(爱丁堡大学金融创新中心)
针对银行微观数据受保密法限制难以获取、现有评估框架未适配银行场景的问题,本文构建兼顾效用与隐私的评估框架,基于巴拉圭央行数据首次生成三类公开合成银行微观数据集,验证了边际推断机制在频数表类应用中优于GAN模型,为金融监管机构补充统计披露提供了可行的隐私增强技术方案。
2024-10-29 cs.LG q-fin.CP
Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling
Northwestern University(西北大学)
研究通过在线实验比较共形预测集与Top-1/Top-k显示在AI辅助图像标注中的实用性,发现预测集在标注分布外图像时具一定优势,尤其当集合较小时。
2024-04-25 cs.CV cs.HC cs.LG
Mimicking or Reasoning: Rethinking Multi-Modal In-Context Learning in Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院)
本文通过分布偏移评估和带推理示例的MM-ICL流程,揭示VLM多模态上下文学习更像复制而非真正利用示例推理。
2025-06-09 cs.AI cs.CL cs.CV
FEST: A Unified Framework for Evaluating Synthetic Tabular Data
Communication Systems Group CSG, Department of Informatics, University of Zurich UZH(信息学院通信系统组、苏黎世大学)
本文提出统一评估框架FEST,整合隐私、相似性和机器学习效用度量,以开源Python库形式系统评估合成表格数据的隐私-效用权衡。
2025-08-22 cs.LG
Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning
Fudan University(复旦大学);Central South University(中南大学);Michigan State University(密歇根州立大学)
本文评估并改进LLM去学习中的诚实性,提出正式定义并引入评估指标,实验显示现有方法无法满足标准,提出ReVa方法提升去学习效果和诚实性。
2026-05-09 cs.AI cs.LG
Evaluating the diversity and utility of materials proposed by generative models
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文评估了物理引导晶体生成模型 PGCGM 在逆向设计中的表现,发现其输入空间不平滑且生成结构多被预测为热力学不稳定,并据此提出改进生成模型以支持逆向设计的建议。
2023-08-09 cond-mat.mtrl-sci cs.LG physics.comp-ph
Evaluating the Impact of Local Differential Privacy on Utility Loss via Influence Functions
University of Arkansas(阿肯色大学)
本文提出利用影响函数估计本地差分隐私中随机响应对模型测试损失的影响,从而以较低计算成本辅助选择隐私参数,并在二分类和多分类实验中验证了其近似准确性。
2023-09-15 cs.CR cs.LG
Evaluating Differentially Private Machine Learning in Practice
University of Virginia(弗吉尼亚大学)
差分隐私是一个强有力的隐私概念,可以用来证明形式上的保证,在隐私预算方面,$ε$,关于有多少信息被泄露的机制。然而,隐私保护机器学习的实现通常选择大的$ε$值,以获得可接受的模型效用,而很少了解这种选择对有意义的隐私的影响。此外,在使用迭代学习过程的情况下,使用提供更严格分析的差分隐私变体,这似乎减少了所需的隐私预算,但在隐私和效用之间存在难以理解的权衡。在本文中,我们量化的影响,这些选择的隐私实验与逻辑回归和神经网络模型。我们的主要发现是,即使使用先进的机制,也可以保证隐私损失的上限与使用当前推理攻击可以测量的有效隐私损失之间存在巨大差距。当前的差异私有机器学习机制很少提供可接受的效用-隐私权衡,并保证复杂的学习任务:提供有限准确性损失的设置提供无意义的隐私保证,提供强隐私保证的设置导致无用的模型。实验代码可以在这里找到:https://github.com/bargavj/EvaluatingDPML
2019-08-12 cs.CR cs.LG stat.ML
A Framework for Evaluating Privacy-Utility Trade-off in Vertical Federated Learning
Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
本文提出隐私-效用评估框架,系统评估三种主流 VFL 算法在多种隐私攻击下的保护机制,指出 MC 攻击仍难防御并给出改进建议。
2024-08-04 cs.CR cs.DC cs.LG
Online AutoML: Evaluating Poisoning Attacks on Cost-Utility Adversarial Training Defence Strategy for IoT Networks
Ontario Tech University(安大略理工大学);Alex Ekwueme Federal University(亚历克斯·埃克武梅联邦大学)
本研究通过在线AutoML管道评估对抗训练防御在物联网流式数据中应对投毒攻击(标签翻转和噪声注入)的有效性,发现AT-SRP和AT-LB分别在两类攻击下取得最佳F1分数。
2026-10-14 cs.CR cs.LG
What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
针对反馈对齐方法评估中准确率和余弦相似度无法检测的两种隐性失效模式,提出包含尺度稳定性、参考有效性和深度效用三项检查的诊断协议,并采用逐层余弦报告。
2026-06-23 cs.LG stat.ML
Evaluating Differentially Private Generation of Domain-Specific Text
Imperial College London, Imperial Global Singapore(帝国理工学院伦敦校区、帝国全球新加坡校区);University of Manchester(曼彻斯特大学);Nanyang Technological University(南洋理工大学)
本文提出统一基准,在五个领域数据集上评估具有正式DP保证的文本生成方法,发现严格隐私约束下效用和保真度显著下降。
2025-08-28 cs.AI cs.CR cs.LG
Segmentation over Complexity: Evaluating Ensemble and Hybrid Approaches for Anomaly Detection in Industrial Time Series
在这项研究中,我们研究了先进的特征工程和混合模型架构的有效性异常检测在一个多变量的工业时间序列,专注于汽轮机系统。我们评估了变化点派生的统计特征,基于聚类的子结构表示,和混合学习策略对检测性能的影响。尽管它们在理论上很有吸引力,但与在分割数据上训练的简单随机森林+ XGBoost集成相比,这些复杂的方法始终表现不佳。总体实现了0.976的AUC-ROC,0.41的F1评分,以及在定义的时间窗内100%的早期检测。我们的研究结果强调,在具有高度不平衡和时间不确定数据的情况下,模型简单性与优化分割相结合可以胜过更复杂的架构,提供更高的鲁棒性,可解释性和操作实用性。
2025-10-30 cs.AI cs.LG
Bits for Privacy: Evaluating Post-Training Quantization via Membership Inference
Department of Computer Science University of Luxembourg(计算机科学系卢森堡大学);Department of Computer Science Nanjing University(计算机科学系南京大学)
研究通过成员推断攻击评估训练后量化在隐私和效用之间的平衡,发现低精度量化可显著降低隐私泄露风险,但会牺牲模型效用。
2025-12-17 cs.CR cs.LG
FairX: A comprehensive benchmarking tool for model analysis using fairness, utility, and explainability
Institute for Experiential AI, Northeastern University(东北大学体验式人工智能研究院)
FairX是一个开源Python基准测试工具,统一支持公平性、效用和可解释性分析,并新增公平生成模型训练与合成数据质量评估能力,支持表格和图像数据集。
2024-09-03 cs.AI cs.LG
Beyond Correctness: Evaluating Semantic Knowledge in Cross-Table Transfer
Korea University(高丽大学)
本研究揭示语义消融评估可能误导预测收益结论,提出区分内容敏感性与预测效用,并倡导根据研究问题选择对照的评估原则。
2026-11-13 cs.LG
Evaluating Gradient Inversion Attacks and Defenses in Federated Learning
Princeton University(普林斯顿大学);Adobe Research(Adobe研究院)
梯度反转攻击(Gradient Inversion Attack)是联邦学习安全性和隐私保护面临的一种新威胁,恶意窃听者或协议参与者可以利用梯度反转攻击恢复(部分)客户端的隐私数据。本文评估了现有的攻击和防御。我们发现,一些攻击对设置做出了强烈的假设。放松这些假设可以大大削弱这些攻击。然后,我们评估了三个建议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄露和数据效用的权衡,并发现以适当的方式将它们结合起来会使攻击变得不那么有效,即使在最初的强假设下。我们还估计了每个评估防御下单个图像的端到端恢复的计算成本。我们的研究结果表明,目前可以通过轻微的数据实用程序损失来防御最先进的攻击,如潜在策略列表所示。我们的代码可在https://github.com/Princeton-SysML/GradAttack上获得。
2021-11-30 cs.CR cs.LG
FIMBA: Evaluating the Robustness of AI in Genomics via Feature Importance Adversarial Attacks
New York University(纽约大学)
本文提出 FIMBA,利用特征重要性对抗攻击与基于变分自编码器的投毒数据,评估基因组学下游 AI 模型的鲁棒性,揭示其性能下降并给出防御启示。
2024-01-19 cs.CR cs.LG q-bio.GN
Evaluating the Fairness Impact of Differentially Private Synthetic Data
Harvard University(哈佛大学);Microsoft(微软)
差分私有合成数据是一种很有前途的方法,可以最大限度地利用包含敏感信息的数据。然而,由于压制代表性不足的阶层往往需要实现隐私,这可能与公平相冲突。我们评估了四个DP合成器,并提出了实证结果表明,这些模型中的三个经常降低下游二进制分类任务的公平性结果。我们在公平性和生成的合成数据中存在的少数群体的比例之间建立了联系,并发现通过多标签欠采样方法预处理的数据训练合成器可以在不降低准确性的情况下促进更公平的结果。
2022-06-20 cs.LG
Evaluating the Effectiveness of Data Augmentation for Emotion Classification in Low-Resource Settings
Columbia University(哥伦比亚大学)
本研究在低资源多标签情感分类任务中评估数据增强技术,发现 Back Translation 优于自编码器方法,且生成多个样本能进一步提升性能,验证了其在资源受限场景中的有效性。
2024-06-07 cs.AI cs.CL cs.LG
DUPRE: Data Utility Prediction for Efficient Data Valuation
National University of Singapore(新加坡国立大学);A2I2, Deakin University(A2I2,德克萨斯大学)
DUPRE提出通过高斯过程回归预测数据子集效用而非重训练来降低数据估值成本,其基于切片Wasserstein距离的核函数有效且高效,在多种模型和数据集上验证了低误差和加速效果。
2025-02-22 cs.GT cs.LG
Bridging Privacy and Utility: Synthesizing anonymized EEG with constraining utility functions
Fraunhofer Institute for Digital Media Technology IDMT(弗劳恩霍夫数字媒体技术研究所IDMT);University Hospital Schleswig-Holstein(石勒苏益格-荷尔斯泰因大学医院)
针对脑电图数据隐私泄露风险,提出基于Transformer的自编码器合成匿名化脑电图,在降低受试者重新识别能力的同时保留机器学习效用,并应用于自动睡眠分期验证。
2025-09-24 cs.CR cs.LG
Fast Prediction of New Feature Utility
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们研究了新的功能效用预测问题:统计测试是否添加一个新的功能的数据表示可以提高预测精度的监督学习任务。在许多应用中,识别新的信息特征是提高性能的主要途径。然而,通过重新训练预测器来评估每个潜在特征可能代价高昂。本文描述了一种有效的,独立于学习者的技术,用于估计新的功能效用,而无需重新训练的基础上,当前预测器的输出。该方法通过导出损失减少潜力和新特征与当前预测器的损失梯度的相关性之间的连接来获得。这导致了一个简单而强大的假设检验程序,我们证明了一致性。我们的理论分析伴随着标准基准和大规模工业数据集的实证评估。
2012-06-18 cs.LG math.ST stat.TH
Improve Fidelity and Utility of Synthetic Credit Card Transaction Time Series from Data-centric Perspective
UCLA(加州大学洛杉矶分校)
本文针对信用卡交易时间序列合成数据的保真度与实用性挑战,提出五种预处理方案以增强 CPAR 模型训练,并验证了合成数据在欺诈检测任务中的有效性,为金融领域提供了实用指南。
2024-01-01 cs.LG
CyberMaskQA: A Privacy-Aware Benchmark for Evaluating Large Language Models in Cybersecurity Question Answering
Department of Computer Science and Engineering(计算机科学与工程系);University of California, San Diego (UCSD)(加州大学圣地亚哥分校)
针对现有基准缺乏隐私保护评估的问题,提出CyberMaskQA基准,通过结合人工场景与LLM语义扩展生成带隐私标签的数据集,以评估模型在网络安全问答中的推理与隐私保护能力。
2026-05-23 cs.CR cs.LG
Evaluating Dynamic Topic Models
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学)
本文针对动态主题模型缺乏时间演变量化评估的问题,提出一种结合主题质量与时间一致性的新评估指标,并通过合成数据与人工评估验证其有效性。
2023-09-12 cs.CL cs.IR cs.LG
Utility Theory of Synthetic Data Generation
University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
本文建立了合成数据生成的效用理论,证明在适当模型设定下合成数据分布无需与真实数据相似即可保证泛化能力和一致的模型比较,并通过实验验证了该理论。
2025-04-03 cs.LG stat.ML
Evaluating Generative Models for Tabular Data: Novel Metrics and Benchmarking
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));RPTU Kaiserslautern-Landau(卡尔斯鲁厄大学 of Applied Sciences(RPTU))
针对表格数据生成模型评估的挑战,本文提出FAED、FPCAD和RFIS三个新指标,在三个网络入侵检测数据集上与现有方法对比,发现FAED能捕捉被忽视的建模问题,构建了稳健的评估框架。
2025-04-29 cs.LG
Evaluating LLM Simulators as Differentially Private Data Generators
Capital One
研究评估LLM模拟器在生成复杂合成数据中的有效性,发现其在欺诈检测中表现良好但存在分布偏移问题,需解决系统性偏差以提升应用潜力。
2026-04-16 cs.CL cs.CR cs.LG
Shapley-Guided Utility Learning for Effective Graph Inference Data Valuation
Rensselaer Polytechnic Institute(伦斯勒理工学院);AT&T Chief Data Office(AT&T首席数据办公室)
针对无测试标签下难以评估图推理中测试节点邻居数据价值的问题,提出结合Shapley值预处理与多特征的SGUL框架,实现高效可解释的图数据估值,性能优于现有基线。
2025-03-23 cs.GT cs.LG
Utility-Fairness Trade-Offs and How to Find Them
Michigan State University(密歇根州立大学)
本文研究了分类系统中效用与公平性的最优权衡问题,提出了两种权衡方法及U-FaTE量化算法,并引入新的评估方案,发现现有方法远未达到可实现的权衡边界。
2024-04-24 cs.CV cs.CY cs.LG
Evaluating Large Language Models for Forced Outage Risk Prediction: Benefits and Comparison to Machine Learning
Temple University(天普大学);Texas A&M University(德克萨斯农工大学)
该研究对比零样本LLMs与监督分类器预测配电网强迫停运风险的表现,发现监督模型在宏F1和精确率上更优,LLMs在可操作推理等方面有互补优势,二者结合或为最佳实践。
2026-09-07 cs.CL cs.LG
Mi-Go: Test Framework which uses YouTube as Data Source for Evaluating Speech Recognition Models like OpenAI's Whisper
Jagiellonian University(雅盖隆大学)
Mi-Go框架利用YouTube作为数据源,通过124个视频测试Whisper模型各版本,评估其鲁棒性与适应性,并对比机器转录与人工字幕以发现字幕滥用。
2023-09-01 cs.LG cs.SD cs.SE