Fine-Tuning a Large Vision-Language Model for Artwork's Scoring and Critique
Clemson University(克莱姆森大学);Arizona State University(亚利桑那州立大学);University of Florence(佛罗伦萨大学)
本文提出通过微调Qwen2-VL-7B模型,结合多任务学习实现对人类绘画的自动化创造力评估,通过生成与评分标准一致的反馈,提高评分准确性和反馈质量。
2026-02-09 cs.AI cs.CV cs.LG
Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training
Electronics and Telecommunications Research Institute(电子电信研究院);Hankuk University of Foreign Studies(韩国外国语大学)
本研究通过两阶段微调、评分对齐和自训练三种技术提升自动作文评分性能,实现91.2%的完整数据表现。
2026-08-12 cs.CL cs.LG
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University(德克萨斯A&M大学)
我们考虑两组分类问题,并提出了一个基于最佳评分框架的核分类器。与以往的方法不同,我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数,特别是适应核收缩的想法,脊参数选择。数值研究表明,所提出的方法相比,现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
BERTops: Studying BERT Representations under a Topological Lens
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
提出评分函数来有效地理解、分析和学习像BERT这样的大规模Transformer模型的高维隐藏表示的各种属性可能是一项具有挑战性的任务。在这项工作中,我们探索了一个新的方向,通过研究的拓扑特征的BERT隐藏表示使用持久的同源性(PH)。我们提出了一种新的评分函数,称为“持久性评分函数(PSF)”,它:(i)准确地捕获高维隐藏表示的同源性,并且与大范围数据集的测试集准确性很好地相关,并且优于现有的评分度量,(ii)从定性和定量的观点捕获有趣的微调后的“每类”级别属性,(iii)与基线函数相比,对扰动更稳定,这使其成为非常鲁棒的代理,以及(iv)最后,还用作广泛类别的黑盒和白盒对抗攻击方法的攻击成功率的预测器。我们广泛的相关性实验证明了PSF在与BERT相关的各种NLP任务上的实际效用。
2022-10-29 cs.LG
Diagnosing Capability Gaps in Fine-Tuning Data
Microsoft(微软)
本文提出GoalCover框架,通过交互式目标分解和自动化覆盖评估,帮助检测微调数据集的能力缺口,通过实验验证其在不同领域和任务中的有效性。
2026-04-30 cs.LG
Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules
University of Stuttgart(斯图加特大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对表格基础模型(如TabPFN、TabICL)生成完整预测分布但基准仅用点估计指标的问题,提出使用适当评分规则进行训练、微调和排名,证明不同评分规则在有限数据上导致不同归纳偏差和模型性能。
2026-06-23 cs.AI cs.LG
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning
Samsung Strategy and Innovation Center(三星战略与创新中心)
预训练的Transformer模型的微调已成为解决常见NLP任务的标准方法。大多数现有的方法依赖于在这样的网络之上随机初始化的分类器。我们认为,这种微调过程是次优的,因为预训练的模型在特定的分类器标签上没有先验知识,而它可能已经学习了任务的内在文本表示。在本文中,我们介绍了一种新的评分方法,该方法将可扩展性排名任务转换为全文格式,并利用在预训练阶段调整的掩蔽语言建模头部。我们研究了常识推理任务,其中模型必须对给定前提的一组假设进行排名,重点是COPA,Swag,HellaSwag和CommonsenseQA数据集。通过利用我们的评分方法而不进行微调,我们能够产生与监督方法相当的强基线(例如,COPA上80%的测试准确度)。此外,当直接对所提出的评分函数进行微调时,我们表明我们的方法在随机重新启动时提供了更稳定的训练阶段(例如,COPA测试准确性的$\times 10$标准差降低),并且需要比标准分类器方法更少的注释数据才能达到同等性能。
2020-04-29 cs.CL cs.LG
Quantum Entropy Scoring for Fast Robust Mean Estimation and Improved Outlier Detection
Microsoft Research(微软研究院);UC Berkeley(加州大学伯克利分校);Simons Institute for Theory of Computing(西蒙斯计算理论研究所)
我们研究了高维稳健统计中的两个问题:\emph{robust mean estimation}和\emph{outlier detection}。在鲁棒均值估计中,目标是估计给定$n$独立样本的$\mathbb{R}^d$上的分布的均值$μ$,其中$\varepsilon$部分已被恶意攻击者破坏。在离群值检测中,目标是为数据集的每个元素分配一个\emph{outlier score},以便为更可能是离群值的元素分配更高的分数。这两个问题的算法是基于一个新的离群值评分方法,我们称之为QUE评分的基础上\emph{quantum entropy regularization}。对于鲁棒均值估计,这产生了第一个在所有参数中具有最佳错误率和接近线性运行时间$\widetilde{O}(nd)$的算法,改进了先前的最快运行时间$\widetilde{O}(\min(nd/\varepsilon^6, nd^2))$。对于离群值检测,我们通过对合成数据和真实数据的大量实验来评估QUE评分的性能,并证明它通常比以前提出的算法表现得更好。这些实验的代码可在https://github.com/twistedcubic/que-outlier-detection上获得。
2019-06-26 cs.DS cs.LG math.ST
MergeIT: From Selection to Merging for Efficient Instruction Tuning
Shanghai Jiao Tong University(上海交通大学);Universiti Malaya(马来亚大学);INSAIT;Sofia University "St. Kliment Ohridski"(索菲亚大学"圣.克莱门特.奥赫里德斯基")
针对指令微调中数据选择方法计算成本高且降低多样性的问题,提出两阶段策略MergeIT,通过主题感知过滤和基于LLM的指令合并,在不依赖评分的情况下合成紧凑且丰富的训练数据,实现高效可扩展的指令微调。
2025-02-25 cs.AI cs.LG
ARES: Locally Adaptive Reconstruction-based Anomaly Scoring
School of Computing, National University of Singapore(新加坡国立大学计算学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
我们如何检测异常:即与给定的高维数据集(如图像或传感器数据)显著不同的样本?这是一个具有许多应用的实际问题,并且也与使学习算法对意外输入更鲁棒的目标相关。自动编码器是一种流行的方法,部分原因是它们的简单性和执行降维的能力。然而,异常评分函数不适应正常样本范围内重建误差的自然变化,这阻碍了它们检测真实异常的能力。在本文中,我们经验证明了本地自适应异常评分的重要性,在实验中与真实数据。然后,我们提出了我们的新的自适应重建错误为基础的评分方法,它适应其评分的基础上的局部行为的重建错误的潜在空间。我们表明,这提高了异常检测性能在各种各样的基准数据集的相关基线。
2022-06-15 cs.AI cs.LG
Learning Patient Engagement in Care Management: Performance vs. Interpretability
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
高需求患者的健康结果可能会受到患者参与自己护理的程度的影响。护理经理的角色包括让患者参加护理计划并让他们充分参与计划,以便患者能够实现各种目标。这些目标的实现有望改善患者的健康状况。在本文中,我们提出了一种真实世界的数据驱动的方法和行为参与评分管道,用于从两个方面对患者的参与程度进行评分:(1)他们对参加相关护理计划的兴趣,以及(2)他们对计划目标的兴趣和承诺。我们使用该评分来预测患者的反应倾向(即,到报名参加计划的呼吁,或到指定的计划目标)。使用现实世界的护理管理数据,我们表明,我们的评分方法成功地预测病人的参与。我们还表明,我们能够提供可解释的见解护理经理,使用原型患者作为参考点,而不牺牲预测性能。
2019-06-19 cs.LG stat.AP stat.ML
D3: Diversity, Difficulty, and Dependability-Aware Data Selection for Sample-Efficient LLM Instruction Tuning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Algorithm Tech, Taobao & Tmall Group of Alibaba(阿里巴巴集团算法技术部);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
针对大语言模型指令微调的数据选择难题,提出兼顾多样性、难度与可靠性的D3方法,通过打分-迭代选择机制筛选高价值子集,仅用10%以内数据即可实现媲美甚至超越全量数据的微调效果,已在公开数据集与淘宝直播场景验证有效。
2025-05-19 cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.(坎比姆评估公司);University of Colorado, Boulder(科罗拉多大学博尔德分校)
自动作文评分(AES)是一项跨学科的工作,涉及教育,语言学和自然语言处理(NLP)。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力,即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位,然而,这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式,即AES越大越好。为此,我们评估了几个微调的预训练NLP模型的性能,这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型,我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning
University of Maryland, College Park(马里兰大学学院公园分校)
T-SHIRT通过令牌选择性层次数据选择方法提升指令微调效率,使小规模数据集训练效果优于大规模数据集。
2025-12-01 cs.AI cs.LG
Investigating Automatic Scoring and Feedback using Large Language Models
University of Florida(佛罗里达大学);Coursera(Coursera公司)
本文研究利用 LoRA 和 QLoRA 等参数高效微调方法微调量化大语言模型,实现简答题和论文的自动连续评分与反馈生成,实验表明微调模型评分误差低于3%,且反馈质量接近专家水平。
2024-05-01 cs.CL cs.LG
Credit Attribution in Timestamped Soccer Networks Using Multivariate Hawkes Processes
Case Western Reserve University(凯斯西储大学)
本研究针对传统足球球员统计的局限性,提出用多元霍克斯过程建模传球射门序列,构建预期进球参与度指标,以更全面衡量球员进攻参与度。
2026-10-12 cs.LG cs.SI physics.soc-ph
A Vertical Federated Learning Method for Interpretable Scorecard and Its Application in Credit Scoring
Everbright Technology CO. LTD(光大科技有限公司)
随着大数据和人工智能在多个领域的成功应用,大数据驱动的模型在金融风险管理特别是信用评分和评级中的应用前景广阔。在数据隐私保护的前提下,针对传统的基于有界约束逻辑回归的记分卡,在垂直联邦学习框架下提出了一种基于投影梯度的方法,即FL-LRBC。后者使多个机构能够在一次培训中联合训练优化的记分卡模型。该方法避免了耗时的参数整定过程,从而形成了具有正系数的模型。此外,由于使用FL-LRBC的数据富集,AUC和Kolmogorov-Smirnov(KS)统计量方面的性能显着提高。目前,FL-LRBC已在中国某国有金融控股集团的信贷业务中得到应用。
2020-09-14 cs.LG stat.ML
Exploring Data Augmentation and Resampling Strategies for Transformer-Based Models to Address Class Imbalance in AI Scoring of Scientific Explanations in NGSS Classroom
Michigan State University(密歇根州立大学);CREATE for STEM(STEM创新计划);University of Houston(休斯顿大学)
本文研究了通过数据增强策略提升Transformer模型对科学解释评分的性能,发现GPT生成数据和ALP方法在处理严重类别不平衡时效果显著,优于传统过采样方法。
2026-03-21 cs.AI cs.LG
Elite-Weighted Supervised Fine-tuning for Goal-Directed Molecular Optimization
Biogen(渤健公司)
EW-SFT是一种统一有效的分子优化方法,通过奖励指导精英选择并基于预训练损失更新模型,适用于多种分子生成器与设计任务,性能优于原生优化器。
2026-09-02 cs.LG
Bayes-xG: Player and Position Correction on Expected Goals (xG) using Bayesian Hierarchical Approach
Cardiff University(卡迪夫大学)
本研究提出Bayes-xG贝叶斯分层xG校正方法,通过对多联赛射门数据的分析,验证了球员层面效应对xG的持续影响,同时指出先验分布可优化以提升复杂模型构建效率。
2023-11-22 cs.LG stat.AP
PSD2 Explainable AI Model for Credit Scoring
Politecnico di Milano(米兰理工大学);CRIF S.p.A(CRIF股份公司);University of Bologna(博洛尼亚大学)
该项目的目的是开发和测试先进的分析方法,以提高信用风险模型的预测准确性,同时保持模型的可解释性。特别是,该项目侧重于将可解释的机器学习模型应用于银行相关数据库。从开放数据中获得输入数据。在所有经过验证的型号中,CatBoost表现出最高的性能。算法实现在调整超参数后产生0.68的GINI。SHAP软件包用于提供模型预测的全局和局部解释,以制定一个人类全面的方法来理解决策者算法。使用Shapley值选择20个最重要的特征,以呈现一个完整的人类可理解的模型,该模型揭示了个体的属性如何与其模型预测相关。
2021-08-06 cs.AI cs.LG
FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation
UMBC(马里兰大学巴尔的摩分校)
针对受控数据访问模式下个体数据贡献者无法量化参与机器学习任务的隐私风险这一问题,研究团队开发了FT-PrivacyScore演示原型,可高效定量评估参与模型微调任务的隐私风险,源代码将开源。
2024-10-30 cs.CR cs.LG
A Framework for Learning Scoring Rules in Autonomous Driving Planning Systems
Purdue University(普渡大学)
本文提出 FLoRA 框架,从 NuPlan 正例演示中学习时序逻辑形式的可解释驾驶评分规则,在闭环仿真中优于专家规则和神经网络模型。
2025-02-17 cs.LG cs.RO
Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies
Peking University(北京大学);Tencent AI Lab(腾讯AI实验室)
本文提出偏好目标微调(PGT),通过冻结策略并优化潜在目标,使策略在无监督下适应任务偏好,实现在Minecraft SkillForge基准上显著提升性能。
2026-05-01 cs.AI cs.LG
Goal-Conditioned Supervised Learning for LLM Fine-Tuning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Intuit AI Research(Intuit人工智能研究)
本文提出目标条件监督学习(GCSL)框架,通过将反馈信号作为显式目标,利用监督学习生成高质量响应,改进了传统监督微调和直接偏好优化的局限性。
2026-09-29 cs.AI cs.LG
Supersparse Linear Integer Models for Optimized Medical Scoring Systems
Massachusetts Institute of Technology(麻省理工学院)
评分系统是线性分类模型,只需要用户添加,减去和乘以几个小数字,以作出预测。这些模型被医学界广泛使用,但很难从数据中学习,因为它们需要精确和稀疏,具有互质整数系数,并满足多个操作约束。我们提出了一种新的方法来创建数据驱动的评分系统,称为超解析线性模型(SLIM)。SLIM评分系统是通过求解一个整数规划来构建的,该整数规划直接对准确性(0-1损失)和稀疏性($\ell_0$ -稀疏性)的度量进行编码,同时将系数限制为互质整数。SLIM可以无缝地结合与精度和稀疏性相关的广泛的操作约束,并且可以在没有参数调整的情况下生成高度定制的模型。我们提供了SLIM评分系统的测试和训练精度的界限,并提出了一种新的数据减少技术,可以通过事先消除一部分训练数据来提高可扩展性。我们的论文包括与马萨诸塞州总医院睡眠实验室合作的结果,其中SLIM用于创建高度定制的睡眠呼吸暂停筛查评分系统
2016-01-26 cs.DM cs.LG stat.AP
The Signal is in the Steps: Local Scoring for Reasoning Data Selection
Virginia Tech(弗吉尼亚理工大学)
本文提出局部平均对数概率(LALP)方法,通过局部步骤评分提升推理数据选择效果,适用于多教师池训练和预训练阶段选择最佳教师。
2026-04-14 cs.AI cs.LG
U-Sleep's resilience to AASM guidelines
University of Bern(伯尔尼大学);University of Applied Sciences and Arts of Southern Switzerland(瑞士南部应用科学与艺术大学);Bern University Hospital(伯尔尼大学医院)
AASM指南是数十年来旨在标准化睡眠评分程序的努力的结果,最终目标是共享全球通用的方法。该指南涵盖了技术/数字规范的几个方面,例如,推荐的EEG推导,根据年龄详细的睡眠评分规则。自动睡眠评分系统一直在很大程度上利用这些标准作为基本指南。在这种情况下,深度学习表现出比经典机器学习更好的性能。我们目前的工作表明,基于深度学习的睡眠评分算法可能不需要充分利用临床知识或严格遵守AASM指南。具体来说,我们证明了U-睡眠,一个国家的最先进的睡眠评分算法,可以强大到足以解决评分任务,即使使用临床上不推荐或非传统的衍生,并没有必要利用信息的实足年龄的主题。我们最终加强了一个众所周知的发现,即与单个队列的训练相比,使用来自多个数据中心的数据总是会产生性能更好的模型。事实上,我们表明,即使增加单个数据队列的大小和异质性,后一种说法仍然有效。在我们所有的实验中,我们使用了来自13项不同临床研究的28528项多导睡眠图研究。
2023-03-13 cs.LG eess.SP
Fine-tuning can Help Detect Pretraining Data from Large Language Models
Southern University of Science and Technology(南方科技大学)
针对LLM预训练数据检测难题,本文利用少量同领域未见数据微调后成员与非成员的分数偏移差异,提出FSD方法,显著提升多模型基准上的AUC。
2025-03-17 cs.AI cs.CL cs.LG
IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring
IGU-LoRA通过计算层内集成梯度敏感度并结合不确定性感知方案,实现自适应秩分配,提升参数高效微调效果。
2026-03-14 cs.AI cs.LG
Privacy-Preserved Automated Scoring using Federated Learning for Educational Research
AI4STEM Education Center(AI4STEM教育中心);Department of Mathematics, Science, and Social Studies Education(数学、科学与社会科学教育系);University of Georgia(佐治亚大学)
本文提出一种基于联邦学习和LoRA参数高效微调的教育评估自动评分框架,通过自适应加权聚合策略应对数据异质性,在保护隐私的同时取得了接近集中式模型的评分准确率。
2025-05-08 cs.AI cs.LG
An Application of Pseudo-Log-Likelihoods to Natural Language Scoring
Dalhousie University(达尔豪斯大学);Brock University(布鲁克大学)
使用半监督机器学习在大型自然语言语料库上构建的语言模型已经非常迅速地涵盖了自然语言生成和理解的领域。在本文中,我们采用了zero-shot的方法独立开发的一些研究人员现在获得认可,作为一个重要的替代微调评价常识的任务。与较新的语言模型(T5)相比,具有相对较少参数和训练步骤的语言模型可以在最近的大型数据集(TimeDial)上表现出色,同时在类似的语言任务类别中表现出稳健性。令人惊讶的是,与微调到较大模型相比,通过使用具有较小模型的无超参数zero-shot方法来实现该结果。我们认为,更小的模型的鲁棒性应该被理解的组合性,在某种意义上说,我们从最近的文献中一类类似的模型。我们确定了我们的方法和模型的实际成本:自然语言评估的高GPU时间。对于ALBERT和其他BERT变体,产生显著稳定性的zero-shot测量技术是伪对数似然性对掩蔽语言模型的应用,用于在诸如Winograd Schema Challenge、Winogrande等的强制选择语言任务中替代替代方案的概率的相对测量。本文的一个贡献是汇集了一些类似的,但独立的研究链。我们在二元选择任务中产生了一些绝对最先进的常识推理结果,表现优于文献中任何已发表的结果,包括微调的努力。我们展示了该模型在对抗性环境下的表现的显著一致性,我们认为这最好由该模型的组合性表征来解释。
2022-01-23 cs.AI cs.CL cs.LG
Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning
Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National University of Singapore(新加坡国立大学)
本文提出目标驱动数据优化框架GDO,通过优化训练样本实现更快收敛和更高精度,适用于多模态指令微调任务。
2026-09-29 cs.CV cs.LG
Out-of-sample scoring and automatic selection of causal estimators
Wise Plc(Wise公司);OSG Digital(OSG数字公司);University of Oxford(牛津大学);University of Tartu(塔尔图大学)
最近,许多条件平均治疗效应(CATE)和工具变量(IV)问题的因果估计量已经发表和开源,允许估计随机治疗(如A/B测试)和用户选择对感兴趣的结果的粒度影响。然而,由于缺乏一种有效的方法来对这些模型的样本性能进行评分,以便为给定的应用选择最佳的模型,因此这些模型的实际应用受到了阻碍。我们解决这一差距,提出新的评分方法,为CATE的情况下,一个重要的子集的工具变量的问题,即那些工具变量是客户访问的产品功能,和治疗是客户的选择使用该功能。由于能够对样本外的模型性能进行评分,因此我们可以将超参数优化方法应用于因果模型的选择和调整。我们在一个开源包中实现了这一点,该包依赖于DoWhy和EconML库来实现因果推理模型(还包括Transformed Outcome模型实现),并依赖于FLAML来实现超参数优化和因果模型中使用的组件模型。我们在合成数据上证明,在随机CATE和IV情况下,优化建议的分数是选择模型及其超参数值的可靠方法,其估计值接近真实影响。此外,我们还提供了将这些方法应用于Wise真实客户数据的示例。
2022-12-20 cs.LG stat.ME
Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space
University of California, Berkeley(加州大学伯克利分校)
本文提出 Planning to Practice (PTP) 方法,通过在潜在空间中分层规划子目标并结合离线预训练与在线微调,使目标条件策略能够高效学习需要多种交互的长时程任务。
2023-04-18 cs.AI cs.CV cs.LG