SelectiveNet: A Deep Neural Network with an Integrated Reject Option
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了深度神经网络中的选择性预测(也称为拒绝选项)问题,并引入了SelectiveNet,这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下,SelectiveNet经过训练,可以同时优化分类(或回归)和拒绝,端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中,我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡,从而达到了深度选择性分类的最新结果。
2019-06-26 cs.LG stat.ML
Optimal strategies for reject option classifiers
Czech Technical University in Prague(捷克布拉格技术大学)
在具有拒绝选项的分类中,允许分类器在不确定的情况下放弃预测。拒绝选项分类器的经典基于成本的模型需要显式定义拒绝的成本。另一种有界改进模型,避免了拒绝成本的概念,寻求一个有保证的选择性风险和最大覆盖的分类器。我们硬币的对称定义,有界覆盖模型,它寻求一个分类器具有最小的选择性风险和保证覆盖。我们证明,尽管他们的不同配方的三个拒绝模型导致相同的预测策略:贝叶斯分类器赋予随机贝叶斯选择函数。我们定义了一个适当的不确定性分数的概念,作为一个标量的预测不确定性的总结足以构建随机贝叶斯选择函数。我们提出了两种算法来学习适当的不确定性得分从任意的黑盒分类器的例子。我们证明了这两种算法提供Fisher一致的估计适当的不确定性得分,我们证明了他们的效率不同的预测问题,包括分类,有序回归和结构化输出分类。
2021-01-29 cs.LG
Survey on Leveraging Uncertainty Estimation Towards Trustworthy Deep Neural Networks: The Case of Reject Option and Post-training Processing
Deakin University(迪肯大学);The University of Melbourne(墨尔本大学);University of Cambridge(剑桥大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文系统综述了深度神经网络中带拒绝选项的预测方法,涵盖相关损失函数、训练后处理及实时应用,旨在提升模型对知识局限性的认知以实现可信部署。
2023-04-11 cs.CV cs.LG
Partial-Label Learning with a Reject Option
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工学院)
针对部分标签学习中错误预测可能带来的严重后果,提出一种带拒绝选项的、风险一致的最近邻算法,在拒绝不确定预测的同时,实现非拒绝预测数量与准确率的最佳权衡。
2025-01-07 cs.LG stat.ML
Model Agnostic Local Explanations of Reject
University of Cyprus(塞浦路斯大学);Bielefeld University(比勒费尔德大学)
基于机器学习的决策系统在安全关键领域的应用需要可靠的高确定性预测。拒绝选项是确保系统所做预测具有足够高确定性的常见方法。虽然能够拒绝不确定的样本很重要,但能够解释为什么特定样本被拒绝也很重要。然而,解释一般拒绝选项仍然是一个悬而未决的问题。我们提出了一个模型不可知的方法,通过可解释的模型和反事实的解释来局部解释任意拒绝选项。
2022-05-16 cs.AI cs.LG
Node Classification With Integrated Reject Option
IIIT Hyderabad(印度信息技术学院海得拉巴分校)
提出 NCwR,为 GNN 节点分类引入集成拒绝选项,结合基于成本与覆盖率的弃权方法,并在引文网络及法律判决数据上验证与解释。
2024-12-04 cs.LG
Reject option models comprising out-of-distribution detection
Czech Technical University in Prague(布拉格捷克理工大学)
本文提出三种分布外拒识选项模型并证明其共享同一类最优策略,进而设计双分数OOD方法,实验表明其性能优于现有方法,同时提出更可靠的新评估指标。
2023-07-11 cs.LG
"Even if ..." -- Diverse Semifactual Explanations of Reject
Bielefeld University(比勒费尔德大学);KIOS Research and Innovation Center of Excellence, University of Cyprus(塞浦路斯大学KIOS卓越研究与创新中心)
应用于安全关键领域的基于机器学习的决策制定系统需要可靠的高确定性预测。为此目的,系统可以通过拒绝选项来扩展,该拒绝选项允许系统拒绝只有具有不可接受的低确定性的预测才可能的输入。虽然能够拒绝不确定的样本很重要,但能够解释为什么特定样本被拒绝也很重要。随着可解释人工智能(XAI)的不断兴起,已经开发了许多基于机器学习系统的解释方法-然而,解释拒绝选项仍然是一个新的领域,只有很少的先前工作存在。在这项工作中,我们建议解释拒绝半事实的解释,实例为基础的解释方法,他们自己还没有被广泛认为是在XAI社区。我们提出了一个概念建模的半事实的解释任意拒绝选项和经验评估一个具体的实施共形预测为基础的拒绝选项。
2022-07-05 cs.AI cs.LG
Logic-based Explanations for Linear Support Vector Classifiers with Reject Option
Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE)(塞阿拉联邦教育、科学和技术学院(IFCE))
针对带拒绝选项的线性SVC缺乏解释方法的问题,提出一种基于逻辑的解释方法,提供正确性和最小性的形式化保证,实验表明其比Anchors算法生成的解释更短且时间成本更低。
2024-03-24 cs.AI cs.LG cs.LO
Classification with Reject Option: Distribution-free Error Guarantees via Conformal Prediction
Department of Computer Science, Royal Holloway, University of London(伦敦大学皇家霍洛威学院计算机科学系);Department of Mathematics, Stockholm University(斯德哥尔摩大学数学系)
本文基于共形预测(CP)形式化了二元分类中的拒绝选项方法,通过仅接受单例预测将CP转化为带拒绝选项的分类器,并推导了无分布的误差率理论保证与有限样本估计,最后通过数值示例和错误-拒绝曲线展示了不同设置下的表现与权衡。
2025-06-26 cs.LG stat.ML
ATRO: Adversarial Training with a Rejection Option
RIKEN(理化学研究所);Waseda University(早稻田大学)
本文提出了一种带有拒绝选项的分类框架,以减轻对抗性样本造成的性能恶化。虽然最近的机器学习算法实现了高预测性能,但它们在经验上容易受到对抗性示例的影响,这些示例是被错误分类的轻微扰动的数据样本。在现实世界的应用中,使用这种对抗性示例的对抗攻击可能会导致严重的问题。为此,提出了各种方法来获得对对抗性示例具有鲁棒性的分类器。对抗训练就是其中之一,它训练分类器以最小化对抗攻击下的最坏情况损失。为了获得更可靠的分类器来抵抗对抗攻击,本文提出了带有拒绝选项的对抗训练方法(ATRO)。将对抗训练目标同时应用于分类器和拒绝函数,当ATRO训练的分类器对测试数据点分类的置信度不足时,可以选择放弃分类。我们研究的框架使用代理最大铰链损失的可行性,并建立了线性模型的泛化界。此外,我们使用各种模型和真实世界的数据集,从经验上证实了ATRO的有效性。
2020-10-24 cs.LG stat.ML
Classifiers With a Reject Option for Early Time-Series Classification
University of California(加利福尼亚大学);Babes-Bolyai University(巴贝什-博利亚伊大学)
动态环境下时间序列数据的早期分类是信号处理中一个具有挑战性的重要问题。本文提出了一种具有拒绝选项的分类器架构,能够在线决策,而无需等待整个时间序列信号。其主要思想是尽可能早地以可接受的精度对气味/气体信号进行分类。该方法不使用分类器的后验概率,而是使用集合的“一致性”来决定是否接受或拒绝候选标签。将该算法应用于气味分类的生化问题,构建了一种新的电子鼻--Forefront-Nose。风洞实验台上的实验结果证实了鲁棒性的前鼻相比,标准分类器从早期和识别的角度。
2013-12-14 cs.CV cs.LG
Machine Learning with a Reject Option: A survey
Siemens Digital Industries Software(西门子数字工业软件);KU Leuven(鲁汶大学);OSG bv(OSG bv公司);Natus Medical(纳图斯医疗);University of Antwerp(安特卫普大学)
本文综述带拒识的机器学习,形式化歧义与新奇两类拒识,梳理评估策略、模型架构与学习方法,并介绍应用领域及其与其他方向的关系。
2024-02-21 cs.AI cs.LG
Concisely Explaining the Doubt: Minimum-Size Abductive Explanations for Linear Models with a Reject Option
本文研究了线性模型中具有拒绝选项的最小规模反向推理解释,提出了一种高效算法以提高解释的可解释性和计算效率。
2026-03-14 cs.AI cs.LG
Consistent Algorithms for Multiclass Classification with a Reject Option
Indian Institute of Science(印度科学学院);University of Michigan(密歇根大学)
我们考虑的问题$n$类分类($n\geq 2$),其中的分类器可以选择弃权作出预测在给定的成本,说,一个因素$α$的成本误分类。设计一致的算法,如$n$类的分类问题与“拒绝选项”是本文的主要目标,从而扩展和推广以前已知的结果$n=2$。我们表明,Crammer-Singer代理和一个与所有铰链损失,虽然与标准的argmax不同的预测,产生一致的算法,这个问题时,$α=\frac{1}{2}$。更有趣的是,我们设计了一个新的凸代理,也是一致的这个问题时,$α=\frac{1}{2}$和操作的低得多的维空间($\log(n)$,而不是$n$)。我们还概括了所有三个代理是一致的任何$α\in[0, \frac{1}{2}]$。
2015-05-15 cs.LG stat.ML
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴))
本文研究对抗扰动且允许弃权(不执行)预测场景下的分类问题,提出对抗鲁棒拒绝选项损失,给出替代损失的校准表征,并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML
Multi-object Classification via Crowdsourcing with a Reject Option
Syracuse University(雪城大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
考虑为$M$元分类任务设计一个有效的众包系统。群组工作者完成简单的二进制微任务,其结果被聚合以给出最终结果。我们考虑了一个新的场景,其中工作人员有一个拒绝选项,这样当他们无法或选择不响应时,他们可以跳过微任务。例如,在不匹配的语音转录中,不懂语言的工人可能无法对专注于其分类感知之外的语音维度的微任务做出反应。我们提出了一种聚合方法,使用加权多数表决规则,每个工人的响应被分配一个优化的权重,以最大限度地提高人群的分类性能。我们评估系统的性能在精确和渐近形式。此外,我们还考虑了这样一种设置,即可能有一组贪婪的工作者,即使他们无法可靠地执行微任务,他们也会完成微任务。我们考虑了一个不经意的和一个清除策略来处理贪婪的工人,开发一个算法来适应性地在这两个之间切换的基础上估计的分数贪婪的工人在匿名人群。仿真结果表明,改进的性能相比,传统的多数表决。
2016-06-10 cs.LG
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院);Stanford University(斯坦福大学)
一个好的聚类可以帮助数据分析师探索和理解数据集,但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难正式化,即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法来交互式聚类数据探索,称为\ciif,基于一个特别简单的反馈机制,在该机制中,分析师可以选择拒绝个别集群,并要求新的。新的聚类应该与以前拒绝的聚类不同,同时仍然很好地拟合数据。我们正式这种互动在一个新的贝叶斯先验启发框架。在每次迭代中,先验被适配为考虑所有先前的反馈,然后从后验分布产生新的聚类。为了实现必要的交互式设置的计算效率,我们提出了一种增量优化方法,使用拉格朗日松弛的数据minibatches。实验表明,\ciif可以产生准确和多样的聚类。
2016-06-08 cs.LG stat.ML
EERO: Early Exit with Reject Option for Efficient Classification with limited budget
Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Fujitsu(富士通);Université De Pau Et Des Pays De L’adour(波城大学)
本文提出EERO方法,将早退问题转化为带弃权选项的多分类器选择问题,通过指数权重聚合校准退出概率以保证固定预算,并在Cifar和ImageNet上验证了其在预算管理和准确率提升方面的有效性。
2025-11-06 cs.LG stat.ML
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院);Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Twitter(推特)
一个好的聚类可以帮助数据分析师探索和理解数据集,但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难形式化,即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法,称为TINDER的数据探索的交互式聚类,基于一个特别简单的反馈机制,在该机制中,分析师可以拒绝给定的聚类,并要求一个新的,这是选择从以前的聚类不同,同时适合的数据。我们在贝叶斯框架中将这种相互作用形式化为先前启发的方法,其中每个不同的聚类由经过修改以阻止先前拒绝的聚类的先验分布产生。我们表明,TINDER成功地产生了一组不同的聚类,每个质量相当,这是更多样化的比随机重新启动。
2016-06-19 cs.LG stat.ML
Dependency Decomposition and a Reject Option for Explainable Models
Computer Science Institute(计算机科学研究所);Ruhr West University of Applied Sciences(鲁尔西部应用科学大学)
在安全相关领域(例如自动驾驶、医疗诊断)部署机器学习模型需要可解释的方法,这些方法对对抗攻击具有鲁棒性,并且能够意识到模型的不确定性。最近的深度学习模型在各种推理任务中表现非常好,但这些方法的黑盒性质导致了上述三个要求的弱点。最近的进展提供了可视化特征、描述输入属性(例如热图)、提供文本解释或降低维度的方法。然而,分类任务的解释是相互依赖的还是相互独立的?例如,物体的形状取决于颜色吗?使用预测类生成解释有什么影响,反之亦然?在可解释的深度学习模型的背景下,我们提出了关于期望的图像分类输出和解释变量(例如属性,文本,热图)的概率分布的依赖关系的第一个分析。因此,我们执行解释依赖性分解(EDD)。我们分析了不同的依赖关系的含义,并提出了两种方式产生的解释。最后,我们用解释来验证(接受或拒绝)预测
2020-12-11 cs.AI cs.CV cs.LG
RISAN: Robust Instance Specific Abstention Network
International Institute of Technology Hyderabad(海得拉巴国际信息技术学院);Microsoft Research(微软研究院)
在本文中,我们提出了用于学习特定于实例的弃权(拒绝选项)二进制分类器的深度架构。所提出的方法使用Kulin Shah和Naresh Manwani在(“Online主动学习of Optional Classifiers”,AAAI,2020)中描述的双S形损失函数作为性能度量。我们表明,双S形损失的分类校准。我们还证明了0-d-1损失的超额风险的上界是双S形损失的超额风险。我们推导出的泛化误差界的建议架构拒绝选项分类。为了证明所提出的方法的有效性,我们用几个真实世界的数据集进行了实验。我们观察到,所提出的方法不仅表现出与最先进的方法相当,它对标签噪声也是鲁棒的。我们还提供了可视化来观察网络学习到的与弃权决策相对应的重要特征。
2021-07-07 cs.AI cs.LG
IDPS Signature Classification with a Reject Option and the Incorporation of Expert Knowledge
Nippon Telegraph and Telephone(日本电信电话公司);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
随着入侵检测和防御系统(IDS)重要性的增加,管理恶意通信模式文件生成的签名产生了巨大的成本。网络安全专家需要根据IDPS的重要性对签名进行分类。我们提出并评估了一个带有拒绝选项(RO)的机器学习签名分类模型,以降低建立IDPS的成本。为了训练所提出的模型,它是必不可少的设计特征,是有效的签名分类。专家用预定义的“若-则”规则对签名进行分类。“若-则”规则根据签名中元素的关键字匹配返回低、中、高或未知重要性的标签。因此,我们首先设计两种类型的特征,符号特征(SF)和关键字特征(KF),用于“若-则”规则的关键字匹配。接下来,我们设计Web信息和消息功能(WMF)来捕获不匹配“若-则”规则的签名的属性。提取的WMF作为词频-逆文档频率(TF-IDF)特征的消息文本中的签名。这些特征是通过从签名中描述的参考外部攻击识别系统中进行网络抓取而获得的。由于故障需要尽量减少在分类的IDPS签名,在医疗领域,我们考虑在我们提出的模型中引入RO。在实验中评估所提出的分类模型的有效性与两个真实的数据集组成的签名由专家标记:一个数据集,可以与“若-则”规则和数据集的元素,不匹配的“若-则”规则进行分类。在实验中,所提出的模型进行了评估。在这两种情况下,SF和WMF组合的性能优于SF和KF组合。此外,我们还进行了特征分析。
2022-07-19 cs.CR cs.LG
Out-of-distribution Reject Option Method for Dataset Shift Problem in Early Disease Onset Prediction
Graduate School of Medicine, Kyoto University(京都大学医学研究科);Graduate School of Health and Nursing Science, Wakayama Medical University(和歌山医科大学健康与护理科学研究科);Research Center for Health-Medical Data Science, Graduate School of Medicine, Hirosaki University(弘前大学医学研究科健康医疗数据科学研究中心);Innovation Center for Health Promotion, Graduate School of Medicine, Hirosaki University(弘前大学医学研究科健康促进创新中心);Center of Innovation Research Initiatives Organization, Hirosaki University(弘前大学创新研究倡议组织中心)
针对早期疾病预测中的数据集偏移问题,提出ODROP方法,集成OOD检测模型以排除分布外数据,在真实健康检查数据上显著提升AUROC,首次将OOD检测应用于实际医疗数据。
2025-05-26 cs.AI cs.LG stat.AP
Stacked Confusion Reject Plots (SCORE)
Honda Research Institute Europe GmbH(本田欧洲研究院)
针对常见拒绝曲线过于抽象、非专家难以解释的问题,提出堆叠混淆拒绝图(SCORE),通过更直观的方式展示数据与分类器行为,并在人工高斯数据上验证其功能。
2024-06-25 cs.LG
Learning When to Say "I Don't Know"
Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
我们提出了一种新的神经网络选项分类技术,用于识别和删除给定神经分类器和数据集的决策空间中的不确定区域。这种现有的公式采用了学习拒绝(删除)/选择(保持)功能,并需要一个已知的成本拒绝的例子或强约束的准确性或所选的例子的覆盖范围。我们考虑一种替代方案,通过分析互补拒绝区域并采用验证集来学习每类softmax阈值。我们的目标是最大限度地提高所选示例的准确性,并对被拒绝的示例进行自然随机性允许(拒绝比正确预测更不正确的预测)。我们提供的结果显示了所提出的方法优于使用最先进的预训练模型对二维点,图像和文本分类数据集进行简单阈值校准/未校准的softmax分数的好处。源代码可在https://github.com/osu-cvl/learning-idk上获得。
2023-02-15 cs.CV cs.LG
Generative Well-intentioned Networks
Tsinghua University(清华大学)
我们提出了生成善意网络(GWINs),这是一种新的框架,用于提高基于确定性的封闭世界分类器的准确性。条件生成网络恢复分类器以高确定性正确标记的观察结果的分布。在推理过程中,我们向分类器引入了拒绝选项,允许分类器拒绝观察实例,而不是预测不确定的标签。这些被拒绝的观察结果由生成网络转换为高确定性的表示,然后由分类器重新标记。该架构允许任何基于确定性的分类器或拒绝函数,并且不限于多层感知器。使用基准分类数据集评估该框架的能力,并表明GWINs显着提高不确定观测的准确性。
2019-10-28 cs.LG stat.ML
Deep-RBF Networks Revisited: Robust Classification with Rejection
University of Tehran(德黑兰大学);Massachusetts Institute of Technology(麻省理工学院)
与许多其他分类器一样,深度神经网络的主要缺点之一是它们容易受到对抗攻击的攻击。其脆弱性的一个重要原因是将高置信度分配给特征点很少甚至没有特征点的区域。通过特征点,我们指的是输入空间的非线性变换,其提取输入数据的有意义的表示。另一方面,深度RBF网络只对包含足够特征点的区域赋予高置信度,但由于人们普遍认为它们存在梯度消失问题,因此它们被低估了。在本文中,我们重新审视了深度RBF网络,首先给出了它们的一般公式,然后提出了一系列受度量学习启发的代价函数。在所提出的深度RBF学习算法中,不会出现消失梯度问题。我们通过在输出层添加拒绝选项,使这些网络对对抗攻击具有鲁棒性。通过在MNIST数据集上的几个实验,我们证明了我们提出的方法不仅达到了显着的分类精度,但也非常抵抗各种对抗攻击。
2018-12-07 cs.LG stat.ML
Selective Classification for Deep Neural Networks
Technion – Israel Institute of Technology(以色列理工学院)
选择性分类技术(也称为拒绝选项)尚未在深度神经网络(DNN)的上下文中考虑。这些技术可以通过权衡覆盖范围来显著提高DNN的预测性能。在本文中,我们提出了一种方法来构建一个选择性分类给定的训练神经网络。我们的方法允许用户设置所需的风险水平。在测试时,分类器根据需要拒绝实例,以授予期望的风险(具有高概率)。CIFAR和ImageNet的实证结果令人信服地证明了我们方法的可行性,这为在关键任务应用中操作DNN提供了可能性。例如,使用我们的方法,前5名ImageNet分类中前所未有的2%错误可以保证概率为99.9%,测试覆盖率几乎为60%。
2017-06-01 cs.AI cs.LG
Selective Probabilistic Classifier Based on Hypothesis Testing
Tampere University(坦佩雷大学);Visy Oy(维西公司)
在本文中,我们提出了一个简单而有效的方法来处理违反封闭世界假设的分类器。以前的工作往往适用于阈值的分类分数或损失函数拒绝违反假设的输入。然而,这些方法不能实现安全应用中所需的低假阳性率(FPR)。该方法是一种基于概率网络假设检验的拒绝选项。使用概率网络,可以估计结果的分布,而不是单个输出。该方法通过对每个类别的均值和标准差进行Z检验,估计网络确定性的统计显著性,并剔除不确定输出。所提出的方法进行了实验与不同配置的COCO和CIFAR数据集。所提出的方法的性能进行比较与Softmax响应,这是一个已知的最高性能的方法。结果表明,与替代方案相比,所提出的方法可以实现更广泛的操作范围并覆盖更低的FPR。
2021-05-11 cs.AI cs.CV cs.LG
Best Arm Identification for Stochastic Rising Bandits
Politecnico di Milano(米兰理工大学)
本文针对随机上升老虎机(SRBs)的固定预算最佳臂识别问题,提出R-UCBE和R-SR两种算法,证明其识别保证并推导匹配下界,实验验证有效。
2024-05-27 cs.LG
MaskTune: Mitigating Spurious Correlations by Forcing to Explore
Autodesk AI Lab(欧特克人工智能实验室);Stanford University(斯坦福大学);Simon Fraser University(西蒙弗雷泽大学)
过度参数化的深度学习模型的一个根本挑战是学习有意义的数据表示,这些数据表示在下游任务上产生良好的性能,而不会过度拟合虚假的输入特征。这项工作提出了MaskTune,一种掩蔽策略,防止过度依赖虚假(或有限数量)的功能。MaskTune通过屏蔽先前发现的特征,迫使训练后的模型在单个时期微调期间探索新特征。与早期用于减轻快捷学习的方法不同,MaskTune不需要任何监督,例如为数据集中的子组样本注释虚假特征或标签。我们在有偏见的MNIST,CelebA,Waterbirds和ImagenNet-9L数据集上的实证结果表明,MaskTune对经常存在虚假相关的任务是有效的。最后,我们表明,MaskTune优于或达到类似的性能竞争的方法时,应用于选择性分类(分类拒绝选项)任务。MaskTune的代码可在www.example.com上获得。
2022-10-08 cs.CV cs.LG