Contrastive Weighted Learning for Near-Infrared Gaze Estimation
通过使用深度学习，基于外观的注视估计已经非常成功。许多后续工作改进了用于注视估计的领域泛化。然而，尽管在用于凝视估计的领域泛化方面已经取得了很大进展，但最近的大多数工作都集中在跨数据集性能上-考虑照明，头部姿势和照明的不同分布。虽然改进RGB图像的不同分布中的注视估计是重要的，但是基于近红外图像的注视估计对于黑暗环境中的注视估计也是至关重要的。此外，对于回归任务，仅依赖于监督学习也存在固有的局限性。本文致力于解决这些问题，并提出了GazeCWL，一种新的框架与近红外图像使用对比学习的视线估计。这利用了用于数据增强的对抗攻击技术和专门用于回归任务的新型对比损失函数，该回归任务有效地聚类了潜在空间中不同样本的特征。在基于红外图像的视线估计中，我们的模型优于以前的领域泛化模型，比基线模型的性能提高了45.6%，同时比最先进的模型提高了8.6%，证明了我们的方法的有效性.
2022-12-08 cs.CV cs.LG
Model-Driven Graph Contrastive Learning
Rice University（里士大学）
本文提出模型驱动的图对比学习框架 MGCL，通过估计 graphon 并定义数据自适应的增强过程，同时为图级任务聚类并分组估计 graphon，在基准数据集上取得最先进性能。
2025-06-06 cs.LG
Continual Learning for Unsupervised Anomaly Detection in Continuous Auditing of Financial Accounting Data
University of St. Gallen (HSG)（圣加仑大学（HSG））
国际审计标准要求直接评估财务报表的基本会计分录。在人工智能进步的推动下，受深度学习启发的审计技术应运而生，用于检查大量的期刊条目数据。然而，在定期审计中，大多数提出的方法都用于从相对固定的期刊条目群体中学习，例如，一个财政季度或一年。忽略审计相关分布变化在训练数据中不明显或随着时间的推移逐渐可用的情况。相比之下，在持续审计中，深度学习模型在记录的日志条目流上持续训练，例如，最后一个小时。导致以前的知识干扰新的信息，并将完全覆盖的情况。这项工作提出了一个持续的异常检测框架，以克服这两个挑战，旨在从一个流的日志条目数据的经验。该框架是基于精心设计的审计方案和两个真实世界的数据集进行评估。我们的实验结果提供了初步的证据表明，这样的学习计划提供了减少假阳性警报和假阴性决策的能力。
2022-03-31 cs.LG
Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance
Netflix（网飞公司）；Massachusetts Institute of Technology（麻省理工学院）
当今一些最先进的深度学习模型的卓越性能在一定程度上归功于大规模数据集上的广泛（自）监督对比预训练。在对比学习中，网络被呈现成对的正（相似）和负（不相似）数据点，并被训练为找到每个数据点的嵌入向量，即，一种表示法，可以针对各种下游任务进行进一步微调。为了在关键决策系统中安全地部署这些模型，为它们配备一个衡量其不确定性或可靠性的标准至关重要。然而，由于训练对比模型的成对性质，以及在输出（抽象嵌入向量）上缺乏绝对标签，使常规不确定性估计技术适应于这样的模型是不平凡的。在这项工作中，我们研究这种表示的不确定性是否可以量化为一个单一的数据点在一个有意义的方式。换句话说，我们探索给定数据点的下游性能是否可以直接从其预训练的嵌入中预测。我们表明，这一目标可以通过直接估计的训练数据在嵌入空间中的分布，并占局部一致性的表示。我们的实验表明，这种嵌入向量的不确定性的概念往往与其下游的准确性密切相关。
2022-07-19 cs.AI cs.CV cs.LG
EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning
Duke University（杜克大学）；Huazhong University of Science and Technology（华中科技大学）
给定一组未标记的图像或（图像，文本）对，对比学习旨在预训练图像编码器，该图像编码器可用作许多下游任务的特征提取器。在这项工作中，我们提出了EncoderMI，第一个成员推理方法对图像编码器预先训练的对比学习。特别是，给定输入和对图像编码器的黑盒访问，EncoderMI旨在推断输入是否在图像编码器的训练数据集中。EncoderMI可以1）由数据所有者用于审计其（公共）数据是否在未经其授权的情况下被用于预训练图像编码器，或者2）由攻击者用于在训练数据是私有/敏感的情况下损害其隐私。我们的EncoderMI利用图像编码器对其训练数据的过拟合。特别地，过拟合图像编码器更有可能针对其训练数据集中（或不在其训练数据集中）的输入的两个增强版本输出更多（或更少）相似的特征向量。我们在自己在多个数据集上预训练的图像编码器以及对比图像预训练（CLIP）图像编码器上评估EncoderMI，CLIP图像编码器是在从互联网收集并由OpenAI发布的4亿（图像，文本）对上预训练的。我们的研究结果表明，EncoderMI可以实现高准确率，精确度和召回率。我们还探讨了通过早期停止来防止过拟合的对策。我们的结果表明，它实现了EncoderMI的准确性和图像编码器的实用性之间的权衡，即，它会降低EncoderMI的准确性，但也会导致基于图像编码器构建的下游分类器的分类准确性损失。
2021-08-25 cs.CR cs.CV cs.LG
Separated Contrastive Learning for Matching in Cross-domain Recommendation with Curriculum Scheduling
Huawei Technologies Co., Ltd.（华为技术有限公司）
针对跨域推荐中混合对比学习训练不稳定的问题，提出SCCDR框架，通过分离域内与域间对比学习及课程调度策略，提升表示质量，在多个数据集和在线测试中达到最优性能。
2025-02-22 cs.IR cs.LG cs.SI
CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework for Zero-Shot Electroencephalography Signal Conversion
Department of Applied Mathematics and Computer Science（应用数学与计算机科学系）；Technical University of Denmark（丹麦技术大学）
提出CSLP-AE框架，利用对比学习引导分裂潜变量表征，实现脑电信号在任务和受试者间的零样本转换，优于传统方法。
2023-11-13 cs.CV cs.LG eess.SP
Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models
Queen Mary University of London（伦敦女王学院）；Institut Jožef Stefan（Jožef Stefan研究所）
研究通过对比CLIP和OpenCLIP模型，发现数据来源是偏见的主要驱动因素，不同去偏策略在不同模型和数据规模下效果各异。
2026-01-23 cs.LG
Learning Sampling in Financial Statement Audits using Vector Quantised Autoencoder Neural Networks
University of St. Gallen（圣加仑大学）；Deutsche Bundesbank（德意志联邦银行）；PricewaterhouseCoopers GmbH WPG（普华永道会计师事务所）
审计财务报表的目的是合理保证已发布的报表不存在“真实和公平的列报”重大误报。国际审计标准要求对报表中与会计相关的交易进行评估，即“日记账分录”，以发现潜在的错报。为了有效地审计越来越多的此类条目，审计员定期进行基于样本的评估，称为“审计抽样”。然而，审计抽样的任务往往在整个审计过程的早期进行。通常是在一个阶段，在这个阶段，审计员可能不知道导致审计范围内的日记账条目的所有生成因素及其动态。为了克服这一挑战，我们提出了矢量量化-变分自编码器（VQ-VAE）神经网络的应用。我们证明，基于两个现实世界的城市支付数据集，这种人工神经网络能够学习会计数据的量化表示。我们发现，学习量化揭示（一）潜在的变化因素，（二）可以作为一个高度代表性的审计样本，在财务报表审计。
2020-08-06 cs.LG stat.ML
Fighting Accounting Fraud Through Forensic Data Analytics
The University of Sydney Business School（悉尼大学商学院）
会计舞弊是一个全球性的问题，对金融体系的稳定构成了重大威胁，因为它会削弱市场信心和监管机构的信任。有几种手法可用于实施会计欺诈，因此需要考虑到不同欺诈模式的非静态监管干预。因此，本研究旨在通过实施几种机器学习方法来更好地区分欺诈和非欺诈公司，并通过评估相关财务指标来进一步协助风险较高公司的检查任务，从而提高会计欺诈的检测。样本外的结果表明，通过统计建模和分析公开的会计信息，在发现伪造的财务报表方面有很大的潜力。拟议的方法可以帮助公共审计员和监管机构，因为它便利了审计过程，并支持对会计报告进行更有针对性和更有效的审查。
2018-05-08 cs.LG stat.AP stat.ML
Adversarial Learning of Deepfakes in Accounting
University of St. Gallen（圣加仑大学）；Deutsche Bundesbank（德意志联邦银行）；PricewaterhouseCoopers GmbH（普华永道有限责任公司）
如今，组织在“企业资源规划”（ERP）系统中收集大量的会计相关交易，称为“日记帐分录”。这些条目的汇总最终确定了一个组织的财务报表。为了发现潜在的错报和欺诈，国际审计标准要求审计员使用“计算机辅助审计技术”（CAAT）直接评估日记账分录。与此同时，深度学习研究的发现揭示了机器学习模型容易受到“对抗攻击”的影响。很明显，这种攻击技术可以被滥用来生成“Deepfakes”，旨在通过创建令人信服的改变媒体内容来直接攻击人类的感知。对这些发展及其对财务和会计领域的潜在影响的研究仍处于早期阶段。我们认为，至关重要的是，要调查这些技术如何在这一领域被恶意滥用。在这项工作中，我们使用深度神经网络对CAAT进行了对抗攻击。我们首先介绍了一个真实世界的“线程模型”，旨在掩盖会计异常，如欺诈性的日记账分录。第二，我们表明，对抗性自动编码器神经网络能够学习人类可解释的模型的期刊条目，解开条目潜在的生成因素。最后，我们展示了这样一个模型可以被恶意滥用的犯罪者产生强大的“对抗性”的日志条目，误导CAAT。
2019-10-09 cs.LG stat.ML
Detection of Anomalies in Large Scale Accounting Data using Deep Autoencoder Networks
German Research Center for Artificial Intelligence (DFKI) GmbH（德国人工智能研究中心（DFKI）有限公司）；PricewaterhouseCoopers (PwC) GmbH（普华永道（PwC）有限公司）
学习如何在大规模会计数据中发现欺诈是财务报表审计或欺诈调查中的长期挑战之一。如今，大多数应用技术都是指从已知的欺诈场景中导出的手工规则。虽然相当成功，但这些规则表现出的缺点是，它们往往无法推广到已知的欺诈场景之外，欺诈者逐渐找到规避它们的方法。为了克服这一缺点，并受到深度学习最近成功的启发，我们提出了深度自动编码器神经网络的应用，以检测异常日志条目。我们证明，训练后的网络的重建误差可获得的日志条目和条目的个人属性概率正则化可以被解释为一个高度自适应的异常评估。在两个真实世界的期刊条目数据集上的实验表明，与最先进的基线方法相比，该方法的有效性导致了32.93（数据集A）和16.95（数据集B）的高f1分数以及更少的假阳性警报。特许会计师和欺诈审查员收到的初步反馈意见证实了这一方法在捕捉高度相关的会计异常现象方面的质量。
2018-08-01 cs.CE cs.LG
Leaking Sensitive Financial Accounting Data in Plain Sight using Deep Autoencoder Neural Networks
University of St. Gallen (HSG)（圣加仑大学（HSG））；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
如今，各组织在“企业资源规划"系统中收集了大量的敏感信息，如与会计有关的交易、客户主数据或战略销售价格信息。此类信息的泄露对公司构成了严重威胁，因为事件的数量和对经历这些事件的人的声誉损害继续增加。与此同时，深度学习研究的发现表明，机器学习模型可能被恶意滥用，以创建新的攻击向量。了解这种攻击的性质对于（内部）审计和欺诈检查实践变得越来越重要。这种意识的建立尤其适用于使用基于深度学习的隐写技术的欺诈性数据泄漏，而这种技术可能仍然无法被最先进的“计算机辅助审计技术”检测到。在这项工作中，我们介绍了一个真实世界的“威胁模型”，旨在泄漏敏感的会计数据。此外，我们表明，一个深隐写过程，由三个神经网络，可以训练隐藏这些数据在不显眼的“日常”图像。最后，我们对两个公开的真实世界支付数据集进行了定性和定量评估。
2020-12-13 cs.CR cs.CV cs.LG
VarCoNet: A variability-aware self-supervised framework for functional connectome extraction from resting-state fMRI
Department of Biomedical Engineering and Biotechnology, and the Health Engineering Innovation Group (HEIG), Khalifa University（生物医学工程与生物技术系，以及健康工程创新小组（HEIG），卡利法大学）；Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki（电气与计算机工程系，阿尔基洛斯大学）
本研究提出变异性感知自监督框架VarCoNet，将个体间功能变异视为有效数据，结合新型信号分段增强、1D-CNN-Transformer编码器与贝叶斯优化，从静息态fMRI提取功能连接组，在个体指纹识别和ASD分类任务上优于现有13种深度学习方法。
2025-10-03 cs.AI cs.LG cs.NE
Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning
Massachusetts Institute of Technology（麻省理工学院）；Netflix（网飞公司）
本文提出利用电影电视配音版本构造仅在语音上不同的反事实视听配对来增强对比学习，实验证明该方法能提升多种下游听觉与视听任务性能，同时基本不影响语言任务表现。
2024-06-08 cs.CV cs.LG cs.MM
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine（加利福尼亚大学欧文分校）；Microsoft Research（微软研究院）
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD，通过联合对比损失和跨模态简易融合模块，在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Dynamic Anomaly Identification in Accounting Transactions via Multi-Head Self-Attention Networks
Columbia University（哥伦比亚大学）；Golden Gate University（金门大学）；University of Chicago（芝加哥大学）；Babson College（巴布森学院）
本研究针对会计交易动态异常检测问题，提出基于Transformer的实时方法，通过多头自注意力捕获全局依赖，在公开数据集上实验表明其性能优于基线模型，为智能财务风控和审计提供支持。
2025-11-15 cs.LG
Detection of Accounting Anomalies in the Latent Space using Adversarial Autoencoder Neural Networks
University of St. Gallen（圣加仑大学）；Deutsche Bundesbank（德意志联邦银行）；PricewaterhouseCoopers GmbH WPG（普华永道审计有限公司）
在财务报表审计中，发现会计数据中的欺诈行为是一个长期的挑战。如今，大多数应用技术都是指从已知的欺诈场景中导出的手工规则。虽然相当成功，但这些规则表现出的缺点是，它们往往无法推广到已知的欺诈场景之外，欺诈者逐渐找到规避它们的方法。相比之下，受深度学习最近成功启发的更先进的方法通常缺乏对检测结果的无缝解释性。为了克服这一挑战，我们提出了对抗性自动编码器网络的应用。我们证明，这种人工神经网络能够学习一个语义有意义的表示现实世界的期刊条目。学习的表示提供了一个整体的看法，对一组给定的日记账分录，并显着提高了可解释性检测到的会计异常。我们表明，这样的表示与网络重建误差相结合，可以用作无监督和高度自适应的异常评估。两个数据集上的实验和法务会计师收到的初步反馈支持了该方法的有效性。
2019-08-02 cs.LG q-fin.ST stat.ML
Enhanced Audit Techniques Empowered by the Reinforcement Learning Pertaining to IFRS 16 Lease
Hanjin Heavy Industries and Construction Co., LTD（韩进重工业建设有限公司）；Yonsei University（延世大学）
会计审计的目的是对公司的财务活动有清晰的了解，这可以通过机器学习或强化学习来增强，因为数字分析比人工分析更好。为评估实体产生的与新实施的《国际财务报告准则第16号租赁》（IFRS 16）有关的信息的相关性、完整性和准确性，由于其要求理解合同性质的特点以及其从上市到无遗漏的完整分析，这可以通过为创建清单而将合同数字化而得到加强，但仍需要审计公司的现金流，以防止由于数据汇集阶段的潜在错误而可能出现的遗漏，特别是对于拥有各种短期或中期经营场所和相关租赁的实体，例如建筑实体。强化学习及其众所周知的代码的实现是为了从领域知识到数值系统的解释器的可能性和可利用性，也可以称为“游戏化解释器”或“数值化解释器”，其可以参考或比较物理学中的无量纲数的外推，例如弗劳德数，这是本研究的灵感来源。对解释器的研究可以增强人工通用智能在领域和商业领域的可用性。
2021-01-05 cs.AI cs.LG
Tight End-to-End Accounting for Differentially Private Synthetic Data
UCL（伦敦大学学院）；SAS（萨塞克斯大学）；Google（谷歌）；Google Research（谷歌研究院）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Lausanne University Hospital (CHUV)（洛桑大学医院）
针对差分隐私合成数据流水线的核算精度损失问题，开发基于隐私损失分布等的工具，提出AIM-GDP和MixCal，实现更严格核算并降低同隐私水平下的噪声。
2026-10-14 cs.CR cs.LG stat.ML
Machine Learning based Enterprise Financial Audit Framework and High Risk Identification
Shanghai Ocean University（上海海洋大学）；University of Chicago（芝加哥大学）；Columbia University（哥伦比亚大学）
本研究提出基于机器学习的企业财务审计框架，利用随机森林算法实现高风险识别，提升审计效率和准确性。
2025-07-08 cs.AI cs.LG q-fin.RM
It's Not a Modality Gap: Characterizing and Addressing the Contrastive Gap
University of Alberta（阿尔伯塔大学）
本文证明CLIP等双编码器对比模型中的模态鸿沟源于对比损失本身，将其重新定义为对比鸿沟，并通过引入均匀性与对齐约束改进CLIP损失，从而弥合鸿沟并提升下游任务性能。
2024-06-06 cs.CL cs.CV cs.IR
FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles
FinRule-Bench是一个评估金融表与原则联合推理能力的基准，通过三个任务测试模型在规则验证、识别和多违规诊断中的表现，揭示LLMs在高风险金融分析中的局限性。
2026-03-11 cs.AI cs.CE cs.LG
Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing
Samsung AI Center（三星人工智能中心）；University of Turin（都灵大学）；University of Warsaw（华沙大学）
提出对比解码差异（CDD）方法，仅基于输出层logit分布，无需权重或内部访问，即可从微调模型中逐字恢复植入事实，并在多种架构和场景下优于白盒方法。
2026-06-02 cs.LG
Trajectory Guard -- A Lightweight, Sequence-Aware Model for Real-Time Anomaly Detection in Agentic AI
Laksh Advani
轨迹守护通过对比学习和重建学习，实现对代理AI中任务轨迹对齐和序列有效性的联合检测，提升实时异常检测性能。
2026-01-02 cs.AI cs.LG
