A Unifying Information-theoretic Perspective on Evaluating Generative Models
Duke University(杜克大学);University of Virginia(弗吉尼亚大学)
本文提出统一信息论视角,将kNN类评估指标统一,并设计PCE、RCE、RE三维指标,分别度量保真度与类间、类内多样性,实验证明其敏感性并揭示其他指标缺陷。
2025-02-27 cs.AI cs.CV cs.LG
A Unifying Perspective on Language Model Representations: From Filler-Role Structure to Mechanistic Interpretability
Yale University(耶鲁大学);Wu Tsai Institute(吴蔡研究所)
本研究以张量积表示(TPRs)为统一假设,证明其可统一加法类比等多种语言模型可解释性方法,构建的变体与标准变体性能相当,为神经网络本质的统一阐释奠定基础。
2026-09-01 cs.AI cs.CL
Graph Reinforcement Learning for Combinatorial Optimization: A Survey and Unifying Perspective
University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所);University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
本文综述了图强化学习在组合优化中的应用,提出统一视角,聚焦于非典型图问题,强调强化学习作为高效解决方案的潜力。
2024-08-20 cs.AI cs.LG
Specious rules: an efficient and effective unifying method for removing misleading and uninformative patterns in association rule mining
Aalto University(阿尔托大学);Monash University(莫纳什大学)
我们提出了理论分析和一套测试和程序,以解决广泛的一类冗余和误导性的关联规则,我们称之为\emph{specious rules}。似是而非的依赖性,也被称为\emph{spurious},\emph{apparent}或\emph{illusory associations},是指一种众所周知的现象,其中边际依赖性仅仅是与其他变量相互作用的产物,并且当以这些变量为条件时消失。最极端的例子是尤尔-辛普森悖论,其中两个变量在边际列联表中呈现正相关,但在由不同水平的混杂因素定义的所有部分表中呈现负相关。人们普遍认为,在任何非平凡维度的数据中,控制所有指数级的许多可能的混淆是不可行的。在本文中,我们考虑的问题似是而非的依赖关系的背景下,统计关联规则挖掘。我们定义似是而非的规则,并表明他们提供了一个统一的框架,涵盖了许多类型的先前提出的冗余或误导性的关联规则。在理论分析的基础上,提出了在互信息和精确超几何概率等关键优度测度下,有效检测和剪枝可疑关联规则的实用算法。我们证明,该程序大大减少了发现的关联的数量,提供了一个优雅和有效的解决方案,发现大量的误导性和冗余的规则的关联挖掘的问题。
2017-09-12 cs.AI
Information Compression by Multiple Alignment, Unification and Search as a Unifying Principle in Computing and Cognition
本文概述了“多重对齐、统一和搜索的信息压缩”(ICMAUS)的思想,它可以作为计算领域的统一原则(包括数学和逻辑)以及人类认知的一些方面,如自然语言的分析和产生,模糊模式识别和最佳匹配信息检索,具有属性继承的概念层次,概率推理,和无监督的归纳学习。ICMAUS的概念与SP61软件模型的轮廓一起描述,其中ICMAUS的概念是目前实现的。一系列的例子,说明从SP61模型的输出。
2003-07-10 cs.AI
Unifying Perplexing Behaviors in Modified BP Attributions through Alignment Perspective
University of Science and Technology of China(中国科学技术大学);National Lab of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对修正BP归因缺乏理论解释且存在异常行为的问题,本文提出统一框架证明GBP、RectGrad、LRP和DTD通过激活神经元权重实现输入对齐,从而解释并预测其行为。
2025-03-14 cs.AI cs.LG
Distance formulas capable of unifying Euclidian space and probability space
Apollo Japan Co., Ltd.(日本阿波罗株式会社);South China Normal University(华南师范大学)
对于像图像识别这样的模式识别,已经清楚的是,每个机器学习字典数据实际上成为属于欧几里德空间的概率空间中的数据。然而,当机器学习引入到模式识别中时,欧氏空间中的距离和概率空间中的距离是分离的,不统一的。仍然存在无法直接计算读取图像的采样数据与学习字典数据之间的准确匹配关系的问题。在本研究中,我们专注于在属于包含欧几里德空间的多个概率空间的数据之间,距离从原始欧几里德距离通过概率空间时发生变化的原因和变化的程度。通过寻找距离误差产生的原因并找到量化表达误差的公式,找到了统一欧几里得空间和概率空间的可能距离公式,基于本研究的结果,清晰地了解了机器学习词典数据与采样数据之间的关系,以进行模式识别。结果,数据之间的核对计算和数据之间相互竞争的机器学习被清除,并且复杂的计算变得不必要。最后,利用实际的模式识别数据,对本研究发现的统一欧氏空间和概率空间的可能距离公式进行了实验论证,证实了结果的有效性。
2018-01-06 cs.AI
What competing constraints reveal about representation learning
LaTIM UMR 1101
本文提出受限潜在状态建模(CLSM),统一了表示学习中在竞争约束下的核心原则与方法,揭示了潜在状态的内在耦合关系与根本权衡。
2026-11-19 cs.AI cs.LG
Greed is Good: A Unifying Perspective on Guided Generation
Clarkson University(克拉克森大学)
本文通过将后验引导视为端到端引导的贪婪策略,统一了两种梯度引导方法,并提出了在计算与精度之间权衡的插值方法,在逆图像问题和分子生成任务上验证了有效性。
2026-06-02 cs.AI cs.LG stat.ML
Perturbation Analysis of Learning Algorithms: A Unifying Perspective on Generation of Adversarial Examples
RWTH Aachen University(亚琛工业大学)
尽管深度神经网络在各种学习问题中取得了巨大的成功,但已经观察到,向这些架构的输入添加有意设计的对抗性扰动会导致在预测中具有高置信度的错误分类。在这项工作中,我们提出了一个一般框架的基础上扰动分析的学习算法,其中包括凸规划,并能够恢复许多当前的对抗攻击的特殊情况。该框架可以用来提出新的攻击学习算法的分类和回归任务下的各种新的约束条件下,在许多情况下,封闭形式的解决方案。特别是,我们得到新的攻击分类算法,以实现可比的性能显着的现有攻击。然后,该框架被用来生成对抗扰动的回归任务,其中包括单像素和单子集攻击。通过将该方法应用于自动编码和图像着色任务,表明对抗性扰动也可以有效地扰动回归任务的输出。
2018-12-15 cs.AI cs.IT cs.LG
Unifying Perspectives: Plausible Counterfactual Explanations on Global, Group-wise, and Local Levels
wrocław University of Science and Technology(沃里克大学科学与技术学院);Poznań University of Technology(波兹南技术大学);Tooploox Sp. z o.o.(Tooploox公司)
本文提出一种基于梯度的优化方法,统一生成局部、全球和组级反事实解释,通过整合实例分组与反事实生成提升组级解释的有效性,并引入合理性准则确保解释的可信度。
2026-05-11 cs.AI cs.LG stat.ME
Performance Dynamics and Termination Errors in Reinforcement Learning: A Unifying Perspective
University of California, San Diego(加州大学圣地亚哥分校);Victoria University(维多利亚大学)
在强化学习中,需要在某个时刻决定是否值得继续学习过程或终止学习过程。在许多此类情况下,通常存在随机元素来控制奖励的发生,正奖励的顺序发生与负奖励随机交错。对于大多数实际的学习者来说,如果积极奖励的数量总是超过消极奖励的数量,那么学习就被认为是有用的。通常需要终止学习的一种情况是,当消极奖励的数量超过积极奖励的数量时。然而,虽然这似乎是合理的,过早终止的错误,即终止与学习失败的结论一起制定,尽管积极的奖励最终远远超过消极的,可以是显著的。在本文中,使用组合分析,我们研究错误地终止强化学习活动,破坏了最优策略的有效性的错误概率,我们表明,由此产生的错误可以是相当高的。虽然我们在数学上证明,这种错误永远无法消除,我们提出了一些实用的机制,可以有效地减少这种错误。进行了模拟实验,其结果与我们的理论研究结果非常一致。
2019-02-11 cs.AI cs.LG stat.ML
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));SIA-Lab of Tsinghua AIR and ByteDance Seed(清华大学AIR与字节跳动种子项目SIA实验室)
该研究针对LLM强化学习中PPO的缺陷,提出GPPO框架,构建“散度×估计器”二维设计空间,在8个竞赛级基准上实现优于GRPO的SOTA性能。
2026-10-12 cs.AI cs.LG
One Wave To Explain Them All: A Unifying Perspective On Feature Attribution
Mines Paris - PSL University(巴黎矿业学院 - 巴黎文理研究大学);RTE France(法国电网公司)
本文提出小波归因方法WAM,利用小波域的空间与尺度局部化特性统一处理任意维度输入的特征归因,在音频、图像和体数据上匹配或优于现有基于梯度的方法,并连接模型鲁棒性与透明度。
2025-06-05 cs.AI cs.LG stat.ML
Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
本文系统综述了语言模型在软件工程中的应用,涵盖70+模型、180+数据集,整合SE与NLP视角,并指出代码建模从统计模型到LLM的演进,同时展望了未来挑战与方向。
2024-06-26 cs.AI cs.CL cs.SE
Unifying Lane-Level Traffic Prediction from a Graph Structural Perspective: Benchmark and Baseline
School of Computer Science, Fudan University(复旦大学计算机学院);The Hong Kong University of Science and Technology(香港科技大学);Guangzhou University(广州大学);Shanghai Jiao Tong University(上海交通大学)
针对车道级交通预测缺乏统一评估标准、公开数据代码有限的问题,本文提出系统分类框架,构建多场景公开数据集,建立统一任务范式,提出GraphMLP基线模型,并复现现有方法构建首个兼顾性能与训练成本的车道级交通预测基准。
2025-06-14 cs.AI cs.LG
Unifying Consciousness and Time to Enhance Artificial Intelligence
Centre for Consciousness Studies(意识研究中心)
意识是一个连续的意识过程,可以一次专注于一条信息。这个意识过程经历了因果关系,它支撑了时间的概念,同时它与物质和能量相互作用,形成现实。对意识、时间和现实的研究是复杂的,在许多领域都在快速发展,包括形而上学和基础物理学。现实在人类意识中组成模式,以回应自然界的混乱。这些干扰可以是物理的(例如,在意识中出现的模式与环境,生活和社会行为相关,其次是构建的框架,系统和结构。这些复杂的结构演变成文化、习俗、规范和价值观,从而创造了一个多样化的社会。在负责任的人工智能的进化过程中,重要的是要通过意识来适应进化的文化,伦理和道德价值观。这就需要提倡设计一种能够感知时间感知和人类道德的自学型人工智能。
2023-01-10 cs.AI q-bio.NC
Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models
Graduate School of AI, KAIST, Korea(人工智能研究生院,韩国科学技术院)
提出奖励分数匹配(RSM)框架,统一了多种基于奖励的微调方法,通过分数匹配与值引导目标对齐,简化了设计空间并提高了效率。
2026-08-27 cs.AI cs.CV cs.LG
An Algorithmic Information-Theoretic Perspective on the Symbol Grounding Problem
Zhangchi Liu(刘志强)
本文从算法信息论视角统一符号接地问题,证明意义接地受信息论极限约束,并指出意义是系统不断克服自身极限的开放过程。
2025-10-02 cs.AI cs.IT math.IT
Untangling AdaBoost-based Cost-Sensitive Classification. Part I: Theoretical Perspective
University of Vigo(维戈大学)
提升算法已被广泛用于解决大量问题。在过去的几年里,已经提出了很多方法来提供具有成本敏感功能的标准AdaBoost,每种方法都有不同的重点。然而,对于研究人员来说,这些算法形成了一个具有分散差异和属性的复杂集合,缺乏统一的分析来共同比较,分类,评估和讨论这些方法。在这一系列的两篇论文中,我们的目标是从理论(第一部分)和实践(第二部分)的角度重新审视各种建议,以分析其特定的属性和行为,最终目标是确定提供最佳和最可靠结果的算法。
2016-07-22 cs.AI cs.CV cs.LG