Modular Belief Updates and Confusion about Measures of Certainty in Artificial Intelligence Research
Stanford University(斯坦福大学)
在过去的十年中,人们对人工智能研究中不确定性推理的信念变化或度量的使用越来越感兴趣。几种方法的一个重要特征是信念或信念更新的变化,我们称之为模块性。我们把满足这个性质的更新称为模块化更新。尽管在19世纪首次发现了满足模块性性质的信念更新的概率度量,但在人工智能研究中,对这些量的知识和讨论仍然模糊不清。我们定义了模块化更新,并讨论了它们在两个有影响力的专家系统中的不当使用。
2014-07-27 cs.AI
Ultimate Intelligence Part II: Physical Measure and Complexity of Intelligence
Gök Us Sibernetik Ar&Ge Ltd. Şti.(格克乌斯西伯利亚克研发有限公司)
我们继续我们的体积和能量的措施,是适当的量化归纳推理系统的分析。我们扩展逻辑深度和概念跳跃大小的措施,在AIT随机问题,和物理措施,涉及体积和能量。我们介绍了一个图形模型的计算复杂性,我们认为是适合智能机器。我们展示了归纳推理的能量、逻辑深度和计算量之间的几个渐近关系。特别是,我们到达一个“黑洞方程”的归纳推理,它涉及能量,体积,空间和算法信息的最佳归纳推理解决方案。我们引入能量有界算法熵。我们简要地将我们的想法应用于我们宇宙中智能计算的物理极限。
2016-05-11 cs.AI
On the Measure of Intelligence
Google, Inc.(谷歌公司)
为了朝着更智能、更人性化的人工系统迈进,我们需要遵循一个适当的反馈信号:我们需要能够以一种能够在两个系统之间进行比较以及与人类进行比较的方式来定义和评估智能。在过去的一百年里,在心理学和人工智能领域都有大量的尝试来定义和测量智力。我们总结和批判性地评估这些定义和评估方法,同时使明显的两个历史概念的智能,隐含地指导他们。我们注意到,在实践中,当代人工智能社区仍然倾向于通过比较人工智能和人类在特定任务(如棋盘游戏和视频游戏)中表现出的技能来对智能进行基准测试。我们认为,仅仅测量任何给定任务的技能都不足以测量智力,因为技能受到先验知识和经验的严重影响:无限的先验知识或无限的训练数据允许实验者为系统“购买”任意水平的技能,以掩盖系统自身的泛化能力。然后,我们阐明了一个新的正式定义的智能的基础上,数学信息论,描述智能的技能获取效率和突出的范围,概括困难,先验和经验的概念。使用这个定义,我们提出了一套通用AI基准应该是什么样子的指导方针。最后,我们提出了一个基准密切遵循这些准则,抽象和推理语料库(ARC),建立在一组明确的先验设计,尽可能接近先天人类先验。我们认为,ARC可以用来衡量一种类似人类的一般流体智力,并且它可以在AI系统和人类之间进行公平的一般智力比较。
2019-11-25 cs.AI
A Survey of Question Answering for Math and Science Problem
Indian Institute of Technology, Delhi(印度理工学院德里分校)
图灵测试一直被认为是衡量人工智能的标准。但随着人工智能的进步,它已被证明是不够的措施。我们现在可以像测量人类智能一样测量机器智能。标准化数学和科学测试是一种被广泛接受的智力测量方法。在本文中,我们将探讨我们在实现使机器足够智能以通过标准化测试的目标方面所取得的进展。我们看到了该领域带来的挑战和机遇,并注意到我们距离真正让一个系统像一个中学学者一样聪明还有很长的路要走。
2017-05-10 cs.AI
A Formal Measure of Machine Intelligence
人工智能的一个基本问题是没有人真正知道智能是什么。当我们需要考虑与人类显著不同的人工系统时,这个问题尤其严重。在本文中,我们处理这个问题的方式如下:我们采取了一些众所周知的非正式定义的人类智能,已由专家,并提取其基本特征。然后这些被数学形式化,以产生任意机器的智能的一般度量。我们认为,这一衡量标准在最广泛的合理意义上正式抓住了机器智能的概念。
2006-05-06 cs.AI cs.LG
Intervention Complexity as a Canonical Reward and a Measure of Intelligence
School of Computing University of Otago(计算学院奥塔哥大学)
本文提出干预复杂性作为智能的规范度量,具有环境衍生性、普遍性、最小性、敏感性和成就偏好等性质,通过资源函数定义通用奖励,并探讨智能的双维度表征及计算可性。
2026-05-09 cs.AI
Measuring Intelligence Beyond Human Scale
Princeton(普林斯顿大学)
研究如何测量超越人类能力的智能,提出基于相对测量的新范式,模型生成公开挑战,汇总结果得对抗性心理测量评级系统,还描述实用协议,在不同领域实例化框架,实现对超越人类前沿系统的测量。
2026-10-06 cs.AI
A Theory of Intelligences
ISEM, Université de Montpellier, CNRS, IRD, EPHE(蒙彼利埃大学智能科学系、法国国家科学研究中心、国际研究与发展机构、法国国家高等科学研究院)
本文提出适用于物理、生物、人类和 AI 的智能理论(TIS),将智能视为对信息进行微分、关联和积分的微积分,以求解、规划及其优化为核心,并给出智能的量化方程、演化表达式及可检验预测。
2024-04-05 cs.AI
An Entropy-based Measure of Intelligence Degree of System Structures
Beijing Jiaotong University(北京交通大学)
本文研究了在特定结构下如何度量系统的智能。采用两个指标来表征给定结构的智能,即结构的功能多样性和在特定环境下产生秩序的能力。提出了一种智能度的度量方法,并对几种基本结构的智能度进行了计算。结果表明,一些结构确实是“聪明”比其他人在建议的措施。这些结果为揭示自然生命的进化机制和构建高智能度的类生命结构提供了一种可能的途径。
2022-08-22 cs.AI cs.MA nlin.AO
Intelligence via ultrafilters: structural properties of some intelligence comparators of deterministic Legg-Hutter agents
The U.S. Securities and Exchange Commission(美国证券交易委员会)
Legg和Hutter,以及后来的作者,通过与奖励环境的互动来考虑智能代理,试图为这些代理分配数字智能措施,指导原则是更聪明的代理应该从环境中获得更高的奖励。在本文中,我们考虑一个相关的问题:而不是测量一个Legg-Hutter代理的数字智能,我们如何比较两个Legg-Hutter代理的相对智能?我们提出了一个优雅的答案基于以下见解:我们可以在选举中,其选民的环境,让每个环境投票(通过其奖励)代理(如果有的话)是更聪明的候选人Legg-Hutter代理。这导致了一个抽象的比较器族,它足够简单,以至于我们可以证明关于它们的一些结构定理。这些结构定理是否适用于更实际的智力测量,这是一个悬而未决的问题。
2019-11-16 cs.AI cs.MA
Intelligence as a Measure of Consciousness
本文指出智能的心理测量指标(如g因子或IQ)可间接近似意识体验程度,为评估人工系统与人类的意识相似性提供了量化框架。
2023-09-06 cs.AI q-bio.NC
On the Measure of a Model: From Intelligence to Generality
Department of Computer Science(计算机科学系);University of Copenhagen(哥本哈根大学);Centre for Philosophy of AI(人工智能哲学中心)
本文指出当前以智能为核心的大语言模型基准评估存在定义模糊、与实际效用错位的问题,提出应以通用性作为AI能力评估的更稳定基础。
2025-11-14 cs.AI cs.LG
Towards A Measure Of General Machine Intelligence
Maya Labs(玛雅实验室)
为了构建能够处理未知领域中未知变量的通用人工智能系统,我们需要基准来衡量这些系统在执行以前从未见过的任务时的表现。这样做的先决条件是测量任务的泛化难度,或者它与系统的先验知识和经验有多大的不同。如果智能系统在特定领域中的技能被定义为它能够持续生成一组指令(或程序)来解决该领域中的任务,那么当前的基准并不能定量地衡量获取新技能的效率,这使得通过使用无限量的数据和计算能力进行训练来强行获取技能成为可能。考虑到这一点,我们首先提出了一种通用的指令语言,一种程序设计语言,它允许在各种各样的现实世界的领域和计算平台上以有向无环图的形式表达程序。使用这种语言生成的程序,我们展示了一个基于匹配的方法,既得分性能和计算任何给定的一组任务的泛化难度。我们使用这些来定义一个称为泛化指数或g指数的数字基准,以衡量和比较任何智能系统在一组现实任务中的技能获取效率。最后,我们评估了一些著名的模型作为一般的智能系统的适用性,通过计算他们的g指数得分。
2022-05-24 cs.AI cs.LG
Bringing Back Rule Induction to Fluid Intelligence Research? An Initial Validation of the ARC-AGI Benchmark in Humans
Ulm University(乌尔姆大学)
研究围绕流体智力测量的两种观点,以含100名参与者的研究初步验证ARC-AGI基准用于人类流体智力测量的有效性,发现其与图形流体智力显著相关,为相关研究提供支持并建议嵌入人工智能基准以促进评估与合作。
2026-11-19 cs.AI cs.LG
Soft Measures for Extracting Causal Collective Intelligence
Michigan State University(密歇根州立大学);Two Six Technologies;University of South Alabama(南阿拉巴马大学);SIFT
本文提出用大语言模型自动提取模糊认知图,并设计基于图的软相似性度量,通过Elo评分验证其与人类判断的相关性,指出需开发更贴合FCM细微差别的度量方法。
2024-09-27 cs.AI cs.CL cs.CY
Thermodynamic Measure of Intelligence
Institute for Biomedical Informatics, University of Kentucky(肯塔基大学生物医学信息学研究所);Department of Computer Science, University of Kentucky(肯塔基大学计算机科学系)
提出智能是稀有但有效未来的合法放大,通过递归自模拟实现,并给出热力学度量,证明该结构对高智能必要且近乎充分。
2026-06-19 cond-mat.stat-mech cs.AI cs.IT
Metric Matters: A Formal Evaluation of Similarity Measures in Active Learning for Cyber Threat Intelligence
New York University, NYUAD, Division of Science(纽约大学、NYUAD、科学学院)
针对APT检测中的类别不平衡问题,提出基于注意力自编码器和相似性搜索的主动学习异常检测框架,形式化评估多种相似性度量,证明度量选择显著影响收敛、准确率与标签效率。
2025-08-26 cs.AI cs.LG cs.NE