A Formalization of the Turing Test
Evgeny Chutchev
本文给出了图灵测试的数学形式化。这种形式化使得有可能建立某些图灵机将通过图灵测试的条件和每个图灵机（或特殊类的每个图灵机）将不能通过图灵测试的条件。
The paper offers a mathematical formalization of the Turing test. This formalization makes it possible to establish the conditions under which some Turing machine will pass the Turing test and the conditions under which every Turing machine (or every Turing machine of the special class) will fail the Turing test.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
The Meta-Turing Test
我们提出了一种替代图灵测试，消除了图灵的原始模仿游戏中人类和机器之间固有的不对称性。在这个新的测试中，人类和机器都在互相评判。我们认为，这使得测试更强大的简单欺骗。我们还提出了少量的改进，以进一步提高测试。这些改进也可以应用于图灵的原始模仿游戏。
Turing Test for the Internet of Things
你的水壶有多智能？你的厨房、房子、邻居和互联网上的东西有多智能？随着物联网的出现，以及利用人工智能使设备“智能”的举动，一个自然的问题出现了，我们如何评估进展。评估AI的标准方法是通过图灵测试。图灵测试是为人工智能设计的，但它所针对的设备是计算机。将测试应用于构成物联网的各种设备带来了许多挑战，可以通过一些调整来解决。
Cultural Competence in Context: A Large Language Model Passes the Turing Test in Finland
本研究在芬兰用芬兰语进行图灵测试，发现大型语言模型ChatGPT 5.2意外通过，并提出模型生成角色提示作为可复制的比较测试方法，将图灵测试重新定义为检验AI在特定社会世界中成员身份可信度的工具。
Controlled Language and Baby Turing Test for General Conversational Intelligence
一般会话智能似乎是人工一般智能的重要组成部分。分别地，它需要智能质量的可访问的措施和其实现的可控方式，理想情况下-具有以合理的方式表示的语言和语义模型。我们的工作是建议使用婴儿图灵测试的方法来扩展经典的图灵测试会话智能和控制语言的基础上，语义图表示可扩展的任意主题域。我们描述了如何将两者结合起来构建一个通用的会话系统，例如用于在线媒体和社交网络数据处理的智能助手。
Turing Test Revisited: A Framework for an Alternative
本文的目的是质疑图灵测试的适用性，测试机器智能，在过去60年的科学，医学和心灵哲学的进步。虽然测试的主要概念似乎是合理有效的，但对通过测试所需内容的详细分析突出了一个重要的流程。一旦提出了测试的分析，就可以采用系统的方法来分析设计智能机器的测试或测试所需的内容。本文提出了一个合理的通用框架的基础上所隐含的主观感知的智力因素的类别。评价性讨论结束时，强调在这一通用框架内的一些未解决的问题的文件。
In Defense of the Turing Test and its Legacy
本文反驳了图灵测试的批评，强调其对人工智能发展历史的贡献。
Moving Beyond the Turing Test with the Allen AI Science Challenge
鉴于最近在人工智能方面的成功（例如，AlphaGo在围棋比赛中战胜李世石（Lee Sedol），评估人工智能系统与人类水平的智能有多接近变得越来越重要？本文描述了Allen AI科学挑战赛-实现这一目标的方法，这导致了一场独特的Kaggle竞赛，它的结果，吸取的教训，以及我们的下一步。
Turing Test 2.0: The General Intelligence Threshold
本文提出图灵测试2.0框架，通过设定通用智能阈值来检测是否达到人工通用智能。
Improvised Comedy as a Turing Test
最好的即兴戏剧演员可以使任何场景的合作伙伴，任何技能水平或能力，出现人才和精通的艺术形式，从而“使他们发光”。为了挑战这种即兴表演的模式，我们构建了一个人工智能（AI），它经过训练，可以与人类演员一起为人类观众表演现场节目。在30场演出的过程中，观众人数接近3000人，我们已经改进了戏剧游戏，其中包括人类和（有时是对抗性的）人工智能演员的组合。我们开发了特定的场景结构，以有趣的方式包括观众参与者。最后，我们开发了一个完整的演出结构，让观众接受图灵测试，观察他们的怀疑暂停，我们认为这是人类/非人类戏剧共同创作的关键。
Decision Aids for Adversarial Planning in Military Operations: Algorithms, Tools, and Turing-test-like Experimental Validation
使用智能决策辅助工具可以帮助减轻规划复杂操作的挑战。我们描述的集成算法，和一个工具，能够翻译成一个完整的详细的，可操作的计划，自动生产（或与人类的指导）计划与现实程度的细节和人性化的质量的战术军事行动的高层次的概念。几种算法的紧密交织--规划、对手估计、调度、路由、损耗和消耗估计--包括该工具的计算方法。虽然最初是为陆军大部队作战而开发的，但该技术是通用的，也适用于许多其他领域，特别是在需要在有限时间内进行详细规划的关键情况下。在本文中，我们特别关注的工程权衡工具的设计。在一项实验评估中，让人想起图灵测试，该工具的性能优于人类规划者。
Can Turing machine be curious about its Turing test results? Three informal lectures on physics of intelligence
好奇心的本质是什么？有没有科学的方法来理解这种神秘力量的起源，这种力量驱动着即使是最愚蠢的自然智能系统的行为，而在它们最聪明的人工模拟物中完全不存在？我们能不能建立一个对某些事情感到好奇的人工智能系统，一个有内在学习动机的系统？这种动机是否可以量化？是否可实施？我将从物理学的观点来讨论这个问题。物理和智力之间的关系是这样一个事实的结果，即正确预测的信息只不过是一种能量资源，思维过程可以被视为通过感知和决策行为积累和消耗这种资源的过程。任何自治系统的自然动机都是尽可能保持这种积累/支出平衡，这使得人们可以将描述思维过程动态的问题视为资源优化问题。在这里，我将提出并讨论这样一个自治系统的一个简单的理论模型，我称之为自治图灵机（ATM）。ATM的潜在吸引力在于，它是一种自我驱动的人工智能模型，唯一可用的能源就是信息本身。对于ATM来说，最佳思维、学习和决策的问题在概念上变得简单，在数学上也变得容易处理。这种情况使ATM成为研究智能行为动力学的理想场所，并允许人们量化真正智能的许多看似不可量化的特征。
Normality and the Turing Test
本文从正态性概念重新审视图灵测试，论证其本质是正常评判者对正常智能的统计测试，并指出ChatGPT等大语言模型因追求卓越表现而偏离图灵原始目标，应称为人工聪明而非人工智能。
Passed the Turing Test: Living in Turing Futures
该研究指出当前基于预训练模型、Transformer的生成式AI已能通过图灵测试，我们已进入图灵式未来，并对比了当前AI与图灵设想的受人类皮层启发、如孩童般养育的“儿童机器”的差异。
AI-Driven Agents with Prompts Designed for High Agreeableness Increase the Likelihood of Being Mistaken for a Human in the Turing Test
该研究通过图灵测试发现，基于大五人格设计的高宜人性GPT智能体混淆率超过60%，最易被误认为人类，表明人格工程对提升人机协作适应性具有重要意义。
Turing's Test, a Beautiful Thought Experiment
本文基于最新AI趋势背景，通过新档案证据对图灵1950年论文进行历史重构，解答其与早期AI关系的开放问题。
React to This (RTT): A Nonverbal Turing Test for Embodied AI
本文提出针对具身AI的非语言行为测试React to This（RTT），在感知与物理交互层面探讨“机器能反应吗”，以评估智能体在极限场景下的交互意识与可信度。
"Turing Tests" For An AI Scientist
本文提出AI科学家的“图灵测试”，通过七个基准测试评估AI智能体独立做出科学发现的能力，旨在推动自主科学发现研究。
A Turing Test: Are AI Chatbots Behaviorally Similar to Humans?
本研究对AI聊天机器人进行图灵测试，发现ChatGPT-4在经典博弈和大五人格测试中与人类行为统计上不可区分，且倾向于更利他合作，行为似最大化自身与伙伴收益的平均值。
People cannot distinguish GPT-4 from a human in a Turing test
本研究通过随机对照的预注册图灵测试发现，GPT-4被判定为人类的比例达54%，首次实证证明人工系统可通过双人交互式图灵测试，且风格与社会情感因素对通过测试的影响大于传统智能概念。
Does GPT-4 pass the Turing test?
研究评估GPT-4在公开图灵测试中的表现，发现其通过率为49.7%，虽优于ELIZA和GPT-3.5但低于人类基线，表明狭义智能不足以通过测试，且参与者可通过学习提升识别AI的能力。
A Rigorous Turing Test: a Foundation for Evaluating Artificial General Intelligence
该研究严格遵循图灵原始规则开展图灵测试，发现仅1名参与者误识别大型语言模型，表明其通过图灵测试的说法尚不成熟，图灵测试仍将是评估机器智能的核心手段。
Turing Test and the Practice of Law: The Role of Autonomous Levels of AI Legal Reasoning
人工智能（AI）越来越多地应用于法律和无数的法律任务，试图加强AI法律推理（AILR）的自主能力。一个主要的问题是，我们如何知道AILR何时获得了自主能力，这一问题一直没有得到解决。人工智能领域一直在努力解决如何评估人工通用智能（AGI）实现的类似困境，这是自人工智能诞生以来学者们一直在讨论的问题，图灵测试被普遍认为是确定这些问题的领头羊。本文提出了图灵测试的一个变体，该变体是为AILR领域的特定用途定制的，包括描述如何在AI法律推理的自治级别上稳健地应用这一著名的AI实现黄金标准。
Faith in the Algorithm, Part 1: Beyond the Turing Test
自从图灵测试在1950年首次由艾伦·图灵提出以来，人工智能的主要目标就建立在计算机模仿人类行为的能力上。然而，计算机的大多数用途可以说是超出了人类能力的范围，而正是在这个领域之外，计算机已经证明了它们对智能的最大贡献。人工智能的另一个目标不是基于人类的模仿，而是基于人类的放大。本文调查了有助于人类和社会智能进步的各种系统。
X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents
本文提出X-Turing测试，通过突发对话模式和伪对话历史迭代生成机制减少人类参与，并引入X-Turn通过率指标评估LLMs在长期对话中的类人程度，发现GPT-4等模型随对话轮次增加难以保持一致性。
Self-recognition in conversational agents
在标准的图灵测试中，机器必须向法官证明它的人性。通过成功地模仿人类这样的思考实体，这台机器证明了它也可以思考。一些反对意见认为图灵测试不是证明一般智力或思维活动存在的工具。另一个令人信服的选择是Lovelace测试，在该测试中，代理人必须创建一个代理人的创建者无法解释的产品。因此，代理人必须是原始产品的所有者。然而，要做到这一点，代理人必须表现出自我的观念，并将自己与他人区分开来。如果法官决定充当文本的镜子，那么在图灵测试中维持自我的想法仍然是可能的。通过镜子对动物进行的自我识别测试似乎是证明一种一般智力存在的可行工具。这里的方法论构建了一个文本版本的镜像测试，将代理人作为唯一的判断者，以无监督的方式判断所接触的人是另一个人，模仿者还是自己。这个文本版本的镜子测试是客观的，自我封闭的，缺乏人性。任何通过这个文本镜像测试的智能体都应该拥有或能够获得一种被称为内在声音的思维机制，回答图灵最初和长期存在的问题“机器能思考吗？“以一种建设性的方式仍然在图灵测试的范围内。此外，一个成功的自我认知可能会为人工生命更强的自我意识铺平道路。
Learning, Social Intelligence and the Turing Test - why an "out-of-the-box" Turing Machine will not pass the Turing Test
图灵测试（TT）检查人类的智力，而不是任何假定的一般智力。它涉及重复的互动，需要以适应人类对话伙伴的形式进行学习。它是一个宏观层次的事后测试，与图灵机（TM）的定义相反，这是一个先前的微观层次的定义。这就提出了一个问题，学习是否只是另一个计算过程，即可以实现为TM。在这里，我们认为，学习或适应是从根本上不同于计算，虽然它确实涉及的过程，可以被视为计算。为了说明这种差异，我们比较了（a）设计TM和（b）学习TM，并为论证的目的定义它们。我们表明，存在一系列定义明确的问题，这些问题无法有效设计，但可以学习，其形式为有界停机问题。本文综述了人类智能的一些特征，包括：交互性、学习能力、模仿倾向、语言能力和语境依赖性。一个解释这些问题的故事是社会智力假说。如果这是大致正确的，这表明如果一个人工智能要通过TT，就需要相当长的一段时间的文化适应（在上下文中的社会学习）。虽然总是可以将学习的结果“编译”成TM，但这不是设计的TM，并且不能持续适应（通过未来的TT）。我们得出三个结论，即：一个纯粹的“设计”TM永远不会通过TT;没有这样的事情作为一个一般的智能，因为它需要涉及学习;学习/适应和计算应该明确区分。
Variations of the Turing Test in the Age of Internet and Virtual Reality
受Hofstadter的Coffee-House Conversation（1982）和Schattschneider的科幻短篇小说SAM（1988）的启发，我们提出并讨论了非机械智能的标准。首先，我们强调的实际需要，这样的测试在大型多用户在线角色扮演游戏（MMORPG）和虚拟现实系统，如第二人生。其次，我们展示了Second Life作为实现（一些迭代）该测试的有用框架。
ChatGPT-4 and other LLMs in the Turing Test: A Critical Analysis
本文批判性分析了ChatGPT-4在图灵测试中的表现，指出两种测试格式的有效性，并提出了更细致的评估框架。
Dual Turing Test: A Framework for Detecting and Mitigating Undetectable AI
本文提出双重图灵测试框架，将人类识别AI的任务形式化为带质量约束的极小极大博弈，并映射到RL-HF对齐流程中，用不可检测性检测器与质量代理共同抑制隐蔽AI输出。
Generalizing the Turing Test to Interactive Agents
本文提出通用图灵测试框架，通过不可区分性比较任意智能体的能力，研究其性质并实证分析现代模型的智能层次。
A Turing test for free will
在艾伦·图灵对计算理论做出重要贡献之前，他研究了量子力学是否能揭示自由意志的本质。本文探讨了量子力学和计算在自由意志中的作用。虽然量子力学暗示事件本质上是不可预测的，但量子力学的“纯随机性”只给决策过程增加了随机性，而不是自由。相比之下，计算理论意味着，即使我们的决定来自一个完全确定的决策过程，这个过程的结果也可能是内在不可预测的，甚至对我们自己来说，尤其是对我们自己。我认为，这种内在的计算决策过程的不可预测性是什么引起了我们的印象，我们拥有自由意志。最后，我提出了一个自由意志的“图灵测试”：通过这个测试的决策者将倾向于相信他，她或它拥有自由意志，无论世界是否是决定性的。
Conversation Games and a Strategic View of the Turing Test
本文提出基于语言策略交互的多阶段扩展型“对话博弈”及其子集“裁决博弈”，证明图灵测试是其特例，并通过模拟实验表明策略型智能体显著优于朴素型智能体。
A Distributed Extension of the Turing Machine
图灵机有两个隐含的属性，这取决于它的基本计算概念：格式是完全确定的，计算是信息保持的。分布式表示缺乏这些属性，并且不能被图灵的标准模型完全捕获。为了解决这个问题，本文介绍了一个分布式扩展的图灵机。在扩展机中，函数和抽象被扩展地表示，计算是熵的。本机适用于定义一个联想存储器，用其对应的存储器寄存器进行识别和检索操作。对该存储器进行了手写数字存储和识别实验，结果令人满意。这个实验可以被看作是一个概念的证明，即信息可以使用符号但不完全确定的格式以高度分布式的方式有效地存储和处理。这台新机器增强了符号计算模式，对丘奇命题的理解产生了影响。本文最后讨论了扩展机对人工智能和认知的一些影响。
Hard to Cheat: A Turing Test based on Answering Questions about Images
机器在语言和图像理解方面的进步激发了研究界对更开放、更全面的任务的兴趣，并为构建智能机器的旧AI梦想注入了动力。我们讨论了一些突出的挑战，这种整体的任务，并认为“问答图像”作为一个特别有吸引力的例子，这样一个整体的任务。特别是，我们指出，这是一个版本的图灵测试，可能是更强大的过度解释，并将其与接地和生成描述等任务进行对比。最后，我们讨论了衡量该领域进展的工具。
Human or Machine? A Preliminary Turing Test for Speech-to-Speech Interaction
本文首次对语音到语音系统进行图灵测试，发现现有系统在类人特性上存在显著差距，提出细粒度分类法和可解释模型以提升对话AI的类人能力。
Not Cheating on the Turing Test: Towards Grounded Language Learning in Artificial Intelligence
最近围绕语言处理模型日益复杂的炒作重新燃起了对机器实现类似人类的自然语言命令的乐观情绪。人工智能中的自然语言理解（NLU）领域的研究声称在这一领域取得了长足的进步，然而，在这个和其他学科中如何使用"理解"方面缺乏概念上的清晰性/一致性，使得很难辨别我们实际上有多接近。在这篇跨学科的研究论文中，我整合了认知科学/心理学，心灵哲学和认知语言学的见解，并对NLU当前方法进行了批判性审查，以探索开发具有人类语言使用和理解能力的人工智能系统的基本要求和剩余挑战。
Navigation Turing Test (NTT): Learning to Evaluate Human-Like Navigation
在开发学习复杂的类人行为的智能体的道路上，一个关键的挑战是需要快速准确地量化类人行为。虽然人类对这种行为的评估可以非常准确，但速度和可扩展性有限。我们通过一种新的自动导航图灵测试（ANTT）来解决这些限制，该测试学习预测人类对人类相似性的判断。我们证明了我们的自动NTT在复杂的3D环境中的导航任务的有效性。我们研究了六种分类模型，以揭示最适合这项任务的架构类型，并根据通过人类NTT收集的数据对其进行验证。我们最好的模型在区分真正的人类和代理行为时具有很高的准确性。与此同时，我们表明，预测更细粒度的人类评估的代理人的进展向人类一样的行为仍然没有解决。我们的工作朝着更有效地学习复杂的类人行为的智能体迈出了重要的一步。
The Turing Deception
这项研究重新审视了经典的图灵测试，并比较了最近的大语言模型，如ChatGPT，因为它们能够再现人类水平的理解和令人信服的文本生成。两个任务挑战--总结和问答--促使ChatGPT从单个文本条目和最初由图灵在1950年提出的顺序问题中产生原创内容（98-99%）。我们根据2019年的OpenAI GPT-2输出检测器对原始和生成的内容进行评分，并建立了多个案例，其中生成的内容证明是原始的和不可检测的（98%）。机器愚弄人类法官的问题在本书中相对于“人们如何证明它？“这项工作的原始贡献提供了一个度量和简单的语法集，用于理解聊天机器人的写作机制，以评估其可读性和统计清晰度，参与度，交付和整体质量。虽然图灵的原始散文得分至少比机器生成的输出低14%，但算法是否显示了图灵真正原创思想的暗示（“Lovelace 2.0”测试）仍然没有答案，目前可能无法回答。
A Turing Test for Transparency
可解释人工智能（XAI）的核心目标是改善人与AI交互中的信任关系。透明人工智能系统研究的一个假设是，解释有助于更好地评估机器学习（ML）模型的预测，例如使人类能够更有效地识别错误的预测。然而，最近的经验证据表明，解释可能会产生相反的效果：当对ML预测进行解释时，人类往往倾向于相信ML预测，即使这些预测是错误的。实验证据表明，这种效应可以归因于人工智能或解释的直观性或人性化程度。这种效应挑战了XAI的目标，并意味着透明AI方法的负责任使用必须考虑人类区分机器生成和人类解释的能力。在这里，我们提出了一个定量度量XAI方法的基础上图灵的模仿游戏，图灵测试的透明度。一个人的大脑被要求判断一个解释是由人还是由XAI方法生成的。在这个二进制分类任务中，不能被人类检测到的XAI方法的解释通过了测试。检测这些解释是评估和校准人与AI交互中信任关系的必要条件。我们展示了一个众包文本分类任务的实验结果，表明即使对于基本的ML模型和XAI方法，大多数参与者也无法区分人类和机器生成的解释。我们讨论了我们的研究结果对透明ML应用的伦理和实际影响。
Turing Test on Screen: A Benchmark for Mobile GUI Agent Humanization
本文提出屏幕上的图灵测试基准，通过建模检测器与代理的MinMax优化问题，评估代理在人类中心生态系统中的生存能力，并提出人化基准和检测指标，展示代理在不牺牲性能的前提下实现高模仿性。
A Restricted Visual Turing Test for Deep Scene and Event Understanding
本文提出了一种限制性视觉图灵测试（VTT）的故事线为基础的深入理解，在长期和多摄像机捕获的视频。给定一组场景的视频（例如多房间办公室，花园和停车场）。以及基于故事情节的查询序列，任务是简单地以二进制形式“真/假”（对极性查询）或以准确的自然语言描述（对非极性查询）提供答案。极性或非极性的查询由基于视图的查询和以场景为中心的查询组成，基于视图的查询可以从特定的相机视图和以场景为中心的查询中得到回答，以场景为中心的查询涉及跨不同相机的联合推理。故事线被收集以涵盖对输入视频的空间、时间和因果理解。这些数据和查询将我们的VTT与最近提出的图像和视频描述中的视觉问答区分开来。提出了一个视觉系统，它集成了不同的视觉模块，知识库和查询引擎，执行联合视频和查询解析。该系统为不同的模块提供了统一的接口，以便可以重新配置各个模块来测试新方法。我们提供了一个基准数据集和一个工具包，用于本体引导的故事线查询生成，其中包括在四个不同位置捕获的约93.5小时的视频和3，426个查询，分为127个故事线。我们还提供了基线实施和结果分析。
Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment
本文区分偏好对齐与行为对齐，证明偏好对齐可能降低模型的人类相似性，形成图灵测试差距，并提出人类相似性应作为独立对齐维度。
Brain-Model Evaluations Need the NeuroAI Turing Test
本文提出 NeuroAI 图灵测试，要求模型不仅行为上，还需在内部神经表示上与大脑不可区分，为脑启发 AI 提供可测试基准。
Human or Not? A Gamified Approach to the Turing Test
本文介绍了一款名为“Human or Not?”的在线图灵测试游戏，通过150万用户的匿名对话实验发现，人类识别AI的正确率仅为60%，揭示了人类与AI日益交融的趋势。
The Label Imitation Game: Turing Test Network for Zero-Shot Pseudo-Label Pruning
提出图灵测试网络（TTN）作为任务无关的“裁判”，通过对抗性交互在数据集上下文中评估伪标签，无需监督或重训练即可提升标签准确性，并实现零样本任务迁移。
A newborn embodied Turing test for view-invariant object recognition
该研究提出“新生体化图灵测试”方法，通过让新生雏鸡与深度强化学习机器在相同虚拟环境中成长测试，发现机器虽能产生类印刻偏好行为，但视角不变物体识别能力远弱于雏鸡，为开发类动物学习的体化AI提供了新实验框架。
Bypassing Captcha By Machine A Proof For Passing The Turing Test
在过去的十年里，CAPTCHA被网站广泛使用，以防止其数据被机器自动更新。通过只允许人类这样做，CAPTCHA利用了反向图灵测试（TT），知道人类比机器更聪明。一般来说，CAPTCHA已经击败了机器，但随着技术的进步，情况正在迅速变化。因此，对光学字符识别（OCR）的高级研究正在超越加强CAPTCHA以对抗基于机器的攻击的尝试。本文研究了建立在TT失败基础上的CAPTCHA的免疫性。我们表明，一些CAPTCHA很容易打破使用一个简单的OCR机建立本研究的目的。通过回顾其他技术，我们表明，更困难的验证码可以打破使用先进的OCR机器。目前OCR的进步应该使机器能够在图像识别领域通过TT，这正是机器正在寻求克服CAPTCHA的地方。我们通过在同一个CAPTCHA中不仅使用字符，而且使用自然语言和多个对象来增强传统的CAPTCHA。提议的验证码可能能够抵御机器，至少在完全通过TT的机器出现之前是这样。
A Statistical Turing Test for Generative Models
本文提出一个基于统计模式识别的框架，用于量化人类与机器生成内容分布的差异，并利用该框架评估生成模型向类人能力发展的进展。
Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap
本文通过大规模图灵测试（涉及636名人类、37个AI及72,191次测试）系统评估AI在语言和视觉任务中模仿人类的能力，发现AI正逼近人类水平，且模仿能力是独立于传统性能的重要评估维度。
The Moral Turing Test: Evaluating Human-LLM Alignment in Moral Decision-Making
该研究通过构建道德情境回应语料库和230人用户研究，发现人类与LLM道德评估存在不一致，LLM对个人框架更敏感，且人类虽偏好LLM评估但存在系统性反AI偏见，揭示了道德决策中人类-AI感知的复杂性。
Towards an Automatic Turing Test: Learning to Evaluate Dialogue Responses
自动评估非结构化领域的对话响应的质量是一个具有挑战性的问题。不幸的是，现有的自动评估指标是有偏见的，相关性非常差，与人类的反应质量的判断。然而，拥有一个准确的自动评估程序对对话研究至关重要，因为它允许快速原型设计和测试新模型，减少昂贵的人工评估。为了应对这一挑战，我们制定了自动对话评估作为一个学习问题。我们提出了一个评估模型（ADEM），学习预测人类的分数输入响应，使用一个新的数据集的人的反应分数。我们发现，ADEM模型的预测相关性显着，并在一个比词的重叠指标，如BLEU，与人类的判断，在话语和系统级的水平高得多。我们还表明，ADEM可以推广到评估在训练过程中看不见的对话模型，自动对话评估的重要一步。
How to Fool Radiologists with Generative Adversarial Networks? A Visual Turing Test for Lung Cancer Diagnosis
区分肺结节是恶性还是良性仍然是一个潜在的挑战。为了应对这一挑战，放射科医生需要计算机辅助诊断（CAD）系统，其可以帮助学习对应于恶性和良性结节的区别性成像特征。然而，学习高度区分的成像特征是一个开放的问题。在本文中，我们的目标是通过使用对抗学习方法来学习与肺结节有关的最具鉴别力的特征。具体来说，我们建议使用深度卷积-生成对抗网络（DC-GAN）的无监督学习来真实地生成肺结节样本。我们假设肺结节的影像学特征将是有区别的，如果它是很难区分他们（假）从真正的（真）结节。为了验证这一假设，我们提出了视觉图灵测试，以两个放射科医生，以评估所产生的（假）结节的质量。在辨别真实的、生成的、良性的和恶性的结节方面进行了广泛的比较。该实验设置使我们能够验证生成的结节的整体质量，然后可以用于（1）通过挖掘高度区分的成像特征来改善诊断决策，（2）出于教育目的训练放射科医生，以及（3）生成逼真的样本以使用大数据训练深度网络。
The Human-or-Machine Matter: Turing-Inspired Reflections on an Everyday Issue
本文受图灵测试启发，探讨日常互动中“人还是机器”的问题，反思其重要性与实际意义，并主张近期探索该问题有助于改进计算机化系统开发方法及理解人类行为基本特征。
A design of human-like robust AI machines in object identification
本文是从图灵（A. M. Turing，1912年6月23日-1954年6月7日）在1950年提出的图灵测试研究中得到的启发而撰写的。根据图灵测试的一个重要含义，使机器具有类似人类的行为或性能，我们为AI机器定义了类似人类的鲁棒性（robustness，简称robustness）。新定义的目标是强制AI机器执行可扩展性，包括根据可扩展性来评估它们。一个特定的任务只讨论对象识别，因为它是每个人在日常生活中最常见的任务。与图灵的观点或设计立场类似，我们提供了一个解决方案，即如何在不构建机器和进行真实实验的情况下实现人工智能机器。解决方案应包括机器的三个重要特征。推理机的第一个特点是利用人类的常识来实现因果推理。第二个特征是从语义空间做出决策，以便对决策进行解释。第三个特点是包括一个“人在回路”的设置，以推进机器人。我们展示了一个“识别游戏”，使用建议的设计的机器。本文试图从图灵测试中学习和进一步探索类人AI机器的设计。
Audio Turing Test: Benchmarking the Human-likeness of Large Language Model-based Text-to-Speech Systems in Chinese
针对现有中文TTS评估方法的缺陷，研究提出多维度的Audio Turing Test评估框架及语料库，还微调得到自动评估工具Auto-ATT，经实验验证二者评估效果可靠。
Wow, wo, val! A Comprehensive Embodied World Model Evaluation Turing Test
本文提出Wow-wo-val基准测试，评估视频基础模型在具身人工智能中的生成能力，发现其在长期规划和物理一致性上表现有限，揭示了现实世界与生成视频之间的差距。
First Draft on the xInf Model for Universal Physical Computation and Reverse Engineering of Natural Intelligence
图灵机是理论上的通用计算机器。图灵机能否模拟物质世界中的意识行为一直是一个争论不休的问题。简而言之，这种争论产生了三种不同的假设：（A）可以;（B）不能;（C）超级图灵机可以。由于图灵机或其他类型的理论计算模型是抽象的对象，而行为是真实的可观察对象，因此这场辩论至少涉及三个不同的科学和技术领域：物理学，计算机工程和实验神经科学。然而，在这些不同领域使用的语言是高度异构的，不容易相互解释，使得很难就这一争论达成部分协议，因此，本手稿的主要目标是建立一个适当的语言，可以在这些不同的领域之间进行翻译。首先，我提出了一个理论模型，用于分析理论计算机器如何在物理时间内物理运行。这个模型被称为xInf，在理论上首先是图灵完备的，并且根据物理时间的性质，它可以是物理宇宙中的图灵等价或超图灵。xInf模型被证明是一种合适的通用语言，可以在物理学、计算机工程和神经科学之间进行翻译。最后，我提出了一个猜想，在xInf模型中存在一个最小完备规则集，它使得能够使用无机材料构建物理机器，这些材料可以在物理时间内通过图灵测试。我无法证明这样一个猜想是否可以用有限阶逻辑在纸上证明或证伪，我唯一的解决方案是物理时间本身，也就是说，进化竞争最终会得出结论。
Moravec's Paradox: Towards an Auditory Turing Test
本研究受莫拉维克悖论启发提出含917项挑战的听觉图灵测试，发现顶尖音频模型失败率超93%，远低于人类表现，暴露了AI听觉场景处理缺陷，建立了类人机器听觉进展的诊断框架。
Attributions toward Artificial Agents in a modified Moral Turing Test
本研究通过改进版道德图灵测试发现，GPT-4生成的道德评价被认为质量优于人类，但人们仍能区分其来源，提示需为生成式语言模型的道德应用设置安全保障。
The next question after Turing's question: Introducing the Grow-AI test
本文提出 GROW-AI 测试框架，以“机器能否成长”为核心问题，通过六项标准、四类竞技场和统一 AI Journal 记录，综合评估人工智能实体从性能到成熟演化路径的成长水平。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。