Human vs. supervised machine learning: Who learns patterns faster?
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
监督机器学习(SML)的能力,特别是与人类能力相比,正在科学研究和SML的使用中进行讨论。这项研究提供了一个答案,当训练数据有限时,人类和机器之间的学习性能如何不同。我们设计了一个实验,在这个实验中,44名人类和三种不同的机器学习算法识别标记的训练数据中的模式,并根据他们找到的模式标记实例。结果表明,性能和任务的基本模式之间的高度依赖性。虽然人类在所有模式中的表现相对相似,但在我们的实验中,机器在各种模式中表现出很大的性能差异。在实验中看到20个例子后,人类的表现不再改善,我们将其与认知过载理论联系起来。机器学习速度较慢,但可以达到相同的水平,甚至可能在4种使用模式中的2种中超过人类。然而,与人类相比,机器需要更多的实例才能获得相同的结果。由于组合输入特征的困难,机器的性能对于其他2种模式来说要低得多。
2020-11-30 cs.AI cs.LG
Proceedings of the 2017 ICML Workshop on Human Interpretability in Machine Learning (WHI 2017)
这是2017年ICML机器学习中人类可解释性研讨会(WHI 2017)的会议记录,该研讨会于2017年8月10日在澳大利亚悉尼举行。受邀演讲者是Tony Jebara、Pang Wei Koh和David Sontag。
2017-08-08 cs.LG stat.ML
Proceedings of the 2016 ICML Workshop on Human Interpretability in Machine Learning (WHI 2016)
这是2016年ICML机器学习中人类可解释性研讨会(WHI 2016)的会议记录,该研讨会于2016年6月23日在纽约举行。受邀演讲者有Susan Athey、Rich Caruana、Jacob Feldman、Percy Liang和Hanna Wallach。
2016-07-27 cs.LG stat.ML
Investigating Human + Machine Complementarity for Recidivism Predictions
Cornell University(康奈尔大学);MIT(麻省理工学院);Microsoft Research(微软研究院)
在评估公平性领域的风险时,人类输入什么时候会有帮助(或没有帮助)?Dressel和Farid(2018)要求土耳其机械工人评估ProPublica COMPAS数据中的一部分被告的累犯风险,并得出结论,COMPAS的预测并不比人类的预测更准确或公平。我们深入研究了这一主张,以探索人类和算法决策的差异。我们构建了一个人的风险分数的基础上作出的预测,由多个土耳其工人,确定COMPAS和人类得分之间的协议和分歧的特征,并构建混合人机模型来预测累犯。我们的关键发现是,在这个数据集上,人类和COMPAS的决策是不同的,但不是以可以用来显著提高地面实况预测的方式。我们提供了分析结果和数据汇集最佳实践建议,以利用人类和机器在公平领域的互补优势。
2018-12-03 cs.AI cs.CY cs.LG
Distinguishing Learning Rules with Brain Machine Interfaces
Center for Theoretical Neuroscience(理论神经科学中心);Columbia University(哥伦比亚大学);Institute of Neuroscience(神经科学研究所);University of Oregon(俄勒冈大学)
尽管对生物学上合理的学习规则进行了大量的理论研究,但很难获得关于这些规则是否以及如何在大脑中实施的明确证据。我们考虑生物学上合理的监督学习和重复学习规则,并询问学习过程中网络活动的变化是否可以用来确定使用哪种学习规则。监督学习需要一个信用分配模型来估计从神经活动到行为的映射,并且在生物有机体中,该模型将不可避免地是理想映射的不完美近似,导致权重更新方向相对于真实梯度的偏差。另一方面,强化学习不需要信用分配模型,并且倾向于按照真实梯度方向进行权重更新。我们通过观察学习过程中网络活动的变化来获得一个度量来区分学习规则,因为实验者知道从大脑到行为的映射。由于脑机接口(BMI)实验允许精确了解这种映射,我们使用递归神经网络对光标控制BMI任务进行建模,表明学习规则可以在模拟实验中仅使用神经科学实验者可以访问的观察结果进行区分。
2022-10-16 cs.AI cs.LG cs.NE
Can Self-Supervised Neural Representations Pre-Trained on Human Speech distinguish Animal Callers?
Idiap Research Institute(伊迪亚普研究所);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文研究人类语音预训练的自监督神经表示向生物声学的跨领域迁移,使用 11 个 SSL 模型在狨猴发声上完成发声者辨别与检测,证明无需微调即可识别个体身份。
2023-06-08 cs.LG cs.SD eess.AS
A design of human-like robust AI machines in object identification
Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文是从图灵(A. M. Turing,1912年6月23日-1954年6月7日)在1950年提出的图灵测试研究中得到的启发而撰写的。根据图灵测试的一个重要含义,使机器具有类似人类的行为或性能,我们为AI机器定义了类似人类的鲁棒性(robustness,简称robustness)。新定义的目标是强制AI机器执行可扩展性,包括根据可扩展性来评估它们。一个特定的任务只讨论对象识别,因为它是每个人在日常生活中最常见的任务。与图灵的观点或设计立场类似,我们提供了一个解决方案,即如何在不构建机器和进行真实实验的情况下实现人工智能机器。解决方案应包括机器的三个重要特征。推理机的第一个特点是利用人类的常识来实现因果推理。第二个特征是从语义空间做出决策,以便对决策进行解释。第三个特点是包括一个“人在回路”的设置,以推进机器人。我们展示了一个“识别游戏”,使用建议的设计的机器。本文试图从图灵测试中学习和进一步探索类人AI机器的设计。
2021-01-07 cs.AI cs.LG
Beneficial and Harmful Explanatory Machine Learning
Imperial College London(帝国理工学院);University of Bamberg(班贝格大学)
鉴于最近深度学习在人工智能领域的成功,人们对机器学习理论的作用和解释的需求越来越感兴趣。在这种情况下,一个独特的概念是Michie对超强机器学习(USML)的定义。USML被证明是一个可测量的增加人类的任务性能后,提供给人类的符号机器学习理论的任务性能。最近的一篇论文证明了机器学习逻辑理论对分类任务的有益影响,但据我们所知,还没有现有的工作研究了机器在学习过程中参与人类理解的潜在危害。本文研究了机器学习理论在简单的两人游戏中的解释效果,并提出了一个基于认知科学文献的机器解释有害性识别框架。该方法涉及由两个可量化的界限组成的认知窗口,并得到了从人体试验中收集的经验证据的支持。我们的定量和定性结果表明,人类学习的符号机器学习理论,满足认知窗口的帮助下,取得了显着高于人类自我学习的性能。结果还表明,人类学习的符号机器学习理论,未能满足这一窗口的帮助下,导致显着较差的性能比独立的人类学习。
2021-02-25 cs.AI cs.LG
Learning to Complement Humans
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Microsoft Research(微软研究院)
在开放世界中,人工智能的一个新兴愿景是开发能够补充人类感知、诊断和推理任务的系统。到目前为止,旨在补充人们技能的系统已经采用了经过培训的模型,以便在孤立的情况下尽可能准确。我们展示了如何利用端到端的学习策略,通过考虑人和机器的不同能力来优化人机团队的综合性能。我们的目标是将机器学习集中在对人类来说很难的问题实例上,同时识别对机器来说很难的实例并寻求人类对它们的输入。我们在两个现实世界的领域(科学发现和医疗诊断)中证明,通过这些方法建立的人机团队的表现优于机器和人的个人表现。然后我们分析了这种互补性最强的条件,以及哪些训练方法放大了它。总之,我们的工作首次系统地研究了如何训练机器学习系统来补充人类推理。
2020-05-01 cs.AI cs.LG
Learning Representations by Humans, for Humans
Harvard University(哈佛大学);Technion - Israel Institute of Technology(以色列理工学院)
当机器预测器可以实现比他们支持的人类决策者更高的性能时,提高人类决策者的性能往往与提高机器准确性混为一谈。在这里,我们提出了一个直接支持人类决策的框架,在这个框架中,机器的作用是重新定义问题,而不是通过预测来规定行动。受表示学习在提高机器预测器性能方面的成功启发,我们的框架学习了针对人类性能优化的面向人类的表示。这种“与机器组成的思维”框架将人类决策模型直接纳入表示学习范式,并使用新颖的人在回路训练程序进行训练。我们经验性地证明了该框架在各种任务和表示形式中的成功应用。
2021-09-15 cs.HC cs.LG stat.ML
Distinguishing Human Generated Text From ChatGPT Generated Text Using Machine Learning
United International University (UIU)(联合国际大学(UIU));University of Asia Pacific (UAP)(亚太大学(UAP))
本文提出基于机器学习的 ChatGPT 生成文本检测方法,在含 10,000 条文本的 Kaggle 数据集上比较 11 种算法,并在 GPT-3.5 语料上达到 77% 准确率。
2023-05-26 cs.AI cs.CL cs.LG
Extreme Image Transformations Affect Humans and Machines Differently
Northeastern University(东北大学)
本文提出一组受神经生理学启发的新型图像变换,通过对比人类与人工神经网络在物体识别任务上的表现,揭示二者对极端图像失真的敏感性差异,并探讨如何借鉴人类视觉特性提升机器在困难变换下的性能。
2023-04-11 cs.AI cs.CV cs.LG
Human-AI Interaction Design in Machine Teaching
Georgia Institute of Technology(佐治亚理工学院)
机器教学(MT)是一个交互过程,其中人类和机器交互,目的是为指定任务训练机器学习模型(ML)。人类教师交流他们的任务专业知识,机器学生收集所需的数据和知识来生成ML模型。机器翻译系统的开发,以共同减少教学时间和学习者的出错率。机器翻译系统中人机交互的设计不仅影响教学效率,而且通过影响教学质量间接影响机器翻译的性能。在本文中,我们建立在我们以前的工作,我们提出了一个MT框架,有三个组成部分,即,教学界面、机器学习器和知识库,并重点讨论了实现教学界面所涉及的人机交互设计。我们概述了从ML任务开始开发MT系统时需要解决的设计决策。本文遵循苏格拉底的方法,需要一个好奇的学生和一个明智的老师之间的对话。
2022-06-10 cs.AI cs.HC cs.LG
Using Machine Learning to Distinguish Human-written from Machine-generated Creative Fiction
Lumerate(卢默拉特公司);School of Computing, Engineering & the Built Environment, Edinburgh Napier University(爱丁堡龙比亚大学计算、工程与建造环境学院)
本研究训练机器学习分类器区分人类与AI生成的创意小说,Naive Bayes和Multi-Layer Perceptron在短文本上准确率超95%,显著优于人类,并部署了概念验证工具以保护作者权益。
2024-12-15 cs.CL cs.LG
Aligning Human and Machine Attention for Enhanced Supervised Learning
本文提出 HuMAL 方法,利用人类自我感知注意力标注数据增强监督学习,并在情感分析和人格分类任务中显著提升 BERT、GPT-2 与 XLNET 在稀疏或不平衡标签条件下的性能。
2025-02-19 cs.AI cs.CL cs.LG
Modeling and Optimization of Human-machine Interaction Processes via the Maximum Entropy Principle
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Electrical and Computer Engineering(电气与计算机工程系)
我们提出了一个数据驱动的框架,使人机交互过程的建模和优化,例如,旨在帮助人类进行决策或学习、工作量分配和交互式广告的系统。这是一个具有挑战性的问题,原因有几个。首先,人类的行为很难建模或推断,因为它可能反映了偏见、长期记忆和对测序的敏感性,即,瞬时性和交互长度的指数复杂性。其次,由于这些过程的交互性质,用于与人类互动的机器策略可能会偏向可能的数据驱动推理。最后,在选择优化交互奖励的机器策略时,一方面,必须避免对估计的人类模型中的错误/可变性过度敏感,另一方面,过度确定性/可预测性可能导致交互中的人类“参与”不佳。为了应对这些挑战,我们提出了一种鲁棒的方法,基于最大熵原理,迭代估计人类行为和优化机器策略-交替熵-奖励上升(AREA)算法。我们刻画了AREA的空间和时间复杂度以及收敛性。我们还提供了一个初步的验证的基础上所产生的合成数据的一个已建立的嘈杂的非线性模型的人的决策。
2019-03-17 cs.AI cs.HC cs.LG
Human-Like Active Learning: Machines Simulating the Human Learning Process
Seoul National University(首尔大学)
虽然使用主动学习来提高学习者的参与度最近已经以各种方法引入,但缺乏实证实验。在本研究中,我们试图将两个实验结合起来,以便(1)对机器做出假设,(2)从经验上证实主动学习对学习的影响。在实验1中,我们比较了被动学习和主动学习的效果。结果表明,主动学习比被动学习有更好的学习效果。在基于人工结果的机器实验中,我们模仿人类的主动学习作为知识蒸馏的一种形式。主动学习框架比被动学习框架表现更好。最后,通过仿真实验证明了不仅可以通过人体实验的结果来构建更好的机器训练框架,还可以通过模拟机器实验来实证验证人体实验的结果;类人主动学习对学习性能有着至关重要的影响。
2020-11-07 cs.LG
Diptychs of human and machine perceptions
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL(巴黎文理研究大学);Human-Machine Art(人机艺术);Zuse Institute, Berlin(柏林祖斯研究所)
我们提出了视觉创作,把算法和人类\emph{perceptions}的差异的角度来看。我们利用神经网络的显着性图和人类的视觉焦点来创建双连画,这是根据机器和人类的注意力对原始图像的重新解释。利用这些双连图作为感知的定性评价,我们讨论了当前\textit{task-oriented}人工智能的一些关键问题。
2020-10-12 cs.AI cs.CV cs.GR
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland(马里兰大学);Microsoft Research, New York(微软研究院纽约分院)
机器翻译是基于人类反馈的强化学习的自然候选问题:用户对候选翻译提供快速、肮脏的评级,以指导系统进行改进。然而,目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法,它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法(Mnih等人,2016)与基于注意力的神经编码器-解码器架构(Luong等人,2015年)。该算法(a)针对具有大动作空间和延迟奖励的问题进行了良好的设计,(b)有效地优化了传统的语料库级别的机器翻译度量,以及(c)对在实际人类行为之后建模的倾斜,高方差,粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Applications of Machine Learning Methods to Quantifying Phenotypic Traits that Distinguish the Wild Type from the Mutant Arabidopsis Thaliana Seedlings during Root Gravitropism
后基因组研究涉及在筛选生物体基因组的特定功能或成为基因工程的目标以获得所需生物特征的潜力方面的挑战性问题。野生型和突变体的“表型分析”是许多个体耗时且昂贵的努力。本文是一个初步的进展报告,在研究影响植物生长和发育的植物基因-蛋白质网络所需的表型步骤(成像,信息学和数据分析)的大规模自动化研究。我们的研究结果破坏了植物根系对环境条件突然变化的动态响应模式中隐含的表型性状的意义,例如根尖对重力矢量的突然重新定向。除了常见的形态学特征之外,还包括动态特征,这在设计鲁棒且准确的机器学习方法以自动化典型的表型分型场景(即,区分野生型与突变体)方面得到了回报。
2010-08-31 cs.CE cs.LG q-bio.GN
Learned human-agent decision-making, communication and joint action in a virtual reality environment
DeepMind;University of Alberta(阿尔伯塔大学)
人类做出决定,并与其他人一起行动,以追求短期和长期目标。由于计算科学和自动化等领域的不断进步,人类现在也与不同复杂性的非人类代理进行交互,作为其日常活动的一部分;大量工作正在进行,以将越来越智能的机器代理集成到人类的工作和娱乐中。随着这些智能体的认知、感觉和运动能力的提高,现在可以合理地认为,用于人类援助的智能机器与人类进行联合行动,即,两个或两个以上的代理人调整他们的行为和他们对彼此的理解,以便在共同的目标或目的上取得进展。人机合作伙伴关系中熟练联合行动的机制、条件和机会对多个社区都非常感兴趣。尽管如此,人机联合行动尚未得到充分探索,特别是在人类和智能机器在实时日常生活体验过程中持续交互的情况下。在这项工作中,我们贡献了一个虚拟现实环境中,一个人和一个代理可以适应他们的预测,他们的行动,和他们的沟通,以追求一个简单的觅食任务。在一个案例研究中,一个单一的参与者,我们提供了一个例子,人类代理的协调和决策,涉及预测学习的一部分,人类和机器代理,并控制学习的一部分,机器代理,其中音频通信信号被用来提示其人类合作伙伴在获取共享奖励的服务。这些比较表明在虚拟现实环境中研究人机协调的实用性,并确定进一步的研究,将扩大我们对持久的人机联合行动的理解。
2019-05-07 cs.AI cs.HC cs.LG
Training Humans and Machines
The Child Mind Institute(儿童心理研究所)
多年来,心理学、教育学、统计学和机器学习领域的研究人员一直在开发实用的方法来提高学习速度、记忆力和可推广性,这项工作已经取得了成功。其中许多方法都植根于共同的基本原则,这些原则似乎推动了人类和机器的学习和过度学习。我对这项工作的一小部分进行了回顾,以指出机器和人类学习中可能值得探索的潜在新应用。
2018-06-29 cs.LG cs.NE
Human-Machine Ritual: Synergic Performance through Real-Time Motion Recognition
Department of Digital Arts and Experimental Media (DXARTS), University of Washington(数字艺术与实验媒体系(DXARTS)、华盛顿大学)
本文提出一种基于可穿戴IMU传感器和MiniRocket的轻量级实时动作识别系统,通过将舞者动作映射为声音实现人机协同表演,在<50 ms延迟下支持高精度分类,为创意、教育和现场表演提供了可复制框架。
2025-11-04 cs.AI cs.HC cs.LG
On Human Intellect and Machine Failures: Troubleshooting Integrative Machine Learning Systems
ETH Zurich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
我们研究了依赖于不同组件的分析管道的机器学习系统的故障排除问题。理解和修复这种集成系统中出现的错误是困难的,因为故障可能发生在执行工作流程中的多个点。此外,错误可能会传播、扩大或被抑制,使责任分配变得困难。我们提出了一个人在回路中的方法,利用人类的智慧来排除系统故障。该方法通过人工计算任务模拟潜在的组件修复,并测量系统整体行为的预期改进。该方法为设计人员提供了如何最好地改进系统的指导。我们证明了自动图像描述系统,已按下到现实世界中使用的方法的有效性。
2016-11-24 cs.LG
X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust
我们提出了一个新的可解释AI(XAI)框架,旨在通过解释来增加人类对AI机器的合理信任和依赖。我们提出解释作为一个迭代的通信过程,即对话,机器和人类用户之间。更具体地说,机器在对话中生成解释序列,该解释序列在每个对话回合考虑三个重要方面:(a)人类的意图(或好奇心);(b)人类对机器的理解;以及(c)机器对人类用户的理解。为了做到这一点,我们使用心理理论(ToM),它可以帮助我们明确地建模人类的意图,由人类推断的机器思维以及由机器推断的人类思维。换句话说,这些心理理论中的外显心理表征被纳入学习的最佳解释政策,考虑到人类的感知和信念。此外,我们还表明,ToM有利于定量测量合理的人类信任的机器通过比较所有三个心理表征。我们将我们的框架应用于三个视觉识别任务,即图像分类,动作识别和人体姿态估计。我们认为,我们的理论为基础的解释是实用的,更自然的专家和非专家用户了解复杂的机器学习模型的内部工作。据我们所知,这是第一个使用ToM进行解释的工作。广泛的人类研究实验验证了我们的假设,表明所提出的解释在所有标准的定量和定性XAI评估指标(包括人类信任,依赖和解释满意度)方面显着优于最先进的XAI方法。
2019-09-15 cs.AI cs.CV cs.HC
Application of Machine Learning Techniques in Human Activity Recognition
人类活动检测在过去的十年中取得了巨大的增长,在普适计算领域发挥了重要作用。这种新兴的流行可以归因于其大量的现实生活中的应用,主要是处理以人为本的问题,如医疗保健和老年人护理。许多研究尝试与数据采掘和机器学习技术已经经历了准确地检测人类活动的电子健康系统。本文综述了预测数据采掘的一些算法,并比较了这些模型的准确性和性能。最后对未来的研究方向进行了讨论。
2015-10-19 cs.LG
Speaker discrimination in humans and machines: Effects of speaking style variability
University of California, Los Angeles(加州大学洛杉矶分校)
说话风格的变化是否会影响人类从声音中区分个人的能力?人类如何与旨在区分声音的自动系统进行比较?在本文中,我们试图回答这些问题,通过比较人类和机器的说话人识别性能的阅读语音与休闲对话。三十名听众被要求执行相同与不同的扬声器任务。他们的性能进行了比较,以最先进的x矢量/PLDA为基础的自动说话人验证系统。结果表明,人类和机器都表现得更好的风格匹配的刺激,和人类的表现更好,当听众是美国英语的母语。在风格匹配的条件下,母语听众的表现优于机器(阅读语音的EER为6.96%对14.35%,对话的EER为15.12%对19.87%),但对于风格不匹配的条件,母语听众和机器之间没有显著差异。在所有条件下,将人类反应与机器结果相融合显示出与单独相比的改进,这表明人类和机器对说话者识别任务有不同的方法。通过对单个扬声器的检查结果进一步证实了方法的差异,这些结果表明人类听众和机器之间对不同和混淆的扬声器的感知不同。
2020-08-08 cs.LG eess.AS eess.SP
Humans can decipher adversarial images
Department of Psychological & Brain Sciences, Johns Hopkins University(约翰斯·霍普金斯大学心理与脑科学系)
人类思维与反映其表现的复杂机器学习系统有多相似?基于卷积神经网络(CNN)的对象分类模型在为新图像分配已知标签方面已经达到了人类水平的基准。这些进步有望支持自动驾驶汽车和机器诊断等变革性技术;除此之外,它们还可以作为视觉系统本身的候选模型-不仅在其输出中,甚至在其潜在的机制和原理中。然而,与人类视觉不同的是,CNN可以被对抗性的例子“愚弄”--精心制作的图像对人类来说是无意义的模式,但被机器识别为熟悉的对象,或者对人类来说是一个对象,对机器来说是另一个对象。人类和机器分类之间的这种看似极端的分歧挑战了这些新进展的前景,无论是作为应用图像识别系统还是作为人类思维的模型。然而,令人惊讶的是,很少有研究对这种对抗性刺激的人类分类进行实证研究:人类和机器的表现是否从根本上存在差异?或者人类可以破译这些图像并预测机器的首选标签吗?在这里,我们证明了人类和机器对对抗性刺激的分类是鲁棒相关的:在对五个突出而多样的对抗性图像集的八个实验中,人类受试者可靠地识别了机器在相关箔上选择的标签。这种模式持续存在于具有强烈先行身份的图像中,甚至是被描述为“人眼完全无法识别”的图像。我们认为,人类的直觉可能是一个更可靠的指导机器(错误)分类比通常想象的,我们探讨了这一结果的思想和机器一样的后果。
2019-03-03 cs.CV cs.CY cs.LG
Leveraging Automated Machine Learning for Text Classification: Evaluation of AutoML Tools and Comparison with Human Performance
University of Stuttgart(斯图加特大学);Fraunhofer IAO(弗劳恩霍夫工业工程研究所)
最近,自动机器学习(AutoML)在表格数据方面取得了越来越大的成功。然而,问题是AutoML是否也可以有效地应用于文本分类任务。这项工作在13个不同的流行数据集上比较了四个AutoML工具,包括Kaggle竞赛,并反对人类的表现。结果表明,AutoML工具在13个任务中的4个任务中表现优于机器学习社区,其中两个任务表现突出。
2020-12-07 cs.LG
Tackling Face Verification Edge Cases: In-Depth Analysis and Human-Machine Fusion Approach
Technical University of Munich(慕尼黑工业大学)
针对人脸验证系统存在的边缘分类错误问题,本文分析了SOTA模型的挑战性场景,结合60人实验验证了人机决策融合可进一步提升多基准数据集上的人脸验证性能。
2023-08-24 cs.CV cs.LG
Human-Machine Teaming for UAVs: An Experimentation Platform
AI Redefined
针对国防环境下人机组队实验平台稀缺的问题,本研究推出基于Cogment的异构多智能体实验平台,支持人类与不同类型AI智能体协作,已用于学术研究,旨在推动相关领域研究发展。
2023-12-18 cs.AI cs.HC cs.LG
Towards Practices for Human-Centered Machine Learning
University of Minnesota – Twin Cities(明尼苏达大学双城分校)
“以人为中心的机器学习“(HCML)是一个描述适用于以人为中心的问题的机器学习的术语。虽然这个想法值得注意,并产生学术兴奋,学者和从业者一直在努力明确定义和实现计算机科学HCML。本文提出了以人为中心的机器学习实践,在这个领域,研究和设计社会、文化和道德影响与ML的技术进步同样重要。这些实践在人机交互、人工智能和社会技术领域的跨学科视角之间架起了桥梁,并在这一新领域进行了持续的讨论。这五个实践包括确保HCML是问题的适当解决方案空间;将问题陈述概念化为立场陈述;超越交互模型来定义人类;使领域贡献合法化;以及预测社会技术失败。最后,我建议如何在研究和实践中实施这些做法。
2022-03-01 cs.CY cs.LG
Face Images as Jigsaw Puzzles: Compositional Perception of Human Faces for Machines Using Generative Adversarial Networks
Carleton University(卡尔顿大学)
人机交互(HRI)的一个重要目标是让机器实现接近人类水平的人脸感知。机器学习和人类智能之间的一个重要区别是缺乏组合性。本文介绍了一种新的方案,使生成对抗网络能够学习由更小部分组成的人脸图像的分布。这导致更灵活的机器面感知和更容易推广到外部训练样本。我们证明,该模型是能够产生逼真的高品质的人脸图像,通过生成和拼凑的部分。此外,我们证明了该模型学习面部部位及其分布之间的关系。因此,特定面部部分在所生成的面部图像之间是可互换的。
2021-03-10 cs.CV cs.LG
Human-in-the-Loop Design Cycles -- A Process Framework that Integrates Design Sprints, Agile Processes, and Machine Learning with Humans
Yonsei University(延世大学)
对机器学习模型的后台性质的更透明的需求导致了最近机器学习中的人在环的兴起,即将人类集成到机器学习模型的训练和应用中的过程。目前的工作认为,这一过程的要求并不代表一个障碍,而是一个机会,以优化设计过程。因此,这项工作提出了一个新的过程框架,人在学习循环(HILL)设计周期-一个设计过程,集成了敏捷和设计思维过程的结构元素,并控制训练的机器学习模型的人在循环。HILL设计循环过程通过定量的心理测量工具来取代定性的用户测试,以获得设计感知。生成的用户反馈用于训练机器学习模型,并沿着四个设计维度(新颖性、能量、简单性、工具)指导后续设计周期。将四维用户反馈映射到用户故事和优先级,设计冲刺因此将用户反馈直接转化为实现过程。循环中的人是质量工程师,他仔细检查收集的用户反馈,以防止无效数据进入机器学习模型训练。
2020-02-29 cs.CY cs.HC cs.LG
Machinic Surrogates: Human-Machine Relationships in Computational Creativity
Carnegie Mellon University(卡内基梅隆大学)
人工智能(AI)及其子分支机器学习(ML)的最新进展使机器超越了自动化的界限,并自主运行。这些机器在艺术和设计等创造性实践中的应用需要用户和机器之间的关系,这种关系被描述为计算和人类代理之间的合作或共同创造的形式。本文使用艺术和设计的例子来论证这个框架是不完整的,因为它没有承认人工智能系统的社会技术性质,以及参与其设计,实施和操作的不同人类机构。本文将人工智能工具在自动化和自主化之间的创造性实践中的应用置于自动化和自主化之间,区分了被认为是自动化或自主化的系统引起的不同类型的人类参与。回顾20世纪后期的艺术合作模式,它表明合作是这些艺术实践的核心。我们建立在不断增长的机器学习和艺术文献的基础上,寻找在计算创造力的作品中铭刻的人类机构,并扩展共同创造框架,以纳入通过技术工件(如算法和数据)介导的新兴形式的人类协作。
2019-08-03 cs.HC cs.LG
An Interactive Human-Machine Learning Interface for Collecting and Learning from Complex Annotations
University of Bristol(布里斯托尔大学)
本文提出一种用于二分类任务的交互式人机学习界面,允许标注者使用反事实示例补充传统二值标签,以提升标注灵活性和机器学习效果。
2024-03-28 cs.HC cs.LG
ChatGPT or academic scientist? Distinguishing authorship with over 99% accuracy using off-the-shelf machine learning tools
University of Kansas(堪萨斯大学)
ChatGPT使大众能够访问人工智能生成的写作,在短短几个月内,该产品已经颠覆了知识经济,引发了人们工作,学习和写作方式的文化转变。区分人类写作与人工智能的需要现在既重要又紧迫,特别是在高等教育和学术写作等领域,人工智能对作者身份并没有构成重大威胁或贡献。为了满足这一需求,我们开发了一种方法来区分ChatGPT生成的文本与(人类)学术科学家,依赖于流行的和可访问的监督分类方法。我们专注于一个特定的人类群体,学术科学家,如何与ChatGPT写作不同,这种有针对性的方法导致发现了区分(这些)人类与AI的新特征;例如,科学家写很长的段落,并且喜欢模棱两可的语言,经常使用但是,然而,虽然这样的词。通过一组20个特征,包括上述特征和其他特征,我们构建了一个模型,该模型将作者分配为人类或人工智能,准确率超过99%,与该领域领先的方法相比,错误分类的文档减少了20倍。这种区分特定人类写作与人工智能的策略可以由其他具有监督分类基本技能的人进一步调整和开发,从而能够获得许多高度准确和有针对性的模型,用于检测学术写作及其他领域的人工智能使用。
2023-03-28 cs.CL cs.LG
Human or Machine: Automating Human Likeliness Evaluation of NLG Texts
Charles University in Prague(布拉格查理大学)
由数据驱动的智能方法产生的各种文本质量标准的自动评估是非常常见和有用的,因为它便宜,快速,并且通常会产生可重复的结果。在本文中,我们提出了一种尝试,以自动化的人类喜欢的评价输出文本样本来自自然语言生成方法,用于解决几个任务。我们建议使用一个人类喜欢度分数,它显示了一个方法的输出样本中看起来像是由人类编写的样本的百分比。我们没有让人类参与者对这些样本进行标记或评级,而是通过使用基于大型预训练语言模型及其概率分布的判别程序来完全自动化该过程。作为后续,我们计划对人类书写和机器生成的文本进行实证分析,以找到这种评估方法的最佳设置。涉及人类参与者的验证过程还将检查自动评估与人类判断的相关性。
2020-06-05 cs.CL cs.LG
Visual Diagnosis of Dermatological Disorders: Human and Machine Performance
Simon Fraser University(西蒙弗雷泽大学)
皮肤病是一个全球性的健康问题,在因残疾而损失的年数中,皮肤病是非致命性疾病负担的第四大原因。由于皮肤病的诊断或分类可以帮助确定有效的治疗方法,皮肤科医生已经广泛研究了如何从患者的病史和病变的视觉外观来诊断病情。计算机视觉研究人员正试图将这种诊断能力编码到机器中,最近的几项研究报告称,机器水平的性能与皮肤科医生相当。这份报告回顾了机器方法来分类皮肤图像,并考虑他们的性能相比,人类皮肤科医生。在概述了常见的图像模式、皮肤科医生的诊断方法和常见任务以及公开可用的数据集之后,我们讨论了机器皮肤病变分类的方法。然后,我们回顾直接比较人类和机器性能的作品。最后,本报告讨论了基于图像的皮肤病诊断的局限性和错误来源,适用于机器和皮肤科医生在远程皮肤病学设置。
2019-06-04 cs.CV cs.LG
Can you hear me $\textit{now}$? Sensitive comparisons of human and machine perception
Johns Hopkins University(约翰斯·霍普金斯大学)
处理感官输入的机器学习系统的兴起带来了人类和机器感知之间的比较。但这样的比较面临着一个挑战:虽然机器对某些刺激的感知通常可以通过直接和明确的测量来探索,但人类的大部分感知知识是潜在的,不完整的,或者无法进行明确的报告。在这里,我们将探讨这种不对称性如何导致这种比较错误估计人类和机器感知的重叠。作为一个案例研究,我们考虑人类对\textit{adversarial speech}的感知-合成音频命令,自动语音识别系统将其识别为有效消息,但据报道,人类听众听到的是毫无意义的噪音。在五个实验中,我们从人类心理物理学文献中改编了任务设计,以表明即使受试者不能自由地转录这样的语音命令,(以前人类理解的基准),他们往往可以证明其他形式的理解,包括区分敌对的语音从密切匹配的非语音(实验1- 2),完成在对抗性语言中开始的常见短语(实验3- 4),并解决对抗性语言中提出的简单数学问题(实验5)-即使是以前描述为人类听众无法理解的刺激。我们建议在比较人类和机器的感知时采用这种“敏感测试”,我们讨论了这种方法评估系统之间重叠的更广泛的后果。
2022-08-03 cs.CL cs.LG cs.SD
A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio(德克萨斯农工大学圣安东尼奥分校)
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中,机器支持人类,但在少数其他应用程序中(例如对抗性机器学习,社交机器人和巨魔),机器试图模仿人类。在这个范围内,我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同,基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子,但这项工作可以在许多方面进行扩展,例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG
A Machine Learning Approach for Predicting Human Preference for Graph Layouts
University of Sydney(悉尼大学)
由于人类大脑中高度复杂的视觉感知和认知系统,了解人类喜欢什么样的图形布局以及为什么喜欢图形布局是非常重要和具有挑战性的。在本文中,我们提出了第一个机器学习方法来预测人类的偏好图布局。一般来说,带有人类偏好标签的数据集是有限的,不足以训练深度网络。为了解决这个问题,我们通过采用迁移学习方法来训练我们的深度学习模型,例如,利用质量度量,例如基于形状的度量、边缘交叉和应力,这些被示出为与人类对图布局的偏好相关。使用地面真实人类偏好数据集的实验结果表明,我们的模型可以成功地预测人类对图形布局的偏好。据我们所知,这是第一种使用人类偏好实验数据预测图形布局定性评价的方法。
2021-03-01 cs.HC cs.LG
A Machine Learning Approach to Modeling Human Migration
Georgia Institute of Technology(佐治亚理工学院)
人类移徙是人类流动的一种,旅行涉及一个人为了改变他们的家园而移动。尽可能准确地预测人口迁移在城市规划应用、国际贸易、传染病传播、保护规划和公共政策制定中非常重要。传统的人类流动模型,如重力模型或最近的辐射模型,仅基于人口和距离特征预测人类流动。这些模型已在通勤流(一种不同类型的人类移动性)上得到验证,并且主要用于无法获得大量先前地面真实移动性数据的建模场景。这些模型的一个缺点是,它们具有固定的形式,因此无法捕捉更复杂的移徙动态。我们提出了机器学习模型,能够结合任何数量的外源性功能,预测起源/目的地的人类迁移流。我们的机器学习模型在各种评估指标上都优于传统的人类移动模型,无论是在预测美国各县之间的迁移还是国际迁移的任务中。一般来说,人类迁移的预测性机器学习模型将提供一个灵活的基础,用于在不同的假设条件下模拟人类迁移,例如潜在的海平面上升或人口增长情景。
2017-11-15 cs.LG cs.SI physics.soc-ph
Can humans teach machines to code?
University of Southampton(南安普顿大学);University of Bamberg(班贝格大学);University of Oxford(牛津大学)
本文通过让人类为六个编程概念提供示例,并比较五个程序综合系统在非专家、专家和随机示例上的泛化表现,发现非专家通常难以提供足以让系统学会准确程序的示例。
2025-02-17 cs.HC cs.LG
A Human-Centered Approach to Interactive Machine Learning
University of Alberta(阿尔伯塔大学)
交互式机器学习(IML)社区旨在通过开发自动决策系统来增强人类随着时间的推移进行学习和决策的能力。这种交互代表了多个智能系统--人类和机器之间的协作。缺乏对所涉及的人的适当考虑可能导致有问题的系统行为,以及公平性,问责制和透明度问题。这项工作提出了一个以人为本的思想方法,应用IML方法。本指南旨在供人工智能从业者使用,他们将人为因素纳入工作中。这些从业者负责相互作用的人类的健康,安全和福祉。对公众互动负责的义务意味着正直、诚实、公平地行事,并遵守适用的法律法规。有了这些价值观和原则,我们作为一个研究社区可以更好地实现增强人类能力的集体目标。本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2019-05-15 cs.CY cs.HC cs.LG
Does Multimodality Help Human and Machine for Translation and Image Captioning?
LIUM, University of Le Mans(勒芒大学LIUM);Galatasaray University(加拉塔萨雷大学);CVC, Universitat Autonoma de Barcelona(巴塞罗那自治大学CVC)
本文介绍了LIUM和CVC为WMT 16多模态机器翻译挑战开发的系统。我们探索了各种比较方法,即基于短语的系统和使用单模态或多模态数据训练的注意递归神经网络模型。我们还进行了人为评估,以估计人类机器翻译和图像描述生成的多模态数据的有用性。我们的系统获得了最好的结果,这两个任务根据自动评估指标BLEU和METEOR。
2016-08-16 cs.CL cs.LG cs.NE
Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
Rochester Institute of Technology(罗切斯特理工学院);Aston University(阿斯顿大学);George Mason University(乔治梅森大学)
本文通过噪声审计和新数据集,揭示了人类和机器对攻击性言论的分歧,并发现政治倾向和敏感问题影响攻击性判断。
2026-02-03 cs.CL cs.CY cs.LG