Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas
本文提出RINoBench基准,用于评估研究想法新颖性判断,发现LLM生成的推理与人类相似但判断不准确。
2026-03-11 cs.AI cs.CL
Word-level Human Interpretable Scoring Mechanism for Novel Text Detection Using Tsetlin Machines
University of Agder(阿格德尔大学)
新颖性检测的最新研究主要集中在文档级分类,采用深度神经网络(DNN)。然而,DNN的黑盒性质使得很难提取出为什么一个文档被认为是新颖的确切解释。此外,在单词级别处理新颖性对于提供比文档级别更细粒度的分析至关重要。在这项工作中,我们提出了一个Tsetlin机(TM)为基础的体系结构,根据其贡献的新颖性评分个别的话。我们的方法编码的新文件使用的语言模式捕获TM子句的描述。然后,我们采用这种描述来衡量一个词对文档的新颖性有多大贡献。我们的实验结果展示了我们的方法如何将新颖性分解为可解释的短语,成功地测量了新颖性。
2021-05-10 cs.AI cs.CL cs.LG
Exploring Crowd Co-creation Scenarios for Sketches
Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
作为研究人类群体和机器有效共同创造能力的第一步,我们探索了几种仅限人类的协作共同创造场景。每个场景的目标都是使用简单的Web界面创建数字草图。我们发现,多个人反复添加笔画并对最佳添加进行投票的设置会导致具有最高感知创造力(价值+新颖性)的草图。缺乏协作会导致质量差异更大,新颖性或惊喜性更低。没有投票的合作导致高新颖性但低质量。
2020-05-22 cs.AI cs.HC
An Axiomatic Benchmark for Evaluation of Scientific Novelty Metrics
Department of Computer Science University of Illinois at Urbana-Champaign(计算机科学系伊利诺伊大学厄巴纳-香槟分校)
本文提出一种公理化基准,评估科学新颖性度量,通过跨三个AI研究领域的十项任务验证现有度量,发现无一指标完全满足所有公理,且不同架构的指标组合能显著提升基准表现。
2026-08-07 cs.AI cs.DL
NovBench: Evaluating Large Language Models on Academic Paper Novelty Assessment
School of Economics and Management, Nanjing University of Science and Technology(南京理工大学经济管理学院);School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院);School of Management, Anhui University(安徽大学管理学院)
NovBench通过1684篇论文与评审对的基准测试,评估大语言模型在新颖性评估中的能力,揭示当前模型在科学新颖性理解上的不足,强调需改进的细调策略。
2026-04-13 cs.AI cs.CL cs.DL
When Relevance Meets Novelty: Dual-Stable Periodic Optimization for Serendipitous Recommendation
Tsinghua University(清华大学)
本文提出CoEA方法,通过双稳定周期优化解决推荐系统中相关性与新颖性的平衡问题,提升偶然推荐效果。
2026-03-04 cs.AI cs.IR
The Creative Frontier of Generative AI: Managing the Novelty-Usefulness Tradeoff
Samuel Curtis Johnson Graduate School of Management, Cornell University(康奈尔大学塞缪尔·柯蒂斯·约翰逊管理研究生院);Lee Kong Chian School of Business, Singapore Management University(新加坡管理大学李光前商学院)
本文针对生成式AI在新颖性与有用性失衡时产生的幻觉和记忆问题,提出融合领域分析、迁移学习、用户定制、评估指标与协作机制的平衡框架。
2023-06-06 cs.AI
Can LLMs Cook Jamaican Couscous? A Study of Cultural Novelty in Recipe Generation
MILA, McGill University(蒙特利尔大学MILA);École de technologie supérieure (ÉTS)(高等技术学院)
本文研究LLMs在生成食谱时对文化新颖性的表现,发现其无法有效生成文化代表性的食谱,揭示了LLMs在文化导向生成中的局限性。
2026-02-11 cs.AI
ThriftyDAgger: Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning
AUTOLAB at the University of California, Berkeley(加利福尼亚大学伯克利分校 AUTOLAB)
有效的机器人学习通常需要在线的人类反馈和干预,这可能会花费大量的人类时间,从而引发交互式模仿学习的核心挑战:是否有可能控制干预的时间和长度,以促进学习并限制人类监督者的负担?本文介绍了ThriftyDagger,积极查询人类主管给定的人类干预的预期预算的算法。ThriftyDagger使用学习的切换策略,仅在以下状态下请求干预:(1)足够新颖,其中机器人策略没有参考行为可供模仿,或(2)有风险,其中机器人对任务完成的信心较低。为了检测后者,我们引入了一种新的度量来估计当前机器人策略下的风险。模拟实验和物理电缆路由实验表明,ThriftyDagger的干预标准比以前的算法更有效地平衡任务性能和主管负担。ThriftyDagger也可以在执行时应用,在模拟和物理任务上都实现了100%的成功率。一项用户研究(N=10)表明,与下一个最佳算法相比,ThriftyDagger在执行集中任务的同时控制三个机器人舰队,同时减少了管理员的负担,使人类和机器人的性能分别提高了58%和80%。
2021-09-17 cs.AI cs.RO
ReCoN-Ipsundrum: An Inspectable Recurrent Persistence Loop Agent with Affect-Coupled Control and Mechanism-Linked Consciousness Indicator Assays
Aishik Sanyal
本文提出ReCoN-Ipsundrum代理,通过情感耦合控制和机制关联意识指标测试,探讨意识指标与行为之间的关系,发现情感耦合能提高探索和谨慎行为。
2026-03-01 cs.AI
Superhuman Artificial Intelligence Can Improve Human Decision Making by Increasing Novelty
City University of Hong Kong(香港城市大学);Yale School of Management(耶鲁管理学院);Princeton University(普林斯顿大学)
该研究通过分析71年间580万步职业围棋决策及580亿个反事实模式,发现超人类AI出现后人类决策质量显著提升,其机制在于AI促使棋手更频繁地探索新颖落子,从而打破传统策略并改善决策。
2023-04-14 cs.AI econ.GN q-fin.EC
Do Methods Support the Claims? Intra-Paper Verification for Peer Review
该研究针对现有 LLM 评审系统忽视论文内部主张与方法学证据不匹配的问题,提出 intra-paper claim verification 框架,经实验验证其生成的评审意见与人类评审关注点高度契合。
2026-07-30 cs.AI cs.CL cs.DL
Procedural Generation of Initial States of Sokoban
Universidade Federal de Viçosa(维索萨联邦大学);Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学)
状态空间搜索问题的初始状态的过程生成在人类和机器学习以及规划系统的评估中有应用。在本文中,我们处理的任务,产生硬和可解的初始状态的推箱子难题。我们提出了基于模式数据库的硬度度量,并使用新颖性来改善搜索方法在生成初始状态的任务中的探索。然后,我们提出了一个名为Beta的系统,它使用我们的硬度指标和新颖性来生成初始状态。实验表明,Beta能够生成比人类专家设计的更难由专业求解器求解的初始状态。
2019-07-04 cs.AI
Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks
University of Michigan(密歇根大学);Computer Science and Engineering(计算机科学与工程学院)
本研究提出评估LLM智能体创造力的框架,以10个ML工程任务测试AIDE等智能体,发现其P-Creativity随探索转利用下降、H-Creativity高于人类但性能更低,明确其能探索新颖方案却难转化为性能提升。
2026-09-01 cs.AI
The Variance Paradox: How AI Reduces Diversity but Increases Novelty
University of Southern California(南加州大学)
人工智能通过压缩信息方差减少多样性,但通过标准化形式促进跨领域重组创新,形成U型动态,需人类主动干预以避免失去创造力。
2026-02-03 cs.AI cs.HC cs.IT
LLM generation novelty through the lens of semantic similarity
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学)
通过语义相似性视角探讨大语言模型生成新颖性的评估方法,揭示模型在预训练数据中的长序列抽取能力及任务领域对生成新颖性的影响
2026-08-04 cs.AI cs.CL cs.LG
Advice Conformance Verification by Reinforcement Learning agents for Human-in-the-Loop
Arizona State University(亚利桑那州立大学)
人在回路(HiL)强化学习在具有大动作和状态空间的领域中越来越受欢迎,并且通过允许代理从HiL获得建议来获得稀疏奖励。除了建议住宿,顺序决策代理必须能够表达它能够利用人类的建议的程度。随后,智能体应该为HiL提供一种方法,以检查它必须拒绝的部分建议,以支持整体环境目标。我们介绍的问题,建议,确认,这需要强化学习(RL)代理提供保证的人在循环中,他们的意见是符合多少。然后,我们提出了一个基于树的通用语言来支持这种通信,称为偏好树。我们研究了两种情况下,好的和坏的建议方案MuJoCo的类人环境。通过我们的实验,我们表明,我们的方法可以提供一个可解释的手段来解决的Advice-Concrete验证问题,传达代理是否使用人类的建议。最后,我们提出了一个人类用户的研究与20名参与者,验证我们的方法。
2022-10-07 cs.AI
Evaluating Creative Short Story Generation in Humans and Large Language Models
EPFL(苏黎世联邦理工学院);Idiap Research Institute(Idiap研究机构);University of Amsterdam(阿姆斯特丹大学);Università della Svizzera Italiana(瑞士意大利大学)
本文通过五句提示词故事任务,对60个LLM与60个人类进行多维度自动评估和人机评分,发现LLM语言风格复杂但新颖性、意外性和多样性不及人类,且非专家与LLM评分存在偏差。
2025-05-10 cs.AI cs.CL
Human-in-the-loop model explanation via verbatim boundary identification in generated neighborhoods
Ohio University(俄亥俄大学)
机器学习模型的黑盒性质限制了它们在关键情况下的应用,引发了忠诚和道德问题,导致信任危机。缓解这个问题的一个可能的方法是理解(错误预测的)决策是如何从决策边界中分割出来的。本文提出了一种人在回路的方法来解释机器学习模型使用逐字邻域显示。与大多数当前的可解释人工智能(XAI)系统,提供击中或错过的近似解释相反,我们的方法生成给定实例的本地决策边界,使人类智能得出模型行为的结论。我们的方法可以分为三个阶段:1)一个邻居生成阶段,根据给定的样本生成实例; 2)一个分类阶段,产生分类的生成的实例雕刻出局部决策边界和描绘模型的行为;和3)一个人在回路阶段,这涉及到人类细化和探索感兴趣的邻居。在生成阶段,生成模型用于生成给定实例周围的合理合成邻居。在分类阶段之后,分类的邻居实例提供了对模型行为的多方面理解。在人在环阶段提供了三个干预点,使人类能够利用自己的智能来解释模型行为。在两个数据集上进行了几个实验,实验结果证明了我们提出的方法对于提高人类对复杂机器学习模型的理解的潜力。
2021-06-24 cs.AI
NovPhy: A Testbed for Physical Reasoning in Open-world Environments
The Australian National University(澳大利亚国立大学);Flinders University(弗林德斯大学)
本文提出开放世界物理推理测试平台NovPhy,通过八种新奇事物与五种物理场景的组合任务评估智能体检测和适应新奇事物的能力,实验表明人类表现远超现有智能体,揭示了当前AI在开放世界物理环境中的不足。
2023-08-05 cs.AI cs.LG
A Blockchain Protocol for Human-in-the-Loop AI
Mahidol University International College(玛希隆大学国际学院);Mahidol University(玛希隆大学);Algovera
在人工智能系统的培训和操作中,以及在区块链系统和去中心化自治组织(DAO)的治理中,都需要人工智能的投入。本文提出了人类智能原语(HIP)的形式化定义,并描述了以太坊协议的设计和实现,用于它们在机器学习工作流中的链上收集、建模和集成。
2022-11-20 cs.AI cs.NI
Alpha-GPT 2.0: Human-in-the-Loop AI for Quantitative Investment
The Hong Kong University of Science and Technology(香港科技大学);IDEA Research(IDEA研究院)
本文提出 Alpha-GPT 2.0 量化投资框架,通过大型语言模型驱动的迭代人机交互与人在回路策略,将人类洞察融入系统化 alpha 研究,覆盖建模与分析阶段,有效提升了量化投资研究的效率与精度。
2024-02-15 cs.AI q-fin.CP
Human-in-the-Loop through Chain-of-Thought
Peking University(北京大学);Beijing Jiaotong University(北京交通大学)
针对语言模型在复杂推理中的不足,提出基于思维链的人机协同系统MCS及成本效用模型CAMLOP,在12个数据集上验证了其成本与效用的优势。
2023-06-23 cs.AI cs.CL
End-to-end grasping policies for human-in-the-loop robots via deep reinforcement learning
Northeastern University(东北大学)
最先进的人在环机器人抓取是巨大的肌电图(EMG)推理鲁棒性问题。作为一种变通方法,研究人员一直在研究将EMG与其他信号整合在一起,通常是以一种特别的方式。在本文中,我们提出了一种方法,用于端到端的培训政策,人在回路机器人掌握真正的到达轨迹。为此目的,我们使用强化学习(RL)和模仿学习(IL)在DEXTRON(DEXTerity enviRONment),一个随机模拟环境与真实的人类轨迹,使用蒙特卡罗(MC)模拟方法增强和选择。我们还提供了一个成功模型,一旦在专家策略数据和RL策略推出过渡上进行了训练,就可以透明地了解深度策略如何工作以及何时可能失败。
2021-04-26 cs.AI cs.RO
Exploring Human-in-the-Loop Themes in AI Application Development: An Empirical Thematic Analysis
International School of Engineering(国际工程学校);Faculty of Engineering(工程学院);Chulalongkorn University(朱拉隆功大学)
本文通过实证研究揭示了人工智能应用开发中以人为本主题的四个核心方面,为后续框架设计提供了理论支持。
2026-01-18 cs.AI cs.CY cs.HC
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们如何设计能够从人类反馈中学习的自然语言处理(NLP)系统?越来越多的人在回路(HITL)NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的,但五花八门-解决各种NLP问题,从不同的人那里收集不同的反馈,并应用不同的方法从收集的反馈中学习。我们对机器学习(ML)和人机交互(HCI)社区的HITL NLP工作进行了调查,突出了其短暂但鼓舞人心的历史,并彻底总结了最近的框架,重点是他们的任务,目标,人类交互和反馈学习方法。最后,我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
本文提出次优数据预训练方法SDP,通过用环境最小奖励伪标记低质量数据来预训练奖励模型,从而减少人在回路强化学习对人类交互的需求,并在多种模拟机器人任务上显著提升性能。
2025-04-07 cs.AI cs.LG cs.RO
adaPARL: Adaptive Privacy-Aware Reinforcement Learning for Sequential-Decision Making Human-in-the-Loop Systems
University of California Irvine(加州大学欧文分校)
与基于规则的方法相比,强化学习(RL)在各种应用中具有许多优点。随着在物联网设备中使用隐私敏感数据训练的RL的广泛使用,隐私问题越来越多,特别是对于人在回路系统。一方面,RL方法通过尝试适应人类的高度动态特性来增强用户体验。另一方面,经过训练的策略可能会泄露用户的私人信息。最近的注意力已经被吸引到设计隐私感知RL算法,同时保持可接受的系统效用。设计隐私感知RL的一个核心挑战,特别是对于人在环系统,是人类具有内在的可变性,他们的偏好和行为会进化。随着时间的推移,一个隐私泄漏缓解的效果对于同一个人或跨不同的人可能是不同的。因此,我们不能为隐私感知RL设计一个适合所有人的固定模型。为此,我们提出了adaPARL,这是一种用于隐私感知RL的自适应方法,特别是对于人在环物联网系统。adaPARL根据人类行为和偏好提供个性化的隐私-效用权衡。我们在两个物联网应用上验证了所提出的adaPARL,即(i)人在环灵巧家庭和(ii)人在环虚拟现实(VR)智能教室。在这两个应用程序上获得的结果验证了adaPARL的通用性及其提供个性化隐私-效用权衡的能力。平均而言,对于首次应用,adaPARL使效用比基线提高$57\%$,比随机化提高$43\%$。adaPARL还将隐私泄露平均减少了$23\%$。对于第二个应用程序,adaPARL在实用程序降低$15\%$之前将隐私泄漏降低到$44\%$。
2023-03-07 cs.AI cs.CR cs.LG
Alien Recombination: Exploring Concept Blends Beyond Human Cognitive Availability in Visual Art
Max Planck Institute for Human Development(马克斯·普朗克人类发展研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);NVIDIA(英伟达公司);Tallinn University(塔林大学)
本研究提出Alien Recombination方法,利用微调大型语言模型对抗人类可用性偏差,生成超越人类认知可用性的视觉艺术概念组合,证明认知不可用性是优化艺术新颖性的有效指标。
2024-11-18 cs.AI cs.CY cs.LG
Interaction-Driven Browsing: A Human-in-the-Loop Conceptual Framework Informed by Human Web Browsing for Browser-Using Agents
Companoid Labs(Companoid实验室);Herbert Computer, Inc.(Herbert计算机公司)
针对浏览器使用代理无法支持复杂非线性浏览的问题,提出一种人在回路概念框架,通过代理提议与用户反馈的迭代循环及探索与利用行动的区分,降低用户负担并保留其浏览心智模型。
2025-09-15 cs.AI cs.HC cs.MA
Learning Shaping Strategies in Human-in-the-loop Interactive Reinforcement Learning
Dalian University of Technology(大连理工大学);Ocean University of China(中国海洋大学)
为强化学习代理提供信息丰富的人类知识可以显着改善学习的各个方面。先前的工作已经开发了不同类型的塑造方法,使代理在复杂的环境中有效地学习。然而,所有这些方法都在专门的成形过程中为代理人量身定制人类指导,从而在不同领域体现出各种特征和优势。在本文中,我们研究了不同的整形方法之间的相互作用,以获得更强大的学习性能。我们提出了一种自适应成形算法,它能够学习最合适的成形方法在一个在线的方式。在两个经典领域的结果验证了它的有效性,从模拟和真实的人类研究,揭示了人的因素在人-机器人协作学习中的作用和影响。
2018-11-10 cs.AI cs.HC cs.LG
Detection of Unknown-Unknowns in Human-in-Plant Human-in-Loop Systems Using Physics Guided Process Models
Arizona State University(亚利桑那州立大学)
针对安全关键型人在回路人在设备系统的未知-未知场景检测问题,提出结合DiH-RNN与物理引导代理模型的检测框架,并在人工胰腺系统上验证了对未知胰岛素药筒故障的检测效果。
2023-12-12 cs.AI cs.SY eess.SY
A Rationale-Centric Framework for Human-in-the-loop Machine Learning
The Insight Centre for Data Analytics, University College Dublin(都柏林大学洞察数据分析中心);SenseTime Research(商汤科技研究院);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
我们提出了一种新的以理性为中心的框架与人在回路-以机器人为中心的双鲁棒性学习(RDL)-提高模型的分布性能在少样本学习的情况下。通过使用静态半事实生成和动态人为干预校正,RDL利用基本原理(即导致预测的短语),人为干预和半事实增强来解耦虚假关联和偏置模型,使其朝着普遍适用的底层分布,从而实现快速准确的概括。实验结果表明,与许多最先进的基准测试相比,RDL在分布内和分布外测试中都有显着的预测优势-特别是对于少样本学习场景。我们还进行了广泛的消融研究,以支持我们框架中每个组件的深入分析。
2022-03-24 cs.AI cs.CL cs.HC
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University(布朗大学)
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应,甚至在他们有重要的合作经验之前。因此,重要的是,学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans(COACH)算法在三种不同反馈方式下的性能,即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型,我们发现COACH可以表现得次优。我们提出了一个变种的教练,情节教练(电子教练),我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较:Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
HEIDL: Learning Linguistic Expressions with Deep Learning and Human-in-the-Loop
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);IBM Research - Almaden(IBM阿尔马登研究中心)
虽然人类的角色在机器学习社区中越来越被认可,但当前的人在回路机器学习(HITL-ML)方法中的模型的表示和与模型的交互太低级并且远离人类的概念模型。我们展示了HEIDL,一个原型HITL-ML系统,通过高级的,可解释的语言表达形式的谓词表示文本的语义结构,暴露了机器学习的模型。在HEIDL中,人的角色从简单地评估模型预测提升到解释,甚至通过与规则谓词本身进行交互来直接更新模型逻辑。将交互的通用性提高到这样的语义水平需要人类和机器之间的新交互范例,从而提高文本分析模型开发过程的生产力。此外,通过让人类参与到这个过程中,人机共同创建的模型可以更好地推广到看不见的数据,因为领域专家能够通过自动算法从很少的标记数据中学习到的知识来灌输他们的专业知识。
2019-07-25 cs.AI cs.CL cs.HC
Music Generation using Human-In-The-Loop Reinforcement Learning
University of Birmingham(伯明翰大学)
本文提出将人在回路的强化学习与音乐理论原则相结合,采用情景式表格 Q-learning 算法构建框架,通过迭代式人类反馈持续优化音乐曲目的实时生成质量。
2025-01-25 cs.AI cs.HC cs.LG