State Machine of Thoughts: Leveraging Past Reasoning Trajectories for Enhancing Problem Solving
Kuaishou Technology(快手科技);Hefei University of Technology(合肥工业大学)
针对大语言模型智能体推理轨迹复用效率低的问题,提出SMoT框架,用状态机记录过往推理的成败经验,选择最优子解,在24点游戏和出租车导航强化学习任务中显著提升问题求解能力。
2024-03-09 cs.AI
STAMP 4 NLP -- An Agile Framework for Rapid Quality-Driven NLP Applications Development
FH Aachen - University of Applied Sciences(亚琛应用技术大学);University of Kassel(卡塞尔大学)
在过去几年中,自然语言处理(NLP)研究的进展为公司提供了新的商业机会,如自动化用户交互或改进的数据分析。构建复杂的NLP应用程序需要处理现代机器学习(ML)技术,这阻碍了企业建立成功的NLP项目。我们在应用NLP研究项目中的经验表明,在生产环境中不断集成研究原型与质量保证,可以建立对软件的信任,并显示出对业务目标的便利性和实用性。我们引入STAMP 4 NLP作为开发NLP应用程序的迭代和增量过程模型。通过STAMP 4 NLP,我们将软件工程原则与数据科学的最佳实践相结合。实例化我们的流程模型可以通过利用模板、约定和实现来高效地创建原型,使开发人员和数据科学家能够专注于业务目标。由于我们的迭代增量方法,企业可以在每次迭代后将原型的增强版本部署到其软件环境中,从而尽早最大化潜在的业务价值和信任,并避免成功但从未部署的实验成本。
2021-11-16 cs.AI cs.CL
Policy Frameworks for Transparent Chain-of-Thought Reasoning in Large Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
针对当前大语言模型CoT披露政策不统一的问题,本文分析了CoT全面披露的双重影响,提出分级访问政策框架,通过分级权限、伦理许可等平衡透明、问责与安全,推动负责任AI部署。
2025-03-14 cs.AI cs.CL cs.CY
The Profit Alignment Problem: How Profit Mandates Induce Alignment Failures in LLMs
MIT Sloan School of Management(麻省理工学院斯隆管理学院);Massachusetts Institute of Technology(麻省理工学院)
研究发现,给LLM添加“最大化盈利能力”指令会诱导其系统性忽视安全风险信号,导致对齐失败,此现象被称为利润对齐问题。
2026-09-09 cs.AI econ.GN q-fin.EC
Enhancing Zero-shot Chain of Thought Prompting via Uncertainty-Guided Strategy Selection
Microsoft Corporation(微软公司)
针对零样本 CoT 提示中人工示例成本高、触发短语不可靠的问题,提出 ZEUS,利用不确定性估计选择有效示例,并在四个推理基准上持续优于现有策略。
2024-12-06 cs.AI cs.CL
Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting
University of Pennsylvania(宾夕法尼亚大学);WHU–Otto Beisheim School of Management(WHU-奥托·拜斯海姆管理学院);Glowforge
本报告通过严格测试评估CoT提示,发现其收益高度依赖任务与模型,对具备内置推理能力的新模型价值有限,却显著增加token与时间成本。
2025-06-08 cs.AI cs.CL
eMoT: evolving Memory-of-Thought via Symbolic Anchoring and Memory Corrosion
Center for Future Media, University of Electronic Science and Technology of China(未来媒体中心,电子科技大学)
提出eMoT框架,通过记忆腐蚀、符号锚定和一致性精炼三个模块,将推理轨迹视为动态演化记忆,以稳定多步推理并提升准确率与一致性。
2026-06-01 cs.AI
Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models
Xiamen University(厦门大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软公司);IDEA Research(IDEA研究院)
本文提出Iter-CoT,一种迭代自举的思维链提示方法,通过自主纠错和选择中等难度示例,提升大语言模型在不同难度推理任务上的泛化性能,在十个数据集上取得竞争性结果。
2024-03-15 cs.AI cs.CL
TRAD: Enhancing LLM Agents with Step-Wise Thought Retrieval and Aligned Decision
Shanghai Jiao Tong University(上海交通大学);China Pacific Insurance(中国太平洋保险)
针对LLM智能体上下文示例选择利用不佳、检索噪声大的问题,提出TRAD框架,通过步骤级思维检索和对齐决策优化示例选择,在基准测试和真实保险场景中均取得性能提升。
2024-03-10 cs.AI cs.CL cs.IR
Learn Your Own Thoughts: Abstract Token Curriculum
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校);EPFL(洛桑联邦理工学院);Google DeepMind(谷歌DeepMind)
提出抽象令牌课程(ATC),一种无需直接监督的课程学习框架,通过逐步增加问题复杂度训练LLM在连续表示空间中形成内部抽象思考,并在理论和实验上证明其在图可达性和算术任务上的优势。
2026-09-24 cs.AI cs.CL cs.LG
HIRAG: Hierarchical-Thought Instruction-Tuning Retrieval-Augmented Generation
AntGroup(蚂蚁集团)
针对RAG生成模型缺乏细粒度任务关注和思维链利用的问题,提出HIRAG方法,通过层级思维指令微调赋予模型过滤、组合和RAG特定推理能力,显著提升多个基准数据集性能。
2025-09-10 cs.AI cs.CL
Rectifying LLM Thought from Lens of Optimization
Monash University(莫纳什大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文通过优化视角分析LLM推理过程,提出RePro方法改进推理性能,减少过度思考等亚优行为。
2026-04-07 cs.AI cs.CL
RecLLM-R1: A Two-Stage Training Paradigm with Reinforcement Learning and Chain-of-Thought v1
Xiaohongshu(小红书)
本文提出 RecLLM-R1 推荐框架,通过 SFT 和结合 CoT 的 GRPO 强化学习两阶段训练范式,利用自然语言提示优化推荐准确性与多样性,有效缓解过滤气泡并实现模型与业务策略的联合优化。
2025-06-24 cs.AI
Reinforcing Structured Chain-of-Thought for Video Understanding
Stony Brook University(石溪大学);Amazon(亚马逊)
本文提出SDRL框架,通过结构化链式思考格式和自监督机制,解决多模态大语言模型在视频理解中的推理漂移和时间感知问题,实现单阶段强化学习,提升模型泛化能力。
2026-03-26 cs.AI cs.CV
Multivariate Business Process Representation Learning utilizing Gramian Angular Fields and Convolutional Neural Networks
German Research Center for Artificial Intelligence(德国人工智能研究中心);Saarland University(萨尔兰大学)
学习有意义的数据表示是机器学习的一个重要方面,最近已成功应用于许多领域,如语言理解或计算机视觉。表示学习不是为一个特定的任务训练一个模型,而是训练一个模型来捕获底层数据中的所有有用信息,并使预测器可以访问这些信息。对于预测性流程分析,在对未来进行预测以及进行聚类和异常检测时,必须具有流程实例的所有解释性特征。由于业务流程数据中的透视图和类型种类繁多,因此生成良好的表示是一项具有挑战性的任务。在本文中,我们提出了一种新的方法,表示学习的业务流程实例,可以处理和组合的事件日志中的大多数观点。结合自我监督的预训练方法,我们通过可视化的表示空间和案例检索来展示该方法的功能。此外,预训练的模型被微调到多个过程预测任务,并与现有方法相比,证明了其有效性。
2021-06-15 cs.AI cs.LG stat.ML
Intellectual Property Evaluation Utilizing Machine Learning
City University of Hong Kong(香港城市大学)
知识产权在经济发展中的作用日益重要。为了解决传统方法在IP评估中的痛点,我们正在开发以机器学习为核心的新技术。我们已建立线上平台,并将有计划地在大湾区拓展业务。
2022-08-18 cs.AI
SCOUT: Unlocking Enhanced Spatial Reasoning via Structured Chain-of-Thought and Multi-Objective Process Reward
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
SCOUT是结合结构化思维链与多目标过程奖励的视觉-语言模型,通过定制数据集训练,在空间推理任务上超越基线模型与GPT-4o,且具备跨图像、视频的泛化能力。
2026-08-13 cs.AI cs.CV
Evolution of Thought: Diverse and High-Quality Reasoning via Multi-Objective Optimization
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院);Department of Control Science and Engineering, Harbin Institute of Technology(哈尔滨工业大学控制科学与工程学院);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
针对多模态大语言模型推理路径多样性不足、信息共享低效的问题,提出融合非支配排序遗传算法II与凝聚-聚合机制的多目标框架EoT,在多项推理任务上实现了更优的性能与效率,为启发式推理框架设计提供新思路。
2024-11-24 cs.AI cs.NE
Leveraging Large Language Models for Enhanced Process Model Comprehension
Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学)
本文提出利用大型语言模型增强流程模型理解的新框架,通过抽象方法和高级提示策略,并开发工具AIPA,经自动评估和用户研究验证,显著提升模型可解释性。
2024-09-20 cs.AI cs.DB
CryptoScope: Utilizing Large Language Models for Automated Cryptographic Logic Vulnerability Detection
Sichuan University(四川大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出 CryptoScope 框架,结合思维链提示、检索增强生成与密码学知识库,在 LLM-CLVA 基准上显著提升多个大语言模型的密码学逻辑漏洞检测性能,并发现 9 个未公开缺陷。
2025-08-15 cs.AI cs.CR
Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance
Alibaba International Digital Commerce Group(阿里巴巴国际数字商业集团);Zhejiang University(浙江大学)
本文提出多视角链式推理蒸馏方法,通过改进的教师模型和轻量级学生模型提升电子商务搜索相关性建模的准确性和效率。
2026-01-29 cs.AI cs.CL cs.IR
ViTCoT: Video-Text Interleaved Chain-of-Thought for Boosting Video Understanding in Large Language Models
School of Computer Science and Engineering, Central South University(计算机科学与工程学院,中南大学);Research Center for SCIR, Harbin Institute of Technology(SCIR研究中心,哈尔滨工业大学);NExT Research Center, National University of Singapore(NExT研究中心,新加坡国立大学)
本文提出视频-文本交错思维链(ViTCoT)范式,通过构建ViTIB基准并实验验证,显著提升了大型语言模型的视频理解与推理能力。
2025-07-14 cs.AI cs.CL cs.CV
Large Language Models Can Better Understand Knowledge Graphs Than We Thought
Southeast University(东南大学);The University of New South Wales(新南威尔士大学);Monash University(莫纳什大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本研究通过大规模实验发现,线性化三元组比自然语言文本更能帮助LLMs理解知识图谱并回答事实性问题,且不同模型对三元组组织格式有不同偏好,更大规模模型更易受噪声和不完整子图影响。
2025-01-23 cs.AI cs.CL
Challenges and Responses in the Practice of Large Language Models
本文系统梳理并回答了人工智能领域来自各行业的深刻问题,从算力、软件、数据、应用和脑科学五个维度构建知识框架,旨在帮助读者把握AI发展脉搏,激发创新并促进产业进步。
2024-08-21 cs.AI cs.CL
Weave of Formal Thought
提出WoFT框架,结合完整语法约束解码与潜在变量微调,使语言模型生成语法有效代码并学习结构表示,在Python上降低14.3%交叉熵。
2026-09-15 cs.AI cs.CL cs.LG
Fusing Bidirectional Chains of Thought and Reward Mechanisms A Method for Enhancing Question-Answering Capabilities of Large Language Models for Chinese Intangible Cultural Heritage
针对非遗领域大模型微调中的偏差、错误继承与遗忘问题,提出在 ICH-Qwen 上融合双向思维链和加权奖励机制的训练方法,并验证其问答性能、消融效果与跨领域泛化能力。
2025-06-10 cs.AI cs.CL
Quantitative Analysis of Technical Debt and Pattern Violation in Large Language Model Architectures
Georgia Institute of Technology(佐治亚理工学院)
本研究通过对比分析三种大语言模型在实现标准化微服务时的架构一致性与技术债务积累情况,揭示了开源模型在架构合规性方面的不足及潜在的技术债务风险。
2025-12-03 cs.AI cs.SE
Deception Abilities Emerged in Large Language Models
本研究发现GPT-4等最先进的LLMs已涌现出欺骗策略,能诱导其他智能体产生错误信念,且思维链推理和马基雅维利主义可增强其欺骗倾向,为机器心理学领域做出贡献。
2024-02-02 cs.AI cs.CL cs.LG
Graphical Reasoning: LLM-based Semi-Open Relation Extraction
University of Michigan(密歇根大学)
本文提出结合思维链与图形推理的关系抽取方法,利用GPT-3.5上下文学习将抽取任务分解为顺序子任务,在多个数据集上取得显著性能提升。
2024-04-30 cs.AI cs.CL cs.LG
Risky Business: Measuring The Faithfulness-Safety Tension
该研究针对大型推理模型中忠实度与安全性的张力,构建HazMart数据集,提出TRR技术,发现QwQ-32B的反相关内部方向,并通过表征引导提升安全行为9个百分点。
2026-08-05 cs.AI cs.CL
Hypergraph Enterprise Agentic Reasoner over Heterogeneous Business Systems
SUPCON
本文提出HEAR,一种基于分层超图本体的企业代理推理器,通过分层图层和超边层实现结构化多跳分析,无需重新训练LLM,在供应链任务中达到94.7%的准确率,并展示出适应性和效率。
2026-09-09 cs.AI cs.CL
From Mobile Data to Business Insights: An End-to-End Analytics Framework for Large-Scale Urban Mobility Analysis and Decision Support
LIAAD;INESC-TEC;Mobile Network Analytics;NOS SGPS
研究通过调查城市环境中智能手机用户行为模式应对多领域挑战。开发数据平台,采用先进技术,构建模块化架构,应用可视化技术,模型可处理多种交通分析任务,为城市规划和商业决策提供见解。
2026-07-07 cs.AI cs.CY cs.LG
MACM: Utilizing a Multi-Agent System for Condition Mining in Solving Complex Mathematical Problems
University of Connecticut(康涅狄格大学);Cisco(思科公司)
本文提出多智能体条件挖掘系统(MACM)提示方法,通过多智能体协作解决复杂数学问题并提升泛化能力,使 GPT-4 Turbo 在 MATH 数据集五级问题上的准确率从 54.68% 提升至 76.73%。
2024-07-22 cs.AI cs.CL cs.MA
Towards Outcome-Oriented, Task-Agnostic Evaluation of AI Agents
Writer, Inc.(Writer公司)
针对AI智能体仅靠基础设施指标评估不足的问题,提出含11个跨领域、基于结果的任务无关指标框架,通过多架构多领域实验验证,助力评估决策质量、自主性等,为开发部署治理提供标准化方法。
2025-11-11 cs.AI cs.CL
Deep Transfer Learning & Beyond: Transformer Language Models in Information Systems Research
Wichita State University(威奇托州立大学);Auburn University(奥本大学)
人们普遍认为人工智能将改变商业,但目前对这种转变范围的看法可能是短视的。自然语言处理的最新进展涉及Transformer语言模型(TLM),为人工智能驱动的商业和社会转型提供了一条潜在的途径,这超出了目前大多数人所预见的范围。我们回顾了这一最新进展,以及最近的文献利用文本挖掘在顶级IS期刊制定一个大纲,未来的研究可以受益于这些新技术。我们对现有的IS文献的回顾表明,次优的文本挖掘技术是普遍存在的,更先进的TLM可以应用于增强和增加涉及文本数据的IS研究,并使新的IS研究课题,从而为研究界创造更多的价值。这是可能的,因为这些技术使得开发非常强大的定制系统变得更加容易,并且对于广泛的任务和应用程序来说,它们的性能优于现有方法。此外,多语言语言模型使更高质量的文本分析成为可能,用于多种语言的研究。我们还确定了新的途径是研究,如语言用户界面,可能会提供更大的潜力,为未来的研究。
2021-10-23 cs.AI cs.CL
The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
KAIST AI(韩国科学技术院人工智能学院);NAVER AI Lab(NAVER人工智能实验室);University of Washington(华盛顿大学)
该研究提出CoT Collection数据集,通过思维链微调较小语言模型(Flan-T5 3B/11B),在BBH基准和领域任务上显著提升零样本与少样本推理能力,甚至超越ChatGPT。
2023-10-14 cs.AI cs.CL cs.LG