Fact-Consistency Evaluation of Text-to-SQL Generation for Business Intelligence Using Exaone 3.5
LG Electronics(LG电子)
本文提出基于Exaone 3.5的事实一致性评估框架,构建包含219个业务问题的基准,评估LLM在商业智能场景下的Text-to-SQL生成能力,揭示了其在复杂任务中的局限性并强调验证层需求。
2025-04-30 cs.AI cs.CL cs.LG
Hypergraph Enterprise Agentic Reasoner over Heterogeneous Business Systems
SUPCON
本文提出HEAR,一种基于分层超图本体的企业代理推理器,通过分层图层和超边层实现结构化多跳分析,无需重新训练LLM,在供应链任务中达到94.7%的准确率,并展示出适应性和效率。
2026-09-09 cs.AI cs.CL
HyST: LLM-Powered Hybrid Retrieval over Semi-Structured Tabular Data
PrompTart LAB, MODULABS(PrompTart实验室,MODULABS)
针对现实推荐系统中用户查询结合结构化约束与非结构化偏好的问题,提出HyST混合检索框架,通过LLM提取属性约束过滤并结合嵌入搜索处理非结构化部分,实验证明其优于传统基线且提升检索精度。
2025-08-25 cs.AI cs.IR
FLOW-BENCH: Towards Conversational Generation of Enterprise Workflows
IBM Research AI(IBM人工智能研究院)
本文提出FLOW-BENCH数据集与FLOW-GEN方法,利用LLM将自然语言指令经Python语法中间表示转换为BPMN、DMN等流程定义,并在八个LLM上评估。
2025-05-16 cs.AI cs.SE
A Hybrid GA LLM Framework for Structured Task Optimization
本研究提出融合遗传算法与大语言模型的GA LLM混合框架,通过语言模型引导进化操作迭代优化结构化输出,在多类任务中实现了更优的约束满足度与解决方案质量,且便于适配新任务。
2025-06-16 cs.CL
Opti-Agent-Bench: Benchmarking End-to-End Optimization R&D Agents on Real-World Business Problems
Ding Talk, Alibaba Group(钉钉,阿里巴巴集团);Zhejiang University(浙江大学)
研究针对大语言模型解决优化问题的现有不足,引入Opti-Agent-Bench基准测试,通过业务语义真实性、模块化评估、ORAC双层有效性框架,在多工业规模任务中揭示当前模型关键失败模式。
2026-07-14 cs.AI
Business as Rulesual: A Benchmark and Framework for Business Rule Flow Modeling with LLMs
Zhejiang University of Technology(浙江工业大学);Zhejiang Key Laboratory of Visual Information Intelligent Processing(浙江省视觉信息智能处理重点实验室);University of Aberdeen(阿伯丁大学);University of Birmingham(伯明翰大学)
提出BREX基准(409份真实业务文档与2855条专家标注规则)和ExIde框架,通过可执行伪代码生成显式建模规则依赖,在13个LLM上验证了可执行接地作为归纳偏置的有效性。
2026-06-24 cs.CL
DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening
Georgia Institute of Technology(佐治亚理工学院)
介绍DS@GT参加eRisk 2026对话式抑郁症筛查挑战赛,其系统历经三个阶段,最终采用混合配置并添加算法组件。提交三次运行结果,混合运行3表现出色,以低成本超付费基线,验证较弱开源模型经算法监督可与专有模型竞争。
2026-07-21 cs.AI cs.CL
A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models
Hefei University of Technology(合肥工业大学);University of Delaware(特拉华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出贝叶斯混合参数高效微调方法,结合Adapter、LoRA和前缀微调并建模为分布,实现不确定性量化与动态适应,在业务任务上优于现有基线。
2025-07-31 cs.AI cs.LG
Evaluating 5W3H Structured Prompting for Intent Alignment in Human-AI Interaction
Huizhou Lateni AI Technology Co., Ltd.(惠州拉提尼人工智能科技有限公司);Huizhou University(惠州大学)
本文通过对比三种提示条件,评估了基于5W3H的PPS框架在人机交互中提升意图对齐的效果,发现渲染化的PPS在高歧义任务中表现更优,且揭示了结构化提示在实际应用中的价值。
2026-03-19 cs.AI
Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
提出HyWIA方法,通过混合粒度权重重要性评估提升大语言模型剪枝效果,实现更优的性能保留和结构优化。
2026-03-11 cs.AI cs.CL cs.LG
Semantic Layer Induction from Raw Telemetry via Hierarchical LLM and RAG Abstraction
University of Technology Sydney(悉尼科技大学);University of Sydney(悉尼大学)
本文提出一个端到端框架,通过两阶段语义抽象(LLM推理与RAG流程)从原始遥测数据自动构建业务语义层,显著提升语义质量并降低维护成本。
2026-09-18 cs.AI cs.CL cs.IR
Hybrid Self-evolving Structured Memory for GUI Agents
University of California, San Diego(加州大学圣迭戈分校)
HyMEM通过结合离散符号节点与连续轨迹嵌入,提升GUI代理的结构化记忆与自进化能力,使开源模型性能超越闭源模型。
2026-03-11 cs.AI cs.LG
Matching Table Metadata with Business Glossaries Using Large Language Models
IBM Research(IBM研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本文研究利用大语言模型将表元数据与业务术语表自动匹配,通过生成列名上下文和直接推断关系两种方法,在无需人工调整和数据访问的情况下实现有效检索与分析。
2023-09-08 cs.AI cs.CL cs.IR
eSapiens: A Platform for Secure and Auditable Retrieval-Augmented Generation
eSapiens Team(eSapiens团队)
eSapiens是一个面向企业的安全可审计AIaaS平台,通过集成结构化文档摄取、混合向量检索、无代码编排及THOR Agent,支持主流LLM,实验证明其在法律语料检索精度和生成事实一致性上表现优异。
2025-07-13 cs.AI
Control in Hybrid Chatbots
Kauz GmbH(考茨有限公司);Coburg University of Applied Sciences and Arts(科堡应用科学与艺术大学);University of Sheffield(谢菲尔德大学);KnowledgeSpaces UG (haftungsbeschr.)(知识空间有限责任公司(承担有限责任))
本报告通过案例研究探讨了如何集成商业规则引擎与神经聊天机器人以实现对模型“幻觉”的控制,并分析了该集成模式的控制水平及替代方法。
2023-11-20 cs.AI cs.CL cs.HC
Ethical and Scalable Automation: A Governance and Compliance Framework for Business Applications
University College London(伦敦大学学院)
针对企业AI应用的伦理、治理与合规风险,本文提出兼顾伦理、可控、可行性与可取性的统一框架,并通过金融、医疗及LLM合成观点案例验证其透明度、性能与可扩展性。
2024-12-05 cs.AI cs.LG
Beyond IVR: Benchmarking Customer Support LLM Agents for Business-Adherence
本文提出JourneyBench基准测试,用于评估客户支持中遵循业务政策的LLM代理,展示动态提示代理在提升政策遵循度方面的有效性。
2026-01-02 cs.CL
AI Playing Business Games: Benchmarking Large Language Models on Managerial Decision-Making in Dynamic Simulations
Transport and Telecommunication Institute(交通与电信学院)
本研究提出一种用于LLM基准测试的可复现开放获取管理模拟器,评估Gemini等五个LLMs在动态商业模拟中的多步骤战略决策能力,为长期决策评估提供新途径。
2026-08-07 cs.AI
SUQL: Conversational Search over Structured and Unstructured Data with Large Language Models
Stanford University(斯坦福大学)
提出SUQL语言,扩展SQL以支持混合数据对话搜索,结合上下文学习解析器,在HybridQA接近SOTA,Yelp数据集上成功率90.3%。
2024-03-13 cs.CL cs.PL
Leveraging GPT-4o Efficiency for Detecting Rework Anomaly in Business Processes
University of Milan(米兰大学)
本文研究GPT-4o-2024-08-06检测业务流程返工异常的有效性,开发相关工具并在特定合成数据集上用三种提示技术测试不同异常分布,结果显示模型性能优异,且异常分布和提示策略影响性能。
2025-02-10 cs.AI cs.LG
BizSage: A Self-Evolving Multi-Agent Framework for Business Research with Efficient Knowledge Retrieval
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
BizSage提出结合细粒度检索与自进化机制的多智能体框架,通过横向知识图谱和个性化PageRank提升商业研究证据检索,在基准测试中多数指标领先且零幻觉引用。
2026-09-22 cs.CL cs.MA
EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems
Robert Half(罗伯特·哈夫公司)
研究针对商业AI系统评估忽视迭代改进价值的问题,提出EvalLoop方法,通过维度指标分组、故障模式分类和结构化迭代工作流程,实现评估驱动的迭代改进,经案例研究验证有效,还能助力模型选择与部署权衡,且被打包为可重用工件。
2026-07-08 cs.AI cs.SE
SME-TEAM: Leveraging Trust and Ethics for Secure and Responsible Use of AI and LLMs in SMEs
Centre for Securing Digital Futures, Edith Cowan University(数字未来安全研究中心,爱迪生·科温大学);School of Computing, De Montfort University(计算学院,德蒙福特大学)
本文提出面向中小企业的多阶段框架SME-TEAM,通过数据、算法、人类监督和模型架构四大支柱将伦理原则与操作实践结合,以信任和伦理驱动AI与LLMs的安全负责任采用。
2025-11-05 cs.AI cs.CR cs.LG
Predicting Business Angel Early-Stage Decision Making Using AI
York University(约克大学)
本研究利用大语言模型自动提取关键因素评估(CFA)特征并训练机器学习分类模型,以85.0%的准确率预测商业天使投资决策,显著提升了评估的可扩展性与可靠性。
2025-07-04 cs.AI cs.LG
Enhancing Business Analytics through Hybrid Summarization of Financial Reports
Jadavpur University, Kolkata, India(贾瓦德普尔大学)
本文提出混合摘要框架,结合提取和抽象技术,生成简洁准确的财务报告摘要,提升商业分析效率。
2025-12-28 cs.AI cs.CL
Prompt Migration: Stabilizing GenAI Applications with Evolving Large Language Models
Tursio Inc.(Tursio公司)
本文提出提示迁移方法,通过重新设计提示和测试平台,应对LLM升级导致的模型漂移,恢复生成式AI应用的可靠性,并以Tursio案例验证其有效性。
2025-07-08 cs.AI cs.DB cs.SE
Large Language Models to Enhance Business Process Modeling: Past, Present, and Future Trends
INESC-ID
本文综述了利用大语言模型进行自然语言到BPMN流程模型转换的AI方法,分析了从规则基础到LLM架构的转变,指出语义正确性、评估碎片化等挑战,并提出未来研究方向。
2026-04-15 cs.AI cs.IR cs.SE
From Drawings to Decisions: A Hybrid Vision-Language Framework for Parsing 2D Engineering Drawings into Structured Manufacturing Knowledge
Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)(新加坡制造技术研究院,新加坡科技研究局);Advanced Remanufacturing and Technology Centre (ARTC), Agency for Science, Technology and Research (A*STAR)(先进再制造与技术中心,新加坡科技研究局);Nanyang Technological University(南洋理工大学)
提出融合YOLOv11-OBB与轻量级VLM的混合框架,从2D工程图纸中检测并解析制造注释;在1,367张机械图纸上验证,Donut取得93.5% F1。
2025-09-28 cs.AI cs.CV cs.IR
Understanding and representing the semantics of large structured documents
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
理解大型结构化文档(例如学术文章、提案请求或业务报告)是一项复杂且困难的任务。它涉及发现文档的总体目的和主题,理解其部分和子部分的功能和意义,并提取有关它们的低级别实体和事实。在这项研究中,我们提出了一个基于深度学习的文档本体,从大量的学术文章和商业文档中捕获通用语义结构和特定领域的语义概念。本体能够描述文档的不同功能部分,可以用于增强语义索引,以便人类和机器更好地理解。我们通过对arXiv和征求建议书文件中的学术文章数据集进行广泛的实验来评估我们的模型。
2018-07-24 cs.CL cs.IR cs.LG
Using Structured Representation and Data: A Hybrid Model for Negation and Sentiment in Customer Service Conversations
IBM-Research, Almaden(IBM阿尔马登研究院)
Twitter的客户服务互动最近已经成为一个有效的平台,以回应和与客户互动。在这项工作中,我们探讨了否定在客户服务互动中的作用,特别是应用于情感分析。我们定义的规则,以确定真正的否定线索和范围更适合于会话数据比现有的一般审查数据。使用语义知识和句法结构的选区解析树,我们提出了一个算法的范围检测,执行最先进的BiLSTM。我们进一步研究了使用传统SVM和神经网络对客户服务会话数据的情感预测任务的否定范围检测结果。我们提出了一种基于反义词词典的否定方法,应用于情感分析的CNN-LSTM组合模型。实验结果表明,基于反义词的方法优于以往的基于词典和神经网络的方法。
2019-06-11 cs.AI cs.CL
Bridging Business Intent and Data: A Benchmark for Automatic Relational Data Product Generation
IBM Research(IBM研究院)
DP-Bench是一个全新的基准,用于评估自动数据产品创建,结合了ELT和文本到SQL基准,并提出基于大语言模型的方法作为基线。
2026-08-26 cs.CL cs.DB
OpenQA: Hybrid QA System Relying on Structured Knowledge Base as well as Non-structured Data
Tsinghua University(清华大学);Peking University(北京大学)
基于关键词检索的搜索引擎由于关键词相关网页的返回,已经不能适应智能物联网时代的信息获取方式。如何从海量的互联网数据中快速、准确、有效地获取用户所需的信息,已成为亟待解决的关键问题之一。提出了一个基于结构化知识库和非结构化数据的智能问答系统OpenQA,用户可以在系统中提出问题,模型可以快速准确地回答用户的问题。我们将基于语义解析和深度表示学习的KBQA结构化问答,以及基于检索和神经机器阅读理解的两阶段非结构化问答集成到OpenQA中,通过OpenQA中的Transformer答案选择模块,返回概率最高的最终答案。我们在构建的数据集上进行了初步的实验,实验结果证明了所提出的智能问答系统的有效性。同时,OpenQA平台各模块的核心技术仍处于学术热点前沿,基于这些学术热点,OpenQA的理论精髓和丰富性将得到进一步探索。
2021-12-31 cs.CL
HyKnow: End-to-End Task-Oriented Dialog Modeling with Hybrid Knowledge Management
Huawei Technologies(华为技术有限公司);Tsinghua University(清华大学)
面向任务的对话(task-oriented dialog,TOD)系统通常管理结构化知识(例如本体和数据库)来引导面向目标的对话。然而,它们不足以处理基于非结构化知识(例如评论和文档)的对话。在本文中,我们制定了一个任务,基于结构化和非结构化的知识建模TOD。为了解决这个问题,我们提出了一个TOD系统与混合知识管理,HyKnow。它扩展了信念状态来管理结构化和非结构化知识,并且是第一个基于这两种知识联合优化对话建模的端到端模型。我们在MultiWOZ 2.1数据集的修改版本上进行实验,其中对话框基于混合知识。实验结果表明,HyKnow具有较强的端到端性能相比,现有的TOD系统。它还优于管道知识管理方案,具有更高的非结构化知识检索精度。
2021-06-02 cs.CL
CEntRE: A paragraph-level Chinese dataset for Relation Extraction among Enterprises
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Henan University(河南大学)
企业关系抽取的目的是从非结构化或半结构化的文本数据中发现企业实体对并识别它们之间的业务关系,它在风险分析、评级研究和供应链安全等实际应用中具有重要意义。然而,以往的工作主要集中在获取企业的人员、企业业务等属性信息,而对企业关系抽取的研究较少。为了鼓励研究的进一步进展,我们引入了CENTRE,这是一个新的数据集,它是从公开的商业新闻数据中构建的,经过仔细的人工注释和智能数据处理。在CENTRE上使用六个优秀模型进行的大量实验证明了我们提出的数据集的挑战。
2022-10-19 cs.CL cs.CR
Hybrid Text Feature Modeling for Disease Group Prediction using Unstructured Physician Notes
National Institute of Technology Karnataka Surathkal(卡纳塔克苏拉特卡尔国家理工学院)
现有的临床决策支持系统(CDSS)在很大程度上依赖于结构化患者数据和电子健康记录(EHR)的可用性来帮助护理人员。然而,在发展中国家的医院中,结构化患者数据格式没有被广泛采用,医疗专业人员仍然依赖于非结构化文本形式的临床记录。由医务人员记录的这种非结构化的临床记录也可以是丰富的患者特定信息的潜在来源,这些信息可以用于构建CDSS,甚至用于发展中国家的医院。如果可以使用这种非结构化的临床文本,将不再需要手动和耗时的EHR生成过程,从而节省大量工时和成本。在本文中,我们提出了一个通用的ICD 9疾病组预测CDSS建立在非结构化的医生笔记使用混合词嵌入建模。这些词嵌入用于训练深度神经网络,以有效地预测ICD 9疾病组。实验评估表明,所提出的方法优于国家的最先进的疾病组预测模型建立在结构化的EHR的15%的AUROC和40%的AUPRC方面,从而证明了我们的假设,并消除依赖结构化的患者数据的可用性。
2019-11-26 cs.CL cs.CY cs.LG