Enhancing Computational Cognitive Architectures with LLMs: A Case Study
本文以 Clarion 认知架构为例,探讨将其与 LLMs 协同结合,利用隐式-显式二分法实现无缝集成,从而将 LLMs 的计算能力与 Clarion 的心理学精细性相结合,以同时应对现实世界复杂性与心理学现实性。
2025-09-13 cs.AI
LLMs for health: Perceived benefits, risks, intention to use AI chatbots, and willingness to self-disclose across sensitive health topics
Tilburg University(蒂尔堡大学);University of Amsterdam(阿姆斯特丹大学)
研究探讨与AI聊天机器人讨论的话题类型及个体特征对健康相关感知、使用意愿和自我披露意愿的影响,通过在线实验发现其主要与感知利弊和个人特征有关,而非话题类型。
2026-07-13 cs.AI cs.HC
Survey and Evaluation of Converging Architecture in LLMs based on Footsteps of Operations
Department of Electrical and Electronic Engineering(电子工程系);Department of Systems Semiconductor Engineering(半导体系统工程系);BK21 Graduate Program in Intelligent Semiconductor Technology(智能半导体技术研究生项目)
本文追溯大语言模型操作改进的演进,分析了LLM日益趋同的架构在层配置、操作机制和模型规模方面的表现,并使用RTX 6000评估了不同超参数及部署环境下的性能差异。
2024-10-15 cs.AI cs.CL cs.LG
LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs
University of Maine(缅因大学)
提出 LeMo-NADe 框架,结合专家系统与 LLM,依据用户指定的功耗、模型大小、推理速度和 CO2 排放等多参数自动发现边缘设备神经网络架构。
2024-02-28 cs.AI cs.LG
Roles of LLMs in the Overall Mental Architecture
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文借助人类心智架构理论,指出现有LLM主要对应内隐过程,并提出利用双过程计算认知架构融合内隐与外显过程,实现LLM与认知架构的双向协同增强。
2024-10-26 cs.AI cs.CY q-bio.NC
Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs
UW-Madison(威斯康星大学麦迪逊分校);Amazon Web Services(亚马逊网络服务)
本文研究了模型架构因素如何影响推理成本与准确性,提出条件缩放定律并验证了其有效性,结果表明优化架构在相同训练预算下提升了准确率和推理吞吐量。
2026-05-13 cs.AI cs.LG
From LLMs to Edge: Parameter-Efficient Fine-Tuning on Edge Devices
Graz University of Technology(格拉茨技术大学);CSH Vienna(维也纳CSH)
该研究针对边缘设备的卷积架构测试主流PEFT方法,发现其在深度可分离卷积上内存效率仅为LLM中的一半,而适配边缘优化卷积的适配器类PEFT可降95%更新FLOPs,为边缘场景的PEFT选型提供指导。
2025-07-31 cs.AI cs.LG
CUDA-LLM: LLMs Can Write Efficient CUDA Kernels
Shanghai Jiao Tong University(上海交通大学)
针对大语言模型难以生成高性能GPU适配代码的问题,提出特征搜索与强化框架FSR,可联合优化CUDA代码的正确性与运行效率,生成的内核速度最高超人类手写代码179倍,为GPU编程自动化提供新路径。
2025-06-10 cs.AI cs.LG
PIM-LLM: A High-Throughput Hybrid PIM Architecture for 1-bit LLMs
University of South Carolina(南卡罗来纳大学)
本文提出PIM-LLM混合架构,结合模拟PIM和数字脉动阵列分别加速1-bit LLM中的低精度和高精度矩阵乘法,在吞吐量和能效上显著优于传统及现有PIM加速器。
2025-03-31 cs.AI cs.AR
Cross-Architecture Model Diffing with Crosscoders: Unsupervised Discovery of Differences Between LLMs
Anthropic(Anthropic公司);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本文提出Dedicated Feature Crosscoders,通过无监督方法发现不同LLM之间的行为差异,如中国共产党一致性、美国例外论和版权拒绝机制。
2026-02-12 cs.AI cs.LG cs.SE
A Theory for Token-Level Harmonization in Retrieval-Augmented Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出首个RAG理论,通过分布融合量化益处与损害,并基于此提出令牌级协作方法Tok-RAG,无需训练即可预测RAG效果,实验验证其有效性。
2025-02-28 cs.AI cs.CL cs.IR
Can A Cognitive Architecture Fundamentally Enhance LLMs? Or Vice Versa?
Rensselaer Polytechnic Institute(伦斯勒理工学院)
论文主张将计算认知架构与 LLM 双向结合:以双过程和神经符号机制增强 LLM,同时革新认知架构以吸纳 AI 进展。
2024-01-19 cs.AI cs.CY
PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX
Carnegie Mellon University(卡内基梅隆大学);RadixArk;Stanford University(斯坦福大学)
研究提出PTXBench基准测试,评估LLM结合架构特定PTX优化GPU内核的能力,发现现有模型能力不均衡,经微调Qwen3.6-27B可改善部分任务但泛化仍不均,该基准为相关研究提供可审计测试平台。
2026-09-29 cs.AI cs.CL
LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding
CUHK MMLab(香港中文大学MML实验室);CUHK CURI(香港中文大学CURI);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(创新香港下的CPII)
提出LM-Searcher框架,利用大语言模型和统一数值编码NCode实现跨领域神经架构搜索,通过排序任务和剪枝子空间采样训练,在领域内外任务中取得有竞争力性能。
2025-09-25 cs.AI cs.CL
Rethinking Internet Communication Through LLMs: How Close Are We?
University of Notre Dame(圣母大学)
本文提出一种以 LLM 表征通信对端认知、由用户查询 LLM 的新型互联网通信架构,并评估其技术可行性与未来研究方向。
2023-09-25 cs.AI cs.LG cs.NI
Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation
University of Hamburg(汉堡大学);Italian Institute of Technology(意大利技术研究院);Comenius University(考门斯基大学)
本文提出一种双层架构,结合两个LLM的推理与指令遵循能力及受人类认知启发的记忆模型,解决多任务切换中的跨任务动作生成问题,在五个机器人任务上显著优于基线。
2024-10-11 cs.AI cs.RO
ArchAgent: Scalable Legacy Software Architecture Recovery with LLMs
HiThink Research(慧思研究);University of Science and Technology of China(中国科学技术大学)
ArchAgent通过结合静态分析、自适应分段和LLM合成,实现大规模遗留软件架构的高效恢复与多视图业务对齐。
2026-01-19 cs.AI cs.SE
Are LLMs Good For Quantum Software, Architecture, and System Design?
UT Austin(德克萨斯大学奥斯汀分校)
本文探讨大语言模型在量子系统设计中的应用,评估了九种前沿模型与研究生在量子计算问题上的表现,提出未来研究方向。
2026-03-27 cs.AI quant-ph
Agentic Large Language Models, a survey
Leiden University Leiden Netherlands;Leiden University \& AI Lab, Pegasystems Leiden Netherlands;Leiden University;Leiden University \& AI Lab, Pegasystems
本文综述了代理大语言模型的研究现状,探讨了其在医疗诊断、物流和金融分析等领域的应用,并提出通过推理、行动和交互提升大语言模型能力的未来研究方向。
2025-11-22 cs.AI cs.CL cs.LG
Dr. GPT Will See You Now, but Should It? Exploring the Benefits and Harms of Large Language Models in Medical Diagnosis using Crowdsourced Clinical Cases
针对现有研究缺乏LLM回答普通用户日常健康问题的真实场景评估的空白,采用众包竞赛方式,经医师评估发现4款公开LLM回复准确率达76%,并验证了RAG版本的提升潜力,补充了定性见解。
2025-06-13 cs.AI cs.CY
Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Harvard Medical School(哈佛医学院);Clalit Health Services(克拉利特医疗服务机构);Harvard College(哈佛学院);Harvard-MIT Program in Health Sciences and Technology(哈佛-麻省理工健康科学与技术项目)
本研究构建含208个罕见病临床情景的基准,发现11种先进LLMs在决策中优先资源均等分配而非患者获益,且存在权威框架效应,揭示LLMs决策支持系统会忽略精细伦理考量。
2026-08-27 cs.AI cs.CL cs.CY
Conformer LLMs -- Convolution Augmented Large Language Models
Stanford University(斯坦福大学)
本工作将卷积层与Transformer结合用于大型语言模型,通过因果卷积滤波器结合局部与全局依赖,在性能上取得显著提升,并展示了一种可超越语音应用用于大规模语言建模的稳健架构。
2023-07-02 cs.AI cs.CL cs.LG
Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
Telefónica Innovación Digital, Scientific Research(西班牙电信数字创新研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidad Autónoma de Madrid(马德里自治大学)
针对多语言语音识别,提出联邦学习基准,评估四种语音-大语言模型架构,发现独立调整学习率和三组件适配可获最佳效果,FedProx有效性依赖架构,为隐私敏感分布式部署提供设计指导。
2026-09-22 cs.AI cs.CL
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making
The Pennsylvania State University(宾夕法尼亚州立大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型在制造决策中存在的幻觉、缺乏充分依据等问题,提出融合ACT-R认知架构与LLM的神经符号架构LLM-ACTR,在制造设计任务上相较纯LLM基线实现了任务性能和决策依据性的双重提升。
2024-08-17 cs.AI cs.CL cs.SC
From Untamed Black Box to Interpretable Pedagogical Orchestration: The Ensemble of Specialized LLMs Architecture for Adaptive Tutoring
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出ES-LLMS架构,通过分离决策与表达,利用可解释的BKT模型协调专精代理,提升辅导系统的可控性和可靠性,实验显示其在指导与信任方面优于传统模型。
2026-03-25 cs.AI cs.CY
Topos Theory for Generative AI and LLMs
Adobe Research and University of Massachusetts, Amherst(Adobe研究院和马萨诸塞大学)
本文基于topos理论设计新型范畴生成式AI架构,利用范畴论泛构造(如拉回、推出等)构建LLM新组合结构,证明LLM范畴构成topos,并用反向传播的函子特征定义潜在实现。
2025-08-05 cs.AI
DeepThought: An Architecture for Autonomous Self-motivated Systems
INESC-ID;ELLIS Lisbon Unit(ELLIS里斯本分部);Instituto Superior Técnico, ULisboa(里斯本大学高等技术学院);MARETEC;Inst. Telecomunicações(电信研究所);ISR(系统与机器人研究所)
本文提出DeepThought架构,整合LLMs与互补学习系统等理论,使认知语言智能体具备能动性、自我激励和元认知特征。
2023-11-14 cs.AI
Human Adults and LLMs as Scientists: Who Benefits from Active Exploration?
Mila - Quebec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学);University of California Berkeley(加州大学伯克利分校);New York University(纽约大学);Meta FAIR;MIT Media Lab(麻省理工学院媒体实验室);Montreal Neurological Institute(蒙特利尔神经科学研究所)
本研究通过主动探索实验,发现主动探索能显著提升成人对合取因果规则的推理能力,但合取规则仍需更多测试;同时比较了大型语言模型的表现,发现部分模型在假设推断准确率上接近人类,但探索策略效率较低且存在类似的合取-析取性能差距。
2026-06-04 cs.AI cs.CL
Assessing LLMs for Front-end Software Architecture Knowledge
University of Victoria(维多利亚大学)
本研究基于布鲁姆分类法构建评估框架,考察大语言模型对 iOS VIPER 架构的理解、复现与生成能力,发现其在评价和创造等高阶任务中表现优异,但在需要精确检索架构细节的低阶任务中存在不足,并提出一种面向软件架构能力评估的基准格式。
2025-03-10 cs.AI cs.SE
From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond
Paul Dubois(保罗·杜博伊斯)
本文论证LLM是世界模型的退化特例,并提出从NTP到JEPA的连续谱系,逐步放松LLM约束,同时探讨其可扩展性挑战。
2026-06-29 cs.AI cs.CL cs.LG
RAG-based Architectures for Drug Side Effect Retrieval in LLMs
Kwaai;University of Pittsburgh(匹兹堡大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所);Universidad Nacional de Asunción(亚松森国立大学)
针对大语言模型在药物警戒领域缺乏专业知识且易产生幻觉的问题,本文提出RAG和GraphRAG两种架构,将药物副作用知识集成到Llama 3 8B模型中,在19,520条关联数据上验证GraphRAG实现近乎完美的副作用检索准确率。
2025-07-18 cs.AI cs.CL cs.IR
CodegenBench: Can LLMs Write Efficient Code Across Architectures?
Sun Yat-sen University(中山大学);National Supercomputing Center in Wuxi(无锡国家超级计算机中心);National Supercomputing Center in Shenzhen(深圳国家超级计算机中心);University of the Chinese Academy of Sciences(中国科学院大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
提出CodegenBench基准测试,评估LLMs在x86_64、Sunway和Kunpeng三种架构上生成高效并行代码的能力,发现其在通用架构上表现良好,但在领域特定架构上性能显著下降。
2026-06-01 cs.AI cs.SE
How Effective Is Constitutional AI in Small LLMs? A Study on DeepSeek-R1 and Its Peers
Shibaura Institute of Technology(芝浦工业大学);Kempten University of Applied Sciences(肯普滕应用技术大学)
本文研究宪法AI(CAI)的自我批评机制在7-9B参数小型未审查模型上的效果,发现基于Llama的模型可显著降低危害,其他架构改进有限,表明CAI有效性因模型架构和推理能力而异。
2025-04-11 cs.AI cs.CY cs.LG
Supporting architecture evaluation for ATAM scenarios with LLMs
Rey Juan Carlos University(雷昂·卡洛斯大学);ISISTAN, CONICET/UNICEN(ISISTAN,CONICET/UNICEN);Universidad Politécnica de Madrid(马德里理工大学)
研究使用 LLM(如 MS Copilot)部分自动化软件架构评估中的场景选择与分析,发现其在风险、敏感点和权衡分析上优于人工,有效提升决策效率。
2025-05-30 cs.AI cs.SE
Enabling New HDLs with Agents
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文提出HDLAgent,一个针对知识有限的LLMs优化的AI智能体,旨在解决LLMs支持新型HDLs的挑战并显著增强现成模型。
2024-12-31 cs.AI cs.AR cs.LG
Making LLMs Reliable When It Matters Most: A Five-Layer Architecture for High-Stakes Decisions
Centre for Digital Therapeutics(数字治疗中心);Keck School of Medicine, University of Southern California(南加州大学凯克医学院);Vivenxia
针对LLM在高风险战略决策中可靠性低的问题,提出基于系统性定性评估的五层保护架构,通过7阶段校准序列维持人机认知伙伴关系,防止可避免遗憾并满足投资回报预期。
2025-11-10 cs.AI
SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models
Moore Threads AI(摩尔线程人工智能);GuangDong University of Technology(广东工业大学)
SEKI是一种基于大语言模型的两阶段神经架构搜索方法,通过自进化迭代优化和知识蒸馏生成新架构,无需领域数据,以0.05个GPU天实现SOTA性能并展现强泛化能力。
2025-02-27 cs.AI cs.CL
A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning
University of Florida(佛罗里达大学);Selfii
本研究围绕患者信息抽取任务,考察不同架构大语言模型、参数高效微调算法及多任务指令微调的效果,通过多数据集基准测试验证相关方法的抽取性能与泛化能力。
2025-09-05 cs.AI cs.CL
Do LLMs Benefit From Their Own Words?
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(麻省理工学院电子工程与计算机科学系);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
研究发现,省略大型语言模型自身历史上下文可提高响应质量并减少内存消耗。
2026-08-12 cs.AI cs.CL
A Generative Caching System for Large Language Models
Cisco Research(思科研究中心)
针对大语言模型访问延迟高、查询成本高的问题,提出一种具备生成式缓存功能的新型缓存系统,可合成缓存响应回答新查询,优化了语义缓存算法平衡成本、延迟与响应质量,性能优于GPTcache。
2025-03-22 cs.AI cs.DB cs.DC
Benefits and Harms of Large Language Models in Digital Mental Health
Georgia Institute of Technology(佐治亚理工学院)
本文从生态框架视角探讨了大型语言模型(LLMs)在数字心理健康工具设计、开发与实施中的机遇与风险,分析四个应用领域,并呼吁未来研究、倡导和监管致力于创建更负责任、公平且安全的LLM心理健康工具。
2023-11-07 cs.AI cs.CL cs.CY
Synergistic Integration of Large Language Models and Cognitive Architectures for Robust AI: An Exploratory Analysis
Carnegie Mellon University(卡内基梅隆大学)
本文探索LLM与认知架构的协同整合,提出模块化、能动性和神经符号三类方法,以结合二者优势并构建更鲁棒的智能代理系统。
2023-09-28 cs.AI
QV May Be Enough: Toward the Essence of Attention in LLMs
Aliyun(阿里云)
本文从词性标注和句法分析出发,探讨Transformer中QKV机制的本质,提出QV范式并验证其有效性,通过实验验证QV-Ka优化方案,为大语言模型发展奠定理论基础。
2026-03-11 cs.AI
Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文回顾了将低秩适配器与神经架构搜索(NAS)技术结合用于大型语言模型压缩与参数高效微调的方法,通过权重共享超网络等策略降低内存占用并加快推理,使模型在资源受限环境中更易部署。
2025-01-23 cs.AI cs.CL cs.LG
Using LLMs in Generating Design Rationale for Software Architecture Decisions
School of Computer Science, Wuhan University(武汉大学计算机学院);RMIT University(皇家墨尔本理工大学);School of Computer Science, Central China Normal University(中央师范大学计算机学院);School of Artificial Intelligence, Shenzhen Polytechnic University(深圳职业技术学院人工智能学院)
本研究评估了LLMs在生成软件架构决策设计理由方面的性能,通过实验和访谈探讨了不同提示策略的效果及实际应用的可行性。
2025-12-09 cs.AI cs.SE
Beyond Pipelines: A Fundamental Study on the Rise of Generative-Retrieval Architectures in Web Research
Institute for Advanced Studies in Basic Sciences(基础科学高级研究所)
本文研究了生成-检索架构在网页研究中的崛起,探讨了LLMs通过RAG对网页研究和行业的影响,分析了关键进展、挑战及未来方向。
2026-02-19 cs.AI cs.IR
A Context-Aware Cultural Heritage Guide Powered by LLMs
Università degli Studi di Torino(都灵大学)
本研究扩展了文化遗产网页应用Triangolazioni,构建与LLMs无关的松耦合架构,实现LLMs驱动的上下文感知文化遗产信息搜索与展示,丰富了文化遗产内容。
2026-08-04 cs.AI cs.HC cs.IR
When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs
研究多语言多任务下扩大推理计算量的方法,提出适应多语言场景的新型采样与选择策略,使8B和111B模型在m-ArenaHard-v2.0基准上胜率分别提升6.8和9.0。
2025-06-25 cs.AI cs.CL
Analysis of ChatGPT on Source Code
Honda Research Institute Europe(本田欧洲研究所)
本文分析了大语言模型尤其是ChatGPT在编程、代码分析与生成等领域的应用潜力,指出其虽能提效增准但尚无法完全取代人类程序员,且未来应用将持续增长。
2023-06-06 cs.AI cs.PL cs.SE
Towards Intrinsic Interpretability of Large Language Models:A Survey of Design Principles and Architectures
MOE Key Lab of Computational Linguistics, Peking University(计算语言学MOE实验室,北京大学);Beijing Academy of Artificial Intelligence, Beijing, China(北京人工智能研究院,北京,中国);Nanjing University of Science and Technology(南京理工大学);Purdue University(普渡大学)
本文综述了大语言模型内在可解释性的发展,分类现有方法为五种设计范式,并讨论开放挑战与未来研究方向。
2026-04-20 cs.AI cs.CL cs.LG
Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations
Arizona State University(亚利桑那州立大学);Hong Kong University of Science and Technology(香港科学与技术大学);Microsoft Research Asia(微软亚洲研究院);Smith College(史密斯学院)
本文通过交互评估探讨了理论思维能力提升对人机交互的实际影响,发现静态基准测试的改进未必能提升动态交互表现,强调了交互评估在开发下一代社交感知大语言模型中的重要性。
2026-04-28 cs.AI
ARLO: A Tailorable Approach for Transforming Natural Language Software Requirements into Architecture using LLMs
University of Southern California(南加州大学)
ARLO 利用大语言模型从自然语言需求中识别架构相关子集,并通过整数线性规划在可定制架构选择矩阵上求解最优架构,实现需求到架构的自动化映射与可追溯分析。
2025-04-08 cs.AI cs.SE
LEVI: Stronger Search Architectures Can Substitute for Larger LLMs in Evolutionary Search
Independent Researcher(独立研究者)
LEVI通过改进解决方案数据库、智能突变路由和排名保持代理基准,以更低成本在系统研究基准中取得最高成绩,超越现有框架。
2026-05-10 cs.AI cs.NE
LLMs as Research Tools: A Large Scale Survey of Researchers' Usage and Perceptions
University of Washington(华盛顿大学);Pioneer Centre for Artificial Intelligence(先锋人工智能中心);University of Copenhagen(哥本哈根大学);Princeton University(普林斯顿大学);Allen Institute for Artificial Intelligence (Ai2)(艾伦人工智能研究所(Ai2))
本研究通过对816位研究者的调查,揭示了LLMs在研究中的广泛使用(81%)及其对弱势群体的潜在益处,同时指出伦理担忧可能阻碍部分群体的采用。
2024-10-30 cs.AI cs.CL cs.CY