语言大模型 / LLM

Generative AI for CAD Automation: Leveraging Large Language Models for 3D Modelling

Sumit Kumar, Sarthak Kapoor, Harsh Vardhan, Yao Zhao

机构 * Georgia State University（佐治亚州立大学） ； Amazon LLC（亚马逊公司） ； Vanderbilt University（范德比尔特大学） ； Temple University（Temple 大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity

Da Ma, Lu Chen, Situo Zhang, Yuxun Miao, Su Zhu, Zhi Chen, Hongshen Xu, Hanqi Li, Shuai Fan, Lei Pan, Kai Yu

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 14 pages, 7 figures, 7 tables

Core Context Aware Transformers for Long Context Language Modeling

Yaofo Chen, Zeng You, Shuhai Zhang, Haokun Li, Yirui Li, Yaowei Wang, Mingkui Tan

机构 * South China University of Technology（华南理工大学） ； Peng Cheng Laboratory（鹏城实验室） ； Pazhou Laboratory（琶洲实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted for publication at ICML 2025

Associative memory inspires improvements for in-context learning using a novel attention residual stream architecture

Thomas F Burns, Tomoki Fukai, Christopher J Earls

机构 * SciAI Center, Cornell University, USA（SciAI中心，康奈尔大学，美国） ； Neural Coding and Brain Computing Unit, OIST, Japan（神经编码与脑计算单元，海洋研究所，日本） ； SciAI Center, Center for Applied Mathematics, School of Civil and Environmental Engineering, Cornell University, USA（SciAI中心，应用数学中心，土木与环境工程学院，康奈尔大学，美国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Comments 35 pages, 14 figures, 6 tables; accepted and published in TMLR

Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models

Junjie Wu, Gefei Gu, Yanan Zheng, Dit-Yan Yeung, Arman Cohan

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Yale University（耶鲁大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 Main Conference. First 2 authors contributed equally. Project webpage: https://wujunjie1998.github.io/Ref-Long-website/

Mitigating the Carbon Footprint of Chatbots as Consumers

Boris Ruf, Marcin Detyniecki

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Published in Lanka, S., Cabezuelo, A.S., Vuppalapati, C. (2025). Trends in Sustainable Computing and Machine Intelligence. Proceedings of ICTSM: International Conference on Trends in Sustainable Computing and Machine Intelligence 2024. Springer, Singapore

Can Memory-Augmented LLM Agents Aid Journalism in Interpreting and Framing News for Diverse Audiences?

Leyi Ouyang

机构 * South China Agriculture University Zhujiang College（华南农业大学珠江学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

Comments 9 pages, 4 figures, 5 tables

CompressKV: Semantic Retrieval Heads Know What Tokens are Not Important Before Generation

Xiaolin Lin, Jingcun Wang, Olga Kondrateva, Yiyu Shi, Bing Li, Grace Li Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CaliDrop: KV Cache Compression with Calibration

Yi Su, Quantong Qiu, Yuechi Zhou, Juntao Li, Qingrong Xia, Ping Li, Xinyu Duan, Zhefeng Wang, Min Zhang

机构 * School of Computer Science and Technology, Soochow University（1 计算机科学与技术学院，苏州大学） ； Huawei Cloud（2 华为云） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Segment Anything for Video: A Comprehensive Review of Video Object Segmentation and Tracking from Past to Future

Guoping Xu, Jayaram K. Udupa, Yajun Yu, Hua-Chieh Shao, Songlin Zhao, Wei Liu, You Zhang

专题命中 长上下文与记忆 ：foundation model(abstract)；prompting(abstract)

Comments 45 pages, 21 figures

VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges

Yuxuan Wang, Yiqi Song, Cihang Xie, Yang Liu, Zilong Zheng

机构 * NLCo Lab, State Key Laboratory of General Artificial Intelligence, BIGAI（NLCo实验室、国家一般人工智能重点实验室、BIGAI） ； School of Computer Science & Technology, Beijing Institute of Technology（计算机科学与技术学院、北京理工大学） ； Computer Science and Engineering, University of California（计算机科学与工程系、加州大学） ； Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所、北京大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

Comments To appear at ICCV 2025