Training Personalized Recommendation Systems from (GPU) Scratch: Look Forward not Backwards
KAIST（韩国科学技术院）
个性化推荐模型（RecSys）是由超大规模机服务的最流行的机器学习工作负载之一。训练RecSys的一个关键挑战是它的高内存容量要求，达到数百GB到TB的模型大小。在RecSys中，所谓的嵌入层占内存使用的大部分，因此当前的系统采用混合CPU-GPU设计，以使大型CPU内存存储占用内存的嵌入层。不幸的是，训练嵌入涉及几个内存带宽密集型操作，这与缓慢的CPU内存不一致，导致性能开销。先前的工作提出了在GPU内存中缓存频繁访问的嵌入，作为将嵌入层流量过滤到CPU内存的方法，但本文观察到这种缓存设计的几个限制。在这项工作中，我们提出了一个从根本上不同的方法来设计嵌入缓存的RecSys。我们提出的SockchPipe架构利用RecSys训练的独特属性来开发嵌入式缓存，不仅可以看到过去，还可以看到“未来”的缓存访问。SockchPipe利用这种属性来保证嵌入层的活动工作集可以“总是”在我们提出的缓存设计中被捕获，从而使嵌入层训练能够以GPU内存速度进行。
2022-05-10 cs.AI cs.AR cs.LG
Leveraging LLM Reasoning Enhances Personalized Recommender Systems
University of California, Berkeley（加利福尼亚大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文研究如何利用大语言模型的推理能力提升个性化推荐系统，提出自动评估推理质量的框架RecSAVER，并在零样本和微调设置下验证了推理对推荐任务质量的改善。
2024-07-22 cs.AI cs.CL cs.IR
A Simple Deep Personalized Recommendation System
Vrbo, part of Expedia Group（Vrbo，亿客行集团旗下品牌）
推荐系统是在双边度假租赁市场中匹配列表和旅行者的关键工具。这样的系统需要高容量来从大规模的隐式信号中提取用户对项目的偏好。为了学习这些偏好，我们提出了一个简单的深度个性化推荐系统来计算旅行者的条件嵌入。我们的方法结合了监督结构中的列表嵌入，以构建短期历史背景，从而为旅行者提供个性化建议。部署在生产环境中，这种方法计算效率高，可扩展，并允许我们捕获非线性依赖关系。我们的离线评估表明，使用深度平均网络创建的旅行者嵌入可以将下游转化预测模型的精度提高7%，优于更复杂的在线购物体验个性化基准方法。
2019-08-06 cs.IR cs.LG
Personalized Transfer of User Preferences for Cross-domain Recommendation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；WeChat Search Application Department, Tencent（腾讯微信搜索应用部）；SKLSDE, School of Computer Science, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）
冷启动问题仍然是推荐系统中一个非常具有挑战性的问题。幸运的是，辅助源域中冷启动用户的交互可以帮助目标域中的冷启动推荐。跨域推荐是解决冷启动问题的一种有效方法，如何将用户的偏好从源域传递到目标域是跨域推荐的关键问题。大多数现有的方法模型的一个共同的偏好桥转移偏好的所有用户。直觉上，由于用户之间的偏好不同，因此不同用户的偏好桥应该不同。沿着这条线，我们提出了一个新的框架命名为个性化的跨域推荐（PTUPCDR）的用户偏好转移。具体地说，一个Meta网络馈与用户的特征嵌入学习，以产生个性化的桥梁功能，实现个性化的转移的偏好，为每个用户。为了稳定地学习Meta网络，我们采用了面向任务的优化过程。利用元生成的个性化桥函数，可以将源域中的用户偏好嵌入转换到目标域中，并将转换后的用户偏好嵌入作为冷启动用户在目标域中的初始嵌入。使用大型的真实世界的数据集，我们进行了广泛的实验，以评估PTUPCDR的有效性的冷启动和热启动阶段。该代码已在https://github.com/easezyc/WSDM2022-PTUPCDR上提供。
2021-12-19 cs.IR cs.LG
Learning Behaviorally Grounded Item Embeddings via Personalized Temporal Contexts
Federal University of São Carlos（巴西萨尔瓦多大学）
本文提出TAI2Vec模型，通过整合时间接近性提升推荐系统中物品嵌入的准确性，实验显示其在80%以上的数据集上优于静态基线。
2026-04-16 cs.IR cs.LG
Cold-start Recommendation by Personalized Embedding Region Elicitation
VinAI Research（VinAI研究院）；The Chinese University of Hong Kong（香港中文大学）；College of Engineering & Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）
针对冷启动推荐中固定物品集限制性能的问题，提出两阶段个性化评分提取方案，利用区域估计表示用户嵌入并顺序选择自适应物品，显著提升了推荐效果。
2024-06-03 cs.IR cs.LG
PERSOMA: PERsonalized SOft ProMpt Adapter Architecture for Personalized Language Prompting
Google Research（谷歌研究院）
PERSOMA提出一种个性化软提示适配器架构，通过将用户交互历史重采样、压缩并转化为软提示嵌入，高效建模用户偏好，实验证明其在处理大规模复杂用户历史上优于现有嵌入和文本提示方法。
2024-08-02 cs.AI cs.CL cs.IR
Personalized Counterfactual Fairness in Recommendation
Rutgers University（罗格斯大学）
随着越来越多的用户使用推荐系统进行信息搜索和决策，推荐系统对人类和社会产生了越来越重要的影响。因此，解决推荐中潜在的不公平问题至关重要。就像用户对物品有个性化偏好一样，用户对公平性的诉求在很多场景下也是个性化的。因此，为用户提供个性化的公平推荐，以满足其个性化的公平需求是非常重要的。此外，以往的公平推荐工作主要集中在基于关联的公平性。然而，重要的是要从关联公平的概念，因果公平的概念，更恰当地评估公平的推荐系统。基于上述考虑，本文重点研究了在推荐系统中实现个性化的反事实公平性。为此，我们引入了一个框架，通过生成功能独立的用户嵌入推荐，通过对手学习实现反事实公平的建议。该框架允许推荐系统实现个性化的公平性，同时也涵盖非个性化的情况下，用户。在两个真实数据集上使用浅层和深层推荐算法进行的实验表明，该方法可以为用户生成更公平的推荐，并具有理想的推荐性能。
2021-11-05 cs.AI cs.IR cs.LG
UpDLRM: Accelerating Personalized Recommendation using Real-World PIM Architecture
Hong Kong Baptist University（香港浸会大学）；Shenzhen University（深圳大学）；Nankai University（南开大学）；Meta
针对深度学习推荐模型嵌入层的内存带宽瓶颈，提出基于UPMEM DPU存内计算硬件的UpDLRM方案，通过嵌入表划分优化负载与缓存，显著降低推理延迟。
2024-10-09 cs.AI cs.IR
Graph Federated Learning for Personalized Privacy Recommendation
Yangzhou University（扬州大学）；Jilin University（吉林大学）；City University of Hong Kong（香港城市大学）；Nanjing University（南京大学）
本文提出GFed-PP框架，通过构建用户-项目交互图和用户关系图，利用公开用户数据并保护私有用户隐私，在适应不同隐私需求的同时显著提升了联邦推荐系统的准确性。
2025-08-08 cs.AI cs.LG
PinnerSage: Multi-Modal User Embedding Framework for Recommendations at Pinterest
Pinterest Inc.（Pinterest公司）
潜在用户表示在技术行业中被广泛采用，用于为个性化推荐系统提供动力。大多数先前的工作推断出一个单一的高维嵌入来表示用户，这是一个很好的起点，但在提供用户的兴趣的充分理解不足。在这项工作中，我们介绍PinnerSage，一个端到端的推荐系统，通过多模态嵌入代表每个用户，并利用这种丰富的用户表示提供高质量的个性化推荐。PinnerSage通过层次聚类方法（Ward）将用户的行为聚类为概念上连贯的聚类来实现这一点，并通过代表性引脚（Medoids）总结聚类以提高效率和可解释性。PinnerSage已部署在Pinterest的生产中，我们概述了使其在非常大的规模上无缝运行的几个设计决策。我们进行了几个离线和在线A/B实验，以表明我们的方法显着优于单一的嵌入方法。
2020-07-07 cs.IR cs.LG cs.SI
LLM-Rec: Personalized Recommendation via Prompting Large Language Models
University of Rochester（罗切斯特大学）；UCLA（加利福尼亚大学洛杉矶分校）；Meta AI
本文提出LLM-Rec方法，通过四种文本增强提示策略利用大语言模型改进个性化文本推荐，实验表明即使简单MLP模型也能取得与复杂方法相当或更优的效果。
2024-04-02 cs.AI cs.CL cs.IR
Personalized News Recommendation System via LLM Embedding and Co-Occurrence Patterns
Beijing University of Technology（北京工业大学）；People’s Daily Online（人民网）
本文提出一种名为 LECOP 的新闻推荐算法，通过对比学习微调 LLM 编码新闻以识别用户偏好，并利用 LLM 生成关键词构建多种共现模式挖掘协同信息，实验证明其性能优越。
2024-11-09 cs.AI
Selective Prompting Tuning for Personalized Conversations with LLMs
University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）；ByteDance AI Lab（字节跳动AI实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森AI实验室）
针对LLMs个性化对话中文本提示效果不佳和直接微调易产生重复回复的问题，提出选择性提示调优（SPT），通过可训练密集检索器自适应选择软提示，结合对比和融合学习，在CONVAI2上使回复多样性提升高达90%。
2024-06-26 cs.AI cs.CL cs.LG
P5: Plug-and-Play Persona Prompting for Personalized Response Selection
NAVER（NAVER公司）；Kakao Brain
提出即插即用的角色提示方法P5，用于个性化回复选择，在零样本和微调设置下均显著提升性能，减少对角色语料依赖。
2023-10-10 cs.AI cs.CL cs.IR
Personalized Author Obfuscation with Large Language Models
The Graduate Center CUNY（纽约大学研究生中心）；Hunter College CUNY（纽约大学亨特学院）；Brooklyn College CUNY（纽约大学布鲁克林学院）
本研究针对大语言模型作者身份混淆效果的用户间双峰分布差异问题，提出个性化提示方法，性能优于标准提示技术，可部分缓解该问题。
2025-05-17 cs.AI cs.CL
Personalized Language Modeling from Personalized Human Feedback
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Princeton Language and Intelligence（普林斯顿语言与智能中心）
针对传统RLHF无法适配多样用户偏好的问题，提出高效框架P-RLHF，通过轻量用户模型联合学习偏好与个性化LLM，兼顾显隐式偏好且无需用户完整表述偏好，实验表现优于现有方法并已开源。
2024-12-09 cs.AI cs.CL cs.LG
Toward Word Embedding for Personalized Information Retrieval
Université de Grenoble（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Université de Saint-Étienne（圣艾蒂安大学）
本文介绍了在个性化信息检索的背景下，使用词嵌入（word2vec）查询扩展的初步工作。传统上，词嵌入是在一个通用的语料库上学习的，比如维基百科。在这项工作中，我们试图个性化的词嵌入学习，通过实现对用户的个人资料的学习。然后，词嵌入处于与用户兴趣相同的上下文中。我们的建议是在CLEF社会图书搜索2016年收集评估。研究结果表明，在个性化信息检索中，词嵌入的应用还有待进一步研究。
2016-06-22 cs.CL cs.IR
ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment
Huazhong University of Science and Technology（华中科技大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
提出ICG框架，利用多模态大语言模型和扩散模型，通过元标记提取语义特征、用户嵌入个性化对齐及多奖励学习策略，实现高质量、个性化封面图像生成。
2026-04-08 cs.CL
Joint Text Embedding for Personalized Content-based Recommendation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Etsy Inc.（Etsy公司）；Yahoo! Research（雅虎研究院）；Facebook（脸书）
学习良好的文本表示是许多推荐应用程序的关键。示例包括新闻推荐，其中每天不断地发布要推荐的文本。然而，大多数现有的推荐技术，如基于矩阵分解的方法，主要依赖于交互历史来学习项目的表示。虽然可以从用户交互数据中有效地学习项目的潜在因素，但在许多情况下，这样的数据是不可用的，特别是对于新出现的项目。在这项工作中，我们的目标是解决这个问题的个性化推荐完全新的项目与文本信息。我们铸造的问题作为一个个性化的文本排名问题，并提出了一个通用的框架，结合文本嵌入与个性化推荐。用户和文本内容被嵌入到潜在的特征空间。文本嵌入功能可以通过预测用户与项目的交互来端到端学习。为了减轻交互数据的稀疏性，并利用大量的文本数据，很少或没有用户交互，我们进一步提出了一个联合文本嵌入模型，该模型将无监督文本嵌入与组合模块相结合。实验结果表明，我们的模型可以显着提高推荐系统的有效性在现实世界的数据集。
2017-06-23 cs.CL cs.IR cs.LG
Dynamic Embeddings with Task-Oriented prompting
本研究提出面向任务提示的动态嵌入方法DETOT，通过可根据任务需求与反馈动态调整的灵活嵌入层优化输入表示，兼具准确率与计算效率提升，经实验验证优于现有方法。
2024-06-21 cs.CL cs.LG
Enhancing Medical Support in the Arabic Language Through Personalized ChatGPT Assistance
Zagazig University（扎加齐格大学）；Egypt-Japan University for Science and Technology（埃及-日本科技大学）
本研究评估了ChatGPT在阿拉伯语医疗诊断中的表现，通过编译疾病数据集并应用多种提示技术生成回复，发现其相似度平均分约76%，链式提示表现最佳，响应时间6.12秒，证实其作为医疗辅助工具的潜力。
2024-03-21 cs.CL cs.IR
PA-CoT: Profile-Adaptive Chain-of-Thought for Personalized Nutritional Consulting
ITMO University（ITMO大学）
该研究针对营养咨询提示方法缺乏画像分析步骤的缺陷，提出PA-CoT多阶段提示法，构建QPA基准并经对比实验证实，明确画像分析步骤可显著提升咨询的个性化与安全性。
2026-08-27 cs.AI cs.CL cs.HC
Exploring the Value of Personalized Word Embeddings
University of Michigan（密歇根大学）
在本文中，我们介绍了个性化的词嵌入，并检查他们的语言建模的价值。我们比较了我们提出的预测模型的性能时，使用个性化与通用的单词表示，并研究如何利用这些表示来提高性能。我们提供了在构建个性化模型时可以更准确地预测哪些类型的单词的见解。我们的研究结果表明，属于特定的心理语言学类别的一个子集的话往往会在他们的代表不同的用户和通用和个性化的词嵌入相结合，产生最好的性能，4.7%的相对减少困惑。此外，我们表明，使用个性化的词嵌入的语言模型可以有效地用于作者归属。
2020-11-11 cs.CL
Do Prompts Reshape Representations? An Empirical Study of Prompting Effects on Embeddings
Polytechnic University of Catalonia（加泰罗尼亚理工大学）；Bocconi University（博科尼大学）
该研究通过对提示嵌入的探测实验发现，提示虽影响语言模型表征质量，但与任务相关性无稳定关联，挑战了相关提示必带来更好表征的假设，并分析了潜在原因。
2025-10-22 cs.AI cs.CL
Personalized Product Search Ranking: A Multi-Task Learning Approach with Tabular and Non-Tabular Data
Walmart Global Tech（沃尔玛全球技术）
本文提出一种基于多任务学习的个性化产品搜索排序模型架构，整合表格与非表格数据并利用预训练TinyBERT，结合可扩展相关性标注机制，显著提升了模型性能。
2025-08-13 cs.AI cs.CL cs.IR
Meta-Task Prompting Elicits Embeddings from Large Language Models
University of Amsterdam（阿姆斯特丹大学）；University of Maryland（马里兰大学）；University of Technology Sydney（悉尼科技大学）；Microsoft Corporation（微软公司）；Tencent IEG（腾讯互动娱乐事业群）
本文提出MetaEOL方法，通过元任务提示从大型语言模型生成无监督句子嵌入，无需微调，在STS基准和下游任务中表现优异，并揭示新的缩放定律。
2024-07-22 cs.CL
Beyond the Hype: Embeddings vs. Prompting for Multiclass Classification Tasks
Thumbtack（Thumbtack公司）
本研究针对多类分类任务，对比基于嵌入的softmax模型与LLM提示框架，发现前者在准确率（高49.5%）、校准度、速度（图像14倍/文本81倍）和成本（低10倍）上更优，为专有数据集场景提供更合适的预测方案。
2025-11-11 cs.AI cs.CL cs.LG
Compositional Demographic Word Embeddings
University of Michigan（密歇根大学）
词嵌入通常来源于包含来自许多个体的文本的语料库，因此导致通用表示而不是个体个性化表示。虽然个性化嵌入可以用于提高语言模型性能和其他语言处理任务，但它们只能为具有大量纵向数据的人计算，而新用户则不是这种情况。我们提出了一种新形式的个性化词嵌入，其使用从用户的全部或部分人口统计信息（即，性别、年龄、地点、宗教）。我们发现，由此产生的人口统计意识的单词表示优于通用的单词表示的两个任务的英语：语言建模和词的关联。我们进一步探讨了可用属性的数量和它们的相对有效性之间的权衡，并讨论了使用它们的伦理影响。
2020-10-29 cs.AI cs.CL cs.LG
Customer-R1: Personalized Simulation of Human Behaviors via RL-based LLM Agent in Online Shopping
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Amazon（亚马逊）
本文提出Customer-R1，通过以显式用户画像为条件的强化学习与动作正确性奖励，提升在线购物场景中LLM智能体对个性化逐步用户行为的模拟保真度。
2025-10-18 cs.CL
PromptEmbedder: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting
Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与资讯工程系）；National Taiwan University AI Center of Research Excellence（国立台湾大学人工智能研究中心）
提出PromptEmbedder双LLM框架，通过可微分的软提示生成将嵌入知识从特定骨干权重中解耦，在保持性能的同时降低40% GPU内存并加速3.7倍训练。
2026-06-09 cs.AI cs.CL
Incremental user embedding modeling for personalized text classification
Amazon Alexa（亚马逊 Alexa）
个人用户简档和交互历史记录在现实世界的应用程序中（如聊天机器人、社交媒体、零售和教育）提供定制体验方面发挥着重要作用。由于历史数据的不断增长，利用用户个性化信息的自适应用户表示学习变得越来越具有挑战性。在这项工作中，我们提出了一个增量式的用户嵌入建模方法，其中嵌入用户的最近的交互历史动态地集成到积累的历史向量通过一个Transformer编码器。这种建模范式允许我们以连续的方式创建通用的用户表示，并减轻了数据管理的挑战。通过将其应用于基于Reddit数据集的个性化多类分类任务，我们证明了这种方法的有效性，并通过适当的评论历史编码和任务建模，在两个实验设置下，相对于基线系统，预测准确率分别提高了9%和30%。
2022-02-13 cs.CL cs.LG eess.AS
Personalized Query Auto-Completion Through a Lightweight Representation of the User Context
eBay Inc.（eBay公司）
查询自动完成（QAC）是在许多领域（包括Web和电子商务搜索）中广泛使用的功能，基于用户键入的前缀建议完整查询。近年来，QAC在文献中得到了广泛的研究，并且一直表明，添加个性化特征可以显着提高QAC的性能。在这项工作中，我们提出了一种新的个性化QAC的方法，使用轻量级的嵌入通过fastText学习。我们构造一个嵌入的用户上下文查询，这是最后几个查询由用户发出。我们还使用相同的模型来获得要排名的候选查询的嵌入。我们引入排名功能，计算候选查询和上下文查询之间的距离在嵌入空间。然后将这些特征与其他常用的QAC排名特征相结合，以学习排名模型。我们将我们的方法应用于大型电子商务搜索引擎（eBay），并表明具有我们提出的功能的排名器在所有测量的离线指标上都显着优于基线，这些指标包括平均倒数排名（MRR），成功率（SR），平均平均精度（MAP）和归一化折扣累积增益（NDCG）。我们的基线包括最受欢迎的完成（MPC）模型以及没有我们提出的功能的排名模型。具有所提出的特征的排名模型在所有度量上都比MPC模型有$20-30\%$改进。对于所有会话，我们获得了比基线排名模型高的$5\%$改进，当我们限制包含用户上下文的会话时，其提高到大约$10\%$。此外，我们提出的功能也显着优于基于文本的个性化功能在文献中研究之前，并添加基于文本的功能，我们提出的基于嵌入的功能的结果只有轻微的改进。
2019-05-03 cs.AI cs.CL cs.IR
Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering
King’s College London（伦敦国王学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出嵌入级框架EmbQA，通过无监督对比学习细化查询表示并引入探索性嵌入与熵选择机制，在提升开放域问答准确性的同时显著降低计算开销。
2025-09-20 cs.AI cs.CL cs.CY
Learning Interpretable Style Embeddings via Prompting LLMs
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）
本研究通过提示大语言模型生成合成文体测量数据集，训练出可解释的LISA风格嵌入，以解决现有风格表示不可解释的问题，并发布相关资源。
2023-10-09 cs.CL
Prompting-in-a-Series: Psychology-Informed Contents and Embeddings for Personality Recognition With Decoder-Only Models
Laboratoire de traitement et transport de l'information, Université Sorbonne Paris Nord, France（信息处理与传输实验室，索邦巴黎北大学，法国）；Institute of Communication Studies, National Yang Ming Chiao Tung University, Taiwan（传播学研究所，国立阳明交通大学，台湾）
PICEPR通过心理启发内容与嵌入技术，提升解码器-only模型在个性识别中的性能，实现5-15%的提升。
2025-12-07 cs.AI cs.CL
Steering Large Language Models for Machine Translation Personalization
CLCG, University of Groningen（格罗宁根大学）；University of Milano-Bicocca（米兰比可卡大学）
本文探讨在少量示例下如何个性化自动翻译，聚焦文学翻译领域，通过对比引导与稀疏自编码器（SAE）潜变量实现稳健的风格条件和翻译质量，提升推理效率。
2025-10-14 cs.AI cs.CL cs.LG
Explain Less, Understand More: Data-Efficient Personalization of Reader-Dependent Jargons
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；William & Mary（威廉与玛丽学院）
本研究针对个性化术语检测的资源消耗问题，提出基于LoRA的轻量级微调与个性化提示策略，结合半监督学习，在仅用10%标注数据下超越GPT-4，实现高效低资源的用户自适应NLP系统。
2026-09-22 cs.AI cs.CL cs.LG
Latent Preference Modeling for Multi-Session Personalized Tool Calling
Hanyang University（翰阳大学）
本文提出MPT基准和PRefine方法，通过生成-验证-细化循环提升工具调用准确性，仅用1.24%的token实现稳健的个性化。
2026-10-15 cs.AI cs.CL
Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering
State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）
针对大语言模型句子嵌入最后词元含过多非必要信息的问题，提出即插即用的对比提示推理调控方法，通过辅助提示对比引导编码核心语义，在多类任务和不同LLM上均提升了现有提示方法的性能。
2025-05-19 cs.CL
Do LLMs Recognize Your Preferences? Evaluating Personalized Preference Following in LLMs
Amazon AGI（亚马逊AGI）；UCLA（加利福尼亚大学洛杉矶分校）；University of Minnesota（明尼苏达大学）
针对LLMs个性化响应用户偏好能力有限的问题，本文提出PrefEval基准（含3000对偏好-查询对、20个主题），评估10个LLMs的偏好遵循能力，发现现有模型表现不足但微调可提升，为个性化对话代理研究提供工具。
2025-02-13 cs.CL cs.LG
NeuralNexus at BEA 2025 Shared Task: Retrieval-Augmented Prompting for Mistake Identification in AI Tutors
MBZUAI（穆萨大学人工智能研究所）
针对BEA 2025共享任务的AI导师数学错误识别赛道，团队探索四种方法后采用基于GPT 4o的检索增强少样本提示系统，其性能优于所有基线，验证了该组合方法在教学反馈评估中的有效性。
2025-06-12 cs.AI cs.CL
PMG : Personalized Multimodal Generation with Large Language Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）
本文提出首个基于大语言模型的个性化多模态生成方法PMG，通过将用户行为转为自然语言提取偏好，结合显式关键词与隐式嵌入约束生成器，在保证生成准确率的同时显著提升了个性化效果。
2024-04-07 cs.AI cs.CL cs.IR
SGPT: GPT Sentence Embeddings for Semantic Search
Peking University（北京大学）
解码器Transformers的规模不断增加，达到数千亿个参数。由于它们的规模，相同的解码器通过提示或微调在各种语言任务上设置最先进的结果。然而，这些大的基础模型仍然无法用于语义搜索和句子嵌入的相关领域。这可能会阻止新的最先进的结果，并迫使组织训练和维护单独的模型。为此，我们建议SGPT使用解码器的句子嵌入和语义搜索通过提示或微调。在58亿个参数上，SGPT比以前最好的句子嵌入提高了7%，并且在BEIR搜索基准上测量时优于具有1750亿个参数的并发方法。代码、模型和结果文件可在https://github.com/Muennighoff/sgpt上免费获得。
2022-08-05 cs.AI cs.CL cs.IR
Efficient Personalized Text-to-image Generation by Leveraging Textual Subspace
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Dalian University of Technology（大连理工大学）
本文提出在文本子空间中优化目标嵌入并设计基向量选择策略，以提升个性化文本到图像生成的重建质量、文本对齐能力和对初始词的鲁棒性，同时提高训练效率。
2024-06-30 cs.AI cs.CL cs.CV
Federated Natural Language Generation for Personalized Dialogue System
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Tencent（腾讯）；Carnegie Mellon University（卡内基梅隆大学）
神经会话模型长期以来一直存在不一致和缺乏连贯个性的问题。为了解决这个问题，基于人物的模型捕捉个人特征已经提出，但他们仍然面临着模型适应性和数据隐私的困境。为了打破这一困境，我们提出了一种新的联邦自然语言生成（FedNLG）框架，学习个性化的表示，从各种数据集上的分布式设备，从而实现个性化的对话系统有效和安全。FedNLG首先在大型对话语料库上预训练标准神经会话模型的参数，然后以联邦方式在特定数据集上微调模型参数和人物角色嵌入。该模型可以同时学习本地客户端的角色嵌入和通过联邦聚合学习共享的模型参数，达到准确性和隐私性的平衡。通过大量的实验，我们通过在Cornell Movie-Dialogs语料库上对模型进行预训练和在两个电视剧数据集上对模型进行微调来证明我们的模型的有效性。
2021-10-13 cs.AI cs.CL
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich（苏黎世联邦理工学院）；Peking University（北京大学）
最近的研究表明，预训练语言模型（PLM）是zero-shot学习器。然而，大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道，阻碍了它们在新情况下的应用。在这项工作中，我们表明，zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说，我们适合未标记的文本与贝叶斯高斯混合模型初始化后，使用类名称的聚类位置和形状。尽管它很简单，但这种方法在主题和情感分类数据集上都取得了优异或相当的性能，并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性，通过评估它在14个数据集更多样化的主题，文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后，我们比较了不同的PLM嵌入空间，发现即使PLM没有显式地预先训练以生成有意义的句子嵌入，文本也能很好地按主题聚类。这项工作表明，PLM嵌入可以分类文本没有特定的任务微调，从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
Prompting ChatGPT for Chinese Learning as L2: A CEFR and EBCL Level Study
University of Lyon 3（里昂第三大学）；INALCO（法国国立东方语言文化学院）；IRD（法国发展研究院）；Sorbonne University（索邦大学）
本研究探讨如何通过特定提示将LLM作为个性化中文学习聊天机器人，基于CEFR和EBCL的A1至A2水平，开发整合口语和书面语技能的提示，实验证明纳入特定级别汉字显著增强了对EBCL汉字集的符合度。
2025-01-25 cs.AI cs.CL
NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
Independent Researcher（独立研究者）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算学院）
本文比较了三种方法：基于嵌入的方法、Transformer微调和大语言模型提示，发现结构化提示优于微调和嵌入方法，提示设计比模型规模更重要。
2026-05-08 cs.CL
Logic-Scaffolding: Personalized Aspect-Instructed Recommendation Explanation Generation using LLMs
University of Pittsburgh（匹兹堡大学）；AWS AI Labs（AWS AI 实验室）；Amazon（亚马逊）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出Logic-Scaffolding框架，结合基于方面的解释与思维链提示，通过中间推理步骤提升大语言模型零样本推荐解释的可靠性，并展示交互式演示。
2024-01-17 cs.AI cs.CL cs.HC
Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models
University of Virginia（弗吉尼亚大学）
针对LLMs在知识密集型MCQA任务中因KG集成产生噪声提示及部分选项缺乏相关KG知识的问题，提出问题感知知识图谱提示（QAP），通过将问题嵌入融入GNN聚合动态评估KG相关性，并利用全局注意力捕获选项间关系以丰富软提示，在多个数据集上优于现有方法。
2025-03-30 cs.CL cs.LG
SCI-IDEA: Context-Aware Scientific Ideation Using Token and Sentence Embeddings
TIB—Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
SCI-IDEA框架利用LLM提示策略和“啊哈时刻”检测，从研究出版物中提取关键要素，迭代优化并评估科学想法，实验证明其在新颖性、兴奋度、可行性和有效性上均取得高分，兼顾伦理考量。
2025-03-25 cs.CL cs.DL
Fact-Preserved Personalized News Headline Generation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Intelligent Computing Technology, Suzhou, CAS（中国科学院苏州智能计算技术研究院）
提出FPG框架，通过相似度引导关键事实关注和对比学习增强，在PENS基准上实现个性化与事实一致性的良好权衡。
2025-01-21 cs.AI cs.CL
Dynamic Strategy Chain: Dynamic Zero-Shot CoT for Long Mental Health Support Generation
Jiangxi University of Finance and Economics（江西财经大学）
针对零样本思维链提示在心理健康长咨询文本生成中缺乏策略、无法个性化的问题，提出动态策略链方法，通过GPT2动态生成适配策略引导大模型生成回复，性能优于传统零样本思维链方法。
2023-08-21 cs.AI cs.CL cs.HC
