Hypernym Mercury：通过语义场收缩与上位词重构实现 Token 优化。一种新型文本压缩方法
Hypernym Mercury: Token Optimization Through Semantic Field Constriction And Reconstruction From Hypernyms. A New Text Compression Method
AI总结：
本文提出 Hypernym Mercury 文本压缩方法，通过语义场收缩与上位词重构实现段落级词语语义压缩，在跨体裁和模型的基准中实现超 90% token 缩减并保持高语义相似性。
摘要：
利用对 LLM 提示词进行 token 缩减来实现计算优化，是 NLP 与下一代智能体 AI 领域中一项新兴任务。在本白皮书中，我们提出一种新颖的（专利申请中）文本表示方案，以及首创的段落级词语语义压缩方法，可实现超过 90% 的 token 缩减，同时保持与源文本的高度语义相似性。我们解释了这种新型压缩技术如何能够做到无损，以及细节粒度如何可控。我们讨论了基于开源数据（即通过 Project Gutenberg 获取的 Bram Stoker 所著《Dracula》）的基准测试结果，并展示我们的结果如何在段落层面、跨多种体裁和模型保持成立。
英文摘要：
Compute optimization using token reduction of LLM prompts is an emerging task in the fields of NLP and next generation, agentic AI. In this white paper, we introduce a novel (patent pending) text representation scheme and a first-of-its-kind word-level semantic compression of paragraphs that can lead to over 90% token reduction, while retaining high semantic similarity to the source text. We explain how this novel compression technique can be lossless and how the detail granularity is controllable. We discuss benchmark results over open source data (i.e. Bram Stoker's Dracula available through Project Gutenberg) and show how our results hold at the paragraph level, across multiple genres and models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
