LLMc：大型语言模型驱动的无损文本压缩引擎

随着大型语言模型（LLM）生成的数据量急剧增长，高效存储这些信息成为一个紧迫的挑战。

对此，华盛顿大学SyFI实验室的研究人员提出了一项创新方案：LLMc，即利用大型语言模型自身实现无损文本压缩的引擎，旨在解决海量数据存储的难题。

基准评估显示，在维基百科、小说文本及科学摘要等多种数据集上，LLMc的压缩率均优于传统工具（如ZIP和LZMA）。同时，与其他基于LLM的闭源压缩系统相比，LLMc也展现出相当或更优的性能。

值得一提的是，该项目已开源，主要作者是来自上海交通大学ACM班的本科生Yi Pan，目前正在华盛顿大学实习。

LLMc的压缩机制

LLMc的设计灵感源于实验室一年前的一次内部讨论。当时，研究者们面临一个核心挑战：LLM推理中内核操作的非确定性，使得精确、可复现的压缩和解压变得困难。

但随着业界在确定性LLM推理方面取得突破，这一问题迎刃而解，为新引擎的开发铺平了道路。研究团队快速构建了LLMc原型，成功证明了利用LLM进行高效压缩的可行性。

LLM与数据压缩的关联根植于信息论的基本原理。香农的信源编码定理指出，一个符号的最优编码长度与其负对数似然成正比；简而言之，事件的概率越高，编码所需信息量越少。

由于LLM的核心任务是预测下一个词元（token），优秀的LLM能为真实序列中的下一个词元赋予高概率。这意味着，LLM本质上就是一个强大的概率预测引擎，这正是实现高效压缩的关键。LLMc利用这一原理，将自然语言的高维分布转换为结构化概率信息，从而实现卓越的压缩效果。

LLMc的核心思想是一种名为“基于排序的编码”（rank-based encoding）的巧妙方法。在压缩过程中，LLM根据当前上下文预测下一个可能出现的词元，并生成完整的概率分布列表；真实词元通常位列该列表前几位。

LLMc不直接存储词元本身（如ID），而是存储该词元在概率排序列表中的“排名”（rank）。这些排名通常是小整数，占用的存储空间极小。在解压时，系统使用相同的LLM和上下文重现概率分布，并通过读取存储的排名准确选择对应词元，从而无损恢复原始文本。

在此过程中，LLM本身就像一个压缩器和解压器之间共享的、容量巨大的“密码本”或参考系统。

挑战与局限性

效率问题：LLM推理的计算复杂度与序列长度成二次方关系，且长序列推理受内存带宽限制。为缓解这一问题，LLMc采用分块处理文本策略，以提高GPU利用率并降低计算开销。

吞吐量：由于严重依赖大规模模型推理，LLMc目前的处理速度远低于传统压缩算法。

数值稳定性：为保证解压过程的确定性，系统需使用特殊内核（batch_invariant_ops），并对词元排名进行整数编码，而非直接使用对数概率。

应用范围：当前实现主要针对自然语言；未来可探索将其扩展到图像、视频或二进制数据等其他模态。

参考链接：

https://syfi.cs.washington.edu/blog/2025-10-03-llmc-compression/Github

网址：

https://github.com/uw-syfi/LLMc