让AI学会遗忘：DeepSeek把记忆渲染成图像再压缩

Two Minute Papers 本期（主持人 Károly Zsolnai-Ferencz，转写将其名误识为 “Karo Jonaiefehir”，据其既往节目校正）讲的是 DeepSeek 的一篇 OCR 论文，但主持人认为它真正的话题不是识别文字，而是AI 的记忆管理：当对话越长、附加文档越多，系统记住一切的成本就越高——每个读进来的词都变成 token，而 token 是要花钱的。节目由此提出一个反直觉的思路：与其让 AI 记住一切，不如让它学会"有损地记"，就像人类并不完美记住每个细节、旧事的轮廓反而越来越模糊一样。

压缩的不是像素，是记忆

节目的核心类比是 JPEG：把一大锅文本信息渲染成一张图像，然后压缩这张图像——但这是学习式的、token 级的压缩，而不是 30 年前就有的像素压缩。按节目转述的数字，在 10 倍压缩水平（扔掉约 90% 的空间）下，仍能恢复超过 96% 的文本；继续压到接近 20 倍时，OCR 准确率跌到 60%——主持人坦言这个跌幅比他预期的更温和。形式化地说，这套系统把少量压缩过的视觉 token 还原成大量文本 token，这使它同时是 OCR 工具和一种"记忆压缩"机制。

为什么不只是"JPEG 接上AI"

主持人特意预防了一个质疑：这不就是 JPEG 插进 AI 系统吗？他的区分是"JPEG 压缩像素，这压缩记忆"。工程上的关键在于编码器要能在高分辨率文档上不爆炸：先做局部窗口注意力，再用一个 16 倍卷积压缩器，最后才做全局视觉处理——用主持人的话说，它不是盯着每个像素看，而是"先略读、再挤压、最后才读"。一旦这件事做得足够便宜，用途就不止于记住旧数据：节目引用论文称，该系统还能生成训练数据，单张 A100 GPU 每天可产出超过 20 万页，供 LLM 和 VLM 训练使用。

边界与启发

节目照例给出限制：论文自己承认 OCR 表现不足以证明"真正的文本压缩"，而一个后续压力测试提示，模型在图像过度压缩后可能并非真正"看见"了缺失文本，而是靠语言先验从上下文猜出最可能的词——主持人形容为"像自动补全，但更好"。这意味着 96% 的恢复率里有多少是视觉记忆、多少是语言猜测，仍是开放问题。

从这些信息可以提炼两条可迁移的判断：其一，遗忘（有损压缩）第一次成为长上下文系统的工程选项，上下文成本高的团队值得跟踪这条从"存 token"到"存压缩视觉表征"的路线；其二，这套系统是开放的，且能自我生成训练数据喂养其他开放模型——主持人视之为对开源生态的正面外溢。需要提醒的是，以上全部数字与判断均为节目转述，未经独立查证。