多轮对话接近上下文窗口上限时压缩会话历史以降低 token…

当多轮 AI 对话接近上下文窗口限制、token 成本升高或响应变慢时，通过摘要、向量检索和分层记忆压缩会话历史。

适用场景

解决思路

1. 按上下文使用率设置渐进压缩阈值：0-70% 原样存储；70-85% 轻度压缩（语义去重、删除冗余消息）；85-95% 中度压缩（对较早消息做摘要，保留最近 10-15 条原文）；95-100% 激进压缩（分层摘要 + 向量库归档）；100% 紧急时丢弃最不重要消息。
2. 用 ConversationSummaryBufferMemory 做混合记忆：设置 max_token_limit（如 2000），超出时自动摘要旧消息并保留最近消息原文。
3. 实现 ProgressiveCompressor：用 len(content)//4 估算 token，按 0.70/0.85/0.95 阈值触发 _remove_redundant_messages 或 _summarize_old_messages(keep_recent=10/5)，摘要用 claude-3-5-haiku 生成后替换为 system 消息。
4. 抽取式摘要：用 TfidfVectorizer 计算每条消息 TF-IDF 分数，按 compression_ratio（如 0.3）保留分数最高的消息，保持时间顺序，适合法律/合规场景。
5. 抽象式摘要：把对话拼成文本，用 LLM 按固定提示（保留关键决策、重要上下文、未解决问题、行动项）生成约 1/5 长度的摘要，替换为 [Summary] 消息。
6. 分层摘要：按 chunk_size（如 10）把消息分块，逐块摘要并向上归并成树状层级（Level 0 原始 → Level 1 块摘要 → Level 2 组摘要 → Level 3 会话摘要），get_context 时优先取最近原始消息（约 60% token 预算）再补高层摘要。
7. 滚动摘要：维护 rolling_summary 和 recent_messages，当消息数达到 compress_threshold（如 15）时，把 window_size（如 10）之外的消息连同已有摘要一起交给 LLM 更新摘要，只保留最近 window_size 条原文。
8. RAG 记忆：把超出 recent_window 的旧消息用 text-embedding-3-small 生成 embedding 存入 ChromaDB，检索时先放最近消息，再按当前 query 的 embedding 查询 top-N 相关历史消息插入上下文。
9. 向量聚类压缩：用 KMeans 对消息 embedding 聚类（n_clusters 如 5），每个簇选离质心最近的消息作为代表，减少冗余并识别主题。
10. 语义去重：计算消息 embedding 的 cosine_similarity，相似度超过阈值（如 0.85）的消息只保留一条，去除重复信息。
11. 消息优先级打分：综合长度、问号数量、大写实体数、时间新近度（线性衰减）、角色权重（user 0.6 / assistant 0.4）计算分数，按分数选 top-N 后恢复时间顺序。
12. Delta 压缩：对同一角色的连续消息用 difflib.unified_diff 计算差异，若 diff 长度小于原文 70% 则只存 delta，否则存为新基准消息，适合代码助手的增量编辑。
13. 用 Anthropic prompt caching 降本：在稳定的长上下文消息上添加 cache_control: {"type": "ephemeral"}（最多 4 个缓存断点，TTL 5 分钟），缓存对话历史而非当前 query，可降低 90% 缓存内容成本。
14. 用 extended thinking 规划压缩：让模型在 thinking budget 内分析当前 token 数、目标 token 数和所需压缩比，输出最优压缩策略建议。
15. 实现检查点持久化：把 messages、summary、timestamp 序列化为 JSON 存到 checkpoints 目录，每 N 条消息自动保存，支持故障恢复和跨会话续聊。
16. 构建混合记忆系统：组合滚动摘要（短期）、RAG 检索（长期）、prompt caching（成本）、渐进压缩（自适应），get_context 时按约 20% 摘要、50% 最近消息、30% 检索内容分配 token 预算。
17. 按场景选择技术：<20 轮不压缩；20-50 轮用 ConversationSummaryBufferMemory；50-100 轮用分层或滚动摘要；100+ 轮用 RAG+摘要+缓存混合；多会话用 VectorStoreRetrieverMemory 或 Mem0。
18. 监控压缩质量：跟踪响应相关性、信息保留率、用户满意度和 token 节省量，并调优摘要 token 上限、压缩阈值、检索条数、缓存 TTL 和分块大小。
19. 处理边界情况：超长消息单独拆分或压缩，代码块保留格式，多语言内容分别处理，快速变化的上下文不缓存。
20. 排查常见问题：摘要丢信息时降低压缩比或提高摘要 token 预算；检索不相关时改进 embedding、加元数据过滤或混合搜索；延迟高时异步压缩、用 Haiku 摘要、减少压缩频率；仍超窗口时改用分层压缩或更大窗口模型。

适用边界 · 注意事项

• 对话很短（<10 轮）且能轻松放入上下文窗口时
• 每个细节都必须逐字保留的场景（法律、合规）
• 单轮或无状态交互，或上下文窗口使用率低于 30% 时