Agent Memory: short-term, long-term, episodic, semantic

Зачем

LLM забывает всё между сессиями — context window это RAM, а не disk. Agent memory — слой, который извлекает факты из разговоров, хранит их вне контекста и подмешивает обратно при следующем запросе. Без неё ассистент каждый раз спрашивает «какой у тебя стек?», «на каком языке писать?» и не помнит вчерашних решений. С ней — Cursor/Devin/ChatGPT-Memory ведут себя как коллега, у которого есть блокнот.

Mental model

Memory layer для агента — это retrieval + summarization + injection. Working memory = открытое окно браузера (последние N turns в context). Long-term = база на диске: vector store для semantic фактов, episodic log с timestamps для «когда?»-запросов, knowledge graph для связей между сущностями, procedural — для скриптов/playbooks. Магии нет — это RAG для разговоров плюс фоновая консолидация.

Четыре типа памяти не взаимозаменяемы:

• Working — in-context history, ограничена окном модели (200K–1M).
• Episodic — «вчера обсуждали AWS migration», timestamps + recency-ranking.
• Semantic — извлечённые facts: (user, prefers, Python), retrieval by concept.
• Procedural — workflows, .cursorrules, reusable templates.

Что на диаграмме

Три группы (/s/agent-memory):

• Agent (Claude / GPT) — user → orchestrator → working-mem → compactor → llm. Compactor суммаризирует transcript при overflow (>30 turns).
• Memory Router (Mem0 / Letta-style) — router-svc принимает recall-запрос, tenant-filter ставит WHERE user_id = first, фан-аут в 4 store-а, reranker (cross-encoder) сортирует кандидатов перед инжекцией. Отдельно extractor (Haiku) на write-path вытаскивает facts из ответов LLM.
• Long-term Memory Stores — vector (Qdrant), episodic (Postgres + timestamps), graph (Neo4j), procedural (playbooks). Две фоновые job-ы: ttl-job (forgetting policy) и sleep-job (nightly consolidation).

Edges делятся на три потока: agent loop (user→orchestrator→llm), router fan-out (router→tenant-filter→[stores]→reranker), write-back (llm→extractor→stores). Обратная анимация по тем же рёбрам — ответы и recall-результаты возвращаются reverse.

Сценарии

▶Walkthrough: semantic-recall (not found)

Кросс-сессионный recall фактов о пользователе. Tenant filter scope by user_id=u_177, Qdrant отдаёт top-5 facts с cosine>0.78 (prefers Python, works at fintech, no async libs), cross-encoder boost'ит prefers Python до 0.94 для запроса про CSV parsing, system prompt получает блок user preferences. LLM генерит Python+pandas без вопроса «какой язык?». Стоимость +$0.015/turn, UX gain огромный.

▶Walkthrough: episodic-query (not found)

Timeline-запрос — «когда мы обсуждали мой AWS migration?». Classifier видит «когда/when/last time» → episodic mode (не semantic). Postgres SELECT FROM events WHERE user_id AND content @@ tsquery('aws & migrat') ORDER BY ts DESC отдаёт 3 hits (Apr 12, Apr 19, May 2), recency-weighted ranking, LLM отвечает «12 дней назад (May 2) решил пойти с EKS». Episodic ≠ semantic — здесь важна последовательность, а не релевантность.

▶Walkthrough: contradiction (not found)

Разрешение противоречий по recency. User в Q1: «I live in Moscow», в Q4: «moved to Berlin». Vector match даёт оба facts → conflict. Recency-weight: newer (Berlin Δt=14d) overrides older (Moscow Δt=90d). Graph triple update: (user, lives_in, Moscow) → stale, (user, lives_in, Berlin) → active. Старый факт не удаляется — tombstone сохраняется для audit и «когда переехал?». Policy: newer wins, но история не теряется.

▶Walkthrough: sleep-decay (not found)

Sleep-time consolidation + forgetting. Post-session Haiku extractor читает 12-turn transcript → fact candidates (cat name=Tom, team=alpha), parallel writes в vector/episodic/graph. Nightly 03

cron: consolidate duplicates (14k → 9k facts после dedup), merge entities Tom + Tom (cat) → single (similarity >0.92). TTL: episodic events >18 месяцев → cold storage, vector decay weight *= 0.95/мес. GDPR right-to-be-forgotten: hard delete propagate во все stores.

Trade-offs (ADR)

Контекст. Нужна memory layer для multi-session agent. Два полярных подхода: (a) хранить сырые транскрипты и retrievать куски по embedding, (b) экстрактить structured facts в vector+graph и забывать raw.

Опции.

1. Raw-only (полный лог). Source-of-truth, ничего не теряем. Минусы: огромный context при retrieval, дорогая инжекция, «lost in middle», privacy/compliance кошмар (нельзя селективно forget'ить факт), conflict resolution невозможен.
2. Facts-only (semantic). Извлекаем (subject, predicate, object, ts, confidence). Маленький context, дешёвый retrieval, легко мерджить дубликаты и тушить устаревшие facts. Минусы: hallucinated extraction (LLM «вытаскивает» то, чего user не говорил), теряем nuance/тон, нельзя ответить на «когда я это сказал?».
3. Hybrid (semantic + episodic log с TTL). Facts — primary recall на каждый turn, episodic включается только когда classifier видит «когда/when», raw transcripts уходят в S3 с retention 18 месяцев.

Decision. Hybrid (option 3) — то, что делают Mem0/Letta/Zep.

Consequences.

• (+) Cheap recall (~$0.015/turn), хороший UX, GDPR-friendly (forget = delete row).
• (+) Conflict resolution через timestamps + confidence (см. сценарий contradiction).
• (−) Нужен extractor LLM (доп. $0.05/session на Haiku) и strict tenant_id filter — иначе privacy утечки.
• (−) Sleep-time consolidation обязательна, иначе vector store забивается дубликатами через ~1000 sessions.

Реальные системы

• ChatGPT Memory (April 2024) — фоном extract'ает facts в profile, инжектит в system prompt. Pause/edit UI, user-visible memory inspector.
• Cursor — .cursorrules = procedural memory, recent diffs = episodic, embedding repo = semantic.
• Devin — long-term memory across sessions, knowledge accumulates про codebase пользователя.
• Claude.ai Projects — projects-level memory (file knowledge), не per-conversation.
• Mem0 (open-source) — auto-extraction, graph + vector гибрид, sleep-time consolidation из коробки.
• Letta (formerly MemGPT) — OS-inspired hierarchy, агент сам решает когда read_memory()/write_memory() через tool calls.
• Zep — temporal knowledge graph как managed service, time-aware facts.
• Character.ai — persona memory, character «знает» user из прошлых чатов.

Anti-patterns

1. Verbatim history без compaction — context overflow, exponential cost, «lost in middle».
2. Один memory pool на всех users — multi-tenant без tenant_id first WHERE = privacy disaster (одна баг-фича = утечка по всем).
3. Vector recall без re-rank — top-K по cosine содержит noise, инжекция мусора отвлекает модель.
4. Auto-extraction без confidence gate — Haiku галлюцинирует works at Google, факт уходит в store, через месяц LLM уверенно врёт.
5. Facts без timestamps — невозможно решить конфликт Moscow vs Berlin, newer-wins policy не работает.
6. Без forgetting policy — GDPR-удаление не propagate'ится в vector/graph, decay не работает, store пухнет.
7. Memory injection в каждый turn — даже на «hi» подсовываешь 10 facts → дорого, шум для модели.
8. Reverse edges для ответов — bypass router/extractor, write-back ломается, новые facts не сохраняются.
9. Compaction one-tier — суммаризировал всё подряд → потерял ключевую деталь (deadline = 2026-05-20). Tier-ed: verbatim последние 10, facts из 20+.

Когда НЕ использовать

• One-shot задачи (single API call, нет user identity) — overhead extraction/retrieval не окупается.
• Compliance-zero среды (HIPAA-strict без чёткой retention policy) — memory создаёт persistent PII, лучше ephemeral context.
• Context window достаточен — если весь use case укладывается в 200K-1M tokens (один документ, одна сессия), memory layer = overengineering. Сначала упрись в context limit, потом строй memory.
• High-stakes financial/medical decisions без human-in-the-loop — extractor галлюцинирует, stale facts опасны. Либо human review всех extracted facts, либо не используй semantic memory.
• Демки и MVP — начни с last N turns в working memory + summarizer. Vector/graph stores ставь когда есть >100 active users и проблема recall измерима.

Дальше читать

• [CONCEPT]rag-architecture — retrieval-augmented generation, базовый паттерн (memory layer = RAG для разговоров).
• [CONCEPT]ai-agents — общий agent loop, в который встраивается memory.
• MemGPT paper (Packer et al. 2023) — «LLMs as Operating Systems», hierarchical memory с tool-controlled read/write.
• Mem0 docs (docs.mem0.ai) — production-ready open-source реализация semantic + graph hybrid.
• Letta docs (docs.letta.com) — successor MemGPT, агент-controlled memory operations.
• Zep blog — temporal knowledge graphs, time-aware facts для long-running agents.
• Eugene Yan, «Patterns for LLM Systems» — memory design в широком контексте production LLM-приложений.