Ко всем статьямИИ и агенты

Как ИИ-агенты запоминают: память, контекст и почему это сложно

Одно из главных отличий убедительного ИИ-агента от разочаровывающего — память. Агент, который помнит ваши ограничения, предпочтения и то, что он уже пробовал, кажется компетентным. Тот, что начинает с нуля на каждом шаге, кажется сломанным. Но «память» в ИИ-системах — не совсем то, что подразумевает это слово.

Зачем агентам память

Агент работает в цикле: наблюдать, решать, действовать, наблюдать снова. Чтобы этот цикл имел смысл, последующие шаги должны знать, что произошло раньше. Память позволяет агенту:

  • Следить за многошаговым планом и его прогрессом.
  • Избегать повторения действий, которые он уже пробовал.
  • Применять ваши предпочтения, не дожидаясь повторного указания.
  • Использовать результаты предыдущих вызовов инструментов в последующих решениях.

Без памяти каждый шаг — новое начало, и агент не может опираться на собственную работу.

Два вида памяти

Полезно разделять память по масштабу времени.

Кратковременная (рабочая) память — это контекст текущего разговора или задачи: сообщения до сих пор, план, недавние результаты инструментов. Она живёт в контекстном окне модели, которое конечно. Когда диалог становится слишком длинным, старые детали вытесняются. Поэтому агент может казаться «забывшим» то, что вы сказали час назад.

Долговременная память сохраняется между сессиями. Это может быть хранилище фактов о вас, прошлых проектах или извлечённых уроков. Агент извлекает нужные части, когда они нужны, примерно как вы вспоминаете заметку из старого блокнота.

Как работает долговременная память

Большинство систем используют разновидность общего шаблона:

  1. Захват. Решить, что стоит запомнить — предпочтение, решение, полезный факт.
  2. Сохранение. Записать это в надёжном месте, часто как текст с числовым представлением (эмбеддингом), которое передаёт его смысл.
  3. Извлечение. Когда приходит новая задача, найти в хранилище памяти, относящиеся к ней.
  4. Внедрение. Добавить извлечённые воспоминания в контекст агента, чтобы он мог их использовать.

Шаг извлечения — там, где кроется большая часть сложности. Извлечь слишком мало — и агент упустит важное. Извлечь слишком много — и вы тратите контекст впустую и сбиваете его нерелевантными деталями.

Что агенты запоминают — а что не должны

Не всё заслуживает сохранения. Хорошие системы памяти избирательны:

  • Полезно хранить: высказанные предпочтения, повторяющиеся ограничения, уже принятые решения, факты, подтверждённые пользователем.
  • Рискованно хранить: конфиденциальные персональные данные, устаревшая информация, предположения, которые пользователь никогда не подтверждал, разовые детали, которые больше не будут иметь значения.

Плохая гигиена памяти имеет реальные последствия. Агент, который сохранил неверное предположение и продолжает его применять, будет снова и снова делать одну и ту же ошибку — уверенно. Агент, который помнит конфиденциальные данные, которых у него быть не должно, создаёт проблему конфиденциальности.

Почему память действительно сложна

Несколько препятствий делают память агентов нерешённой задачей на практике:

  • Ограниченный контекст. Даже большие контекстные окна имеют пределы, а засовывание туда всего ухудшает внимание.
  • Релевантность. Решить, что вспомнить для текущей задачи, ближе к задаче поиска, чем к простому просмотру.
  • Согласованность. Воспоминания могут противоречить друг другу или устаревать по мере изменения обстоятельств.
  • Атрибуция. Трудно сказать, какое воспоминание повлекло какое решение, что затрудняет отладку.
  • Конфиденциальность. Пользователи должны знать, что запоминается, иметь возможность это увидеть и удалить.

Практические решения при проектировании

Если вы создаёте или оцениваете агента, несколько вопросов покажут, насколько хороша его память:

  • Запоминает ли он между сессиями или только внутри одного разговора?
  • Можете ли вы посмотреть и изменить то, что он сохранил о вас?
  • Обобщает ли он старый контекст, вместо того чтобы засовывать сырую историю?
  • Забывает ли он или обновляет информацию, которая больше не верна?
  • Может ли он объяснить, почему он что-то вспомнил?

Агенты с ясной, управляемой памятью, как правило, заслуживают больше доверия, чем те, что молчаливо запоминают всё.

В итоге

Память агента — не отдельная функция, а стек: кратковременный контекст для текущей задачи, долговременное хранилище для устойчивых фактов и извлечение, которое возвращает нужные части в нужное время. Она превращает набор разрозненных ответов в связную, непрерывную работу — но она несовершенна, и агенты, которые справляются с ней хорошо, — это те, кто избирателен, прозрачен и уважает то, что не должен хранить.

Скачать Ball — Ball

Скачать Ball

Читаете на английском? Смените язык в меню.