返回全部文章AI 與智能體

AI 代理程式如何記憶:記憶、脈絡,以及為什麼很難

一個讓人信賴的 AI 代理程式和一個讓人挫折的代理程式,最大的差別之一就是記憶。能記住你的限制、偏好以及它試過什麼的代理程式,讓人覺得很有能力。每一步都從頭來的代理程式,則讓人覺得壞掉了。但 AI 系統中的「記憶」並不像這個詞本身給人的感覺。

代理程式為什麼需要記憶

代理程式在一個迴圈中運作:觀察、決定、行動、再觀察。為了讓這個迴圈有意義,後續步驟需要知道先前發生了什麼。記憶讓代理程式能夠:

  • 追蹤多步驟計畫及其進度。
  • 避免重複已經試過的行動。
  • 套用你的偏好,不必一再提醒。
  • 在後續決策中使用先前工具呼叫的結果。

沒有記憶,每一步都是全新的開始,代理程式也無法在自己的工作上繼續累積。

兩種記憶

依時間尺度來區分記憶很有幫助。

短期(工作)記憶是當前對話或任務的脈絡——目前的訊息、計畫、最近的工具結果。它存在模型的脈絡視窗中,而脈絡視窗是有限的。當對話太長,較舊的細節就會被擠出去。這就是代理程式為什麼可能看起來「忘了」你一小時前說的話。

長期記憶則跨工作階段持續存在。它可能是關於你的事實、過去的專案或學到的教訓所組成的儲存庫。代理程式在需要時擷取相關的部分,就像你從舊筆記本裡想起一則筆記。

長期記憶如何運作

大多數系統使用常見模式的變體:

  1. 記錄。 決定什麼值得記住——一個偏好、一項決定、一個有用的事實。
  2. 儲存。 把它存到耐久的地方,通常是以文字加上捕捉其意義的數值表示(embedding)。
  3. 取回。 當新任務到來時,在儲存庫中搜尋與之相關的記憶。
  4. 注入。 把取回的記憶加入代理程式的脈絡,讓它能使用。

取回這一步是大部分挑戰所在。取回太少,代理程式就漏掉重要的東西;取回太多,則浪費脈絡,還會被不相關的細節搞混。

代理程式記什麼——以及不該記什麼

不是每樣東西都值得保留。好的記憶系統是有選擇性的:

  • 值得保留: 明確表達的偏好、反覆出現的限制、已做的決定、使用者確認過的事實。
  • 不宜保留: 敏感個人資料、過時資訊、使用者從未確認的假設、往後不再重要的單次細節。

記憶管理不佳有實際後果。一個存了錯誤假設又不斷套用的代理程式,會一直犯同樣的錯——而且很有自信。一個記了不該記的敏感資料的代理程式,則會造成隱私問題。

為什麼記憶真的很難

有幾個障礙讓代理程式的記憶在實務上仍是未解的問題:

  • 有限的脈絡。 即使很大的脈絡視窗也有上限,把所有東西塞進去會降低注意力。
  • 關聯性。 決定當前任務要回想什麼,比較接近搜尋問題而非單純的查表。
  • 一致性。 記憶可能互相矛盾,或隨著情況改變而過時。
  • 歸因。 很難判斷是哪一段記憶導致了哪個決定,使得除錯困難。
  • 隱私。 使用者需要知道自己被記了什麼、能夠查看,也能夠刪除。

實務上的設計選擇

如果你正在建置或評估代理程式,幾個問題就能看出它的記憶到底有多好:

  • 它是否跨工作階段記憶,還是只在單一對話中?
  • 你能不能查看並編輯它儲存的關於你的資訊?
  • 它是否會摘要舊脈絡,而不是把原始歷史全部塞進去?
  • 它是否會忘記或更新不再正確的資訊?
  • 它能否解釋為什麼它回想起了某件事?

記憶清楚、可控的代理程式,往往比默默記住一切的代理程式更值得信賴。

結論

代理程式的記憶不是單一功能,而是一整套堆疊:當前任務的短期脈絡、存放永久事實的長期儲存,以及在適當時機取回正確片段的機制。正是它把一連串零散的回覆變成連貫、持續的工作——但它並不完美,而能把這件事處理好的代理程式,往往是那些有選擇性、透明,並尊重不該保留之物的代理程式。

下載 Ball — Ball

下載 Ball

正在閱讀英文?可在選單中切換語言。