LLM의 기억 문제, 정말 컨텍스트 확장이 답일까

최근 LLM 에이전트와 장기 대화 시스템이 늘면서, 기억 메커니즘에 대한 관심이 다시 커지고 있다. 구글 DeepMind나 Anthropic 같은 곳도 오래된 대화를 어떻게 중요도에 따라 압축해 유지할지 연구하고 있다.

이런 분위기 속에서 최근 주목받는 한 연구가 있다. 이름은 δ-mem(Delta-Mem). 직관적으로 말하면, LLM에 작은 대화 기억칩을 꽂는 일반적인 방법론이다. 재미있는 점은 간단하면서도 효과가 꽤 크다는 것이다.

커다란 문맥을 효율적으로 압축하는 아이디어

δ-mem의 핵심은 고정된 크기의 “연상 기억 상태 매트릭스”를 사용하는 것이다. 이전 대화나 정보를 무작정 컨텍스트에 쑤셜 박는 대신, 과거 내용을 고정된 크기의 상태 행렬로 압축해 저장한다.

예를 들어 기존 LLM이 과거 대화를 10만 토큰짜리 긴 문맥 속에 끼워 놓는다면, δ-mem은 8×8 수준의 매우 작은 상태 행렬만으로 핵심을 기억한다. 마치 사람이 오래된 통화 내용 전체를 기억하는 대신 핵심만 "메모해 두는" 것처럼.

델타 규칙이 전체 구조를 잡는다

델타 규칙(Delta-Rule) 학습이라는 이름이 붙은 이유는, 이 메커니즘이 과거 정보와 새로 들어온 정보 간의 차이(delta)만 업데이트해서 저장하기 때문이다.

기존 프롬프트 튜닝이나 벡터 데이터베이스는 과거 정보를 일급 자료로 다루지만, δ-mem은 능동적으로 차이만 축적한다. 덕분에 전체 대화를 늘어놓지 않아도, 중요한 변화를 기억하고 활용할 수 있다.

실제 벤치마크에서도 성능 향상이 확인됐다

연구 결과, δ-mem은 동결된 LLM에 8×8 온라인 기억 상태를 추가하는 것만으로, 동결된 베이스라인보다 평균 1.10배, 기존 최고 성능 비δ-mem 기법보다 1.15배 높은 점수를 기록했다.

특히 MemoryAgentBench나 LoCoMo 같은 기억 중심 벤치마크에서는 1.20~1.31배의 성능 향상을 보였다. 모델 전체를 다시 학습시키거나, 긴 문맥 처리를 위해 아키텍처를 크게 바꿀 필요가 없다는 점이 중요하다.

LLM 개발자가 봐야는 이유

현재 개발 현장에서는 긴 컨텍스트 대응을 위해 아키텍처를 키우거나 문맥을 늘리는 방향으로 해결하려는 경향이 강하다. 하지만 δ-mem의 결과는 “약하고 간단한 온라인 기억 메커니즘”만으로도 상당한 성능 향상이 가능함을 보여준다.

에이전트 시스템이나 개인 비서 애플리케이션을 만들고 있다면, 무조건 긴 컨텍스트에 매달리기보다는 적절한 기억 압축 기법을 도입하는 편이 효율적일 수 있다. 이 논문은 그 방향성을 명확히 보여주고 있다.