하지만 이 에이전트들의 내부를 들여다보면, 몇 가지 반복되는 아키텍처 패턴이 보인다. 이 글은 그 패턴들을 정리하고, 각각의 트레이드오프를 분석한다.

1. 에이전트의 핵심 루프

모든 AI 에이전트는 하나의 루프로 귀결된다:

차이는 이 루프를 어떻게 구조화하느냐에 있다.

2. 4대 아키텍처 패턴

2.1. ReAct (Reason + Act)

가장 기본적이고 널리 쓰이는 패턴. 추론(Thought)과 행동(Action)을 교대로 수행한다.

Thought: 사용자가 버그를 보고했다. 먼저 에러 로그를 확인해야 한다.
Action: read_file("error.log")
Observation: TypeError: Cannot read property 'name' of undefined
Thought: user 객체가 undefined인 경우가 있다. null check를 추가해야 한다.
Action: edit_file("user.js", ...)
Observation: 파일 수정 완료
Thought: 테스트를 실행하여 수정을 검증한다.
Action: run_command("npm test")
Observation: All tests passed
Answer: 버그를 수정했습니다. user 객체의 null check를 추가했습니다.

사용 사례: Claude Code, OpenHarness, 대부분의 코딩 에이전트

2.2. Plan-and-Execute (계획-실행 분리)

전략적 계획과 전술적 실행을 분리한다. Planner가 한 번 계획을 세우고, Executor가 순차 실행한다.

[Planner]
1. 프로젝트 구조 분석
2. 관련 파일 식별
3. 수정 코드 작성
4. 테스트 실행
5. PR 생성

[Executor]
Step 1: list_directory("src/") → 구조 파악
Step 2: read_file("src/auth.js") → 관련 파일 확인
Step 3: edit_file("src/auth.js", ...) → 수정
Step 4: run_command("npm test") → 검증
Step 5: create_pr(...) → PR 생성

[Re-planner] (Step 4 실패 시)
수정된 계획: 3번으로 돌아가 edge case 처리 추가

사용 사례: Cursor (복잡한 리팩토링), 연구 에이전트

2.3. Reflexion (자기 반성)

실패에서 학습하는 패턴. 시도 → 평가 → 반성 → 재시도 루프를 반복한다.

[시도 1]
코드 작성 → 테스트 실행 → 3개 실패

[반성]
"edge case를 고려하지 않았다. 빈 배열과 null 입력을 처리해야 한다."

[시도 2]
edge case 추가 → 테스트 실행 → 1개 실패

[반성]
"비동기 처리에서 race condition이 발생한다. await를 추가해야 한다."

[시도 3]
await 추가 → 테스트 실행 → 전체 통과 ✓

사용 사례: 코드 생성, 수학 문제 풀이, 복잡한 추론

2.4. Multi-Agent (다중 에이전트)

여러 전문화된 에이전트가 협업하는 패턴.

실행 흐름 예시:

1. Orchestrator: “새 API 엔드포인트를 추가해야 합니다”
2. Researcher: 기존 API 패턴 분석 결과 전달
3. Coder: 패턴에 맞춰 구현
4. Reviewer: “에러 핸들링이 부족합니다” → Coder에게 반환
5. Coder: 수정 후 Tester에게 전달
6. Tester: 테스트 통과 확인 → Orchestrator에 완료 보고

사용 사례: MiroFish (집단 지능), 대규모 프로젝트, 연구 자동화

3. 메모리 전략: 에이전트의 기억

에이전트가 “맥락을 잃지 않는 것”은 핵심 과제다.

Claude Code의 선택: 프롬프트 캐싱

Claude Code는 전체 아키텍처를 프롬프트 캐싱 중심으로 설계했다. 이전 라운드트립의 KV Cache를 재사용하여:

• 중복 연산 제거
• 지연 시간 대폭 감소
• 장기 실행 에이전트의 비용 절감

Hermes Agent의 선택: 세션 간 메모리

Hermes Agent는 외부 메모리에 세션 간 맥락을 저장한다. 어제의 대화를 오늘 이어갈 수 있다.

4. 도구 연결: MCP의 부상

에이전트가 도구를 호출하는 방식도 표준화되고 있다.

Function Calling (OpenAI 스타일)

{
  "name": "read_file",
  "parameters": {"path": "src/main.py"}
}

모델이 JSON 형태로 도구 호출을 생성. 간단하지만 도구 정의가 모델별로 다름.

MCP (Model Context Protocol)

Anthropic이 주도하는 표준 프로토콜. 도구를 서버로 분리하여:

• 모델 독립적 (어떤 LLM이든 연결 가능)
• 도구 재사용 (한 번 만들면 여러 에이전트에서 사용)
• 표준화된 인터페이스

5. 실제 프레임워크 비교

6. 패턴 선택 가이드

실무에서의 경험칙:

• 대부분의 코딩 태스크: ReAct로 충분
• 대규모 리팩토링: Plan-and-Execute
• 품질이 중요한 생성: Reflexion
• 연구/분석: Multi-Agent 또는 Plan-and-Execute

7. 미래 방향

에이전트의 에이전트 (Meta-Agent)

태스크에 따라 최적 패턴을 자동 선택하는 메타 에이전트. “이 태스크는 Plan-Execute가 적합하다”를 스스로 판단.

학습하는 에이전트

Reflexion을 넘어, 과거 경험에서 패턴을 학습하여 점점 효율적으로 동작하는 에이전트. DiscoRL의 메타러닝 아이디어와 연결.

표준화

MCP의 확산으로 도구 생태계가 표준화되면, 에이전트 간 도구 공유와 협업이 자연스러워진다.

정리

AI 에이전트의 핵심은 “어떤 패턴으로 루프를 구조화하느냐”다.

2026년의 에이전트는 아직 초기 단계다. 하지만 패턴이 수렴하고 있고, MCP 같은 표준이 자리잡으면서, “에이전트를 설계하는 것”이 “프로그램을 작성하는 것”만큼 체계적인 엔지니어링이 되어가고 있다.

관련 개념:

• MCP (Model Context Protocol)
• RAG (Retrieval-Augmented Generation)

참고 자료:

• Masterman et al., “The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling” (2024), arXiv:2404.11584
• Anthropic, “Claude Code: Lessons from Building” (2026)
• NeuralWired, “Multi-Agent Orchestration Patterns Drive Enterprise ROI” (2026)

이 논문의 핵심 주장은 도발적이다: 기계가 스스로 SOTA 강화학습 알고리즘을 발견할 수 있다. 그리고 그 발견된 규칙(DiscoRL)은 인간이 수십 년간 설계해온 모든 알고리즘을 능가한다.

1. 왜 이 논문이 중요한가

인간의 학습 메커니즘은 수백만 년의 생물학적 진화가 발견한 것이다. 반면 인공 에이전트의 학습 규칙(Q-Learning, PPO, MuZero 등)은 연구자가 수동으로 설계한다. 이 과정은:

• 느리고 (수년의 연구 기간)
• 인간의 직관에 의존하며 (탐색 공간이 제한됨)
• 발견 가능한 알고리즘의 범위가 좁다

DiscoRL은 이 패러다임을 뒤집는다: 학습 규칙 자체를 학습한다.

2. 핵심 아이디어: 2단계 최적화

일반 RL vs DiscoRL

일반 RL:
  고정된 규칙(예: PPO)으로 에이전트를 학습

DiscoRL:
  외부 루프: 규칙 자체를 최적화 (메타러닝)
    내부 루프: 그 규칙으로 에이전트를 학습

외부 루프(느린 메타학습)가 내부 루프(빠른 에이전트 학습)를 최적화한다. 마치 진화가 학습 메커니즘을 발견하듯이.

3. 방법론 상세

3.1. Agent Network: 무엇을 예측하는가

에이전트는 5가지 출력을 생성한다:

핵심: y와 z의 의미(semantics)는 사전에 정의되지 않는다. “가치 함수가 되어라”라고 지정하지 않는다. 메타네트워크가 학습 과정에서 이 예측들이 무엇을 의미해야 하는지를 스스로 결정한다.

이 설계의 근거: RL의 근본적 구분인 “예측(prediction)”과 “제어(control)”를 반영. y는 상태 가치 함수 v(s)처럼 관측에만 의존하고, z는 행동 가치 함수 q(s,a)처럼 행동에도 의존한다. 하지만 그 구체적 의미는 열려 있다.

3.2. Meta-Network: 타겟을 생성하는 LSTM

메타네트워크는 에이전트가 “어디로 향해야 하는지”를 알려주는 타겟을 생성한다:

• 입력: 에이전트 출력의 궤적 + 보상 + 에피소드 종료 신호 (시간 t ~ t+n)
• 처리: LSTM을 시간 역방향으로 unroll
• 출력: 에이전트의 예측과 정책이 향해야 할 타겟

왜 역방향인가? n-step 미래 정보를 활용하여 타겟을 구성하기 위해. TD(λ)와 같은 multi-step 방법의 일반화.

3.3. Agent Loss: KL Divergence 기반

에이전트는 메타네트워크가 제시한 타겟 방향으로 자신의 예측을 업데이트한다. 거리 함수로 KL divergence를 사용.

3.4. Meta-Gradient: 업데이트 과정을 역전파

• $\nabla_\eta \theta$: 에이전트 업데이트 과정 전체를 통한 역전파 (20 업데이트 sliding window)
• $\nabla_\theta J(\theta)$: Advantage Actor-Critic으로 추정

이것이 계산적으로 가장 비싼 부분이다. 에이전트가 20번 업데이트되는 전체 과정을 미분 가능하게 만들어야 한다.

4. 실험 결과

4.1. Atari 57: 모든 기존 알고리즘 능가

Disco57 (Atari 57에서 메타학습):

• IQM: 13.86 — MuZero, Dreamer, MEME 등 모든 기존 알고리즘 능가
• MuZero 대비 약 40% 적은 연산량으로 동일 성능 도달
• 발견 시보다 큰 네트워크에서도 일반화

4.2. 일반화: 본 적 없는 환경에서도 SOTA

특히 ProcGen 결과가 인상적이다. Disco57은 Atari에서만 메타학습했는데, 전혀 다른 구조의 ProcGen 게임에서도 SOTA를 달성했다. 이는 발견된 규칙이 특정 환경에 과적합된 것이 아니라 범용적인 학습 원리를 포착했음을 의미한다.

4.3. 스케일링: 환경이 많을수록 강해진다

• Disco57 (57 환경) → Disco103 (103 환경): 모든 미학습 벤치마크에서 향상
• 환경 다양성 ↑ → 발견된 규칙의 일반성 ↑
• 단순 환경(grid-world)에서 발견 → Atari에서 성능 저조

이것은 “데이터와 컴퓨트의 함수로서의 알고리즘 품질”이라는 스케일링 법칙의 메타러닝 버전이다.

5. 분석: DiscoRL은 무엇을 발견했는가

5.1. 발견된 예측의 의미

논문의 가장 흥미로운 부분이다. y와 z는 무엇이 되었는가?

• 미래 중요 이벤트 직전에 spike: 보상 획득이나 정책 엔트로피 변화 전에 예측 신뢰도가 급등
• 정책/가치함수와 다른 객체에 주목: Gradient 분석 결과, 정책은 가까운 적에, 가치함수는 점수판에, 발견된 예측은 먼 거리의 적에 집중
• 고유한 정보 포착: 미래 엔트로피와 대형 보상 이벤트를 정책이나 가치함수보다 더 잘 예측

즉, DiscoRL은 기존 RL에 없던 새로운 종류의 “미래 예측”을 발명한 것이다. 가치 함수가 “미래 보상의 합”을 예측한다면, 발견된 예측은 “미래에 중요한 일이 일어날 것”을 예측한다.

5.2. 부트스트래핑의 자연 출현

부트스트래핑(미래 예측값을 현재 타겟으로 사용)은 TD Learning의 핵심 아이디어다. DiscoRL에서는 이것이 명시적으로 프로그래밍되지 않았음에도 자연스럽게 출현했다.

• 미래 예측 $z_{t+k}$를 교란하면 현재 타겟 $\hat{z}_t$가 크게 변함
• 부트스트래핑 제거 시 성능 대폭 하락
• 예측이 정책 업데이트에도 직접 활용됨 (단순 보조 태스크가 아님)

이는 부트스트래핑이 RL의 “자연법칙”에 가까운 근본적 원리임을 시사한다.

6. 왜 이전 시도들은 실패했는가

DiscoRL의 성공 요인 2가지:

1. 넓은 탐색 공간: 예측의 의미까지 열어둠
2. 복잡한 환경에서의 대규모 메타학습: 57~103개의 도전적 환경

7. 시사점과 미래

연구적 시사점

• RL 알고리즘 설계가 “인간의 직관”에서 “기계의 발견”으로 전환될 수 있음
• 발견된 규칙의 성능이 데이터(환경)와 컴퓨트의 함수 → 스케일링 법칙 적용 가능
• 부트스트래핑 같은 근본 원리가 자동으로 재발견됨 → RL 이론의 검증

한계

• 계산 비용: Disco57 발견에 1,024 TPUv3 × 64시간 (개인 연구자에게는 비현실적)
• 연속 행동 공간: 현재는 이산 행동 공간에 집중
• 해석 가능성: 발견된 규칙의 완전한 이해는 아직 어려움

개인적 의미

Junhyuk Oh는 내가 목표로 삼는 연구자다. 이 논문은 그의 연구 궤적에서 하나의 정점이다:

• 2020 NeurIPS: “Discovering Reinforcement Learning Algorithms” (초기 버전)
• 2025 Nature: DiscoRL (대규모 스케일업 + SOTA 달성)

5년간의 집요한 추적이 Nature 게재로 결실을 맺었다. “하나의 아이디어를 끝까지 밀어붙이는 것”의 가치를 보여주는 사례.

정리

DiscoRL의 핵심 메시지:

RL 알고리즘은 인간이 설계하는 것이 아니라, 기계가 발견하는 것이 될 수 있다.

그리고 그 발견된 규칙은 인간이 수십 년간 만들어온 모든 것을 능가한다. 이것은 RL 연구의 패러다임 전환이다.

관련 개념:

• 강화학습 (Reinforcement Learning)
• 메타러닝 (Meta-Learning)

참고 자료:

• Oh, J. et al., “Discovering state-of-the-art reinforcement learning algorithms”, Nature (2025), DOI: 10.1038/s41586-025-09761-x
• 오픈소스 코드: github.com/google-deepmind/disco_rl

이것은 단순한 불편함이 아니다. 토큰 수는 곧 비용, 속도, 컨텍스트 윈도우 활용률에 직결된다. 한국어 사용자는 같은 의미를 전달하는 데 더 많은 토큰을 소비하고, 더 많은 비용을 지불하며, 더 짧은 문맥만 활용할 수 있다.

1. BPE 복습: 왜 표준이 되었는가

BPE(Byte Pair Encoding)는 원래 텍스트 압축 알고리즘이다. LLM 토큰화에 적용된 핵심 아이디어:

1. 텍스트를 개별 문자(또는 바이트)로 분할
2. 가장 빈도 높은 인접 쌍을 반복적으로 병합
3. 목표 어휘 크기에 도달하면 중단

"hugs" → 학습 후 → ["hug", "s"]
"unhappiness" → ["un", "happ", "iness"]

장점:

• OOV 문제 해결: 어떤 단어든 서브워드 조합으로 표현 가능
• 언어 독립적: 별도의 언어학적 지식 불필요
• 단순하고 빠름: 구현이 간단하고 학습 속도 빠름

이 “언어 독립성”이 영어에서는 강점이지만, 한국어에서는 약점이 된다.

2. 한국어에서 BPE가 실패하는 이유

2.1. 교착어의 특성

한국어는 교착어(agglutinative language)다. 어간에 조사, 어미가 붙어 의미가 변한다:

먹다 → 먹었다, 먹겠다, 먹었었겠다
학교 → 학교에서, 학교에서부터, 학교에서부터라도

BPE는 통계적 빈도만 보므로, 이 형태소 경계를 무시한다:

BPE 분할: "학교에서" → ["학교에", "서"]  (형태소 경계 무시)
올바른 분할: "학교에서" → ["학교", "에서"]  (어간 + 조사)

2.2. 토큰 비효율 (높은 Fertility)

Fertility = 단어당 평균 토큰 수. 한국어의 fertility는 영어 대비 2~3배 높다.

이것이 의미하는 것:

• 비용 2~3배: API 과금이 토큰 단위
• 속도 2~3배 느림: 생성 토큰 수에 비례
• 컨텍스트 활용률 1/2~1/3: 같은 128K 윈도우에 담을 수 있는 한국어 텍스트가 적음

2.3. 영어 중심 토크나이저의 문제

GPT-4, Llama 등 영어 중심 모델의 토크나이저는 한국어를 UTF-8 바이트 단위로 처리한다. 한글 한 글자가 3바이트이므로, “가”가 3개 토큰이 될 수 있다.

3. 해결 접근법

3.1. 형태소 분석 + BPE 하이브리드

가장 검증된 접근법. 형태소 분석으로 언어학적 경계를 먼저 잡고, 그 위에 BPE를 적용한다.

원문: "자연어처리를 공부합니다"
→ 형태소 분석: ["자연어", "처리", "를", "공부", "하", "ㅂ니다"]
→ BPE 적용: ["자연어", "처리", "를", "공부", "합니다"]

실험 결과 (Lee et al., 2020):

• KorNLI, KorSTS, NSMC, PAWS-X: 형태소 + BPE가 최적
• KorQuAD (QA): BPE 단독이 최적 (정확한 span 추출에 유리)

도구: Mecab-ko, KoNLPy (Okt, Komoran, Hannanum)

단점: 형태소 분석기에 의존. 분석기의 오류가 토큰화에 전파됨.

3.2. 형태소 인식 서브워드 + 자소 분해

형태소 유형 정보를 BPE 학습 과정에 통합하는 방식 (Jeon et al., 2023):

한글 음절 "한" → 자소 분해 → "ㅎ", "ㅏ", "ㄴ"

• 어휘 크기 축소 (한글 음절 11,172개 → 자소 67개)
• 형태소 유형(어간/어미/조사) 정보를 학습에 반영
• 구문적 태스크(NIKL-CoLA)에서 특히 효과적

3.3. Thunder-Tok: 규칙 기반 전처리 + 분기 엔트로피 (2025, 서울대)

가장 최근의 접근법. 핵심 아이디어:

1. 규칙 기반 전처리: 한국어 언어 구조에 맞는 분할 규칙 적용
2. 시드 어휘 생성: 언어학적 단위를 닮은 토큰으로 초기 어휘 구성
3. 분기 엔트로피 기반 선택: 통계적으로 의미 있는 경계를 자동 탐지

결과:

• BPE 대비 fertility 약 10% 감소
• 추론 속도 ~10% 향상 (토큰 수 감소에 비례)
• 다운스트림 성능 저하 없음

3.4. 어휘 확장 (EEVE 방식)

영어 중심 LLM에 한국어 어휘를 추가하는 접근 (Yoo et al., 2024):

1. 기존 영어 토크나이저에 한국어 서브워드 추가
2. 새 토큰의 임베딩을 기존 토큰의 가중 평균으로 초기화
3. 기존 파라미터는 동결, 새 임베딩만 학습

SOLAR-10.7B, Phi-2에 적용하여 한국어 처리 효율을 대폭 개선.

4. 실무 가이드: 어떤 전략을 써야 하는가

의사결정 트리

한국어 전용 모델을 처음부터 학습?
├── Yes → 형태소 + BPE 하이브리드 또는 Thunder-Tok
└── No
    └── 영어 중심 모델을 한국어에 적용?
        ├── 파인튜닝 가능 → EEVE 방식 어휘 확장
        └── API만 사용 → 프롬프트 최적화 (토큰 절약 기법)

RAG/임베딩에서의 한국어 토큰화

한국어 RAG 시스템 구축 시:

• 청킹(Chunking): 형태소 분석 기반 문장 분리가 BPE 기반보다 정확
• 임베딩 모델: BGE-M3 (다국어), KoSimCSE (한국어 특화)
• 검색 품질: 형태소 분석 전처리 → BM25 검색 성능 향상

5. 미래 방향

토크나이저 없는 모델 (Tokenizer-Free)

바이트 단위로 직접 처리하는 모델(ByT5, MegaByte)이 연구되고 있다. 토크나이저의 언어 편향 문제를 근본적으로 해결할 수 있지만, 시퀀스 길이 증가로 인한 효율성 문제가 남아 있다.

한국어 LLM 생태계

• HyperCLOVA X (네이버): 한국어 최적화 토크나이저 자체 개발
• SOLAR (업스테이지): 한국어 어휘 확장 적용
• Gemma 4: 다국어 BPE 기반이지만 한국어 토큰 효율은 여전히 과제

정리

한국어 토큰화의 핵심 교훈: “언어 독립적”이라는 BPE의 강점이 교착어에서는 약점이 된다. 언어학적 지식을 적절히 주입하면 효율과 성능 모두를 개선할 수 있다.

관련 개념:

• 트랜스포머 (Transformer)
• 임베딩 (Embedding)

참고 자료:

• Lee et al., “An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks” (2020), arXiv:2010.02534
• Jeon et al., “Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization” (2023), arXiv:2311.03928
• Cho et al., “Thunder-Tok: Minimizing Tokens per Word in Tokenizing Korean Texts” (2025), arXiv:2506.15138
• Yoo et al., “EEVE-Korean: Efficient and Effective Vocabulary Expansion” (2024), arXiv:2402.14714

나는 이 가이드를 읽은 직후 Obsidian 볼트를 초기화하고, 3주간 실제로 운영해봤다. 이 글은 그 과정에서 얻은 실전 경험을 정리한 것이다.

1. PKM은 왜 실패하는가

Evernote → Notion → Roam Research → Obsidian. 도구는 바뀌어도 결말은 같다. 3개월 안에 포기.

근본 원인은 단순하다:

입력 마찰 > 검색 가치 = 시스템 사망

노트를 정리하고, 태그를 달고, 링크를 연결하는 “북키핑” 비용이 나중에 검색해서 얻는 가치보다 빠르게 증가한다. 위키가 커질수록 유지보수 부담이 기하급수적으로 늘어나고, 결국 포기한다.

Karpathy의 통찰은 이 공식을 뒤집는 것이다: LLM이 북키핑을 담당하면 유지보수 비용이 거의 0에 수렴한다.

2. LLM Wiki vs RAG: 근본적 차이

대부분의 LLM 문서 활용은 RAG(Retrieval-Augmented Generation) 방식이다. NotebookLM, ChatGPT 파일 업로드 등. 매번 원문에서 정보를 재추출하며, 지식의 누적이 없다.

LLM Wiki는 다르다:

핵심 차이: RAG는 “검색 도구”이고, LLM Wiki는 “지식이 복리로 축적되는 시스템”이다.

3. 아키텍처: 3개 레이어

내가 구현한 구조는 Karpathy의 원본을 한국어 연구자 맥락에 맞게 변형한 것이다.

📁 01_raw/          ← 불변 원본 (LLM은 읽기만)
   ├── articles/    ← 웹 아티클 클리핑
   ├── papers/      ← 논문 PDF + 마크다운 변환
   ├── transcripts/ ← 유튜브/팟캐스트 트랜스크립트
   └── notes/       ← 수기 메모

📁 02_wiki/         ← LLM이 생성·유지하는 위키
   ├── concepts/    ← 개념 페이지 (attention, LoRA, ...)
   ├── entities/    ← 인물/조직/모델 페이지
   ├── sources/     ← 소스별 요약 페이지
   ├── syntheses/   ← 종합 분석 페이지
   ├── index.md     ← 전체 카탈로그
   └── log.md       ← 작업 이력 (append-only)

📁 03_output/       ← 위키에서 파생된 결과물
   ├── blog/        ← 블로그 포스트
   ├── portfolio/   ← 포트폴리오
   └── slides/      ← 발표자료

핵심 원칙

• 01_raw는 진실의 원천(source of truth). LLM은 절대 수정하지 않는다.
• 02_wiki는 LLM이 소유. 사용자는 읽기만, LLM이 쓰기.
• 03_output은 위키에서 파생. 블로그 포스트도 위키 기반으로 생성.

4. 워크플로우: Ingest → Query → Lint → Output

4.1. Ingest (원본 → 위키)

새 소스가 01_raw/에 들어오면:

1. LLM이 원문을 읽는다
2. 사용자와 핵심 내용을 논의한다
3. 02_wiki/sources/에 요약 페이지를 생성한다
4. 관련 concepts/, entities/ 페이지를 갱신한다
5. index.md를 업데이트한다
6. log.md에 기록한다

단일 소스 하나가 10~15개 위키 페이지에 영향을 줄 수 있다. 이 교차 참조 업데이트를 사람이 수동으로 하면 30분. LLM은 2분.

4.2. Query (질의 → 답변)

index.md에서 관련 페이지를 탐색하고, 그래프 기반 탐색을 병행하여 종합 답변을 생성한다. 가치 있는 답변은 syntheses/에 저장하여 지식으로 축적.

4.3. Lint (건강 점검)

주기적으로 위키 상태를 점검한다:

• 페이지 간 모순 확인
• 고아 페이지(인바운드 링크 없는 페이지) 탐지
• 누락된 개념 식별
• 교차 참조 보완

4.4. Output (위키 → 결과물)

위키가 충분히 성숙하면 블로그 포스트, 포트폴리오, 발표자료로 변환한다. 이 글 자체가 Output 워크플로우의 산물이다.

5. 인과 관계 표기: 지식 그래프의 방향성

위키링크 [[개념]]은 “연결”만 표현한다. 하지만 지식 간에는 방향성 있는 인과 관계가 존재한다. 이를 위해 별도의 callout 컨벤션을 도입했다:

> [!causal] 인과 관계
> [[메타러닝]] →(가능하게 함)→ [[DiscoRL]]의 RL 규칙 자동 발견
> 신뢰도: 높음 | 출처: [[discovering-sota-rl-algorithms]]

허용 관계 유형:

• →(가능하게 함)→ : A가 B를 가능하게 함
• →(성능 향상)→ : A가 B의 성능을 향상시킴
• →(기반이 됨)→ : A가 B의 이론적/기술적 기반
• →(대체함)→ : A가 B를 대체함

이 인과 관계를 파싱하면 방향 그래프가 만들어지고, 순환 참조나 모순을 자동 탐지할 수 있다.

6. 3주 운영 후 실감한 것들

효과가 있었던 것

• 지식의 복리 효과: 소스가 20개를 넘어가면서 새 소스를 인제스트할 때 기존 페이지와의 연결이 자동으로 풍부해졌다. 양자화 페이지에 Gemma 4 적용 사례가 자연스럽게 추가되는 식.
• 검색 없는 탐색: index.md와 위키링크만으로 원하는 정보에 2~3홉 이내로 도달. 벡터 DB 없이도 ~100개 소스 규모에서 충분히 작동.
• 블로그 포스트 생산 속도: 위키가 충분히 채워진 주제는 포스트 초안을 30분 내에 생성 가능.

주의할 점

• LLM의 환각: 위키 페이지에 원본에 없는 내용이 슬며시 들어갈 수 있다. sources frontmatter로 출처를 강제하고, Lint 시 검증.
• 컨텍스트 한계: 위키가 커지면 LLM이 전체를 한 번에 읽지 못한다. index.md를 진입점으로 삼아 필요한 페이지만 선택적으로 로드하는 전략이 필수.
• 초기 투자: 스키마 설계, 컨벤션 정립, 첫 10개 소스 인제스트까지는 수동 개입이 많다. 이후부터 자동화 효과가 체감됨.

7. 기술 스택

8. Karpathy가 말한 4가지 장점

1. 명시성(Explicit): AI가 무엇을 알고 모르는지 위키 페이지로 직접 확인 가능
2. 데이터 소유권(Yours): 로컬 마크다운 파일. 플랫폼 종속 없음
3. 파일 우선(File over app): 범용 포맷이라 어떤 도구든 호환
4. AI 선택 자유(BYOAI): Claude, GPT, 로컬 모델 등 자유롭게 교체 가능

9. 결론: 누가 유지 관리하는가

Vannevar Bush가 1945년 Memex를 구상했을 때 해결하지 못한 문제가 있었다: “누가 이 지식 저장소를 유지 관리하는가?”

80년이 지나서야 답이 나왔다. LLM이 한다.

입력 마찰을 0에 가깝게 낮추고, 교차 참조를 자동으로 유지하며, 모순을 감지하고, 지식을 복리로 축적한다. 사용자는 소싱과 질문에만 집중하면 된다.

PKM의 역사는 실패의 역사였다. LLM Wiki는 그 공식을 처음으로 뒤집을 수 있는 패턴이다.

관련 개념:

• RAG (Retrieval-Augmented Generation)
• MCP (Model Context Protocol)

참고 자료:

• Andrej Karpathy, “LLM Wiki Guide” (2026), GitHub Gist
• NEWIT, “카파시도 못 말한 LLM-Wiki의 진실” (2026), YouTube

2021년, Microsoft Research에서 이 문제에 대한 우아한 해법을 내놓았다. LoRA(Low-Rank Adaptation). 모델 가중치를 얼리고(freeze), 아주 작은 저랭크 행렬만 학습하여 간접적으로 가중치를 업데이트하는 기법이다.

1. Fully Fine-Tuning이 비현실적인 이유

LLM의 학습 과정에서 GPU에 올라가는 것들을 정리하면:

7B 모델이 FP16으로 14GB라면, 학습 시에는 약 56GB가 필요하다. 70B면 560GB. 단일 GPU로는 불가능하고, 멀티 GPU 병렬화를 해도 비용이 막대하다.

핵심 질문: 가중치 전체를 업데이트하지 않고도 동등한 성능을 낼 수 있을까?

2. LoRA의 핵심 사상: 저랭크 가설

LoRA의 출발점은 하나의 가설이다:

Fine-Tuning 시 가중치 변화량 ΔW는 저랭크(low-rank) 구조를 가진다.

즉, 수십억 개의 파라미터가 변하지만, 그 변화의 “본질적 차원”은 전체 파라미터 수보다 훨씬 작다. 마치 고차원 공간에서의 움직임이 실제로는 저차원 부분공간 위에서만 일어나는 것과 같다.

이 가설이 맞다면, ΔW를 직접 학습하는 대신 저랭크 행렬의 곱으로 근사할 수 있다.

3. 수학적 원리

3.1. 저랭크 분해 (Low-Rank Decomposition)

원본 가중치 행렬 $W \in \mathbb{R}^{d \times k}$를 freeze하고, 두 개의 작은 행렬을 도입한다:

여기서:

• $A \in \mathbb{R}^{r \times k}$ — 다운프로젝션 (LoRA_A)
• $B \in \mathbb{R}^{d \times r}$ — 업프로젝션 (LoRA_B)
• $r \ll d$ — 랭크. 보통 4, 8, 16 정도

3.2. Forward Pass 구조

입력 x → [Frozen W] → h₁
       → [LoRA_A → LoRA_B] → h₂
       → h = h₁ + h₂  (단순 덧셈)

학습 시에는 A와 B만 gradient가 흐른다. W는 완전히 고정.

3.3. 파라미터 절감 효과

원본 W의 파라미터 수: $d \times k$

LoRA 추가 파라미터 수: $d \times r + r \times k = r(d + k)$

$d = k = 4096$, $r = 8$이라면:

• 원본: 16,777,216개
• LoRA: 65,536개 (원본의 0.39%)

4. 어디에 적용하는가: Weight Type 선택

Transformer의 Self-Attention 레이어에는 4개의 가중치 행렬이 있다:

논문의 실험 결과, Query + Key에 적용했을 때 최고 성능을 보였다. 이는 어텐션 패턴(어떤 토큰이 어떤 토큰을 바라보는지)을 조정하는 것이 Fine-Tuning의 핵심임을 시사한다.

5. LoRA의 4가지 장점

5.1. 성능: Fully Fine-Tuning과 동등하거나 우수

18M 파라미터만으로 다양한 Downstream task에서 Full Fine-Tuning 수준의 성능을 달성.

5.2. VRAM 절감

W를 freeze하면 gradient와 optimizer 텐서가 GPU에 로드되지 않는다. 학습 대상은 오직 A와 B뿐.

5.3. 추론 속도 동일

학습 완료 후 $W’ = W + B \cdot A$로 합산하면, 추론 시에는 단일 행렬 연산. 추가 연산량 제로.

5.4. 원복 용이

더한 만큼 빼면 원본 모델로 즉시 복원. 여러 태스크용 LoRA 어댑터를 스왑하며 사용 가능.

6. 실무 적용 시나리오

로컬 GPU에서의 도메인 특화 LLM

양자화(Quantization)와 LoRA를 결합하면:

1. 4비트 양자화로 모델을 24GB GPU에 로드
2. LoRA로 도메인 데이터에 파인튜닝
3. 추론 시 합산하여 단일 모델로 서빙

이것이 QLoRA 패턴이며, Gemma 4 같은 오픈소스 모델에 Hugging Face TRL, Unsloth 등으로 바로 적용 가능하다.

멀티 태스크 어댑터

하나의 베이스 모델에 여러 LoRA 어댑터를 학습해두고, 요청에 따라 동적으로 로드:

• 코드 생성용 LoRA
• 한국어 대화용 LoRA
• 의료 도메인용 LoRA

7. 한계와 후속 연구

LoRA가 만능은 아니다:

• 랭크 r 선택: 너무 작으면 표현력 부족, 너무 크면 효율성 감소. 태스크별 최적값이 다름.
• 적용 레이어 선택: Q+K가 최적이라는 결과는 특정 실험 조건에서의 결론. 모델/태스크에 따라 다를 수 있음.
• 복잡한 태스크: 대규모 도메인 전환(예: 영어→한국어)에서는 Full Fine-Tuning 대비 성능 갭이 존재할 수 있음.

후속 연구로 QLoRA, DoRA, LoRA+, AdaLoRA 등이 이 한계들을 개선하고 있다.

정리

LoRA의 핵심 통찰은 단순하다: 거대한 모델의 변화는 생각보다 저차원적이다. 이 가설 하나가 LLM 파인튜닝의 민주화를 이끌었다.

관련 개념:

• 양자화 (Quantization)
• 트랜스포머 (Transformer)
• 어텐션 (Attention)

참고 자료:

• Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models” (2021), arXiv:2106.09685

하지만 4비트 양자화를 적용하면 ~35GB로 축소된다. 놀랍게도 원본 성능의 95% 이상을 유지하면서. 이것이 로컬 AI 시대를 가능하게 만든 핵심 기술이다.

1. 양자화란 무엇인가

모델 가중치의 숫자 정밀도를 낮추는 기술이다. FP16(16비트 부동소수점)을 INT4(4비트 정수)로 변환하면 메모리 사용량이 1/4로 줄어든다.

기본 수식

• W: 원본 가중치 (FP16 실수값)
• S (Scale Factor): 데이터 범위를 압축하는 스케일링 팩터
• Z (Zero-point): 비대칭 분포 보정을 위한 영점
• round(): 반올림. 실수를 정수 버킷에 매핑

왜 95% 성능이 유지되는가?

뉴런 간 연결 강도(가중치)의 미세한 소수점 값이 무뎌져도, 거대한 네트워크가 만들어내는 전체적인 문맥 파악의 논리 구조는 쉽게 붕괴되지 않기 때문이다. 수십억 개의 파라미터가 만드는 “집단적 패턴”은 개별 값의 정밀도보다 훨씬 견고하다.

2. GPTQ: 열 단위 순차 보상 (GPU 전용)

원리

가중치 행렬을 열(column) 단위로 순차 양자화한다. 핵심 아이디어: 앞선 열을 양자화할 때 발생한 오차를 뒤 열의 가중치를 조정하여 보상한다.

열 1 양자화 → 오차 발생
  ↓ 오차를 열 2~N에 분배
열 2 양자화 → 오차 발생
  ↓ 오차를 열 3~N에 분배
...

이 방식은 Optimal Brain Surgeon(OBS) 프레임워크에서 유래했다. 각 열의 양자화가 전체 출력에 미치는 영향을 Hessian 행렬로 추정하고, 후속 열에서 보상한다.

보정 데이터

~128개 텍스트 샘플로 활성화 값을 수집한다. 이 데이터가 “어떤 가중치가 출력에 얼마나 영향을 주는지”를 추정하는 데 사용된다.

특징

• 4비트에서도 원본과 유사한 품질
• 7B 모델 수 분 내 양자화 완료
• GPU 전용 (CUDA 커널 필요)
• 추론 시 역양자화(dequantization) 필요
• vLLM, TGI와 호환

3. AWQ: 활성화 기반 채널 보존 (GPU 전용)

원리

AWQ(Activation-aware Weight Quantization)의 핵심 통찰:

모든 가중치가 동등하지 않다. 활성화(Activation) 크기가 큰 채널이 출력에 더 큰 영향을 준다.

보정 데이터를 통해 각 가중치 채널의 활성화 크기를 측정하고, 중요 채널은 높은 정밀도를 유지한다. 덜 중요한 채널은 공격적으로 양자화해도 전체 성능에 미치는 영향이 적다.

GPTQ와의 차이

• GPTQ: 오차를 후속 열에 분배하여 보상
• AWQ: 중요 채널을 사전에 식별하여 보호

특징

• GPTQ보다 빠른 양자화 속도
• 동등한 품질
• GPU 전용
• vLLM, TGI와 호환

4. GGUF: 크로스플랫폼 호환 (CPU+GPU)

원리

GGUF(GPT-Generated Unified Format)는 llama.cpp 생태계의 표준 포맷이다. 특정 양자화 알고리즘이라기보다는 다양한 양자화 방식을 담을 수 있는 컨테이너 포맷에 가깝다.

핵심 강점은 CPU+GPU 혼합 추론:

• GPU VRAM이 부족하면 일부 레이어를 CPU RAM에 오프로드
• Mac, Windows, Linux 어디서든 구동
• Ollama, LM Studio 등 로컬 런타임과 즉시 호환

양자화 레벨

특징

• 크로스플랫폼 (CPU/GPU/Metal)
• Ollama 한 줄 설치로 즉시 사용
• GPU 전용 기법 대비 추론 속도 다소 느림
• 커뮤니티 생태계가 가장 활발

5. 비교 테이블

6. 어떤 걸 써야 하는가: 의사결정 트리

GPU 서버에서 서빙? (vLLM/TGI)
├── Yes → AWQ (속도 우선) 또는 GPTQ (품질 우선)
└── No
    └── 로컬 PC에서 개인 사용?
        ├── NVIDIA GPU 있음 → GGUF (Q4_K_M) + GPU 오프로드
        └── CPU만 또는 Mac → GGUF (Q4_K_M)

실무에서의 경험칙:

• 프로덕션 서빙: AWQ + vLLM. 양자화 속도와 추론 성능 모두 우수.
• 로컬 실험/개인 사용: GGUF + Ollama. 설치 1분, 즉시 사용.
• 품질 최우선: GPTQ. 보정 데이터를 도메인에 맞게 준비하면 품질 극대화.

7. Gemma 4에서의 양자화

Gemma 4는 양자화에 최적화된 설계를 갖추고 있다:

• MoE (26B/4B active): 활성 파라미터가 4B뿐이므로 양자화 시 메모리 효율 극대화
• Shared KV Cache: KV 캐시 공유로 양자화 후에도 추론 메모리 절감
• Apache 2 라이선스: 자유롭게 양자화·배포 가능

Hugging Face에서 GPTQ, AWQ, GGUF 버전 모두 커뮤니티가 제공하고 있어, 용도에 맞게 선택하면 된다.

8. 양자화 + LoRA = 로컬 AI의 완성

양자화와 LoRA를 결합하면:

1. 4비트 양자화로 모델을 24GB GPU에 로드
2. LoRA로 도메인 데이터에 파인튜닝 (QLoRA)
3. 추론 시 합산하여 단일 모델로 서빙

이것이 “개인 GPU에서 도메인 특화 LLM을 구축하는” 현실적 경로다.

정리

양자화는 단순한 압축 기술이 아니다. 로컬 AI 시대의 민주화 도구다.

• 70B 모델을 소비자 GPU에서 구동 가능하게 만들고
• 95% 이상의 성능을 유지하며
• 오픈소스 생태계와 결합하여 누구나 접근 가능한 AI를 실현한다

GPTQ, AWQ, GGUF는 각각의 트레이드오프가 있지만, 공통된 메시지는 하나다: 거대한 모델의 지능은 소수점 아래 자릿수에 있지 않다.

관련 개념:

• LoRA (Low-Rank Adaptation)
• 트랜스포머 (Transformer)

참고 자료:

• Frantar et al., “GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers” (2022)
• Lin et al., “AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration” (2023)
• llama.cpp GGUF 포맷 명세, GitHub

Sliding Window Attention(SWA)은 이 문제를 O(N×W)로 줄인다. 하지만 대가가 있다: 윈도우 밖 토큰을 완전히 무시한다. Apple의 RAttention 논문은 이 근본 한계를 해결하여, 윈도우 512만으로 Full Attention 성능을 매칭했다.

1. Full Attention의 비용

표준 어텐션의 수식:

시퀀스 길이 N에 대해:

• 연산량: O(N² × d)
• KV Cache (추론 시): O(N × d) — 시퀀스가 길어질수록 선형 증가

128K 토큰 문맥에서 KV Cache만 수십 GB를 차지할 수 있다.

2. Sliding Window Attention: O(N×W)로의 축소

원리

최근 W개 토큰에 대해서만 어텐션을 수행한다:

• 연산량: O(N × W × d) — W가 고정이면 N에 선형
• KV Cache: O(W × d) — 상수. 시퀀스 길이와 무관

Local-Global Hybrid (Gemma 4, Mistral)

현대 모델은 SWA만 쓰지 않는다. SWA 레이어와 Full Attention 레이어를 교대 배치한다:

Layer 1: SWA (윈도우 512)    ← 로컬 문맥, 상수 메모리
Layer 2: Full Attention       ← 글로벌 문맥, O(N) 메모리
Layer 3: SWA (윈도우 512)    ← 로컬 문맥
Layer 4: Full Attention       ← 글로벌 문맥
...

Gemma 4는 소형 모델에서 윈도우 512, 대형 모델에서 1024를 사용한다.

Pareto 트레이드오프

핵심 딜레마: 윈도우를 줄이면 효율은 좋아지지만 성능이 떨어진다. 이 Pareto 경계를 이동시킬 수 있을까?

3. SWA의 근본 한계

흔히 알려진 경험적 규칙:

layers × window_size ≥ context_length

이 규칙은 “정보가 레이어를 거치며 전파되므로, 충분한 레이어가 있으면 먼 토큰의 정보도 도달한다”는 가정에 기반한다.

RAttention 논문은 이것이 불충분함을 증명했다. SWA의 진짜 문제는:

• 윈도우 밖 토큰을 완전히 무시한다 (0% 참조)
• 레이어 간 전파는 간접적이고 손실이 크다
• 특히 recall-intensive 태스크(특정 정보를 정확히 기억해야 하는 경우)에서 치명적

4. RAttention: Residual Linear Attention으로 보완

핵심 아이디어

SWA가 놓치는 “윈도우 밖 토큰”의 정보를 Linear Attention의 recurrent 상태로 캡처한다.

RAttention = SWA (윈도우 내) + RLA (윈도우 밖)

Residual Linear Attention (RLA) 수식

\(S_t = S_{t-1} + \phi(k_t)^T v_t\) \(o_t^{\text{rla}} = \phi(q_t) \cdot S_{t-w-1}\)

• $S_t$: 선형 어텐션의 recurrent 상태 (행렬값 hidden state)
• $\phi$: 특성 맵 (softmax 기반이 최적)
• 핵심: $S_{t-w-1}$에서 읽어옴 — 윈도우 밖 토큰의 정보만 캡처

최종 출력

SWA의 로컬 정보와 RLA의 글로벌 정보를 합산.

설계 특징

• 추가 파라미터 없음: SWA의 Q/K/V 투영을 그대로 재사용
• 상수 메모리 유지: RLA의 상태 $S$는 고정 크기 (d’ × d)
• GQA 호환: Group-Query Attention과 자연스럽게 결합
• 전용 커널: chunkwise parallel 구현으로 학습 효율 유지

5. 실험 결과

3B, 12B 스케일 사전학습

• 3B와 12B 모두에서 일관된 결과
• 윈도우 512의 RAttention이 윈도우 4096의 SWA와 동등하거나 우수

장문맥 성능 (RULER 벤치마크)

RLA의 recurrent 특성이 장문맥 일반화에 기여:

• SWA 대비 현저히 우수한 zero-shot 길이 일반화
• 위치 임베딩에 대한 과도한 의존도 감소

학습 효율

전용 커널 구현 + 축소된 윈도우 크기 덕분에:

• Full Attention 모델과 동등한 학습 속도
• 더 큰 윈도우의 SWA 모델과도 동등

6. 왜 Linear Attention 단독으로는 안 되는가

순수 Linear Attention 모델은 Transformer에 미치지 못한다. 특히 recall-intensive 태스크에서. 이유:

• 고정 크기 상태 $S$에 모든 과거 정보를 압축해야 함
• 정보 병목(information bottleneck)이 발생
• softmax 어텐션의 “선택적 집중” 능력이 없음

RAttention의 해법: SWA가 로컬의 정밀한 recall을 담당하고, RLA는 글로벌의 대략적 문맥만 보완한다. 역할 분담이 핵심.

7. Gemma 4에서의 적용

Gemma 4의 어텐션 설계는 RAttention 논문의 맥락에서 이해할 수 있다:

• 소형 dense 모델: 윈도우 512 + Full Attention 교대
• 대형 모델: 윈도우 1024 + Full Attention 교대
• Dual RoPE: sliding 레이어는 표준 RoPE, global 레이어는 proportional RoPE
• Shared KV Cache: 마지막 N개 레이어가 이전 레이어의 KV 재사용

RAttention은 이 아키텍처의 “Full Attention 레이어”를 줄이거나 제거할 수 있는 가능성을 제시한다.

8. 시사점

실무적 의미

• 윈도우 512로도 충분하다면, 추론 시 KV Cache가 극적으로 줄어듦
• 4K 문맥에서 ~87% KV Cache 절감 → 더 긴 문맥을 같은 메모리로 처리 가능
• 온디바이스 모델에서 특히 중요 (메모리 제약이 심한 환경)

연구적 의미

• “layers × window ≥ context” 규칙의 불충분함을 실증
• SWA + Linear Attention 하이브리드가 Full Attention의 실질적 대안
• Recurrent 특성이 장문맥 일반화에 기여 → RNN의 부활?

정리

RAttention의 메시지: 윈도우 밖 정보를 완전히 버리지 말고, 저비용으로 요약하여 보존하라. 이 단순한 아이디어가 Pareto 경계를 이동시켰다.

관련 개념:

• 어텐션 (Attention)
• 트랜스포머 (Transformer)

참고 자료:

• Wang et al., “RAttention: Towards the Minimal Sliding Window Size in Local-Global Attention Models” (2025), arXiv:2506.15545
• Apple Machine Learning Research

본 글은 Gemma 4에 대한 이해를 위해 SLM/LLM의 시작점부터 살펴보며 해석을 수행한다.

1. 언어 모델의 기원과 본질: 단어는 어떻게 숫자가 되는가?

우리는 Gemma 4와 같은 최신 AI와 대화를 나눌 때, 마치 상대방이 내 말을 ‘이해’하고 ‘생각’해서 대답하는 것처럼 느껴진다. 하지만 모델의 내부를 살펴보면, 그곳에는 오직 ‘수학’과 ‘통계’만이 존재한다.

1.1. Next Token Prediction의 마법

언어 모델의 본질은 주어진 문맥 뒤에 올 가장 확률이 높은 단어를 통계적으로 찍어내는 것이다.

“오늘 날씨가 참 [ ]” → 모델은 ‘좋다’(0.7) 또는 ‘나쁘다’(0.2)를 확률적으로 선택한다.

이 단순한 확률 게임을 수조 개의 토큰과 수백억 개의 파라미터 규모로 스케일업했을 때, 모델은 문장의 구조, 논리적 흐름, 세상의 보편적 지식까지 확률 분포 안에 압축하여 ‘내면화’하게 된다.

1.2. 토큰화 (Tokenization): 텍스트를 조각내다

컴퓨터는 0과 1만 이해한다. 텍스트를 숫자로 변환하는 전처리가 필수적이다.

현대 LLM들은 주로 BPE(Byte Pair Encoding) 알고리즘을 사용한다. 자주 등장하는 글자 조합을 하나의 토큰으로 묶는 방식이다.

"hugs" → BPE 학습 후 → ["hug", "s"]

BPE의 핵심 장점은 OOV(Out-of-Vocabulary) 문제 해결 — 어떤 단어든 서브워드 조합으로 표현 가능하다는 것이다.

1.3. 임베딩 (Embedding): 단어에 좌표를 부여하다

토큰에 부여된 ID를 수천 차원의 벡터 공간 상의 좌표로 변환하는 기술이다.

[King] - [Man] + [Woman] ≈ [Queen]

Gemma 4의 혁신 — PLE (Per-Layer Embeddings): 레이어별로 토큰 특화 잔차 신호를 주입하여, 단일 임베딩에 모든 정보를 압축하는 한계를 극복.

2. LLM의 심장: 트랜스포머와 어텐션 메커니즘

“배가 부르다”와 “배를 타다”에서 ‘배’는 주변 단어에 의해 의미가 완전히 달라진다. 2017년 구글이 발표한 트랜스포머가 이 문맥 파악 문제를 해결했다.

2.1. 어텐션 메커니즘의 수학적 원리

• Query (Q): 기준 단어 — “검색어”
• Key (K): 다른 단어들의 특징 — “문서 키워드”
• Value (V): 다른 단어들의 실제 의미 — “문서 내용”

이 행렬 곱셈 연산은 GPU의 CUDA 코어에서 대규모 병렬 처리에 극도로 최적화되어 있다.

2.2. Context Window의 구조적 한계

어텐션의 연산량은 O(N²). 토큰이 2배 길어지면 연산량은 4배. 이것이 OOM의 근본 원인이다.

2.3. Sliding Window Attention과 RAttention

Gemma 4는 Local-Global Hybrid Attention을 사용한다:

Layer 1: SWA (윈도우 512)    ← 로컬 문맥
Layer 2: Full Attention       ← 글로벌 문맥
Layer 3: SWA (윈도우 512)    ← 로컬 문맥
...

Apple의 RAttention 논문은 SWA의 한계를 Residual Linear Attention으로 보완하여, 윈도우 512로도 Full Attention 성능을 매칭했다.

3. 원석을 에이전트로 제련하다: 모델 학습의 진화

3.1. 사전 학습 (Pre-training)

수조 개의 토큰에 대해 이 손실 함수를 최소화하면, 모델은 문법, 논리, 상식을 가중치 속에 압축하게 된다.

3.2. 정렬 (Alignment): SFT와 RLHF

SFT: 전문가가 작성한 고품질 [질문-답변] 쌍으로 ‘대화하는 법’을 가르친다.

DPO (Direct Preference Optimization):

4. 거대화의 함정과 SLM의 부상

4.1. 스케일링 법칙

모델 성능은 파라미터 수(N)와 학습 데이터 양(D)에 의해 예측 가능한 법칙을 따른다:

여기서 $L$은 손실(loss), $A$, $B$는 상수, $\alpha \approx 0.076$, $\beta \approx 0.095$이다. 모델을 키우면 성능은 올라가지만, 수확 체감(diminishing returns)이 존재한다. 파라미터를 10배 늘려도 성능 향상은 로그 스케일에 불과하다.

Chinchilla 연구는 최적의 N:D 비율이 존재함을 보였다. 같은 연산 예산이라면 모델을 무작정 키우는 것보다 데이터를 충분히 확보하는 것이 더 효율적이다. Gemma 4의 설계 철학은 이 원칙을 충실히 따른다.

4.2. 양자화 (Quantization): 로컬 AI 시대의 열쇠

양자화는 모델의 가중치를 FP32/FP16에서 INT8/INT4로 낮추어 메모리와 연산량을 줄이는 기법이다:

여기서 $S$는 스케일 팩터, $Z$는 제로 포인트이다. 양자화의 도전 과제는 정밀도 손실을 최소화하면서 압축률을 극대화하는 것이다.

4.3. 지식 증류 (Knowledge Distillation)

거대 모델(Teacher)의 지식을 소형 모델(Student)에 전이하는 기법이다:

Teacher의 소프트 확률 분포(soft label)를 Student가 모방하도록 학습시킨다. 하드 라벨(정답만 1, 나머지 0)과 달리, 소프트 라벨은 “정답이 아닌 토큰들 간의 상대적 확률”까지 전달하므로 더 풍부한 정보를 담고 있다.

Gemma 4가 Gemini의 핏줄을 이어받은 핵심 메커니즘이 바로 이것이다. Gemini의 방대한 파라미터에 압축된 세계 지식을, 증류를 통해 Gemma 4의 소형 아키텍처에 효율적으로 전이했다.

5. 텍스트의 벽을 넘다: 멀티모달 아키텍처

현대 AI의 핵심 트렌드는 텍스트만이 아닌 이미지, 오디오, 비디오를 하나의 모델에서 통합 처리하는 것이다. Gemma 4는 각 모달리티별 전용 인코더를 두고, 이를 언어 모델의 임베딩 공간에 정렬(align)하는 구조를 채택했다.

5.1. Vision Encoder

Gemma 4의 비전 인코더는 SigLIP 기반의 ViT(Vision Transformer) 아키텍처를 사용한다.

처리 파이프라인:

1. 입력 이미지를 고정 크기 패치(예: 14×14 픽셀)로 분할
2. 각 패치를 선형 투영하여 토큰 시퀀스로 변환
3. 위치 임베딩을 추가하여 공간 정보 보존
4. ViT 레이어를 통과시켜 시각적 특징 추출
5. 프로젝션 레이어를 통해 언어 모델의 임베딩 차원에 정렬

가변 종횡비 지원: Pan-and-Scan 방식으로 원본 이미지의 종횡비를 유지하면서 패치를 생성한다. 토큰 버짓은 70~1120개로 조절 가능하며, 이미지 해상도와 복잡도에 따라 동적으로 결정된다.

5.2. Audio Encoder

소형 모델(E2B, E4B)은 USM-style conformer 아키텍처로 오디오를 네이티브 처리한다.

Conformer 구조:

• Convolution 모듈: 로컬 패턴(음소, 음절) 포착
• Self-Attention 모듈: 글로벌 문맥(문장 구조, 억양) 파악
• Feed-Forward 모듈: 비선형 변환

오디오 입력은 Mel-spectrogram으로 변환된 후, conformer 레이어를 통과하여 텍스트 토큰과 동일한 임베딩 공간에 매핑된다. 이를 통해 음성 인식, 음성 번역, 오디오 이해가 단일 모델에서 가능해진다.

5.3. 모달리티 정렬 (Cross-Modal Alignment)

각 인코더의 출력은 별도의 프로젝션 레이어를 거쳐 언어 모델의 디코더에 입력된다. 핵심은 소프트 토큰(soft token) 방식으로, 비전/오디오 특징을 언어 토큰과 동일한 시퀀스에 인터리빙하여 어텐션 메커니즘이 자연스럽게 크로스모달 관계를 학습하도록 한다.

6. Gemma 4 해부: 로컬 AI 생태계의 정점

Gemma 4 패밀리는 용도와 하드웨어 제약에 따라 4가지 변형을 제공한다.

6.1. 핵심 아키텍처 혁신

Local-Global Hybrid Attention: 홀수 레이어는 Sliding Window Attention(윈도우 512)으로 로컬 문맥을, 짝수 레이어는 Full Attention으로 글로벌 문맥을 처리한다. 이를 통해 $O(N^2)$ 연산량을 실질적으로 $O(N \cdot W)$에 가깝게 줄이면서도 긴 문맥 이해 능력을 유지한다.

Dual RoPE (Rotary Position Embedding): 로컬 어텐션과 글로벌 어텐션에 서로 다른 주파수의 RoPE를 적용하여, 각 레이어가 최적의 위치 인코딩을 사용하도록 한다.

PLE (Per-Layer Embeddings): 기존 모델은 입력 임베딩을 한 번만 생성하지만, Gemma 4는 각 레이어마다 토큰 특화 잔차 신호를 주입한다. 깊은 레이어에서도 입력 토큰의 원본 정보가 희석되지 않는다.

Shared KV Cache: MoE 모델에서 전문가(expert) 간 Key-Value 캐시를 공유하여 메모리 사용량을 대폭 절감한다. 26B-A4B 모델이 4B 활성 파라미터만으로 26B급 성능을 내는 핵심 비결이다.

MoE (Mixture of Experts): 26B-A4B 모델은 총 26B 파라미터 중 입력 토큰마다 4B만 활성화하는 희소 구조를 사용한다. 라우터 네트워크가 각 토큰을 가장 적합한 전문가에게 배정하여, 연산 효율과 모델 용량을 동시에 확보한다.

6.2. 실전 배포 시나리오

• E2B/E4B: 스마트폰, 엣지 디바이스에서 실시간 음성 비서, 이미지 캡셔닝
• 31B: 연구용 고품질 추론, 복잡한 코드 생성, 장문 분석
• 26B-A4B: RTX 3090/4090 단일 GPU에서 INT4 양자화로 구동 가능, 프로덕션 서빙에 최적

7. 결론: 오픈소스 모델이 그려갈 미래

Gemma 4는 단순한 모델 릴리스를 넘어, AI 생태계의 패러다임 전환을 상징한다.

독점에서 개방으로: GPT-4, Claude 같은 독점 API에 의존하던 시대에서, Apache 2.0 라이선스의 오픈소스 모델이 동등한 성능을 제공하는 시대로 전환되고 있다. 이는 개인 개발자와 소규모 팀에게 AI 주도권을 돌려준다.

클라우드에서 로컬로: 양자화 기술(GPTQ, AWQ, GGUF)과 MoE 아키텍처의 결합으로, 소비자급 GPU에서도 프론티어급 지능을 구동할 수 있게 되었다. RTX 3090 한 장으로 26B 모델을 실시간 추론하는 것이 현실이 되었다.

단일 모달에서 멀티모달로: 텍스트만 처리하던 LLM이 이미지, 오디오, 비디오를 통합 이해하는 범용 AI로 진화하고 있다. Gemma 4의 네이티브 멀티모달 아키텍처는 이 방향의 최전선에 있다.

앞으로의 과제: 환각(hallucination) 감소, 추론 능력 강화, 에이전트 시스템과의 통합이 다음 단계의 핵심 연구 주제가 될 것이다. Gemma 4가 제공하는 Function Calling 기능은 이미 에이전트 생태계로의 진입을 예고하고 있다.

관련 개념 포스트:

• 토큰화 (Tokenization)
• 임베딩 (Embedding)
• 어텐션 (Attention)
• 트랜스포머 (Transformer)
• 양자화 (Quantization)
• Sliding Window Attention