기술 포스트
딥러닝, 자율주행, 그리고 일상의 기술적 고민들을 기록합니다.
AI 에이전트 아키텍처 4대 패턴: ReAct, Plan-Execute, Reflexion, Multi-Agent
2025~2026년, AI 에이전트는 “챗봇”에서 “자율적 행위자”로 진화했다. Claude Code가 코드를 작성하고, Cursor가 프로젝트를 리팩토링하며, AutoResearchClaw가 논문을 쓴다. 하지만 이 에이전트들의 내부를 들여다...
DiscoRL: 메타러닝으로 강화학습 알고리즘을 자동 발견하다
2025년 10월, Nature에 한 편의 논문이 게재되었다. “Discovering state-of-the-art reinforcement learning algorithms.” 저자 목록의 첫 번째 이름은 Junhyuk Oh — 내가 롤모델로...
한국어 토큰화의 도전: BPE의 한계와 형태소 인식 접근법
“안녕하세요”를 GPT-4의 토크나이저에 넣으면 몇 개의 토큰이 나올까? 답은 3~5개. 영어의 “Hello”가 1개 토큰인 것과 비교하면 3~5배 비효율적이다. 이것은 단순한 불편함이 아니다. 토큰 수는 곧 비용, 속도, 컨텍스트 윈도우 활용...
LLM-Wiki로 세컨드 브레인 구축하기: Karpathy 패턴 실전 적용기
2026년 4월, Andrej Karpathy가 GitHub Gist에 올린 한 장의 문서가 개인 지식 관리(PKM) 커뮤니티를 뒤흔들었다. “나는 요즘 코드보다 개인 지식 저장소 구축에 토큰을 더 많이 쓴다”는 한 마디와 함께. 나는 이 가이...
LoRA 딥다이브: 저랭크 분해로 LLM을 효율적으로 파인튜닝하는 원리
70B 모델을 파인튜닝하려면 FP16 기준 140GB 이상의 VRAM이 필요하다. gradient와 optimizer 상태까지 합치면 가중치의 2~3배. 현실적으로 대부분의 연구자에게 불가능한 수치다. 2021년, Microsoft Resear...
양자화 3대 기법 비교: GPTQ vs AWQ vs GGUF — 로컬 AI 시대의 열쇠
70B 모델은 FP16 기준 140GB VRAM이 필요하다. RTX 4090(24GB)으로는 로드조차 불가능하다. 하지만 4비트 양자화를 적용하면 ~35GB로 축소된다. 놀랍게도 원본 성능의 95% 이상을 유지하면서. 이것이 로컬 AI 시대를 ...
Sliding Window Attention의 한계와 RAttention: 윈도우 512로 Full Attention을 매칭하다
트랜스포머의 어텐션은 O(N²)이다. 토큰이 2배 길어지면 연산량은 4배. 이것이 긴 문맥에서 OOM이 발생하는 근본 원인이다. Sliding Window Attention(SWA)은 이 문제를 O(N×W)로 줄인다. 하지만 대가가 있다: 윈도...
Gemma 4를 이해하는 과정: SLM/LLM의 시작점부터 최신 멀티모달 아키텍처까지
2026년 4월, Gemma 4가 Hugging Face에 등장했다. Google DeepMind가 개발한 오픈소스 멀티모달 SLM으로, Gemini의 소형화라고 보면 된다. 이미지, 오디오, 비디오를 입력받아 텍스트를 산출하는 Vision-Te...