CORE CONCEPTS

핵심 개념 정리

복잡한 기술적 개념들을 깊이 있게 파헤치고 정리한 문서들입니다.

Sliding Window Attention (SWA) 고정 크기 윈도우 내에서만 어텐션을 수행하여 메모리/연산 비용을 줄이는 기법. Kernel Full Attention의 O(N²) → SWA의 O(N×W). 디코딩 시 일정한 메모리 소...

양자화 (Quantization) 모델 가중치의 숫자 정밀도를 낮춰(FP16→INT4) 메모리 사용량을 줄이는 기술. 로컬 AI 시대의 핵심. Kernel 70B 모델은 FP16 기준 140GB VRAM 필요. 양자화로 4비트 압축 시 ~3...

어텐션 (Attention) 트랜스포머의 심장. 문장 내 특정 단어를 이해할 때 어떤 단어에 얼마나 집중할지를 수학적으로 계산한다. Scaled Dot-Product Attention \[\text{Attention}(Q, K, V) = \...

임베딩 (Embedding) 단어의 의미를 고차원 벡터 공간의 좌표로 변환하는 기술. 언어 모델이 세상을 인식하는 기저 감각 기관. Kernel 토큰에 부여된 ID는 그 자체로 의미가 없다. 임베딩은 이 ID를 수천 차원의 벡터 공간 상의 ...

토큰화 (Tokenization) 텍스트를 의미를 가진 최소 단위(토큰)로 분할하는 전처리 과정. LLM 입력 파이프라인의 첫 단계. Kernel 컴퓨터는 0과 1만 이해한다. “오늘 날씨가 참 좋다”를 곧장 처리할 수 없으므로, 텍스트를 ...

트랜스포머 (Transformer) 2017년 구글 “Attention Is All You Need” 기반. 현대 LLM의 표준 아키텍처. Kernel RNN/LSTM의 순차 처리 한계를 셀프 어텐션의 병렬 행렬 연산으로 극복. 모든 단어가...