데이터 과학 노트

1. KL Divergence란?KL Divergence (Kullback–Leibler Divergence)는 두 확률분포 P와 Q 사이의 차이를 측정하는 지표입니다.DKL(P‖Q) = Σ P(x) · log(P(x) / Q(x))이 값은 항상 0 이상이며, P = Q일 때만 0이 됩니다.즉, 모델 Q가 실제 분포 P를 얼마나 잘 근사하는지를 나타냅니다.KL Divergence는 대칭적이지 않기 때문에 거리(distance)가 아닌 발산(divergence)이라고 부릅니다.DKL(P‖Q) ≠ DKL(Q‖P)2. Entropy와 Cross-Entropy두 확률분포 P, Q가 있을 때 다음을 정의합니다.EntropyH(P) = - Σ P(x) · log P(x)→ 분포 P가 가진 내재적 불확실성을 의미합니..