Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- cross-entropy
- ChatGPT
- Inductive Learning
- python3
- GNN
- 사회 네트워크 분석
- SSIM
- mode collapse
- 이상 탐지
- GCP
- Vertex AI
- PyTorch
- 대칭키
- 생성 모델 평가
- prompt engineering
- deepseek
- Grad-CAM
- Spatial GNN
- 생성 모델
- public key
- Transductive Learning
- Spectral GNN
- zachary’s karate club
- DeepLearing.AI
- ARIMA
- kl divergence
- PSNR
- session 미종료
- posterior collapse
- Google Cloud
Archives
- Today
- Total
목록cross-entropy (1)
데이터 과학 노트
KL Divergence와 Cross-Entropy의 관계
1. KL Divergence란?KL Divergence (Kullback–Leibler Divergence)는 두 확률분포 P와 Q 사이의 차이를 측정하는 지표입니다.DKL(P‖Q) = Σ P(x) · log(P(x) / Q(x))이 값은 항상 0 이상이며, P = Q일 때만 0이 됩니다.즉, 모델 Q가 실제 분포 P를 얼마나 잘 근사하는지를 나타냅니다.KL Divergence는 대칭적이지 않기 때문에 거리(distance)가 아닌 발산(divergence)이라고 부릅니다.DKL(P‖Q) ≠ DKL(Q‖P)2. Entropy와 Cross-Entropy두 확률분포 P, Q가 있을 때 다음을 정의합니다.EntropyH(P) = - Σ P(x) · log P(x)→ 분포 P가 가진 내재적 불확실성을 의미합니..
Data Science/Machine Learning
2025. 10. 9. 17:21