데이터 과학 노트

PyTorch 구현 시 꼭 알아야 할 필수 함수 정리PyTorch는 딥러닝 모델 구현에 강력하고 유연한 기능을 제공합니다.이 문서는 모델 구현 시 자주 사용하는 핵심 함수들을 주제별로 정리한 참고용 자료입니다.1. 텐서(Tensor) 생성 및 변형기본 생성torch.tensor(data) # 파이썬 리스트나 넘파이 배열로부터 텐서 생성torch.zeros(size) # 0으로 채운 텐서torch.ones(size) # 1로 채운 텐서torch.randn(size) # 정규분포로 초기화된 텐서torch.arange(start, end) # 일정 간격으로 생성된 텐서torch.linspace(start, end, steps)변형 및..

Zachary’s Karate Club - 사회 네트워크 분석의 고전1970년대 초 미국의 한 대학 가라테 동아리에서 벌어진 작은 갈등이 오늘날 사회 네트워크 분석(Social Network Analysis) 의 대표적인 데이터셋이 되었다이 사건은 인류학자 Wayne W. Zachary 가 기록한 “Zachary’s Karate Club” 으로 불린다1. 연구의 배경Zachary는 1970년부터 1972년까지 약 2년 동안 한 대학의 가라테 동아리를 관찰했다그는 구성원들 간의 개인적 상호작용(우정 관계, 동아리 외 만남 등) 을 체계적으로 기록하여 하나의 사회 네트워크 그래프 로 모델링했다 이 네트워크는 사람(노드) 과 관계(엣지) 로 구성되어 있으며누가 누구와 자주 어울렸는지를 시각적으로 표현한다2...

GNN에서 Spectral과 Spatial의 차이그래프 신경망(Graph Neural Network, GNN)은 그래프 구조 데이터를 처리하기 위한 모델이다.크게 두 가지 접근 방식이 있다. Spectral 기반과 Spatial 기반이다.두 방식은 그래프의 정보를 다루는 관점이 다르다.1. Spectral GNN핵심 아이디어그래프를 주파수(스펙트럼) 영역에서 바라본다.그래프의 구조를 표현하기 위해 그래프 라플라시안(Laplacian Matrix) 을 이용한다.라플라시안은 대략 다음과 같이 정의된다.L = D - A(D: 차수 행렬, A: 인접 행렬)Spectral GNN은 이 라플라시안을 고유분해하여 그래프 신호를 푸리에 변환(Fourier Transform) 하고그 위에서 필터링(Convolution)..

1. KL Divergence란?KL Divergence (Kullback–Leibler Divergence)는 두 확률분포 P와 Q 사이의 차이를 측정하는 지표입니다.DKL(P‖Q) = Σ P(x) · log(P(x) / Q(x))이 값은 항상 0 이상이며, P = Q일 때만 0이 됩니다.즉, 모델 Q가 실제 분포 P를 얼마나 잘 근사하는지를 나타냅니다.KL Divergence는 대칭적이지 않기 때문에 거리(distance)가 아닌 발산(divergence)이라고 부릅니다.DKL(P‖Q) ≠ DKL(Q‖P)2. Entropy와 Cross-Entropy두 확률분포 P, Q가 있을 때 다음을 정의합니다.EntropyH(P) = - Σ P(x) · log P(x)→ 분포 P가 가진 내재적 불확실성을 의미합니..

DeepSeek-R1: 강화학습을 통한 대형 언어 모델(LLM)의 추론 능력 향상1. 개요DeepSeek-AI 연구팀은 DeepSeek-R1-Zero와 DeepSeek-R1이라는 두 가지 세대의 추론 특화 모델을 개발하였습니다.특히, DeepSeek-R1-Zero는 지도 학습 없이 순수 강화학습(RL) 만을 이용해 훈련되었으며, 스스로 강력한 추론 능력을 학습하는 모습을 보였습니다.그러나 읽기 어려운 출력과 다국어 혼합 등의 문제가 발생하여, 이를 개선하기 위해 DeepSeek-R1 모델을 도입하였습니다.DeepSeek-R1은 사전 데이터 학습(Cold Start)과 다단계 학습 파이프라인을 추가하여 성능을 향상시켰고,그 결과 OpenAI의 o1-1217 모델과 동등한 수준의 성능을 달성하였습니다.또한,..

생성 모델 평가 지표 PSNR, SSIM 비교 예시 압축 복원 이미지 vs 원본 이미지 생성 이미지 vs 원본 이미지 최대 신호 대 잡음비 - PSNR (Peak Signal-to-Noise Ratio) 두 이미지 사이에 MSE (mean squre error) 손실이 적을 수록 높은 값 생성이 잘되었을 경우 높은 값 구조적 유사도 - SSIM (Structural Similarity Index Measure) 두 이미지 사이 상관계수를 휘도, 대비, 구조 측면에서 평가 luminance (l), contrast (c), structure (S) 계산 휘도, 대비, 구조 측면에서 평가

tmux tmux 는 terminal multiplexer 이다. ssh 연결 (session) 이 끊겨도 서버의 작업이 계속 실행될 수 있도록 사용을 한다. tmux의 계층적 구조 session, window, pane 로 이루어져 있다. session 주요 명령어 tmux # new session (0, 1, 2, ...) tmus new -s [SESSION_NAME] # 특정 이름으로 새 세션 만들기 (ctrl) + b -> d # 세션 분리 / 나오기 (detach) tmux a # 마지막 세션 연결 tmux a -t [SESSION_NAME] # 특정 세션 연결 (attach) window (미사용) (ctrl) + b -> c # 새 윈도우 생성 (ctrl) + d # 윈도우 끄기 (ctrl..

Mode collapse와 posterior collapse는 모두 딥러닝 모델이 학습 과정에서 특정 모드에만 집중하는 현상을 말한다. 그러나 두 현상은 발생 원인과 결과가 다르다. Mode collapse는 주로 생성적 적대 신경망(Generative Adversarial Network, GAN)에서 발생하는 문제로, 생성자가 다양한 출력을 생성하는 대신 제한된 수의 특정한 출력만을 생성하는 현상이다. 생성자가 다양성을 표현하지 못하고 특정 패턴에 고정되는 문제다. Mode collapse의 발생 원인에는 데이터 분포의 불균형, 가중치 초기화 등의 원인이 있다. Posterior collapse 는 Variational Autoencoder (VAE) 에서 발생하는 문제다. 잠재 변수가 입력 데이터와 ..

본페로니 원리원리 소개본페로니 원리는 여러 개의 통계적 검정을 동시에 수행할 때 발생할 수 있는 거짓 양성(false positive, 제1종 오류)을 제어하는 기본적인 통계 원리입니다. 가설 검정 횟수가 많아지면 우연히 나오는 결과가 늘어나서 실제로 유의미한 결과가 아니더라도 잘못된 양성 결과가 나타나기 쉽습니다. 예를 들어 0.05 유의수준으로 20개의 검정을 동시에 수행하면 아무런 보정 없이도 약 64% 확률로 적어도 하나의 거짓 양성이 발생할 수 있습니다. 본페로니 원리는 이런 문제를 해결하기 위해 설계되었습니다.본페로니 원리의 직관적 개념은 “탐색 방법이 예상보다 훨씬 많은 결과를 반환한다면 그중 대부분은 통계적 착시일 것이다”라는 경고로 요약할 수 있습니다. 통계적 관점에서는 데이터가 완전히 ..

(deeplearning.ai) How Diffusion Models Work강좌 정보Instructors: Sharon Zhou, Andrew Ng (Stanford)강좌 링크(왼쪽) 주피터 노트북 / (오른쪽) 강좌Introduction IntuitionGoalsprite images → even more spritesNN to learn what a sprite is:add different noise levels to the training data of spritesSamplingPrinciple 1: 명확하고 구체적인 명력어 사용 (Write clear and specific instructions)clear / shortTactic 1: 구분 기호 사용: 따옴표, 백틱, 대시, 꺽쇠 괄호, ..