데이터 과학 노트

Mode collapse와 posterior collapse는 모두 딥러닝 모델이 학습 과정에서 특정 모드에만 집중하는 현상을 말한다. 그러나 두 현상은 발생 원인과 결과가 다르다. Mode collapse는 주로 생성적 적대 신경망(Generative Adversarial Network, GAN)에서 발생하는 문제로, 생성자가 다양한 출력을 생성하는 대신 제한된 수의 특정한 출력만을 생성하는 현상이다. 생성자가 다양성을 표현하지 못하고 특정 패턴에 고정되는 문제다. Mode collapse의 발생 원인에는 데이터 분포의 불균형, 가중치 초기화 등의 원인이 있다. Posterior collapse 는 Variational Autoencoder (VAE) 에서 발생하는 문제다. 잠재 변수가 입력 데이터와 ..

(deeplearning.ai) ChatGPT Prompt Engineering for Developers 강좌 정보 Instructors: Isa Fulford (@OpenAI), Andrew Ng (Stanford) 강좌 링크 (왼쪽) 주피터 노트북 / (오른쪽) 강좌 Introduction Two Types of Large Language Models (LLMs) Base LLM Predicts next word, based on text training data Instruction Tuned LLM Tries to follow instructions Fine-tune on instructions and good attempts at following those instructions RLHF: ..

Inductive Bias (Learning bias) 학습 시에 만나지 못한 상황에 대하여 더 좋은 예측을 하기 위해 사용하는 추가적인 가정 데이터를 일반화 할 수 있는 능력을 가진 기계 학습 알고리즘의 목표 함수를 학습하고 훈련하는 데이터를 넘어 일반화 하기 위한 가정 예시) MLP 에 위치, 공간 상의 가정이 추가되면 CNNThe inductive bias (also known as learning bias) of a learning algorithm is the set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered. Inductive Bias 의 예시 Translat..

Gold label 정확하고 신뢰성이 높은 레이블로, 전문가나 사람이 직접 레이블을 지정 모델의 학습 + 성능을 평가하거나 벤치마킹할 때 사용 Silver label 덜 정확하거나 불확실성이 높은 레이블로, 자동화된 레이블링 시스템이나 보다 낮은 수준의 작업자 등이 지정 모델의 학습에 사용되지 않거나, 모델의 성능을 평가할 때 고려하지 않음 가능

PyTorch 2.0 torch.compile() 을 이용하여 연산 (operation) 단위를 전체 그래프로 묶어 더 빠르게 연산을 수행할 수 있다. 최적화 예시) 전체 그래프를 볼 수 있다면 다음 연산에서 output1 과 output2 를 concat 하는 연산이 있다면 concat 할 때 메모리 값을 옮기는 것이 아니라 처음에 output1 과 output2 를 만들때 concat 위치에 값을 쓴다. 전체 그래프를 볼 수 있다면 dependency 가 없는 값들을 funsion, 병렬 연산 등을 수행 할 수 있다. References https://discuss.pytorch.kr/t/pytorch-2-0/1252 https://youtu.be/bwjM20wR3dQ

가능도 (likelihood) 주어진 샘플 ($x$) 에 대한 모수 ($\theta$) 의 가능도 ($\mathcal{L}(\theta | x)$) 는 이 모수 ($\theta$) 를 따르는 분포 ($P_{\theta}(X)$) 가 주어진 관측값 ($x$) 에 대하여 부여하는 확률 정의 (위키) 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 확률 확률 변수 $X$ 가 모수 $\theta$ 에 대한 확률 분포 $P_{\theta}(X)$ 를 가지며, $X$ 가 특정한 값 $x$ 으로 표집(sampling)되었을 경우, $\theta$ 의 가능도 함수 $\mathcal{L}(\theta | x)$ 는 $$ \mathcal{L}(\theta | x) = Pr(X=x | \theta)$$

사전적 정의 transductive; transduction (변환, 전환, 전도, ...) 특정 케이스 학습 → 특정 케이스 추론 inductive (귀납적인, 유도의) 특정 케이스 학습 → 일반적 룰 추론 Node Classification (Graph Learning) 관점 transductive: 한 그래프의 일부 노드의 ground truth로부터 나머지 정보 유추 inductive: 한 그래프의 ground truth로 모델 학습 후 전혀 새로운 그래프에 대한 추론; 일반적인 supervised learning transductive learning inductive learning Machine Learning 관점 transductive inductive: supervised learnin..