데이터 과학 노트

(deeplearning.ai) ChatGPT Prompt Engineering for Developers 강좌 정보 Instructors: Isa Fulford (@OpenAI), Andrew Ng (Stanford) 강좌 링크 (왼쪽) 주피터 노트북 / (오른쪽) 강좌 Introduction Two Types of Large Language Models (LLMs) Base LLM Predicts next word, based on text training data Instruction Tuned LLM Tries to follow instructions Fine-tune on instructions and good attempts at following those instructions RLHF: ..

Gold label 정확하고 신뢰성이 높은 레이블로, 전문가나 사람이 직접 레이블을 지정 모델의 학습 + 성능을 평가하거나 벤치마킹할 때 사용 Silver label 덜 정확하거나 불확실성이 높은 레이블로, 자동화된 레이블링 시스템이나 보다 낮은 수준의 작업자 등이 지정 모델의 학습에 사용되지 않거나, 모델의 성능을 평가할 때 고려하지 않음 가능

가능도 (likelihood) 주어진 샘플 ($x$) 에 대한 모수 ($\theta$) 의 가능도 ($\mathcal{L}(\theta | x)$) 는 이 모수 ($\theta$) 를 따르는 분포 ($P_{\theta}(X)$) 가 주어진 관측값 ($x$) 에 대하여 부여하는 확률 정의 (위키) 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 확률 확률 변수 $X$ 가 모수 $\theta$ 에 대한 확률 분포 $P_{\theta}(X)$ 를 가지며, $X$ 가 특정한 값 $x$ 으로 표집(sampling)되었을 경우, $\theta$ 의 가능도 함수 $\mathcal{L}(\theta | x)$ 는 $$ \mathcal{L}(\theta | x) = Pr(X=x | \theta)$$

사전적 정의 transductive; transduction (변환, 전환, 전도, ...) 특정 케이스 학습 → 특정 케이스 추론 inductive (귀납적인, 유도의) 특정 케이스 학습 → 일반적 룰 추론 Node Classification (Graph Learning) 관점 transductive: 한 그래프의 일부 노드의 ground truth로부터 나머지 정보 유추 inductive: 한 그래프의 ground truth로 모델 학습 후 전혀 새로운 그래프에 대한 추론; 일반적인 supervised learning transductive learning inductive learning Machine Learning 관점 transductive inductive: supervised learnin..