데이터 과학 노트

DeepSeek-R1: 강화학습을 통한 대형 언어 모델(LLM)의 추론 능력 향상1. 개요DeepSeek-AI 연구팀은 DeepSeek-R1-Zero와 DeepSeek-R1이라는 두 가지 세대의 추론 특화 모델을 개발하였습니다.특히, DeepSeek-R1-Zero는 지도 학습 없이 순수 강화학습(RL) 만을 이용해 훈련되었으며, 스스로 강력한 추론 능력을 학습하는 모습을 보였습니다.그러나 읽기 어려운 출력과 다국어 혼합 등의 문제가 발생하여, 이를 개선하기 위해 DeepSeek-R1 모델을 도입하였습니다.DeepSeek-R1은 사전 데이터 학습(Cold Start)과 다단계 학습 파이프라인을 추가하여 성능을 향상시켰고,그 결과 OpenAI의 o1-1217 모델과 동등한 수준의 성능을 달성하였습니다.또한,..

생성 모델 평가 지표 PSNR, SSIM 비교 예시 압축 복원 이미지 vs 원본 이미지 생성 이미지 vs 원본 이미지 최대 신호 대 잡음비 - PSNR (Peak Signal-to-Noise Ratio) 두 이미지 사이에 MSE (mean squre error) 손실이 적을 수록 높은 값 생성이 잘되었을 경우 높은 값 구조적 유사도 - SSIM (Structural Similarity Index Measure) 두 이미지 사이 상관계수를 휘도, 대비, 구조 측면에서 평가 luminance (l), contrast (c), structure (S) 계산 휘도, 대비, 구조 측면에서 평가

tmux tmux 는 terminal multiplexer 이다. ssh 연결 (session) 이 끊겨도 서버의 작업이 계속 실행될 수 있도록 사용을 한다. tmux의 계층적 구조 session, window, pane 로 이루어져 있다. session 주요 명령어 tmux # new session (0, 1, 2, ...) tmus new -s [SESSION_NAME] # 특정 이름으로 새 세션 만들기 (ctrl) + b -> d # 세션 분리 / 나오기 (detach) tmux a # 마지막 세션 연결 tmux a -t [SESSION_NAME] # 특정 세션 연결 (attach) window (미사용) (ctrl) + b -> c # 새 윈도우 생성 (ctrl) + d # 윈도우 끄기 (ctrl..

Mode collapse와 posterior collapse는 모두 딥러닝 모델이 학습 과정에서 특정 모드에만 집중하는 현상을 말한다. 그러나 두 현상은 발생 원인과 결과가 다르다. Mode collapse는 주로 생성적 적대 신경망(Generative Adversarial Network, GAN)에서 발생하는 문제로, 생성자가 다양한 출력을 생성하는 대신 제한된 수의 특정한 출력만을 생성하는 현상이다. 생성자가 다양성을 표현하지 못하고 특정 패턴에 고정되는 문제다. Mode collapse의 발생 원인에는 데이터 분포의 불균형, 가중치 초기화 등의 원인이 있다. Posterior collapse 는 Variational Autoencoder (VAE) 에서 발생하는 문제다. 잠재 변수가 입력 데이터와 ..

(deeplearning.ai) ChatGPT Prompt Engineering for Developers 강좌 정보 Instructors: Isa Fulford (@OpenAI), Andrew Ng (Stanford) 강좌 링크 (왼쪽) 주피터 노트북 / (오른쪽) 강좌 Introduction Two Types of Large Language Models (LLMs) Base LLM Predicts next word, based on text training data Instruction Tuned LLM Tries to follow instructions Fine-tune on instructions and good attempts at following those instructions RLHF: ..

Inductive Bias (Learning bias) 학습 시에 만나지 못한 상황에 대하여 더 좋은 예측을 하기 위해 사용하는 추가적인 가정 데이터를 일반화 할 수 있는 능력을 가진 기계 학습 알고리즘의 목표 함수를 학습하고 훈련하는 데이터를 넘어 일반화 하기 위한 가정 예시) MLP 에 위치, 공간 상의 가정이 추가되면 CNNThe inductive bias (also known as learning bias) of a learning algorithm is the set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered. Inductive Bias 의 예시 Translat..

Gold label 정확하고 신뢰성이 높은 레이블로, 전문가나 사람이 직접 레이블을 지정 모델의 학습 + 성능을 평가하거나 벤치마킹할 때 사용 Silver label 덜 정확하거나 불확실성이 높은 레이블로, 자동화된 레이블링 시스템이나 보다 낮은 수준의 작업자 등이 지정 모델의 학습에 사용되지 않거나, 모델의 성능을 평가할 때 고려하지 않음 가능

무중단 배포 Rolling 트래픽을 점진적으로 구버전에서 신버전으로 이동 장점) 위험성 감소 Blue/Green 트래픽을 한번에 구버전 (Blue) 에서 신버전 (Green) 으로 이동 장점) 호환성 문제 등 Canary (카나리) 배포 과거 광부가 유독 가스에 민감함 카나리 (새) 와 함께 작업을 하였다 소수의 인원만 신버전으로 트레픽을 옮겨둔 상태에서 서비스를 운영 참조 https://www.jetbrains.com/ko-kr/teamcity/ci-cd-guide/concepts/canary-release/ https://onlywis.tistory.com/10 https://hudi.blog/zero-downtime-deployment/ .

1 급 객체 조건 OOP 에서 사용되는 개념으로 다음의 조건을 만족하는 경우 1급 객체이다. 변수 혹은 데이터 안에 저장이 가능하다. 함수의 매개변수로 전달될 수 있다. 함수의 리턴 값으로 사용될 수 있다. (All items can be tested for equality.) 예시 Python 에서 함수 (function) 가 1급 객체이다. 함수는 변수나 데이터 구조 안에 담을 수 있으며, 함수의 인자로 전달하거나 반환값으로 사용할 수 있다. 이 외에도 클래스(class), 모듈(module), 메소드(method) 등도 1급 객체이다. bitwise (&) / boolean operators are not first class object (StackOverFlow) C++ 에서 클래스 (Class..

CSS: Cascading Style Sheets Prerequisite HTML, inline, block Selector (선택자) 기본 선택자 전체 선택자 (universal) * 태그 선택자 (tag) elementname 클래스 선택자 (class) .classname ID 선택자 (id) idname 속성 선택자 (attribute) [attr=value] 상태 선택자 (state) : 그룹 선택자 선택자 목록 A, B 결합자 인접 형제 결합자 A + B 일반 형제 결합자 A ~ B 자식 결합자 A > B B 가 A 의 바로 밑 Display, Position Display inline block inline-block Position static relative absolute fixed s..