데이터 과학 노트

(deeplearning.ai) How Diffusion Models Work강좌 정보Instructors: Sharon Zhou, Andrew Ng (Stanford)강좌 링크(왼쪽) 주피터 노트북 / (오른쪽) 강좌Introduction IntuitionGoalsprite images → even more spritesNN to learn what a sprite is:add different noise levels to the training data of spritesSamplingPrinciple 1: 명확하고 구체적인 명력어 사용 (Write clear and specific instructions)clear / shortTactic 1: 구분 기호 사용: 따옴표, 백틱, 대시, 꺽쇠 괄호, ..

(deeplearning.ai) ChatGPT Prompt Engineering for Developers 강좌 정보 Instructors: Isa Fulford (@OpenAI), Andrew Ng (Stanford) 강좌 링크 (왼쪽) 주피터 노트북 / (오른쪽) 강좌 Introduction Two Types of Large Language Models (LLMs) Base LLM Predicts next word, based on text training data Instruction Tuned LLM Tries to follow instructions Fine-tune on instructions and good attempts at following those instructions RLHF: ..

Inductive Bias (Learning bias) 학습 시에 만나지 못한 상황에 대하여 더 좋은 예측을 하기 위해 사용하는 추가적인 가정 데이터를 일반화 할 수 있는 능력을 가진 기계 학습 알고리즘의 목표 함수를 학습하고 훈련하는 데이터를 넘어 일반화 하기 위한 가정 예시) MLP 에 위치, 공간 상의 가정이 추가되면 CNNThe inductive bias (also known as learning bias) of a learning algorithm is the set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered. Inductive Bias 의 예시 Translat..

Gold label 정확하고 신뢰성이 높은 레이블로, 전문가나 사람이 직접 레이블을 지정 모델의 학습 + 성능을 평가하거나 벤치마킹할 때 사용 Silver label 덜 정확하거나 불확실성이 높은 레이블로, 자동화된 레이블링 시스템이나 보다 낮은 수준의 작업자 등이 지정 모델의 학습에 사용되지 않거나, 모델의 성능을 평가할 때 고려하지 않음 가능

무중단 배포 Rolling 트래픽을 점진적으로 구버전에서 신버전으로 이동 장점) 위험성 감소 Blue/Green 트래픽을 한번에 구버전 (Blue) 에서 신버전 (Green) 으로 이동 장점) 호환성 문제 등 Canary (카나리) 배포 과거 광부가 유독 가스에 민감함 카나리 (새) 와 함께 작업을 하였다 소수의 인원만 신버전으로 트레픽을 옮겨둔 상태에서 서비스를 운영 참조 https://www.jetbrains.com/ko-kr/teamcity/ci-cd-guide/concepts/canary-release/ https://onlywis.tistory.com/10 https://hudi.blog/zero-downtime-deployment/ .

1 급 객체 조건 OOP 에서 사용되는 개념으로 다음의 조건을 만족하는 경우 1급 객체이다. 변수 혹은 데이터 안에 저장이 가능하다. 함수의 매개변수로 전달될 수 있다. 함수의 리턴 값으로 사용될 수 있다. (All items can be tested for equality.) 예시 Python 에서 함수 (function) 가 1급 객체이다. 함수는 변수나 데이터 구조 안에 담을 수 있으며, 함수의 인자로 전달하거나 반환값으로 사용할 수 있다. 이 외에도 클래스(class), 모듈(module), 메소드(method) 등도 1급 객체이다. bitwise (&) / boolean operators are not first class object (StackOverFlow) C++ 에서 클래스 (Class..

CSS: Cascading Style Sheets Prerequisite HTML, inline, block Selector (선택자) 기본 선택자 전체 선택자 (universal) * 태그 선택자 (tag) elementname 클래스 선택자 (class) .classname ID 선택자 (id) idname 속성 선택자 (attribute) [attr=value] 상태 선택자 (state) : 그룹 선택자 선택자 목록 A, B 결합자 인접 형제 결합자 A + B 일반 형제 결합자 A ~ B 자식 결합자 A > B B 가 A 의 바로 밑 Display, Position Display inline block inline-block Position static relative absolute fixed s..

분산 버전 관리 시스템 (Distributed Version Control System) 기본 명령어 # Git 저장소 만들기 git init git status # gst git add [폴더/파일] # working directory -> staging area git commit -m "[COMMIT_MESSAGE]" # staging area -> repository # 커밋 메시지는 명령어 사용 (Add, Fix, Update, ...) git log git revert [COMMIT_SHA] # 이전 커밋으로 돌리기 (이력 유지) git reset [COMMIT_SHA] --hard # 이전 커밋으로 돌리기 (이력 제거) 작업 분기 비선형적인 개발을 위한 작업 분기 (특정 기능, 버전, .....

URL 웹 주소 또는 링크 라고도 불리며, 네트워크 상의 특정 리소스의 위치를 알려주는 규약 (Uniform Resource Locator), URI에 포함된다. URI 특정 리소스를 식별하는 통합 자원 식별자 (Uniform Resource Identifier) 이다. http://, https://, gs://, s3:// https://github.com/username/repo-name # https - [PROTOCOL] # github.com - [HOSTNAME], Hostname --[DNS]-> IP address # username/repo-name - [PATH] 참조 MDN Web Docs 용어 사전: 웹 용어 정의 URL URI

PyTorch 2.0 torch.compile() 을 이용하여 연산 (operation) 단위를 전체 그래프로 묶어 더 빠르게 연산을 수행할 수 있다. 최적화 예시) 전체 그래프를 볼 수 있다면 다음 연산에서 output1 과 output2 를 concat 하는 연산이 있다면 concat 할 때 메모리 값을 옮기는 것이 아니라 처음에 output1 과 output2 를 만들때 concat 위치에 값을 쓴다. 전체 그래프를 볼 수 있다면 dependency 가 없는 값들을 funsion, 병렬 연산 등을 수행 할 수 있다. References https://discuss.pytorch.kr/t/pytorch-2-0/1252 https://youtu.be/bwjM20wR3dQ