데이터 과학 노트

분산 버전 관리 시스템 (Distributed Version Control System) 기본 명령어 # Git 저장소 만들기 git init git status # gst git add [폴더/파일] # working directory -> staging area git commit -m "[COMMIT_MESSAGE]" # staging area -> repository # 커밋 메시지는 명령어 사용 (Add, Fix, Update, ...) git log git revert [COMMIT_SHA] # 이전 커밋으로 돌리기 (이력 유지) git reset [COMMIT_SHA] --hard # 이전 커밋으로 돌리기 (이력 제거) 작업 분기 비선형적인 개발을 위한 작업 분기 (특정 기능, 버전, .....

URL 웹 주소 또는 링크 라고도 불리며, 네트워크 상의 특정 리소스의 위치를 알려주는 규약 (Uniform Resource Locator), URI에 포함된다. URI 특정 리소스를 식별하는 통합 자원 식별자 (Uniform Resource Identifier) 이다. http://, https://, gs://, s3:// https://github.com/username/repo-name # https - [PROTOCOL] # github.com - [HOSTNAME], Hostname --[DNS]-> IP address # username/repo-name - [PATH] 참조 MDN Web Docs 용어 사전: 웹 용어 정의 URL URI

PyTorch 2.0 torch.compile() 을 이용하여 연산 (operation) 단위를 전체 그래프로 묶어 더 빠르게 연산을 수행할 수 있다. 최적화 예시) 전체 그래프를 볼 수 있다면 다음 연산에서 output1 과 output2 를 concat 하는 연산이 있다면 concat 할 때 메모리 값을 옮기는 것이 아니라 처음에 output1 과 output2 를 만들때 concat 위치에 값을 쓴다. 전체 그래프를 볼 수 있다면 dependency 가 없는 값들을 funsion, 병렬 연산 등을 수행 할 수 있다. References https://discuss.pytorch.kr/t/pytorch-2-0/1252 https://youtu.be/bwjM20wR3dQ

프로그램 (Program) 어떤 작업을 위해 실행할 수 있는 파일 프로세스 (Process) 프로세스: 실행 중인 프로그램 할당받는 자원 CPU 시간 스레드 (Thread) 스레드: 프로세스 내에서 실행되는 흐름의 단위 할당받는 자원 스레드는 각각 Stack, Register 할당, (Code, Data, Heap 공유) 메모리 구조 Code (Text): Data: 지역 변수, 매개 변수 (static) Data: 초기화된 정적 변수 BSS (block started by symbol): 초기화되지 않은 정적 변수 Heap: 사용자 할당 동적 변수 (malloc) Stack: non-static local variables 멀티 프로세스 vs 멀티 스레드 참조 참조 Difference between P..

Local machine 에서 AWS/GCP/Azure 등의 VM 에 접속할 경우 Public Key / Private Key (대칭키) 이용이 필요하다. 네트워크 상에 ID/Password 가 암호화 없이 전송된다면 탈취의 위험이 있다. 따라서 public key 로 암호화 시키고 private key 복호화 시켜 주요 정보를 안전히 전달 할 수 있다. # 생성된 키 확인 (local) ls ~/.ssh/ # id_rsa id_rsa.pub known_hosts # 목록에 id_rsa.pub 가 없다면 공개키 생성 (local) ssh-keygen -t rsa # Option 01: ssh-copy-id util을 이용하여 공개키를 VM에 복사 (local) ssh-copy-id remote_usern..

가능도 (likelihood) 주어진 샘플 ($x$) 에 대한 모수 ($\theta$) 의 가능도 ($\mathcal{L}(\theta | x)$) 는 이 모수 ($\theta$) 를 따르는 분포 ($P_{\theta}(X)$) 가 주어진 관측값 ($x$) 에 대하여 부여하는 확률 정의 (위키) 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 확률 확률 변수 $X$ 가 모수 $\theta$ 에 대한 확률 분포 $P_{\theta}(X)$ 를 가지며, $X$ 가 특정한 값 $x$ 으로 표집(sampling)되었을 경우, $\theta$ 의 가능도 함수 $\mathcal{L}(\theta | x)$ 는 $$ \mathcal{L}(\theta | x) = Pr(X=x | \theta)$$

GoF Design Patterns GoF (Gang of Four: 에릭 감마, 리하르트 헬름, 존 블리사이드스, 랄프 존슨) 가 1987년 정리, 제안한 23개의 디자인 패턴 Using Pattern Languages for Object-Oriented Programs 생성 (Creational) 패턴 싱글턴 (Singleton Pattern) 특정 클래스의 인스턴스를 하나만 만들어 사용하는 패턴 예시) 다크 모드 사용 여부, Login 정보 등을 저장하는 config instance 추상 팩토리 빌더 팩토리 메서드 프로토타입 구조 (Structural) 패턴 아댑터 브리지 컴퍼지트 데커레이터 퍼사드 플라이웨이트 프록시 행위 (Behavioral) 패턴 커맨드 인터프리터 메멘토 옵서버 비지터 GoF ..

Python 3 Tips Python 3 사용에 있어서 참고하면 좋을 tip을 여러 곳에서 취합하여 정리하였습니다. 1. venv 사용하기 프로젝트에서 참조하면 모듈의 버전 등의 차이로 프로젝트마다 각각 다른 virtual environment 를 활용해야 할 경우 # venv setup python3 --version python3 -m venv env # active & install modules source ./env/bin/active pip install --upgrade pip # ... deactive 2. 내장 함수 enumerate() 사용하기 (range(len()) 지양) data = [1, 2, -3, -4, 5] for index, num in enumerate(data): pa..

사전적 정의 transductive; transduction (변환, 전환, 전도, ...) 특정 케이스 학습 → 특정 케이스 추론 inductive (귀납적인, 유도의) 특정 케이스 학습 → 일반적 룰 추론 Node Classification (Graph Learning) 관점 transductive: 한 그래프의 일부 노드의 ground truth로부터 나머지 정보 유추 inductive: 한 그래프의 ground truth로 모델 학습 후 전혀 새로운 그래프에 대한 추론; 일반적인 supervised learning transductive learning inductive learning Machine Learning 관점 transductive inductive: supervised learnin..