데이터 과학 노트

PyTorch 2.0 본문

Data Science/Deep Learning

PyTorch 2.0

Data Scientist Note 2023. 3. 25. 15:32

PyTorch 2.0

torch.compile() 을 이용하여 연산 (operation) 단위를 전체 그래프로 묶어 더 빠르게 연산을 수행할 수 있다.

최적화 예시)

  • 전체 그래프를 볼 수 있다면 다음 연산에서 output1 과 output2 를 concat 하는 연산이 있다면 concat 할 때 메모리 값을 옮기는 것이 아니라 처음에 output1 과 output2 를 만들때 concat 위치에 값을 쓴다.
  • 전체 그래프를 볼 수 있다면 dependency 가 없는 값들을 funsion, 병렬 연산 등을 수행 할 수 있다.

출처: https://youtu.be/bwjM20wR3dQ

References

'Data Science > Deep Learning' 카테고리의 다른 글

mode collapse 와 posterior collapse  (1) 2023.12.29
Inductive Bias (귀납 편향)  (0) 2023.05.28