Data Science/Deep Learning
Inductive Bias (귀납 편향)
Data Scientist Note
2023. 5. 28. 17:39
Inductive Bias (Learning bias)
- 학습 시에 만나지 못한 상황에 대하여 더 좋은 예측을 하기 위해 사용하는 추가적인 가정
- 데이터를 일반화 할 수 있는 능력을 가진 기계 학습 알고리즘의 목표 함수를 학습하고 훈련하는 데이터를 넘어 일반화 하기 위한 가정
- 예시) MLP 에 위치, 공간 상의 가정이 추가되면 CNN
The inductive bias (also known as learning bias) of a learning algorithm is the set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered.
Inductive Bias 의 예시
- Translation invariance
- Permutation invariance
- Minimum cross-validation error
- Maximum margin
- Nearest neighbors
딥러닝
- 레이어의 구성은 relational inductive bias (관계 귀납 편향) 을 제공
- 레이어의 종류에 따른 추가적인 관계 귀납 편https://velog.io/@euisuk-chung/Inductive-Bias%EB%9E%80향
