Inductive Bias (귀납 편향)

Inductive Bias (Learning bias)

• 학습 시에 만나지 못한 상황에 대하여 더 좋은 예측을 하기 위해 사용하는 추가적인 가정
  • 데이터를 일반화 할 수 있는 능력을 가진 기계 학습 알고리즘의 목표 함수를 학습하고 훈련하는 데이터를 넘어 일반화 하기 위한 가정
• 예시) MLP 에 위치, 공간 상의 가정이 추가되면 CNN

  The inductive bias (also known as learning bias) of a learning algorithm is the set of assumptions that the learner uses to predict outputs of given inputs that it has not encountered.

Inductive Bias 의 예시

• Translation invariance
  

  

• Permutation invariance
• Minimum cross-validation error
• Maximum margin
• Nearest neighbors

딥러닝

• 레이어의 구성은 relational inductive bias (관계 귀납 편향) 을 제공
• 레이어의 종류에 따른 추가적인 관계 귀납 편https://velog.io/@euisuk-chung/Inductive-Bias%EB%9E%80향

참조

• Relational inductive biases, deep learning, and graph networks (CVPR)
• WIKI
• What is translation invariance in computer vision and convolutional neural network?
• Inductive Bias란 무엇일까?
• [머신러닝/딥러닝] Inductive Bias란?