mode collapse 와 posterior collapse

Mode collapse와 posterior collapse는 모두 딥러닝 모델이 학습 과정에서 특정 모드에만 집중하는 현상을 말한다.

그러나 두 현상은 발생 원인과 결과가 다르다.

Mode collapse는 주로 생성적 적대 신경망(Generative Adversarial Network, GAN)에서 발생하는 문제로, 생성자가 다양한 출력을 생성하는 대신 제한된 수의 특정한 출력만을 생성하는 현상이다.

생성자가 다양성을 표현하지 못하고 특정 패턴에 고정되는 문제다.

Mode collapse의 발생 원인에는 데이터 분포의 불균형, 가중치 초기화 등의 원인이 있다.

Posterior collapse 는 Variational Autoencoder (VAE) 에서 발생하는 문제다.

잠재 변수가 입력 데이터와 관계없이 정보를 무시하고 일정한 값을 가지는 현상을 말한다.

즉, 잠재 변수가 실제 데이터와 관련된 정보를 제대로 포착하지 못하고 입력에 대해 유사한 값을 갖게 되는 문제다.

Mode collapse 를 해결하기 위해서는 데이터 분포의 균형을 맞추거나 가중치 초기화를 조절하는 등의 방법을 사용할 수 있고, Posterior collapse 를 해결하기 위해서는 올바른 잠재 변수의 학습을 위해 모델의 가중치 초기화를 조절하는 방법 등을 적용할 수 있다.