제로 중심/제로 편향 초기화란?

제로 중심 또는 제로 편향 초기화는 머신러닝 및 딥러닝 분야에서 모델의 초기 가중치 또는 매개변수를 제로로 설정하기 위해 널리 사용되는 기술입니다. 이 방법은 훈련 초기에 편향을 피하여 모델의 수렴 속도와 전체 성능을 향상시키는 것을 목표로 합니다.

딥러닝에서 네트워크의 가중치 초기화는 최종 모델의 성능에 깊은 영향을 미칩니다. 가중치를 제로로 초기화함으로써, 모델은 초기 가중치의 무작위성으로 인한 불안정성 없이 데이터 구조를 더 잘 학습할 수 있습니다. 이 방법의 핵심은 훈련 초기 단계에서 중복 정보를 줄이는 것이며, 이는 모델이 최적의 솔루션을 빠르게 찾는 데 도움을 줍니다.

그러나 제로 초기화는 단점도 있습니다. 주요 문제는 모든 가중치가 제로로 초기화될 때, 어떤 층의 뉴런도 순전파 과정에서 동일한 출력을 생성한다는 것입니다. 이는 경량 하강 과정에서 가중치를 효과적으로 업데이트하는 데 방해가 되어 모델이 학습하지 못하게 할 수 있습니다. 따라서 특정 경우에는 Xavier 초기화나 He 초기화와 같은 다른 초기화 전략을 사용하는 것이 좋습니다.