Vanishing Gradient Problem & ReLU(Rectified Linear Unit)

1. Vanishing Gradient Problem 이란? Vanishing Gradient Problem(경사 사라짐 문제)란, 뉴럴 네트워크의 레이어 수가 많아지고, 각 레이어의 노드 수가 많아 질 수록, 마지막 레이어는 학습이 이루어지는 반면, 초기 레이어는 학습이 이루어지지 않는 문제를 의미합니다. 쉬운 이해를 위해 예시를 들어 설명해드리겠습니다. <figure 1>은 지난 시간에 다루었던 XOR 문제를 나타내고 있습니다. 우선, XOR 문제를 2개의 hidden layer를 […]

Continue reading →