leaky relu 썸네일형 리스트형 [AI Basic] 활성화 함수(Activation Function) | 시그모이드(Sigmoid) | Tanh | ReLU | Leaky ReLU | ELU 활성화 함수 (Activation Function) 딥러닝 모델에서 기본적으로 하나의 신경망은 ax + b의 함수 형태이다 즉, 입력값에 대한 출력값을 선형적으로 계산하게 된다. 이러한 ax + b 형태의 함수를 여러 층 쌓아도 여전히 선형 함수 형태이게 된다 (단층 신경망과 큰 차이가 없어지는 것!) 하지만 그렇다면 예를 들어 아래와 같은 모양의 이진 분류 데이터셋이 있다면, 이는 선형 함수로만은 분류가 불가능하다 위와 같은 데이터를 제대로 분류하기 위해서는 (일반적으로 일상의 데이터는 복잡해서, 위 데이터처럼 선형분류가 불가능하다) 입력값을 선형적으로 분류하는 것이 아닌 '꺾어줄 수 있도록'! 즉, 비선형적으로 분류해주도록 해야한다 이 때 사용되는 것이 활성화 함수인데, 선형 함수의 신경망을 비선형 .. 더보기 이전 1 다음
