반응형

딥러닝 2

Deep Learning(딥러닝) - 4.오차역전파(Error Backpropagation)

이전에 배웠던것은 신경망 학습으로 순전파와 그래디언트 디센트를 이용하여 손실함수 최소화를 통해 최적의 매개변수(가중치)계산하였으나 수치미분은 단순하지만 계산이 오래걸림. 이번에는 수치미분보다 기울기를 효율적으로 계산하는 오차역전파를 이용하여 순전파에서의 결과값의 에러를 계산하여 최적의 매개변수로 계속 업데이트 하는 방법 가중치 매개변수 기울기 구하는 방법: 수치 미분(기울기 =0) 간단 오래걸림 오차역전파 표현방법 : 수식, 계산 그래프 1. 계산 그래프(computational graph) 계산 과정을 그래프로 나타내며출력값 변수를 최적화 하고싶을때 유용하며 단순화 하여 이해가 쉽다. 국소적 계산: 직접 관계된 범위 내에서만 계산을 통해 각 노드의 계산에 집중하여 문제를 단순화 역전파를 통해 '미분'을..

Data/ML 2021.10.17

Deep Learning(딥러닝) - 3.활성화 함수(Activation Function)

활성화 함수(Activation Function) 임계값에 따라서 입력 신호의 총합을 출력 신호로 변환하는 함수 h(x) 딥러닝에서 비선형 함수를 사용함으로써 비선형성을 증가시키는 역할을 함 (1) Linear function 선형 함수 f(x) =a+bx :( 층을 아무리 깊이해도 은닉층이 없는 네트워크로도 똑같은 기능 할 수 있음 h(x) =cx를 사용하는 3층 네트워크 y(x) =h(h(h(x))) =c*c*c*x= c^3x=ax (if a=c^3) 여전히 선형 함수형태임을 알 수 있다. (2) non-linear fucntion 비선형 함수 : 다층 신경망에서 층이 많아질수록 비선형 함수가 더 중요함 (2.1) Binary Step function (이진 계단 함수): 0,1 사이에서 값이 0을..

Data/ML 2021.10.16
반응형