머신러닝 기초 2 - 머신러닝과 학습 / 학습을 위한 최적화 이론

머신러닝과 학습

- 데이터를 통해 가중치와 편향을 자동으로 결정하는 행위

- 학습의 필요성

 : 퍼셉트론 = 가중치와 편향을 수동으로 결정하는 번거로움 존재

 : 예시로 작성한 퍼셉트론의 경우 매개변수가 3개에 불과하지만 신경망의 경우 수억개 수준의 매개변수가 존재

- 머신러닝과 최적화

 : 오차가 적고 정확한 결과 값이 도출되도록 학습규칙을 통해 가중치와 편향을 조절하는 것

 

 

 

학습규칙

- 델타규칙

 : 단층 신경망의 학습 규칙 중 하나

 : 경사하강법을 이용하여 손실함수의 최소 값을 찾아내는 방법

 : 경사하강법을 통해 손실함수를 찾아 내고 학습이 잘되기 위해 가중치와 편향을 조정

 

 

 

손실함수 (비용함수)

- 학습이 얼마나 잘 되어있는지를 나타내는 지표

- 평균 자승 에러(MSE)와 Cross Entropy(기대 값과 결과 값의 차이)를 이용하여 측정

 : 0에 가까울 수록 학습이 잘된 것을 의미

- Entropy

 : 정보량을 나타내는 단위 (음의 Log)

- Cross Entropy

 : 기대 값과 결과 값의 차이

 : 두 집단 간 정보량의 차이

 : 옳은 결과에 대해 예측 값이 0에 가깝고 틀린 결과에 대해 무한대에 가까운 값

=> 정확도가 높으면 0 / 정확도가 낮으면 무한대에 가까운 값

=> MSE와 CrossEntropy는 연속적인 특성을 가져 미분 값 계산에 있어 정확함

 

 

 

경사하강법

- 손실함수의 값을 최소화하는 가중치를 찾는 원리

- 미분을 이용하여 기울기를 측정하고 기울기의 음의 방향으로 찾아가면 손실함수가 최소화 되는 지점을 찾는 원리

- 기울기

 : 미분(순간변화율)

 : 어느 한 지점을 미분하여 기울기 계산

 : 미분 결과의 음의 방향으로 이동하며 최소 값 계산

- 최소값 

 : 기울기(미분결과)가 0에 가까운 값

 : 가중치로써 적합한 최적의 값

=> 기울기가 낮으면 비용함수의 값이 최소화 되는데, 이 기울기를 구하는 것이 경사하강법

 

 

 

오차역전파

- 수치미분(전진 하면서 미분하는 방식, 경사하강법)의 단점을 개선한 방법

 : 순전파와 역전파를 활용하여 미분을 효율적으로 계산

 

- 순전파

 : 입력노드에서 출력노드까지 가중치를 업데이트 하면서 활성화 함수를 통해 결과 값을 가져오는 과정

 

- 역전파

 : 입력노드의 방향으로 역방향으로 노드에 오차 값을 전송하여 가중치를 업데이트하는 과정

 

- ChainRule

 : 오차역전파의 기본 원리로써, 국소미분을 전달하는 원리

 : 국소미분

  = 특정 한 노드에 대한 미분 값

=> 출력노드의 결과 값에서 나온 오차(기대 값과 결과 값의 차이)를 다시 입력층과 은닉층으로 보내

     가중치를 재 계산하여 오차를 줄이는 방법

 

 

 

규제

- 머신러닝이 높은 일반화 능력을 가지기 위한 방법

- 매끄러움(선형에 가까움)을 추구

- 주로 복잡도가 높은 모델(작은 편향, 높은 분산)에 각종 규제를 적용하여 일반화 성능 향상

 : 복잡도가 높은 모델은 크기가 큰 모델이기 때문에 규제를 통한 성능향상이 가능

 

 

 

명시적 규제

- 가중치 벌칙

 : 가중치 감쇠, 규제항을 이용하여 가중치를 강제로 축소

 

- norm

 : 두 벡터 사이의 거리를 측정하는 방법으로, 차수에 따라 L1 norm과 L2 norm으로 나뉨

 

- L2 norm

 : 비용함수에 가중치의 제곱을 더하는 방법

 : 가장 많이 사용되는 규제항

 

- L1 norm

 : 비용함수의 기울기를 미분하여 가중치를 감쇠

 

- 드롭아웃

 : 일정 비율의 노드를 제거 (신경망에서 사용하는 기법)

 : 입력층과 은닉층 노드중 일정 비율을 임의로 선택하여 제거하여 남아있는 부분 신경망으로만 학습을 진행

 : 많은 부분 신경망을 만드는 효과 + 1개의 신경망으로 테스트시에 앙상블 결합 효과

 : 장점

  = voting (여러 부분 신경망들의 평균 값을 얻는 효과)

  = co-adaptation (특정 데이터나 뉴런의 영향을 최소화)