인공지능 기초 4 - 신경망

 

신경망

- 학습을 통해 적절한 가중치를 알아서 입력하는 알고리즘

- 다층 퍼셉트론을 이용할 경우, 원하는 결과를 출력하기 위해서 가중치의 값의 입력이 필요.

- 다층 퍼셉트론의 은닉층을 늘려 구성한 모델

: 여기서 늘려진 은닉층이 활성화 함수

 

 

활성화함수

활성화 함수

- 입력값을 연산 후 출력할 때 일정기준에 따라 출력값을 변화시키는 비선형 함수

- 입력신호의 총합이 활성화를 일으키는지 결정하는 함수

: ex) a = b + (w1*x1) + (w2*x2)

y = h(a)

: a = 편향 + (가중치*입력값) + (가중치*입력값)

y= 활성화함수(a)

 

 

시그모이드 함수

- 0과 1을 기반으로 중간치를 두는 로그형 활성화 함수

- 전파와 역전파를 여러번 적용하면 가중치 발산과 기울기 소실문제가 있음

- h(x) = 1 / (1 + exp(-x)) <x는 편향 + (가중치*입력값) + (가중치*입력값)의 결과인 a를 뜻함>

1. 입력 값 입력

2. 가중치와 곱하고 편향과 더하여 총합 계산

3. 시그모이드 함수(활성화 함수)에 총합 값을 입력하여 0(비활성화)과 1(활성화)중 출력

 

 

계단함수 (퍼셉트론의 활성화 함수)

-입력이 0을 넘으면 1을 출력하고 그 외의 값은 0을 출력하는 단순한 함수

 

ReLU 함수

- 양수 값 그대로 보내는 함수

- 심층신경망에서 시그모이드를 사용했을때 발생가능한 문제를 해결한 함수

 

확률기반 경사 하강법

- 데이터의 일부를 뽑은 미니배치를 이용하여 가중치를 반복해서 업데이트 하는 기법

- 신경망 학습에서 사용'

 

 

 

 

신경망 모델

퍼셉트론 (지도학습)

- 신경망의 초기 연구과정중 제안된 맥컬룩-피츠 모델 기반의 학습기계

 

다층 퍼셉트론 (지도학습)

- 간단한 퍼셉트론을 여러번 연결한 퍼셉트론

- 입력계층, 중간계층, 출력계층으로 이루어진 신경망

 

볼츠만 머신 (자율학습)

- 각 노드의 양방향이 무향그래프로 연결된 신경망 모델

- 노드는 계층 구조로 연결가능하며, 가시계층과 은닉계층으로 나눌 수 있음

- 이웃 노드가 받은 자신의 출력 값을 다시 자신이 받는 피드백 메커니즘으로 동작

 

제한볼츠만 머신 (자율학습)

: 같은 계층의 유닛은 서로 연결되지 않도록 구성된 볼츠만 머신

 

오토인코더(선행학습)

- 데이터를 입력받은 순서대로 다층 네트워크로 분리하여 전송하는 모델

- 전파형 네트워크(모델)의 하나

 

스파스코딩

- 필터에 대응하는 뉴런을 사용한 모델

 

심층 신뢰 신경망

- 가시계층에서 순서대로 제한 볼츠만 머신의 구조를 꺼내 학습

- softmax계층(결과를 확률식으로 계산하는 계층)에서 학습

 

합성곱 신경망

- 필터를 이용하여 특징맵을 작성하는 합성곱 계층과 이미지의 사이즈를 줄이는 풀링 계층을 가진 신경망

 

순환신경망 (RNN)

- 학습단계를 거슬러 올라가 데이터를 반영하는 모델

- 심층 순환 신경망과 양방향 순환 신경망으로 나뉨

- 거슬러 올라가는 단계수가 많아지면 기울기 소실이 발생

- 데이터가 커질 수록 정확도가 떨어짐

 

LSTM (Long Short-Term Memory)

- 순환 신경망의 정확도 문제를 해결한 모델

- 학습과정에서 데이터를 일정하게 유지하면서 순환