신경망
- 학습을 통해 적절한 가중치를 알아서 입력하는 알고리즘
- 다층 퍼셉트론을 이용할 경우, 원하는 결과를 출력하기 위해서 가중치의 값의 입력이 필요.
- 다층 퍼셉트론의 은닉층을 늘려 구성한 모델
: 여기서 늘려진 은닉층이 활성화 함수
활성화함수
활성화 함수
- 입력값을 연산 후 출력할 때 일정기준에 따라 출력값을 변화시키는 비선형 함수
- 입력신호의 총합이 활성화를 일으키는지 결정하는 함수
: ex) a = b + (w1*x1) + (w2*x2)
y = h(a)
: a = 편향 + (가중치*입력값) + (가중치*입력값)
y= 활성화함수(a)
시그모이드 함수
- 0과 1을 기반으로 중간치를 두는 로그형 활성화 함수
- 전파와 역전파를 여러번 적용하면 가중치 발산과 기울기 소실문제가 있음
- h(x) = 1 / (1 + exp(-x)) <x는 편향 + (가중치*입력값) + (가중치*입력값)의 결과인 a를 뜻함>
1. 입력 값 입력
2. 가중치와 곱하고 편향과 더하여 총합 계산
3. 시그모이드 함수(활성화 함수)에 총합 값을 입력하여 0(비활성화)과 1(활성화)중 출력
계단함수 (퍼셉트론의 활성화 함수)
-입력이 0을 넘으면 1을 출력하고 그 외의 값은 0을 출력하는 단순한 함수
ReLU 함수
- 양수 값 그대로 보내는 함수
- 심층신경망에서 시그모이드를 사용했을때 발생가능한 문제를 해결한 함수
확률기반 경사 하강법
- 데이터의 일부를 뽑은 미니배치를 이용하여 가중치를 반복해서 업데이트 하는 기법
- 신경망 학습에서 사용'
신경망 모델
퍼셉트론 (지도학습)
- 신경망의 초기 연구과정중 제안된 맥컬룩-피츠 모델 기반의 학습기계
다층 퍼셉트론 (지도학습)
- 간단한 퍼셉트론을 여러번 연결한 퍼셉트론
- 입력계층, 중간계층, 출력계층으로 이루어진 신경망
볼츠만 머신 (자율학습)
- 각 노드의 양방향이 무향그래프로 연결된 신경망 모델
- 노드는 계층 구조로 연결가능하며, 가시계층과 은닉계층으로 나눌 수 있음
- 이웃 노드가 받은 자신의 출력 값을 다시 자신이 받는 피드백 메커니즘으로 동작
제한볼츠만 머신 (자율학습)
: 같은 계층의 유닛은 서로 연결되지 않도록 구성된 볼츠만 머신
오토인코더(선행학습)
- 데이터를 입력받은 순서대로 다층 네트워크로 분리하여 전송하는 모델
- 전파형 네트워크(모델)의 하나
스파스코딩
- 필터에 대응하는 뉴런을 사용한 모델
심층 신뢰 신경망
- 가시계층에서 순서대로 제한 볼츠만 머신의 구조를 꺼내 학습
- softmax계층(결과를 확률식으로 계산하는 계층)에서 학습
합성곱 신경망
- 필터를 이용하여 특징맵을 작성하는 합성곱 계층과 이미지의 사이즈를 줄이는 풀링 계층을 가진 신경망
순환신경망 (RNN)
- 학습단계를 거슬러 올라가 데이터를 반영하는 모델
- 심층 순환 신경망과 양방향 순환 신경망으로 나뉨
- 거슬러 올라가는 단계수가 많아지면 기울기 소실이 발생
- 데이터가 커질 수록 정확도가 떨어짐
LSTM (Long Short-Term Memory)
- 순환 신경망의 정확도 문제를 해결한 모델
- 학습과정에서 데이터를 일정하게 유지하면서 순환
'Computer Science > DeepLearning' 카테고리의 다른 글
인공지능 기초 6 - 머신러닝 모델 선택과 검증 (0) | 2020.12.10 |
---|---|
인공지능 기초 5 - 특징공간 (0) | 2020.12.10 |
인공지능 기초 3 - 퍼셉트론과 다층 퍼셉트론 (0) | 2020.12.10 |
인공지능 기초 2 - 모델의 종류와 알고리즘 (0) | 2020.12.10 |
인공지능 기초 1 - 인공지능과 머신러닝 (0) | 2020.12.10 |