인공지능 기초 7 - 머신러닝과 수학 1

 

Tensor

- 3차원 이상의 구조를 가진 배열

- 1차원 Tensor (벡터), 2차원 Tensor(행렬), 3차원 Tensor(큐브)

 

 

행렬

- 여러 개의 벡터를 담은 집합 (행과 열로 구성, 열=속성)

- 설계행렬 : 학습 데이터를 담은 행렬

- 전치행렬 : 행과 열을 교환한 행렬

- 정방행렬 : 정사각형 모양의 행렬

- 대각행렬 : 대각선에만 값이 존재하는 행렬

- 단위행렬 : 대각행렬에서 값이 1인 행렬

- 대칭행렬 : 대각선 기준으로 값이 대칭인 행렬

- 역행렬 : 특정 행렬과 곱하면 단위행렬이 나오는 행렬

: 정방행렬에 대해서만 정의됨

- 특이행렬 : 역행렬이 없는 행렬

 

 

행렬의 성질

- A*B != B*A, A*(B+C) = AB+AC, A*(B*C) = (A*B)*C <교환법칙X, 분배법칙O, 결합법칙O>

- 행렬의 곱셈 : A행렬의 열과 B행렬의 행의 갯수가 같아야함 => C(i,k) = A(i,j) * B(j,k)

 

 

Determinant (행렬식)

- 어떤 행렬의 역행렬 존재 여부를 나타내는 판별 값

- 기하학적으로는 면적 또는 부피를 의미

- 2차원 행렬식 (2개의 행벡터가 이루는 평행사변형의 넓이)

- 3차원 행렬식 (3개의 행벡터가 이루는 평행사각기둥의 부피)

 

 

고유벡터 <eigenVector>

- 행렬 * 고유벡터(v) = 고유값(λ) * 고유벡터(v)

- 고유벡터(v) : 위 식을 만족하는 0이 아닌 벡터

- 고유값(λ) : 위 식의 상수배 값

- m*m행렬은 최대 m개의 고유값과 고유벡터를 가질 수 있음

- 모든 고유벡터는 서로 직교하고 길이는 고유 값에 따름

=> ex) [[2,1], [1,2]] * [1,1] = 3 * [1,1] => 3(고유값) [1,1](고유벡터)

 

 

고유값 분해

- 행렬 = Q * Λ * Q역행렬

- Q : 행렬의 고유벡터를 열에 배치한 행렬

- Λ : 고유값을 대각선에 배치한 대각행렬

=> ex) A = [[1, 1], [1, -1]] * [[3, 0], [0, 1]] * [[0.5, 0.5], [0.5, -0.5]]

 

 

확률과 통계

- 확률분포 : 정의역 전체의 확률을 표현한 것

- 확률변수 : 확률을 수식으로 표현한 변수

- 정의역 : 확률변수가 가질 수 있는 값의 범위

- 이산확률분포 : 확률질량 함수를 통해 디지털 형식으로 나타낸 그래프

- 연속확률분포 : 확률밀도 함수를 통해 아날로그 형식으로 나타낸 그래프

- 결합확률 : 두 사건이 결합된 상태의 확률

: 두 사건의 확률을 곱한 것

 

 

베이즈 정리 (Bayes fomula)

- 일반적으로 사건x와 사건y가 동시에 일어날 결합확률과 사건y와 사건x가 동시에 일어날 결합확률은 같음

- 사전확률과 우도를 구할 수 있다면 사후확률 계산가능

: 사전확률 = 현재 가지고 있는 정보를 기초로하여 부여한 확률

: 우도 = 사건y가 발생했을때 사건x가 발생할 확률

: 사후확률 = 사건바생 후 어떤 원인으로부터 일어났을 것이라고 생각되어지는 확률

- argmax : 확률이 최대가 되는 벡터의 인덱스

 

 

정보이론과 자기정보

- 정보이론의 기본원리 : 낮은 확률의 사건일수록 더 많은 정보를 전달

- 자기정보 : 특정 사건의 정보량

 

 

엔트로피

- 확률분포의 불확실성, 무질서의 정도

- 확률이 균등할 수록 높음 (발생확률이 비슷할 수 록 불확실성이 높음)

- 교차 엔트로피 : 두 확률분포 사이에 얼마만큼의 차이가 있는지 나타내는 엔트로피 (두 집단 사이의 차이)

 

 

최적화 이론

- 최적화 : 미분 가능한 함수의 최저점을 찾는 문제

- 기계학습의 최적화 : 목적함수(비용함수)의 최저점을 탐색하는 것 (미분하는 과정 필요)

- 편미분 : 변수가 여러개인 함수에 대한 미분 (각각의 변수에 대해 독립적으로 미분을 실행)

- 경사하강 알고리즘

: 배치경사하강 알고리즘 (샘플들의 기울기의 평균을 계산하여 한꺼번에 갱신)

: 스토캐스틱 경사하강 알고리즘 (한 샘플의 기울기를 계산한 후 즉시 갱신)

(난수를 생성하여 초기해를 구하고 반복문에서 샘플의 순서를 섞어 기울기 계산)