1. 가장 단순한 신경망을 통한 작동원리 - Shallow Neural Network 수식적 이해

1) 뉴런의 수학적 표현

이를 수식으로 나타내면, 

y = a(∑ wi xi +b) 입니다. '∑ wi xi'는 벡터의 내적과 동일해서, 

y = a(wTx + b) 로 다시 쓸 수 있습니다.

즉, 뉴런은 수학적으로 두 벡터의 내적으로 쉽게 표현할 수 있습니다. 

 

 

 

 

 

 

2) Fully connected layer의 수학적 표현

위에서는 y가 하나인 경우, 즉 뉴런의 수학적 표현을 알아보았는데, 

y가 여러개가 모인(전부 연결된) 계측을 수식적으로 표현하는 것은 

y0 = a(wTx0 + b0)

y1 = a(wTx1 + b1)

y2 = a(wTx2 + b2)

y3 = a(wTx3 + b3)

y4 = a(wTx4 + b4)

... 이 모두 모인 것입니다. 

따라서 벡터가 여러개 모여 Matrix를 형성하여 Matrix의 형태로 표현할 수 있습니다. 

Y = a(Wx+b)

 

 

3) Shallow Neural Network의 수학적 표현

1. Input layer

입력 계층은 아무런 연산은 이러나지 않고, input을 받아서 다음 계층으로 넘기는 역할을 하는 층입니다.

해당 층에서 중요한 것은 '무엇을 input으로 주어야 하는가'이며 이는 특징 추출문제에 해당합니다. (후에 다룰 것)

input: x =[x0, x1, x2, ..., xn]T

(* 이탤릭체, 굵은 글씨 는 vector를 나타냅니다. )

 

2. Hidden layer

은닉 계층은 입력 계층과 연결된 전결합 계층으로, 복잡한 문제를 해결할 수 있게 해주는 핵심적인 계층입니다.

shallow neural network에서는 1개의 hidden layer만 사용하며, 이 이상 사용하는 것을 Deep Neural Network라고 하는 것입니다 

h = ah(Whx + bh)

 

3. Output layer

출력 계층은 은닉계층과 연결된 전결함 계층입니다. 이 계층의 activation function에 따라 신경망의 기능이 결정됩니다.

출력 계층의 크기 = 출력의 Scalar수 = 출력 벡터의 길이

y = a0(W0x +b0)