[딥러닝]Feed Forward (Neural) Network vs. Fully Connected Network

Feed Forward (Neural) Network vs. Fully Connected Network

• Feed Forward (Neural) Network, 줄여서 FFNN이라 불리는 신경망
• Fully Connected (Neural) Network, 줄여서 FC라 불리는 신경망

이 두 network는 표면적으로 보면 비슷하지만, 사실 언급되는 도메인 자체가 다르다.

1) FFNN(Feed Forward Neural Network)

A feed forward network is a network with no recurrent connections, that is, it is the opposite of a recurrent network (RNN). It is an important distinction because in a feed forward network the gradient is clearly defined and computable through backpropagation (i.e. chain rule), whereas in a recurrent network the gradient computation requires, potentially, an infinite number of operations, so you usually have to limit it to a fixed number of steps, and it is also more expensive in any case (see backpropagation through time).

FFNN은 이름 그대로 텐서(tensor)가 신경망의 앞으로만 전파되는(feed forward), 즉 재귀적인(recurrent) 구조가 없는 신경망을 의미한다. 다시말해 FFNN은 RNN(Recurrent Neural Network)과 대비되는 개념의 신경망이다.

• 재귀적인 구조가 없기에, FFNN에서는 Gradient가 명확하게 정의되고, 역전파(backpropagation) 알고리즘으로 Gradient를 쉽게 계산할 수 있다.
• 반면 RNN에서는 재귀 구조 때문에 무한루프가 형성되어 Gradient를 정확하게 계산할 수 없다.
  • 일반적으로는 정해진 횟수만큼만 루프를 돌게 하고, 그렇게 계산된 근사치만을 사용한다.

2) FC(Fully Connected Neural Network)

A fully-connected network, or maybe more appropriately a fully-connected layer in a network is one such that every input neuron is connected to every neuron in the next layer. This, for example, contrasts with convolutional layers, where each output neuron depends on a subset of the input neurons.

FC는 fully connected layer는(dense layer라 부르기도 한다.) 각 층(layer)의 모든 노드(뉴런)들이 그 다음 층의 모든 노드들과 하나도 빼놓지 않고 모두 연결되어 있는, 말 그대로 fully connected된 신경망을 의미한다. 즉 FC는, 각 층의 노드가 다음 층의 노드들과 듬성듬성 연결되어 있는 convolutional layer나 pooling layer 등과 대비되는 개념이다.

3) 결론

모든 FC는 FFNN이다. FC에는 재귀적인 구조는 없기 때문이다. 하지만 모든 FFNN이 FC인 것은 아니다.

• Ex)
  • CNN에서 사용되는 net을 FFNN 이라하지만, FC라고 하지 않는다.

Reference

Feed Forward (Neural) Network vs. Fully Connected Network tensorflow

DeepLearning 카테고리 내 다른 글 보러가기