[딥러닝] Feed Forward Neural Networks (FFN)

Feed Forward Neural Networks (FFN)

1. Feed Forward Neural Networks (FFN)란?

Feed Forward Neural Networks는 기본적인 인공 신경망으로, RNN과 달리 순환 구조를 가지지 않는다. 단순히 정보가 Input 층 → Output 층으로 단 뱡향으로 전달된다. 이는 각 레이어에서 독립적으로 가중치를 가지므로, 입력 데이터의 순서를 고려하지 않는다. 해당 구조는 딥러닝 모델의 구성 요소로, 모든 층이 Dense로 연결된 MLP와 Transformer의 FFN 블록 등 다양한 구조에서 사용된다.

 

2. FFN의 한 종류: Multi Layer Perceptron (MLP)

Multi Layer Perceptron은 여러 개의 Hidden Layer를 가지는 순방향 신경망을 의미한다. FNN의 일종으로, MLP도 정보가 Input 층 → Hidden 층 → Output 층으로 이동한다. 여러 개의 Hidden Layer를 거치면서 입력된 데이터의 특징이 추출되고 추상화되는 과정을 거쳐 출력된다.

 

3. 단층 FFN이 아닌 다층 MLP를 사용하는 이유?

Universal Approximation Theorem에 따르면, 단순한 FFN만으로도 어떠한 함수로 근사할 수 있다는 것을 증명한다. 이는 Hidden Layer가 하나여도, 뉴런 수가 충분하다면 임의의 연속 함수를 근사할 수 있다는 뜻이다.

 

FFN만으로 표현력이 보장된다면, Hidden Layer를 여러 개 쌓는 MLP를 사용하는 이유는 무엇일까?

 

이는 단순히 표현력을 높이는 것을 넘어서 우리에게는 학습 효율성을 고려해야하기 때문이다.

FFN의 표현력을 높이기 위해서는 결국은 뉴런 수가 많아져야 하고 이는 연산도 급격히 증가할 수 밖에 없다.

그렇기에 FFN의 뉴런 수를 늘리기 보다는 여러 층에서 각 층의 정보를 뉴런의 수를 줄이며 추상화 하는 MLP가 더 효율적이다.

 

---

- 25.07.08 -

연구 진행 중 생소했던 개념을 정리한 글입니다.