RNN cell의 구조RNN(순환신경망)은 기본적인 FFN(Feed-Forward Network)과 달리, 시간 차원을 가지며 이전 시간에 있었던 정보가 다음 시간으로 전달되기 때문에 일종의 "기억"을 가진다. RNN cell의 기초 구조는 아래와 같다.input으로 들어온 벡터 x가 입력 가중치와 곱해지고, cell 안의 hidden layer 에도 시간 단위 가중치가 곱해진 후 더해진 값이 activation function을 거쳐 다음 시점의 hidden layer 값을 만든다. 이 과정을 시간 축으로 펴 보면, 아래와 같다.이를 수식으로 적으면 아래와 같다.  W_x는 입력 벡터에 곱해지는 가중치, W_h는 이전 시점의 hidden layer에 곱해지는 가중치 역할을 한다. Hidden layer..

바닷가 앞 의자에 사과가 하나 놓여 있다. 배경에는 폭죽놀이가 한창이다. 사람의 눈으로 사과를 주시하고 있을 때, 우리는 배경에 어떤 모양의 폭죽이 터지는지와 상관없이 사과라는 개체에 시선을 집중할 수 있다. Attention이라는 알고리즘이 나오기 전의 컴퓨터는 이러한 시선 집중을 할 수 없었다. 원근감, 사물 등의 개념을 그저 픽셀의 RGB 값으로만 인식했었기 때문에, 이미지에서 집중에서 보아야 할 사물이 무엇인지 알지 못했던 것이다. Attention은 컴퓨터가 특정 context에 "주의 집중"할 수 있도록 만들어준 알고리즘이며, 생성형 AI, 인공지능 번역, 자연어 처리, 영상 처리 등 다양한 분야에 사용된다. 또한 오늘날 인공지능 모델들의 아주 중요한 구성요소인 transformer의 기초가 ..