보편 근사 정리 (Universal Approximation Theorem)에 따르면, 파라미터 수가 충분한 인공신경망은 임의의 연속적인 다변수함수를 원하는 정확도로 근사할 수 있다. 즉, 파라미터 수가 충분하다면, 이론상 train set의 accuracy를 100%으로 만드는 파라미터 조합은 반드시 존재한다. https://en.wikipedia.org/wiki/Universal_approximation_theorem Universal approximation theorem - WikipediaFrom Wikipedia, the free encyclopedia Feed-forward neural network with a 1 hidden layer can approximate continuous fu..

옵티마이저(optimizer)란? 옵티마이저 = loss의 최솟값을 찾는 최적화 알고리즘 머신러닝의 목적은 데이터의 학습을 통해 loss 값을 줄여 작업의 정확도를 올리는 것이다. 앞선 포스팅에서, Gradient Descent라는 알고리즘으로 loss의 최솟값을 찾아나가는 방법을 설명했다. 그러나, 단순한 Gradient Descent는 learning rate의 크기나 가속 알고리즘의 유무 등에 따라 수렴하지 않는 경우도 존재했으며, local minimum에 빠지는 경우도 있었다. https://cascade.tistory.com/36 Gradient descent & Backpropagation (Rumelhart 1986 논문 리뷰) 딥러닝 분야에는 다양한 아키텍처가 있다. CNN, RNN, T..

딥러닝 분야에는 다양한 아키텍처가 있다. CNN, RNN, Transformer 등으로 계보를 잇는 아키텍처들은 새로운 optimization 알고리즘이나 원리를 추가하면서 발전하지만, 모두 기본적인 학습 방식은 비슷하다. 이들이 사용하는 두 가지 기본적인 학습 방식은 Gradient descent(경사하강법)과 Backpropagation(역전파)이다. Backpropagation은 1960~1970년대부터 그 개념이 정립되어 왔지만, 이를 MLP(Multilayer Perceptron)의 효율적인 학습 방식으로 정착시켰다고 평가받는 유명한 논문(1)이 있다. 수학적 심리학/인지과학의 대가로 불리는 Rumelhart, "딥러닝의 아버지"이며 2023년 인공지능의 위험성을 알리며 구글을 퇴사했던 Geof..

인공지능의 초창기 개념은 퍼셉트론(perceptron)에서부터 시작한다. 오늘 포스팅에서는 On Convergence Proofs for Perceptrons(Novikoff, 1963)을 분석하여 인공지능 학습의 기본 원리를 담고 있는 Convergence Theorem이 무엇인지와 그 증명을 살펴보고자 한다. 퍼셉트론 퍼셉트론의 개념은 1943년 McCulloh & Pitts에 의해 생겼지만, 이를 1957년 하드웨어로 구현하여 퍼셉트론의 발명가로 알려진 사람은 Frank Rosenblatt이다. Rosenblatt가 만든 퍼셉트론은 현재 AI 분야에서 개념적으로 다루어지는 것과 달리 이미지 인식용 하드웨어 기계였다. 이 Mark 1 perceptron machine은 입력층, 은닉층, 출력층의 3개..