2012년 Hinton 교수가 제시한 규제(regularization) 알고리즘, Dropout이 등장한지 어느덧 10년이 넘었습니다. 10년이 넘는 시간동안 Dropout은 신경망 과적합(Overfitting) 문제 해결을 위한 도구로 현재까지 활발히 사용되고 있습니다. 최근 Facebook research의 논문, 'Dropout Reduces Underfitting', 에서 Dropout을 바라보는 새로운 관점을 제시했습니다. 바로 Dropout 기법이 '과대적합(Overfitting) 뿐만 아니라 과소적합(Underfitting) 문제에도 효과적이다'라는 것을 실험을 통해 증명한 것이죠. 본 아티클에서는 Dropout이 뭔지, 그리고 이 논문이 행한 연구들에 대해서 간단히 살펴보겠습니다. Over..
머신러닝(Machine Learning) '딥러닝이 무엇인가요?'라고 물어보는 것은 사실 '머신러닝이 무엇인가요?'라는 질문과 거의 유사합니다. 딥러닝은 머신러닝의 하위개념이기 때문이죠. 그러므로, 먼저 머신러닝에 대해 알아보겠습니다. 머신러닝은 Machine과 Learning이라는 단어가 합쳐진 합성어입니다. 여기서 Machine은 기계가 아니라, 함수(function)라는 뜻이며 Learning은 계수(coefficients)를 계산한다라는 의미를 가집니다. 즉, 기계를 학습하는 것이 아니라, 계수를 계산해주는 함수를 만드는 것이 머신러닝이라고 볼 수 있습니다. 이를 이해하기 위해, 기존의 프로그래밍 방식과 머신러닝의 차이점을 살펴봅시다. 기존의 프로그래밍의 경우, 데이터와 데이터를 처리하기 위한 프..
2022년 12월 등장한 'The Forward-Forward Algorithm: Some Preliminary Investigations' 논문은 인공지능 연구자들에게 큰 충격을 줬습니다. 기존의 학습 방법인 역전파를 대체할 새로운 학습 방법이 등장했다는 기대감에 많은 사람들이 이 논문에 주목했는데요. 대체 Forward-Forward Algorithm, 이하 FF가 무엇이길래 역전파를 대체한다는 말이 나오는 것인지 살펴보겠습니다. The Forward-Forward Algorithm: Some Preliminary Investigations 인공지능 연구 초기에는 인간의 신체 기작을 모방하는 방향으로 기술이 발전했습니다. 뇌의 뉴런을 본 뜬 인공뉴런(Artificial Neuron)부터 인간의 사물 ..
