2012년 Hinton 교수가 제시한 규제(regularization) 알고리즘, Dropout이 등장한지 어느덧 10년이 넘었습니다. 10년이 넘는 시간동안 Dropout은 신경망 과적합(Overfitting) 문제 해결을 위한 도구로 현재까지 활발히 사용되고 있습니다. 최근 Facebook research의 논문, 'Dropout Reduces Underfitting', 에서 Dropout을 바라보는 새로운 관점을 제시했습니다. 바로 Dropout 기법이 '과대적합(Overfitting) 뿐만 아니라 과소적합(Underfitting) 문제에도 효과적이다'라는 것을 실험을 통해 증명한 것이죠. 본 아티클에서는 Dropout이 뭔지, 그리고 이 논문이 행한 연구들에 대해서 간단히 살펴보겠습니다. Over..
'머신러닝을 위한 수학: 선형대수' 시리즈는 Mathematics for Machine Learning과 Gilbert Strang 교수님의 Linear algebra를 참고했습니다. Metric spaces Metric은 Euclidean space 내의 두 벡터 간 거리를 계산해주는 함수입니다. 임의의 집합 S가 있을 때, 집합 S에 대한 Metric space는 다음과 같이 표현 가능하며, 아래의 조건들을 만족합니다. $$d : S \times S \rightarrow ℝ $$ Normed spaces Norm은 Euclidean space의 벡터 길이를 계산해주는 함수입니다. 실수 벡터 공간 V에서의 norm은 다음과 같이 표현 가능하며, 아래의 조건들을 만족합니다. $$|| \cdot || : ..
'머신러닝을 위한 수학: 선형대수' 시리즈는 Mathematics for Machine Learning과 Gilbert Strang 교수님의 Linear algebra를 참고했습니다. 인공지능을 공부하다 보면 '선형'이라는 단어를 자주 접하게 됩니다. 이번 글에서는 선형대수, 그리고 머신러닝에서 '선형'이 가지는 의미가 무엇인지 알아보겠습니다. Linearity 이름에서부터 알 수 있는 가장 직관적인 의미입니다. 직선을 나타내는 방정식과 같이, 기하학적 모양이나 형태가 직선인 것을 표현한 함수를 선형 함수라고 부릅니다. 선형성을 가질 수 있는 조건을 수식으로 살펴보면 다음과 같습니다. 가산성($f(x+y) = f(x) + f(y)$)과 동치성($f(kx) = kf(x)$)입니다. 가산성을 통해 알 수 있..
'머신러닝을 위한 수학: 선형대수' 시리즈는 Mathematics for Machine Learning과 Gilbert Strang 교수님의 Linear algebra를 참고했습니다. Vector spaces 벡터 공간은 벡터로 이뤄진 공간으로, 선형대수를 공부할 때 주로 다루게 될 기본 공간입니다. 벡터 공간에서는 두 가지 연산자(덧셈, 곱셈)가 정의됩니다. 이를 통해 벡터들은 서로 더해지거나, 스칼라 값이 곱해질 수 있는데요. 벡터 공간은 다음과 같은 특징이 있습니다. 머신러닝에서 주로 다루게 될 공간은 Euclidean space로, 실수(Real numbers)로 이뤄진 벡터가 구성하는 공간입니다. $R^n$이라고 주로 부르며, 크기가 $n * 1$인 행렬로 생각해도 무방합니다. 벡터 공간이기 때..
머신러닝(Machine Learning) '딥러닝이 무엇인가요?'라고 물어보는 것은 사실 '머신러닝이 무엇인가요?'라는 질문과 거의 유사합니다. 딥러닝은 머신러닝의 하위개념이기 때문이죠. 그러므로, 먼저 머신러닝에 대해 알아보겠습니다. 머신러닝은 Machine과 Learning이라는 단어가 합쳐진 합성어입니다. 여기서 Machine은 기계가 아니라, 함수(function)라는 뜻이며 Learning은 계수(coefficients)를 계산한다라는 의미를 가집니다. 즉, 기계를 학습하는 것이 아니라, 계수를 계산해주는 함수를 만드는 것이 머신러닝이라고 볼 수 있습니다. 이를 이해하기 위해, 기존의 프로그래밍 방식과 머신러닝의 차이점을 살펴봅시다. 기존의 프로그래밍의 경우, 데이터와 데이터를 처리하기 위한 프..
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models NLP 분야에서 유행하는 LLM(Large Language Model)의 성능은 이미 다양한 연구들로 충분히 입증되었습니다. 최근 각광받고 있는 ChatGPT 역시 GPT-3.5라는 LLM 모델을 기반으로 하는데요. Multimodal 분야에서도 Large web dataset으로 학습하는 방법론이 증가하면서, LLM과 미리 학습된 Image encoder를 함께 사용하고자하는 시도가 계속되어 왔습니다. 다만 LLM은 학습 과정에서 이미지 정보를 전혀 받지 못했기에, LLM에 이미지 정보를 전달해줘서 image, text ..
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation CLIP이 생각나는 이름인 BLIP...!! 논문의 내용과 결과도 훌륭하지만, 이름을 정말 잘 지었다는 생각이 드네요. 리뷰 시작하겠습니다! 2줄 요약 1. 기존 VL-Pretraining 모델에서 사용한 web data의 noisy caption 문제 -> CapFilt 구조 제시를 통해 해결 2. Text generation, Image-text retrieval task를 모두 잘하는 새로운 모델 구조 제시(MED) Abstract & Introduction CLIP, ALIGN의 등장으로 Large web sca..
2022년 12월 등장한 'The Forward-Forward Algorithm: Some Preliminary Investigations' 논문은 인공지능 연구자들에게 큰 충격을 줬습니다. 기존의 학습 방법인 역전파를 대체할 새로운 학습 방법이 등장했다는 기대감에 많은 사람들이 이 논문에 주목했는데요. 대체 Forward-Forward Algorithm, 이하 FF가 무엇이길래 역전파를 대체한다는 말이 나오는 것인지 살펴보겠습니다. The Forward-Forward Algorithm: Some Preliminary Investigations 인공지능 연구 초기에는 인간의 신체 기작을 모방하는 방향으로 기술이 발전했습니다. 뇌의 뉴런을 본 뜬 인공뉴런(Artificial Neuron)부터 인간의 사물 ..
