Generative Models 인트로 Generative Model을 학습한다는 것이 어떤 의미일까? → input에 대한 distribution을 학습하는 것 만약 우리가 강아지 사진들에 대한 분포를 학습했다면 생성한 샘플 이미지는 강아지처럼 생겨야 함 그 이미지가 얼마나 강아지 같은지를 추정 분포의 파라미터 수? 우리가 분포를 활용할 때, 그 분포의 경우의 수와 필요한 파라미터 수를 확인하는 것은 중요함. 예를들어, 베르누이 분포이면 경우의 수는 2, 파라미터 수는 1 1. RGB Image의 Pixel 하나를 관찰해보자 경우의 수: $ 256 \times 256 \times 256 $ 필요한 파라미터 수: $ 256 \times 256 \times 256 - 1 $ 2. MNIST 이미지의 Pix..
Optimization (최적화) 이 파트에서는 여러 용어가 나오는데, 용어에 대한 정리가 제대로 안 되어 있으면 혼란이 올 수 있음! Optimization 중요 개념 Generalization 일반화 Train Error가 0이 됐다고, 최적값에 도달했다고 보장할 수 없음 어느정도 시간이 흐른 후 Test Error의 성능은 더 떨어지게 됨 일반화 성능 Train Error와 Test Error 사이의 차이 그럼 일반화 성능이 좋으면 무조건 모델 성능이 좋을까? -> Train Error 자체가 높아버리면 Test Error와 차이가 적어도 당연히 좋은 모델이 아님! Overfitting, Underfitting 과(대)적합, 과소적합 Overfitting: Train Data는 잘 맞추는데, 그에 ..
Neural Network 인간의 뇌를 모방했다. 인간의 뇌를 모방했기 때문에 딥러닝 성능이 우수하다? -> 꼭 그렇다고 보기는 어렵다. 예를 들어, 딥러닝의 핵심인 Backpropagation이 인간의 뇌에서 일어나는 일인가? -> 그렇게 보기 어렵다. 즉, Neural Network는 인간의 뇌를 모방하는 방법으로 시작했지만, 지금은 꼭 그렇다고 볼 필요는 없다! -> "애매하게 인간의 뇌를 모방한 컴퓨팅 시스템" 으로 정의 내리는 것도 괜찮음 Linear Neural Network 가장 간단한 NN 모델 선형 회귀 - Input 1차원, Output 1차원 기울기와 절편을 가지고 있음 $$ \hat{y} = wx + b $$ 그럼 $ w $와 $ b $는 어떻게 찾을까? Backpropagation..
딥러닝 개념 Good Deep Learner? 구현 능력 (TensorFlow, PyTorch, ...) 수학 스킬 (선형대수, 확률론, ...) 최근 논문과 연구 숙지 인공지능 사람마다 정의가 다름 사람의 지능을 모방하는 것 머신러닝 인공지능 안에 있는 분야 무언가를 학습하고자 할 때 데이터를 통해 학습함 이 학습 알고리즘을 만드는 것이 머신러닝 딥러닝 머신러닝 안에 있는 분야 Neural Network 기반 모델을 사용하는 머신러닝 딥러닝의 구성 요소 Data Model Loss Function Optimization Algorithm Data - 이미지, 비디오, 텍스트 등 - 해결하고자 하는 Task에 따라서 필요 데이터가 다름 Model - 이미지/텍스트 등 데이터가 주어졌을 때 이것을 변환해주..
Text 데이터를 핸들링하는 기본적인 TextMining 내용 torchtext.data.utils.get_tokenizer(tokenizer, language=’en’) 파라미터 tokenizer: 어떤 방식으로 토큰화를 진행할지 결정해주기 적어주지 않으면 그냥 split() 기능을 하도록 설정 기본적으로 많이 하는 것이 ‘basic_english’ ‘basic_english’ 예시 tokenizer = torchtext.data.utils.get_tokenizer('basic_english') tokenizer("You can now install TorchText using pip!") # ['you', 'can', 'now', 'install', 'torchtext', 'using', 'pip',..
