Attention Is All You Need 기존 RNN도 계속 발전하면서 Attention 매커니즘을 적용했지만, 모델 구조상 Long Term Dependency 문제를 해결할 수 없었음 (정보 유실 문제) 이런 근본적인 문제를 해결하고자 "Attention Is All You Need" 논문 제목처럼, RNN(혹은 CNN) 구조를 완전히 걷어내고 Attention 구조만을 활용해서 Transformer 모델을 구성함 최종적인 목표는 이미지처럼 Transformer를 거쳐서 언어 번역을 하는 것임 Components of Transformer Scaled Dot-Product Attention 헷갈리던 내용들 위주로 정리 1. Thinking, Machines 각각 단어이다. 2. 각각의 단어에서 ..
boostcamp AI Tech 강주형_T5008 8주차 회고 잘했던 것! conda 밀어버리기 vscode에 좀 더 익숙해짐 파이썬 환경에 관련하여 파편화 되어있던 개념을 어느정도 정립함 아쉬운 것! 불규칙적인 기상 시간 개선 방향 취침 시간을 정하고 실천하기 도전할 것! PyTorch 복습 git 활용 복습 flask 계속 해보기 키워드 Linux Docker Virtual Environment streamlit 이번 주 강의를 들으면서 여기저기서 주워 들어서 머릿속에 난잡하게 섞여있던 개념들이 좀 정립되는 것 같아서 좋았다. 또, streamlit 라이브러리를 이용해서 빠르게 ML/DL 모델을 서빙하는 것을 실습해본 것이 많은 도움이 되었다. PyTorch를 좀 더 복습하고, flask를 이용한 b..
EDA / Preprocessing 다방면으로 EDA를 진행하고, Insight를 도출하는 경험을 할 수 있어서 좋았다. EDA를 진행할 때 그 데이터에 대한 도메인 지식이 중요하다는 사실을 깨달았다. baseline, PyTorch Template baseline 모델과 project template를 이해해보려고 노력했다. 팀원의 도움을 통해 각각의 파일이 어떻게 연결되어서 구성하고 있는지를 쉽게 이해할 수 있었다. 기존에 ML을 다룰 때 notebook 환경만 활용한 경우가 많았는데, 이번 대회에서는 template를 최대한 활용해보고자 해서 얻어가는 점이 많았던 것 같다. 다만, 아직 파일들이 어떻게 유기적으로 연결되어 있는지에 대해서 이해하는 것에 미숙하다고 느껴서, 대회가 끝나더라도 계속 익숙..
환경 내보내기 pip freeze > requirements.txt 환경 가져오기 pip install -r requirements.txt pip 업그레이드 pip install --upgrde pip python.exe -m pip install --upgrade pip
가상환경 생성 .venv라는 이름으로 가상환경 만들기 python -m venv .venv 가상환경 활성화 가상환경 이름이 .venv 일 때, 아래 명령어 사용 (Windows) .venv\Scripts\activate 아래 명령어는 Linux에서 사용하는 거라고 함 source venv/bin/activate 가상환경 비활성화 deactivate 가상환경 제거 가상환경 이름이 .venv일 때, 아래 명령어 사용 rmdir /s .venv
boostcamp AI Tech 강주형_T5008 7주차 회고 잘했던 것! 프로젝트 잘 마무리함 아쉬운 것! 조급한 마음을 가져서 더 효율성이 떨어짐 프로젝트 진행 시 사용한 Tool에 대한 이해도가 아직 떨어지는 것 같음 개선 방향 지난 회고 쭉 읽어보고 다시 마음 잡기 복습 복습 도전할 것! PyTorch Template 복습 git 복습 Notebook 환경 탈출 키워드 optuna, WandB Project Template git 회고 작성 전에 지난 주 회고를 다시 봤는데, 그때 작성한 것들을 실천하지 못한 것 같아서 많이 아쉽다. 프로젝트 개인 회고 작성하면서 마음을 다시 잡아봅시다.
boostcamp AI Tech 강주형_T5008 6주차 회고 잘했던 것! 모각공 스터디로 공부 시간 확보 아쉬운 것! 대회에서 갈팡질팡 EDA도 해야될 거 같고.. 모델링도 해봐야 될 거 같고.. 스코어도 신경 쓰이고.. 우선순위를 정확히 세우지 못해서 비효율적으로 시간을 활용한 느낌을 받아서 많이 아쉬웠다. 데이터 전처리를 여러 방면으로 진행했는데 왜 그렇게 했는지에 대한 근거가 부족한 상태인 것 같다. 개선 방향 오늘부터 주말까지 플랜을 제대로 세워서 진행하기 EDA를 좀 더 밀도있게 진행하고 전처리 근거 세우기 도전할 것! EDA CNN_FM 모델 베이스라인 이해해보면서 모델에 맞는 데이터 추가 전처리 후 학습시켜보기 키워드 Competition FM / FFM / DeepFM / CNN_FM /..
Context-aware Recommendation Context-aware Recommendation (컨텍스트 기반 추천) Context-aware → 다양한 부가정보 추천시스템에서는 유저 관련 정보, 아이템 관련 정보, 유저 - 아이템 상호작용 정보를 사용함 CF에서는 MF 기법을 활용하면서 개별 유저와 개별 아이템 간 상호작용을 2차원 행렬로 표현함 → 유저와 아이템의 부가정보 (특성)들을 추천시스템에 반영할 수 없음 (유저의 출생지, 아이템의 카테고리, ...) → 상호작용 정보가 부족하면, 즉 "cold start"에 대한 대처가 어려움 Context-aware Recommendation은 이를 해결함 → 유저, 아이템 간 상호작용 정보 뿐 아니라, 맥락(context)에 대한 정보도 함께 반..
boostcamp AI Tech 강주형_T5008 5주차 회고 잘했던 것! 딥러닝 모델 반복적으로 봐서 최대한 이해하려고 노력함 아쉬운 것! 지난 주 대비해서 생활 밸런스가 좀 무너짐 각 일정에 대해 시간 분배가 아쉬움 개선 방향 시간표 처음부터 다시 짜보기 도전할 것! 이번주에 학습한 모델들 총 리뷰 키워드 RecSys with DL 강의 수가 많지 않아서 수강에는 부담이 없었지만, 소개하는 내용(모델)들을 100% 이해하기에 어려움이 많았다. 그래도 반복적으로 보다보면 조금씩 이해가 되는 걸 느껴서 조금 지루하더라도 여러 번 반복해서 학습해야겠다. 주말에는 이번 주에 배운 추천시스템 모델 이론과 코드를 총 리뷰하고, 구인구팀에 집중해야할 것 같다. 긴 시간을 함께할 팀원을 구하는 거니까 서로에게 득이..
RecSys with GNN Graph Neural Network GNN을 어떻게 추천 시스템에 적용하는지 알아보자 사용하는 이유: 1. 관계나 상호작용 같은 추상적인 개념 다루기에 적합 2. Non-Euclidean Space의 표현 및 학습 가능 (SNS 데이터, ...) Graph Neural Network: 그래프 데이터에 적용 가능한 신경망 목적: 이웃 노드들 간의 정보를 이용해서 특정 노드를 잘 표현할 수 있는 특징(벡터)을 잘 찾아내는 것 방법: 그래프 및 피쳐 데이터를 인접 행렬로 변환하여 MLP로 사용하는 방법 (Naive Approach) 등이 있음 → 단, 노드가 많아질수록 연산량이 기하급수적으로 많아지며, 노드의 순서가 바뀌면 의미가 달라질 가능성 존재 왼쪽 그래프처럼 원래 그래프는..
