Context-aware Recommendation Context-aware Recommendation (컨텍스트 기반 추천) Context-aware → 다양한 부가정보 추천시스템에서는 유저 관련 정보, 아이템 관련 정보, 유저 - 아이템 상호작용 정보를 사용함 CF에서는 MF 기법을 활용하면서 개별 유저와 개별 아이템 간 상호작용을 2차원 행렬로 표현함 → 유저와 아이템의 부가정보 (특성)들을 추천시스템에 반영할 수 없음 (유저의 출생지, 아이템의 카테고리, ...) → 상호작용 정보가 부족하면, 즉 "cold start"에 대한 대처가 어려움 Context-aware Recommendation은 이를 해결함 → 유저, 아이템 간 상호작용 정보 뿐 아니라, 맥락(context)에 대한 정보도 함께 반..
RecSys with GNN Graph Neural Network GNN을 어떻게 추천 시스템에 적용하는지 알아보자 사용하는 이유: 1. 관계나 상호작용 같은 추상적인 개념 다루기에 적합 2. Non-Euclidean Space의 표현 및 학습 가능 (SNS 데이터, ...) Graph Neural Network: 그래프 데이터에 적용 가능한 신경망 목적: 이웃 노드들 간의 정보를 이용해서 특정 노드를 잘 표현할 수 있는 특징(벡터)을 잘 찾아내는 것 방법: 그래프 및 피쳐 데이터를 인접 행렬로 변환하여 MLP로 사용하는 방법 (Naive Approach) 등이 있음 → 단, 노드가 많아질수록 연산량이 기하급수적으로 많아지며, 노드의 순서가 바뀌면 의미가 달라질 가능성 존재 왼쪽 그래프처럼 원래 그래프는..
앞서 포스팅한 내용처럼 추천 시스템에는 여러가지 이유로 고전적인 ML 모델을 주로 활용했음 실제로 현재도 ML 모델들이 많이 활용되고 있음 그럼에도 불구하고 추천시스템에서 딥러닝을 활용하는 이유 1. Nonlinear Transformation - 복잡한 user-item 상호작용을 효과적으로 모델링하고 user의 선호도 예측 (XOR 해결 가능) 2. Representation Learning - 사람이 직접 feature design 안 해도 됨, 텍스트/이미지/오디오 등 활용 가능 3. Sequence Modeling - 딥러닝은 NLP, 음성 신호 처리 등 Sequential modeling Task에 잘 적용됨 - 이는 추천 시스템에서 next-item prediction, session-bas..
Item2Vec은 NLP 분야에서 활용된 Word2Vec에서 Word 대신 Item을 사용해서 추천 시스템에 적용시킨 기법이다. 따라서, Word2Vec 먼저 살펴보고, Item2Vec을 보자 Word2Vec Embedding 임베딩 주어진 데이터를 낮은 차원의 Vector로 만들어서 표현하는 방법이다. 앞서 학습한 Latent Factor Model과 비슷한 개념이다. Sparse Representaion: 아이템의 전체 가짓수와 차원 수가 동일 예) One-Hot Encoding, Mult-Hot Encoding 차원의 저주 위험이 있음 Dense Representation: 아이템의 전체 가짓수보다 훨씬 작은 차원으로 표현 예) 면도기 = [0.2, 1.4, -0.2, 0.5], 가위 = [-0.2..
Model Based Collaborative Filtering 모델 기반 협업 필터링 NBCF와 비교 NBCF 문제 1. Sparsity: 데이터가 부족하면 추천 성능이 떨어지고, 부족하거나 없는 유저는 추천 불가능 2. Scalability: 유저와 아이템이 늘어날수록 연산량도 증가해서 시간이 오래걸림 이런 문제들을 보완하고자 MBCF는 데이터에 숨겨진 유저-아이템 관계의 잠재적 특성/패턴을 이용해서 추천 Parametric Machine Learning 사용 NBCF 대비 MBCF 장점 1. 모델 학습/서빙 유저-아이템 데이터는 학습에만 사용되고, 학습된 모델은 압축 형태로 저장 이미 학습된 모델을 통해 추천하기 때문에 서빙 속도 빠름 2. Sparsity / Scalability 문제 개선 NBC..
Collaborative Filtering (CF) 1. CF 문제 정의 '많은 유저들로부터 얻은 기호 정보'를 이용해 유저의 관심사를 자동으로 예측하는 방법 더 많은 유저/아이템 데이터가 축적될수록 협업의 효과는 커지고, 추천은 정확해질 것이라는 가정에서 출발 → DL에서 데이터가 많으면 좋다는 거랑 같은 의미로 봐도 됨 예시1) "노트북"을 본 유저에게 "다른 노트북 상품"들을 추천 예시2) "노트북"을 구매한 유저들이 구매한 "노트북 악세사리 상품"을 추천 CF의 최종 목적: 유저 u가 아이템 i에 부여할 평점을 예측하는 것 주어진 데이터를 활용해 유저-아이템 행렬 생성 유사도 기준을 정하고, 유저 혹은 아이템 간의 유사도를 구함 주어진 평점과 유사도를 활영하여 행렬의 비어 있는 값(평점)을 예측 ..
컨텐츠 기반 추천 컨텐츠 기반 추천 (Content-based Recommendation) 한 유저가 과거에 선호한 아이템과 비슷한 아이템을 그 유저에게 추천 예시 영화: 배우, 감독, 영화 장르 음악: 아티스트, 장르, 리듬, 무드 장점 1. 유저에게 추천을 할 때 다른 유저의 데이터가 필요하지 않음 2. 새로운 아이템 혹은 인기도가 낮은 아이템을 추천할 수 없음 3. 추천 아이템에 대한 설명이 가능함 단점 1. 아이템의 적합한 피쳐를 찾는 것이 어려움 → 아이템의 종류별로 부가 정보가 달라서 각각에 맞는 feature processing이 달라짐 2. 한 분야/장르의 추천 결과만 계속 나올 수 있음 (overspecialization 3. 다른 유저의 데이터를 활용할 수 없음 TF-IDF TF-IDF..
사실 사실 추천 시스템 분야는 현업에서 딥러닝보다 클래식한 ML을 더 많이 사용한다고 함 딥러닝을 통해서 엄청난 성능 향상이 없었고, 분야 특성상 많은 트래픽을 요하는 등의 이유 따라서, 다양한 엔지니어링 등의 능력이 더 중요시 되고 있음 사실 요즘에는 지금 포스팅하는 연관 분석과 TF-IDF보다는 협업 필터링을 더 많이 사용하는데, 그래도 이론을 탄탄히 하기 위해 학습해보자 연관 분석 개요 추천 시스템의 가장 고전적인 방법론임 연관 규칙 분석 (= 장바구니 분석, 서열 분석) 상품의 구매나 조회 등 하나의 연속된 거래들 사이의 규칙을 발견하기 위해 적용함 주어진 transaction(거래) 데이터에 대해, 하나의 상품이 등장했을 때 다른 상품이 같이 등장하는 규칙을 찾는 것 예시1) 맥주와 기저귀를 같..
추천 시스템이란 1. 개요 과거에는 유저가 접할 수 있는 컨텐츠가 TV, 영화, 신문 등 극히 제한적이었지만, 요즘은 오히려 넘치는 정보의 시대이다. 따라서 유저가 원하는 걸 어떤 키워드로 찾아야 하는 지 모를 수 있음 기존에 사용자가 Search한 내용을 기반으로 추천해주는 것을 넘어서, 유저가 모르는 유저가 필요로 하는 item을 유저보다 더 잘 알고 추천한다. 이에따라, 이전에는 소수의 인기있는 아이템 (Popular products)가 주류였지만 최근에는 Long-Tail products에 대한 추천의 필요성이 대두됨 예시: Popular products: 조회수가 엄청 높은 소수의 동영상 Long Tail products: 아직은 조회수가 낮은 다수의 동영상 조회수가 급상승한 영상이 나왔을 때,..
