Dev/AI 인공지능 썸네일형 리스트형 [AI Basic] 활성화 함수(Activation Function) | 시그모이드(Sigmoid) | Tanh | ReLU | Leaky ReLU | ELU 활성화 함수 (Activation Function) 딥러닝 모델에서 기본적으로 하나의 신경망은 ax + b의 함수 형태이다 즉, 입력값에 대한 출력값을 선형적으로 계산하게 된다. 이러한 ax + b 형태의 함수를 여러 층 쌓아도 여전히 선형 함수 형태이게 된다 (단층 신경망과 큰 차이가 없어지는 것!) 하지만 그렇다면 예를 들어 아래와 같은 모양의 이진 분류 데이터셋이 있다면, 이는 선형 함수로만은 분류가 불가능하다 위와 같은 데이터를 제대로 분류하기 위해서는 (일반적으로 일상의 데이터는 복잡해서, 위 데이터처럼 선형분류가 불가능하다) 입력값을 선형적으로 분류하는 것이 아닌 '꺾어줄 수 있도록'! 즉, 비선형적으로 분류해주도록 해야한다 이 때 사용되는 것이 활성화 함수인데, 선형 함수의 신경망을 비선형 .. 더보기 [RecSys] DKT(Deep Knowledge Tracing) | Confusion Matrix | precision | recall | AUC | AOC DKT(Deep Knowledge Tracing) 딥러닝을 이용해 학생의 학습 상태를 추적하는 것으로, 풀이 데이터가 많아질 수록 상태 예측은 정밀해진다! DKT를 이용해서 할 수 있는것? 학습 상태가 취약한 부분을 파악하여, 해당 파트를 더 공부하도록 제안할 수 있다 학습 상태가 충분한 부분에 대해서는 다른 파트를 공부하도록 제안할 수 있다. 시중 서비스 예시: 산타토익 등 DKT 대회 일반적인 대회에서는 학습 상태 추적보다는 다음 문제를 맞출지, 틀릴지 예측하는 것에 더 중점이 맞춰져있다 binary classification prediction 기본 평가 지표 이해 precision (Positive Prediction Value) : 모델이 정답으로 예측한 것 중 진짜로 정답인 것 ⟶ 적게 예측할.. 더보기 [RecSys] AutoEncoder 기반의 추천 모델 | AE (AutoRec) | CDAE (Collaborative DAE) 01. Autoencoder란? 오토인코더(AE) : 입력 데이터를 출력으로 복원하는 비지도 학습 모델 디노이징 오토인코더(DAE) : 입력 데이터에 노이즈를 추가하여 학습하는 모델! 노이즈를 추가함으로써 보다 강건한(robust) 모델이 학습 → 성능 향상 02. AutoRec 배경 및 아이디어 MF는 linear, low-order interaction을 통해서 represenation AutoRec은 Rating Vector을 입력과 출력으로 사용하여 Encoder & Decoder 적용 → AE 기반으로 activation func을 사용해서 더 복잡한 상호작용 표현 가능 모델 구조 아이템과 유저 중, 한 번에 하나에 대해서만 임베딩 진행 아이템 i의 rating vector $r^{(i)}$ 준.. 더보기 [RecSys] MLP 기반의 추천 모델 | NCF (Neural Collaborative Filtering) | DNN for Youtube Recommendation 01. Recommendation System with DL Nonlinear Transformation : 데이터 내 비선형 패턴을 효과적으로 나타낼 수 있음 → 복잡한 유저-아이템 상호작용 패턴을 효과적으로 모델링 가능 Representation Learning : DNN은 raw data로부터 알아서 feature representation을 학습 Sequence Modeling: 시계열 데이터 처리에서 효과적으로 적용 예: next-item prediction, seesion-based recommendation Flexibility: 다양한 프레임워크가 존재해서 모델링 flexibility가 높고 효율적인 서빙이 가능함 02. 다층 퍼셉트론(Multi-layer Perceptron, MLP)란?.. 더보기 [RecSys] Item2Vec | Word2Vec | CBOW | Skip-Gram | SGNS | Embedding | Word Embedding 01. 개요 1-1. 임베딩이란? 주어진 데이터를 낮은 차원의 벡터로 만들어서 표현하는 방법 Spare Representation(이진값 벡터)을 Dense Representation(실수값 벡터)으로 표현 1-2. 워드 임베딩이란? 텍스트 분석을 위해 단어(word)를 벡터로 표현하는 방법 벡터로 표현함으로써, 단어간 의미적인 유사도 계산 가능 MF도 user latent vector, item latent vector을 이용한 임베딩이라고 해석할 수 있음 02. Word2Vec 단어를 예측하는 작업을 수행하기 위해서는 자연스럽게 단어 임베딩을 수행하게 됨 → 임베딩에는 단어의 고유 특징이 저장됨 대량의 문자 데이터를 벡터 공간에 투영하여 dense vector로 표현 효율적이고 빠른 학습이 가능함 2.. 더보기 [RecSys] Model-based Collaborative Filtering | KNN | SVD | MF | Matrix Factorization | ALS 모델 기반 협업 필터링 (Model-based Collaborative Filtering) Parametric Machine Learning을 사용하여, 데이터에 내재한 패턴을 이용해 추천하는 CF 기법 데이터 정보가 파라미터의 형태로 모델에 압축됨 파라미터 → 데이터의 패턴을 표현 → 최적화로 업데이트 Model-based CF의 장점 모델 학습 및 서빙: 학습된 모델이 압축된 상태로 저장 → 이미 학습된 모델로 추천하기 때문에 서빙 속도가 빠름 Sparsity & Scalability 문제 개선: sparse 한 데이터에서도 좋은 성능을 보임 + 데이터가 늘어나도 좋은 추천 성능을 보임 Overfitting 방지: 전체 데이터의 패턴을 학습하도록 작동 → 특정 주변 이웃에게 크게 영향받지 않음 Lim.. 더보기 [RecSys] 협업 필터링 | Collaborative Filtering | User-based CF | Item-based CF | deviation 협업 필터링 (CF, Collaborative Filtering) 많은 유저들로부터 얻은 기호 정보를 이용해 유저의 관심사를 자동으로 예측하는 방법 (Collborative: 집단적 협업, 다수의 의견 활용) → 많은 유저/ 아이템 데이터가 축적될수록 추천이 정확해질 것이라 가정 협업 필터링의 목적과 원리 주어진 데이터를 활용해 user-item 행렬을 생성 유사도 기준을 정하고, 유저 혹은 아이템 간의 유사도 계산 (user-based vs item-based) 주어진 평점과 유사도를 활용하여, 행렬의 비어있는 값(평점)을 예측 협업 필터링의 분류에 따른 모델 CF 분류 Neighboorhood CF (Memory-based CF) Model-based CF 대표 모델 User-based Item-ba.. 더보기 [RecSys] 컨텐츠 기반 추천 | Content-based Recommendation | TF-IDF | Term Frequency - Inverse Documnet Frequency | 코사인 유사도 | Cosine Similarity 컨텐츠 기반 추천 (Content-based Recommendation) 특정 유저가 과거에 선호한 아이템과 비슷한 아이템을 해당 유저에게 추천해준다! 장점 유저에게 추천을 할 때 다른 유저의 데이터가 필요하지 않음 새로운 아이템 혹은 인기도가 낮은 아이템을 추천할 수 있음 추천 아이템에 대한 설명이 가능함: 왜 이런 추천결과가 나왔는가에 대해서 합리적이고 타당한 근거를 찾을 수 있음 단점 아이템의 적합한 특징을 찾는 것이 어려움 한 분야나 장르의 추천 결과만 계속해서 나올수도 있음 (Overspecializatino) 다른 유저의 데이터를 활용할 수 없음 어떻게 아이템의 특징을 알아낼까? Item Profile: 추천 대상이 되는 아이템을 식별하고 특징이 되는 속성을 구성하는 것 → 다양하게 구성한 속.. 더보기 이전 1 2 3 다음
