RSC01 - 추천 시스템 개론

추천시스템 평가 방법

오프라인 평가

: 배포전에 이루어짐

1. Leave one last : 마지막 구매를 test set으로, 2번째를 valid set으로

2. Temporal User/Global split

1. Random Split

1. User split

1. K-fold cross validation

1. Time series cross validation

1. 예측 알고리즘 평가 지표

1) 평점 예측

• Root Mean Squard Error

• Mean Absolute Error

2) 랭킹 예측

• Precision@K : $A/(A+C)$

• Recall@K : $A/(A+B)$

• AP@K (Average precision)

(m : 사용자가 반응한 아이템 갯수 / rel(i) : item의 i 와의 relevance score를 의미)

• MAP@K(Mean Average Precision)

(

U

: 유저 수)

• Hit rate

특성 평가 지표

• Coverage : 전체 아이템 중 추천시스템이 추천하는 비율

• Novelty : 새롭고 흔하지 않은 추천

• Personalization

• Serendipity : 만족스러운 뜻밖의 항목 추천 (점수 내기 힘들기 때문에 온라인에서 주로)

• Diversity

온라인 평가

: 실제로 테스트 하면서 기존 것과 A/B 비교