data science/machine learning
바이너리 분류 모델에 있어서 평가 항목
꼰대코더
2024. 1. 16. 15:55
Confusion Matrix
샘플 결과
TP | 1 | FN | 29 |
FP | 0 | TN | 970 |
- Accuracy (정확도)
전체 결과에 대한 True 의 비율
Accuracy = (TP + TN) / (TP + FN + FP + TN) = 971 / 1000 = 0.971 - Precision (정밀도)
(모델의 관점) True(=1) 이라고 예측한 것 중에 실제 True의 비율
Precision = TP / (TP + FP) = 1.0 - Recall (재현율)
(True 입력 데이터의 관점) True 입력데이터중에 True라고 예측한 비율
Recall = TP / (TP + FN) = 1 / 30 = 0.033 - F1 Score
Precision과 Recall의 밸랜스도를 나타낸다. 어느 한쪽이 극단적으로 낮으면 F1 도 따라서 낮아진다.
F1 Score = 2 x (Precision x Recall) / (Precision + Recall) = 2 x 1 x 0.033 / (1 + 0.033) = 0.065
평가
모델의 Accuracy 와 Precision 은 높지만 Recall 과 F1 은 낮기 때문에 좋지 않은 모델이라 할 수 있다.
특히 Recall 을 보면 True 인 입력데이터에 대해 정확히 분류하는 비율이 3% 임을 알 수 있다.