[혼공머신] 2주차 ch 3

03 회귀 알고리즘과 모델 규제

k- 최근접 이웃 회귀

2장 - 샘플을 몇개의 클래스 중 하나로 [분류]

회귀 - 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 숫자를 예측

 

 

농어길이 길어짐에 따라 무게도 늘어남

 

훈련세트, 테스트 세트 나누기

 

결정계수(R^2)

사이런킷 K- 최그접 이웃 회귀 알고리즘 구현 클래스 : KNeighborsRegressor

객체 생성 - > fit() method로 회귀 모델 훈련

 

분류 -> 테스트 세트 샘플을 정확하게 분류한 개수의 비율. (정확도 = 정답 맞춘 개수의 비율)

회귀는 [결정계수 (Coefficient of determination) 

예측에 가까워지면 1에 가까운 값이 됨

 

19.15가 나옴 

 

 

과대적합 (overfitting) : 훈련테스트에서 점수 높고, 테스트 세트에서 점수 낮음

과소적합 (underfitting) : 훈련테스트보다 테스트의 점수가 높거나 두 점수가 너무 낮은경우

 

 

 이웃알고리즘의 이웃 개수를 5 -> 3으로 감소 후, 돌리면 위와 같이 트레이닝, 테스트 각각 0.99, 0.97이 나옴

 

과제 135p #4 ( 신기하게도 구글이 답을 그냥 쳐주네요 ...ㅎㅎ)

 

 

 

3-2 선형회귀

선형이란? 특성이 하나인 경우 어떤 직선을 학습하는 알고리즘. 

 

 모델 파라미터

선형 회귀가 찾은 가중치처럼 머신러닝모델이 특성에서 학습한 파라미터

 

다항회귀

다항식을 사용하여 특성과 타깃 사이의 관계를 나타냄