Python 데이터 맞춤형 및 일반선형 회귀 알고리즘 학습

마이크로소프트 레이싱에서의 예측 문제는 일반적으로2분류: 회귀와 분류.

간단히 말해, 회귀는数值를 예측하고, 분류는 데이터에 태그를 부여하여 분류합니다.

이 문서는 Python을 사용하여 기본 데이터 구형 방법과 구형 결과의 오차 분석 방법을 설명합니다.

이 예제에서는 하나의2차 함수를 사용하여 생성합니다500개의 점을 생성한 후, 랜덤한扰동을 추가하여1、2、100차의 다항식을 이 데이터에 맞춥니다.

구형의 목적은 훈련 데이터를 기반으로 다항 함수를 구형하여, 이 함수가 기존 데이터를 잘 맞추고未知의 데이터를 예측할 수 있도록 하는 것입니다.

코드는 다음과 같습니다：

import matplotlib.pyplot as plt 
import numpy as np 
import scipy as sp 
from scipy.stats import norm 
from sklearn.pipeline import Pipeline 
from sklearn.linear_model import LinearRegression 
from sklearn.preprocessing import PolynomialFeatures 
from sklearn import linear_model 
''''' 数据生成 ''' 
x = np.arange(0, 1, 0.002) 
y = norm.rvs(0, size=500, scale=0.1) 
y = y + x**2 
''''' 均方误差根 ''' 
def rmse(y_test, y): 
 return sp.sqrt(sp.mean((y_test - y) ** 2)) 
''''' 与均值相比的优秀程度，介于[0~1]。0表示不如均值。1表示完美预测.这个版本的实现是参考scikit-learn官网文档 ''' 
def R2(y_test, y_true): 
 return 1 - ((y_test - y_true)**2).sum() / ((y_true - y_true.mean())**2).sum() 
''''' 这是Conway&White《机器学习使用案例解析》里的版本 ''' 
def R22(y_test, y_true): 
 y_mean = np.array(y_true) 
 y_mean[:] = y_mean.mean() 
 return 1 - rmse(y_test, y_true) / rmse(y_mean, y_true) 
plt.scatter(x, y, s=5) 
degree = [1,2,100] 
y_test = [] 
y_test = np.array(y_test) 
for d in degree: 
 clf = Pipeline([('poly', PolynomialFeatures(degree=d)), 
     ('linear', LinearRegression(fit_intercept=False))]) 
 clf.fit(x[:, np.newaxis], y) 
 y_test = clf.predict(x[:, np.newaxis]) 
 print(clf.named_steps['linear'].coef_) 
 print('rmse=%.2f, R2=%.2f, R22=%.2f, clf.score=%.2f' % 
  (rmse(y_test, y), 
  R2(y_test, y), 
  R22(y_test, y), 
  clf.score(x[:, np.newaxis], y)))  
 plt.plot(x, y_test, linewidth=2) 
plt.grid() 
plt.legend(['1','2','100'], loc='upper left') 
plt.show() 

该程序运行的显示结果如下：

[-0.16140183　 0.99268453]
rmse=0.13, R2=0.82, R22=0.58, clf.score=0.82
[ 0.00934527 -0.03591245　 1.03065829]
rmse=0.11, R2=0.88, R22=0.66, clf.score=0.88
[　 6.07130354e-02　 -1.02247150e+00　　 6.66972089e+01　 -1.85696012e+04
......
-9.43408707e+12　 -9.78954604e+12　 -9.99872105e+12　 -1.00742526e+13
-1.00303296e+13　 -9.88198843e+12　 -9.64452002e+12　 -9.33298267e+12
　 -1.00580760e+12]
rmse=0.10, R2=0.89, R22=0.67, clf.score=0.89
显示出的coef_就是多项式参数。如1次拟合的结果为
y = 0.99268453x -0.16140183
这里我们要注意这几点：
1、误差分析。
做回归分析，常用的误差主要有均方误差根（RMSE）和R-平方（R2）。
RMSE是预测值与真实值的误差平方根的均值。这种度量方法很流行（Netflix机器学习比赛的评价方法），是一种定量的权衡方法。
R2方法是将预测值跟只使用均值的情况下相比，看能好多少。其区间通常在（0,1）之间。0表示还不如什么都不预测，直接取均值的情况，而1表示所有预测跟真实结果完美匹配的情况。
R2的计算方法，不同的文献稍微有不同。如本文中函数R2是依据scikit-learn官网文档实现的，跟clf.score函数结果一致。
而R22函数的实现来自Conway的著作《机器学习使用案例解析》，不同在于他用的是2个RMSE的比值来计算R2。
我们看到多项式次数为1的时候，虽然拟合的不太好，R2也能达到0.82。2次多项式提高到了0.88。而次数提高到100次，R2也只提高到了0.89。
2、过拟合。
使用100次方多项式做拟合，效果确实是高了一些，然而该模型的据测能力却极其差劲。
而且注意看多项式系数，出现了大量的大数值，甚至达到10的12次方。
这里我们修改代码，将500个样本中的最后2个从训练集中移除。然而在测试中却仍然测试所有500个样本。
clf.fit(x[:498, np.newaxis], y[:498]
这样修改后的多项式拟合结果如下：

[-0.17933531　 1.0052037 ]
rmse=0.12, R2=0.85, R22=0.61, clf.score=0.85
[-0.01631935　 0.01922011　 0.99193521]
rmse=0.10, R2=0.9, R22=0.69, clf.score=0.90
...
rmse=0.21, R2=0.57, R22=0.34, clf.score=0.57
仅仅只是缺少了最后2个训练样本，红线（100次方多项式拟合结果）的预测发生了剧烈的偏差，R2也急剧下降到0.57。
而反观1，2次多项式的拟合结果，R2反而略微上升了。
这说明高次多项式过度拟合了训练数据，包括其中大量的噪音，导致其完全丧失了对数据趋势的预测能力。前面也看到，100次多项式拟合出的系数数值无比巨大。人们自然想到通过在拟合过程中限制这些系数数值的大小来避免生成这种畸形的拟合函数。
其基本原理是将拟合多项式的所有系数绝对值之和（L1正则化）或者平方和（L2正则化）加入到惩罚模型中，并指定一个惩罚力度因子w，来避免产生这种畸形系数。
이런 사고는 Ridge 회귀(사용 L2정규화）、라소(Lasso，L1정규화）、엘라스틱 넷(Elastic net，L1+L2정규화와 같은 방법은 과적합을 효과적으로 방지할 수 있습니다. 더 많은 원리는 관련 자료를 참조하세요.
아래에서 라이지 회귀를 예로 들어보겠습니다100 차 다항식의拟合是否有效。将代码修改如下:
clf = Pipeline([('poly', PolynomialFeatures(degree=d)),
　　　　　　　　　　　　　　　　　　　 ('linear', linear_model.Ridge ())])
clf.fit(x[:400, np.newaxis], y[:400]

결과는 다음과 같습니다：

[ 0.　　　　　　　　　 0.75873781]
rmse=0.15, R2=0.78, R22=0.53, clf.score=0.78
[ 0.　　　　　　　　　 0.35936882　 0.52392172]
rmse=0.11, R2=0.87, R22=0.64, clf.score=0.87
[ 0.00000000e+00　　 2.63903249e-01　　 3.14973328e-01　　 2.43389461e-01
　　 1.67075328e-01　　 1.10674280e-01　　 7.30672237e-02　　 4.88605804e-02
　　 ......
　　 3.70018540e-11　　 2.93631291e-11　　 2.32992690e-11　　 1.84860002e-11
　　 1.46657377e-11]
rmse=0.10, R2=0.9, R22=0.68, clf.score=0.90
보면100 차 다항식의 계수 파라미터가 매우 작아지는 것입니다. 대부분이 0에 가깝습니다.
또한 주목할 만한 것은, 리그레이션과 같은 제약 모델을 사용하면1차와2차 다항식 회귀의 R2치가 기본 선형 회귀보다 약간 낮을 수 있습니다.
그러나 이러한 모델은 사용되어도100 차 다항식, 훈련400 개의 샘플에서 예측500 개의 샘플의 경우에는 더 작은 R2오차가 있지만, 또한 훌륭한 예측 능력을 가지고 있습니다.

이것이 이 문서의 전체 내용입니다. 여러분의 학습에 도움이 되길 바랍니다. 또한, 여러분의 지지와 외침 튜토리얼을 많이 사용해 주세요.

언급: 이 문서의 내용은 인터넷에서 수집되었습니다. 저작권은 원저자에게 있으며, 인터넷 사용자가 자발적으로 기여하고 자체로 업로드한 것이며, 이 사이트는 소유권을 가지지 않으며, 인공적으로 편집된 것도 아니며, 관련 법적 책임도 부담하지 않습니다. 저작권 문제가 있으면 notice#w로 이메일을 보내 주세요.3codebox.com（보고할 때는 #을 @으로 변경하십시오. 보고하고 관련 증거를 제공하면, 사실이 확인되면 이 사이트는 즉시 의심스러운 저작권 내용을 삭제합니다.