基于回归分析的波士顿房价分析

凌魁

基于回归分析的波士顿房价分析

项目实现步骤：
1.项目结构
2.处理数据
3.处理绘图
4.对数据进行分析
5.结果展示
一.项目结构

二.处理数据

1. from sklearn import datasets
2. import pandas as pd
4. """
5. sklearn1.2版本后不在保留load_boston数据集，
6. 可用
7. """
8. def get_data():
9.     # 获取波士顿数据
10.     # data_url = "http://lib.stat.cmu.edu/datasets/boston"
11.     # raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
12.     # print(raw_df)
13.     # # 输入
14.     # boston_x = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
15.     # # 输出
16.     # boston_y= raw_df.values[1::2, 2]
17.     # # 自作数据集
18.     # boston=pd.DataFrame(boston_x)
19.     # print(boston)
20.     boston=datasets.load_boston()
21.     # 输入
22.     boston_x=boston.data
23.     # 输出
24.     boston_y=boston.target
25.     # 自制数据集
26.     boston_new=pd.DataFrame(boston_x)
27.     boston_new.columns=boston["feature_names"]
28.     boston_new['PRICE']=boston_y
29.     # 保存数据
30.     # boston_new.to_csv('./models/Data/boston.csv')
31.     return boston_new

复制代码

使用sklearn的datasets时，对应的波士顿房价数据已经被“移除”，在获取数据时，会出现

，此时，在该提示的下方会有相关的解决方法

不建议使用提供的方法，对应方法的数据与具体实现项目的数据有误差
三.处理绘图
1.绘图前准备

1. import numpy as np
2. def get_request(request,data):
3.     # 要处理的数据
4.     # 设置初始值
5.     control={
6.         'CRIM':'城镇人均犯罪率',
7.         'ZN':'占地面接超过5万平方米英尺的住宅用地面积',
8.         'INDUS':'城镇非零售业务的比例',
9.         'CHAS':'查尔斯河虚拟变量',
10.         'NOX':'一氧化碳浓度',
11.         'RM':'平均每个居民拥有的房数',
12.         'AGE':'在1940年前建成的所有者占用单位的比例',
13.         'DIS':'与五个波士顿就业中心的加权距离',
14.         'TAX':'每10000美元的全额物业说率',
15.         'PTRATIO':'城镇师生比',
16.         'B':'城镇黑人比例',
17.         'LSTAT':'低收入人口所占比例',
18.         'PRICE':'房价'
19.     }
20.     if request in control.keys():
21.         # 获取价格的最大值和最小值
22.         max=np.max(data['PRICE'])
23.         min=np.min(data['PRICE'])
24.         # 存储最大值和最小值，对应的x轴标签，y轴的标签
25.         request_data=list((max,min,control[request],control['PRICE']))
26.         return request_data
27.     else:
28.         print('你输入的数据不存在，请查看相关的文档，查看你想要的数据类型')

复制代码

用于处理绘图前的准备工作，获取对应的数据和标签
绘图

1. import matplotlib
2. import matplotlib.pyplot as plt
3. from models.chart.beforedraw import beforedraw
4. from models.CleanData.resolvedata import resolve_data
5. # 画图类
6. class draw:
7.     def __init__(self,request):
8.         self.data=resolve_data.get_data()
9.         matplotlib.rc('font',family='SimHei')
10.         plt.rcParams['axes.unicode_minus']=False
11.         before_draw=beforedraw.get_request(request,self.data)
12.         self.x_ticks_max=before_draw[0]
13.         self.x_ticks_min=before_draw[1]
14.         self.x_label=before_draw[2]
15.         self.y_label=before_draw[3]
16.         self.request=request
17.     def draw_sactter(self):
18.         plt.scatter(self.data['PRICE'],self.data[self.request])
19.         plt.title(f'{self.x_label}与{self.y_label}的散点图')
20.         plt.xlabel(self.x_label)
21.         plt.ylabel(self.y_label)
22.         plt.xticks((range(int(self.x_ticks_min),int(self.x_ticks_max),10)))
23.         plt.grid()
24.         plt.show()
25.     def draw_polt(self,title,x_data,y_data,x_label=None,y_label=None):
26.         plt.plot(x_data,y_data)
27.         plt.title(title)
28.         plt.xlabel(x_label)
29.         plt.ylabel(y_label)
30.         plt.show()
31.     def draw_bar(self,title,x_data,y_data,x_label=None,y_label=None):
32.         plt.bar(x_data,y_data)
33.         plt.title(title)
34.         plt.xlabel(x_label)
35.         plt.ylabel(y_label)
36.         plt.show()

复制代码

将绘图封装成类，便于后期的绘图
四.对数据进行分析
分别实现房价与各参数的线性回归分析，绘制出房价的预测值；蚕蛹逻辑回归分析，对是否居住在河边进行逻辑回归分析

1. import numpy as np
2. import pandas as pd
3. from matplotlib import pyplot as plt
4. from sklearn.model_selection import train_test_split
5. from models.CleanData.resolvedata import resolve_data
6. from models.chart.draw import draw
8. from sklearn.preprocessing import StandardScaler
9. from sklearn.impute import SimpleImputer
10. from sklearn.linear_model import LinearRegression
12. # 回归/分类模型的评价方法
13. from sklearn.metrics import mean_squared_error  #MSE
14. from sklearn.metrics import mean_absolute_error #MAE
16. # 分类
17. from sklearn.linear_model import LogisticRegression
18. class Learning():
19.     def __init__(self):
20.         self.data=resolve_data.get_data()
21.         self.values=self.data.values
22.         self.columns=self.data.columns
23.         self.x_train = ''
24.         self.x_test = ''
25.         self.y_train = ''
26.         self.y_test = ''
27.         self.train_test_split_linear()
28.         self.draw=draw.draw("ZN")
29.         self.fill_nan()
30.         self.log()
31.     # 切分数据集
32.     def train_test_split_linear(self):
33.         self.x_train,self.x_test,self.y_train,self.y_test=train_test_split(self.values[:,0:-1],self.values[:,-1],test_size=0.2)
34.     # 弥补缺失值
35.     def fill_nan(self,):
36.         if sum(self.data.isnull().sum())!=0:
37.             simple_imp=SimpleImputer(missing_values=np.nan,strategy='mean')
38.             self.data=simple_imp.fit(self.data)
39.         self.standard_scaler()
40.     # 归一化
41.     def standard_scaler(self):
42.         scaler=StandardScaler()
43.         # fit_transform()一般用于训练集，transform一般用于测试集
44.         self.x_train=scaler.fit_transform(self.x_train)
45.         self.x_test=scaler.transform(self.x_test)
46.         self.linear()
47.     # 线性回归
48.     def linear(self):
49.         linear=LinearRegression()
50.         self.models_1=linear.fit(self.x_train,self.y_train)
51.         # 对模型进行打分
52.         # print(self.models.score(self.x_test,self.y_test))
53.         self.linear_metrics()
55.     def linear_metrics(self):
56.         # MSE均方误差
57.         linear_MSE=mean_squared_error(self.y_train,self.models_1.predict(self.x_train))
58.         # RMSE均方根误差  MSE的开方
59.         linear_RMSE=mean_squared_error(self.y_train,self.models_1.predict(self.x_train))**0.5
60.         # MAE平均绝对误差
61.         linear_MAE=mean_absolute_error(self.y_train,self.models_1.predict(self.x_train))
62.         # 误差
63.         print(f'MSE均方误差:{linear_MSE},RMSE均方根误差{linear_RMSE},MAE平均绝对误差{linear_MAE}')
64.         # 房价预测值
65.         self.draw.draw_polt("房价预测值",np.linspace(0,100,102),self.models_1.predict(self.x_test))
67.     # 分类
68.     def log(self):
69.         # 测试集
70.         x_log_l=self.values[:,0:1]
71.         x_log_r=self.values[:,4:]
72.         y_log=self.values[:,3]
73.         x_log=np.hstack((x_log_l,x_log_r))
74.         log=LogisticRegression()
75.         x_train,x_test,y_train,y_test=train_test_split(x_log,y_log,test_size=0.3)
76.         models_2=log.fit(x_train,y_train)
77.         # 预测值
78.         print(x_test,models_2.predict(x_test))
79.         # 评分
80.         print(models_2.score(x_test,y_test))
81.         # 权重
82.         print(models_2.coef_)
83.         self.draw.draw_polt("权重图",np.linspace(0.1,0.9,11),models_2.coef_[0],'','')
84.         one_array=[]
85.         zero_array=[]
86.         for item in models_2.predict(x_test):
87.             if item==0:
88.                 zero_array.append(item)
89.             else:
90.                 one_array.append(item)
91.         self.draw.draw_bar("预测值计较",['0','1'],[len(zero_array),len(one_array)])

复制代码

五.结构展示
线性回归的误差分析结果

线性回归的房价预测

逻辑回归的权重图

逻辑回归的预测图

在逻辑回归中，各阐述对于是否居住于河边的影响大，对应的评分在80%以上
项目完成！！！

来源:https://www.cnblogs.com/prettyspider/p/17488440.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！