最近台风肆虐，让我们用Python获取天气数据，分析一下台风到底要去哪！

爱笑的鹏

最近台风肆虐，已进入我国24小时警戒线！台风“卡努”到底要去哪儿？
作为一个Python程序员，虽然我帮不上忙，但是时时关注一下还是可以的，顺便祈祷一下台风往东边某个小日子过得不错的小岛吹。
于是我花了一分钟，用Python写了一个获取天气数据的代码，然后进行数据分析，看看到底吹不吹的过去。

首先我们要准备这些

软件环境

• python
  
• pycharm
  

模块

• requests # 发送请求
  
• parsel # 解析数据
  

这些都是第三方模块，需要手动安装，没有安装的话pip安装一下。
知识点以及流程思路

知识点

• 动态数据抓包
  
• requests发送请求
  
• 结构化+非结构化数据解析
  

爬虫流程
介绍:
模拟成 浏览器(客户端) 向 2345服务器 发送网络请求
作用:
批量采集数据 / 模拟用户行为
案例实现
1、思路分析
找到 数据来源
静态数据
动态数据: 快捷方式
https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D=2023&date%5Bmonth%5D=5
2、代码实现

• 通过代码的方式访问 数据来源地址
  
• 访问之后 将 数据内容 拿到
  
• 将数据内容中 我们需要的内容取出来 不需要的内容 就剔除掉
  
• 保存到表格当中
  

代码展示

天气数据获取

1. import requests     # 发送请求的第三方库 用来访问网站的
2. import parsel       # 第三方库 提取数据的
3. import csv          # 内置模块 无需安装
4. # 完整源码+视频讲解都放在这个q裙了：815624229
6. f = open('tianqi.csv', mode='a', encoding='utf-8', newline='')
7. csv_writer = csv.writer(f)
9. for year in range(2013, 2023):
10.     for month in range(1, 13):
11.         url = f'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D={year}&date%5Bmonth%5D={month}'
12.         # 1. 通过代码的方式访问 数据来源地址
13.         response = requests.get(url)
14.         # 2. 访问之后 将 数据内容 拿到
15.         json_data = response.json()
16.         # 3. 将数据内容中 我们需要的内容取出来 不需要的内容 就剔除掉
17.         html_data = json_data['data']
18.         select = parsel.Selector(html_data)
19.         trs = select.css('tr')  
20.         for tr in trs[1:]:
21.             tds = tr.css('td::text').getall()
22.             # 4. 保存到表格当中
23.             csv_writer.writerow(tds)

复制代码

 
数据分析部分
导入包

1. import pandas as pd
2. import datetime
3. from pyecharts import options as opts
4. from pyecharts.charts import *
5. from pyecharts.commons.utils import JsCode

复制代码

 
读入数据

1. data = pd.read_csv('天气.csv')
2. data

复制代码

 
数据预览

1. data.sample(5)
2. data.info()

复制代码

 
分割日期/星期

1. data[['日期','星期']] = data['日期'].str.split(' ',expand=True,n=1)
2. data

复制代码

 
去除多余字符

1. data[['最高温度','最低温度']] = data[['最高温度','最低温度']].apply(lambda x: x.str.replace('°','').replace('', '0'))
2. data.head()

复制代码

 
计算下雪天气

1. data.loc[data['天气'].str.contains('雪'),'下雪吗']='是'
2. data.fillna('否',inplace=True)

复制代码

 
分割日期时间

1. data['日期'] = pd.to_datetime(data['日期'])
2. data[['最高温度','最低温度']] = data[['最高温度','最低温度']].astype('int')
4. data['年份'] = data['日期'].dt.year
5. data['月份'] = data['日期'].dt.month
6. data['日'] = data['日期'].dt.day
7. # 预览
8. data.sample(5)

复制代码

 
各城市初雪的时间

1. s_data = data[data['下雪吗']=='是']
2. s_data[(s_data['月份']>=9)].groupby('年份').first().reset_index()

复制代码

 
各城市下雪天气分布

1. s_data.groupby(['城市','年份'])['日期'].count().to_frame('下雪天数').reset_index()

复制代码

 
做透视表

1. data_bj = data[(data['年份'] == 2021) & (data['城市'] == '北京')]
2. data_bj = data_bj.groupby(['月份','天气'], as_index=False)['日期'].count()
4. data_pivot =  pd.pivot(data_bj,
5.                 values='日期',
6.                 index='月份',
7.                 columns='天气')
8. data_pivot = data_pivot.astype('float')
9. # 按照 索引年月倒序排序
10. data_pivot.sort_index(ascending=False,inplace=True)
12. data_pivot

复制代码

 
北上广深2021年10月份天气热力图分布

1. import matplotlib.pyplot as plt
2. import matplotlib.colors as mcolors
3. import seaborn as sns
5. #设置全局默认字体 为 雅黑
6. plt.rcParams['font.family'] = ['Microsoft YaHei']
7. # 设置全局轴标签字典大小
8. plt.rcParams["axes.labelsize"] = 14  
9. # 设置背景
10. sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
11. # 设置画布长宽 和 dpi
12. plt.figure(figsize=(18,8),dpi=100)
13. # 自定义色卡
14. cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216'])
15. # 绘制热力图
17. ax = sns.heatmap(data_pivot, cmap=cmap, vmax=30,
18.                  annot=True, # 热力图上显示数值
19.                  linewidths=0.5,
20.                 )
21. # 将x轴刻度放在最上面
22. ax.xaxis.set_ticks_position('top')
23. plt.title('北京最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
24. plt.show()
27. data_gz= data[(data['年份'] == 2021) & (data['城市'] == '广州')]
28. data_gz = data_gz.groupby(['月份','天气'], as_index=False)['日期'].count()
29. data_sz= data[(data['年份'] == 2021) & (data['城市'] == '深圳')]
30. data_sz = data_sz.groupby(['月份','天气'], as_index=False)['日期'].count()
31. data_sh= data[(data['年份'] == 2021) & (data['城市'] == '上海')]
32. data_sh = data_sh.groupby(['月份','天气'], as_index=False)['日期'].count()
34. data_pivot_sz =  pd.pivot(data_sz,
35.                 values='日期',
36.                 index='月份',
37.                 columns='天气')
38. data_pivot_sz = data_pivot_sz.astype('float')
39. # 按照 索引年月倒序排序
40. data_pivot_sz.sort_index(ascending=False,inplace=True)
42. #设置全局默认字体 为 雅黑
43. plt.rcParams['font.family'] = ['Microsoft YaHei']
44. # 设置全局轴标签字典大小
45. plt.rcParams["axes.labelsize"] = 14  
46. # 设置背景
47. sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
48. # 设置画布长宽 和 dpi
49. plt.figure(figsize=(18,8),dpi=100)
50. # 自定义色卡
51. cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216'])
52. # 绘制热力图
54. ax_sz = sns.heatmap(data_pivot_sz, cmap=cmap, vmax=31,
55.                  annot=True, # 热力图上显示数值
56.                  linewidths=0.5,
57.                 )
58. # 将x轴刻度放在最上面
59. ax_sz.xaxis.set_ticks_position('top')
60. plt.title('深圳最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
61. plt.show()
64. data_pivot_gz =  pd.pivot(data_gz,
65.                 values='日期',
66.                 index='月份',
67.                 columns='天气')
68. data_pivot_gz = data_pivot_gz.astype('float')
69. # 按照 索引年月倒序排序
70. data_pivot_gz.sort_index(ascending=False,inplace=True)
72. #设置全局默认字体 为 雅黑
73. plt.rcParams['font.family'] = ['Microsoft YaHei']
74. # 设置全局轴标签字典大小
75. plt.rcParams["axes.labelsize"] = 14  
76. # 设置背景
77. sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
78. # 设置画布长宽 和 dpi
79. plt.figure(figsize=(18,8),dpi=100)
80. # 自定义色卡
81. cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216'])
82. # 绘制热力图
84. ax_sz = sns.heatmap(data_pivot_gz, cmap=cmap, vmax=31,
85.                  annot=True, # 热力图上显示数值
86.                  linewidths=0.5,
87.                 )
88. # 将x轴刻度放在最上面
89. ax_sz.xaxis.set_ticks_position('top')
90. plt.title('广州最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
91. plt.show()
94. data_pivot_sh =  pd.pivot(data_sh,
95.                 values='日期',
96.                 index='月份',
97.                 columns='天气')
98. data_pivot_sh = data_pivot_sh.astype('float')
99. # 按照 索引年月倒序排序
100. data_pivot_sh.sort_index(ascending=False,inplace=True)
102. #设置全局默认字体 为 雅黑
103. plt.rcParams['font.family'] = ['Microsoft YaHei']
104. # 设置全局轴标签字典大小
105. plt.rcParams["axes.labelsize"] = 14  
106. # 设置背景
107. sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']})  
108. # 设置画布长宽 和 dpi
109. plt.figure(figsize=(18,8),dpi=100)
110. # 自定义色卡
111. cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216'])
112. # 绘制热力图
114. ax_sz = sns.heatmap(data_pivot_sh, cmap=cmap, vmax=31,
115.                  annot=True, # 热力图上显示数值
116.                  linewidths=0.5,
117.                 )
118. # 将x轴刻度放在最上面
119. ax_sz.xaxis.set_ticks_position('top')
120. plt.title('上海最近10个月天气分布',fontsize=16) #图片标题文本和字体大小
121. plt.show()
122. data_bj = data[(data['城市']=='北京') & (data['年份'] == 2021)]
123. data_bj['日期'] = pd.to_datetime(data_bj.日期,format="%Y年%m月%d日")
124. data_bj = data_bj.sort_values(by='日期',ascending=True)

复制代码

 
北京2021年每日最高最低温度变化

1. color0 = ['#FF76A2','#24ACE6']
2. color_js0 = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
3.     [{offset: 0, color: '#FFC0CB'}, {offset: 1, color: '#ed1941'}], false)"""
4. color_js1 = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
5.     [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#009ad6'}], false)"""
7. tl = Timeline()
8. for i in range(0,len(data_bj)):
9.     coordy_high = list(data_bj['最高温度'])[i]
10.     coordx = list(data_bj['日期'])[i]
11.     coordy_low = list(data_bj['最低温度'])[i]
12.     x_max = list(data_bj['日期'])[i]+datetime.timedelta(days=10)
13.     y_max = int(max(list(data_bj['最高温度'])[0:i+1]))+3
14.     y_min = int(min(list(data_bj['最低温度'])[0:i+1]))-3
15.     title_date = list(data_bj['日期'])[i].strftime('%Y-%m-%d')
16.     c = (
17.         Line(
18.             init_opts=opts.InitOpts(
19.             theme='dark',
20.             #设置动画
21.             animation_opts=opts.AnimationOpts(animation_delay_update=800),#(animation_delay=1000, animation_easing="elasticOut"),
22.             #设置宽度、高度
23.             width='1500px',
24.             height='900px', )
25.         )
26.         .add_xaxis(list(data_bj['日期'])[0:i])
27.         .add_yaxis(
28.             series_name="",
29.             y_axis=list(data_bj['最高温度'])[0:i], is_smooth=True,is_symbol_show=False,
30.             linestyle_opts={
31.                    'normal': {
32.                        'width': 3,
33.                        'shadowColor': 'rgba(0, 0, 0, 0.5)',
34.                        'shadowBlur': 5,
35.                        'shadowOffsetY': 10,
36.                        'shadowOffsetX': 10,
37.                        'curve': 0.5,
38.                        'color': JsCode(color_js0)
39.                    }
40.                },
41.             itemstyle_opts={
42.             "normal": {
43.                 "color": JsCode(
44.                     """new echarts.graphic.LinearGradient(0, 0, 0, 1, [{
45.                 offset: 0,
46.                 color: '#ed1941'
47.             }, {
48.                 offset: 1,
49.                 color: '#009ad6'
50.             }], false)"""
51.                 ),
52.                 "barBorderRadius": [45, 45, 45, 45],
53.                 "shadowColor": "rgb(0, 160, 221)",
54.             }
55.         },
57.         )
58.         .add_yaxis(
59.             series_name="",
60.             y_axis=list(data_bj['最低温度'])[0:i], is_smooth=True,is_symbol_show=False,
61. #             linestyle_opts=opts.LineStyleOpts(color=color0[1],width=3),
62.             itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js1)),
63.             linestyle_opts={
64.                    'normal': {
65.                        'width': 3,
66.                        'shadowColor': 'rgba(0, 0, 0, 0.5)',
67.                        'shadowBlur': 5,
68.                        'shadowOffsetY': 10,
69.                        'shadowOffsetX': 10,
70.                        'curve': 0.5,
71.                        'color': JsCode(color_js1)
72.                    }
73.                },
74.         )
75.         .set_global_opts(
76.             title_opts=opts.TitleOpts("北京2021年每日最高最低温度变化\n\n{}".format(title_date),pos_left=330,padding=[30,20]),
77.             xaxis_opts=opts.AxisOpts(type_="time",max_=x_max),#, interval=10,min_=i-5,split_number=20,axistick_opts=opts.AxisTickOpts(length=2500),axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey"))
78.             yaxis_opts=opts.AxisOpts(min_=y_min,max_=y_max),#坐标轴颜色,axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey"))
79.         )
80.     )
81.     tl.add(c, "{}".format(list(data_bj['日期'])[i]))
82.     tl.add_schema(
83.         axis_type='time',
84.         play_interval=100,  # 表示播放的速度
85.         pos_bottom="-29px",
86.         is_loop_play=False, # 是否循环播放
87.         width="780px",
88.         pos_left='30px',
89.         is_auto_play=True,  # 是否自动播放。
90.         is_timeline_show=False)
91. tl.render('1.html')
92. data_10 = data[(data['年份'] == 2022) & ( data['月份'] == 10)]
93. data_10.head()

复制代码

 
北上广深10月份每日最高气温变化

1. # 背景色
2. background_color_js = (
3.     "new echarts.graphic.LinearGradient(0, 0, 0, 1, "
4.     "[{offset: 0, color: '#c86589'}, {offset: 1, color: '#06a7ff'}], false)"
5. )
7. # 线条样式
8. linestyle_dic = { 'normal': {
9.                     'width': 4,  
10.                     'shadowColor': '#696969',
11.                     'shadowBlur': 10,  
12.                     'shadowOffsetY': 10,  
13.                     'shadowOffsetX': 10,  
14.                     }
15.                 }
16. timeline = Timeline(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js),
17.                                             width='980px',height='600px'))
20. bj, gz, sh, sz= [], [], [], []
21. all_max = []
22. x_data = data_10[data_10['城市'] == '北京']['日'].tolist()
23. for d_time in range(len(x_data)):
24.     bj.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='北京')]["最高温度"].values.tolist()[0])
25.     gz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='广州')]["最高温度"].values.tolist()[0])
26.     sh.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='上海')]["最高温度"].values.tolist()[0])
27.     sz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='深圳')]["最高温度"].values.tolist()[0])
28.    
29.     line = (
30.         Line(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js),
31.                                      width='980px',height='600px'))
32.         .add_xaxis(
33.             x_data,
34.                   )
35.         
36.         .add_yaxis(
37.             '北京',
38.             bj,
39.             symbol_size=5,
40.             is_smooth=True,
41.             is_hover_animation=True,
42.             label_opts=opts.LabelOpts(is_show=False),
43.         )
44.   
45.         .add_yaxis(
46.             '广州',
47.             gz,
48.             symbol_size=5,
49.             is_smooth=True,
50.             is_hover_animation=True,
51.             label_opts=opts.LabelOpts(is_show=False),
52.         )
54.         .add_yaxis(
55.             '上海',
56.             sh,
57.             symbol_size=5,
58.             is_smooth=True,
59.             is_hover_animation=True,
60.             label_opts=opts.LabelOpts(is_show=False),
61.             
62.         )
64.         .add_yaxis(
65.             '深圳',
66.             sz,
67.             symbol_size=5,
68.             is_smooth=True,
69.             is_hover_animation=True,
70.             label_opts=opts.LabelOpts(is_show=False),
71.             
72.         )
73.         
74.         .set_series_opts(linestyle_opts=linestyle_dic)
75.         .set_global_opts(
76.             title_opts=opts.TitleOpts(
77.                 title='北上广深10月份最高气温变化趋势',
78.                 pos_left='center',
79.                 pos_top='2%',
80.                 title_textstyle_opts=opts.TextStyleOpts(color='#DC143C', font_size=20)),
81.             
82.             tooltip_opts=opts.TooltipOpts(
83.                 trigger="axis",
84.                 axis_pointer_type="cross",
85.                 background_color="rgba(245, 245, 245, 0.8)",
86.                 border_width=1,
87.                 border_color="#ccc",
88.                 textstyle_opts=opts.TextStyleOpts(color="#000"),
89.         ),
90.             xaxis_opts=opts.AxisOpts(
91. #                 axislabel_opts=opts.LabelOpts(font_size=14, color='red'),
92. #                 axisline_opts=opts.AxisLineOpts(is_show=True,
93. #                 linestyle_opts=opts.LineStyleOpts(width=2, color='#DB7093'))
94.                 is_show = False
95.             ),
96.                
97.             
98.             yaxis_opts=opts.AxisOpts(
99.                 name='最高气温',            
100.                 is_scale=True,
101. #                 min_= int(min([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) - 10,
102.                 max_= int(max([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) + 10,
103.                 name_textstyle_opts=opts.TextStyleOpts(font_size=16,font_weight='bold',color='#5470c6'),
104.                 axislabel_opts=opts.LabelOpts(font_size=13,color='#5470c6'),
105.                 splitline_opts=opts.SplitLineOpts(is_show=True,
106.                                                   linestyle_opts=opts.LineStyleOpts(type_='dashed')),
107.                 axisline_opts=opts.AxisLineOpts(is_show=True,
108.                                         linestyle_opts=opts.LineStyleOpts(width=2, color='#5470c6'))
109.             ),
110.             legend_opts=opts.LegendOpts(is_show=True, pos_right='1%', pos_top='2%',
111.                                         legend_icon='roundRect',orient = 'vertical'),
112.         ))
113.    
114.     timeline.add(line, '{}'.format(x_data[d_time]))
116. timeline.add_schema(
117.     play_interval=1000,          # 轮播速度
118.     is_timeline_show=True,      # 是否显示 timeline 组件
119.     is_auto_play=True,          # 是否自动播放
120.     pos_left="0",
121.     pos_right="0"
122. )
123. timeline.render('2.html')

复制代码

 
最后想了下，小日子管我屁事呀，有些岛沉了也就沉了，还是分析北上广天气靠谱。
今天的分享就到这里，咱们下次见！

来源:https://www.cnblogs.com/hahaa/p/17608093.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！