翼度科技»论坛 编程开发 python 查看内容

【爬虫+数据清洗+数据可视化】Python分析“淄博烧烤”热门事件-全流程附源

9

主题

9

帖子

27

积分

新手上路

Rank: 1

积分
27
目录

一、背景介绍

自从2023.3月以来,"淄博烧烤"现象持续占领热搜流量,体现了后疫情时代众多网友对人间烟火气的美好向往,本现象级事件存在一定的数据分析实践意义。
我用Python爬取并分析了B站众多网友的评论,并得出一系列分析结论。
二、爬虫代码

2.1 展示爬取结果

首先,看下部分爬取数据:

爬取字段含:视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容
2.2 爬虫代码讲解

导入需要用到的库:
  1. import requests  # 发送请求
  2. import pandas as pd  # 保存csv文件
  3. import os  # 判断文件是否存在
  4. import time
  5. from time import sleep  # 设置等待,防止反爬
  6. import random  # 生成随机数
复制代码
定义一个请求头:
  1. # 请求头
  2. headers = {
  3.     'authority': 'api.bilibili.com',
  4.     'accept': 'application/json, text/plain, */*',
  5.     'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
  6.     # 需定期更换cookie,否则location爬不到
  7.     'cookie': "需换成自己的cookie值",
  8.     'origin': 'https://www.bilibili.com',
  9.     'referer': 'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548',
  10.     'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99"',
  11.     'sec-ch-ua-mobile': '?0',
  12.     'sec-ch-ua-platform': '"Windows"',
  13.     'sec-fetch-dest': 'empty',
  14.     'sec-fetch-mode': 'cors',
  15.     'sec-fetch-site': 'same-site',
  16.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47'
  17. }
复制代码
请求头中的cookie是个很关键的参数,如果不设置cookie,会导致数据残缺或无法爬取到数据。
那么cookie如何获取呢?打开开发者模式,见下图:

由于评论时间是个十位数:

所以开发一个函数用于转换时间格式:
  1. def trans_date(v_timestamp):
  2.     """10位时间戳转换为时间字符串"""
  3.     timeArray = time.localtime(v_timestamp)
  4.     otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
  5.     return otherStyleTime
复制代码
向B站发送请求:
  1. response = requests.get(url, headers=headers, )  # 发送请求
复制代码
接收到返回数据了,怎么解析数据呢?看一下json数据结构:

0-19个评论,都存放在replies下面,replies又在data下面,所以,这样解析数据:
  1. data_list = response.json()['data']['replies']  # 解析评论数据
复制代码
这样,data_list里面就是存储的每条评论数据了。
接下来吗,就是解析出每条评论里的各个字段了。
我们以评论内容这个字段为例:
  1. comment_list = []  # 评论内容空列表
  2. # 循环爬取每一条评论数据
  3. for a in data_list:
  4.     # 评论内容
  5.     comment = a['content']['message']
  6.     comment_list.append(comment)
复制代码
其他字段同理,不再赘述。
最后,把这些列表数据保存到DataFrame里面,再to_csv保存到csv文件,持久化存储完成:
  1. # 把列表拼装为DataFrame数据
  2. df = pd.DataFrame({
  3.     '视频链接': 'https://www.bilibili.com/video/' + v_bid,
  4.     '评论页码': (i + 1),
  5.     '评论作者': user_list,
  6.     '评论时间': time_list,
  7.     'IP属地': location_list,
  8.     '点赞数': like_list,
  9.     '评论内容': comment_list,
  10. })
  11. # 把评论数据保存到csv文件
  12. df.to_csv(outfile, mode='a+', encoding='utf_8_sig', index=False, header=header)
复制代码
注意,加上encoding='utf_8_sig',否则可能会产生乱码问题!
下面,是主函数循环爬取部分代码:(支持多个视频的循环爬取)
  1. # 随便找了几个"淄博烧烤"相关的视频ID
  2. bid_list = ['BV1dT411p7Kd', 'BV1Ak4y1n7Zb', 'BV1BX4y1m7jP']
  3. # 评论最大爬取页(每页20条评论)
  4. max_page = 30
  5. # 循环爬取这几个视频的评论
  6. for bid in bid_list:
  7.     # 输出文件名
  8.     outfile = 'b站评论_{}.csv'.format(now)
  9.     # 转换aid
  10.     aid = bv2av(bid=bid)
  11.     # 爬取评论
  12.     get_comment(v_aid=aid, v_bid=bid)
复制代码
三、可视化代码

为了方便看效果,以下代码采用jupyter notebook进行演示。
3.1 读取数据

用read_csv读取刚才爬取的B站评论数据:

查看前3行及数据形状:

3.2 数据清洗

处理空值及重复值:

3.3 可视化

3.3.1 IP属地分析-柱形图


结论:从柱形图来看,山东位居首位,说明淄博烧烤也受到本地人大力支持,其次是四川、广东等地讨论热度最高。
3.3.2 评论时间分析-折线图


结论:从折线图来看,4月26日左右达到讨论热度顶峰,其次是5月1号即五一劳动节假期第一天,大量网友的"进淄赶烤"也制造了新的讨论热度。
3.3.3 点赞数分布-箱线图


由于点赞数大部分为0或个位数情况,个别点赞数到达成千上万,箱线图展示效果不佳,因此,仅提取点赞数

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

举报 回复 使用道具