【2023微博签到爬虫】用python爬上千条m端微博签到数据

王皮皮真皮

一、爬取目标

大家好，我是 @马哥python说，一枚10年程序猿。
今天分享一期python爬虫案例，爬取目标是新浪微博的微博签到数据，字段包含：
页码,微博id,微博bid,微博作者,发布时间,微博内容,签到地点,转发数,评论数,点赞数
经过分析调研，发现微博有3种访问方式，分别是：

• PC端网页：https://weibo.com/
  
• 移动端：https://weibo.cn/
  
• 手机端：https://m.weibo.cn/
  

最终决定，通过手机端爬取。
这里，给大家分享一个爬虫小技巧。
当目标网站既存在PC网页端，又有手机移动端，建议爬取移动端，原因是：移动端一般网页结构简单，并且反爬能力较弱，更方便爬虫爬取。
二、展示爬取结果

通过爬虫代码，爬取了“环球影城”这个关键字下的前100页微博，部分数据如下：

一共翻页了100页，大概1000条左右微博。
三、讲解代码

首先，导入需要用到的库：

1. import os  # 判断文件存在
2. import re  # 正则表达式提取文本
3. import requests  # 发送请求
4. import pandas as pd  # 存取csv文件
5. import datetime  # 转换时间用

复制代码

然后，定义一个转换时间字符串的函数，因为爬取到的时间戳是GMT格式（类似这种：Fri Jun 17 22:21:48 +0800 2022）的，需要转换成标准格式：

1. def trans_time(v_str):
2.     """转换GMT时间为标准格式"""
3.     GMT_FORMAT = '%a %b %d %H:%M:%S +0800 %Y'
4.     timeArray = datetime.datetime.strptime(v_str, GMT_FORMAT)
5.     ret_time = timeArray.strftime("%Y-%m-%d %H:%M:%S")
6.     return ret_time

复制代码

定义一个请求头，后面发送请求的时候带上它，防止反爬：

1. # 请求头
2. headers = {
3.     "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36",
4.     "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
5.     "accept-encoding": "gzip, deflate, br",
6. }

复制代码

打开chrome浏览器，在m端网址搜索"环球影城"，选择地点，选择第一条搜索结果"北京环球影城"，如下：

获取地点对应的containerid，后面会用到，爬虫代码如下：

1. def get_containerid(v_loc):
2.     """
3.     获取地点对应的containerid
4.     :param v_loc: 地点
5.     :return: containerid
6.     """
7.     url = 'https://m.weibo.cn/api/container/getIndex'
8.     # 请求参数
9.     params = {
10.         "containerid": "100103type=92&q={}&t=".format(v_loc),
11.         "page_type": "searchall",
12.     }
13.     r = requests.get(url, headers=headers, params=params)
14.     cards = r.json()["data"]["cards"]
15.     scheme = cards[0]['card_group'][0]['scheme']  # 取第一个
16.     containerid = re.findall(r'containerid=(.*?)&', scheme)[0]
17.     print('[{}]对应的containerid是：{}'.format(v_loc, containerid))
18.     return containerid

复制代码

点击第一个地点"北京环球影城"，跳转到它对应的微博签到页面：

首先打开开发者模式，然后往下翻页，多翻几次，观察XHR页面的网络请求：

根据分析结果，编写请求代码：

1. # 请求地址
2. url = 'https://m.weibo.cn/api/container/getIndex'
3. # 请求参数
4. params = {
5.     "containerid": containerid,
6.     "luicode": "10000011",
7.     "lcardid": "frompoi",
8.     "extparam": "frompoi",
9.     "lfid": "100103type=92&q={}".format(v_keyword),
10.     "since_id": page,
11. }

复制代码

其中，since_id每次翻页+1，相当于页码数值。
请求参数，可以在Payload页面获取：

下面开始发送请求并解析数据：

1. # 发送请求
2. r = requests.get(url, headers=headers, params=params)
3. print(r.status_code)  # 查看响应码
4. # 解析json数据
5. try:
6.     card_group = r.json()["data"]["cards"][0]['card_group']
7. except:
8.     card_group = []

复制代码

定义一些空列表，用于后续保存数据：

1. time_list = []  # 创建时间
2. author_list = []  # 微博作者
3. id_list = []  # 微博id
4. bid_list = []  # 微博bid
5. text_list = []  # 博文
6. text2_list = []  # 博文2
7. loc_list = []  # 签到地点
8. reposts_count_list = []  # 转发数
9. comments_count_list = []  # 评论数
10. attitudes_count_list = []  # 点赞数

复制代码

以"微博博文"为例，展示代码，其他字段同理，不再赘述。

1. # 微博博文
2. text = card['mblog']['text']
3. text_list.append(text)

复制代码

把所有数据保存到Dataframe里面：

1. # 把列表数据保存成DataFrame数据
2. df = pd.DataFrame(
3.     {
4.         '页码': page,
5.         '微博id': id_list,
6.         '微博bid': bid_list,
7.         '微博作者': author_list,
8.         '发布时间': time_list,
9.         '微博内容': text2_list,
10.         '签到地点': loc_list,
11.         '转发数': reposts_count_list,
12.         '评论数': comments_count_list,
13.         '点赞数': attitudes_count_list,
14.     }
15. )

复制代码

最终，把所有数据保存到csv文件：

1. # 表头
2. if os.path.exists(v_weibo_file):
3.     header = False
4. else:
5.     header = True
6. # 保存到csv文件
7. df.to_csv(v_weibo_file, mode='a+', index=False, header=header, encoding='utf_8_sig')
8. print('csv保存成功:{}'.format(v_weibo_file)))

复制代码

说明一下，由于每次保存csv都是追加模式（mode='a+'），所以加上if判断逻辑：

• 如果csv存在，说明不是第一次保存csv，不加表头；
  
• 如果csv不存在，说明是第一次保存csv，加上表头。
  

如此，可避免写入多次表头的尴尬局面。
整个代码中，还含有：正则表达式提取博文、爬取展开全文、从博文中提取签到地点、数据清洗（删除空数据、去重复）等功能，详细请见原始代码。
四、同步视频

代码演示视频：https://www.zhihu.com/zvideo/1605933587244658688
五、附完整源码

完整源码：【python爬虫案例】爬了上千条m端微博签到数据
  推荐阅读：
【python爬虫案例】爬取微博任意搜索关键词的结果，以“唐山打人”为例

来源:https://www.cnblogs.com/mashukui/p/17097409.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！