【爬虫实战】用python爬小红书某话题的笔记，以#杭州亚运会#为例

甘桔

目录

• 一、爬取目标
  
• 二、爬虫代码讲解
  
  
  
  • 2.1 分析过程
    
  • 2.2 爬虫代码
    
  
  
• 三、演示视频
  
• 四、获取完整代码
  

一、爬取目标

您好！我是@马哥python说，一名10年程序猿。
最近的亚运会大家都看了吗。除了振奋人心，还主打一个爱憎分明（主要针对小日子和韩国），看了的小伙伴都懂得！
我用python爬取了小红书上 #杭州亚运会 这个话题下的所有笔记，目标如下：

爬取结果如下：

共7个核心字段，含:

笔记标题, 笔记id, 笔记链接, 作者昵称, 作者id, 作者链接, 发布时间。

二、爬虫代码讲解

2.1 分析过程

核心思路，通过网页端分析接口数据实现。
点击手机客户端右上角分享按钮，然后选择复制链接，如下：

把复制好的链接粘贴到电脑端浏览器，并打开开发者模式，如下：

页面往下滚动，刷出更多笔记数据，打开以notes开头的请求链接，查看预览数据：

由此便得到了前端请求链接，下面开始开发爬虫代码。
2.2 爬虫代码

首先，导入需要用到的库：

1. import requests  # 发送请求
2. import random
3. from time import sleep  # 设置等待，防止反爬
4. import time
5. import pandas as pd  # 保存csv
6. import datetime
7. import os

复制代码

定义一个请求头：

1. # 请求头
2. h1 = {
3.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
4. }

复制代码

由于我并不知道一共有多少页，往下翻多少次，所以采用while循环，直到触发终止条件，循环才结束。
那么怎么定义终止条件呢？我注意到，在返回数据里有一个叫做"has_more"的参数，大胆猜测它的含义，是否有更多数据，正常情况它的值是true。如果它的值是false，代表没有更多数据了，即到达最后一页了，也就该终止循环了。
因此，核心代码结构应该是这样（以下是伪代码，主要是表达逻辑，请勿直接copy）：

1. while True:
2.         # 发送请求
3.         r = requests.get(url, headers=h1)
4.         # 解析数据
5.         json_data = r.json()
6.         # 逐条解析
7.         for i in json_data['data']['notes']:
8.                 # 笔记标题
9.                 title = i['title']
10.                 title_list.append(title)
11.         # 保存数据到csv
12.         。。。
13.         # 判断终止条件
14.         next_cursor = json_data['data']['cursor']
15.         if not json_data['data']['has_more']:
16.                 print('没有下一页了，终止循环！')
17.                 break
18.         page += 1

复制代码

另外，还有一个关键问题，如何进行翻页。
查看请求参数，如下：

这里的游标，就是向下翻页的依据，因为每次请求的返回数据中，也有一个cursor：

大胆猜测，返回数据中的cursor，就是给下一页请求用的cursor，所以，这部分的逻辑实现应该如下（以下是伪代码，主要是表达逻辑，请勿直接copy）：

1. while True:
2.         # 判断是否首页
3.         if page == 1:
4.                 url = 'https://www.xiaohongshu.com/web_api/sns/v3/page/notes?page_size=6&sort=hot&page_id={}&sid='.format(
5.                         page_id)
6.         else:
7.                 url = 'https://www.xiaohongshu.com/web_api/sns/v3/page/notes?page_size=6&sort=hot&page_id={}&sid=&cursor={}'.format(
8.                         page_id, next_cursor)
9.         # 发送请求
10.         r = requests.get(url, headers=h1)
11.         # 解析数据
12.         json_data = r.json()
13.         # 得到下一页的游标
14.         next_cursor = json_data['data']['cursor']

复制代码

最后，是顺理成章的保存csv数据：

1. # 保存数据到DF
2. df = pd.DataFrame(
3.         {
4.                 '页码': page,
5.                 '笔记标题': title_list,
6.                 '笔记id': note_id_list,
7.                 '作者昵称': author_name_list,
8.                 '作者id': author_id_list,
9.                 '发布时间': create_time_list,
10.         }
11. )
12. # 保存到csv
13. df.to_csv(result_file, mode='a+', header=header, index=False, encoding='utf_8_sig')

复制代码

至此，爬虫代码开发完毕。
完整代码中，还包含转换时间戳、随机等待时长、解析关键字段、保存Dataframe数据等逻辑实现，详见文末。
三、演示视频

代码演示：
四、获取完整代码

爱学习的小伙伴，本次分析过程的完整python源码及结果数据，我已打包好，并上传至我的微信公众号"老男孩的平凡之路"，后台回复"爬小红书话题"即可获取。点击直达
我是@马哥python说，一名10年程序猿，持续分享python干货中！

来源:https://www.cnblogs.com/mashukui/p/17745533.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！