使用python爬取豆瓣电影短评评论内容

互赞

需求：爬取豆瓣电影短评评论文本内容
目标：将爬取的文本存入 excel 中
爬虫步骤：
1.拼接分页网址，循环请求分页数据，获取HTML代码
2.分析获取到的HTML代码，解析出所需要的数据，提取内容
3.存储爬取到的数据
准备工作：
1.开发工具 pycharm
2.模块 requests、bs4或 pyquery
 
爬虫实际流程：
第一步：我们从豆瓣电影中选取一部电影（https://movie.douban.com/subject/35766491/），进入短评列表页面（https://movie.douban.com/subject/35766491/comments?status=P）

第二步：打开 f12开发者工具，我去取评论文本部分，查看网页结构。

 
目标评论文本部分对应的 class 类名为 comment，评论列表对应的类名为 comment-item
使用 pyquery 解析获取列表数据，代码如下：

1. form pyquery import PyQuery as pq
2. doc = pq(html)
3. comment_list = doc(‘.comment-item’).items()
4. For item in comment_list:
5.     comment = item(‘.comment’).text()

复制代码

 

来源:https://www.cnblogs.com/dzlishen/p/17228408.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！