翼度科技»论坛 编程开发 python 查看内容

简单的用Python采集下微博评论,制作可视化词云图

5

主题

5

帖子

15

积分

新手上路

Rank: 1

积分
15
简单的用Python来获取微博评论,制作词云图。
首先准备环境模块

环境使用

  • Python 3.8或以上版本即可
  • Pycharm 任意版本
模块使用
  1. import requests
  2. import wordcloud
  3. import jieba  
复制代码
 
以上三个模块都需要安装,直接pip install 加上模块名安装即可。
爬虫基本流程

一. 数据来源分析

  • 明确需求: 明确采集的网站以及数据内容
    - 网址: https://weibo.com/2803301701/NxcPMvW2l
    - 数据: 评论内容
  • 抓包分析: 通过开发者工具进行抓包
    - 打开开发者工具: F12
    - 刷新网页
    - 通过关键字查找对应的数据
    关键字: 评论的内容
    数据包地址: https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4979141627611265&is_show_bulletin=2&is_mix=0&count=10&uid=2803301701&fetch_level=0&locale=zh-CN
二. 代码实现步骤

  • 发送请求 -> 模拟浏览器对于url地址发送请求
  • 获取数据 -> 获取服务器返回响应数据
  • 解析数据 -> 提取评论内容
  • 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)
代码展示

数据采集部分

1、发送请求 -> 模拟浏览器对于url地址发送请求
  1. # 模拟浏览器
  2. headers = {
  3.     # Referer 防盗链
  4.     'Referer':'https://weibo.com/2803301701/NxcPMvW2l',
  5.     # User-Agent 用户代理
  6.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
  7. }
  8. # 请求网址
  9. url = 'https://weibo.com/ajax/statuses/buildComments'
  10. # 请求参数
  11. data = {
  12.     'is_reload': '1',
  13.     'id': '4979141627611265',
  14.     'is_show_bulletin': '2',
  15.     'is_mix': '0',
  16.     'max_id': max_id,
  17.     'uid': '2803301701',
  18.     'fetch_level': '0',
  19.     'locale': 'zh-CN',
  20. }
  21. # 发送请求
  22. response = requests.get(url=url, params=data, headers=headers)
复制代码
 
2、获取数据 -> 获取服务器返回响应数据
  1. json_data = response.json()
  2. print(json_data)
复制代码
 
3、解析数据 -> 提取评论内容
  1. # 提取评论所在列表
  2. content_list = json_data['data']
  3. # for循环遍历, 提取列表里面元素
  4. for index in content_list:
  5.     content = index['text_raw']
  6.     print(content)
复制代码
 
4、保存数据
保存文本
  1. with open('data.txt', mode='a', encoding='utf-8') as f:
  2.     f.write(content)
  3.     f.write('\n')
  4. print(content)
复制代码
 
保存表格
  1.     with open('data.txt', mode='a', encoding='utf-8') as f:
  2.         f.write(content)
  3.         f.write('\n')
  4.     print(content)
  5. df = pd.DataFrame(lis)
  6. df.to_excel(excel_writer:'data.xlsx', index=False)
  7. # 数据采集和可视化我还录制了详细的视频讲解
  8. # 跟代码一起打包好放在这个抠裙了 708525271
复制代码
 
可视化部分
  1. # 导入结巴分词
  2. import jieba
  3. # 导入词云图模块
  4. import wordcloud
  5. """词云分析"""
  6. # 读取文件内容
  7. f = open('data.txt', encoding='utf-8').read()
  8. # 分词
  9. txt = jieba.lcut(f)
  10. # 把列表合并成字符串
  11. string = ' '.join(txt)
  12. # 制作词云图配置
  13. wc = wordcloud.WordCloud(
  14.     font_path='msyh.ttc',
  15.     width=1000,  # 宽
  16.     height=700, # 高
  17.     background_color='white', # 背景颜色 默认黑色
  18. )
  19. # 导入内容
  20. wc.generate(string)
  21. wc.to_file('词云_3.png')
  22. print(txt)
复制代码
 
词云图效果展示

 

好了,本次分享就结束了,下次再见!


来源:https://www.cnblogs.com/hahaa/p/17931354.html
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

举报 回复 使用道具