孙久臣 发表于 2023-12-28 00:44:48

简单的用Python采集下微博评论,制作可视化词云图

简单的用Python来获取微博评论,制作词云图。
首先准备环境模块

环境使用

[*]Python 3.8或以上版本即可
[*]Pycharm 任意版本
模块使用
import requests
import wordcloud
import jieba 
以上三个模块都需要安装,直接pip install 加上模块名安装即可。
爬虫基本流程

一. 数据来源分析

[*]明确需求: 明确采集的网站以及数据内容
- 网址: https://weibo.com/2803301701/NxcPMvW2l
- 数据: 评论内容
[*]抓包分析: 通过开发者工具进行抓包
- 打开开发者工具: F12
- 刷新网页
- 通过关键字查找对应的数据
关键字: 评论的内容
数据包地址: https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4979141627611265&is_show_bulletin=2&is_mix=0&count=10&uid=2803301701&fetch_level=0&locale=zh-CN
二. 代码实现步骤

[*]发送请求 -> 模拟浏览器对于url地址发送请求
[*]获取数据 -> 获取服务器返回响应数据
[*]解析数据 -> 提取评论内容
[*]保存数据 -> 保存本地文件 (文本 csv Excel 数据库)
代码展示

数据采集部分

1、发送请求 -> 模拟浏览器对于url地址发送请求
# 模拟浏览器
headers = {
    # Referer 防盗链
    'Referer':'https://weibo.com/2803301701/NxcPMvW2l',
    # User-Agent 用户代理
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

# 请求网址
url = 'https://weibo.com/ajax/statuses/buildComments'
# 请求参数
data = {
    'is_reload': '1',
    'id': '4979141627611265',
    'is_show_bulletin': '2',
    'is_mix': '0',
    'max_id': max_id,
    'uid': '2803301701',
    'fetch_level': '0',
    'locale': 'zh-CN',
}
# 发送请求
response = requests.get(url=url, params=data, headers=headers) 
2、获取数据 -> 获取服务器返回响应数据
json_data = response.json()
print(json_data) 
3、解析数据 -> 提取评论内容
# 提取评论所在列表
content_list = json_data['data']
# for循环遍历, 提取列表里面元素
for index in content_list:
    content = index['text_raw']
    print(content) 
4、保存数据
保存文本
with open('data.txt', mode='a', encoding='utf-8') as f:
    f.write(content)
    f.write('\n')
print(content) 
保存表格
    with open('data.txt', mode='a', encoding='utf-8') as f:
      f.write(content)
      f.write('\n')
    print(content)

df = pd.DataFrame(lis)
df.to_excel(excel_writer:'data.xlsx', index=False)
# 数据采集和可视化我还录制了详细的视频讲解
# 跟代码一起打包好放在这个抠裙了 708525271 
可视化部分

# 导入结巴分词
import jieba
# 导入词云图模块
import wordcloud

"""词云分析"""
# 读取文件内容
f = open('data.txt', encoding='utf-8').read()
# 分词
txt = jieba.lcut(f)
# 把列表合并成字符串
string = ' '.join(txt)
# 制作词云图配置
wc = wordcloud.WordCloud(
    font_path='msyh.ttc',
    width=1000,# 宽
    height=700, # 高
    background_color='white', # 背景颜色 默认黑色
)
# 导入内容
wc.generate(string)
wc.to_file('词云_3.png')
print(txt) 
词云图效果展示

 
https://img-blog.csdnimg.cn/direct/fbc3609d7fbb460fb30bb333cbe2e9dd.png
好了,本次分享就结束了,下次再见!
https://img-blog.csdnimg.cn/direct/1d496a7622ce421d9faf30add3a06721.png

来源:https://www.cnblogs.com/hahaa/p/17931354.html
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!
页: [1]
查看完整版本: 简单的用Python采集下微博评论,制作可视化词云图