【爬虫案例】用Python爬大麦网任意城市的近期演出活动！

文文文文文文文

目录

• 一、爬取目标
  
• 二、展示爬取结果
  
• 三、讲解代码
  
• 四、同步视频
  
• 五、附完整源码
  

一、爬取目标

大家好，我是@马哥python说 ，一枚10年程序猿。
今天分享一期python爬虫案例，爬取目标是大麦网近期演出活动：- 大麦搜索

二、展示爬取结果

爬取结果截图：

含10个字段：

页码，演出标题，链接地址，演出时间，演出城市，演出地点，售价，演出类别，演出子类别，售票状态。

演示视频：
以上。
三、讲解代码

首先，导入需要用到的库：

1. import pandas as pd
2. import requests
3. import os
4. import datetime
5. from time import sleep
6. import random

复制代码

定义一个请求头：

1. # 设置请求头信息
2. headers = {
3.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
4.     'Cookie': '换成自己的cookie',
5.     'X-Xsrf-Token': '7d065ac9-b924-4c14-869a-ab599b571244',
6.     'Accept': 'application/json, text/plain, */*',
7.     'Accept-Encoding': 'gzip, deflate, br',
8.     'Accept-Language': 'en-US,en;q=0.9,zh;q=0.8,zh-CN;q=0.7',
9.     'Bx-V': '2.5.0',
10.     'Referer': 'https://search.damai.cn/search.htm?spm=a2oeg.home.category.ditem_0.591b23e1HxE6Vj&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&order=1&cty=%E6%88%90%E9%83%BD',
11.     'Sec-Ch-Ua': '"Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"',
12.     'Sec-Ch-Ua-Mobile': '?0',
13.     'Sec-Ch-Ua-Platform': "macOS",
14.     'Sec-Fetch-Dest': 'empty',
15.     'Sec-Fetch-Mode': 'cors',
16.     'Sec-Fetch-Site': 'same-origin',
17. }

复制代码

其中，cookie的获取方式如下：

定义请求地址url：

1. # 请求地址
2. url = 'https://search.damai.cn/searchajax.html'

复制代码

定义请求参数params，从PayLoad中获取：

发送请求，并且用json格式解析数据：

1. # 发送请求
2. r = requests.get(url, headers=headers, params=params)
3. # 解析数据
4. json_data = r.json()

复制代码

以"演出标题"字段为例：

1. for data in json_data['pageData']['resultData']:
2.     # 演出标题
3.     title = data['nameNoHtml']
4.     title_list.append(title)
5.     print('演出标题：', title)

复制代码

其他字段同理，不再赘述。
最后是保存到csv文件：

1. df = pd.DataFrame(
2.     {
3.         '页码': page,
4.         '演出标题': title_list,
5.         '链接地址': href_list,
6.         '演出时间': time_list,
7.         '演出城市': city_list,
8.         '演出地点': loc_list,
9.         '售价': price_list,
10.         '演出类别': category_list,
11.         '演出子类别': subcategory_list,
12.         '售票状态': status_list,
13.     }
14. )
15. # 保存到csv文件
16. df.to_csv(result_file, encoding='utf_8_sig', mode='a+', index=False, header=header)

复制代码

其中，encoding参数设置为utf_8_sig，目的是防止csv文件产生乱码，不便读取。
整个代码中，还含有：设置sleep随机等待、判断循环停止条件、防止多次写入表头、用户input输入过滤条件、往csv文件名添加时间戳等功能，篇幅有限，详细请见原始代码。
四、同步视频

代码演示视频：

五、附完整源码

完整源码获取：【爬虫案例】用Python爬大麦网任意城市演出活动
我是@马哥python说 ，持续分享python源码干货中！

来源:https://www.cnblogs.com/mashukui/p/17498816.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！