Python多线程爬取链家房源，保存表格，实现数据可视化分析！

赵家奎

使用Python来爬取二手房源数据，并保存表格，实现数据分析！
软件环境

Python 3.8
Pycharm
代码展示

模块

1. # 数据请求模块 --> 第三方模块, 需要安装 pip install requests
2. import requests
3. # 解析数据模块 --> 第三方模块, 需要安装 pip install parsel
4. import parsel
5. # csv模块
6. import csv

复制代码

 
创建文件

1. f = open('data.csv', mode='w', encoding='utf-8', newline='')
2. csv_writer = csv.DictWriter(f, fieldnames=[
3.     '标题',
4.     '小区',
5.     '区域',
6.     '售价',
7.     '单价',
8.     '户型',
9.     '面积',
10.     '朝向',
11.     '装修',
12.     '楼层',
13.     '年份',
14.     '建筑类型',
15.     '详情页',
16. ])
17. csv_writer.writeheader()

复制代码

 
发送请求, 模拟浏览器 对于 url地址 发送请求
模拟浏览器

1. headers = {
2.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
3. }

复制代码

 
请求网址/网站

1. url = 'https://cs.lianjia.com/ershoufang/'
3. # 完整源码，视频讲解直接＋这个扣裙：279199867 免费领取

复制代码

 
发送请求

1. response = requests.get(url=url, headers=headers)
2. # <Response [200]> 响应对象 200 状态码 表示请求成功
3. print(response)

复制代码

 
获取数据, 获取网页源代码
解析数据, 提取我们想要的数据内容
解析方法:

• re: 对于字符串数据直接进行解析提取
  
• css: 根据标签属性提取数据内容
  
• xpath: 根据标签节点提取数据内容
  

使用css: 根据标签属性提取数据内容
把获取到html字符串数据, 转成可解析对象

1. selector = parsel.Selector(response.text)

复制代码

 
获取所有房源信息所在li标签

1. lis = selector.css('.sellListContent li.clear')

复制代码

 
for循环遍历

1. for li in lis:
2.     """<br>
3.     提取具体房源信息: 标题 / 价格 / 位置 / 户型...
4.     .title a --> 表示定位class类名为title下面a标签
5.     """
6.     title = li.css('.title a::text').get()  # 标题
7.     info_list = li.css('.positionInfo a::text').getall()
8.     area = info_list[0]  # 小区名字
9.     area_1 = info_list[1]  # 地区
10.     totalPrice = li.css('.totalPrice span::text').get()  # 售价
11.     unitPrice = li.css('.unitPrice span::text').get().replace('元/平', '').replace(',', '')  # 单价
12.     houseInfo = li.css('.houseInfo::text').get().split(' | ')  # 信息
13.     houseType = houseInfo[0]  # 户型
14.     houseArea = houseInfo[1].replace('平米', '')  # 面积
15.     houseFace = houseInfo[2]  # 朝向
16.     fitment = houseInfo[3]  # 装修
17.     fool = houseInfo[4]  # 楼层
19.     if len(houseInfo) == 7 and '年' in houseInfo[5]:
20.         year = houseInfo[5].replace('年建', '')
21.     else:
22.         year = ''
23.     house = houseInfo[-1]  # 建筑类型
24.     href = li.css('.title a::attr(href)').get()  # 详情页
25.     dit = {
26.         '标题': title,
27.         '小区': area,
28.         '区域': area_1,
29.         '售价': totalPrice,
30.         '单价': unitPrice,
31.         '户型': houseType,
32.         '面积': houseArea,
33.         '朝向': houseFace,
34.         '装修': fitment,
35.         '楼层': fool,
36.         '年份': year,
37.         '建筑类型': house,
38.         '详情页': href,
39.     }
40.     csv_writer.writerow(dit)
41.     print(dit)
42.     # print(title, area, area_1, totalPrice, unitPrice, houseType, houseArea, houseFace, fitment, fool, year, house, href)

复制代码

 
多线程

导入模块

1. import requests
2. import parsel
3. import re
4. import csv
5. # 线程池模块
6. import concurrent.futures
7. import time

复制代码

 
发送请求函数

1. def get_response(html_url):
3. :param html_url:
4. :return:
5. """
6. headers = {
7.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
8. }
9. response = requests.get(url=html_url, headers=headers)
10. return response

复制代码

 
获取数据函数

1. def get_content(html_url):
2.     """
3.     :param html_url:
4.     :return:
5.     """
6.     response = get_response(html_url)
7.     html_data = get_response(link).text
8.     selector = parsel.Selector(response.text)
9.     select = parsel.Selector(html_data)
10.     lis = selector.css('.sellListContent li')
11.     content_list = []
12.     for li in lis:
14.         title = li.css('.title a::text').get()  # 标题
15.         area = '-'.join(li.css('.positionInfo a::text').getall())  # 小区
16.         Price = li.css('.totalPrice span::text').get()  # 总价
17.         Price_1 = li.css('.unitPrice span::text').get().replace('元/平', '')  # 单价
18.         houseInfo = li.css('.houseInfo::text').get()  # 信息
19.         HouseType = houseInfo.split(' | ')[0]  # 户型
20.         HouseArea = houseInfo.split(' | ')[1].replace('平米', '')  # 面积
21.         direction = houseInfo.split(' | ')[2].replace(' ', '')  # 朝向
22.         renovation = houseInfo.split(' | ')[3]  # 装修
23.         floor_info = houseInfo.split(' | ')[4]
24.         floor = floor_info[:3]  # 楼层
25.         floor_num = re.findall('(\d+)层', floor_info)[0]  # 层数
26.         BuildingType = houseInfo.split(' | ')[-1]
27.         string = select.css('.comments div:nth-child(7) .comment_text::text').get()
28.         href = li.css('.title a::attr(href)').get()  # 详情页
29.         if len(houseInfo.split(' | ')) == 6:
30.             date = 'None'
31.         else:
32.             date = houseInfo.split(' | ')[5].replace('年建', '')  # 日期
33.         print(string)
34.         dit = {
35.             '标题': title,
36.             '内容': string,
37.             '小区': area,
38.             '总价': Price,
39.             '单价': Price_1,
40.             '户型': HouseType,
41.             '面积': HouseArea,
42.             '朝向': direction,
43.             '装修': renovation,
44.             '楼层': floor,
45.             '层数': floor_num,
46.             '建筑日期': date,
47.             '建筑类型': BuildingType,
48.             '详情页': href,
49.         }
50.         content_list.append(dit)
51.     return content_list

复制代码

 
主函数

1. def main(page):
2.     """
3.     :param page:
4.     :return:
5.     """
6.     print(f'===============正在采集第{page}页的数据内容===============')
7.     url = f'https:///ershoufang/yuelu/p{page}/'
8.     content_list = get_content(html_url=url)
9.     for content in content_list:
10.         csv_writer.writerow(content)
13. if __name__ == '__main__':
14.     time_1 = time.time()
15.     link = 'http://******/article/149'
16.     # 创建文件
17.     f = open('data多线程.csv', mode='a', encoding='utf-8', newline='')
18.     csv_writer = csv.DictWriter(f, fieldnames=[
19.         '标题',
20.         '内容',
21.         '小区',
22.         '总价',
23.         '单价',
24.         '户型',
25.         '面积',
26.         '朝向',
27.         '装修',
28.         '楼层',
29.         '层数',
30.         '建筑日期',
31.         '建筑类型',
32.         '详情页',
33.     ])
34.     csv_writer.writeheader()
36.     # 线程池执行器 max_workers 最大线程数
37.     exe = concurrent.futures.ThreadPoolExecutor(max_workers=10)
38.     for page in range(1, 11):
39.         exe.submit(main, page)
40.     exe.shutdown()
41.     time_2 = time.time()
42.     use_time = int(time_2 - time_1)
43.     # 总计耗时: 9
44.     print('总计耗时:', use_time)

复制代码

 

来源:https://www.cnblogs.com/hahaa/p/17406006.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！