Python使用BeautifulSoup解析并获取图片的实战分享

何艳娥

一、前言

在本文我们将以下面的例子带着大家去看看在实战中是如何运用的。
目标url：

1. https://www.58pic.com/tupian/1272.html

复制代码

二、数据分析

根据下图所示，图片被保存至img标签下，并且class值为lazy。当然这个网站除了lazy的img标签还有其他的(比如：

1. class="lazy-bg-img"

复制代码

)，这个可以自己想办法处理一下，如何去获取所有跟图片有关的img标签。

三、数据获取及展示


数据获取

1. '''
   
2. 爬虫：
   
3. ​
   
4. 目标网站：https://www.58pic.com/c/27075257
   
5. ​
   
6. 任务需求：1、抓取第一页前36张图片   2、使用bs4解析
   
7. '''
   
8. import time
   
9. ​
   
10. import requests
    
11. from bs4 import BeautifulSoup
    
12. ​
    
13. ​
    
14. class Image(object):
    
15.      def __init__(self):
    
16.          self.headers = {
    
17.              'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.62'
    
18.          }
    
19. ​
    
20.      def parse_url(self,url):
    
21.          print('开始分析')
    
22.          resp = requests.get(url,headers=self.headers)
    
23.          #print(resp.text)
    
24.          if resp.status_code == 200:
    
25.              soup = BeautifulSoup(resp.text,'lxml')
    
26.              image_list = soup.find_all('img',class_='lazy-bg-img',limit=36)
    
27.              #print(image_list)
    
28.              for data in image_list:
    
29.                  title = data.get('alt')
    
30.                  # print(title)
    
31.                  print(f"开始下载 {title}")
    
32.                  img_url = 'https:'+data.get('data-original')
    
33.                  self.image_save(title,img_url)
    
34.          else:
    
35.              return None
    
36. ​
    
37.      def image_save(self,title,url):
    
38.          resp = requests.get(url,headers=self.headers)
    
39.          content = resp.content
    
40.          with open('./img/'+title+'.jpg',mode='wb')as f:
    
41.              f.write(content)
    
42. ​
    
43. if __name__ == '__main__':
    
44.      t = time.time()
    
45.      url='https://www.58pic.com/tupian/1272.html'
    
46.      image = Image()
    
47.      image.parse_url(url)
    
48.      print("总共耗时：",time.time()-t)

复制代码

最终效果展示

四、结语

根据示例，我们会发现通过bs4解析可以很快速的根据标签的特殊性得到我们想要的数据。但要注意，有时候我们得到的响应内容会与F12打开看到的不同，所有在发现没有拿到数据的时候，请考虑我们得到的相应内容里面究竟是什么样子的。
到此这篇关于Python使用BeautifulSoup解析并获取图片的实战分享的文章就介绍到这了,更多相关Python BeautifulSoup获取图片内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源:https://www.jb51.net/python/322217u82.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！