Python实现自定义请求头消息headers

琼华

使用python爬虫爬取数据的时候，经常会遇到一些网站的反爬虫措施，一般就是针对于headers中的User-Agent，如果没有对headers进行设置，User-Agent会声明自己是python脚本,而如果网站有反爬虫的想法的话，必然会拒绝这样的连接。
而修改headers可以将自己的爬虫脚本伪装成浏览器的正常访问，来避免这一问题。
一、使用urllib请求页面时

1. import urllib, urllib2
2. def get_page_source(url):
3.     headers = {'Accept': '*/*',
4.                'Accept-Language': 'en-US,en;q=0.8',
5.                'Cache-Control': 'max-age=0',
6.                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
7.                'Connection': 'keep-alive',
8.                'Referer': 'http://www.baidu.com/'
9.                }
10.     req = urllib2.Request(url, None, headers)
11.     response = urllib2.urlopen(req)
12.     page_source = response.read()
13.     return page_source

复制代码

二、使用webdriver phantomjs请求页面

1. #自定义请求头head
2. from selenium import webdriver
3. from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
5. #设置自定义请求头参数
6. def get_headers_driver():
7.     desire = DesiredCapabilities.PHANTOMJS.copy()
8.     headers = {'Accept': '*/*',
9.                'Accept-Language': 'en-US,en;q=0.8',
10.                'Cache-Control': 'max-age=0',
11.                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
12.                'Connection': 'keep-alive',
13.                'Referer': 'http://www.baidu.com/'
14.                }
15.     for key, value in headers.items():
16.         desire['phantomjs.page.customHeaders.{}'.format(key)] = value
17.     driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
18.     return driver
20. # 登录
21. def login():
22.     driver = get_headers_driver(cookie)
23.     url = "http://******/login/main.do"
24.     driver.get(url)
25.     #获取网页源码
26.     print(driver.page_source)

复制代码

来源:https://www.cnblogs.com/djdjdj123/p/17638080.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！