用Python做一个小说下载器，从获取数据到编写GUI界面

红花油

对于广大书虫而言，没有小说看是最痛苦的，你身边有这样的人吗？
今天咱们分享一个小说下载器代码，打包成exe后，发给你的小伙伴也能直接使用…

思路流程

什么是爬虫?

按照一定的规则, 去采集互联网上面数据
爬虫可以做什么?

• 采集数据: 定制化采集数据
  
• 自动化脚本：自动点赞/评论/刷票/商品抢购脚本/自动发送弹幕
  

爬虫基本实现思路?

一、数据来源分析

• 明确需求:
  - 采集的网站是什么?
  https://www.biqudu.net/1_1631/3047505.html
  - 采集的数据是什么?
  标题/内容
  
• 分析 标题/内容 是从哪里来的
  通过浏览器自带工具: 开发者工具抓包分析
  - 打开开发者工具: F12 / 鼠标右键点击检查选择network
  - 刷新网页
  - 搜索数据, 找到数据包
  https://www.biqudu.net/1_1631/3047505.html
  

二. 代码实现步骤

• 发送请求, 模拟浏览器对于url地址发送请求
  请求链接: https://www.biqudu.net/1_1631/3047505.html
  
• 获取数据, 获取服务器返回响应数据内容
  开发者工具: response
  
• 解析数据, 提取我们想要的数据内容
  标题/内容
  
• 保存数据, 把数据保存本地文件
  

代码实现

1. 在开始之前，为了防止大家代码看不懂，我特地录制了一套详细教程，教程和代码，直接加这个裙 708525271 自取就好了

复制代码

 

 
一、单张小说下载

发送请求, 模拟浏览器对于url地址发送请求
获取数据, 获取服务器返回响应数据内容

1. import requests
2. # 请求链接
3. url = 'https://www.biqudu.net/1_1631/3047505.html'
4. # 模拟浏览器 headers 请求头
5. headers = {
6.     # user-agent 用户代理 表示浏览器基本身份信息
7.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
8. }
9. # 发送请求
10. response = requests.get(url=url, headers=headers)
11. # <Response [200]> 响应对象, 表示请求成功
12. print(response)
14. print(response.text)

复制代码

 
解析数据，提取我们想要的数据内容。

1. import requests  # 数据请求
2. import re  # 正则
3. import parsel # 数据解析
5. # 请求链接
6. url = 'https://www.biqudu.net/1_1631/3047505.html'
7. # 模拟浏览器 headers 请求头
8. headers = {
9.     # user-agent 用户代理 表示浏览器基本身份信息
10.     'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
11. }
12. # 发送请求
13. response = requests.get(url=url, headers=headers)
14. # <Response [200]> 响应对象, 表示请求成功
15. print(response)
17. # 获取下来response.text <html字符串数据>, 转成可解析对象
18. selector = parsel.Selector(response.text)
19. # 提取标题
20. title = selector.xpath('//*[@]/h1/text()').get()
21. # 提取内容
22. content = '\n'.join(selector.xpath('//*[@id="content"]/text()').getall())
23. print(title)
24. print(content)

复制代码

 
保存数据

1. # 数据请求模块
2. import requests
3. # 正则表达式模块
4. import re
5. # 数据解析模块
6. import parsel
8. # 请求链接
9. url = 'https://www.biqudu.net/1_1631/3047505.html'
10. # 模拟浏览器 headers 请求头
11. headers = {
12.     # user-agent 用户代理 表示浏览器基本身份信息
13.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
14. }
15. # 发送请求
16. response = requests.get(url=url, headers=headers)
17. # <Response [200]> 响应对象, 表示请求成功
18. print(response)
20. # 获取下来response.text <html字符串数据>, 转成可解析对象
21. selector = parsel.Selector(response.text)
22. # 提取标题
23. title = selector.xpath('//*[@]/h1/text()').get()
24. # 提取内容
25. content = '\n'.join(selector.xpath('//*[@id="content"]/text()').getall())
26. print(title)
27. print(content)
28. # title <文件名> '.txt' 文件格式  a 追加保存 encoding 编码格式 as 重命名
29. with open(title + '.txt', mode='a', encoding='utf-8') as f:
31.     # 写入内容
32.     f.write(title)
33.     f.write('\n')
34.     f.write(content)
35.     f.write('\n')

复制代码

 
二、整本小说下载

1. # 数据请求模块
2. import requests
3. # 正则表达式模块
4. import re
5. # 数据解析模块
6. import parsel
7. # 文件操作模块
8. import os
10. # 请求链接: 小说目录页
11. list_url = 'https://www.biqudu.net/1_1631/'
12. # 模拟浏览器 headers 请求头
13. headers = {
14.     # user-agent 用户代理 表示浏览器基本身份信息
15.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
16. }
17. # 发送请求
18. html_data = requests.get(url=list_url, headers=headers).text
19. # 提取小说名字
20. name = re.findall('<h1>(.*?)</h1>', html_data)[0]
21. # 自动创建一个文件夹
22. file = f'{name}\\'
23. if not os.path.exists(file):
24.     os.mkdir(file)
26. # 提取章节url
27. url_list = re.findall('<dd> <a  target="_blank" href="https://www.cnblogs.com/(.*?)">', html_data)
28. # for循环遍历
29. for url in url_list:
30.     index_url = 'https://www.biqudu.net' + url
31.     print(index_url)
33.     headers = {
34.         # user-agent 用户代理 表示浏览器基本身份信息
35.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
36.     }
37.     # 发送请求
38.     response = requests.get(url=index_url, headers=headers)
39.     # <Response [200]> 响应对象, 表示请求成功
40.     print(response)
42.     # 获取下来response.text <html字符串数据>, 转成可解析对象
43.     selector = parsel.Selector(response.text)
44.     # 提取标题
45.     title = selector.xpath('//*[@]/h1/text()').get()
46.     # 提取内容
47.     content = '\n'.join(selector.xpath('//*[@id="content"]/text()').getall())
48.     print(title)
49.     # print(content)
50.     # title <文件名> '.txt' 文件格式  a 追加保存 encoding 编码格式 as 重命名
51.     with open(file + title + '.txt', mode='a', encoding='utf-8') as f:
53.         # 写入内容
54.         f.write(title)
55.         f.write('\n')
56.         f.write(content)
57.         f.write('\n')

复制代码

 
三、多线程采集

1. # 数据请求模块
2. import requests
3. # 正则表达式模块
4. import re
5. # 数据解析模块
6. import parsel
7. # 文件操作模块
8. import os
9. # 线程池
10. import concurrent.futures
13. def get_response(html_url):
14.     """
15.     发送请求函数
16.     :param html_url: 请求链接
17.     :return: response响应对象
18.     """
19.     # 模拟浏览器 headers 请求头
20.     headers = {
21.         # user-agent 用户代理 表示浏览器基本身份信息
22.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
23.     }
24.     response = requests.get(url=html_url, headers=headers)
25.     return response
28. def get_list_url(html_url):
29.     """
30.     获取章节url/小说名
31.     :param html_url: 小说目录页
32.     :return:
33.     """
34.     # 调用发送请求函数
35.     html_data = get_response(html_url).text
36.     # 提取小说名字
37.     name = re.findall('<h1>(.*?)</h1>', html_data)[0]
38.     # 提取章节url
39.     url_list = re.findall('<dd> <a  target="_blank" href="https://www.cnblogs.com/(.*?)">', html_data)
40.     return name, url_list
43. def get_content(html_url):
44.     """
45.     获取小说内容/小说标题
46.     :param html_url: 小说章节url
47.     :return:
48.     """
49.     # 调用发送请求函数
50.     html_data = get_response(html_url).text
51.     # 提取标题
52.     title = re.findall('<h1>(.*?)</h1>', html_data)[0]
53.     # 提取内容
54.     content = re.findall('(.*?)<p>', html_data, re.S)[0].replace('<br/><br/>', '\n')
55.     return title, content
58. def save(name, title, content):
59.     """
60.     保存数据函数
61.     :param name: 小说名
62.     :param title: 章节名
63.     :param content: 内容
64.     :return:
65.     """
66.     # 自动创建一个文件夹
67.     file = f'{name}\\'
68.     if not os.path.exists(file):
69.         os.mkdir(file)
70.     with open(file + title + '.txt', mode='a', encoding='utf-8') as f:
71.         """
72.         第一章 标题
73.             小说内容
74.         第二章 标题
75.             小说内容
76.         """
77.         # 写入内容
78.         f.write(title)
79.         f.write('\n')
80.         f.write(content)
81.         f.write('\n')
82.     print(title, '已经保存')
85. def main(home_url):
86.     # index_url = 'https://www.biqudu.net' + url
87.     title, content = get_content(html_url=home_url)
88.     save(name, title, content)
91. if __name__ == '__main__':
92.     url = 'https://www.biqudu.net/1_1631/'
93.     name, url_list = get_list_url(html_url=url)
94.     exe = concurrent.futures.ThreadPoolExecutor(max_workers=7)
95.     for url in url_list:
96.         index_url = 'https://www.biqudu.net' + url
97.         exe.submit(main, index_url)
98.     exe.shutdown()

复制代码

 
四、采集排行榜所有小说

1. # 数据请求模块
2. import requests
3. # 正则表达式模块
4. import re
5. # 数据解析模块
6. import parsel
7. # 文件操作模块
8. import os
12. def get_response(html_url):
13.     """
14.     发送请求函数
15.     :param html_url: 请求链接
16.     :return: response响应对象
17.     """
18.     # 模拟浏览器 headers 请求头
19.     headers = {
20.         # user-agent 用户代理 表示浏览器基本身份信息
21.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
22.     }
23.     response = requests.get(url=html_url, headers=headers)
24.     return response
27. def get_list_url(html_url):
28.     """
29.     获取章节url/小说名
30.     :param html_url: 小说目录页
31.     :return:
32.     """
33.     # 调用发送请求函数
34.     html_data = get_response(html_url).text
35.     # 提取小说名字
36.     name = re.findall('<h1>(.*?)</h1>', html_data)[0]
37.     # 提取章节url
38.     url_list = re.findall('<dd> <a  target="_blank" href="https://www.cnblogs.com/(.*?)">', html_data)
39.     return name, url_list
42. def get_content(html_url):
43.     """
44.     获取小说内容/小说标题
45.     :param html_url: 小说章节url
46.     :return:
47.     """
48.     # 调用发送请求函数
49.     html_data = get_response(html_url).text
50.     # 提取标题
51.     title = re.findall('<h1>(.*?)</h1>', html_data)[0]
52.     # 提取内容
53.     content = re.findall('(.*?)<p>', html_data, re.S)[0].replace('<br/><br/>', '\n')
54.     return title, content
57. def save(name, title, content):
58.     """
59.     保存数据函数
60.     :param name: 小说名
61.     :param title: 章节名
62.     :param content: 内容
63.     :return:
64.     """
65.     # 自动创建一个文件夹
66.     file = f'{name}\\'
67.     if not os.path.exists(file):
68.         os.mkdir(file)
69.     with open(file + title + '.txt', mode='a', encoding='utf-8') as f:
70.         """
71.         第一章 标题
72.             小说内容
73.         第二章 标题
74.             小说内容
75.         """
76.         # 写入内容
77.         f.write(title)
78.         f.write('\n')
79.         f.write(content)
80.         f.write('\n')
81.     print(title, '已经保存')
83. def get_novel_id(html_url):
84.     """
85.     获取小说ID
86.     :param html_url: 某分类的链接
87.     :return:
88.     """
89.     # 调用发送请求函数
90.     novel_data = get_response(html_url=html_url).text
91.     selector = parsel.Selector(novel_data)
92.     href = selector.css('.l .s2 a::attr(href)').getall()
93.     href = [i.replace('/', '') for i in href]
94.     return href
97. def main(home_url):
98.     href = get_novel_id(html_url=home_url)
99.     for novel_id in href:
100.         novel_url = f'https://www.biqudu.net/{novel_id}/'
101.         name, url_list = get_list_url(html_url=novel_url)
102.         print(name, url_list)
103.         for url in url_list:
104.             index_url = 'https://www.biqudu.net' + url
105.             title, content = get_content(html_url=index_url)
106.             save(name, title, content)
107.         break
110. if __name__ == '__main__':
111.     html_url = 'https://www.biqudu.net/biquge_1/'
112.     main(html_url)

复制代码

 
五、搜索小说功能

模块

1. # 导入数据请求模块
2. import requests
3. # 导入正则表达式模块
4. import re
5. # 导入数据解析模块
6. import parsel
7. # 导入文件操作模块
8. import os
9. # 导入漂亮的表格
10. import prettytable as pt

复制代码

 
发送请求函数

1. def get_response(html_url):
2.     # 模拟浏览器 headers 请求头
3.     headers = {
4.         # user-agent 用户代理 表示浏览器基本身份信息
5.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
6.     }
7.     response = requests.get(url=html_url, headers=headers)
8.     return response

复制代码

 
获取章节url/小说名

1. def get_list_url(html_url):
2.     # 调用发送请求函数
3.     html_data = get_response(html_url).text
4.     # 提取小说名字
5.     name = re.findall('<h1>(.*?)</h1>', html_data)[0]
6.     # 提取章节url
7.     url_list = re.findall('<dd> <a  target="_blank" href="https://www.cnblogs.com/(.*?)">', html_data)
8.     return name, url_list

复制代码

 
获取小说内容/小说标题

1. def get_content(html_url):
2.     # 调用发送请求函数
3.     html_data = get_response(html_url).text
4.     # 提取标题
5.     title = re.findall('<h1>(.*?)</h1>', html_data)[0]
6.     # 提取内容
7.     content = re.findall('(.*?)<p>', html_data, re.S)[0].replace('<br/><br/>', '\n')
8.     return title, content

复制代码

 
保存数据函数

1. def save(name, title, content):
2.     # 自动创建一个文件夹
3.     file = f'{name}\\'
4.     if not os.path.exists(file):
5.         os.mkdir(file)
6.     with open(file + name + '.txt', mode='a', encoding='utf-8') as f:
7.         # 写入内容
8.         f.write(title)
9.         f.write('\n')
10.         f.write(content)
11.         f.write('\n')
12.     print(title, '已经保存')

复制代码

 
获取小说ID

1. def get_novel_id(html_url):
2.     # 调用发送请求函数
3.     novel_data = get_response(html_url=html_url).text
4.     selector = parsel.Selector(novel_data)
5.     href = selector.css('.l .s2 a::attr(href)').getall()
6.     href = [i.replace('/', '') for i in href]
7.     return href

复制代码

 
搜索功能

1. def search(word):
2.     search_url = f'https://www.biqudu.net/searchbook.php?keyword={word}'
3.     # 发送请求
4.     search_data = get_response(html_url=search_url).text
5.     # 解析数据, 提取小说名字/作者/小说ID
6.     selector = parsel.Selector(search_data)
7.     lis = selector.css('.novelslist2 li')
8.     novel_info = []
9.     tb = pt.PrettyTable()
10.     tb.field_names = ['序号', '书名', '作者', '书ID']
11.     num = 0
12.     for li in lis[1:]:
13.         # 小说名字
14.         name = li.css('.s2 a::text').get()
15.         novel_id = li.css('.s2 a::attr(href)').get().replace('/', '')
16.         writer = li.css('.s4::text').get()
17.         dit = {
18.             'name': name,
19.             'writer': writer,
20.             'novel_id': novel_id,
21.         }
22.         tb.add_row([num, name, writer, novel_id])
23.         num += 1
24.         novel_info.append(dit)
25.     print('你搜索的结果如下:')
26.     print(tb)
27.     novel_num = input('请输入你想要下载的小说序号: ')
28.     novel_id = novel_info[int(novel_num)]['novel_id']
29.     return novel_id

复制代码

 
主函数

1. def main(word):
2.     novel_id = search(word)
3.     novel_url = f'https://www.biqudu.net/{novel_id}/'
4.     name, url_list = get_list_url(html_url=novel_url)
5.     print(name, url_list)
6.     for url in url_list:
7.         index_url = 'https://www.biqudu.net' + url
8.         title, content = get_content(html_url=index_url)
9.         save(name, title, content)
10.         
11. if __name__ == '__main__':
12.     word = input('请输入你搜索小说名: ')
13.     main(word)

复制代码

 
效果展示

六、GUI界面

1. import tkinter as tk
2. from tkinter import ttk
6. def show():
7.     name = name_va.get()
8.     print('输入的名字是:', name)
10. def download():
11.     name = num_va.get()
12.     print('输入的序号:', name)
15. # 创建界面
16. root = tk.Tk()
17. # 设置标题
18. root.title('完整代码添加VX：pytho8987')
19. # 设置界面大小
20. root.geometry('500x500+200+200')
21. # 设置可变变量
22. name_va = tk.StringVar()
23. # 设置标签
24. search_frame = tk.Frame(root)
25. search_frame.pack(pady=10)
26. # 设置文本
27. tk.Label(search_frame, text='书名 作者', font=('微软雅黑', 15)).pack(side=tk.LEFT, padx=10)
28. # 设置输入框
29. tk.Entry(search_frame, relief='flat', textvariable=name_va).pack(side=tk.LEFT)
31. # 序号获取
32. num_va = tk.StringVar()
33. # 查询下载输入框
34. download_frame = tk.Frame(root)
35. download_frame.pack(pady=10)
36. # 设置文本
37. tk.Label(download_frame, text='小说 序号', font=('微软雅黑', 15)).pack(side=tk.LEFT, padx=10)
38. # 设置输入框
39. tk.Entry(download_frame, relief='flat', textvariable=num_va).pack(side=tk.LEFT)
41. # 按钮设置
42. button_frame = tk.Frame(root)
43. button_frame.pack(pady=10)
45. # 设置查询按钮
46. tk.Button(button_frame, text='查询', font=('微软雅黑', 10), relief='flat', bg='#88e2d6', width=10, command=show).pack(side=tk.LEFT, padx=10)
47. # 设置下载按钮
48. tk.Button(button_frame, text='下载', font=('微软雅黑', 10), relief='flat', bg='#88e2d6', width=10, command=download).pack(side=tk.LEFT, padx=10)
50. # 提前设置标签名字和中文显示内容
51. columns = ('num', 'writer', 'name', 'novel_id')
52. columns_value = ('序号', '作者', '书名', '书ID')
53. tree_view = ttk.Treeview(root, height=18, show='headings', columns=columns)
54. # 设置列名
55. # 设置列名
56. tree_view.column('num', width=40, anchor='center')
57. tree_view.column('writer', width=40, anchor='center')
58. tree_view.column('name', width=40, anchor='center')
59. tree_view.column('novel_id', width=40, anchor='center')
60. # 给列名设置显示的名字
61. tree_view.heading('num', text='序号')
62. tree_view.heading('writer', text='作者')
63. tree_view.heading('name', text='书名')
64. tree_view.heading('novel_id', text='书ID')
65. tree_view.pack(side=tk.LEFT, fill=tk.BOTH, expand=True)
66. # 展示界面
67. root.mainloop()

复制代码

 
效果展示

最后

全部实现以后，我们可以使用 Pyinstaller 模块将代码打包为exe可执行软件，这样的话，就能分享给不会的小伙伴去使用了。


好了，今天的分享就到这里结束了，欢迎大家品鉴！下次见！

来源:https://www.cnblogs.com/hahaa/p/17131626.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！