【开源】2024最新python豆瓣电影数据爬虫+可视化分析项目

故事青年

项目介绍

【开源】项目基于python+pandas+flask+mysql等技术实现豆瓣电影数据获取及可视化分析展示，觉得有用的朋友可以来个一键三连，感谢！！！
项目演示

项目截图

• 首页
  
  
  
  
• 列表页
  
  
  
  
• 爬虫演示
  
  
  
  

项目地址

https://github.com/mudfish/python-douban-view
项目结构

核心模块

电影爬虫

1. """
2. 异步并发爬虫
3. """
5. # 本次运行获取的最大页数
6. MAX_PAGES = 5
7. # 进度控制文件
8. PAGE_PROGRESS_FILE = "page_progress.json"
9. # 电影类型
10. MOVIE_TYPES = ["剧情", "喜剧", "动作", "爱情", "科幻", "动画"]
11. # CSV文件名
12. CSV_NAME = "movie_data.csv"
13. # CSV头
14. CSV_HEADS = [
15.     "id",
16.     "movie_id",
17.     "title",
18.     "year",
19.     "directors",
20.     "casts",
21.     "rating",
22.     "cover",
23.     "country",
24.     "summary",
25.     "types",
26.     "lang",
27.     "release_date",
28.     "time",
29.     "url",
30. ]
31. # 上映日期匹配正则，剔除非数字和-
32. RELEASE_DATE_REMOVE_RE = r"[^0-9-]"
34. engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/db_douban")
37. def get_id():
38.     return str(random.randint(1, 100000000)) + str(time.time()).split(".")[1].strip()
41. class Spider:
42.     def __init__(self):
43.         self.movie_page_url = "https://m.douban.com/rexxar/api/v2/movie/recommend?"
44.         self.movie_detail_url = "https://movie.douban.com/subject/{}/"
45.         self.headers = {
46.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
47.             "Referer": "https://movie.douban.com/explore",
48.         }
49.         self.movie_types = MOVIE_TYPES
50.         self.page_progress = {}
51.         # 需要抓取的页面数
52.         self.total_pages = 0
53.         self.completed_pages = 0
54.         self.global_progress_bar = None
56.     def init(self):
57.         # 每次跑之前，先删除之前的csv文件
58.         if os.path.exists(CSV_NAME):
59.             os.remove(CSV_NAME)
60.         with open(CSV_NAME, "w", newline="", encoding="utf-8") as writer_f:
61.             writer = csv.writer(writer_f)
62.             writer.writerow(CSV_HEADS)
64.     def load_page_progress(self):
65.         if os.path.exists(PAGE_PROGRESS_FILE):
66.             with open(PAGE_PROGRESS_FILE, "r", encoding="utf-8") as f:
67.                 # 判断文件内容是否为空
68.                 if os.stat(PAGE_PROGRESS_FILE).st_size == 0:
69.                     # 初始化页面进度
70.                     print("初始化页面进度")
71.                     self.page_progress = {}
72.                     self.save_page_progress()
73.                 else:
74.                     self.page_progress = json.load(f)
76.     def save_page_progress(self):
77.         with open(PAGE_PROGRESS_FILE, "w", encoding="utf-8") as f:
78.             json.dump(self.page_progress, f, ensure_ascii=False)
80.     async def get_movie_pages(self, session, type_name):
81.         start_page = self.page_progress.get(type_name, 1)
82.         if start_page <= MAX_PAGES:
83.             for page in range(start_page, MAX_PAGES + 1):
84.                 # print(f'{type_name}第{page}页：')
85.                 start_time = time.time()
86.                 params = {"start": (page - 1) * 20, "count": 10, "tags": type_name}
87.                 try:
88.                     async with session.get(
89.                         self.movie_page_url, headers=self.headers, params=params
90.                     ) as resp:
91.                         resp.raise_for_status()
92.                         respJson = await resp.json()
93.                         movie_list = respJson["items"]
94.                         for i, m in enumerate(movie_list):
95.                             if m["type"] == "movie":
96.                                 await self.process_movie(session, m)
97.                                 # progress_bar.update(round(1/len(movie_list)))
98.                         self.page_progress[type_name] = page + 1
99.                         # 记录进度
100.                         self.save_page_progress()
101.                         # 刷新全局进度
102.                         self.update_global_progress()
103.                 except Exception as e:
104.                     print(f"处理:{type_name}第{page}页失败: {e}")
105.                     traceback.print_exc()
106.                     continue
108.     async def process_movie(self, session, movie):
109.         movie_data = []
110.         movie_data.append(get_id())
111.         movie_data.append(movie["id"])
112.         movie_data.append(movie["title"])
113.         movie_data.append(movie["year"])
114.         async with session.get(
115.             self.movie_detail_url.format(movie["id"]), headers=self.headers
116.         ) as resp:
117.             resp.raise_for_status()
118.             html_text = await resp.text()
119.         path = etree.HTML(html_text)
120.         # 导演
121.         movie_data.append(",".join(path.xpath('//a[@rel="v:directedBy"]/text()')))
122.         # 主演
123.         movie_data.append(",".join(path.xpath('//a[@rel="v:starring"]/text()')))
124.         # 评分
125.         movie_data.append(path.xpath('//strong[@property="v:average"]/text()')[0])
126.         # 封面
127.         movie_data.append(path.xpath('//img[@rel="v:image"]/@src')[0])
128.         # 国家
129.         movie_data.append(
130.             path.xpath(
131.                 '//span[contains(text(),"制片国家")]/following-sibling::br[1]/preceding-sibling::text()[1]'
132.             )[0].replace(" / ", ",")
133.         )
134.         # 摘要
135.         movie_data.append(path.xpath('//span[@property="v:summary"]/text()')[0].strip())
136.         # 类型
137.         movie_data.append(
138.             ",".join(path.xpath('//div[@id="info"]/span[@property="v:genre"]/text()'))
139.         )
140.         # 语言
141.         movie_data.append(
142.             path.xpath(
143.                 '//span[contains(text(),"语言")]/following-sibling::br[1]/preceding-sibling::text()[1]'
144.             )[0]
145.         )
146.         # 上映日期
147.         movie_data.append(
148.             re.sub(
149.                 RELEASE_DATE_REMOVE_RE,
150.                 "",
151.                 path.xpath('//span[@property="v:initialReleaseDate"]/text()')[0][:10],
152.             )
153.         )
154.         # 时长（空处理）
155.         # print(movie["id"])
156.         movie_time = path.xpath('//span[@property="v:runtime"]/text()')
157.         if len(movie_time) > 0:
158.             movie_data.append(movie_time[0])
159.         else:
160.             movie_data.append("")
161.         # url
162.         movie_data.append(self.movie_detail_url.format(movie["id"]))
163.         self.save_to_csv(movie_data)
165.     def save_to_csv(self, row):
166.         with open(CSV_NAME, "a", newline="", encoding="utf-8") as f:
167.             writer = csv.writer(f)
168.             writer.writerow(row)
170.     def clean_csv(self):
171.         print("===========清理数据============")
172.         df = pd.read_csv(CSV_NAME, encoding="utf-8")
173.         df.drop_duplicates(subset=["movie_id"], keep="first", inplace=True)
174.         print("存储到数据库...")
175.         df.to_sql("tb_movie", con=engine, index=False, if_exists="append")
176.         print("清理重复数据...")
177.         engine.connect().execute(
178.             text(
179.                 "delete t1 from tb_movie t1 inner join (select min(id) as id,movie_id from tb_movie group by movie_id having count(*) > 1) t2 on t1.movie_id=t2.movie_id where t1.id>t2.id"
180.             )
181.         )
183.     def update_global_progress(self):
184.         self.completed_pages += 1
185.         # print(self.completed_pages)
186.         self.global_progress_bar.update(1)
187.         self.global_progress_bar.refresh()
189.     async def run(self):
190.         self.init()
191.         self.load_page_progress()
192.         # self.total_pages = MAX_PAGES*len(MOVIE_TYPES) - sum(self.page_progress.get(type_name, 1) for type_name in MOVIE_TYPES)
193.         for type_name in MOVIE_TYPES:
194.             if MAX_PAGES > self.page_progress.get(type_name, 1):
195.                 self.total_pages += MAX_PAGES + 1 - self.page_progress.get(type_name, 1)
196.         print(self.total_pages)
197.         if self.total_pages > 0:
198.             self.global_progress_bar = tqdm(
199.                 total=self.total_pages, desc="progress", unit="page", colour="GREEN"
200.             )
202.             async with aiohttp.ClientSession() as session:
203.                 tasks = [
204.                     self.get_movie_pages(session, type_name)
205.                     for type_name in self.movie_types
206.                 ]
207.                 await asyncio.gather(*tasks)
208.             # 请求结束后，清空页面进度
209.             # self.page_progress = {}
210.             # self.save_page_progress()
211.             self.global_progress_bar.close()
212.             self.clean_csv()
215. if __name__ == "__main__":
216.     loop = asyncio.get_event_loop()
217.     spider = Spider()
218.     loop.run_until_complete(spider.run())

复制代码

电影可视化

接口代码

1. from flask import Flask, render_template, request, redirect, url_for, session
2. from utils import db_query
5. app = Flask(__name__)
6. app.secret_key = "mysessionkey"
9. # 统一请求拦截
10. @app.before_request
11. def before_request():
12.     # 利用正则匹配，如果/static开头和/login, /logout,/register的请求，则不拦截;其他的判断是否已登录
13.     if (
14.         request.path.startswith("/static")
15.         or request.path == "/login"
16.         or request.path == "/logout"
17.         or request.path == "/register"
18.     ):
19.         return
20.     # 如果没有登录，则跳转到登录页面
21.     if not session.get("login_username"):
22.         return redirect(url_for("login"))
25. # 首页
26. @app.route("/")
27. def index():
28.     # 获取电影统计数据
29.     movie_stats = db_query.fetch_movie_statistics()
30.     # 获取电影分类统计
31.     movie_type_distribution = db_query.fetch_movie_type_distribution()
32.     # 获取电影评分统计
33.     movie_rating_distribution = db_query.fetch_movie_rating_distribution()
34.     print(movie_rating_distribution)
35.     return render_template(
36.         "index.html",
37.         login_username=session.get("login_username"),
38.         movie_stats=movie_stats,
39.         movie_type_distribution=movie_type_distribution,
40.         movie_rating_distribution=movie_rating_distribution,
41.     )
44. # 登录
45. @app.route("/login", methods=["GET", "POST"])
46. def login():
47.     if request.method == "POST":
48.         req_params = dict(request.form)
49.         # 判断用户名密码是否正确
50.         sql = "SELECT * FROM `tb_user` WHERE `username` = %s AND `password` = %s"
51.         params = (req_params["username"], req_params["password"])
52.         if len(db_query.query(sql, params)) > 0:
53.             # 存储session
54.             session["login_username"] = req_params["username"]
55.             return redirect(url_for("index"))
56.         else:
57.             return render_template(
58.                 "error.html",
59.                 error="用户名或密码错误",
60.             )
61.     elif request.method == "GET":
62.         return render_template("login.html")
65. # 退出
66. @app.route("/logout")
67. def logout():
68.     session.pop("login_username", None)
69.     return redirect(url_for("index"))
72. # 注册
73. @app.route("/register", methods=["GET", "POST"])
74. def register():
75.     if request.method == "POST":
76.         req_params = dict(request.form)
77.         if req_params["password"] == req_params["password_confirm"]:
78.             # 判断是否已存在该用户名
79.             sql = "SELECT * FROM `tb_user` WHERE `username` = %s"
80.             params = (req_params["username"],)
81.             result = db_query.query(sql, params)
82.             if len(result) > 0:
83.                 return render_template(
84.                     "error.html",
85.                     error="用户名已存在",
86.                 )
87.             sql = "INSERT INTO `tb_user` (`username`, `password`) VALUES (%s, %s)"
88.             params = (
89.                 req_params["username"],
90.                 req_params["password"],
91.             )
92.             db_query.query(sql, params, db_query.QueryType.NO_SELECT)
93.             return redirect(url_for("login"))
94.         else:
95.             return render_template(
96.                 "error.html",
97.                 error="两次密码输入不一致",
98.             )
99.     elif request.method == "GET":
100.         return render_template("register.html")
103. @app.route("/list")
104. def movie_list():
105.     # 查询数据库获取电影列表
106.     movies = db_query.fetch_movie_list()  # 假设此函数返回一个包含电影信息的列表
107.     # 渲染并返回list.html，同时传递movies数据
108.     return render_template(
109.         "list.html", login_username=session.get("login_username"), movies=movies
110.     )
113. @app.errorhandler(404)
114. def page_not_found(error):
115.     return render_template("404.html"), 404
118. @app.errorhandler(500)
119. def system_error(error):
120.     return render_template("500.html"), 500
123. if __name__ == "__main__":
124.     # 静态文件缓存自动刷新
125.     app.jinja_env.auto_reload = True
126.     app.run(host="127.0.0.1", port=8002, debug=True)

复制代码

首页

1. <!DOCTYPE html>
2. <html lang="en">
3.   <head>
4.     <meta charset="utf-8" />
5.     <meta http-equiv="X-UA-Compatible"
6.     content="IE=edge" />
7.     <meta
8.       name="viewport"
9.       content="width=device-width, initial-scale=1, shrink-to-fit=no"
10.     />
11.     <meta name="description" content="" />
12.     <meta name="author" content="" />
14.     <title>首页</title>
16.    
17.     <link
18.       href="/static/vendor/fontawesome-free/css/all.min.css"
19.       rel="stylesheet"
20.       type="text/css"
21.     />
22.     <link
23.       href="https://fonts.googleapis.com/css?family=Nunito:200,200i,300,300i,400,400i,600,600i,700,700i,800,800i,900,900i"
24.       rel="stylesheet"
25.     />
27.    
28.     <link href="/static/css/sb-admin-2.min.css" rel="stylesheet" />
29.   </head>
31.   <body id="page-top">
32.    
33.    
34.       
35.       <ul
36.         
37.         id="accordionSidebar"
38.       >
39.         
40.         <a
41.          
42.           target="_blank" href="https://www.cnblogs.com/index.html"
43.         >
44.          
45.             <i ></i>
46.          
47.           豆瓣电影可视化
48.         </a>
50.         
51.         <hr  />
53.         
54.         <li >
55.           <a  target="_blank" href="https://www.cnblogs.com/">
56.             <i ></i>
57.             首页</a
58.           >
59.         </li>
61.         
62.         <li >
63.           <a  target="_blank" href="https://www.cnblogs.com/list">
64.             <i ></i>
65.             电影列表</a
66.           >
67.         </li>
69.         
70.         <hr  />
72.         
73.         
74.           <button  id="sidebarToggle"></button>
75.         
76.       </ul>
77.       
79.       
80.       
81.         
82.         
83.          
84.           <nav
85.             
86.           >
87.             
88.             <button
89.               id="sidebarToggleTop"
90.               
91.             >
92.               <i ></i>
93.             </button>
95.             
96.             
98.             
99.             <ul >
100.               
102.               
103.               <li >
104.                 <a
105.                   
106.                   target="_blank" href="https://www.cnblogs.com/#"
107.                   id="userDropdown"
108.                   role="button"
109.                   data-toggle="dropdown"
110.                   aria-haspopup="true"
111.                   aria-expanded="false"
112.                 >
113.                   {{login_username}}</span
114.                   >
115.                   <img
116.                     
117.                     src="https://www.cnblogs.com/static/img/avatar.png"
118.                   />
119.                 </a>
120.                
121.                
122.                   <a
123.                     
124.                     href="https://www.cnblogs.com/#"
125.                     data-toggle="modal"
126.                     data-target="#logoutModal"
127.                   >
128.                     <i
129.                      
130.                     ></i>
131.                     Logout
132.                   </a>
133.                
134.               </li>
135.             </ul>
136.           </nav>
137.          
139.          
140.          
141.             
142.             
144.             
145.             
146.               
147.               
148.                
149.                   
150.                     
151.                      
152.                         
153.                           电影总数
154.                         
155.                         
156.                           {{ movie_stats['total_movies'] }}
157.                         
158.                      
159.                      
160.                         <i ></i>
161.                      
162.                     
163.                   
164.                
165.               
167.               
168.               
169.                
170.                   
171.                     
172.                      
173.                         
174.                           电影最高评分
175.                         
176.                         
177.                           {{ movie_stats['highest_rating'] }}
178.                         
179.                      
180.                      
181.                         <i ></i>
182.                      
183.                     
184.                   
185.                
186.               
188.               
189.               
190.                
191.                   
192.                     
193.                      
194.                         
195.                           出演最多演员
196.                         
197.                         
198.                           
199.                            
200.                               {{ movie_stats['most_popular_cast'] }}
201.                            
202.                           
203.                           
204.                            
205.                               
206.                            
207.                           
208.                         
209.                      
210.                      
211.                         <i
212.                           
213.                         ></i>
214.                      
215.                     
216.                   
217.                
218.               
220.               
221.               
222.                
223.                   
224.                     
225.                      
226.                         
227.                           制片最多国家
228.                         
229.                         
230.                           {{ movie_stats['most_common_country'] }}
231.                         
232.                      
233.                      
234.                         <i ></i>
235.                      
236.                     
237.                   
238.                
239.               
240.             
242.             
244.             
245.               
246.               
247.                
248.                   
249.                   
250.                     <h6 >
251.                       电影分类统计
252.                     </h6>
253.                   
254.                   
255.                   
256.                     
257.                     
258.                   
259.                
260.               
262.               
263.               
264.                
265.                   
266.                   
267.                     <h6 >
268.                       电影评分统计
269.                     </h6>
270.                     
271.                       <a
272.                         
273.                         target="_blank" href="https://www.cnblogs.com/#"
274.                         role="button"
275.                         id="dropdownMenuLink"
276.                         data-toggle="dropdown"
277.                         aria-haspopup="true"
278.                         aria-expanded="false"
279.                       >
280.                         <i
281.                           
282.                         ></i>
283.                       </a>
284.                      
285.                         Dropdown Header:
286.                         <a  target="_blank" href="https://www.cnblogs.com/#">Action</a>
287.                         <a  target="_blank" href="https://www.cnblogs.com/#">Another action</a>
288.                         
289.                         <a  target="_blank" href="https://www.cnblogs.com/#"
290.                           >Something else here</a
291.                         >
292.                      
293.                     
294.                   
295.                   
296.                   
297.                     
298.                   
299.                
300.               
301.             
303.             
304.            
305.          
306.          
307.         
308.         
310.         
311.         <footer >
312.          
313.             
314.               @Laoxu Open Source.<a
315.                   target="_blank"
316.                   href="https://github.com/mudfish"
317.                   >Github</a
318.                 ></span
319.               >
320.             
321.          
322.         </footer>
323.         
324.       
325.       
326.    
327.    
329.    
330.     <a  target="_blank" href="https://www.cnblogs.com/#page-top">
331.       <i ></i>
332.     </a>
334.    
335.    
336.       
337.         
338.          
339.             <h5  id="exampleModalLabel">Ready to Leave?</h5>
340.             <button
341.               
342.               type="button"
343.               data-dismiss="modal"
344.               aria-label="Close"
345.             >
346.               ×
347.             </button>
348.          
349.          
350.          
351.             <button
352.               
353.               type="button"
354.               data-dismiss="modal"
355.             >
356.               Cancel
357.             </button>
358.             <a  target="_blank" href="https://www.cnblogs.com/logout">Logout</a>
359.          
360.         
361.       
362.    
364.    
365.    
366.    
368.    
369.    
371.    
372.    
374.    
375.    
377.    
378.    
379.    
381.    
383.    
385.    
386.   </body>
387. </html>

复制代码

来源:https://www.cnblogs.com/wikiman/p/18200446
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！