.NET爬取美图官网首页数据实战

司马哮喘

前言：

　　在当今信息化社会，网络数据分析越来越受到重视。而作为开发人员，掌握一门能够抓取网页内容的语言显得尤为重要。在此篇文章中，将分享如何使用 .NET构建网络抓取工具。详细了解如何执行 HTTP 请求来下载要抓取的网页，然后从其 DOM 树中选择 HTML 元素，进行匹配需要的字段信息，从中提取数据。
一、准备工作：

创建项目：

​    创建一个简单的Winfrom客户端程序，我使用的是.NET 5.0框架。为使项目显得条理清晰，此处进行了项目分层搭建项目，也就是多建立几个几个类库罢了，然后进行引用。
项目结构：

客户端界面设计：

NuGet添加引用类库HtmlAgilityPack：

​    HtmlAgilityPack是一个开源的C#库，它允许你解析HTML文档，从公DOM中选择元素并提取数据。该工具基本上提供了抓取静态内容网站所需要的一切。这是一个敏捷的HTML解析器，它构建了一个读和写DOM，并支持普通的XPATH或XSLT，你实际上不必了解XPATH也不必了解XSLT就可以使用它。它是一个.NET代码库，允许你解析“Web外”的HTML文件。解析器对“真实世界”中格式错误的HTML非常宽容。对象模型与System.Xml非常相似，但适用于HTML文档或流。
NuGet安装引用：

• 
  

1. dotnet add package HtmlAgilityPack --version 1.11.51

复制代码

二、实现核心代码：

设计定义实体：

网站爬取信息：

爬取信息实体定义：根据美图的首页展示的信息分析，进行定义爬取字段的信息，定义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/4 9:58:03
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
17. using System;
18. using System.Collections.Generic;
19. using System.Linq;
20. using System.Text;
21. using System.Threading.Tasks;
24. namespace CrawlerModel.Meitu
25. {
27.     /// <summary>
28.     ///  爬取的专区字段实体
29.     /// </summary>
30.     public class BeautyZone
31.     {
33.         /// <summary>
34.         /// 专区标题
35.         /// </summary>
36.         public string Tittle { get; set; }
37.         /// <summary>
38.         /// 专区每种类型美女排行榜
39.         /// </summary>
40.         public List<EveryCategoryBeautyTop> categoryBeauties { get; set; }
42.     }
44.     /// <summary>
45.     ///  每分类美女排行榜
46.     /// </summary>
47.     public class EveryCategoryBeautyTop
48.     {
49.         /// <summary>
50.         /// 类别
51.         /// </summary>
52.          public string Category { get; set; }
53.         /// <summary>
54.         /// 每种类型排行榜
55.         /// </summary>
56.         public List<Beauty> beauties { get; set; }
57.         
58.     }
60.     /// <summary>
61.     /// 美女排行信息
62.     /// </summary>
63.     public  class Beauty
64.     {
65.         /// <summary>
66.         /// 排行
67.         /// </summary>
68.         public string  No { get; set; }
69.         /// <summary>
70.         /// 姓名
71.         /// </summary>
72.         public  string Name { get; set; }
73.         /// <summary>
74.         /// 热度
75.         /// </summary>
76.         public string  Popularity { get; set; }
77.         /// <summary>
78.         /// 图片地址
79.         /// </summary>
80.         public string ImageUrl { get; set; }
81.     }
82. }

复制代码

更新UI界面实体定义：根据客户端需要展示的界面，定义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/04 16:42:12
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
17. using System;
18. using System.Collections.Generic;
19. using System.Linq;
20. using System.Text;
21. using System.Threading.Tasks;
24. namespace CrawlerModel.Meitu
25. {
26.     /// <summary>
27.     /// UpdateUIModel 更新UI界面需要的字段
28.     /// </summary>
29.     public class UpdateUIModel
30.     {
31.         /// <summary>
32.         /// 下载的数量
33.         /// </summary>
34.         public int DownloadNumber { get; set; }
35.         /// <summary>
36.         /// 分类
37.         /// </summary>
38.         public string Category { get; set; }
39.         /// <summary>
40.         /// 美女写真实体
41.         /// </summary>
42.         public Beauty beauty =new Beauty();
43.         
45.     }
46. }

复制代码

匹配DOM标签常量实体： 定义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/4 10:08:06
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
17. using System;
18. using System.Collections.Generic;
19. using System.Linq;
20. using System.Text;
21. using System.Threading.Tasks;
24. namespace CrawlerModel.Meitu
25. {
26.     /// <summary>
27.     /// MeituConfig DOM标签常量
28.     /// </summary>
29.     public class MeituConfig
30.     {
31.         /// <summary>
32.         /// 存放数据地址
33.         /// </summary>
34.         public const string JsonDataPath = "meitu/data";
35.         /// <summary>
36.         /// 爬取美图首页地址
37.         /// </summary>
38.         public const string Url = "https://www.meitu131.com";
39.         /// <summary>
40.         /// 专区XPath
41.         /// </summary>
42.         public const string ZoneXPath = @"/html/body/div[10]/div[2]/div";
43.         /// <summary>
44.         /// 专区名称XPath
45.         /// </summary>
46.         public const string ZoneNameXPath = @"/html/body/div[10]/div[1]/ul/li";
47.         /// <summary>
48.         /// 排行榜
49.         /// </summary>
50.         public const string TopXPath = @"/html/body/div[10]/div[2]/div[{0}]/dl";
51.         /// <summary>
52.         /// 人员隶属种类
53.         /// </summary>
54.         public const string PersonCategoryXPath = @"/html/body/div[10]/div[2]/div[{0}]/dl/dt";
55.         /// <summary>
56.         /// 人员
57.         /// </summary>
58.         public const string PersonXPath = @"/html/body/div[10]/div[2]/div[{0}]/dl/dd";
59.         /// <summary>
60.         /// 排行
61.         /// </summary>
62.         public const string NoXPath = @"/html/body/div[3]/div[1]/ul/li";
63.         /// <summary>
64.         /// 姓名
65.         /// </summary>
66.         public const string NameXPath = @"/html/body/div[3]/div[1]/ul/li";
67.         /// <summary>
68.         /// 热度
69.         /// </summary>
70.         public const string PopularityXPath = @"/html/body/div[3]/div[1]/ul/li";
71.         /// <summary>
72.         /// 图片地址
73.         /// </summary>
74.         public const string ImageUrlXPath = @"/html/body/div[3]/div[1]/ul/li";
76.     }
77. }

复制代码

业务实现代码：

帮助类：Web请求和下载资源帮助方法，定义义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/4 10:04:16
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
16. using HtmlAgilityPack;
17. using System;
18. using System.Collections.Generic;
19. using System.IO;
20. using System.Linq;
21. using System.Net;
22. using System.Net.Http;
23. using System.Text;
24. using System.Threading.Tasks;
26. namespace CrawlerService.Helper
27. {
29.   /// <summary>
30.   /// 创建一个Web请求
31.   /// </summary>
32.    public class MyWebClient : WebClient
33.     {
34.         protected override WebRequest GetWebRequest(Uri address)
35.         {
36.             HttpWebRequest request = base.GetWebRequest(address) as HttpWebRequest;
37.             request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
38.             return request;
39.         }
40.     }
41.     /// <summary>
42.     /// 下载HTML帮助类
43.     /// </summary>
44.     public static class LoadHtmlHelper
45.     {
46.         /// <summary>
47.         /// 从Url地址下载页面
48.         /// </summary>
49.         /// <param name="url"></param>
50.         /// <returns></returns>
51.         public async static ValueTask<HtmlDocument> LoadHtmlFromUrlAsync(string url)
52.         {
53.             var data = new MyWebClient()?.DownloadString(url);
54.             var doc = new HtmlDocument();
55.             doc.LoadHtml(data);
56.             return doc;
57.         }
59.         /// <summary>
60.         /// 获取单个节点扩展方法
61.         /// </summary>
62.         /// <param name="htmlDocument">文档对象</param>
63.         /// <param name="xPath">xPath路径</param>
64.         /// <returns></returns>
65.         public static HtmlNode GetSingleNode(this HtmlDocument htmlDocument, string xPath)
66.         {
67.           return  htmlDocument?.DocumentNode?.SelectSingleNode(xPath);
68.         }
70.         /// <summary>
71.         /// 获取多个节点扩展方法
72.         /// </summary>
73.         /// <param name="htmlDocument">文档对象</param>
74.         /// <param name="xPath">xPath路径</param>
75.         /// <returns></returns>
76.         public static HtmlNodeCollection GetNodes(this HtmlDocument htmlDocument, string xPath)
77.         {
78.             return htmlDocument?.DocumentNode?.SelectNodes(xPath);
79.         }
81.      
83.         /// <summary>
84.         /// 获取多个节点扩展方法
85.         /// </summary>
86.         /// <param name="htmlDocument">文档对象</param>
87.         /// <param name="xPath">xPath路径</param>
88.         /// <returns></returns>
89.         public static HtmlNodeCollection GetNodes(this HtmlNode htmlNode, string xPath)
90.         {
91.             return htmlNode?.SelectNodes(xPath);
92.         }
95.         /// <summary>
96.         /// 获取单个节点扩展方法
97.         /// </summary>
98.         /// <param name="htmlDocument">文档对象</param>
99.         /// <param name="xPath">xPath路径</param>
100.         /// <returns></returns>
101.         public static HtmlNode GetSingleNode(this HtmlNode htmlNode, string xPath)
102.         {
103.             return htmlNode?.SelectSingleNode(xPath);
104.         }
106.         /// <summary>
107.         /// 下载图片
108.         /// </summary>
109.         /// <param name="url">地址</param>
110.         /// <param name="filpath">文件路径</param>
111.         /// <returns></returns>
112.         public async static ValueTask<bool> DownloadImg(string url ,string filpath)
113.         {
114.             HttpClient httpClient = new HttpClient();
115.             try
116.             {
117.                 var bytes = await httpClient.GetByteArrayAsync(url);
118.                 using (FileStream fs = File.Create(filpath))
119.                 {
120.                     fs.Write(bytes, 0, bytes.Length);
121.                 }
122.                 return File.Exists(filpath);
123.             }
124.             catch (Exception ex)
125.             {
126.             
127.                 throw new Exception("下载图片异常", ex);
128.             }
129.             
130.         }
131.     }
132. }

复制代码

主要业务实现方法：定义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/4 10:07:17
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
17. using CrawlerComm.Handler;
18. using CrawlerModel.Meitu;
19. using CrawlerService.Helper;
20. using HtmlAgilityPack;
21. using Newtonsoft.Json;
22. using System;
23. using System.Collections.Generic;
24. using System.IO;
25. using System.Linq;
26. using System.Text;
27. using System.Threading.Tasks;
30. namespace CrawlerService.Meitu
31. {
32.     /// <summary>
33.     /// MeituParseHtml 的摘要说明
34.     /// </summary>
35.     public class MeituParseHtmService
36.     {
38.         /// <summary>
39.         /// json数据文件夹存放文件夹位置
40.         /// </summary>
41.         private static string _dataDirectoryPath = Path.Combine(Directory.GetCurrentDirectory(), MeituConfig.JsonDataPath);
43.         /// <summary>
44.         /// 爬取json数据文件
45.         /// </summary>
46.         private static string _CrawlerData = Path.Combine(_dataDirectoryPath, "categories.json");
48.         /// <summary>
49.         /// 开始爬取
50.         /// </summary>
51.         /// <returns></returns>
52.         public async Task StartAsync()
53.         {
54.             //专区集合
55.             List<BeautyZone> beautyZones = new List<BeautyZone>();
56.             //获取首页Html文档
57.             HtmlDocument htmlDocument = await LoadHtmlHelper.LoadHtmlFromUrlAsync(MeituConfig.Url);
59.             //创建存放数据的文件
60.             FileInfo fileInfo = new FileInfo(_CrawlerData);
62.             //获取到专区标签
63.             HtmlNodeCollection zoneHtmlNodes = htmlDocument.GetNodes(MeituConfig.ZoneXPath);
64.             //专区名称
65.             HtmlNodeCollection zoneNameHtmlNodes = htmlDocument.GetNodes(MeituConfig.ZoneNameXPath);
67.             if (zoneHtmlNodes != null && zoneHtmlNodes.Count> 0)
68.             {
69.                 //专区个数
70.                 var zoneCount = zoneHtmlNodes.Count;
71.                 for (int i = 0; i < zoneCount; i++)
72.                 {
73.                     //每个专区
74.                     BeautyZone beautyZone = new BeautyZone()
75.                     {
76.                         Tittle = zoneNameHtmlNodes[i].InnerText,
77.                         categoryBeauties = new List<EveryCategoryBeautyTop>()
78.                     };
80.                     HtmlNodeCollection topHtmlNodes = htmlDocument.GetNodes(string.Format( MeituConfig.TopXPath,i+1));
81.                     if (topHtmlNodes != null && topHtmlNodes.Count > 0)
82.                     {
83.                         //每个专区下所有分类
84.                         HtmlNodeCollection personCategoryHtmlNodes = htmlDocument.GetNodes(string.Format(MeituConfig.PersonCategoryXPath, i + 1));
85.                         //爬取所有人员的标签内容
86.                         HtmlNodeCollection personHtmlNodes = htmlDocument.GetNodes(string.Format(MeituConfig.PersonXPath, i + 1));
88.                         if (personCategoryHtmlNodes !=null && personHtmlNodes!=null  && personCategoryHtmlNodes.Count() > 0)
89.                         {
91.                             for (int j = 0; j < personCategoryHtmlNodes.Count(); j++)
92.                             {
93.                                 //根据每个专区-分类下，进行遍历人气值人员排名
94.                                 EveryCategoryBeautyTop everyCategoryBeautyTop = new EveryCategoryBeautyTop();
95.                                 everyCategoryBeautyTop.Category = personCategoryHtmlNodes[j].InnerText;
96.                                 everyCategoryBeautyTop.beauties = new List<Beauty>();
97.                                 for (int k = 8*j; k < personHtmlNodes.Count(); k++)
98.                                 {
99.                                     var child = personHtmlNodes[k];//每个美女对应的节点信息
101.                                     var i1 = child.GetSingleNode(child.XPath + "/i");//排名节点
102.                                     var img = child.GetSingleNode(child.XPath + "/a[1]/div[1]/img[1]");//姓名和图片地址
103.                                     var span2 = child.GetSingleNode(child.XPath + "/a[1]/div[2]/span[2]");//热度值
104.                                     //同一类别添加美女到集合
105.                                     everyCategoryBeautyTop.beauties.Add(new Beauty
106.                                     {
107.                                         No = i1.InnerText,
108.                                         Name = img.GetAttributeValue("alt", "未找到"),
109.                                         Popularity = span2.InnerText,
110.                                         ImageUrl = img.GetAttributeValue("data-echo", "未找到")
111.                                     }
112.                                     );
113.                                 }
114.                                 //将在同一分区内Top分类添加到集合
115.                                 beautyZone.categoryBeauties.Add(everyCategoryBeautyTop);
116.                             }
117.                                     
118.                         }
119.                        
120.                     }
121.                     beautyZones.Add(beautyZone);
122.                 }
123.                 if (beautyZones.Count()> 0)
124.                 {
125.                     //爬取数据转Json
126.                     string beautiesJsonData = JsonConvert.SerializeObject(beautyZones); ;
127.                     //写入爬取数据数据
128.                     string jsonFile = "beauties.json";
129.                     WriteData(jsonFile, beautiesJsonData);
130.                     //下载图片
131.                     DownloadImage(beautyZones);
133.                 }
134.             }
135.         }
137.         /// <summary>
138.         /// 写入文件数据
139.         /// </summary>
140.         /// <param name="fileName"></param>
141.         /// <param name="data"></param>
142.         private void WriteData(string fileName, string data)
143.         {
145.             FileStream fs = new FileStream(fileName, FileMode.OpenOrCreate, FileAccess.Write);
146.             StreamWriter sw = new StreamWriter(fs);
147.             try
148.             {
149.                 sw.Write(data);
150.             }
151.             finally
152.             {
153.                 if (sw != null)
154.                 {
155.                     sw.Close();
156.                 }
157.             }
158.         }
160.         /// <summary>
161.         /// 下载图片
162.         /// </summary>
163.         /// <param name="beautyZones"></param>
164.         private async void DownloadImage(List<BeautyZone> beautyZones)
165.         {
166.             int count = 0;
167.             foreach (var beautyZone in beautyZones)
168.             {
169.                 string rootPath =  System.IO.Directory.GetCurrentDirectory() +"\\DownloadImg\"+ beautyZone.Tittle;
170.                 foreach (var category in beautyZone.categoryBeauties)
171.                 {
172.                    string downloadPath = rootPath + "\" + category.Category;
173.                     foreach (var beauty in category.beauties)
174.                     {
175.                         count += 1;//下载数量累加
176.                         string filePath = downloadPath + "\" + beauty.Name+".jpg";
177.                         if (!Directory.Exists(downloadPath))
178.                         {
179.                             Directory.CreateDirectory(downloadPath);
180.                         }
181.                         UpdateUIModel updateUIModel = new UpdateUIModel()
182.                         {
183.                             DownloadNumber =count,
184.                             Category = category.Category,
185.                             beauty = beauty
187.                         };
188.                         //更新UI
189.                         UpdateFrmHandler.OnUpdateUI(updateUIModel);
190.                         //异步下载
191.                         await  LoadHtmlHelper.DownloadImg(beauty.ImageUrl,filePath);
192.                     }
193.                 }
194.             }
195.         }
196.     }
197. }

复制代码

定义委托代码：

更新UI界面的委托事件：定义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/04 11:28:24
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
17. using CrawlerModel.Meitu;
18. using System;
19. using System.Collections.Generic;
20. using System.Linq;
21. using System.Text;
22. using System.Threading.Tasks;
25. namespace CrawlerComm.Handler
26. {
27.     /// <summary>
28.     /// UpdateFrmHandler 更新UI事件委托
29.     /// </summary>
30.     public class UpdateFrmHandler
31.     {
32.         /// <summary>
33.         /// 更新下载界面事件
34.         /// </summary>
35.         public static event EventHandler<UpdateUIModel> UpdateUI;
36.         public static void OnUpdateUI(UpdateUIModel updateUIModel)
37.         {
38.             UpdateUI?.Invoke(null, updateUIModel);
39.         }
40.     }
41. }

复制代码

客户端执行代码：

点击触发事件：定义如下：

1. #region << 版 本 注 释 >>
2. /*----------------------------------------------------------------
3. * 创建者：码农阿亮
4. * 创建时间：2023/8/4 08:07:17
5. * 版本：V1.0.0
6. * 描述：
7. *
8. * ----------------------------------------------------------------
9. * 修改人：
10. * 时间：
11. * 修改说明：
12. *
13. * 版本：V1.0.1
14. *----------------------------------------------------------------*/
15. #endregion << 版 本 注 释 >>
16. using CrawlerComm.Handler;
17. using CrawlerModel.Meitu;
18. using CrawlerService.Meitu;
19. using System;
20. using System.Collections.Generic;
21. using System.ComponentModel;
22. using System.Data;
23. using System.Drawing;
24. using System.IO;
25. using System.Linq;
26. using System.Net;
27. using System.Text;
28. using System.Threading.Tasks;
29. using System.Windows.Forms;
31. namespace CrawlerData
32. {
33.     public partial class FrmMain : Form
34.     {
35.         public FrmMain()
36.         {
37.             InitializeComponent();
38.             //订阅委托
39.             UpdateFrmHandler.UpdateUI += UpdateUIFuc;
40.         }
42.         /// <summary>
43.         /// 更新界面委托方法
44.         /// </summary>
45.         /// <param name="sender"></param>
46.         /// <param name="updateUIModel"></param>
47.         private void UpdateUIFuc(object sender, UpdateUIModel updateUIModel )
48.         {
49.             try
50.             {
52.                 //改变界面UI中的值
53.                 this.Invoke((Action)delegate
54.                 {
55.                     UpdateUIBiz(updateUIModel);
56.                 });
58.             }
59.             catch (Exception ex)
60.             {
61.               
62.             }
63.         }
64.         /// <summary>
65.         /// 更新UI界面业务
66.         /// </summary>
67.         /// <param name="updateUIModel"></param>
68.         private void UpdateUIBiz(UpdateUIModel updateUIModel)
69.         {
70.             try
71.             {
72.                 //分类
73.                 tbCategory.Text = updateUIModel.Category;
74.                 //排名
75.                 tbNo.Text = updateUIModel.beauty.No;
76.                 //姓名
77.                 tbName.Text = updateUIModel.beauty.Name;
78.                 //人气值
79.                 tbPopularity.Text = updateUIModel.beauty.Popularity;
80.                 //图片地址
81.                 tbUrl.Text = updateUIModel.beauty.ImageUrl;
82.                 //图片
83.                 WebClient client = new WebClient();
84.                 string imageUrl = updateUIModel.beauty.ImageUrl;// 要显示的网络图片的URL
85.                 byte[] imageBytes = client.DownloadData(imageUrl);
86.                 Image img = Image.FromStream(new MemoryStream(imageBytes));
87.                 picBox.Image = img;
88.                 //爬取数量
89.                 lbNumber.Text = updateUIModel.DownloadNumber.ToString();
90.                
91.             }
92.             catch (Exception ex)
93.             {
95.             }
96.         }
97.         /// <summary>
98.         /// 开始执行按钮点击事件
99.         /// </summary>
100.         /// <param name="sender"></param>
101.         /// <param name="e"></param>
102.         private  void btStart_Click(object sender, EventArgs e)
103.         {
104.             StartCrawler();
105.         }
107.         /// <summary>
108.         /// 开始爬取
109.         /// </summary>
110.         public async void StartCrawler()
111.         {
112.             try
113.             {
114.                 MeituParseHtmService meituParseHtml = new MeituParseHtmService();
115.                 await meituParseHtml.StartAsync();
116.             }
117.             catch (Exception ex )
118.             {
120.             }
121.         
122.         }
123.     }
124. }

复制代码

三、爬取验证：

启动客户端：

文章上传图片大小有限制，只截取了部分gif：

爬取的Json数据结果：

下载的图片资源：

分目录层级存放：

源码链接地址：

Gitee完整实例地址：

https://gitee.com/mingliang_it/CrawlerDataClient

建群声明：本着技术在于分享，方便大家交流学习的初心，特此建立【编程内功修炼交流群】，热烈欢迎各位爱交流学习的程序员进群，也希望进群的大佬能不吝分享自己遇到的技术问题和学习心得

来源:https://www.cnblogs.com/wml-it/archive/2023/08/14/17628041.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！