C#网络爬虫开发

日涨百分一预测验证

1前言

爬虫一般都是用Python来写，生态丰富，动态语言开发速度快，调试也很方便
但是
我要说但是，动态语言也有其局限性，笔者作为老爬虫带师，几乎各种语言都搞过，现在这个任务并不复杂，用我最喜欢的C#做小菜一碟~
2开始

之前做 OneCat 项目的时候，最开始的数据采集模块，就是用 C# 做的，同时还集成了 Chloe 作为 ORM，用 Nancy 做 HTTP 接口，结合 C# 强大的并发功能，做出来的效果不错。
这次是要爬一些壁纸，很简单的场景，于是沿用了之前 OneCat 项目的一些工具类，并且做了一些改进。
3HttpHelper

网络请求直接使用 .Net Core 标准库的 HttpClient，这个库要求使用单例，在 AspNetCore 里一般用依赖注入，不过这次简单的爬虫直接用 Console 程序就行。
把 HTML 爬下来后，还需要解析，在Python中一般用 BeautifulSoup，在C#里可以用 AngleSharp ，也很好用~
为了使用方便，我又封装了一个工具类，把 HttpClient 和 AngleSharp 集成在一起。

1. public static class HttpHelper {
   
2.     public const string UserAgent =
   
3.         "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36";
   
4. 
   
5.     public static HttpClientHandler Handler { get; }
   
6. 
   
7.     public static HttpClient Client { get; }
   
8. 
   
9.     static HttpHelper() {
   
10.         Handler = new HttpClientHandler();
    
11.         Client = new HttpClient(Handler);
    
12.         Client.DefaultRequestHeaders.Add("User-Agent", UserAgent);
    
13.     }
    
14. 
    
15.     public static async Task<IHtmlDocument> GetHtmlDocument(string url) {
    
16.         var html = await Client.GetStringAsync(url);
    
17.         // todo 这个用法有内存泄漏问题，得优化一下
    
18.         return new HtmlParser().ParseDocument(html);
    
19.     }
    
20. 
    
21.     public static async Task<IHtmlDocument> GetHtmlDocument(string url, string charset) {
    
22.         var res = await Client.GetAsync(url);
    
23.         var resBytes = await res.Content.ReadAsByteArrayAsync();
    
24.         var resStr = Encoding.GetEncoding(charset).GetString(resBytes);
    
25.         // todo 这个用法有内存泄漏问题，得优化一下
    
26.         return new HtmlParser().ParseDocument(resStr);
    
27.     }
    
28. }

复制代码

这段代码里面有俩 todo ，这个内存泄漏的问题在简单的爬虫中影响不大，所以后面有大规模的需求再来优化吧~
4搞HTML

大部分爬虫是从网页上拿数据
如果网页是后端渲染出来的话，没有js动态加载数据，基本上用CSS选择器+正则表达式就可以拿到任何想要的数据。
经过前面的封装，请求网页+解析HTML只需要一行代码

1. IHtmlDocument data = await HttpHelper.GetHtmlDocument(url);

复制代码

拿到 IHtmlDocument 对象之后，用 QuerySelector 传入css选择器，就可以拿到各种元素了。
例如这样，取出  元素下所有链接的地址

1. var data = await HttpHelper.GetHtmlDocument(url);
   
2. foreach (var item in data.QuerySelectorAll(".pagew li")) {
   
3.     var link = item.QuerySelector("a");
   
4.     var href = link?.GetAttribute("href");
   
5.     if (href != null) await CrawlItem(href);
   
6. }

复制代码

或者结合正则表达式

1. var data = await HttpHelper.GetHtmlDocument(url);
   
2. var page = data.QuerySelector(".pageinfo");
   
3. Console.WriteLine("拿到分页信息：{0}", page?.TextContent);
   
4. var match = Regex.Match(page?.TextContent ?? "", @"共\s(\d+)页(\d+)条");
   
5. var pageCount = int.Parse(match.Groups[1].Value);
   
6. for (int i = 1; i <= pageCount; i++) {
   
7.     await CrawlPage(i);
   
8. }

复制代码

使用方法依然是一行代码

1. var jsonOption = new JsonSerializerOptions {
   
2.     WriteIndented = true,
   
3.     Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping
   
4. };

复制代码

不过这次没有直接封装一个下载的方法，而是把 IDownloadService 对象做成属性，因为下载的时候往往要加一些“buff”
比如监听下载进度，看下面的代码

1. await File.WriteAllTextAsync("path", JsonSerializer.Serialize(data, jsonOption));

复制代码

这个库提供了四个事件，分别是：

• 下载开始
  
• 下载完成
  
• 下载进度变化
  
• 分块下载进度变化
  

7进度条

有了这些事件，就可以实现下载进度条展示了，接下来介绍的进度条，也是 Downloader 这个库官方例子中使用的
项目地址: https://github.com/Mpdreamz/shellprogressbar
首先，把官网上的例子忘记吧，那几个例子实际作用不大。
Tick模式

这个进度条有两种模式，一种是它自己的 Tick 方法，先定义总任务数量，执行一次表示完成一个任务，比如这个：

1. public static IDownloadService Downloader { get; }
   
2. 
   
3. public static DownloadConfiguration DownloadConf => new DownloadConfiguration {
   
4.     BufferBlockSize = 10240, // 通常，主机最大支持8000字节，默认值为8000。
   
5.     ChunkCount = 8, // 要下载的文件分片数量，默认值为1
   
6.     // MaximumBytesPerSecond = 1024 * 50, // 下载速度限制，默认值为零或无限制
   
7.     MaxTryAgainOnFailover = 5, // 失败的最大次数
   
8.     ParallelDownload = true, // 下载文件是否为并行的。默认值为false
   
9.     Timeout = 1000, // 每个 stream reader  的超时（毫秒），默认值是1000
   
10.     RequestConfiguration = {
    
11.         Accept = "*/*",
    
12.         AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate,
    
13.         CookieContainer = new CookieContainer(), // Add your cookies
    
14.         Headers = new WebHeaderCollection(), // Add your custom headers
    
15.         KeepAlive = true,
    
16.         ProtocolVersion = HttpVersion.Version11, // Default value is HTTP 1.1
    
17.         UseDefaultCredentials = false,
    
18.         UserAgent = UserAgent
    
19.     }
    
20. };
    
21. 
    
22. static HttpHelper() {
    
23.     // ...
    
24.     Downloader = new DownloadService(DownloadConf);
    
25. }

复制代码

上面代码定义了10个任务，每执行一次 bar.Tick() 就表示完成一次任务，执行10次后就整个完成~
IProgress 模式

这个  IProgress 是C#标准库的类型，用来处理进度条的。
ProgressBar 对象可以使用 AsProgress 方法转换称 IProgress 对象，然后调用 IProgress 的 Report 方法，报告进度。
这个就很适合下载进度这种非线性的任务，每次更新时，完成的进度都不一样
Downloader的下载进度更新事件，用的是百分比，所以用这个 IProgress 模式就很合适。
进度条嵌套

本爬虫项目是要采集壁纸，壁纸的形式是按图集组织的，一个图集下可能有多个图片
为了应对这种场景，可以用一个进度条显示总进度，表示当前正在下载某个图集
然后再嵌套子进度条，表示正在下载当前图集的第n张图片
然后的然后，再套娃一个孙子进度条，表示具体图片的下载进度（百分比）
这里用到的是 ProgressBar 的 Spawn 方法，会生成一个 ChildProgressBar 对象，此时更新子进度条对象的值就好了。
直接看代码吧

1. await HttpHelper.Downloader.DownloadFileTaskAsync(url, filepath);

复制代码

这样就实现了主进度条显示下载了第几个图集，子进度条显示下载到第几张图片。
然后具体下载代码中，使用 Downloader 的事件监听，再 Spawn 一个新的进度条显示单张图片的下载进度。
代码如下：

1. private async Task Download(IProgressBar bar, string url, string filepath) {
2.     var percentageBar = bar.Spawn(100, $"正在下载：{Path.GetFileName(url)}", PercentageBarOptions);
4.     HttpHelper.Downloader.DownloadStarted += DownloadStarted;
5.     HttpHelper.Downloader.DownloadFileCompleted += DownloadFileCompleted;
6.     HttpHelper.Downloader.DownloadProgressChanged += DownloadProgressChanged;
8.     var jsonOption = new JsonSerializerOptions {
   
9.     WriteIndented = true,
   
10.     Encoder = JavaScriptEncoder.UnsafeRelaxedJsonEscaping
    
11. };
12.     void DownloadStarted(object? sender, DownloadStartedEventArgs e) {
13.         Trace.WriteLine(
14.             $"图片, FileName:{Path.GetFileName(e.FileName)}, TotalBytesToReceive:{e.TotalBytesToReceive}");
15.     }
17.     void DownloadFileCompleted(object? sender, AsyncCompletedEventArgs e) {
18.         Trace.WriteLine($"下载完成, filepath:{filepath}");
19.         percentageBar.Dispose();
20.     }
22.     void DownloadProgressChanged(object? sender, DownloadProgressChangedEventArgs e) {
23.         percentageBar.AsProgress().Report(e.ProgressPercentage);
24.     }
25. }

复制代码

注意所有的 ProgressBar 对象都需要用完释放，所以这里在 DownloadFileCompleted 事件里面 Dispose 了。
上面的是直接用 using 语句，自动释放。
进度条配置

这个东西的自定义功能还不错。
可以配置颜色、显示字符、显示位置啥的

1. using var bar = new ProgressBar(10, "正在下载所有图片", BarOptions);

复制代码

EnableTaskBarProgress 这个选项可以同时更新Windows任务状态栏上的进度
具体配置选项可以直接看源码，里面注释很详细。
如果 Spawn 出来的子进度条没配置选项，那就会继承上一级的配置。
8小结

用 C# 来做爬虫还是舒服的，至少比 Java 好很多
做控制台应用，打包成exe也方便分发

来源:https://www.cnblogs.com/dotnet-college/archive/2023/02/12/17110810.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！