C#爬取动态网页上的信息：B站主页

米仓里的子神君

目录

• 简介
  
• 获取 HTML 文档
  
• 解析 HTML 文档
  
• 测试
  
• 参考文章
  

简介

动态内容网站使用 JavaScript 脚本动态检索和渲染数据，爬取信息时需要模拟浏览器行为，否则获取到的源码基本是空的。爬取步骤如下：

• 使用 Selenium 获取渲染后的 HTML 文档
  
• 使用 HtmlAgilityPack 解析 HTML 文档
  

新建项目，安装需要的库：

• Selenium.WebDriver
  
• HtmlAgilityPack
  

获取 HTML 文档

需要注意的主要是以下2点：

• 设置浏览器启动参数：无头模式、禁用GPU加速、设置启动时窗口大小
  
• 等待页面动态加载完成：等待5秒钟，设置一个合适的时间即可
  

1. private static string GetHtml(string url)
2. {
3.     ChromeOptions options = new ChromeOptions();
4.     // 不显示浏览器
5.     options.AddArgument("--headless");
6.     // GPU加速可能会导致Chrome出现黑屏及CPU占用率过高
7.     options.AddArgument("--nogpu");
8.     // 设置chrome启动时size大小
9.     options.AddArgument("--window-size=10,10");
11.     using (var driver = new ChromeDriver(options))
12.     {
13.         try
14.         {
15.             driver.Manage().Window.Minimize();
16.             driver.Navigate().GoToUrl(url);
17.             // 等待页面动态加载完成
18.             Thread.Sleep(5000);
19.             // 返回页面源码
20.             return driver.PageSource;
21.         }
22.         catch (NoSuchElementException)
23.         {
24.             Console.WriteLine("找不到该元素");
25.             return string.Empty;
26.         }
27.     }
28. }

复制代码

解析 HTML 文档

这里以B站为例，爬取B站UP主主页上的视频信息，如视频的标题、链接、封面。
先定义一个类来保存信息：

1. class VideoInfo
2. {
3.     public string Title { get; set; }
4.     public string Href { get; set; }
5.     public string ImgUrl { get; set; }
6. }

复制代码

定义解析函数，返回视频信息列表：

1. private static List<VideoInfo> GetVideoInfos(string url)
2. {
3.     List<VideoInfo> videoInfos = new List<VideoInfo>();
5.     // 加载文档
6.     var html = GetHtml(url);
7.     var htmlDoc = new HtmlDocument();
8.     htmlDoc.LoadHtml(html);
10.     // 解析文档，先定位到视频列表标签
11.     var xpath = "/html/body/div[2]/div[4]/div/div/div[1]/div[2]/div/div";
12.     var htmlNodes = htmlDoc.DocumentNode.SelectNodes(xpath);
14.     // 循环解析它的子节点视频信息
15.     foreach (var node in htmlNodes)
16.     {
17.         var titleNode = node.SelectSingleNode("a[2]");
18.         var imgNode = node.SelectSingleNode("a[1]/div[1]/picture/source[1]");
20.         var title = titleNode.InnerText;
21.         var href = titleNode.Attributes["href"].Value.Trim('/');
22.         var imgUrl = imgNode.Attributes["srcset"].Value.Split('@')[0].Trim('/');
24.         videoInfos.Add(new VideoInfo
25.         {
26.             Title = title,
27.             Href = href,
28.             ImgUrl = imgUrl
29.         });
30.     }
31.     return videoInfos;
32. }

复制代码

视频列表标签的 XPath 路径是通过浏览器调试工具，在指定标签上右键 复制完整的XPath 得到：

分析代码中的 node 节点时，html文本格式可能很乱，可以通过在线 HTML 代码格式化 工具格式后再进行分析。
测试

以B站UP主 星瞳_Official 为例，爬取视频信息：

1. static void Main(string[] args)
2. {
3.     var url = @"https://space.bilibili.com/401315430";
4.     var videoInfos = GetVideoInfos(url);
5.     foreach (var videoInfo in videoInfos)
6.     {
7.         Console.WriteLine(videoInfo.Title);
8.         Console.WriteLine(videoInfo.Href);
9.         Console.WriteLine(videoInfo.ImgUrl);
10.         Console.WriteLine();
11.     }
12.     Console.ReadKey();
13. }

复制代码

结果如下：

1. 等一下，好妹妹
2. www.bilibili.com/video/BV1uyxLeJEM9
3. i0.hdslb.com/bfs/archive/46a15065d1b6722a04696ffaaa2235287ceaa452.jpg
5. 一口一个?你的超甜辣椒
6. www.bilibili.com/video/BV1AQsDeiEn1
7. i0.hdslb.com/bfs/archive/d93d47d67323ee284483e963ffed34fb9884cf61.jpg

复制代码

这里只是演示爬取动态页面的方法，如果想获取B站UP主的视频信息，建议直接使用 API 请求数据。
参考文章

• 使用 C#语言进行网页抓取的终极指南
  
• C# 写个小爬虫，实现爬取js加载后的网页
  
• Html Agility Pack 文档
  
• [ 长期更新 ] C# Selenium 常用操作代码
  

来源:https://www.cnblogs.com/timefiles/p/18436160
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！