翼度科技»论坛 编程开发 python 查看内容

【教你写爬虫】用Java爬虫爬取百度搜索结果!可爬10w+条!

1

主题

1

帖子

3

积分

新手上路

Rank: 1

积分
3
一、爬取目标

大家好,我是盆子。今天这篇文章来讲解一下:使用Java爬虫爬取百度搜索结果。
首先,展示爬取的数据,如下图。
爬取结果1:

爬取结果2:

代码爬取展示:

可以看到,上面爬取了五个字段,包括
标题,原文链接地址,链接来源,简介信息,发布时间。
二、爬取分析

用到的技术栈,主要有这些
Puppeteer 网页自动化工具
Jsoup 浏览器元素解析器
Mybatis-Plus 数据库存储
2.1 网页结构分析

打开百度搜索,搜索“手机”二字,可以看到下面这样的搜索结果,我们需要爬的信息都在上面。
爬取网页元素分析1:*
*尝试去分析它的网页结构:

爬取网页元素分析2:

打开控制台F12,可以看到这个 class =“result c-container xpath-log new-pmd” 所在的 div 标签就包含我们要爬取的所有信息。
那就很简单了,我们只需要去这个div里面,将需要的元素 (字段) 信息挨个的获取即可。
同理,这个结构也就是百度搜索结果的通用结构,其他的搜索结果中,也可以通过该 class 去定位。
2.2 爬虫代码分析

首先,这是我们代码的核心依赖:
  1.             org.jsoup        jsoup        1.16.2                io.github.fanyong920        jvppeteer        1.1.5                com.baomidou        mybatis-plus-boot-starter        ${mybaits.plus.version}   
复制代码
初始化浏览器,并且打开百度搜索页
  1.         // 初始化浏览器相关        BrowserFetcher.downloadIfNotExist(null);        ArrayList argList = new ArrayList();        LaunchOptions options = new LaunchOptionsBuilder().withArgs(argList).withHeadless(false).build();        argList.add("--no-sandbox");        argList.add("--disable-setuid-sandbox");        System.out.println("==1=");        Browser browser = Puppeteer.launch(options);        // 打开页面,开爬        Page page = browser.newPage();        page.goTo("https://www.baidu.com/");
复制代码
运行上述代码,就会弹出一个浏览器(受我们代码控制),并且打开百度搜索页面
找出页面元素,并且模拟人工搜索关键字、点击搜索按钮的操作
  1.         // 模拟人工搜索关键字        ElementHandle inputField = page.$("#kw");        inputField.type("手机");        // 模拟人工点击搜索按钮        ElementHandle confirmSearch = page.$("#su");        confirmSearch.click();
复制代码
此时,浏览器页面已经按照你的搜索关键词开始搜索了。
用代码解析页面
  1.     // 获取页面所有内容(HTML格式)    String content = page.content();    // 解析页面元素,方便后面定位    Document document = Jsoup.parse(content);    // 找出我们上面说的那个class所在的div标签    Elements elements = document.getElementsByClass("result c-container xpath-log new-pmd");    // 去 class所在的div标签中找出需要的 字段信息    for (int i = 0; i < elements.size(); i++) {        Element element = elements.get(i);        String title = element.getElementsByTag("a").text();        String keyword = StrUtil.sub(title, 0, 7);        // 将关键词存储到队列中,后续可使用        keyWordsQueue.offer(keyword);        String href = element.getElementsByTag("a").attr("href");        // ...找出其他字段        System.out.println(dataInfo);    }
复制代码
至此,一个关键词的爬取就已经完成,如果想要继续爬取关键词,我们继续搜索其他关键词,并且重复上述操作即可。
完整代码中,还包随机等待时长、解析其他字段、保存数据、多个关键字同时爬取等关键逻辑,详见文末。
三、总结

在爬虫中,无非就是模拟人的操作过程,去做相关操作,获取数据。
通过上文介绍的方式,我们是使用一种更具有通用型的方式去爬取数据。因为Puppeteer只是代理人手工点击的方式,而拿到数据。
上述完整代码,可以留言私信我获取。
本文由博客一文多发平台 OpenWrite 发布!

来源:https://www.cnblogs.com/pzistart/p/17821728.html
免责声明:由于采集信息均来自互联网,如果侵犯了您的权益,请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容,谢谢合作!

举报 回复 使用道具