您的当前位置:首页正文

爬虫基础实战项目,一步步带你简易分析爬虫原理!

来源:要发发知识网

一、网站分析

我将爬取分成了几步,希望这样大家能更加清晰的看明白。

第一步,我们来分析下要爬取的网站有没有方法爬取,打开页面,找分页

上面的页面发现一个关键的参数page=1这个就是页码了,但是另一个比较头疼的问题是,他没有最后的页码,这样我们没有办法确定循环次数,所以后面的代码编写中,只能使用while了

这个地址返回的是JSON格式的数据,这个对爬虫来说,非常友好!省的我们用正则表达式分析了。

然后我们来分析这个页面的头文件,查阅是否有反爬措施,假如有反爬极可能要麻烦点,

在看完头文件后,发现除了HOST和User-Agent以外,没有特殊的点,大网站就是任性,没啥反爬,可能压根不在乎这个事情吧。

第二步,我们来分析图片详情页面,在我们上面获取到的JSON中,找到关键地址

关键地址打开之后,这个地方有一个比较骚的操作了,上面图片中标注的URL选的不好,恰好是一个文章了,我们要的是组图,重新提供一个新链接(由于头条不允许用非本平台的链接,所以就发的链接地址,还望大家见谅):

打开页面,你可能直接去找规律了,找到下面的一堆链接,但是这个操作就有点复杂了,我们查阅上述页面的源码

网页源码中发现了,这么一块区域

大胆的猜测一下,这个应该是图片的JSON,只是他打印在了HTML中,我们只需要用正则表达式进行一下匹配就好了,匹配到之后,然后进行下载。

第三步,开始码我们的代码。

二、写代码

运行代码,效果亮出来:

怎么样?大家可还喜欢?本文到此就告一段落咯!朋友们,我们下次再会!喜欢本文的小伙伴可以点波关注或转发喔!