一、网站分析
我将爬取分成了几步,希望这样大家能更加清晰的看明白。
第一步,我们来分析下要爬取的网站有没有方法爬取,打开页面,找分页
上面的页面发现一个关键的参数page=1这个就是页码了,但是另一个比较头疼的问题是,他没有最后的页码,这样我们没有办法确定循环次数,所以后面的代码编写中,只能使用while了
这个地址返回的是JSON格式的数据,这个对爬虫来说,非常友好!省的我们用正则表达式分析了。
然后我们来分析这个页面的头文件,查阅是否有反爬措施,假如有反爬极可能要麻烦点,
在看完头文件后,发现除了HOST和User-Agent以外,没有特殊的点,大网站就是任性,没啥反爬,可能压根不在乎这个事情吧。
第二步,我们来分析图片详情页面,在我们上面获取到的JSON中,找到关键地址
关键地址打开之后,这个地方有一个比较骚的操作了,上面图片中标注的URL选的不好,恰好是一个文章了,我们要的是组图,重新提供一个新链接(由于头条不允许用非本平台的链接,所以就发的链接地址,还望大家见谅):
打开页面,你可能直接去找规律了,找到下面的一堆链接,但是这个操作就有点复杂了,我们查阅上述页面的源码
网页源码中发现了,这么一块区域
大胆的猜测一下,这个应该是图片的JSON,只是他打印在了HTML中,我们只需要用正则表达式进行一下匹配就好了,匹配到之后,然后进行下载。
第三步,开始码我们的代码。
二、写代码
运行代码,效果亮出来:
怎么样?大家可还喜欢?本文到此就告一段落咯!朋友们,我们下次再会!喜欢本文的小伙伴可以点波关注或转发喔!