python爬虫怎么用

来源：要发发知识网

1、使用环境和使用库

IDE：PyCharm

库：requests、lxml

2、环境构建

用pycharm创建一个新的python项目，然后创建requests和lxml。

3、使用流程

（1）新建一个项目

（2）依赖库导入

由于使用的是，所以我们导入这两个库就会显的格外简单。

import requests

（3）获取网页源代码

可以很方便的让我们得到网页的源代码网页。

（4）获取源码

# 获取源码
html = requests.get("https://coder-lida.github.io/")
# 打印源码
print html.text

代码就是这么简单，这个html.text便是这个URL的源码。

以上就是python爬虫的使用，我们可以简单的归纳为库的使用和环境的搭建，看懂了就可以动手尝试下了。如果爬虫想要去采集大量的数据，会需要HTTP代理IP的配合。希望对大家有所帮助。更多常见问题解决：

（推荐操作系统：windows7系统、Python 3.9.1，DELL G3电脑。）