1、在命令行中使用“python 文件名.py”。
# 方式一 $ scrapy crawl spider_name
2、单独配置一个文件,spider_name是具体的爬虫名,通过pycharm运行设置,但每次都要更改爬虫名,不利于git提交。
# 方式二 from scrapy import cmdline args = "scrapy crawl spider_name".split() cmdline.execute(args)
3、在python交互式命令行下直接输入python代码回车运行
# 方式三 if __name__ == '__main__': from scrapy import cmdline args = "scrapy crawl spider_name".split() cmdline.execute(args)
以上就是爬虫运行的三种方法,其中命令行和交互式命令行的方法比较相似,大家在使用时需要注意概念的区分。爬虫可以结合代理ip的使用,如果大家想测试使用下,可以尝试,免费测试包含各种类ip资源,调用IP量!更多常见问题解决:
(推荐操作系统:windows7系统、Python 3.9.1、DELL G3电脑。)
Copyright © 2019- net188.cn 版权所有 湘ICP备2022005869号-2
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务