怎样安装和使用pyspider

2016年9月13日 | 分类: 【技术】

ySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。

因由:我当初就是因为无法增量抓取所以放弃 scrapy 的。因为我们的场景,定时更新,增量抓取是非常重要的,这要求很强 url 去重,调度策略逻辑。而 scrapy 的内存去重实在是太简陋了。于是,pyspider 就这么诞生了。。

参考:https://www.zhihu.com/question/19793879#

官网:http://pyspider.org/
文档:http://docs.pyspider.org/en/latest/
问答:https://segmentfault.com/t/pyspider
问答:http://docs.pyspider.org/en/latest/Frequently-Asked-Questions/
演示:http://demo.pyspider.org/

安装:

参考:http://docs.pyspider.org/en/latest/Quickstart/

pip install pyspider
pyspider

浏览器中打开:http://localhost:5000/

打不开?!是不是防火墙的问题?

参考:http://wiki.ubuntu.com.cn/UFW%E9%98%B2%E7%81%AB%E5%A2%99%E7%AE%80%E5%8D%95%E8%AE%BE%E7%BD%AE