爬虫相关

python 爬虫相关

pyspider 分布式架构 WebUI

pyspider架构设计

pyspider’docs

pyspider github

cola 分布式 weibo wiki

cola github

scrapy （support python2.7）

scrapy doc

scrapy github

other link

如何入门 Python 爬虫 —谢科，用python分布式地爬过豆瓣/Twitter Search

scrapy-redis

distribute_crawler-使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

Python爬虫学习系列教程

Python爬虫实战四之抓取淘宝MM照片

Scrapy爬虫抓取动态网站

如何让你的scrapy爬虫不再被ban之二（利用第三方平台crawlera做scrapy爬虫防屏蔽）

pip安装 镜像： 如： https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/

pip install scrapy -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/