学习 基本的爬虫工作原理 基本的http抓取工具，scrapy Bloom Filter: Bloom Filters by Example 如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好
用Python写一个分布式爬虫 怕什麽东西？
