个人以为应该先从一个URL入手。将此URL内容抓至硬盘，再启动线程分析此URL内连接，遍历此连接，分别抓到硬盘再用线程对硬盘上文件分别分析URL，看到新的就抓。可能是这样吧。
爬虫程序太复杂了.如果那么容易就能写,那像百度之类的搜索引擎就不值钱了.爬虫的开发费用没有个十万块别想做.
不好意思，什么叫爬虫程序？也许我该开个帖子问你了？
莫非他指的是蠕虫？
