python 爬虫设置代理

#coding:utf-8import urllib2def url_user_agent(url):    #设置使用代理
   proxy = {'http':'27.24.158.155:84'}
   proxy_support = urllib2.ProxyHandler(proxy)    # opener = urllib2.build_opener(proxy_support,urllib2.HTTPHandler(debuglevel=1))
   opener = urllib2.build_opener(proxy_support)
   urllib2.install_opener(opener)    #添加头信息，模仿浏览器抓取网页，对付返回403禁止访问的问题
   # i_headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
   i_headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48'}
   req = urllib2.Request(url,headers=i_headers)
   html = urllib2.urlopen(req)
if url == html.geturl():
       doc = html.read()        return doc
return

url = 'search/category/2/10/g311'doc = url_user_agent(url)print doc

现在市面上已经很多代理软件了，个人感觉那些打着免费的口号的一些“莆田系”代理就不要考虑了，基本上不能用。我用的618Ip代理软件，他们的ip资源还挺多的，基本是满足了我工作上的需求，线路相较于国内其他一些同类软件已经是很好了。