nodejs适合做网络爬虫的功能吗

2024-11-25 22:04:17
推荐回答(2个)
回答1:

扒数据用node肯定是没问题,如果要做到最优解析的话,肯能相对困难,但是对于固定样式页面,问题还是不大的。如果要通用又要能解析好,建议直接外挂phantomjs,但是这样无法保证效率

回答2:

后端渲染的页面用cheerio这个模块爬就可以,具体如何爬可以去谷歌。
如果是js渲染的,比如百度图片,就用phantomjs去爬,用phantomjs爬的话需要在phantomjs这个看不见的浏览器里进行浏览器操作,获得相应数据后,再通过node的接口传给node!