如何批量提取网站所有的URL链接

2024-12-28 19:43:00
推荐回答(5个)
回答1:

额。。提取全部网址链接的话,
试试这个吧
批量提取链接的工具:ht-tps://godtool.gitlab.io/zh-cn/link-finder/?f=d5
网址前面是错的,自己改一下吧
用法:复制网页内容,粘贴到这个工具中,链接就全部一次性批量提取出来了
是不是很方便?

回答2:

不知道题主会不使用正则,会爬虫然后会正则的话,把你爬取到的页面源码当成字符串,用下面的正则过滤一下你就能得到网页内的所有url了
detail_urls = re.findall('http[s]?://(?:(?!http[s]?://)[a-zA-Z]|[0-9]|[$\-_@.&+/]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+',string)

回答3:

sitemap X。很好用的软件。直接输入域名就可以了

回答4:

写个爬虫程序,把url爬下来撒, 百度下 好多写爬虫的例子的

回答5:

这个的话 需要软件的操作的