如何用爬虫爬去整个网站

0 0 node.js u7f51u9875u722cu866b u9759u6001u7f51u7ad9
不想好好学习
不想好好学习

声望值:315 0人

2019-01-12 14:58:08 提问

关注 0关注

收藏 0收藏, 27浏览

如题,如果我要爬取一个仅仅只是提供文档说明的网站,但它经常不稳定,所以我想把它整站下载下来方便以后查看。(注:希望提供下思路和方法,就是想顺便学习下)

请先 登录 后评论

2个回答

  • 起名真难88声望 2018-09-25 09:29

    直接用 浏览器离线模式吧,没有必要写爬虫
    请先 登录 后评论
  • Y_F_Timo130声望 2018-09-25 09:29

    wget -r -p -np -k http://example.com/index.html -r 递归-p 下载页面相关的其它内容-np 不追溯至父级-k 页面内链接转换为相对链接
    请先 登录 后评论

注册新账号

悬赏追问
10
  • 10
  • 20
  • 50
  • 100
  • 200
  • 输入数值
发布追问