V2EX › solider245 的所有回复 › 第 10 页 / 共 10 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10

❮

❯

2019 年 7 月 27 日

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

@daozhihun #29 谢谢了，又涨知识了。

2019 年 7 月 27 日

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

@dongyx #25 哦，有点理解了。
比如我有一个要爬取的网站，他的最大页面值等于 1W，但是我并不知道。
如果用 while true 的话，我相当于要依次载入 9999 次，最终到达一万次，然后 10001 次的时候，页面返回的不是 200，然后这个循环就中止了。

用二分的话，速度就要快一点？

可问题是我的目的是爬取，求最大值只是为了让我的爬虫知道要爬多少个页面，这样的话，二分法用在这里，似乎并没有大的作用？除了可以让我的爬虫可以更快的获取网页的数量。

不过感觉可以用来作为前置使用。比如我想爬取一下这个网站，然后我通过二分法，快速知道这个网站大概有多少个页面，这样的话，心里会更有数？

2019 年 7 月 27 日

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

@dongyx #21 你这个好像有点复杂啊，我得消化下。想问下，你这种写法和前面朋友给的 while True 方式相比，有哪些优点吗？
因为 while true 我现在可以理解，而且也可以写出来了。

2019 年 7 月 27 日

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

@dongyx #20 二分查找是什么意思？

2019 年 7 月 27 日

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

@cherbim #14 原来是这个原理，好的，谢谢哈，我按照这个逻辑，尝试一下

2019 年 7 月 27 日

回复了 solider245 创建的主题 › Python › 想爬取一个有很多页的网站，但是我不知道这个网站的准确页数。请问 Python 中如何用循环来实现呢？

@cherbim #11 能大概写个小例子吗？