推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2883 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如优酷这种比较大的站点，只需要确定 url 都有就行
第 1 条附言 · 2017-02-04 12:53:10 +08:00
自己想到了一点，如果拥有 url 消重的集合增长速度小于某个值了，也就是近似不增长了，那就认为基本抓全了，这样可行吗？
 |
1
pathletboy 2017-02-04 11:40:31 +08:00
如果是一个频繁更新的站点，你永远抓不全。
|
 |
2
scnace 2017-02-04 11:59:05 +08:00 via Android
这个怎么可能知道有没有抓全 除非你事先知道他全部的目录结构…
|
 |
3
est 2017-02-04 12:16:04 +08:00  1
没法确定。
按道理说，优酷内部其实都不知道某一个时刻精确有多少视频。因为是分布式的。每个节点随时都在删除，新增。 |
 |
4
rekulas 2017-02-04 12:32:58 +08:00
跟 google 检索量对比一下，判断抓取比例
|
 |
5
yanzixuan 2017-02-06 10:51:41 +08:00
一个网页对应动态的 URL 的时候怎么办呢？
你只能根据内容来计算啊 |
Select Language