• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 2336 天前的主题，其中的信息可能已经有所发展或是发生改变。
有一个论坛，每天都有新的帖子发表，我想让爬虫每天只爬取新增的帖子，而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现？求思路。。
 |
1
caiem 2018-07-27 00:02:59 +08:00 via iPhone
帖子是自增 id 么.增量时读取 max id 就行了嘛
|
 |
2
qsnow6 2018-07-27 00:25:21 +08:00 via iPhone
去爬帖子列表页， 每次都把当前页的 url 和数据库中的对比，如果没有重复的说明，这一夜都是新的 URL，然后下一页，直到出现部分重复或完全重复的页面
|
 |
3
thedog 2018-07-27 00:26:03 +08:00 via Android
redis?
|
 |
4
fiht 2018-07-27 09:52:07 +08:00 via iPhone
实现增量一个最简单的办法是每天抓取一下首页 链接。
|
Select Language