mjj 们,现在在弄一个比赛信息显示与管理的网站(主要显示比赛数据,以及登录后收藏比赛数据什么的),现在在弄显示功能。流程主要是爬虫抓取别的网站上的比赛信息,然后汇总到一个网站上面显示。现在数据已经爬到了,打算直接存到 MongoDB 上面,然后前端定时到数据库拿数据。 现在有一个问题就是不知道怎么处理数据库里面的数据,怎么判断这个数据实时性?就是有时候这个比赛时间过了,这个数据在数据库里面,然后就不能拿给前端了。目前只能想到这个办法是全部拿出来,然后筛选,然后再排序,然后再发给前端,还有没有别的高效的办法呢?
1
q937298063 2019-07-19 16:11:46 +08:00
额,存到数据库的时候 ,不存时间之类的吗。。
|
2
greenhat233 OP |
3
meik2333 2019-07-19 18:33:57 +08:00
http://contests.sdutacm.cn/contests.json
https://github.com/MeiK2333/recent_contests 我的做法是结束时间小于当前时间的直接扔了,简单粗暴 |
4
greenhat233 OP @meik2333 抓取简单,就是配合前端这里。想问你抓取的这个数据有在哪里用嘛
|
5
meik2333 2019-07-19 20:06:49 +08:00 via Android
|