主要做爬虫和数据分析。选 mongo 是因为 mongo 比较灵活,而爬虫经常会碰到些意外或者结构变化等等,前期直接 json 进去比较方便。当然数据清洗也是会做的。
现在 mongo 主要是扔在一台 MBA 上跑,然后为了保险,在家里的 PC 上加了个副本,Arbiter 在 MBA 上。
这样出去演示啥的,光带个 MBA 也跑得起来。
现在我的问题是,如果我再加一台电脑,想让:
有没有实现的方法?
mongod 的 CPU 最近占用经常跑满,这是常态吗?
我大概有四五个爬虫同时在跑,但都是单程的网络 IO 而已。有办法查看 mongod 具体是啥占的 CPU 嘛?
开始用的时候是 3.2 版本的,现在好像已经到 3.6 了,有必要升级吗?
目前比较大的那个 DB 大概 40G+。
基本的字段类型优化,结构优化,都已经做过了。
除了分片,有啥别的瘦身方法嘛?
PS:身边用 mongodb 的真的很少啊😂
1
Leigg 2018-06-11 18:39:48 +08:00 via iPhone
mongo 一般都是随意数据量增加占用内存增加,cpu 跑满到是挺少见,你看看不启动数据库占用情况怎样的,如果确实是 mongo 导致的 cpu 跑满的话,那你需要调一下 db 的配置。
|
2
Leigg 2018-06-11 18:51:27 +08:00 via iPhone
另外你还可以了解一下 mongo 的慢查询,可以判断具体是不是有什么操作导致了 db 线程阻塞,这也会导致 cpu 占用暴涨
|
3
JCZ2MkKb5S8ZX9pq OP |