nodejs 爬虫长时间运行后卡住

[dreamer2020]

各位大佬，
有一个困惑许久的问题：

用 nodejs 做了一个爬虫，每天定时爬取数据，node 版本 v9.8.0，定时试过系统命令 crontab，现在用 node-schedule，使用 pm2 管理程序。

爬虫在运行一段时间后，有时候是三四天，有时候是一周或者更长后，卡住了。没有错误日志，pm2 也没有任何日志信息，程序也没有退出，似乎是卡死在后台了。

程序使用的依赖如下：
“ axer ”: “ 0.0.5 ”,
“ log4js ”: “^1.1.1 ”,
“ moment ”: “^2.18.1 ”,
“ mongodb ”: “^3.0.5 ”,
“ node-schedule ”: “^1.2.4 ”,
“ bluebird ”: “^3.5.1 ”,
“ util ”: “^0.10.3 ”,
“ xml2js ”: “^0.4.17 ”

各位大佬，有没有遇到过类似问题的？能否给出一些提示思路？非常感谢！

[jiangzhuo]

能上生产服务器的话，看看当前堆栈不就好了

[LevineChen]

同遇到

[airyland]

如果暂时不能确定到具体问题，可以在一个或者多个抓取任务结束后，直接 process.exit(1)，pm2 会自动重启，还也可以定义 restart delay。

[dreamer2020]

@jiangzhuo 弱问一下，怎么样查看当前状况下的堆栈啊？

[jiangzhuo]

@dreamer2020 就是平时调试用的那些工具的 pstack 啊 strace 啊找到问题再 gdb 啊

[dreamer2020]

@jiangzhuo 哦，明白了。感谢！

[dreamer2020]

@airyland 这确实是一个当前的解决办法！

[gabon]

死锁？

[whypool]

遇到过，解决如下：
1，主动释放内存，虽然会自动 gc，但是爬取很快的时候，内存直接飙到 2G+，然后直接卡死
2，爬取频率，不要用阻塞的迭代，比如 for map each 什么的，如果有迭代最好用递归，放 settimeout 延迟执行

目前爬取了某云歌曲 80w+，内存占用稳定 90M，运行一个多月了

[ETiV]

pm2 start 命令前加「 DEBUG=*」，看有没有输出

[aisin]

@whypool 兄弟说的很靠谱，我现在也都是这么干的

[shiny]

分享下我的经验： 使用 eggjs 的 schedule 设置定时任务，使用 Kue 或者 async.js 创建队列，设置好并发数，控制进队列的数量（比如用数据库储存任务，分批读取送进队列抓取），内存和 CPU 使用非常稳定。有问题建议使用 alinode 跟踪诊断。

[LeungJZ]

我也遇到了。
我的问题：抓取数据后，更新数据库（ mongodb，bulkWrite 更新），更新时长 12000 个文档需要 60000ms。
最后解决办法：使用 egg.js 的定时任务和 mongodb 的插件，更新方式是先查询是否存在，存在的一个个更新，save，不存在的批量插入，insertAll。12000 个文档耗时 1s 不到。

服务器：2C4G。

[qfdk]

你 mongo 插了多少数据？

[dreamer2020]

@whypool 内存这个问题之前我也注意到了，确实需要释放，我现在最多是 300M 左右。

迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？

另外，关于 Promise.map 有什么改进建议么？

[dreamer2020]

@gabon node 不是单线程的么？没有考虑过锁的问题

[dreamer2020]

@qfdk 一次最多会塞 4 万条数据