家里的电脑24小时跑爬虫，XP系统下Apache不稳定，三天两头重启，如何破？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4279 天前的主题，其中的信息可能已经有所发展或是发生改变。

XP系统不能换，因为是在家里用的电脑。感觉无解，因为没啥规律，有时5天Apache才完蛋一次，有时一小时两次。。。。所以只能上虚拟机装Linux系统了？
在虚拟机里就跑Apache + PHP，或者Nginx + PHP，数据库MySQL放外边就行。。我机子上有VMware~

[Mon Mar 11 04:41:33 2013] [notice] Parent: child process exited with status 3221225477 -- Restarting.
[Mon Mar 11 04:41:35 2013] [notice] Apache/2.2.4 (Win32) PHP/5.2.11 configured -- resuming normal operations
[Mon Mar 11 04:41:35 2013] [notice] Server built: Jan 9 2007 23:17:20
[Mon Mar 11 04:41:35 2013] [notice] Parent: Created child process 135288
[Mon Mar 11 04:41:36 2013] [notice] Disabled use of AcceptEx() WinSock2 API
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Child process is running
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Acquired the start mutex.
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Starting 250 worker threads.
[Mon Mar 11 04:41:36 2013] [notice] Child 135288: Listening on port 80.

第 1 条附言 · 2013-03-15 19:48:51 +08:00

重启时报错弹框：内存不能为read。。。这种情况偶然出现的话，我认为是基本无解。。。

notice

Mon

36 条回复 • 1970-01-01 08:00:00 +08:00

laoyuan

2013-03-12 09:07:47 +08:00

决定今天晚上先装个nginx试试再说！

wy315700

2013-03-12 09:08:33 +08:00

试试2003

for4

2013-03-12 09:26:04 +08:00

加个进程守护, 挂/死了自动重启进程
用PHP抓? 强烈建议改成NodeJS/Python/Golang

laoyuan

2013-03-12 09:34:01 +08:00

@for4

无奈啊，主要精力在业务上，写的程序就是得过且过~~

ergatea

2013-03-13 01:30:40 +08:00

虚拟机嘛

sohoer

2013-03-13 01:33:28 +08:00

@laoyuan 要不借个爬虫给你用用

bixuehujin

2013-03-13 01:42:23 +08:00

可以试试在命令行下跑PHP（如果方便的话）。

thbourlove

2013-03-13 09:57:15 +08:00

跑个爬虫还要开apache，我表示无法理解。。

sarices

2013-03-13 10:42:18 +08:00

对啊，不能命令行运行吗？

laoyuan

2013-03-13 11:03:00 +08:00

命令行就不会重启么。。。。

laoyuan

2013-03-13 11:03:54 +08:00

@thbourlove
Nginx还可以接受吧？

hulk

2013-03-13 12:54:05 +08:00

@laoyuan 。。。命令行哪来的重启..

laoyuan

2013-03-13 15:05:32 +08:00

@hulk 啊哈哈我明白了，命令行方式不需要apache对吧！！

davidzhang

2013-03-13 15:10:53 +08:00

还是试试nginx吧

davidzhang

2013-03-13 15:14:32 +08:00

@thbourlove 哈哈，你说的在理，我也不明白，爬虫用开apache，我就知道用数据库就好了

shiny

2013-03-13 16:04:33 +08:00

我有个想法，就是用树莓派来跑爬虫，还省电。

molinxx

2013-03-13 16:07:05 +08:00 via Android

apache这东西在win下真心不行。。。

sohoer

2013-03-13 18:18:50 +08:00

@shiny 已经买树莓派了，看看我的采集器在树莓派上跑得欢不欢。

bengle

2013-03-13 18:50:27 +08:00

重装系统ubuntu

laoyuan

2013-03-13 19:05:53 +08:00

@sohoer 听说树莓派不大稳定，会死机，你当小白鼠先~

sohoer

2013-03-13 20:20:06 +08:00

@laoyuan 呵呵，那真的当小白鼠了

hulk

2013-03-13 20:26:46 +08:00

@laoyuan 哈哈是的 apache到底也是命令行,只是对资源做管理..403是权限问题...curl支持basic还有cookie认证这个好解决了

lookhi

2013-03-13 20:27:54 +08:00

@sohoer 跑不动吧这个性能会急死人的

laoyuan

2013-03-14 14:04:06 +08:00

@davidzhang
Nginx在win下跑PHP貌似更是无解，我今天早上安装之后，发现每次只启动一个php-cgi进程，只能同时处理一个php请求，也就是说，只能跑一条爬虫。。。

laoyuan

2013-03-14 14:09:53 +08:00

尽管网上有很多Win系统装 Nginx + PHP 的教程，但装完之后实际上都是单php-cgi进程处理php请求，完全没有并发。。。如果只是简单的启动多个php-cgi进程，反正我测试无效，还是单进程。。。

shiny

2013-03-14 14:13:49 +08:00

@laoyuan 以前做过nginx+php在windows下的集成环境，最严重的问题是：如果你按住F5,php进程就有可能退出，需要启用额外的监控进程，例如 xxfpm。

另外也在服务器环境下跑过windows+apache，常常有奇奇怪怪的问题。最好还是Linux下跑，如果非要windows，用IIS也不错（推荐服务器版操作系统）。

laoyuan

2013-03-14 15:14:40 +08:00

好吧，虚拟机ubuntu，晚上就装！！

sohoer

2013-03-14 20:50:58 +08:00

@laoyuan
@shiny
呵呵，已经在树莓派上跑起来了，是有点慢，不过还算稳定的运行着

sohoer

2013-03-14 20:54:28 +08:00

http://bcs.duapp.com/picstore/XvE9VyZhte.jpg

zyAndroid

2013-03-14 21:02:28 +08:00

你们都用爬虫爬什么？

perrywky

2013-03-14 22:36:07 +08:00

爬虫和apache有什么关系？爬自己？

laoyuan

2013-03-15 05:25:53 +08:00

@zyAndroid 爬京东亚马逊的价格，因为我是做比价站的。。。
http://www.jiabibi.com/

@perrywky 因为我只会简单的PHP，所以我同时启动多个php实现伪多线程，另外写了一个页面在浏览器打开对这些php进行启动、停止、监测等等。。。用web进行管理感觉就是高级~~

thbourlove

2013-03-15 08:56:23 +08:00

@laoyuan 搞半天我总算明白你为啥要开APACHE了。。就是为了用web进行管理感觉“高级”一点。。。

likuku

2013-03-15 12:05:20 +08:00

树莓派+1

mozutaba

2013-03-15 13:08:25 +08:00

我想知道采集来干什么。
我打算爬种子。

lookhi

2013-03-15 13:31:55 +08:00

@sohoer 感觉像火车头啊