@jiecuoren Good,I'm on the top of the world!

@zzzvvvxxxd 太谦虚了， v 站里面大把只过了四级号称英文无压力的。

@ChaosTong 学历：毕业 是什么鬼。。。

三个项目名称排版都不对

@chzyer 事实上是不小心删掉了 /private/var/tmp 跟同事的 mac 对比后才发现的 新建文件夹 给权限 就好了

已经解决 mkdir /private/tmp && chmod 777 tmp &&chmod +t tmp

@wwwjfy 都没问题啊~

@pimin brew
可以了 但是不知道其他 tmp 的问题是怎么回事。。。

有功夫说这么多不如好好给楼主道个歉。

月经贴。

hash 这个问题很有意思，我是直接把头部字段中的所有信息都提取出来用 hash.update 了一下来去重的。

@fengxiang 说明 schedule 里面的 request 太多了, 使用 Debugging memory leaks with trackref 看一下，或者设置下爬取页面上限， scrapy 有接口

@fengxiang ctrl + c 只按一次可以停止并返回当前爬取的结果

@guolingbing 一般都这样写啊，写多了就适应了，我一开始写爬虫 parse 也长的可怕，后来就拆分了。

yield 一个 request ， 设置不同的回调 parse

@knightdf 额 我记得直接 timeout 导致 connection close 了

@ffwalle 框架方便了我们这些初级码农写一些还不算太糟糕的爬虫，不过越写越发现确实很多地方被框架所限，谢谢你的建议~

@knightdf 试过，直接 timeout 了 ，太慢了

@chinvo 是个不错的建议，我再想想，谢谢~