@a65420321a pipeline 只能拿到 Item，也就是你从结果中拿到的数据。加代理要在请求被 downloader 处理前，自定义 downloader middleware 即可。

兄弟，翻翻教程和文档好吗？教程的话推荐《 Python 3 爬虫开发实战》的最后几张 scrapy 讲解，介绍了 scrapy 架构。重要的是带了很多可以生产直接使用的实例。之后读完文档就可以随意用了。

@a65420321a 按照我定义 RedisPipeline 类的方法再定义一个 ProxyPipeline 基类。自己创建的 MyPipeline 同时继承这 2 个类即可。我自己使用方式是在 Pipeline 中同时使用 redis 和 database 连接。

我的思路是

1. 每个 Pipeline 一个 redis 连接。由于不明白 pipeline 工作原理（并发？并行？），不确定要不要开连接池。
2. pipeline 上没有 redis 连接。直接绑在 Spider 上, Pipeline.process(self,item,spider) 可以访问到 spider 上的 redis 连接。这个恐怕需要连接池，大小不知道设置多少合适。

@a65420321a 接着。https://gist.github.com/laggardkernel/0489ac1ef6ee74839ef545c7d72e085e

@zdnyp 搭车问一下。我目前也是基类，每个 pipeline 绑定一个 Redis connection 。不过不太明白 itempipeline 工作原理，itempipeline 支持并行还是并发，pipeline 上单一 Redis 连接后用吗，要必要开连接池？

另外实际上 Redis 连接也能绑在 spider 上。spider 应该只有一个实例，异步的话是不是需要 redis 连接池？ Redis 连接到底跟着谁比较好。

scrapy 文档里 architecture 解释的太简单了。

@billytom 理论上是 DoH 比 DoT 慢吧。DoT 我只用 stubby，可以重用连接，谷歌 8.8.8.8 60ms 内可达。前边再配合 chinadns 或者其他分流。

新人培训随便找篇文章就得了。自己研究读 pro git，拿 githug （没有拼错） 做练习。

这算哪门子暴击，我还以为你强迫症犯了把系统 Python 卸载了。

有可能。键盘那一面也有发热。

放弃吧，你做不了，这需要理论基础。

不要买蓝牙版，信号干扰导致连击严重。

35 克非常爽。一开始觉得非常#那个傻逼容易误按，后来觉得其他机械轴都太重。这 35 就是蜻蜓点水的感觉。

@gqbre 是的，有 SIP 只能选择重启。不过处罚这个 bug 机率非常小，可能和开着全局代理时切换网络有关。

没用，这狗玩意本来就散热查，再有 i9 加持久更爽了。你可以试试关 turbo boost 。

遇到过 3 次，不知道如何触发的。因为有 SIP，没办法重启 mDNSRespomder 。killall -HUP 无效。

@cheny95
https://i.imgur.com/Md8N85t.jpg

Sublime Merge 只在 Linux 用过，还算可以，同样不喜欢其分支显示方案。和 Tower 一样，这样的分支显示方式没办法查看多条分支走向。
Sublime Merge 用来在 Linux 做合并还不错，没有类似 Gitkraken 的性能问题。

Tower 就是狗屎，没有内置 diff 。外置 diff 现在基本是个 GUI git 都支持。傻逼一样的分支管理。
@kaifang @seaswalker @xiangchen2011 @gesse @louiswang002 大家来开撕

git-fork 最佳，内置冲突处理，图形化 interactive rebase 亮瞎你的狗眼，吊炸天。

sourcetree 也凑合，就是每个大版本抛弃一个 macos 版本支持。

以下不推荐：
gitkraken，electron 放到后台还是有 CPU 占用。分支太多显示不了，会挤成一条线。

tower，WQNMLGB 。吹，接着吹。没有内置 diff （任意 commit 之间）。垃圾一样的分支筛选，点击一个分支名竟然是筛选当前分支与主分支进行对比，正常来说这个动作是跳转到分支头。还有操蛋的 diff 展开，由于没有文件树，你想要收起来必须一直向上滚到文件户位置。总之，就是 CTMD，忽悠傻子的软件。