scrapy 爬虫采集多个站点，会不断增加站点，如何工程化项目呢 是把全部站点的爬虫写到一个 scrapy 还是每个站点都创建一个 scrapy 工程？

[qfly]

简单的办法是一个站点一个 然后挂在 scrapyd 下 ，crontab 触发或者外部网站都可以触发，数据进数据库不同表。 由于每个站点内容不一样 很难统一数据库表结构。如果数据类似 那么就将所有数据写入同一批表，用关键词区分不同网站。当然你能将整理出规则，那也是可行的，数据库就设计的复杂点，定义元数据，根据要求写入不同表。但如果没几个网站这样做不值得。

[EndlessMemory]

每个站一个

[Pepsigold]

@qfly 大佬逻辑清晰，受教了！