V2EX › viiii 的所有回复 › 第 10 页 / 共 10 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10

❮

❯

2019-08-20 16:13:26 +08:00

回复了 viiii 创建的主题 › 问与答 › [求助] Scrapy 报错 KeyError: 'item'

还有一点比较奇怪, 同样传递方式,在 spider (普通爬虫)里面就一切正常, 换到 crawlspider(通用爬虫)就报 KeyError 错误

2019-08-20 15:04:37 +08:00

回复了 viiii 创建的主题 › 问与答 › [求助] Scrapy 报错 KeyError: 'item'

@warcraft1236
以采集某小说内容为例,
首先在 parse_a 中获取标题 /简介 /作者等信息, yield 给 pipeline 存到数据表 a 中; 再将 item 传递给 parse_b
第二步, 获取章节正文,存到数据表 b 中 (由于章节正文页面不显示书籍标题,只有章节标题,所以存到表 b 中的时候,需要从 parse_a 里传递书籍标题到 parse_b 中)

基本流程就是这个样子,用 crawlspider 第一次遇到这个情况

2019-08-20 12:20:56 +08:00

回复了 viiii 创建的主题 › 问与答 › [求助] Scrapy 报错 KeyError: 'item'

@warcraft1236 打印一下发现确实没有 item,已经在上面追加附言
请问这里该怎么传递 item? 爬取的目标信息分布在不同级别的页面中,无法一次全部获取完整

2019-08-08 16:05:09 +08:00

回复了 KnownsecACT 创建的主题 › 推广 › [内有抽奖回馈] 云安全年度钜惠，安全产品全线优惠！

小本本手写代码练书法?

2019-08-03 17:26:53 +08:00

回复了 viiii 创建的主题 › 问与答 › 关于 Python 的 web 开发求问

小白一个,确实没啥基础,一直当做爱好来学习.
工作,家庭,孩子之外能抽出时间来学一点东西的时间少的可怜,也就不追求啥速度了

不指望用来糊口,只希望能简单易学的出几个作品满足一下

2019-07-01 18:16:03 +08:00

回复了 viiii 创建的主题 › 问与答 › 爬虫遇到一个问题, 请教各位

@boom7 多谢指点,等下班回去试试

2019-07-01 18:13:59 +08:00

回复了 viiii 创建的主题 › 问与答 › 爬虫遇到一个问题, 请教各位

@towser Fiddler 目前还不会用,打算后面学一下

1 2 3 4 5 6 7 8 9 10

❮

❯