V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hujianxin
V2EX  ›  程序员

增加爬虫爬取速度的方式叫并行还是并发呢?

  •  
  •   hujianxin · 2016-09-03 21:08:47 +08:00 · 2710 次点击
    这是一个创建于 2817 天前的主题,其中的信息可能已经有所发展或是发生改变。

    问大家个问题,增加爬虫爬取速度的方法是并行呢还是并发呢?这两者有什么区别吗?

    7 条回复    2016-09-04 22:22:23 +08:00
    huntzhan
        1
    huntzhan  
       2016-09-03 21:13:53 +08:00
    metrue
        2
    metrue  
       2016-09-03 21:34:18 +08:00 via Android
    并发是思想,并行是实现。
    visionsmile
        3
    visionsmile  
       2016-09-03 21:39:35 +08:00
    摘自 CSAPP :并发是一个通用的概念,指一个同时具有多个活动的系统;而并行,指的是用并发使一个系统运行的更快。并行可以在计算系统的多个抽象层次上运用。
    kindjeff
        4
    kindjeff  
       2016-09-03 21:48:35 +08:00
    并行是指物理上的同时发生,并发是指一段时间内的同时发生(逻辑上的同时发生)—— BY 我的操作系统老师。如果这个定义是对的,那么爬虫由你 CPU 的四个核同时处理的四线程是并行;在一个线程等待 IO 时另一个线程占据了资源这两者是并发。
    laoyuan
        5
    laoyuan  
       2016-09-04 10:01:57 +08:00
    应该是并发吧, CPU 个数就那么多,但你同时可以发起 100 个网络请求
    hujianxin
        6
    hujianxin  
    OP
       2016-09-04 11:12:38 +08:00
    @laoyuan 好像是这么个意思,我昨天晚上想到两点,查各种博客,稍微有点感觉了。
    petelin
        7
    petelin  
       2016-09-04 22:22:23 +08:00 via Android
    并行是 赛车,并发是流水线洗车,完了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1606 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 17:06 · PVG 01:06 · LAX 10:06 · JFK 13:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.