spark 是个什么玩意？可以用来干嘛？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2850 天前的主题，其中的信息可能已经有所发展或是发生改变。

5 条回复 • 2016-07-30 09:09:44 +08:00

DingSoung

2016-07-29 23:40:09 +08:00

集群

ooonme

2016-07-30 00:44:24 +08:00 via iPhone

分布式计算，机器学习，人工智能

shakespaces

2016-07-30 00:46:21 +08:00 via Android

类似于 hadoop 的另一种实现，主要用 scala ，不过还不是非常的成熟

yyfearth

2016-07-30 08:35:53 +08:00

@shakespaces 虽然都是大数据处理引擎但是和 Hadoop 还是很不一样的
Hadoop 一般用来后期处理数据而 Spark 更偏向于实时处理
应用场景不完全一致所以不应该说是 “类似于 hadoop 的另一种实现”
虽然很多简单的情况两种都能做

xiamx

2016-07-30 09:09:44 +08:00

@shakespaces 不对的。已经很成熟了。百度，淘宝， Amazon ， Ebay 都部署了生产级别的 Spark 集群 https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark