V2EX › liprais 的所有回复 › 第 146 页 / 共 168 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 142 143 144 145 146 147 148 149 150 151 ... 168

❮

❯

2016-04-12 08:30:36 +08:00

回复了 oglop 创建的主题 › Linux › 渲染农场有一大堆的 log，应该用什么工具来快速的搜索／统一管理？

我公司用的 splunk

2016-04-11 15:11:00 +08:00

回复了 youchoudeyu 创建的主题 › 问与答 › 处理数据量较大的项目一般会用哪套语言和工具？

100w 自己装个 mysql 很随意的

2016-03-18 13:07:48 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

@anonymoustian
YOUR_SPARK_HOME/conf
拷到这个目录下就行了

2016-03-18 11:02:26 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

@anonymoustian
"Configuration of Hive is done by placing your hive-site.xml, core-site.xml (for security configuration), hdfs-site.xml (for HDFS configuration) file in conf/. Please note when running the query on a YARN cluster (cluster mode), the datanucleus jars under the lib directory and hive-site.xml under conf/ directory need to be available on the driver and all executors launched by the YARN cluster. The convenient way to do this is adding them through the --jars option and --file option of the spark-submit command."
把上述三个文件(hive-site.xml,core-site.xml,hdfs-site.xml)拷到 spark 的 conf 下面就行了
然后读写的时候代码如下

// sc is an existing JavaSparkContext.
HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc);

// Queries are expressed in HiveQL.
sqlContext.sql("select * from YOUR_HIVE_TABLE_NAME").collect();

2016-03-18 09:26:16 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

@anonymoustian

SparkConf conf = new SparkConf().setAppName("JavaRFormulaExample");
JavaSparkContext jsc = new JavaSparkContext(conf);
HiveContext hiveContext = new HiveContext(jsc);

2016-03-18 09:00:15 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

文档看了么?
把 hive 的配置拷到 conf 下面，再 new 一个 hivecontext 就可以了

2016-03-17 16:50:59 +08:00

回复了 shawnall 创建的主题 › 云计算 › 腾讯云 · 升级公告— Linux 系统盘容量升级&弹性扩容公告

从去年八月骂到现在，终于上线了

2016-03-17 11:16:03 +08:00

回复了 garyzhang 创建的主题 › 问与答 › 大公司究竟比小公司强在哪里？

大公司你做的产品可能出错了客户就要上门来砍死你,感受一下
小公司出错了可能你都不知道

2016-03-15 14:03:54 +08:00

回复了 madfrog1984 创建的主题 › Hadoop › 15 台规模的 hadoop 集群的机器的硬件配置选择问题

aws 搞定收工