这是一个创建于 3148 天前的主题，其中的信息可能已经有所发展或是发生改变。
hdfs 有一堆 gzip 文件， spark 读入后进行 map 做数据转换后，因为 gzip 文件不能分片，所以并行度是 1 。通过 RDD.saveAsTextFile(path)输出到 hdfs
遇到的问题： path 实际是输出的文件目录名，而真实的输出文件名为 part-00000.gz 。希望能得到输出文件名是 xxx.gz 而不是 part 前缀的文件名,大家有方法可以提供吗？最好有 Python 实现
 |
1
MasterC 2016-04-13 23:15:27 +08:00
自定义 XXXOutPutFormat ，重写 getRecordWriter 方法，主要是在创建 DFSOutPutStream 的时候，手动指定输出文件名称，这样就可以实现自定义输出文件名了。我在 MR 里面是这么干的，应该也是可以引入到 spark 里面。
|
Select Language