这是一个创建于 2827 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前在 V2EX 上问了一个关于 elasticsearch 的问题，得到了大家的热情帮助，真是很感动！
最近又遇到一个问题，就是有几亿条的 csv 格式数据（分成了几十个 csv 文件，每个文件有几个字段，用逗号隔开的），想快速的把这些数据导入到 elasticsearch 。之前用的是 logstash ，但是感觉太慢了，每秒也就几百个，估计跟机器性能有关。
针对这种的问题，请问大家有没有更快的导入办法？具体怎么操作呢？
最近又遇到一个问题，就是有几亿条的 csv 格式数据（分成了几十个 csv 文件，每个文件有几个字段，用逗号隔开的），想快速的把这些数据导入到 elasticsearch 。之前用的是 logstash ，但是感觉太慢了，每秒也就几百个，估计跟机器性能有关。
针对这种的问题，请问大家有没有更快的导入办法？具体怎么操作呢？
4 条回复
 |
1
klxq15 2017-03-24 06:52:02 +08:00 via Android
用 python 写个 bulk insert
|
 |
2
findex 2017-03-24 08:18:07 +08:00 via iPhone
给你看看一个好工具 github.com xros jsonpyes 你可能需要把 csv 手动转换成 json 格式，方可分块多线程导入。
|
Select Language