想把日志存入到 es 里面，不使用 Logstash 直接存到 es 可以吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2597 天前的主题，其中的信息可能已经有所发展或是发生改变。

日志量大概一天 200 万的样子，以后可能会变大。

原因：
1.我传入的就是格式化好的 json 数据，看 Logstash 就是对输入的数据格式化输出到 es 里，所以我感觉这个 Logstash 对我没有什么用
2.主要就是担心性能了，那传入 kafka，然后输出到 es，是不是可以？

logstash

格式化

传入

日志量

23 条回复 • 2017-10-13 13:41:27 +08:00

Cooky

2017-10-12 10:18:32 +08:00 via Android

es 可能抗不住，嫌弃 logstash 的话可以试试 rsyslog

Cooky

2017-10-12 10:21:06 +08:00 via Android

哦不对，平均时间的话应该抗得住，集中一块就费尽了

lfzyx

2017-10-12 10:27:55 +08:00

可以的，我就没用 logstash，而是自己用 python 写的

xiaoshengyige

2017-10-12 10:34:59 +08:00

kafka 靠谱。我们线上就这么用的。每天大概 400w+日志，供参考。

hyperdak288

2017-10-12 10:37:05 +08:00

Logstash 性能很差
你可以不用

filebeat 直接怼文件也行

zxc337

2017-10-12 10:44:36 +08:00

直接上 flume 吧

FiveDDD

2017-10-12 10:49:21 +08:00

推荐 flume 和 kafka, logstash 真是性能差

jybox

2017-10-12 12:46:37 +08:00

不需要处理日志的话直接用 filebeat 好了，都是一家的东西，资源占用是 logstash 的十分之一

WispZhan

2017-10-12 13:07:39 +08:00 via Android

有人对比 Graylog 么？

binjjam

2017-10-12 13:09:53 +08:00

我是自己用 python 写脚本导入的，每天 1500~2000W 记录 8~12G

Lax

2017-10-12 13:31:29 +08:00

输出 json 只是替代 logstash 的格式化功能，logstash 还有别的用途。
当然如果不在意数据完整性的话，没必要 logstash 以及 filebeat 或其它的 beat。
如果还想用 kafka 解决这些问题，何必舍近求远呢？

yzmm

2017-10-12 13:37:31 +08:00

用官方的 java 的 API 就可以了

S1ahs3r

2017-10-12 13:41:46 +08:00

filebeat 挺好的,内存 60M 左右跑的起来

mentalidade

2017-10-12 15:04:47 +08:00

@Cooky 时间不固定，中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java，node，NGINX 等很多产生的日志，在考虑是写入文件收集还是写入 kafka，然后输出到 es
@xiaoshengyige 直接写入 es，担心会阻塞住，这个可以
@lfzyx 因为很多方面很多种不同的日志要手机，全部直接写入到 es 不知道会不会导致阻塞严重？

mentalidade

2017-10-12 15:07:07 +08:00

@hyperdak288 Beats 可以 tcp 直接发送业务 log 吗，因为有的不写入到文件，按照固定格式写入