V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fxxkgw
V2EX  ›  Elasticsearch

rsyslog+elasticsearch 日志收集系统

  •  
  •   fxxkgw · 2015-06-25 16:54:50 +08:00 · 5168 次点击
    这是一个创建于 3432 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想用最新的rsyslog通过omelasticsearch插件把nginx日志收集整理放到elasticsearch内,再用kibana分类展示。
    之前数据是通过logstash做的解析分割,现在想用rsyslog+omelasticseach代替logstash,有用过这种方式的么?

    7 条回复    2015-06-26 12:11:09 +08:00
    eggegg
        1
    eggegg  
       2015-06-25 17:31:51 +08:00
    ELK这么成熟的方案,用rsyslog有何优势?
    wych
        2
    wych  
       2015-06-25 18:02:17 +08:00
    针对你的问题,我只能回答:有。
    fxxkgw
        3
    fxxkgw  
    OP
       2015-06-25 18:17:23 +08:00
    @eggegg
    现有流程是rsyslog收到数据存到redis logstash从redis取数据切割后放到elasticsearch内 现在想用rsyslog的omelasticsearch插件直接将数据接收后放入elasticsearch 相当于砍掉了redis和logstash。看效率和机器负载会不会好一些。


    @wych
    兄弟莫惜字如金哈 有方案可以一起交流咯。。
    ksupertu
        4
    ksupertu  
       2015-06-25 20:29:44 +08:00
    新浪的日志解析系统就是这样的,搜索三斗室的博客
    billzhuang
        5
    billzhuang  
       2015-06-25 21:54:55 +08:00
    logstash可以设置成input为nginx log file, output 设置成elasticsearch啊
    wych
        6
    wych  
       2015-06-26 10:20:25 +08:00
    @fxxkgw 先定位负载的瓶颈在哪里然后在找解决方案啦
    xderam
        7
    xderam  
       2015-06-26 12:11:09 +08:00
    楼主可以加那个logstash群问....
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1874 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:30 · PVG 00:30 · LAX 08:30 · JFK 11:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.