V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
linqianqiu
V2EX  ›  程序员

轻松收集日志的方法

  •  
  •   linqianqiu ·
    linqianqiu · 2017-08-10 18:53:56 +08:00 · 3498 次点击
    这是一个创建于 2667 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在采用的收集日志的方法是:

    使用 logstash input file 收集日志文件,然后 output 到 elasticsearch 中,最后在 kibana 中查看。

    这样做如果服务器比较少,倒是没问题的,但是现在日志文件很多,而且分散在不同的服务器,就会导致收集日志需要配很多遍环境和配置文件。

    有没有一种能轻松收集日志的方法或类似的系统,不需要在服务器配置环境和配置文件,直接运行一个程序,然后在指定的系统中配置信息,就能把数据导入到 elasticsearch 中,可视化查看数据的。

    10 条回复    2017-08-11 13:16:15 +08:00
    Rand01ph
        1
    Rand01ph  
       2017-08-10 19:34:30 +08:00 via iPhone
    rsyslog
    lxf1992521
        2
    lxf1992521  
       2017-08-10 21:18:16 +08:00
    graylog
    chinvo
        3
    chinvo  
       2017-08-10 21:20:31 +08:00   ❤️ 1
    rsyslog + logstash 可以直接入 elastic

    然后用 kibana 查看就简单多了吧

    之前有做过收集路由设备的 log 做分析的项目

    参考链接: https://www.digitalocean.com/community/tutorials/how-to-centralize-logs-with-rsyslog-logstash-and-elasticsearch-on-ubuntu-14-04

    另:Google 一下很容易知道
    idamien
        4
    idamien  
       2017-08-10 22:01:49 +08:00
    直接 kibana web service 写入就好了啊
    idamien
        5
    idamien  
       2017-08-10 22:06:28 +08:00
    你说的是服务器日志 还是 APP 日志

    如果是服务器运行日志 , 可以使用 zabbix 进行全局监控,集成 kibana


    如果是 app 运行日志, 可以直接通过配置 kibana WS 地址,多个 apps 可实现通过远程写入 kibana
    linqianqiu
        6
    linqianqiu  
    OP
       2017-08-11 09:22:19 +08:00
    @chinvo 业务日志好像不能这么做吧
    linqianqiu
        7
    linqianqiu  
    OP
       2017-08-11 09:27:48 +08:00
    @idamien 是服务器日志,我看看 zabbix 全局监控
    234747005
        8
    234747005  
       2017-08-11 09:53:07 +08:00
    filebeat - elastic - kibana
    chinvo
        9
    chinvo  
       2017-08-11 12:02:03 +08:00 via iPhone
    @linqianqiu MySQL、Apache、Nginx 等支持 syslog 的,都可以用 rsyslog 转发去 logstash
    huangfs
        10
    huangfs  
       2017-08-11 13:16:15 +08:00
    scribe?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1166 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 19:00 · PVG 03:00 · LAX 11:00 · JFK 14:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.