V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
artandlol
V2EX  ›  NGINX

nginx 日志反导到数据库

  •  
  •   artandlol · 2017-06-20 17:40:24 +08:00 · 3553 次点击
    这是一个创建于 2720 天前的主题,其中的信息可能已经有所发展或是发生改变。

    nginx 日志反导到数据库,有比较好的方案吗? 最近有这个需求,一直没有比较好的方案。

    16 条回复    2017-06-21 13:05:37 +08:00
    liprais
        1
    liprais  
       2017-06-20 17:43:29 +08:00
    自己写个 parser 把你需要的 column 解出来写到数据库里去
    或者找个开源的 parser
    koon_kai
        2
    koon_kai  
       2017-06-20 17:48:56 +08:00
    用 elk?
    artandlol
        3
    artandlol  
    OP
       2017-06-20 18:03:19 +08:00
    @liprais 数据量大,估计处理不了
    @koon_kai elk 估计要用到中间键,搞到数据库这个过程不是很明朗
    dallaslu
        4
    dallaslu  
       2017-06-20 18:06:26 +08:00
    @artandlol 先用流式处理或者集群方式,把原始日志加工一下;然后一次性 load 进库
    prasanta
        5
    prasanta  
       2017-06-20 18:24:01 +08:00 via Android
    elk 就 elk,别纠结了
    cnyang
        6
    cnyang  
       2017-06-20 18:31:02 +08:00
    misaka19000
        7
    misaka19000  
       2017-06-20 18:33:35 +08:00 via Android
    写个脚本定时导入感觉很好了
    hustlike
        8
    hustlike  
       2017-06-20 18:38:34 +08:00
    用 ELK 就不用放到数据库去了……直接存 ELK 里面。你估计只需要一个 ElasticSearch 就够了。
    Cooky
        9
    Cooky  
       2017-06-20 18:41:07 +08:00 via Android
    rsyslog
    yghack
        10
    yghack  
       2017-06-20 18:45:34 +08:00
    ELK
    数据量很大?不需要中间件,直接 filebeat
    ohhe
        11
    ohhe  
       2017-06-20 21:15:38 +08:00
    fluentd
    zhengwenk
        12
    zhengwenk  
       2017-06-20 21:44:58 +08:00
    elk 还有什么不明朗的
    ohblue
        13
    ohblue  
       2017-06-20 22:41:28 +08:00
    filebeat
    willis
        14
    willis  
       2017-06-21 08:41:05 +08:00
    nginx 日志自定义为 json ,然后 elk
    MajorAdam
        15
    MajorAdam  
       2017-06-21 09:37:44 +08:00
    elk
    coolloves
        16
    coolloves  
       2017-06-21 13:05:37 +08:00 via iPhone
    rsyslog 实时传到 es 即可
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2343 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 01:57 · PVG 09:57 · LAX 17:57 · JFK 20:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.