V2EX › iyaozhen 的所有回复 › 第 178 页 / 共 230 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 174 175 176 177 178 179 180 181 182 183 ... 230

❮

❯

2016-03-03 16:41:11 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@yuankui 嗯，谢谢。应该实现多看看业界是怎么搞的。不能自己瞎搞，关键是自己还很菜。

2016-03-03 16:31:42 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@ango 嗯嗯，日志转存这个其它地方也在做。主要是现在还有对数据流监控的需求。

2016-03-03 16:27:51 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@realpg 试过，然后数据库扛不住了。 233333

2016-03-03 16:27:21 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@zeeler 谢谢，正在调研。 mongodb 没怎么实际用过，主要是怕从一个坑跳到另一个坑中。

2016-03-03 15:50:08 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@lynnworld 流量， 6MB/s （高峰）。一天差不多快 10 亿条日志了。

2016-03-03 14:48:50 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@fds 线上几十上百台机器，还在不同机房，每个机器还有 10+的模块，还是比较蛋疼，而且还要其它一些需求，比如定位查询结果可视化等。

2016-03-03 14:45:06 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@tabris17 这东西听说过，我研究下。

2016-03-03 14:44:15 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@kier 业务埋点数据，一个用户请求会过服务器很多模块，每个模块都会打日志，所以量比较大。

2016-03-03 14:43:14 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@lynnworld 是批量的。两者都比较多。抱歉，这里没做具体的统计。
因为是批量解析 10w 条日志，还要分库分表。其实单次 insert 还比较快，但并发高，数据库会锁表，有些请求就等待了。

2016-03-03 14:35:55 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@yahoo21cn 用 myisam 存储的原因我已经说了， innodb 也试过，主要还是数据占用磁盘空间大，统计慢。「单独一个进程每秒读取该进程一次写入数据库。」我现在就是这样，已经 300+的进程在跑， redis 还是爆了。我不光是要入库，还要做一些实时聚合。

2016-03-03 14:32:40 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@lxf1992521 非常感谢，已经在看 elasticsearch 了，其实我也是用的 ELK 这一套，只是因为一些历史原因，只用了一部分。 graylog 这还没接触过，我看看。

2016-03-03 14:30:33 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@kier 谢谢，我看看 mongodb ，对这个不是太了解。估计可行

2016-03-03 14:29:16 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@swolf119 不只是数据统计，主要还是用于定位问题。

2016-03-03 14:28:10 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@jimrok 这个我也想过。但是还是数据量太大暂存的文件太多（应为分库分表了， load 的时候需要按库和表把文件生成好），会把磁盘的 inode 用完。

2016-03-03 14:24:31 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@fds 额，确实需要原始数据做查询，用于定位问题。还要至少存一周

2016-03-03 13:00:43 +08:00

回复了 yanyandenuonuo 创建的主题 › PHP › 所以现在有多少生产环境用上了 PHP7？

其实这些都是虚的还有要靠测试说话。线上引流，小流量机制，这些都是很重要的。没有这些的话先线下测试，然后低流量时上一台机器试试。

2016-03-03 01:16:12 +08:00

回复了 yanyandenuonuo 创建的主题 › PHP › 所以现在有多少生产环境用上了 PHP7？

问这个没有意义呀。能上就上

2016-03-01 12:28:47 +08:00

回复了 polandeme 创建的主题 › 程序员 › 好想要一个 coding 的抱枕, 抱枕送妹子,书包自己用~

助攻学弟一发(ง •̀_•́)ง

2016-02-29 15:05:55 +08:00

回复了 billion 创建的主题 › 奇思妙想 › 写一句话在这里，下一个 2 月 29 号来看

@dreamcountry 会有很多人的吧。到时会有人挖坟的。哈哈

2016-02-29 15:05:13 +08:00

回复了 billion 创建的主题 › 奇思妙想 › 写一句话在这里，下一个 2 月 29 号来看

T6
买车(这个主要看摇号人品了)，自驾游
结婚

1 ... 174 175 176 177 178 179 180 181 182 183 ... 230

❮

❯