HBase 的 WAL 日志存在意义

[modkzs]

新手小白刚刚开始学习 Hbase 。昨天了解到 Hbase 在写入时会将数据写入 WAL 和 Memstore ，突然对 WAL 在 Hbase 的存在意义产生了疑问。 Hbase 没有索引和事务，那么 WAL 存在感觉并没有什么用处啊？如果是容灾的话，在写入 WAL 时服务器挂掉照样没法修复啊？这样每次写入数据时都要先进行一次 WAL 的 IO 操作，还不如直接对 Hbase 的数据文件进行 IO 操作。这样大大简化读取和写入的操作流程。 Hbase 引入 WAL 的目的是什么？

[anexplore]

如果 memstroe 中的数据还没 flush ，宕机就丢失了；可以用 wallog 恢复吧

[modkzs]

@anexplore 如果写入 WAL 的时候服务器出问题了，数据还是会丢失吧

[anexplore]

@modkzs wal 存储在 hdfs 上，它是一种保险机制，有它丢失数据概率降低。也可以选择关闭写 log

[yuankui]

HBase 只有在 WAL 写成功了之后才会对客户端做出承诺说数据谢成功了,如果 WAL 写失败了,客户端会收到报错,这个时候丢数据,是客户端的事,干服务端没关系,可以通过客户端重试解决.

丢数据是, 承诺了存储好的数据,后来去查不到了,这才叫丢数据.

[modkzs]

@yuankui 如果是这样的话，也可以在写入数据文件之后对客户端承诺写入成功，并不需要 WAL 啊

[anexplore]

hbase 写数据是先放在内存里的，到达一定量后才 flush 到存储。如果没 flush 之前，机器挂了，内存中的数据就丢失了。如果写了 WAL 那么其他机器就可以根据 log 恢复数据。
WAL 是影响性能的，你可以选择关闭 WAL ，你可以选择关闭 WAL ，你可以选择关闭 WAL

[yuankui]

先看看书吧.