基于LSM的Key-Value数据库实现WAL篇

基于LSM的Key-Value数据库实现WAL篇

  上篇文章简单的实现了基于LSM数据库的初步版本,在该版本中如数据写入到内存表后但还未持久化到SSTable排序字符串表,此时正好程序崩溃,内存表中暂未持久化的数据将会丢失。

引入WAL

  为了解决上述问题,将引入数据库中常用于解决类似问题的方法:WAL(Write Ahead Log)预写式日志——在计算机科学中,WAL(预写式日志)是数据库系统提供原子性和持久性的一系列技术;也就是说WAL用于保证数据操作的原子性和持久性;
  不同组件、数据库所使用的WAL实现也有所差异,MySQL、Sqlite、Postgresql、Etcd、Hbase、Zookeeper等都有自己的WAL机制实现;

  在MySQL中是通过Redo、Undo日志实现WAL,当MySQL崩溃后重启时,可以通过Redo重做日志对尚未持久化的操作进行Redo,Undo为撤销操作,MySQL崩溃后可时系统恢复一致的状态;
  在etcd中数据目录下有子目录:wal与snap,两个目录都是WAL机制所产生的;
  1、wal目录存放的数据是记录整个数据库变化过程,数据修改前都需先写WAL文件;
  2、Snap目录存放的是当etcd的wal文件过多是所生成的数据快照文件;

LSMDB的WAL机制实现

一、数据写入

  写入数据时先往WAL文件写入再将数据写入内存表,当内存表数据达到某个阈值进行数据持久化后,将WAL文件清空,此WAL只存储尚未持久化的数据;代码如下:

   /**
设置键值
  */
func (l *LSMStore) Set(key string, value string) {
    var cmd = &SetCommand{Command{1}, key, value}
    //写入wal
    writer := bufio.NewWriter(l.walFile)
    cmdBytes, _ := json2.Marshal(cmd)
    cmdLen, _ := IntToBytes(len(cmdBytes), 4)
    writer.Write(cmdLen)
    writer.Write(cmdBytes)
    err := writer.Flush()
    if err != nil {
        return
    }
    //写入内存表
    l.memoryTable.Put(key, cmd)
    if l.memoryTable.Size() > storeThreshold {
        l.switchTable()
        l.toSSTable()
    }
}

  与之前的区别只在于先写wal文件再写内存表,在switchTable方法中切换内存表的同时切换新旧WAL文件,用于保证与持久化内存表机制是一致的。持久化删除上一步所切换出来的WAL文件;

二、数据恢复

  程序每次启动时都会检查是否有WAL文件存在,如存在WAL则说明程序上一次时异常关闭退出,此时将加载WAL文件,并将WAL数据还原到内存表中;
在还原数据到内存表时还需检查内存表数据是否达到预设的阈值,超过则将其写入到持久化磁盘文件当中;

WAL还原

  上次留下的四大坑,此处填了一个坑,还有三大坑待解决:
  1、索引问题
  2、SSTable合并问题
  3、单机版本问题;

hmoban主题是根据ripro二开的主题,极致后台体验,无插件,集成会员系统
自学咖网 » 基于LSM的Key-Value数据库实现WAL篇