从零打造超快本地 KV 存储：mmap + 哈希索引完胜 Redis 的极致优化之旅

从零打造超快本地 KV 存储：mmap + 哈希索引完胜 Redis 的极致优化之旅

开篇：当我决定挑战 Redis

三个月前，我在优化一个实时推荐系统时遇到了瓶颈。系统需要在 10ms 内完成用户画像查询，但 Redis 的网络往返时间（RTT）就占用了 3-5ms。即使使用 Redis Pipeline，批量操作的延迟仍然无法满足需求。

一个大胆的想法浮现：能否在本地实现一个比 Redis 更快的 KV 存储？

经过数周的研发和优化，我基于mmap（内存映射文件）+ 哈希索引实现了一个单机 KV 存储引擎，性能测试结果令人震撼：

今天，我将手把手带你实现这个超快的本地 KV 存储引擎，揭开性能优化的底层秘密。

核心设计：为什么 mmap + 哈希索引如此之快？

设计哲学

1. 零拷贝：mmap 将文件直接映射到内存，避免 read/write 系统调用
2. 本地访问：消除网络 RTT，直接内存操作
3. 高效索引：哈希表 O(1) 查找，远超 B+ 树的 O(log n)
4. 持久化：利用操作系统的页缓存机制，自动同步磁盘

架构设计图

┌─────────────────────────────────────────────┐ │ 应用层 API │ │ get(key) / set(key, value) / delete(key) │ └──────────────────┬──────────────────────────┘ │ ┌──────────────────▼──────────────────────────┐ │ 哈希索引层 │ │ ┌──────────┬──────────┬──────────┐ │ │ │ Bucket 0 │ Bucket 1 │ Bucket N │ │ │ └────┬─────┴────┬─────┴────┬─────┘ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ [Entry] → [Entry] → [Entry] │ │ (key_hash, offset, length) │ └──────────────────┬──────────────────────────┘ │ ┌──────────────────▼──────────────────────────┐ │ mmap 存储层 │ │ ┌────────────────────────────────────┐ │ │ │ Header | Data Block 1 | Block 2 │ │ │ └────────────────────────────────────┘ │ │ ▲ │ │ │ mmap() 映射 │ │ ┌─────────┴──────────────────────────┐ │ │ │ 磁盘文件 (data.db) │ │ │ └────────────────────────────────────┘ │ └─────────────────────────────────────────────┘

第一步：实现 mmap 存储引擎

核心代码实现

# mmap_storage.pyimportmmapimportosimportstructfromtypingimportOptional,TupleclassMmapStorage:""" 基于 mmap 的存储引擎 文件格式： ┌──────────────┬──────────────┬─────────────┐ │ Header (64B) │ Data Block 1 │ Data Block 2│ └──────────────┴──────────────┴─────────────┘ Header: - magic (4B): 魔数，用于文件校验 - version (4B): 版本号 - data_offset (8B): 数据起始位置 - data_size (8B): 已使用的数据大小 - reserved (40B): 保留字段 Data Block: - length (4B): 数据长度 - data (variable): 实际数据 """HEADER_SIZE=64MAGIC=0x4B564442# "KVDB" in hexVERSION=1INITIAL_SIZE=1024*1024*100# 100MB 初始大小def__init__(self,filepath:str):self.filepath=filepath self.file=Noneself.mmap=Noneself._initialize()def_initialize(self):"""初始化或打开存储文件"""# 创建或打开文件is_new=notos.path.exists(self.filepath)self.file=open(self.filepath,'r+b'ifnotis_newelse'w+b')ifis_new:# 新文件：初始化 header 并预分配空间self.file.write(b'\x00'*self.INITIAL_SIZE)self.file.flush()# 写入 headerheader=struct.pack('<IIQQ40s',self.MAGIC,self.VERSION,self.HEADER_SIZE,# data_offset0,# data_sizeb'\x00'*40# reserved)self.file.seek(0)self.file.write(header)self.file.flush()# 创建内存映射self.mmap=mmap.mmap(self.file.fileno(),0)# 验证文件格式ifnotis_new:self._validate_header()def_validate_header(self):"""验证文件头"""self.mmap.seek(0)magic,version=struct.unpack('<II',self.mmap.read(8))ifmagic!=self.MAGIC:raiseValueError(f"无效的文件格式：magic ={magic:08x}")ifversion!=self.VERSION:raiseValueError(f"不支持的版本：{version}")def_get_data_size(self)->int:"""获取已使用的数据大小"""self.mmap.seek(16)returnstruct.unpack('<Q',self.mmap.read(8))[0]def_set_data_size(self,size:int):"""设置已使用的数据大小"""self.mmap.seek(16)self.mmap.write(struct.pack('<Q',size))defwrite(self,data:bytes)->int:""" 写入数据，返回偏移量 Args: data: 要写入的数据 Returns: 数据在文件中的偏移量 """data_size=self._get_data_size()offset=self.HEADER_SIZE+data_size# 检查是否需要扩展文件required_size=offset+4+len(data)current_size=self.mmap.size()ifrequired_size>current_size:self._expand(required_size)# 写入数据长度self.mmap.seek(offset)self.mmap.write(struct.pack('<I',len(data)))# 写入数据self.mmap.write(data)# 更新 data_sizeself._set_data_size(data_size+4+len(data))returnoffsetdefread(self,offset:int)->bytes:""" 从指定偏移量读取数据 Args: offset: 数据偏移量 Returns: 读取的数据 """self.mmap.seek(offset)# 读取长度length=struct.unpack('<I',self.mmap.read(4))[0]# 读取数据returnself.mmap.read(length)def_expand(self,new_size:int):"""扩展文件大小"""# 计算新的大小（按 2 倍增长）current_size=self.mmap.size()target_size=current_sizewhiletarget_size<new_size:target_size*=2print(f"扩展文件：{current_size/1024/1024:.2f}MB →{target_size/1024/1024:.2f}MB")# 关闭当前 mmapself.mmap.close()# 扩展文件self.file.seek(target_size-1)self.file.write(b'\x00')self.