Google文件系统 (GFS)
Google文件系统（Google File System，简称GFS）是由Google设计的大规模分布式文件存储系统，核心目标是为海量数据提供高吞吐量、高容错、低成本的存储解决方案。以下是其核心特性与架构设计要点：
1.核心架构
系统采用中心化主从式结构：
- 主节点（Master）：负责全局元数据管理（如文件命名空间、访问权限、分块映射）以及协调数据分块（chunk）的位置信息。数据不会持久存储在主节点，仅维护内存元数据副本。
- 数据分块服务器（Chunk Server）：在廉价硬件上部署的大量服务器，实际存储分块数据（默认大小 $$ 64 \text{MB} $$），并通过本地文件系统管理数据块。
2.数据分块设计
- 文件被划分为固定大小的逻辑单元，称为分块（Chunk）。
- 每个分块由唯一 $$ 64 \text{-bit} $$ 全局标识符（Chunk Handle）标记。
- 大分块设计降低元数据压力（例如1TB文件仅需 $$ 15 \text{K} $$ 分块记录）。
3.元数据管理
- 主节点维护：
- 命名空间与文件→分块映射表
- 分块副本位置映射表
- 操作日志（Operation Log）：记录所有关键操作（原子提交），用于系统崩溃恢复。
- 定期检查点（Checkpoint）：压缩日志状态，提升恢复效率。
4.数据写入流程
- 客户端向主节点请求分块位置与主副本位置。
- 主节点选择主副本节点并发放租约（Lease），协调写入序列。
- 数据流式传输至各副本节点（链式推送以优化带宽）。
- 主副本确认所有副本写入后向客户端返回成功。
5.容错机制
- 数据冗余：默认 $$ 3 \text{副本} $$ （可配置），分散在不同机架。
- 主节点容错：日志操作冗余与影子节点快速接管。
- 自动恢复：分块服务器宕机时触发副本补充（根据心跳检测）。
6.一致性模型
- 计划一致性（Relaxed Consistency）：异步更新副本位置信息，通过租约机制实现写入序列一致性。
- 记录追加（Record Append）：支持多客户端并发追加（如日志系统），由主副本确定写入偏移量。
应用场景示例：
- 支持Google搜索引擎的网页索引存储；
- 大规模日志文件分析（如MapReduce输入源）；
- 实现PB级数据的横向扩展存储能力。
注：GFS设计论文发表于2003年，其核心思想启发了后续开源系统如Hadoop HDFS的设计。
