分布式文件系统 (GFS)
设计流程
文件位置
一个 chunk 备份到三个 chunk server 中
|---------------------------|
| Master |
|---------------------------|
| filename |
| chunk-01 -> CS1, CS3, CS4 |
| chunk-02 -> CS2, CS3, CS5 |
| chunk-03 -> CS1, CS2, CS3 |
| filesize |
|---------------------------|
| ... |
| |
| |
|-------------------------------|
| CS(Chunk Server) |
|-------------------------------|
| filename chunk-xx -> offset1 |
| filename chunk-xx -> offset2 |
| ... |
|-------------------------------|
| offset1 64MB |
| offset2 64MB |
| ... |
写入
graph LR A(Client) --> | 1 write request | B B(Master) --> | 2 assign chunk servers | A A --> | 3 write | C(chunk server) A --> | 3 write | D(chunk server) A --> | 3 write | E(chunk server) C --> | 4 write finished | B D --> | 4 write finished | B E --> | 4 write finished | B修改(非追加)
同写入
读取
graph LR A(Client) --> | 1 read request | B(Master) B --> | 2 chunk server's offset list | A A --> | 3 read | C(chunk server) A --> | 3 read | D(chunk server) A --> | 3 read | E(chunk server) C --> | 4 part of file | A D --> | 4 part of file | A E --> | 4 part of file | A读完之后在 Client 将它们合并在一起.
扩展
Master
一般来说, 工业界 90% 是一个 Master.
双 Master
https://research.facebook.com/publications/apache-hadoop-goes-realtime-at-facebook/
多 Master
https://lamport.azurewebsites.net/pubs/paxos-simple.pdf
Chunk Server
判断磁盘是否损坏的方法, 在写入文件的时候就计算文章的 MD5 的值, 然后在读数据的时候重新计算文件的 MD5, 如果有变化, 则文件被修改了, 说明磁盘损坏.
MD5 的值直接写入到文件的最后就行, 写在一个 chunk (块) 的最后.
备份
一个文件有三个备份, 三个备份的地理位置选择: 同城2个放在一个机架上, 跨城1个.
如果一个 chunk 坏掉了, 那么就问一下 master 这个 chunk 的备份在哪里. 然后用同城的备份来恢复.
Master 使用心跳机制来确保 chunk server 可用.
写瓶颈的解决方案
Client 需要将每一个文件的每一个块都传输三次, 因为有三个备份. 这样就会导致 Client 出现写瓶颈. 解决方案是将一个文件传递给一个备份, 然后让这个备份复制到另外两个备份上.
怎么选择这个快备份的机器呢: 比较 Master 对于这个 chunk 给的三个 chunk server, 选择近的, 选择不忙的.
传输的时候 chunk server 挂了
告诉 Master, Master 会为这个文件块重新分配三个 Chunk Server.
面试
设计一个只读的 lookup service, 后台的数据是 10 billion 个 key-value pair, 服务形式是接收用户输入的 key, 返回对应的 value. 已知每个 key 的 size 是 0.1KB, 每个 value 的 size 是 1KB. 要求系统 QPS >= 5000, latency <= 200ms.
server 性能参数: 8X CPU cores, 32G memory, 6T disk. 任意数量的 server.
硬盘询道时间大概: 10ms. 磁盘读 1MB 的数据大概需要 30ms.
在硬盘中读取一次 value 的时间为: 10ms x 1KB/1MB x 30ms == 10ms, 在磁盘中读取一次 key 的时间为 10ms x 0.1KB/1MB x 30ms == 1ms. 在内存中读取的时间忽略不计. 10 billion 的 value 的大小: 10 billion x 1KB = 10TB, 10 billion 的 key 的大小: 10 billion x 0.1KB = 1TB.
这样我们假设每一台 server 都有全部的数据, 有两个 disk. 一个 server 有 32 G 的内存, 用来存放 key -- position, position 大概需要 8bit 就可以. 这样 40 台机器就有 1TB 内存, 就够了.
标签：--,chunk,server,write,Master,分布式文件系统,备份 From： https://www.cnblogs.com/geraldkohn/p/17091088.html