存储与数据库简介
一个提供了读写，控制类接口，能够安全有效的把数据持久化的软件，就可以成为存储系统。
- 存储系统概览
- 存储系统特点
- 性能敏感
- 既简单又复杂
- 容易受硬件影响
- 存储器层级结构
- 单机存储栈
- RAID技术
- 单块大容量磁盘的价格>多块小容量的磁盘
- 单块磁盘的写入性能<多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
- 数据库系统概览
- 关系型数据库特点
- 结构化数据友好
- 支持事务
- 支持复杂查询语言
非关系型数据库特点
- 半结构化数据友好
- 可能支持事务
- 可能支持复杂查询语言
- 数据库 vs 经典存储
- 事务能力
- 复杂的查询能力
数据库使用方式
- 以SQL为例，要操作数据时候，支持以下操纵
- Insert
- update
- select
- delete
- where子句
- Groupby
- orderby
主流产品剖析
- 单机存储
- 分布式存储
- 单机关系型数据库
- 单机非关系型数据库
- 分布式数据库
- 单机存储产品
- 单机文件系统
- 单机key-value存储
- 分布式存储产品
- HDFS
- Ceph
- 单机数据库产品
- 关系型数据库 —— PG、MySQL
- 非关系型数据库 —— ES、MongoDB、Redis
- Elasticsearch使用案例
- 分布式数据库产品
- 问题与挑战
- 解决方案
使用 Go 协程
最初我们采用了一个非常简单的 POST 处理程序实现，只是试图将job 处理程序并行化到一个简单的 goroutine 中：
func payloadHandler(w http.ResponseWriter, r *http.Request) {
if r.Method != "POST" {
w.WriteHeader(http.StatusMethodNotAllowed)
return
}
// 将body读入字符串进行json解码
var content = &PayloadCollection{}
err := json.NewDecoder(io.LimitReader(r.Body, MaxLength)).Decode(&content)
if err != nil {
w.Header().Set("Content-Type", "application/json; charset=UTF-8")
w.WriteHeader(http.StatusBadRequest)
return
}
// 分别检查每个有效负载和队列项目以发布到 S3
for _, payload := range content.Payloads {
go payload.UploadToS3() // <----- 这是不建议的做法。这里是最开始的做法。
}
w.WriteHeader(http.StatusOK)
}