缓存一梭子， 程序员的快乐就是如此简单

缓存也是一把梭项目的标配，从业多年，有事无事set/getCache来一梭子。

夜深人静的时候，头脑里冷不丁会出现一些问题，我竟一时无法自圆其说。

1. 已经有cpu多级缓存、操作系统page cache，那为什么还需要定义应用缓存？
2. 应用的多个副本缓存了同一份数据库数据， 怎么保证这些多副本的缓存一致性？

1. 缓存在计算机体系中的地位

2. 缓存和缓冲的区别

3. 使用缓存时的业务考量？

• 数据一致性要求不那么严格的场景
• 设计模式： 惰性、直写

4. 使用缓存时的技术考量？

• 缓存与数据库一致性
• 过期策略
• 驱逐策略

https://course.ccs.neu.edu/cs5600/paging-caching.html

缓存在计算机体系中的定位

内存层次结构

1. 寄存器
2. CPU Cache（L1，L2，L3）
3. RAM （内存/主存）
4. Disk or SSD(外存/辅助存储)

静态体系架构

• 低级的缓存包含更多的存储空间，高级的缓存有更好的存取速度（低延迟）。
• RAM Page cache作为磁盘缓存，CPU cache是RAM的缓存， 寄存器数据来自CPU Cache。

动态逻辑流程

• 在搜索内存数据， 自上向下搜素（CPU、内存、磁盘），当在某层找到数据时，将在该层的较高层级保存一份副本， 以便将来可以迅速找到该内容。

如果在CPU Cache中没找到数据，我们叫Cache miss；
如果在RAM内存中没找到数据，我们叫Page miss/Page fault

• 根据数据传输的时间/空间局部性原理，一次传输整个块（而不是单个字节或内存字）时的数据传输效率更高 。
  根据这个设计：
  • 硬盘一次只能传输一个磁盘块，而不是单个字节， 页通常是磁盘块的软件视图，磁盘块、页通常是4KB
  • CPU缓存的数据块通常只有32B

Q:已经有cpu cache， page cache， 为什么我们还需要自定应用义程序cache。

A:不管是cpu级别的cpu cache，还是操作系统维护的page cache，都是对于最近访问数据的缓存， 不针对特定的应用程序，机制对于程序员是透明的。

程序员日常工作的背景是快速灵活的利用内存数据，而不是cpu cache/page cache仅缓存最近访问的数据块（临近32B/4KB），应用程序需要缓存的数据底层存储可能是分散的或访问频次不固定，故应用程序需要做自定义的业务缓存。

作为应用程序员，我们普遍说的Cache指的是应用程序Cache。

2. 缓存 vs 缓冲

缓存是对数据一致性要求不那么严格的一种存取技术，利用内存访问比外设访问速度快的特性， 最终目的是加快入站请求的处理速度。

缓冲是提供一块内存区域，用于入站请求频繁地写操作，之后一次性写入到底层的外设，最终目的是减轻对外设的频繁访问。

3. 使用缓存的业务考量

亚马逊的缓存最佳实践

• 使用缓存值是否安全。同一段数据在不同的上下文中可能具有不同的一致性要求。例如，在线结账期间，您需要物品的确切价格，因此不适合使用缓存，但在其他页面上，价格晚几分钟更新不会给用户带来负面影响。
• 对该数据而言，维持缓存是否高效？ 某些应用程序会生成不适合缓存的访问模式。 例如，查询频繁变化的大型数据集的键空间，在这种情况下，保持缓存更新可能会抵消缓存带来的优势。
• 数据结构是否适合缓存？ 结构有无schema？ or 聚合信息/独立信息？

缓存的产生的方式：

• 惰性缓存： 仅在应用程序实际请求对象时才填充缓存
• 直写： 缓存在数据库更新时实时更新，由特定应用程序或者后台程序更新，避免了缓存未命中，可帮助应用程序更好、更快捷地运行

对于第二个问题， 如何维护多个副本的缓存一致？
知乎经典回答：遇事先问“要不要”，而不是直接问”怎么做“，如果定位为缓存，那么本来就有可能是过期的数据; 使用直写来尽快保持一致， 要求更严格就不是缓存了，那就是分布式一致性（CAP理论，共识算法）。

4. 使用缓存的技术考量

4.1 缓存和数据库一致性

1. cache-aside :（旁路缓存） 强调应用程序App与数据库交互， Cache组件作为旁路。

• 如果读取的数据没有命中缓存，则从数据库中读取数据，然后将数据写入到缓存，并且返回给用户。
• 更新： 先更新数据库中的数据，再删除缓存中的数据。

2. read-through/write-through： （读穿/写穿） 强调App与Cache组件交互

• 先查询缓存中数据是否存在，如果存在则直接返回，如果不存在，则由缓存组件负责从数据库查询数据，并将结果写入到缓存组件，最后缓存组件将数据返回给应用。
• 更新： 如果缓存中数据已经存在，则更新缓存中的数据，并且由缓存组件同步更新到数据库中，然后缓存组件告知应用程序更新完成。

旁路缓存与读/写穿缓存的差异在于 ：谁来填充Database:App还是cache组件。 1,2中的写缓存和写数据库的行为是贯序同步的。

3. write back：（写回）在更新数据时，只更新Cache，标记Cache是脏数据，然后立马返回；对于数据库的更新会通过批量异步更新的方式。

写回策略一般用在计算机系统中（上面的CPU Cache和文件系统的Pache Cahce）。

首先要知道缓存过期和缓存驱逐是不同的关注点， 我们以redis为例。

redis 作为内存键值对数据库， 所有的KV都是以全局字典来实现，带有过期时间的kv键值对也是维护在一个独立的字典中。

4.2 redis缓存过期

redis带有过期时间的KV项，并不是到期就被立即清除的， 考虑：

• 到期删除： 每一个设置了过期时间的kv项附带一个计时器， 不消费内存，但是消耗cpu资源。
• 惰性删除： 每次访问时，先去名单中判断该k是否需要清理，不占用cpu， 但是有可能kv项始终没人访问，造成过期的kv项内存堆积。
• 定期删除： 每隔一段时间从带过期时间的kv字典中清理一部分。

redis以惰性删除+定期删除(默认100ms)来实现清理缓存过期KV项， 以实现cpu和mem的平衡使用。

（当然这2种策略还是会有一部分过期的kv值未能删除）

4.3 redis缓存驱逐（内存淘汰）

redis是内存键值对数据库，存储受限于内存。考虑

• 驱逐目的： 避免无限制占用内存
• 驱逐时机： maxmemory : 接近或者达到这个值会触发缓存驱逐。
• 驱逐策略：maxmemory-policy，8种策略（4维度和2种范围的叉积的集合），默认是noeviction

https://cloud.tencent.com/developer/article/2045330

# volatile-lru -> Evict using approximated LRU among the keys with an expire set.
# allkeys-lru -> Evict any key using approximated LRU.
# volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
# allkeys-lfu -> Evict any key using approximated LFU.
# volatile-random -> Remove a random key among the ones with an expire set.
# allkeys-random -> Remove a random key, any key.
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
# noeviction -> Don't evict anything, just return an error on write operations.

分享一个与缓存有关的OOM案例：

应用定时（1min）滚动设置缓存KV项（1h），一开始使用golang bluele/gcache

2.5k star 内存缓存库， 支持多种驱逐策略(LFU, LRU and ARC)。表现的像是一个固定长度的map。

func main() {
  gc := gcache.New(1000).   // 缓存项容量， 驱逐时机
    LRU().                  // 驱逐策略
    Build()
  gc.Set("key", "value")
}

注意看gcache的驱逐时机是基于缓存项容量，与内存无关。
一开始缓存项容量设置的比较大，导致不容易触发gcache的KV项驱逐，实际上这个时候gcache占据的内存在滚动增长，最终应用OOM。

• 案例可以通过设置较小的 缓存项容量来解决。
• 案例也可以切换到patrickmn/go-cache缓存库来解决

7.7k star 这个缓存的表现就类似redis

利用go-cache的缓存过期策略： 定期删除过期项（purges expired items every 10 minutes）,
搭配合适的过期时间和定时清理过期项的周期。

// Create a cache with a default expiration time of 5 minutes, and which
	// purges expired items every 10 minutes
	c := cache.New(5*time.Minute, 10*time.Minute)

	// Set the value of the key "foo" to "bar", with the default expiration time
	c.Set("foo", "bar", cache.DefaultExpiration)

	// Set the value of the key "baz" to 42, with no expiration time
	// (the item won't be removed until it is re-set, or removed using
	// c.Delete("baz")
	c.Set("baz", 42, cache.NoExpiration)

所以，除了SetCache(k,v)一把梭外，开发者应有更多前置心路历程：

缓存在计算机系统中的地位、缓存的适用性、缓存的使用方式、 缓存作为内存存储的过期、驱逐实践......

本文抛砖引玉，望构建更完整的缓存知识体系， 自勉。