memcached 入门学习

1、概念

         memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。

2、特征

           memcached作为高速运行的分布式缓存服务器，具有以下的特点。

      协议简单

          memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。因此，通过telnet也能在memcached上保存数据、取得数据。

1.3以上版本支持二进制协议。

eg.本地机器安装了memcached后可通过telnet命令：telnet localhost 11211来设置、获取数据。

基于libevent的事件处理

         libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。

     内置内存存储方式

        为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。 memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。 

         memcached不互相通信的分布式

         memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。

3、Memcached的安装

下载Memcached文件，​​http://code.jellycan.com/memcached/​​选择版本为v1.2.6

Windows环境下：

解压至指定目录，如C:\memcached

命令行输入 'c:\memcached\memcached.exe -d install'

命令行输入 'c:\memcached\memcached.exe -d stop’，停止服务

命令行输入 'c:\memcached\memcached.exe -d start' ，该命令启动Memcached ，默认监听端口为 11211

也可通过服务管理窗口停止、启动memcached Server

启动Memcache 常用参数：

-p <num>     设置TCP端口号(默认不设置为: 11211)

-U <num>     UDP监听端口(默认: 11211, 0 时关闭)

-l <ip_addr> 绑定地址(默认:所有都允许,无论内外网或者本机更换IP，有安全隐患，若设置为127.0.0.1就只能本机访问)

-d                   以daemon方式运行

-u <username> 绑定使用指定用于运行进程<username>

-m <num>     允许最大内存用量，单位M (默认: 64 MB)

-P <file>    将PID写入文件<file>，这样可以使得后边进行快速进程终止, 需要与-d 一起使用

-f<num>    指定 Growth Factor因子, 控制slab之间的差异。默认值为1.25

-v v        用very vrebose模式启动，调试信息和错误输出到控制台

stats 统计信息说明

STAT pid 4356 服务器进程ID
STAT uptime 56625 服务器运行时间，单位秒
STAT time 1225249079 服务器当前的UNIX时间
STAT version1.1.0服务器的版本号
STAT pointer_size 64
STAT rusage_user 151.845489 该进程累计的用户时间(秒:微妙)
STAT rusage_system 121.667603 该进程累计的系统时间(秒:微妙)
STAT ibuffer_size 4096
STAT curr_connections 13 连接数量
STAT total_connections 54136 服务器运行以来接受的连接总数
STAT connection_structures 318 服务器分配的连接结构的数量
STAT cmd_get 100595 取回请求总数
STAT cmd_set 6510 存储请求总数
STAT get_hits 96543 请求成功的总次数
STAT get_misses 4052 请求失败的总次数
STAT bytes_read 4427679 服务器从网络读取到的总字节数
STAT bytes_written 6585596 服务器向网络发送的总字节数

4、Windows / .NET客户端

Net memcached client

• ​​https://sourceforge.net/projects/memcacheddotnet​​

EnyimMemcached

• This is a .NET client library for ​​memcached​​​ written in C#. There is also a client for ​​Membase​​'s persistent memcached server. You'll need .NET Framework 3.5 or later to use the precompiled binaries. To build client, you'll need Visual Studio 2010.

Features:

·        Understands both the binary and text protocols

·        Highly configurable and extendable (custom configuration,serialization)

·        Supports consistent hashing

·        CheckAndSet operations

·        Persistent connections for more speed

·        SASL Authentication

• ​​https://github.com/enyim/EnyimMemcached​​

memcachedproviders

This project provides Memcached Session State and CacheProviders for ASP.net. 

• ​​http://www.codeplex.com/memcachedproviders​​

BeIT Memcached Client (optimized C# 2.0)

• ​​http://code.google.com/p/beitmemcached​​

jehiah

• ​​http://jehiah.cz/projects/memcached-win32​​

• 本文档推荐使用​​https://github.com/enyim/EnyimMemcached​​，可根据实际的应用修改客户端代码。

5、Memcached内存管理机制

SlabAllocation机制：整理内存以便重复使用

memcached默认情况下采用了名为Slab Allocator的机制分配、管理内存。在该机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是，这种方式会导致内存碎片，加重操作系统内存管理器的负担。

SlabAllocator的基本原理是按照预先规定的大小，将分配的内存分割成特定长度的块，以完全解决内存碎片问题。而且，slab allocator还有重复使用已分配的内存的目的。也就是说，分配到的内存不会释放，而是重复利用。

Page

分配给Slab的内存空间，默认是1MB。分配给Slab之后根据slab的大小切分成chunk。

Chunk

用于缓存记录的内存空间。

Slab Class

特定大小的chunk的组。

6、 Memcached删除机制

由于memcached不会释放已分配的内存。记录超时后，客户端就无法再看见该记录（invisible，透明），其存储空间即可重复使用。

Lazy Expiration

memcached 内部不会监视记录是否过期，而是在 get 时查看记录的时间戳，检查记录是否过期。 这种技术被称为 lazy （惰性） expiration 。因此， memcached 不会在过期监视上耗费 CPU 时间。

memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为 Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当memcached的内存空间不足时（无法从​​slab class​​ 获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

不过，有些情况下LRU机制反倒会造成麻烦。memcached启动时通过“-M”参数可以禁止LRU，如下所示：

> memcached -M -m 1024

启动时必须注意的是，小写的“-m”选项是用来指定最大内存大小的。不指定具体数值则使用默认值64MB。

指定 “-M” 参数启动后，内存用尽时 memcached 会返回错误。 话说回来， memcached 毕竟不是存储器，而是缓存，所以推荐使用 LRU

7、Memcached分布式算法

memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。 至于memcached的分布式，则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。

根据余数计算分散

Consistent Hashing

ConsistentHashing 如下所示：首先求出 memcached 服务器（节点）的哈希值， 并将其配置到 0 ～ 2 ³²的圆（

continuum ）上。 然后用同样的方法求出存储数据的键的哈希值，并映射到圆上。 然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务器上。 如果超过 2 ³²仍然找不到服务器，就会保存到第一台

memcached 服务器上。

从上图的状态中添加一台memcached服务器。余数分布式算法由于保存键的服务器会发生巨大变化而影响缓存的命中率，但ConsistentHashing中，只有在continuum上增加服务器的地点逆时针方向的第一台服务器上的键会受到影响。

因此，Consistent Hashing最大限度地抑制了键的重新分布。而且，有的Consistent Hashing的实现方法还采用了虚拟节点的思想。使用一般的hash函数的话，服务器的映射地点的分布非常不均匀。因此，使用虚拟节点的思想，为每个物理节点（服务器）在continuum上分配100～200个点。这样就能抑制分布不均匀，最大限度地减小服务器增减时的缓存重新分布。

通过下文中介绍的使用Consistent Hashing算法的memcached客户端函数库进行测试的结果是，由服务器台数（n）和增加的服务器台数（m）计算增加服务器后的命中率计算公式如下：

(1 - n/(n+m)) * 100

8、memCached操作

连接到memcached

telnet localhost 11211

如果一切正常，则应该得到一个 telnet 响应，它会指示 Connected to localhost（已经连接到 localhost）。如果未获得此响应，则应该返回之前的步骤并确保 libevent 和 memcached 的源文件都已成功生成。

您现现已经登录到 memcached 服务器。此后，您将能够通过一系列简单的命令来与 memcached 通信。9 个 memcached 客户端命令可以分为三类：

• 基本
• 高级
• 管理 

您将使用五种基本 memcached 命令执行最简单的操作。这些命令和操作包括：

• ​​set​​
• ​​add​​
• ​​replace​​
• ​​get​​
• ​​delete​​

前三个命令是用于操作存储在 memcached 中的键值对的标准修改命令。它们都非常简单易用，且都使用清单 5 所示的语法：

清单 5. 修改命令语法

表 1 定义了 memcached 修改命令的参数和用法。

表 1. memcached 修改命令参数

现在，我们来看看这些命令的实际使用。

set
​​​set​​ 命令用于向缓存添加新的键值对。如果键已经存在，则之前的值将被替换。

注意以下交互，它使用了 ​​set​​ 命令：

如果使用 ​​set​​ 命令正确设定了键值对，服务器将使用单词 STORED 进行响应。本示例向缓存中添加了一个键值对，其键为 ​​userId​​​，其值为 ​​12345​​。并将过期时间设置为 0，这将向 memcached 通知您希望将此值存储在缓存中直到删除它为止。

add
仅当缓存中不存在键时，​​​add​​ 命令才会向缓存中添加一个键值对。如果缓存中已经存在键，则之前的值将仍然保持相同，并且您将获得响应 NOT_STORED。

下面是使用 ​​add​​ 命令的标准交互：

replace
仅当键已经存在时，​​​replace​​ 命令才会替换缓存中的键。如果缓存中不存在键，那么您将从 memcached 服务器接受到一条 NOT_STORED 响应。

下面是使用 ​​replace​​ 命令的标准交互：

最后两个基本命令是 ​​get​​​ 和 ​​delete​​。这些命令相当容易理解，并且使用了类似的语法，如下所示：

接下来看这些命令的应用。

get
​​​get​​​ 命令用于检索与之前添加的键值对相关的值。您将使用 ​​get​​ 执行大多数检索操作。

下面是使用 ​​get​​ 命令的典型交互：

如您所见，​​get​​​ 命令相当简单。您使用一个键来调用 ​​get​​，如果这个键存在于缓存中，则返回相应的值。如果不存在，则不返回任何内容。

delete
最后一个基本命令是 ​​​delete​​​。​​delete​​​ 命令用于删除 memcached 中的任何现有值。您将使用一个键调用 ​​delete​​，如果该键存在于缓存中，则删除该值。如果不存在，则返回一条 NOT_FOUND 消息。

下面是使用 ​​delete​​ 命令的客户机服务器交互：

高级 memcached 客户机命令

可以在 memcached 中使用的两个高级命令是 ​​gets​​​ 和 ​​cas​​​。​​gets​​​ 和 ​​cas​​ 命令需要结合使用。您将使用这两个命令来确保不会将现有的名称/值对设置为新值（如果该值已经更新过）。我们来分别看看这些命令。

gets
​​​gets​​​ 命令的功能类似于基本的 ​​get​​​ 命令。两个命令之间的差异在于，​​gets​​ 返回的信息稍微多一些：64 位的整型值非常像名称/值对的 “版本” 标识符。

下面是使用 ​​gets​​ 命令的客户机服务器交互：

set userId 0 0 5
12345
STORED

get userId
VALUE userId 0 5
12345
END

gets userId
VALUE userId 0 5 4
12345
END

考虑 ​​get​​​ 和 ​​gets​​​ 命令之间的差异。​​gets​​​ 命令将返回一个额外的值 — 在本例中是整型值 4，用于标识名称/值对。如果对此名称/值对执行另一个 ​​set​​​ 命令，则 ​​gets​​ 返回的额外值将会发生更改，以表明名称/值对已经被更新。清单 6 显示了一个例子：

清单 6. set 更新版本指示符

set userId 0 0 5
33333
STORED

gets userId
VALUE userId 0 5 5
33333
END

您看到 ​​gets​​ 返回的值了吗？它已经更新为 5。您每次修改名称/值对时，该值都会发生更改。

cas
​​​cas​​​（check 和 set）是一个非常便捷的 memcached 命令，用于设置名称/值对的值（如果该名称/值对在您上次执行 ​​ gets​​​ 后没有更新过）。它使用与 ​​set​​​ 命令相类似的语法，但包括一个额外的值：​​gets​​ 返回的额外值。

注意以下使用 ​​cas​​ 命令的交互：

set userId 0 0 5
55555
STORED

gets userId
VALUE userId 0 5 6
55555
END

cas userId 0 0 5 6
33333
STORED

如您所见，我使用额外的整型值 6 来调用 ​​gets​​ 命令，并且操作运行非常顺序。现在，我们来看看清单 7 中的一系列命令：

清单 7. 使用旧版本指示符的 ​​cas​​ 命令

set userId 0 0 5
55555
STORED

gets userId
VALUE userId 0 5 8
55555
END

cas userId 0 0 5 6
33333
EXISTS

注意，我并未使用 ​​gets​​​ 最近返回的整型值，并且 ​​cas​​​ 命令返回 EXISTS 值以示失败。从本质上说，同时使用 ​​gets​​​ 和 ​​cas​​ 命令可以防止您使用自上次读取后经过更新的名称/值对。

缓存管理命令

最后两个 memcached 命令用于监控和清理 memcached 实例。它们是 ​​stats​​​ 和 ​​flush_all​​ 命令。