Memcache内存缓存框架

Stella981
• 阅读 431

转载请注明原文地址:https://www.cnblogs.com/ygj0930/p/10923221.html

一:Memcache是什么,为什么要用它

  MemCache是一个高性能、“分布式”的内存缓存系统,它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度,减轻数据库的负载。

  MemCaChe是一个存储键值对的HashMap,在内存中对任意的数据(比如字符串、对象等)使用key-value形式进行存储。

  数据可以来自数据库查询、API调用结果返回,或者网页传输过来的数据(session信息、request信息或者所携带的参数)。

二:Memcache安装与运维

  1、在本机或者集群服务器上安装Memcache

(Ubuntu/Debian)
sudo apt-get install libevent ibevent-dev
sudo apt-get install memcached


(Redhat/Fedora/Centos)
yum install libevent libevent-devel
yum install memcached

  2、启动memcache:使用 memcached命令

  cd到memcached目录/bin下,通过 memcached [-options][value] 来启动memcache。

  启动选项:

  • -d是启动一个守护进程;
  • -m是分配给Memcache使用的内存数量,单位是MB;
  • -u是运行Memcache的用户;
  • -l是监听的服务器IP地址,可以有多个地址;
  • -p是设置Memcache监听的端口,,最好是1024以上的端口;
  • -c是最大运行的并发连接数,默认是1024;
  • -P是设置保存Memcache的pid文件。

  3、memcache服务器运维

  我们还可以在终端窗口使用telnet指令,通过IP和端口连接到memcache服务器进行操作。

telnet HOST PORT

  4、memcache操作指令

  1)存储指令

  Memcache内存缓存框架

  2)查找与操作指令

Memcache内存缓存框架   

  3)运维指令

  Memcache内存缓存框架

三:Memcache在开发中的应用——Java

  1、添加依赖

  2、连接memcache服务器

// 连接 Memcached 服务,创建memcache客户端对象
MemcachedClient mcc = new MemcachedClient(new InetSocketAddress("ip", port));

  3、通过memcache对象调用api进行存储、查找操作,api的参数同上面第二点中的指令参数

// 存储数据
Future fo = mcc.set(key, 有效期, 值);
//查找数据
mcc.get(key)

  4、操作完成后关闭连接,以免占用memcache服务器资源

// 关闭连接
mcc.shutdown();

四:Memcache深入解读

  1、memcache与redis的区别和联系

  1)存储数据类型区别

  redis:支持较多的数据类型(String/list/set/sortset/hash)作为值;每个value最大数据存储量为1G;支持持久化;目前只支持在linux下运行。

  memcache:各种框架(tp/yii等等)都支持使用;session的信息可以非常方便的保存到memcache中,每个key保存的数据量最大为1M;不支持持久化,断电重启就没有了。

  2)分布式模式区别

  redis:主从模式,一个redis负责数据写入,其他多个redis负责数据读取。

  memcache:平均分摊模式,每个子服务器之间都是平级的,每个服务器都要执行数据的写入、读取操作。

  3)联系

  两者都是把数据保存在内存中,优化数据存取速度。

  2、memcache的数据类型存储

  1)基本数据类型——转化为String字符串格式来存储

  2)引用类型对象——原型存储

  由于原型存储对资源的消耗比较大,为了节省资源,可以把引用类型信息都变为字符串形式进行存储,这时需要进行 序列化 操作。

  3、memcache的分布式

  memcache的分布式 不是通过架构手段去实现的,我们只需要部署多台memcache服务器,然后在代码中为memcache对象添加多个server即可。

  其分布式特性是内置好了的,无需我们再通过架构手段实现一遍。

  memcache本身有算法,可以保证数据“平均”地存储在不同的服务器里边。【注意:是平均,而不是复制,各台memcache中存储的内容是不同的。】

Memcache内存缓存框架

  4、Memcache的访问模型(参考:https://www.cnblogs.com/xrq730/p/4948707.html)

  Memcache内存缓存框架

  MemCache虽然被称为"分布式缓存",但是MemCache本身完全不具备分布式的功能,MemCache集群之间不会相互通信(与之形成对比的,比如JBoss Cache,某台服务器有缓存数据更新时,会通知集群中其他机器更新缓存或清除缓存数据),所谓的"分布式",完全依赖于客户端程序的实现[通过代码]。

  MemCache一次写缓存的流程:

  1)应用程序输入需要写缓存的数据

  2)API将Key输入路由算法模块,路由算法根据Key和MemCache集群服务器列表得到一台服务器编号

  3)由服务器编号得到MemCache及其的ip地址和端口号

  4)API调用通信模块和指定编号的服务器通信,将数据写入该服务器,完成一次分布式缓存的写操作

  读缓存和写缓存一样,只要使用相同的路由算法和服务器列表,只要应用程序查询的是相同的Key,MemCache客户端总是访问相同的客户端去读取数据,只要服务器中还缓存着该数据,就能保证缓存命中。

  5、memcache路由算法(参考:https://www.cnblogs.com/xrq730/p/4948707.html)

  1)余数Hash策略

  例如,key的HashCode为50,memcache服务器有3台,则key.hashcode % 3 == 2,路由算法将key路由到第二台服务器上进行存储。

  原理:由于hashcode的随机性,可以保证数据“较为平均”地分布在memcache服务器集群中。

  缺点:服务器集群伸缩性差。当memcache服务器集群横向扩展时,服务器数量变化,会导致同样的key路由到新的服务器上,而旧路由器上的值不会被清除。

  解决方案:

  (1)在网站访问量低谷时段,通常是深夜,技术团队加班,扩容、重启服务器;

  (2)然后通过模拟请求的方式,对缓存内容重新读写一遍,逐渐预热缓存,使缓存服务器中的数据重新分布;

  2)一致性Hash算法

  一致性Hash算法通过一个叫做一致性Hash环的数据结构实现Key到缓存服务器的Hash映射。

  我们将服务器节点分布在Hash环上,每个key路由时,指向该key沿着hash环顺时针最近的服务器节点上。

  例如:服务器扩展前的Hash环

Memcache内存缓存框架

  当我们新增了一台服务器时,环上新增了一个节点:

Memcache内存缓存框架

  这样会导致上图中加粗部分缓存内容被重新分布,但相比第一种策略,这样已经优化了好多倍了。并且,集群中缓存服务器节点越多,增加节点带来的影响越小。

  6、memcache的存储原理(参考:https://www.cnblogs.com/xrq730/p/4948707.html)

  MemCache采用的内存分配方式是 固定空间分配:

Memcache内存缓存框架

  1)MemCache将内存空间分为一组slab

  2)每个slab下又有若干个page,每个page默认是1M,如果一个slab占用100M内存的话,那么这个slab下应该有100个page

  3)每个page里面包含一组chunk,chunk是真正存放数据的地方,同一个slab里面的chunk的大小是固定的

  4)有相同大小chunk的slab被组织在一起,称为slab_class

  如果slab中没有chunk可以分配了怎么办:如果MemCache启动没有追加-M(禁止LRU,这种情况下内存不够会报Out Of Memory错误),那么MemCache会把这个slab中最近最少使用的chunk中的数据清理掉,然后放上最新的数据。

  为什么MemCache存放的value大小是限制的:因为一个新数据过来,slab会先以page为单位申请一块内存,申请的内存最多就只有1M,所以value大小自然不能大于1M了。

  7、memcache的特性与限制

  1)MemCache中可以保存的item数据量是没有限制的,只要内存足够

  2)MemCache单进程在32位机中最大使用内存为2G,64位机则没有限制

  3)Key最大为250个字节,超过该长度无法存储

  4)单个item最大数据是1MB,超过1MB的数据不予存储

  5)MemCache服务端是不安全的,比如已知某个MemCache节点的ip和port,可以直接telnet过去,并通过flush_all让已经存在的键值对立即失效

  6)不能够遍历MemCache中所有的item,因为这个操作的速度相对缓慢且会阻塞其他的操作

  7)MemCache的高性能源自于两阶段哈希结构:第一阶段在客户端,通过Hash算法根据Key值算出一个节点;第二阶段在服务端,通过一个内部的Hash算法,查找真正的item并返回给客户端。

  8)MemCache设置添加某一个Key值的时候,传入expiry为0表示这个Key值永久有效,然而这个Key值也会在30天之后失效,这是在源码中写死了的。

五:常见的memcache使用

  1、session共享

  一个大型网站或系统,往往部署在多台服务器上。多台服务器彼此之间需要共享session信息,这时可以把session缓存在memcache中,而各服务器都可以从memcache中提取session进行分布式处理的同时又能保持一致性。

  2、网页内容缓存

  网站有一个页面需要获得许多数据信息,并且这些数据信息在短时间内不会发生变化时。可以把这些数据获得出来存入到memacache中过去,供后续访问。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
5个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
Opencv中Mat矩阵相乘——点乘、dot、mul运算详解
Opencv中Mat矩阵相乘——点乘、dot、mul运算详解2016年09月02日00:00:36 \牧野(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fme.csdn.net%2Fdcrmg) 阅读数:59593
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这