Redis内存碎片优化参数

Stella981
• 阅读 867

##info memory参数简介 used_memory_human:262.89M used_memory_rss:267489280 mem_fragmentation_ratio:0.97

(Redis在编译时便会指定内存分配器;内存分配器可以是 libc 、jemalloc或者tcmalloc,默认是jemalloc。)

used_memory:Redis分配器分配的内存总量(单位是字节),包括使用的虚拟内存(即swap);used_memory_human:以人类可读的格式返回 Redis 分配的内存总量。 used_memory_rss:Redis进程占据操作系统的内存(单位是字节),与top及ps命令看到的值是一致的;除了分配器分配的内存之外,used_memory_rss还包括进程运行本身需要的内存、内存碎片等,但是不包括虚拟内存。

因此,used_memory和used_memory_rss,前者是从Redis角度得到的量,后者是从操作系统角度得到的量。二者之所以有所不同,一方面是因为内存碎片和Redis进程运行需要占用内存,使得前者可能比后者小,另一方面虚拟内存的存在,使得前者可能比后者大。

Redis内存碎片率的参数 mem_fragmentation_ratio:由于在实际应用中,Redis的数据量会比较大,此时进程运行占用的内存与Redis数据量和内存碎片相比,都会小得多,ratio指数>1表明有内存碎片,越大表明越多,<1表明正在使用虚拟内存,虚拟内存其实就是硬盘,性能比内存低得多,这是应该增强机器的内存以提高性能。一般来说,mem_fragmentation_ratio的数值在1 ~ 1.5之间是比较健康的。

##内存碎片清理方法 1、重启Redis服务;

2、使用指令来手动回收内存碎片。

##自动内存碎片整理相关参数

    config set activedefrag yes 自动(实时)碎片整理

允许Redis服务器压缩内存中小数据分配和数据释放之间的空间,从而允许回收内存,官方默认设置内存碎片率大于10%且内存碎片大小超过100mb开始回收。

    #Enabled active defragmentation
    #碎片整理总开关
    #activedefrag yes

    #Minimum amount of fragmentation waste to start active defrag
    #当碎片达到 100mb 时,开启内存碎片整理
     active-defrag-ignore-bytes 100mb

    #Minimum percentage of fragmentation to start active defrag
    #当碎片超过 10% 时,开启内存碎片整理
    active-defrag-threshold-lower 10

    #Maximum percentage of fragmentation at which we use maximum effort
    #内存碎片超过 100%,则尽最大努力整理
    active-defrag-threshold-upper 100

    #Minimal effort for defrag in CPU percentage
    #内存自动整理占用资源最小百分比
    active-defrag-cycle-min 25

    #Maximal effort for defrag in CPU percentage
    #内存自动整理占用资源最大百分比
    active-defrag-cycle-max 75

PS:自动内存回收会使Redis集群的响应变高,因为内存碎片整理是在主线程中执行的,通过源码发现,内存碎片整理操作会 scan (通过迭代进行)整个 redis 节点,并进行内存复制、转移等操作,因为 redis 是单线程的,所以会导致 redis 性能下降(通过调整相关配置可以控制内存整理对 redis 集群的影响)。

参数详细介绍:

(1)调整active-defrag-ignore-bytes和active-defrag-threshold-lower

当两个条件都满足时,则会进入内存碎片整理逻辑,这两个参数仅用来判断是否进入内存碎片整理逻辑,如果将碎片率或碎片大小调大至一个能接受的阈值,redis 不进行内存碎片整理,则不会对集群有过多的影响(注:frag_pct 是从 jemalloc 获取的,不能完全依靠info中获取的碎片值)。

(2)调整active-defrag-cycle-min和active-defrag-cycle-max

这两个参数是占用主线程资源比率的上下限,如果想保证内存碎片整理功能不过度影响 redis 集群性能,则需要仔细斟酌着两个参数的配置,通过观察内存整理时的耗时、资源占用、redis响应等情况发现,当资源占用越多时,内存碎片整理力度越大,时间越短,当然对redis性能的影响也更大。

#总结:通过active-defrag-ignore-bytes和active-defrag-threshold-lower来控制是否进行内存碎片整理,通过active-defrag-cycle-min和active-defrag-cycle-max来控制整理内存碎片的力度。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Stella981 Stella981
3年前
Opencv中Mat矩阵相乘——点乘、dot、mul运算详解
Opencv中Mat矩阵相乘——点乘、dot、mul运算详解2016年09月02日00:00:36 \牧野(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fme.csdn.net%2Fdcrmg) 阅读数:59593
Stella981 Stella981
3年前
Redis内存碎片率
一、内存碎片率mem\_fragmentation\_ratioused\_memory\_rss/used\_memoryused\_memory:Redis使用其分配器分配的内存大小used\_memory\_rss:操作系统分配给Redis实例的内存大小,表示该进程所占物理内存的大小两者包括了实际缓存占用的内存和
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这