余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

Memcached必知必会(memcaches)

xiyangw 2022-12-14 10:11 559 浏览 1 评论

主要特点

  • 基于C/S架构,协议简单
  • 基于libevent的事件处理
  • 自主内存管理
  • 基于客户端式的分布式实现

libevent

libevent是一套跨平台的事件处理接口的封装,高性能的事件触发的网络库,内部支持poll、select(Windows)、epoll(Linux)、kquque(BSD)、/dev/pool(Solaris)

Memcached使用其进行网络并发连接的处理,能够保持在很大并发情况下,仍然能够保持快速的响应能力。

自主内存管理

包括两部分:

  1. 数据存储方式:Slab Allocation
  2. 数据过期方式:Lazy Expiration + LRU

数据存储方式

Slab Allocation的原理是按照预先设定的大小,将整体分配的内存分割成特定长度的块(chunk),并将尺寸相同的块分成组(chunks);

  • Page:分配给Slab的内存空间,默认为1MB;Slab根据其大小切换成chunk
  • Chunk:用于缓存记录的内存空间
  • Slab Class:特定大小的chunk组

Memcached根据接收到数据的大小来决定使用哪个chunk;例如Slab Class存在50B,75B,100B等大小的chunk,进来一个80B的数据,则其会选择100B的chunk来将该数据缓存。【缺陷:80B使用100B的chunk,则剩下的20B无法使用,浪费了

数据过期方式

  1. Lazy Expiration:当数据get时查看该记录的时间戳是否过期,过期则清除,这种方式为懒清除
  2. LRU:最近最少使用的缓存清除策略,大部分缓存默认采用这种策略,这里就不详细介绍

基于客户端的分布式

根据客户端自实现的负载均衡算法来实现,维护成本大

经验与技巧

Memcached一些特性和限制

  • 在 Memcached 中可以保存的item数据量是没有限制的,只有内存足够
  • Memcached单进程最大使用内存为2G,要使用更多内存,可以分多个端口开启多个Memcached进程
  • 最大30天的数据过期时间 , 设置为永久的也会在这个时间过期,常量REALTIME_MAXDELTA 控制
  • 最大键长为250字节,大于该长度无法存储,常量 字节,大于该长度无法存储,常量KEY_MAX_LENGTH控制
  • 单个item最大数据是1MB,超过1MB数据不予存储,常量POWER_BLOCK进行控制,
  • 它是默认的slab大小
  • 最大同时连接数是200,通过 conn_init() 中的freetotal 进行控制,最大软连接数是1024,通过settings.maxconns进行控制
  • 跟空间占用相关的参数:影响slab的数据占用和步进方式
  • settings.factor=1.25
  • settings.chunk_size=48
  • settings.factor=1.25
  • settings.chunk_size=48

参考资料

  • Memcached原理
  • libevent基础知识

如果你也想要保持”Stay Hungry Stay Foolish “和”每天进步一点点 “的精神,欢迎大家和我一起学习,每天都感受自己的成长。一起加油一起努力!!

如果觉得本文有帮助,请动动小手分享给更多人,一起学习!!

相关推荐

高效删除文件名中的指定内容,祛除烦恼

如何快速批量删除文件名中的指定字符?在电脑整理文件时,我们常常需要进行批量重命名操作。如果文件名中含有不必要或重复的字符,这将影响文件的识别和查找。因此,删除这些文字或字符是非常必要且有效的。本文将分...

你的手机是不是经常提示存储空间不足?Python帮你清理重复文件

  最近我的手机经常提示存储空间不足,主要是微信和QQ群里接收的文件太多了,平时也没怎么整理。我把这些文件从手机里拷出来,打算整理一下,把该删的文件都删掉,把要备份的文件分门别类存到电脑或网盘上。我突...

从零开始打造云端AI管理调度平台(四)如何设计主页_1

最近闲来无事,想着把自己工作正在做的一个项目做一个简单的分享与实战教程,该项目不困难但是由于涉及要素过多所以比较复杂。所以这里分享出来也是为了帮助新手小白能在实战当中快速了解python知识。主要内容...

「万能Python」-17-标准库OS_python2.7标准库

Python的库是指预先编写好的代码集合,可以用来处理特定的任务或实现特定的功能。Python的标准库提供了许多常用的标准库,无需安装引入使用。Python3的标准库提供了许多常用的功能,包括...

十多行代码生成原帖和临写对照图_几十行代码可以申请软著吗

介绍这个小工具把原帖和临写分解成多列对照的形式。输入原帖图片,和输入临写图片,生成对照图片。使用说明运行compare.py文件,输入参数为:原帖图片文件名,临写图片文件名,列数。python3co...

Python合集之目录操作(四)_python之文件操作大全

1.删除目录删除目录可以通过os模块提供的rmdir()函数实现。通过rmdir()函数删除目录时,只有当要删除的目录为空时才起作用。os.rmdir(path)path为要删除的目录,可以使用绝对路...

excel办公自动化,自动合并excel表格

平时时收到不同人反馈的excel表格,需要将其合并在一个excel中,每个excel打开复制粘贴会很慢,如下脚本可一键合并所有的exceldefauto_merge():try:print('...

批量打开一个文件夹下面所有的excel表格

如果现在有一个文件夹,名称叫做“练习表格”,路径名是'C:\Users\123\Desktop\练习表格',现在的要求是打开这个文件下面所有的excel表格,后缀名字为“xlsx”,我...

500行代码,教你用python写个微信飞机大战

这几天在重温微信小游戏的飞机大战,玩着玩着就在思考人生了,这飞机大战怎么就可以做的那么好,操作简单,简单上手。帮助蹲厕族、YP族、饭圈女孩在无聊之余可以有一样东西让他们振作起来!让他们的左手/右手...

python 日志写入_python日志文件写入

1.第一步,新建日志文件路径,如下图:2.日志模块封装,代码如下:importlogging,oslogs_path=os.path.join(os.path.dirname(__file...

Python os.path模块使用指南:轻松处理文件路径

前言在Python编程中,文件和目录的操作是非常重要的一部分。为了方便用户进行文件和目录的操作,Python标准库提供了os模块。其中,os.path子模块提供了一些处理文件路径的函数和方法。本文主要...

Python中获取当前路径之pathilb和os的区别

20230114星期六:1,直接在py脚本中,执行,没有区别;2,打包成exe文件以后,在本机执行,有区别,这时,不能使用os.path.dirname(__file__),只能使用pathlib.P...

Python(办公自动化编程系列)学习笔记1

1、获得当前程序工作目录importos#os.getcwd()函数可以取得当前工作路径的字符串print(os.getcwd())运行结果2、获得程序文件夹相对路径#相对路径都用/表示#../...

文件路径名Pathnames的操作_路径和文件名是什么意思

1.现象问题使用路径名来获取文件名,目录名,绝对路径等等2.原因分析无3.问题解决使用os.path模块中的函数来操作路径名importos.path#查看标准化的绝对路径print...

关于《Python入门:os常用函数》中复制文件(夹)函数从简到繁

基本考虑练习os模块及file读写操作:将给定的源路径的文件(夹)复制到目标路径简单实现#文件到文件的复制path_src='E:\src.txt'path_tar='D...

已有1位网友发表了看法:

  • xiyangw

    xiyangw  评论于 [2023-01-01 11:55:04]  回复

    memcaches 有什么效果

取消回复欢迎 发表评论: