余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

Memcached必知必会(memcaches)

xiyangw 2022-12-14 10:11 319 浏览 1 评论

主要特点

  • 基于C/S架构,协议简单
  • 基于libevent的事件处理
  • 自主内存管理
  • 基于客户端式的分布式实现

libevent

libevent是一套跨平台的事件处理接口的封装,高性能的事件触发的网络库,内部支持poll、select(Windows)、epoll(Linux)、kquque(BSD)、/dev/pool(Solaris)

Memcached使用其进行网络并发连接的处理,能够保持在很大并发情况下,仍然能够保持快速的响应能力。

自主内存管理

包括两部分:

  1. 数据存储方式:Slab Allocation
  2. 数据过期方式:Lazy Expiration + LRU

数据存储方式

Slab Allocation的原理是按照预先设定的大小,将整体分配的内存分割成特定长度的块(chunk),并将尺寸相同的块分成组(chunks);

  • Page:分配给Slab的内存空间,默认为1MB;Slab根据其大小切换成chunk
  • Chunk:用于缓存记录的内存空间
  • Slab Class:特定大小的chunk组

Memcached根据接收到数据的大小来决定使用哪个chunk;例如Slab Class存在50B,75B,100B等大小的chunk,进来一个80B的数据,则其会选择100B的chunk来将该数据缓存。【缺陷:80B使用100B的chunk,则剩下的20B无法使用,浪费了

数据过期方式

  1. Lazy Expiration:当数据get时查看该记录的时间戳是否过期,过期则清除,这种方式为懒清除
  2. LRU:最近最少使用的缓存清除策略,大部分缓存默认采用这种策略,这里就不详细介绍

基于客户端的分布式

根据客户端自实现的负载均衡算法来实现,维护成本大

经验与技巧

Memcached一些特性和限制

  • 在 Memcached 中可以保存的item数据量是没有限制的,只有内存足够
  • Memcached单进程最大使用内存为2G,要使用更多内存,可以分多个端口开启多个Memcached进程
  • 最大30天的数据过期时间 , 设置为永久的也会在这个时间过期,常量REALTIME_MAXDELTA 控制
  • 最大键长为250字节,大于该长度无法存储,常量 字节,大于该长度无法存储,常量KEY_MAX_LENGTH控制
  • 单个item最大数据是1MB,超过1MB数据不予存储,常量POWER_BLOCK进行控制,
  • 它是默认的slab大小
  • 最大同时连接数是200,通过 conn_init() 中的freetotal 进行控制,最大软连接数是1024,通过settings.maxconns进行控制
  • 跟空间占用相关的参数:影响slab的数据占用和步进方式
  • settings.factor=1.25
  • settings.chunk_size=48
  • settings.factor=1.25
  • settings.chunk_size=48

参考资料

  • Memcached原理
  • libevent基础知识

如果你也想要保持”Stay Hungry Stay Foolish “和”每天进步一点点 “的精神,欢迎大家和我一起学习,每天都感受自己的成长。一起加油一起努力!!

如果觉得本文有帮助,请动动小手分享给更多人,一起学习!!

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

已有1位网友发表了看法:

  • xiyangw

    xiyangw  评论于 [2023-01-01 11:55:04]  回复

    memcaches 有什么效果

取消回复欢迎 发表评论: