余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

oplog必知必会,实现MongoDB数据库主从同步和数据容灾“都挺好”

xiyangw 2023-05-13 16:16 10 浏览 0 评论

什么是oplog

oplog是local库下的一个固定集合

oplog必知必会,实现MongoDB数据库主从同步和数据容灾“都挺好”

mongodb数据库副本集模式下每个mongod进程会默认创建local数据库,该db会存储每个mongod节点的元数据,oplog就是local数据库中的一个固定?小、循环使用的集合。

在数据库启动时可以设置参数?小占用磁盘空间,例如—oplogSize 10000(10GB)。

oplog的作?

oplog是mongodb主从同步的关键,能够实现数据的容灾。

mongodb主库执行的写?操作会记录在oplog当中,从库复制主库oplog内容将其写?到?己的 oplog记录中并执行,从?实现主从同步。

在网络异常或者数据库节点异常宕机的场景下,数据库再次启动能够继续读取主库oplog的内容,异步同步。假设主节点写?据数据为1MB/s,oplog为10G,那么在主从节点连接异常?约2.8小时以内再次启动宕机数据库,主从数据都能够同步上,?需进行数据库数据修复。

为什么要修改oplog?小

在线上运维的过程中,业务量量可能逐步增加或者存在突增的情况(用户大批量写入或修改数据), 此时过小的oplog设置不利于数据库数据的安全。

一些公司或者执行数据库的冷备操作,用户业务量量突增的情况下,备份数据库再次启动也无法再追上主库的数据了,重新修复数据也是件苦逼的事情。

如何修改oplog?小

闲谈那么多进?入实操环节:

查看数据库当前oplog?小

SECONDARY> db.printReplicationInfo() 

指定临时端?口,去掉—replset 重新启动数据库

> use local switched to db local 

删除临时集合确保内容为空

>db.temp.drop() 

使?用该db.collection.save()?和反向自然顺序排序查找最后?一个条?目并将其保存到临时集合: >db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )

删除现有oplog

>db.oplog.rs.drop() 

创建新的oplog(此处调整到60GB)

>db.runCommand( { create: "oplog.rs", capped: true, size: (60 * 1024 * 1024 * 1024) } ) 

将原有oplog的最后一条记录插入到新oplog并确认

>db.oplog.rs.save( db.temp.findOne() ) >db.oplog.rs.find() 

重新修改回原有端口和—replset参数启动数据库,查看数据库状态、配置是否?生效

SECONDARY> db.printSlaveReplicationInfo() SECONDARY> db.printReplicationInfo() 

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: