余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

Mongodb和数据库的数据一致性,这样操作更完美!

xiyangw 2023-05-13 16:16 8 浏览 0 评论

前言

其实大多数项目用到redis多一点,这篇文章我们主要来谈一下:如何保证Mongodb和数据库双写的数据一致性?

1. MongoDB概念及基本用法

1.1什么是MongoDB?

MongoDB 是一个开源的、可扩展的、跨平台的、面向文档非关系型数据库(NOSQL)。它底层用的C++ 语言编写,主要是提供可扩展的高性能数据存储解决方案。

Mongodb和数据库的数据一致性,这样操作更完美!

MongoDB主要用于存储大容量的数据。其文档存储格式有点类似json,例如文件、图片、音频、视频等。

MongoDB也通常用来存储大数据,例如GPS数据等。

1.2 MongoDB的基本使用

下面我们来看一下MongoDB+数据库的基本使用。

MongoDB+数据库,客户端写入数据流程图如下

可以看出,当客户端请求写入数据时,数据插入到MongoDB后得到数据mongo_id,再写入数据到数据库并保存mongo_id,这样就存在了一个数据关联关系。


MongoDB+数据库,客户端请求数据流程图如下:

当客户端请求该数据时先去数据库拿到MongoDB中的数据id,再去MongoDB中取出数据即可。

如此就保证了核心属性存储在数据库,同时也解决了客户端的大数据或大文件的存储。

2 .怎样保证MongoDB和数据库双写一致性?

当前最常用的两种解决方案如下。

2.1 先写数据库,再写MongoDB

方案一:先写数据库,再写MongoDB。

图例如下:

这种方案,需要注意得的是写入数据库要记录mongo_id,此时因还没有写入数据到MongoDB是拿不到其真实id的,因此需在写入数据到数据库时自定义生产mongo_id,当写入数据MongoDB中时用已经生成的id。

因此这种方案主要用于对数据完整性要求不高的场景下,也就是非核心数据可有可无,丢失了也无关紧要。

举个例子说明一下这种方案的弊端:

当数据库刚保存成功数据,网络异常或写入MongoDB逻辑异常,此时就会导致非核心数据保存失败而丢失。因此此方案在实际项目中基本不使用。

2.2 先写MongoDB,再写数据库

方案一:先写MongoDB,再写数据库。

图例如下:

同样的道理:如果MongoDB写入数据成功了,此时网络中断或逻辑异常了,导致写入数据库失败又怎么解决。

上述问题一样因MongoDB写入成功后不会回滚,因此一样会导致双写数据不一致的情况。

这里我们再来返回去看一下上面分析的MongoDB的基本操作呢,实际上当客户端获取数据时,先获取数据库的mongo_id,再通过mongo_id查询MongoDB中数据,此种情况去MongDB查询数据时查不到的。

就是说,这种情况下MongoDB钟保存的是垃圾数据。因此对实际业务没有任何影响的。

该方案弊端:

MongDB中垃圾数据过多会占用存储,要怎么来清理这些数据?

客户端新增数据不影响业务,要是客户端修改数据呢?

3. 修改操作又怎么保证MongoDB和数据库数据一致?

试想如果我们采用客户端新增先写MongoDB后写数据库方案来做客户端修改数据,当MongoDB修改成功,数据库修改失败时,这样修改操作也不能保证双鞋一致性了。

客户端修改数据时,我们可以这样操作:

客户端提交修改数据请求后,我们同样先去MongoBD新增一条数据,拿到新的mongo_id,再去修改数据库并更新新的mongo_id。

示例如下:

分析一下:客户端发起修改请求时,如果MogoDB新增数据成功了,再去修改数据库数据失败了,此时因数据库保存的是老的mongo_id,客户端依然可以拿到数据。

该方案弊端:

MongDB中垃圾数据过多会占用存储,要怎么来清理这些数据?

为了解决修改MongoDB时可能产生的垃圾数据,我们可以这样操作:

同样客户端请求修改数据时,先在MongoDB新增一套数据,保留老数据并拿到新的mongo_id,再去更新数据库数据,更新成功后再用村塾再数据库的老mongo_id删除MongoDB中旧数据。

具体流程图如下:

注意了,问题又来了,加入当修改数据库成功后,去删除MongoDB老数据时失败了,那这样MongDB中的垃圾数据是不是就一直保留了?

因此这里就需要【重试机制】来删除MongoDB老数据了。

常见的重试机制:定时任务、mq。

这样客户端请求修改数据时产生的垃圾数据清理问题解决了,那么新增呢?

4. 新增的垃圾数据又怎么清理?

又回到上面新增的方案二中遗留的垃圾数据清理问题了。

4.1 定时任务删除

同样的这里可以采用:定时任务

简单的来说就是用MongoDB中的mongo_id扫描数据库中该mongo_id,如果数据库中不存在则就删除MongoDB中该条数据。

问题又来了,如果MongoDB中数据量很大呢?通常的做法:缩小扫描数据的范围

例如:获取MongoDB数据时,根据mongo_id的一个范围查询,再用mongo id去数据库查询数据并删除MongoDB垃圾数据。

但如果缩小扫描数据的范围后,数据量仍然很大,定时任务还是处理不过来呢?通常可以:多线程定时任务处理。

4.2 随机删除

可以借鉴redis的随机清除缓存国企数据策略,采用随机删除方案。

同样用定时任务,每隔500ms随机查询MongoDB中10条数据进行批量处理。

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: