余晖落尽暮晚霞，黄昏迟暮远山寻
本站
当前位置：网站首页 > 编程知识 > 正文

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第2部分

xiyangw 2023-05-14 11:30 12 浏览 0 评论

概述

前面已经介绍了怎么在源端和目的端安装ogg软件和配置主进程参数，下面介绍下源端数据库的配置和进程组配置。

一、配置源端数据库

1、开启归档模式

OGG实现虚拟机-->阿里云单向同步全库数据(DML)--第2部分

修改之前 创建参数文件做备份

create pfile='/tmp/profile' from spfile;
--alter system set log_archive_dest='/arch/orcl' scope=spfile; --修改归档的路径
---alter system set db_recovery_file_dest='' scope=spfile; --关闭闪回
shutdown immediate;
startup mount; --开启归档模式需在mount状态下更改
alter database archivelog;
archive log list;
alter database open;

2、设置数据库force logging

实际生产应用中，最好同时打开ORACLE的强制日志模式，以防止源数据库因直接路径加载忽略redo生成而导致这部分数据无法同步：

SQL> select force_logging from v$database;

SQL> Alter database force logging;

3、开启最小附加日志（DDL的话好开启数据库级别）

Oracle数据库需要开启归档日志，并开启最小附加日志模式。

SQL> select supplemental_log_data_min from v$database; --查看是否开启了最小附加日志模式

SQL> alter database add supplemental log data; --开启最小附加日志模式

千万不要小看这步日志设置，其实在GoldenGate的配置中，这步是最容易出错的环节。如果开启DDL复制做冗灾备份，最好直接在数据库级别打开补全日志：

SQL> alter database add supplemental log data (primary key,unique,foreign key) columns;

检查一下，全是YES就OK了（整个数据库级别补全）

SQL> select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui from v$database;

4、源库关闭回收站

SQL> show parameter recyclebin 
SQL> alter system set recyclebin=off scope=spfile;
SQL>shutdown immediate;
SQL>startup;
SQL> show parameter recyclebin

5、UNDO设置

alter system set undo_retention=86400;

6、创建goldengate用户并且授权

6.1 创建表空间、用户、赋予dba权限

create tablespace ogg datafile '/u01/app/oracle/oradata/orcl/ogg01.dbf' size 1024M;
create user ggate identified by ggate default tablespace ogg temporary tablespace temp;
grant connect,resource,unlimited tablespace to ggate;
grant connect,resource,dba to ggate;
grant execute on utl_file to ggate; --配置复制的DDL支持
grant select any dictionary,select any table to ggate;
grant alter any table to ggate;
grant flashback any table to ggate;
grant execute on DBMS_FLASHBACK to ggate;
grant insert any table to ggate;
grant delete any table to ggate;
grant update any table to ggate;

6.2 运行DDL同步需要的脚本（这一步因为我是DML同步，所以可以不用做，做了也没事）

$GGATE ---> /opt/software/ogg
@/opt/software/ogg/marker_setup.sql;
@/opt/software/ogg/ddl_setup.sql;
@/opt/software/ogg/role_setup.sql;
grant GGS_GGSUSER_ROLE to ggate;
@/opt/software/ogg/ddl_enable.sql;

6.3 安装性能优化包。

SQL> @?/rdbms/admin/dbmspool

二、配置源端进程组

1、管理进程mgr

1.1、配置源端./GLOBALS

GGSCI (Oracle11g.ocp.hwb) 1> edit params ./GLOBALS
--在文件中添加以下内容
GGSCHEMA ggate --指定的进行DDL复制的数据库用户
--利用默认的密钥，生成密文：
GGSCI (ogg) 4> encrypt password ggate encryptkey default
Using default key...
Encrypted password: AACAAAAAAAAAAAFAPHODADQGAJVDSHPG

1.2、 配置管理进程mgr

GGSCI (Oracle11g.ocp.hwb) 1> edit param mgr
（粘贴下面这段配置）
PORT 7809
DYNAMICPORTLIST 7820-7830
--AUTOSTART ER *
--AUTORESTART EXTRACT *,RETRIES5,WAITMINUTES 3
--PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
--userid ggate, password AACAAAAAAAAAAAFAPHODADQGAJVDSHPG, ENCRYPTKY default
--PURGEDDLHISTORY MINKEEPDAYS 11,MAXKEEPDAYS 14
--PURGEMARKERHISTORY MINKEEPDAYS 11, MAXKEEPDAYS 14
--LAGREPORTHOURS 1
--LAGINFOMINUTES 30
--LAGCRITICALMINUTES 45

MANAGER进程参数配置说明：

PORT：指定服务监听端口；这里以7839为例，默认端口为7809
DYNAMICPORTLIST：动态端口：可以制定最大256个可用端口的动态列表，当指定的端口不可用时，管理进程将会从列表中选择一个可用的端口，源端和目标段的Collector、Replicat、GGSCI进程通信也会使用这些端口；
COMMENT：注释行，也可以用--来代替;
AUTOSTART：指定在管理进程启动时自动启动哪些进程；
AUTORESTART：自动重启参数设置：本处设置表示每3分钟尝试重新启动所有EXTRACT进程，共尝试5次；
PURGEOLDEXTRACTS：定期清理trail文件设置：本处设置表示对于超过3天的trail文件进行删除。
LAGREPORT、LAGINFO、LAGCRITICAL：
定义数据延迟的预警机制：本处设置表示MGR进程每隔1小时检查EXTRACT的延迟情况，如果超过了30分钟就把延迟作为信息记录到错误日志中，如果延迟超过了45分钟，则把它作为警告写到错误日志中。

1.3、启动管理进程

GGSCI (Oracle11g.ocp.hwb) 8> start mgr

Manager started.

GGSCI (Oracle11g.ocp.hwb) 9> info all

Program Status Group Lag Time Since Chkpt

MANAGER RUNNING

2、抽取进程extnd

2.1、配置抽取进程extnd

增加EXTRAIL

GGSCI (ogg) 1> add extract extnd, tranlog, begin now
EXTRACT added.

说明：tranlog表示要抽取数据库日志；

begin now表示从当前时间点开始抽取

2.2、修改EXTRAIL参数
GGSCI (ogg) 2> edit params extnd
EXTRACT extnd
SETENV (NLS_LANG = "AMERICAN_AMERICA.UTF8")
SETENV (ORACLE_HOME = "/u01/app/oracle/product/11.2.0/db_1")
SETENV (ORACLE_SID = "orcl")
USERID ggate, PASSWORD ggate
EXTTRAIL ./dirdat/nd
DISCARDFILE ./dirdat/extnd.dsc,APPEND,MEGABYTES 5
TRANLOGOPTIONS ALTARCHIVELOGDEST /u01/app/oracle/flash_recovery_area
TRANLOGOPTIONS ALTARCHIVEDLOGFORMAT %t_%s_%r.dbf
--DDL INCLUDE ALL
--DDLOPTIONS ADDTRANDATA
FETCHOPTIONS, USESNAPSHOT, NOUSELATESTVERSION, MISSINGROW REPORT
STATOPTIONS REPORTFETCH
WARNLONGTRANS 1H, CHECKINTERVAL 5M
TABLE sender.*;

说明：查看参数db_recovery_file_dest知道归档日志路径在/u01/app/oracle/flash_recovery_area

添加该extract对应的trail文件，用来存储抽取的数据。单个文件大小设置为100MB，Megabytes:指定队列大小，本处设置表示100M

GGSCI (ogg) 3> add exttrail ./dirdat/nd, extract extnd, megabytes 100
EXTTRAIL added.

3、传输进程dpend

3.1、添加传输进程dpend，配置参数

增加PUMP进程

GGSCI (ogg) 4> add extract dpend, exttrailsource ./dirdat/nd, begin now
EXTRACT added.

3.2、修改PUMP参数

GGSCI (ogg) 1> edit params dpend
EXTRACT dpend
SETENV (NLS_LANG = "AMERICAN_AMERICA.UTF8")
passthru
RMTHOST 39.108.76.234, MGRPORT 7809,compress
RMTTRAIL ./dirdat/nd
dynamicresolution
DISCARDFILE ./dirdat/dpend.dsc,APPEND,MEGABYTES 5
TABLE sender.*;

说明：passthru表示本进程是一个传输进程data pump，无需跟数据库交互，只需要搬运数据即可；

因为data pump要传输数据到目标，所以需要配置rmthost和rmttrail指定目标主机和队列信息

3.3、添加RMTRAILS

GGSCI (ogg) 2> add rmttrail ./dirdat/nd, extract dpend, megabytes 100
RMTTRAIL added.

抽取进程和传输进程其实都是EXTRACT进程，也可以配置在一个进程完成这两个功能，但是当网络传输有问题时，这样抽取也就不能继续运行了，所以推荐分开配置为两个进程；

EXTRACT进程参数配置说明：

SETENV：配置系统环境变量
USERID/ PASSWORD：指定OGG连接数据库的用户名和密码，这里使用3.4部分中创建的数据库用户OGG;
COMMENT：注释行，也可以用--来代替;
TABLE：定义需复制的表，后面需以；结尾
TABLEEXCLUDE：定义需要排除的表，如果在TABLE参数中使用了通配符，可以使用该参数指定排除掉得表。
GETUPDATEAFTERS|IGNOREUPDATEAFTERS：
是否在队列中写入后影像，缺省复制
GETUPDATEBEFORES| IGNOREUPDATEBEFORES：
是否在队列中写入前影像，缺省不复制
GETUPDATES|IGNOREUPDATES：
是否复制UPDATE操作，缺省复制
GETDELETES|IGNOREDELETES：
是否复制DELETE操作，缺省复制
GETINSERTS|IGNOREINSERTS：
是否复制INSERT操作，缺省复制
GETTRUNCATES|IGNORETRUNDATES：
是否复制TRUNCATE操作，缺省不复制；
RMTHOST：指定目标系统及其GoldengateManager进程的端口号，还用于定义是否使用压缩进行传输，本例中的compress为压缩传输；
RMTTRAIL：指定写入到目标断的哪个队列；
EXTTRAIL：指定写入到本地的哪个队列；
SQLEXEC：在extract进程运行时首先运行一个SQL语句；
PASSTHRU：禁止extract进程与数据库交互，适用于Data Pump传输进程；
REPORT：定义自动定时报告；
STATOPTIONS：定义每次使用stat时统计数字是否需要重置；
REPORTCOUNT：报告已经处理的记录条数统计数字；
TLTRACE：打开对于数据库日志的跟踪日志；
DISCARDFILE：定义discardfile文件位置，如果处理中有记录出错会写入到此文件中；
DBOPTIONS：指定对于某种特定数据库所需要的特殊参数；
TRANLOGOPTIONS：指定在解析数据库日志时所需要的特殊参数，例如：对于裸设备，可能需要加入以下参数 rawdeviceoggset 0
WARNLONGTRANS：指定对于超过一定时间的长交易可以在gsserr.log里面写入警告信息，本处配置为每隔3分钟检查一次场交易，对于超过2小时的进行警告；

后面会分享下目的端ogg的配置和进程组配置，感兴趣的朋友可以关注下！

相关推荐

辞旧迎新，新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中，日志跟踪是一件很令程序员头疼的问题，在遇到生产问题时，如果是多节点需要打开多节点服务器去跟踪问题，如果下游也是多节点且调用多个服务，那就更麻烦，再者，如果没有分布式链路，在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting，即认证、授权和审计。?认证：验证用户是否可以获得权限，是3A的第一步，即验证身份...

linux查看最后N条日志

其实很简单，只需要用到tail这个命令tail-100catalina.out输入以上命令，就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志：/var/log/messages，文件时间戳不对，跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务，还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事，工作时需要用到，面试时会被问到，简历中需要写到。对于软件测试人员来说，不需要你多么熟练使用Linux所有命令，也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段，属于核心功能模块（nginx_core_module）的参数，该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本，用于监视类Unix系统(比如...

syslog服务详解

背景：需求来自于一个客户想将服务器的日志转发到自己的日志服务器上，所以希望我们能提供这个转发的功能，同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages：系统日志secure：登录日志———————————...

运维之日志管理简介

日志简介在运维过程中，日志是必不可少的东西，通过日志可以快速发现问题所在。日志分类日志分类，对不同的日志进行不同维度的分析。操作系统日志操作系统是基础，应用都是在其之上；操作系统日志的分析，可以反馈出...

Apache Log4j 爆核弹级漏洞，Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天：突发！ApacheLog4j2报核弹级漏洞。。赶紧修复！！|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志，如何快速定位错误?

来源：blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用：附加针对大量log日志...

Linux中查看日志文件的正确姿势，求你别tail走天下了!

作为一个后端开发工程师，在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题，那么我们应该如何正确打开日志文件呢？对于我这种小菜鸡来说，第一反应就是cat，tail，vi（或...

分享几款常用的付费日志系统，献给迷茫的你!

概述在前一篇文章中，我们分享了几款免费的日志服务器。他们各有各的特点，但是大家有不同的需求，有时免费的服务器不能满足大家的需要，下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 你 发表评论:

一周热门
标签列表
最新留言
本站文章转载自互联网及网友投稿，文章内容仅供学习参考，不构成建议，也不代表本站赞同其观点。
如有侵权请联系jellybean52032@gmail.com，提供原文链接地址以及资料原创证明，本站将会立即删除。