余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

第12篇 常用信息系统集成技术(五)

xiyangw 2023-05-13 16:01 18 浏览 0 评论

本篇介绍数据库管理系统、数据仓库技术、中间件技术、高可用性和高可靠性的规划与设计的基本概念和相关知识

一、数据库管理系统

目前,常见的数据库管理系统主要有Oracle、MySQL、SQL Server、MongoDB等,其中前三种均为关系型数据库,而MongoDB是非关系型数据库

第12篇 常用信息系统集成技术(五)

二、数据仓库技术

数据仓库是一个面向主题的、集成的、非易识的、且随时间变化的数据集合,用于支持管理决策。


数据仓库体系结构

1、基础概念:

(1)ETL(Extract/Transformation/Load,清洗/转换/加载):用户从数据源抽取出所需的数据,经过数据清洗、转换,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去;

(2)元数据:关于数据的数据,指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据,同时元数据还包含关于数据含义的商业信息。典型的元数据包括:数据仓库表的结构、数据仓库表的属性、数据仓库的源数据(记录系统)、从记录系统到数据仓库的映射、数据模型的规格说明、抽取日志和访问数据的公用例行程序等;

(3)粒度:数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大;

(4)分割:结构相同的数据被分成多个数据物理单元。任何给定的数据单元属于且仅属于一个分割;

(5)数据集市:小型的、面向部门或工作组级数据仓库;

(6)ODS(Operation Data Store,操作数据存储):能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境,是DW扩展后得到的一个混合形式。四个基本特点:面向主题的、集成的、可变的、当前或接近当前的;

(7)数据模型:逻辑数据结构,包括由数据库管理系统为有效进行数据库处理提供的操作和约束,用于表示数据的系统;

(8)人工关系:在决策支持系统环境中用于表示参照完整性的一种设计技术。

2、数据仓库概念:

(1)数据源:是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于关系型数据库管理系统中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等;

(2)数据的存储与管理:是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市);

(3)OLAP服务器:对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中;

(4)前端工具:主要包括各种查询工具、报表工具、分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对 OLAP 服务器,报表工具、数据挖掘工具主要针对数据仓库。

三、中间件技术

1、中间件定义:

(1)在一个分布式系统环境中处于操作系统和应用程序之间的软件;

(2)中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信。

2、中间件优点:

中间件作为一大类系统软件,与操作系统、数据库管理系统并称“三套车”,中间件的优越性体现在以下几个方面:缩短应用的开发周期、节约应用的开发成本、减少系统初期的建设成本、降低应用开发的失败率、保护已有的投资、简化应用集成、减少维护费用、提高应用的开发质量、保证技术进步的连续性、增强应用的生命力。

3、中间件种类:底层型、通用型、集成型

(1)底层型中间件:JVM、CLR、ACE、JDBC和ODBC等;

(2)通用型中间件:CORBA、J2EE、MOM和COM等;

(3)集成型中间件:WorkFlow和EAI等。

(4)为完成不同层次的集成,可以采用不同的技术、产品:

  • 为了完成系统底层传输层的集成,可以采用CORBA技术;
  • 为了完成不同系统的信息传递,可以采用消息中间件产品;
  • 为了完成不同硬件和操作系统的集成,可以采用J2EE中间件产品。

四、高可用性和高可靠性的规划与设计

1、基本概念:

(1)可用性(availability):是指系统能够正常运行的时间比例,经常用两次故障之间的时间长度或在出现故障时系统能够恢复正常的速度来表示;

(2)可靠性(reliability):是指软件系统在应用或系统错误面前,在意外或错误使用的情况下维持软件系统的功能特性的基本能力;

(3)平均无故障时间(MTTF):是指计算机系统平均能够正常运行多长时间,才发生一次故障。计算机系统的可用性通常用平均无故障时间(MTTF)来度量

(4)平均维修时间(MTTR):是指系统发生故障后维修和重新恢复正常运行平均话费的时间。计算机系统的可维护性通常用平均维修时间(MTTR)来度量;

(5)计算机系统的可用性:是指系统保持正常运行时间的百分比,公式为MTTF/(MTTF+MTTR)*100%

2、常见可用性战术:

(1)错误检测:用于错误检测的战术包括命令/响应、心跳和异常

(2)错误恢复:用于错误恢复的战术包括表决、主动冗余、被动冗余

(3)错误预防:用于错误预防的战术包括把可能出错的组件从服务中删除、引入进程监视器

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: