余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

SSIS 调试和故障排除

xiyangw 2023-05-14 11:43 14 浏览 0 评论

SSIS内置的调试工具是非常完备的,对于数据流的调试,主要是设置断点和查看变量值,这是在Package的设计阶段可以使用的工具,在Package部署到服务器之后,用户还可以使用事件处理程序以实现Package出错的自我修复,使用日志记录等来监控Package的运行状态,以记录Package出现故障时的现场信息,为后续修复Package的错误提供最原始和有效的信息。当单独执行一次Package时,用户还可以为这一次执行实例设置Package级别的日志记录级别。对数据流的调试,主要是错误行和数据查看器,在数据流Task中,可以通过重定向错误行把错误保存起来,便于后续的调试和故障排除;还可以通过数据查看器,实时查看数据流中的数据,主要用于调试数据流管道。

一,设置断点

断点是调试Package时最常用的工具,Task满足中断条件时停止,为Task设置断点的手续十分简单,用户选中Task,右击选择“Edit Breakpoint”,选择中断条件,并启用断点即可。

SSIS 调试和故障排除

断点的触发条件是在Task接收到特定的事件时,用户可以为一个Task设置多种中断条件的断点,常用的中断条件是:

  • Break when the container receives the OnPreExecute event
  • Break when the container receives the OnPostExecute event
  • Break when the container receives the OnError event

设置断点的向导如下图所示,用户不仅可以选择中断条件(Break Condition),还是设置条件命中的次数和类型:

在断点处,用于可以通过进行Step Into、Step Over和Step Out操作,以便逐步查看Package的运行状态,也可以按下F5,继续执行Package下面的Task。

二,查看变量值

在Packag运行到断点时,用户可以通过 Local 窗口来窗口Package中所有变量和属性的值,

Local窗口中的变量是Package中的所有变量,包括用户自定义的变量和系统变量。在调试Package时,Local窗口中的变量太多,以至于开发工程师需要浪费很多时间去查找关键的变量。一般情况下,只有很少的几个变量会影响Package运行结果,因此,开发工程师比较关注的也是这几个变量,这时,用户可以通过 Watch 窗口,手动输入变量名,重点监控这几个变量的当前值,以确认Package运行的状态:

三,事件处理程序

每一个Task和容器都会在运行时触发事件,例如,OnError事件等,事件处理程序是在特定事件被触发时,SSIS自动调用的处理程序,事件处理程序会捕获和处理相关事件。在设计Package时,开发工程师预测可能出现的异常,当异常发生时,Package自动调用事件处理程序来发送邮件通知相关人员及时修复可能存在的异常,或者重新执行Package等,以实现Package的自我修复。


事件处理程序捕获事件,而事件是由Task触发的,常用的事件是

  • OnError事件:只要发生错误都会触发该事件;
  • OnPostExecute事件:仅在Task或容器执行完成之后触发该事件;
  • OnPreExecute事件:仅在Task或容器执行之前触发该事件;

事件处理程序继承其子Task的相关事件,这意味着如果存在一个容器,并且该容器有一个针对OnError事件定义的事件处理程序,那么当该容器的一个子Task发生错误时,将会触发此容器的事件处理程序。该过程被称作“冒泡”事件,或者从子Task到容器的旅行。最高级别的可执行文件是Package本身,因此,如果在Package级别定义了一个事件处理程序,那么每当事件发生时,都会触发Package级别的事件处理程序。

四,日志记录

通常情况下,使用项目部署模型把Package部署到SSIS服务上,使用SSISDB数据库来保存Package运行的日志。如果要修改日志记录的级别,那么需要修改SSISDB的默认设置。

在Integration Services Catalogs目录下,点击SSISDB,配置Server-wide的默认日志级别。

SSIS的日志记录共有4个级别,记录的数据从少到多,依次是:

  • None:包括可执行文件、Task和参数的最小日志记录
  • Basic:默认的日志记录级别,包含None级别,以及针对特定事件的Operation的统计信息和消息;
  • Performance:包括None级别,错误和警告事件,以及为了性能优化而进行的事件上下文;
  • Verbose:记录的消息最多,最高级别的日志记录级别,记录所有的消息。

默认情况下,Package的日志记录级别和服务器级别的日志记录级别相同,用户还可以单独设置Package的日志记录级别。在Integration Services Catalogs目录中,选中某一个Package,右击弹出快捷菜单,点击“Execute”,切换到Advanced选项卡,为这一次执行实例设置日志级别。这个设置是一次性的,集成服务不会记录,Package在下次执行时,默认的日志记录级别还是和服务器级别的日志记录级别相同。

五,错误输出

在数据流中,错误行都是通过使用Error Output来配置的,这些属性高数数据流组件,当针对某一行的操作失败(出错或截断)时应该怎么做。

对错误或截断的处理程序有三种:

  • 组件失败(Fail Component):当针对某一列选择了“组件失败”,并且产生了错误时,数据流将停止运行并失败,同时触发任何针对数据流任务的OnError事件。
  • 重定向行(Redirect Row):当任何被标记为重定向的列中任何一行产生错误,整个行都将被发送到红色的错误路径输出,但是,数据流任务不会失败。如果没有使用红色的错误路径,那么该行将从数据流中丢弃。
  • 忽略失败(Ignore Failure):如果错误发生在源或转换中,那么错误列的值会被设置为NULL。如果是截断错误,那么只会向下游发送截断之后的值。当对目标进行处理时,某一列的忽略错误会导致忽略整个数据行,而不是忽略错误列。

用户可以把错误行重定向,保存到特定的数据结构中,以保存错误的数据,然后分析数据,对Package进行故障排除。

六,数据查看器

在数据流任务中,两个组件之间的连线叫做数据流路径(Data Flow Path),路径的数据查看器默认是禁用的,用户可以选中路径,右击选择“Enable Data Viewer”,启用数据查看器。

数据经过源或转换组件流向下游组件时,利用数据查看器可以实时查看数据,以检查数据是否出现异常。

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: