余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

重定向的时候shell在干什么?

xiyangw 2023-05-14 11:54 14 浏览 0 评论

“究竟在干什么”是一系列关于软件背后运作原理的文章,每一篇文章旨在讲解一些在日常编程实践中常见但可能并不为人所熟知的技术细节,抛砖引玉,期待激发读者朋友的更多思考。

序言

每当需要ssh登录到服务器并运行一个比较花时间的脚本时(比如临时从生产环境导出数据),为了能够知道脚本是否运行结束,或者是否出错退出,我都会将脚本的输出内容重定向到文件中

重定向的时候shell在干什么?

node foobar.js > /tmp/foobar.log 2> /tmp/foobar.err

如果不在乎将正常的打印和错误混在一起,可以写成

node foobar.js > /tmp/foobar.log 2>&1

上面代码中的2和1分别是标准错误(C语言中的stderr)和标准输出(C语言中的stdout)的文件描述符,2>&1的意思便是将打印到标准错误中的内容转移到标准输出中去——这个转移在shell中的术语便叫做重定向(redirection)。

2>&1该放哪里?

bash的man文档中有一个名为REDIRECTION的章节专门介绍了重定向相关的内容,其中有一段有意思的内容


用ls不方便做演示,我准备了下面这一段Node.js代码

console.error('Print to standard error.');
console.log('Print to standard output.');

将代码保存到文件foobar.js中。

如果将2>&1写在后面,那么foobar.log中会包含两行

?  /tmp node foobar.js > /tmp/foobar.log 2>&1
?  /tmp cat /tmp/foobar.log
Print to standard error.
Print to standard output.

否则,foobar.log中只含有一行内容,另一行会出现在终端上

?  /tmp node foobar.js 2>&1 > /tmp/foobar.log
Print to standard error.
?  /tmp cat /tmp/foobar.log
Print to standard output.

那么为什么会这样呢?

重定向的时候,shell在做些什么?

以执行node foobar.js > /tmp/foobar.log为例,当shell发现命令中含有重定向的符号时,便开始忙碌起来。

shell首先用open函数打开文件/tmp/foobar.log,拿到一个文件描述符(一个非负整数)。Node.js的fs模块中有一个open方法,在调用成功时,也是往回调函数传入文件描述符

const fs = require('fs');

fs.open('/tmp/cuckoo.log', function (err, fd) {
  console.log(`fd for cuckoo.log is ${fd}`);
  fs.open('/tmp/cuckoo.err', function (err, fd) {
    console.log(`fd for cuckoo.err is ${fd}`);
  });
});

比较奇妙的是,多次运行时拿到的文件描述符总是相同的

?  /tmp date; node open.test.js
Fri May 22 21:00:56 CST 2020
fd for cuckoo.log is 21
fd for cuckoo.err is 24
?  /tmp date; node open.test.js
Fri May 22 21:00:59 CST 2020
fd for cuckoo.log is 21
fd for cuckoo.err is 24

说回重定向。shell拿到文件描述符后,便调用dup2函数。既然有dup2,那么就有dup。dup接收一个文件描述符作为参数,返回一个新的文件描述符。而dup2则接收两个参数,它可以作为让第二个参数的数字成为一个新的文件描述符,指向与第一个参数相同的文件。

用图形可以更好地表达dup2的实现原理。下图是一个进程没有重定向时的状态,每个文件描述符都指向它们原本对应的文件

作为数字的文件描述符,相当于是文件描述符表的数组下标。调用dup2后,就变成了

可以将dup2理解为:把文件描述符表的一个元素(以dup2的第一个参数作为下标),按位复制到另一个元素中(以dup2的第二个参数作为下标)。

这样一来,凡是写往文件描述符1的数据,其实都写到了文件/tmp/foobar.log中。

所以,如果命令中重定向操作是2>&1 > /tmp/foobar.log,那么文件描述符表中下标1和2的元素并不会指向相同的文件


如果重定向操作是> /tmp/foobar.log 2>&1,则如下图所示


因此,此时不管是写往文件描述符1还是2,最终都重定向到了/tmp/foobar.log中。

后记

如果想要严谨地知道bash是如何处理重定向的,可以在GitHub的这个Bash源代码镜像上直接查看,找到根目录下的redir.c文件即可。

此外,对于上面的示意图,维基百科的File descriptor词条也有一幅更严谨的版本。

相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: