余晖落尽暮晚霞,黄昏迟暮远山寻
本站
当前位置:网站首页 > 编程知识 > 正文

一个简单的Unix作业队列系统

xiyangw 2023-05-14 11:38 14 浏览 0 评论

更多互联网新鲜资讯、工作奇淫技巧关注原创【飞鱼在浪屿】(日更新)

一个简单的Unix作业队列系统


Unix作业队列系统创建非常轻量级的作业队列系统,并且无需进行设置,维护,监督或任何长时间运行的过程。

nq应该可以在任何POSIX.1-2008兼容系统上运行。包括Linux,OpenBSD,FreeBSD,Mac OS X 10.3等。

预期的目的是临时对命令行进行排队。应用场景比如有,构建Makefile的多个目标,一次下载多个文件,以多种配置运行基准测试,或者只是作为nohup的替代品。


工作原理:

时间戳nq将强制按顺序执行作业。该顺序将在启动时获得。同步发生在文件系统级别。计时器分辨率为毫秒。不使用轮询。严格执行独占执行。

强制执行流程如下:

  • 每个作业都有一个flocked文件,格式如下 ,TIMESTAMP.PID
  • 仅在解锁所有先前的flock文件后,每个作业才开始
  • 为什么要使用flock?因为它锁定文件句柄,该文件句柄在exec与子进程(实际作业)之间共享,并且在文件关闭时(通常是在作业终止时)它将解锁。

使用排队得到新工作的锁,nq CMDLINE...。将输出作业ID(取消显示加上-q),并且从nq立即分离,在后台运行作业。STDOUT和STDERR被重定向到日志文件。

nq尽力(但不能保证)以确保当前正在运行的作业的日志文件设置了+ x位。因此,可以用来ls -F快速了解队列状态。

日志文件的“文件扩展名”实际上是PID,因此可以取消作业。在作业开始之前,它是的PID nq,因此也可以通过杀死它来取消排队的作业。

由于exec日志文件中的第一行,可以通过将其作为外壳命令文件执行来重新提交作业sh $jobid。

可以等待作业完成使用nq -w,可能会列出要等待的作业ID;默认是所有这些。同样,可以使用来测试是否有需要等待的作业-t。

默认情况下,作业ID是按目录的,但是可以设置$NQDIR环境变量,将其放置在其他位置。建议创建nq包装器设置$NQDIR以为不同目的提供不同的队列。

所有这些操作在产生的锁定文件数量上花费的时间在最坏情况下是数量的平方时间,因此应该定期清理它们。


使用示例

git clone https://github.com/leahneukirchen/nq

make可以构建目标clean,depends,all,生成nq和fq可执行文件,可以mv 到/usr/local/bin目录下。

使用make all来构建,make install安装(/usr/local默认)。也可以只将二进制文件复制到PATH。

make check如果安装Perl,则可以用来运行一个简单的测试套件。

make clean
make depends
make all

简单的下载队列,可从多个终端访问:

% mkdir -p /tmp/downloads //生成临时下载目录
% alias qget='NQDIR=/tmp/downloads nq wget' //别名,比较好记,qget为一个可排队的下载命令
% alias qwait='NQDIR=/tmp/downloads fq -q'
window1% qget http://mymirror/big1.iso //起一个窗口1,执行qget下载任务
window2% qget http://mymirror/big2.iso //起窗口2
window3% qget http://mymirror/big3.iso //起窗口3
% qwait //在原来窗口观察任务在队列的顺序执行
... wait for all downloads to finish ...

作为nohup替换:

% ssh remote
remote% nq ./run-benchmark
,14f6f3034f8.17035
remote% ^D
% ssh remote
remote% fq
... see output, fq exits when job finished ...

环境条件

nq 仅在以下情况下才能正常工作:

  • $NQDIR是可写的。
  • flock在$NQDIR目录 可以工作.。
  • gettimeofday表现单调(使用CLOCK_MONOTONIC会产生混乱的文件名)。由于竞争,其他工作顺序可能会混乱,并且多个任务可能一次运行。
  • 没有其他的程序把,* 设置到环境变量$NQDIR。

nq助手

提供了两个帮助程序:

fq输出当前正在运行的作业的日志,在作业完成时退出。如果没有作业正在运行,则显示最后一个作业的输出。 fq -a显示所有作业的输出,每个作业fq -q仅显示一行。 在Linux上fq使用inotify,而后退回轮询以进行大小更改。(这fq.sh是一个类似于shell脚本调用的类似工具tail,但功能不够强大)。

tq包装nq并fq在新的tmux或屏幕窗口中显示输出。

(一个纯粹的壳实现nq提供为nq.sh,它需要 flock从UTIL-Linux和只有1秒的计时器分辨率。锁文件nq和nq.sh不应该混。)


相关推荐

辞旧迎新,新手使用Containerd时的几点须知

相信大家在2020年岁末都被Kubernetes即将抛弃Docker的消息刷屏了。事实上作为接替Docker运行时的Containerd在早在Kubernetes1.7时就能直接与Kubelet集成使...

分布式日志系统ELK+skywalking分布式链路完整搭建流程

开头在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路,在生产日志...

Linux用户和用户组管理

1、用户账户概述-AAA介绍AAA指的是Authentication、Authorization、Accounting,即认证、授权和审计。?认证:验证用户是否可以获得权限,是3A的第一步,即验证身份...

linux查看最后N条日志

其实很简单,只需要用到tail这个命令tail-100catalina.out输入以上命令,就能列出catalina.out的最后100行。...

解决linux系统日志时间错误的问题

今天发现一台虚拟机下的系统日志:/var/log/messages,文件时间戳不对,跟正常时间差了12个小时。按网上说的执行了servicersyslogrestart重启syslog服务,还是不...

全程软件测试(六十二):软件测试工作如何运用Linux—读书笔记

从事过软件测试的小伙们就会明白会使用Linux是多么重要的一件事,工作时需要用到,面试时会被问到,简历中需要写到。对于软件测试人员来说,不需要你多么熟练使用Linux所有命令,也不需要你对Linux...

Linux运维之为Nginx添加错误日志(error_log)配置

Nginx错误日志信息介绍配置记录Nginx的错误信息是调试Nginx服务的重要手段,属于核心功能模块(nginx_core_module)的参数,该参数名字为error_log,可以放在不同的虚机主...

Linux使用swatchdog实时监控日志文件的变化

1.前言本教程主要讲解在Linux系统中如何使用swatchdog实时监控日志文件的变化。swatchdog(SimpleWATCHDOG)是一个简单的Perl脚本,用于监视类Unix系统(比如...

syslog服务详解

背景:需求来自于一个客户想将服务器的日志转发到自己的日志服务器上,所以希望我们能提供这个转发的功能,同时还要满足syslog协议。1什么是syslog服务1.1syslog标准协议如下图这里的fa...

linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录:/var/log[root@xinglog]#cd/var/log[root@xinglog]#lsmessages:系统日志secure:登录日志———————————...

运维之日志管理简介

日志简介在运维过程中,日志是必不可少的东西,通过日志可以快速发现问题所在。日志分类日志分类,对不同的日志进行不同维度的分析。操作系统日志操作系统是基础,应用都是在其之上;操作系统日志的分析,可以反馈出...

Apache Log4j 爆核弹级漏洞,Spring Boot 默认日志框架就能完美躲过

这两天沸沸扬扬的Log4j2漏洞门事件炒得热火朝天:突发!ApacheLog4j2报核弹级漏洞。。赶紧修复!!|Java技术栈|Java|SpringBoot|Spring...

Linux服务器存在大量log日志,如何快速定位错误?

来源:blog.csdn.net/nan1996jiang/articlep/details/109550303针对大量log日志快速定位错误地方tail/head简单命令使用:附加针对大量log日志...

Linux中查看日志文件的正确姿势,求你别tail走天下了!

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了。尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于我这种小菜鸡来说,第一反应就是cat,tail,vi(或...

分享几款常用的付费日志系统,献给迷茫的你!

概述在前一篇文章中,我们分享了几款免费的日志服务器。他们各有各的特点,但是大家有不同的需求,有时免费的服务器不能满足大家的需要,下面推荐几款付费的日志服务器。1.Nagios日志服务器Nagio...

取消回复欢迎 发表评论: