更多互联网新鲜资讯、工作奇淫技巧关注原创【飞鱼在浪屿】(日更新)
Unix作业队列系统创建非常轻量级的作业队列系统,并且无需进行设置,维护,监督或任何长时间运行的过程。
nq应该可以在任何POSIX.1-2008兼容系统上运行。包括Linux,OpenBSD,FreeBSD,Mac OS X 10.3等。
预期的目的是临时对命令行进行排队。应用场景比如有,构建Makefile的多个目标,一次下载多个文件,以多种配置运行基准测试,或者只是作为nohup的替代品。
工作原理:
时间戳nq将强制按顺序执行作业。该顺序将在启动时获得。同步发生在文件系统级别。计时器分辨率为毫秒。不使用轮询。严格执行独占执行。
强制执行流程如下:
- 每个作业都有一个flocked文件,格式如下 ,TIMESTAMP.PID
- 仅在解锁所有先前的flock文件后,每个作业才开始
- 为什么要使用flock?因为它锁定文件句柄,该文件句柄在exec与子进程(实际作业)之间共享,并且在文件关闭时(通常是在作业终止时)它将解锁。
使用排队得到新工作的锁,nq CMDLINE...。将输出作业ID(取消显示加上-q),并且从nq立即分离,在后台运行作业。STDOUT和STDERR被重定向到日志文件。
nq尽力(但不能保证)以确保当前正在运行的作业的日志文件设置了+ x位。因此,可以用来ls -F快速了解队列状态。
日志文件的“文件扩展名”实际上是PID,因此可以取消作业。在作业开始之前,它是的PID nq,因此也可以通过杀死它来取消排队的作业。
由于exec日志文件中的第一行,可以通过将其作为外壳命令文件执行来重新提交作业sh $jobid。
可以等待作业完成使用nq -w,可能会列出要等待的作业ID;默认是所有这些。同样,可以使用来测试是否有需要等待的作业-t。
默认情况下,作业ID是按目录的,但是可以设置$NQDIR环境变量,将其放置在其他位置。建议创建nq包装器设置$NQDIR以为不同目的提供不同的队列。
所有这些操作在产生的锁定文件数量上花费的时间在最坏情况下是数量的平方时间,因此应该定期清理它们。
使用示例
git clone https://github.com/leahneukirchen/nq
make可以构建目标clean,depends,all,生成nq和fq可执行文件,可以mv 到/usr/local/bin目录下。
使用make all来构建,make install安装(/usr/local默认)。也可以只将二进制文件复制到PATH。
make check如果安装Perl,则可以用来运行一个简单的测试套件。
make clean
make depends
make all
简单的下载队列,可从多个终端访问:
% mkdir -p /tmp/downloads //生成临时下载目录
% alias qget='NQDIR=/tmp/downloads nq wget' //别名,比较好记,qget为一个可排队的下载命令
% alias qwait='NQDIR=/tmp/downloads fq -q'
window1% qget http://mymirror/big1.iso //起一个窗口1,执行qget下载任务
window2% qget http://mymirror/big2.iso //起窗口2
window3% qget http://mymirror/big3.iso //起窗口3
% qwait //在原来窗口观察任务在队列的顺序执行
... wait for all downloads to finish ...
作为nohup替换:
% ssh remote
remote% nq ./run-benchmark
,14f6f3034f8.17035
remote% ^D
% ssh remote
remote% fq
... see output, fq exits when job finished ...
环境条件
nq 仅在以下情况下才能正常工作:
- $NQDIR是可写的。
- flock在$NQDIR目录 可以工作.。
- gettimeofday表现单调(使用CLOCK_MONOTONIC会产生混乱的文件名)。由于竞争,其他工作顺序可能会混乱,并且多个任务可能一次运行。
- 没有其他的程序把,* 设置到环境变量$NQDIR。
nq助手
提供了两个帮助程序:
fq输出当前正在运行的作业的日志,在作业完成时退出。如果没有作业正在运行,则显示最后一个作业的输出。 fq -a显示所有作业的输出,每个作业fq -q仅显示一行。 在Linux上fq使用inotify,而后退回轮询以进行大小更改。(这fq.sh是一个类似于shell脚本调用的类似工具tail,但功能不够强大)。
tq包装nq并fq在新的tmux或屏幕窗口中显示输出。
(一个纯粹的壳实现nq提供为nq.sh,它需要 flock从UTIL-Linux和只有1秒的计时器分辨率。锁文件nq和nq.sh不应该混。)