「命令行的艺术」5万星登顶 Github 趋势榜

 find . -name 
'*.py'
 | xargs grep some_function
 cat hosts | xargs -I{} ssh root@{} hostname

 
set
 -euo pipefail
 trap 
"echo 'error: Script failed: see failed command above'"
 ERR

• 在 Bash 脚本中，子 shell（使用括号 (...)）是一种组织参数的便捷方式。一个常见的例子是临时地移动工作路径，代码如下：

 
# do something in current dir
 (cd /some/other/dir && other-command)
 
# continue in original dir

• 在 Bash 中，变量有许多的扩展方式。 ${name:?error message} 用于检查变量是否存在。此外，当 Bash 脚本只需要一个参数时，可以使用这样的代码 input_file=${1:?usage:$0 input_file}。在变量为空时使用默认值： ${name:-default}。如果你要在之前的例子中再加一个（可选的）参数，可以使用类似这样的代码 output_file=${2:-logfile}，如果省略了 $2，它的值就为空，于是 output_file 就会被设为 logfile。数学表达式： i=$(((i+1)%5))。序列： {1..10}。截断字符串： ${var%suffix} 和 ${var#prefix}。例如，假设 var=foo.pdf，那么 echo ${var%.pdf}.txt 将输出 foo.txt。
• 使用括号扩展（ {... }）来减少输入相似文本，并自动化文本组合。这在某些情况下会很有用，例如 mv foo.{txt,pdf}some-dir（同时移动两个文件）， cp somefile{,.bak}（会被扩展成 cp somefile somefile.bak）或者 mkdir-p test-{a,b,c}/subtest-{1,2,3}（会被扩展成所有可能的组合，并创建一个目录树）。
• 通过使用 <(some command) 可以将输出视为文件。例如，对比本地文件 /etc/hosts 和一个远程文件：

 diff /etc/hosts <(ssh somehost cat /etc/hosts)

• 编写脚本时，你可能会想要把代码都放在大括号里。缺少右括号的话，代码就会因为语法错误而无法执行。如果你的脚本是要放在网上分享供他人使用的，这样的写法就体现出它的好处了，因为这样可以防止下载不完全代码被执行。

{
 
# 在这里写代码
}

• 了解 Bash 中的“here documents”，例如 cat<<EOF...。
• 在 Bash 中，同时重定向标准输出和标准错误： some-command>logfile2>&1 或者 some-command&>logfile。通常，为了保证命令不会在标准输入里残留一个未关闭的文件句柄捆绑在你当前所在的终端上，在命令后添加 </dev/null 是一个好习惯。
• 使用 man ascii 查看具有十六进制和十进制值的ASCII表。 man unicode， man utf-8，以及 man latin1有助于你去了解通用的编码信息。
• 使用 screen 或 tmux 来使用多份屏幕，当你在使用 ssh 时（保存 session 信息）将尤为有用。而 byobu 可以为它们提供更多的信息和易用的管理工具。另一个轻量级的 session 持久化解决方案是 dtach。
• ssh 中，了解如何使用 -L 或 -D（偶尔需要用 -R）开启隧道是非常有用的，比如当你需要从一台远程服务器上访问 web 页面。
• 对 ssh 设置做一些小优化可能是很有用的，例如这个 ~/.ssh/config 文件包含了防止特定网络环境下连接断开、压缩数据、多通道等选项：

 
TCPKeepAlive
=yes
 
ServerAliveInterval
=
15
 
ServerAliveCountMax
=
6
 
Compression
=yes
 
ControlMaster
 
auto
 
ControlPath
 /tmp/%r@%h:%p
 
ControlPersist
 yes

• 一些其他的关于 ssh 的选项是与安全相关的，应当小心翼翼的使用。例如你应当只能在可信任的网络中启用 StrictHostKeyChecking=no， ForwardAgent=yes。
• 考虑使用 mosh 作为 ssh 的替代品，它使用 UDP 协议。它可以避免连接被中断并且对带宽需求更小，但它需要在服务端做相应的配置。
• 获取八进制形式的文件访问权限（修改系统设置时通常需要，但 ls 的功能不那么好用并且通常会搞砸），可以使用类似如下的代码：

 stat -c 
'%A %a %n'
 /etc/timezone

• 使用 percol 或者 fzf 可以交互式地从另一个命令输出中选取值。
• 使用 fpp（PathPicker）可以与基于另一个命令(例如 git）输出的文件交互。
• 将 web 服务器上当前目录下所有的文件（以及子目录）暴露给你所处网络的所有用户，使用： python-mSimpleHTTPServer7777 （使用端口 7777 和 Python 2）或 python-m http.server7777 （使用端口 7777 和 Python 3）。
• 以其他用户的身份执行命令，使用 sudo。默认以 root 用户的身份执行；使用 -u 来指定其他用户。使用 -i 来以该用户登录（需要输入你自己的密码）。
• 将 shell 切换为其他用户，使用 su username 或者 sudo-username。加入 - 会使得切换后的环境与使用该用户登录后的环境相同。省略用户名则默认为 root。切换到哪个用户，就需要输入哪个用户的密码。
• 了解命令行的 128K 限制。使用通配符匹配大量文件名时，常会遇到“Argument list too long”的错误信息。（这种情况下换用 find 或 xargs 通常可以解决。）
• 当你需要一个基本的计算器时，可以使用 python 解释器（当然你要用 python 的时候也是这样）。例如：

>>> 
2
+
3
5

文件及数据处理

• 在当前目录下通过文件名查找一个文件，使用类似于这样的命令： find.-iname'*something*'。在所有路径下通过文件名查找文件，使用 locate something （但注意到 updatedb 可能没有对最近新建的文件建立索引，所以你可能无法定位到这些未被索引的文件）。
• 使用 ag 在源代码或数据文件里检索（ grep-r 同样可以做到，但相比之下 ag 更加先进）。
• 将 HTML 转为文本： lynx-dump-stdin。
• Markdown，HTML，以及所有文档格式之间的转换，试试 pandoc。
• 当你要处理棘手的 XML 时候， xmlstarlet 算是上古时代流传下来的神器。
• 使用 jq 处理 JSON。
• 使用 shyaml 处理 YAML。
• 要处理 Excel 或 CSV 文件的话，csvkit 提供了 in2csv， csvcut， csvjoin， csvgrep 等方便易用的工具。
• 当你要处理 Amazon S3 相关的工作的时候， s3cmd 是一个很方便的工具而 s4cmd 的效率更高。Amazon 官方提供的 aws 以及 saws 是其他 AWS 相关工作的基础，值得学习。
• 了解如何使用 sort 和 uniq，包括 uniq 的 -u 参数和 -d 参数，具体内容在后文单行脚本节中。另外可以了解一下 comm。
• 了解如何使用 cut， paste 和 join 来更改文件。很多人都会使用 cut，但遗忘了 join。
• 了解如何运用 wc 去计算新行数（ -l），字符数（ -m），单词数（ -w）以及字节数（ -c）。
• 了解如何使用 tee 将标准输入复制到文件甚至标准输出，例如 ls-al|tee file.txt。
• 要进行一些复杂的计算，比如分组、逆序和一些其他的统计分析，可以考虑使用 datamash。
• 注意到语言设置（中文或英文等）对许多命令行工具有一些微妙的影响，比如排序的顺序和性能。大多数 Linux 的安装过程会将 LANG 或其他有关的变量设置为符合本地的设置。要意识到当你改变语言设置时，排序的结果可能会改变。明白国际化可能会使 sort 或其他命令运行效率下降许多倍。某些情况下（例如集合运算）你可以放心的使用 exportLC_ALL=C 来忽略掉国际化并按照字节来判断顺序。
• 你可以单独指定某一条命令的环境，只需在调用时把环境变量设定放在命令的前面，例如 TZ=Pacific/Fijidate 可以获取斐济的时间。
• 了解如何使用 awk 和 sed 来进行简单的数据处理。 参阅 One-liners 获取示例。
• 替换一个或多个文件中出现的字符串：

 perl -pi.bak -e 
's/old-string/new-string/g'
 my-files-*.txt

• 使用 repren 来批量重命名文件，或是在多个文件中搜索替换内容。（有些时候 rename 命令也可以批量重命名，但要注意，它在不同 Linux 发行版中的功能并不完全一样。）

 
# 将文件、目录和内容全部重命名 foo -> bar:
 repren --full --preserve-
case
 --from foo --to bar .
 
# 还原所有备份文件 whatever.bak -> whatever:
 repren --renames --from 
'(.*)\.bak'
 --to 
'\1'
 *.bak
 
# 用 rename 实现上述功能（若可用）:
 rename 
's/\.bak$//'
 *.bak

• 根据 man 页面的描述， rsync 是一个快速且非常灵活的文件复制工具。它闻名于设备之间的文件同步，但其实它在本地情况下也同样有用。在安全设置允许下，用 rsync 代替 scp 可以实现文件续传，而不用重新从头开始。它同时也是删除大量文件的最快方法之一：

mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir

• 若要在复制文件时获取当前进度，可使用 pv， pycp， progress， rsync--progress。若所执行的复制为block块拷贝，可以使用 dd status=progress。
• 使用 shuf 可以以行为单位来打乱文件的内容或从一个文件中随机选取多行。
• 了解 sort 的参数。显示数字时，使用 -n 或者 -h 来显示更易读的数（例如 du-h 的输出）。明白排序时关键字的工作原理（ -t 和 -k）。例如，注意到你需要 -k1，1 来仅按第一个域来排序，而 -k1 意味着按整行排序。稳定排序（ sort-s）在某些情况下很有用。例如，以第二个域为主关键字，第一个域为次关键字进行排序，你可以使用 sort-k1，1|sort-s-k2，2。
• 如果你想在 Bash 命令行中写 tab 制表符，按下 ctrl-v [Tab] 或键入