Linux: Linux文本处理工具和正则表达式

[root@centos8 ~]#cat /etc/init.d/functions |less
# -*-Shell-script-*-
#
# functions This file contains functions to be used by most or all
#    shell scripts in the /etc/init.d directory.
#
TEXTDOMAIN=initscripts
# Make sure umask is sane
umask 022
# Set up a default search path.
PATH="/sbin:/usr/sbin:/bin:/usr/bin"
export PATH
...省略...

-c # 指定获取前#字节
-n # 指定获取前#行
-# 同上

[root@centos8 ~]#head -n 3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@centos8 ~]#head -3 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@centos8 ~]#echo a我b | head -c4
a我[root@centos8 ~]#

[root@centos8 ~]#cat /dev/urandom | tr -dc '[:alnum:]'| head -c10
G755MlZatW[root@centos8 ~]#cat /dev/urandom | tr -dc '[:alnum:]'| head -c10
ASsax6DeBz[root@centos8 ~]#cat /dev/urandom | tr -dc '[:alnum:]'| head -c10 |tee pass.txt | passwd --stdin me
Changing password for user me.
passwd: all authentication tokens updated successfully.
[root@centos8 ~]#cat pass.txt
AGT952Essg[root@centos8 ~]#su - wang
[wang@centos8 ~]$su - me
Password:

[root@centos8 ~]#cat /data/f1.txt
1
2
3
4
5
6
7
8
9
10
[root@centos8 ~]#head -n -3 /data/f1.txt
1
2
3
4
5
6
7
[root@centos8 ~]#

-c # 指定获取后#字节
-n # 指定获取后#行
-# 同上
-f 跟踪显示文件fd新追加的内容,常用日志监控，相当于 --follow=descriptor,当文件删除再新建同名文件,将无法继续跟踪文件
-F 跟踪文件名，相当于--follow=name --retry，当文件删除再新建同名文件,将可以继续跟踪文件
tailf 类似 tail –f，当文件不增长时并不访问文件

注意：#号前面可使用正负号，表示该偏移从顶部还是从尾部开始计算。如+2表示从第2行到尾行，-2表示从倒数第2行到尾行。

[root@centos8 ~]#cat  /data/f1.txt
1
2
3
4
5
6
7
8
9
10
[root@centos8 ~]#tail -n 3 /data/f1.txt
8
9
10
[root@centos8 ~]#tail -n +3 /data/f1.txt
3
4
5
6
7
8
9
10

[root@centos8 ~]#tail -3 /var/log/messages
Dec 20 09:49:01 centos8 dbus-daemon[952]: [system] Successfully activated
service 'net.reactivated.Fprint'
Dec 20 09:49:01 centos8 systemd[1]: Started Fingerprint Authentication Daemon.
Dec 20 09:49:13 centos8 su[6887]: (to cici) root on pts/0
[root@centos8 ~]#tail -f /var/log/messages
。。。
  727 B/s | 1.5 kB   00:02
Dec 20 08:47:12 centos8 dnf[1465]: Metadata cache created.
Dec 20 08:47:12 centos8 systemd[1]: Started dnf makecache.

#只查看最新发生的日志
[root@centos8 ~]#tail -fn0 /var/log/messages
[root@centos8 ~]#tail -0f /var/log/messages
[root@centos8 data]#ifconfig | head -2 | tail -1
   inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.255

--retry : 即使tail开始时就不能访问或者在tail运行后不能访问,也仍然不停地尝试打开文件. -- 只与-f合用时有用
-F : same as --follow=name --retry，即-f --retry
--max-unchanged-stats=N
-q : 不显示处理信息
-v : 显示详细的处理信息
-c<数目> : 显示的字节数
-n<行数> : 显示行数  ***
--pid=PID : 与-f合用,表示在进程ID,PID死掉之后结束.
-q, --quiet, --silent : 从不输出给出文件名的首部
-s, --sleep-interval=S : 与-f合用,表示在每次反复的间隔休眠S秒

[root@nginx01 ~]# tail -n +$(tail -n1 /root/n) -F /root/ip.txt 2>&1 | awk 'ARGIND==1{i=$0;next}{i++;if($0~/^tail/){i=0};print $0;print i > "/root/n";fflush("")}' /root/n -

a1.sources.r1.type = exec
a1.sources.r1.shell = /bin/bash -c
a1.sources.r1.command = tail -n +$(tail -n1 /home/hadoop/flume_read/m) -F /home/hadoop/student.txt | awk 'ARGIND==1{i=$0;next}{i++;if($0~/^tail/){i=0};print
$0;print i >> "/home/hadoop/flume_read/m";fflush("")}' /home/hadoop/flume_read/m -

解释：
ARGC        The number of command line arguments (does not include
                   options to gawk, or the program source).   命令行参数的个数
ARGIND      The index in ARGV of the current file being processed. 命令行中文件序号
ARGV        Array of command line arguments. The array is indexed
                   from 0 to ARGC - 1. Dynamically changing the contents
                   of ARGV can control the files used for data. 命令行参数数组
大体类似于C语言 int main(int argc,char *argv[])

a b
1 1
qw 2
qq d
123 cd

解答： awk 'ARGIND==1 {a[$0]} ARGIND>1&&!($0 in a) {print $0}' a b
或者： awk 'NR==FNR {a[$0]} NR>FNR&&!($0 in a) {print $0}' a b
代码解释：
ARGIND==1{a[$0]}
#ARGIND==1 判断是否正在处理第一个文件，本例为文件a
# {a[$0]} 初始化（或叫做定义）a[$0]
ARGIND>1&&!($0 in a){print $0}
#ARGIND>1 判断是否在处理第二个或第n个文件，本例只有一个文件b
#并且判断a[$0]是否未定义，然后打印$0


fflush函数用以刷新输出缓冲区，如果没有参数，就刷新标准输出的缓冲区，如果以空字符串为参数，如fflush(""),则刷新所有文件和管道的输出缓冲区。
这里的fflush是向n文件中写入

#该命令会把/etc/issue中的小写字符都转换成大写字符
tr 'a-z' 'A-Z'< /etc/issue

#删除fstab文件中的所有abc中任意字符
tr –d abc < /etc/fstab

# 取指定字符，只显示20个
tr -dc '#@%a-z0-9' < /dev/urandom |head -c 20

col [-xb]

-x  ：将 tab 键转换成对等的空格键
-b  ：在文字内有反斜杠 (/) 时，仅保留反斜杠最后接的那个字符

[root@www ~]# cat -A /etc/man.config  # 此时会看到很多 ^I 的符号，那就是 tab
[root@www ~]# cat /etc/man.config | col -x | cat -A | more

[root@www ~]# man col > /root/col.man
[root@www ~]# vi /root/col.man
COL(1)          BSD General Commands Manual               COL(1)

N^HNA^HAM^HME^HE
     c^Hco^Hol^Hl - filter reverse line feeds from input

S^HSY^HYN^HNO^HOP^HPS^HSI^HIS^HS
     c^Hco^Hol^Hl [-^H-b^Hbf^Hfp^Hpx^Hx] [-^H-l^Hl _^Hn_^Hu_^Hm]
# 由于 man page 内有些特殊按钮会用来作为类似特殊按键与颜色显示，
# 所以这个文件内就会出现如上所示的一堆怪异字符(有 ^ 的)

[root@www ~]# man col | col -b > /root/col.man

join [-ti12] file1 file2

-t  ：join 默认以空格符分隔数据，并且比对『第一个字段』的数据，如果两个文件相同，则将两笔数据联成一行，且第一个字段放在第一个！
-i  ：忽略大小写的差异；
-1  ：这个是数字的 1 ，代表『第一个文件要用那个字段来分析』的意思；
-2  ：代表『第二个文件要用那个字段来分析』的意思。

[root@www ~]# head -n 3 /etc/passwd /etc/shadow
==> /etc/passwd <==
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

==> /etc/shadow <==
root:$1$/3AQpE5e$y9A/D0bh6rElAs:14120:0:99999:7:::
bin:*:14126:0:99999:7:::
daemon:*:14126:0:99999:7:::
# 由输出的数据可以发现这两个文件的最左边字段都是账号！且以 : 分隔

[root@www ~]# join -t ':' /etc/passwd /etc/shadow
root:x:0:0:root:/root:/bin/bash:$1$/3AQpE5e$y9A/D0bh6rElAs:14120:0:99999:7:::
bin:x:1:1:bin:/bin:/sbin/nologin:*:14126:0:99999:7:::
daemon:x:2:2:daemon:/sbin:/sbin/nologin:*:14126:0:99999:7:::
# 透过上面这个动作，我们可以将两个文件第一字段相同者整合成一行！
# 第二个文件的相同字段并不会显示(因为已经在第一行了！)

[root@www ~]# head -n 3 /etc/passwd /etc/group
==> /etc/passwd <==
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

==> /etc/group <==
root:x:0:root
bin:x:1:root,bin,daemon
daemon:x:2:root,bin,daemon
# 从上面可以看到，确实有相同的部分喔！赶紧来整合一下！

[root@www ~]# join -t ':' -1 4 /etc/passwd -2 3 /etc/group
0:root:x:0:root:/root:/bin/bash:root:x:root
1:bin:x:1:bin:/bin:/sbin/nologin:bin:x:root,bin,daemon
2:daemon:x:2:daemon:/sbin:/sbin/nologin:daemon:x:root,bin,daemon
# 同样的，相同的字段部分被移动到最前面了！所以第二个文件的内容就没再显示。

paste [OPTION]... [FILE]...

-d 分隔符：指定分隔符，默认用TAB
-s : 所有行合成一行显示

paste file1 file2 合并两个文件或两栏的内容
paste -d '+' file1 file2 合并两个文件或两栏的内容，中间用"+"区分

如果分隔符写多个，则会分先后顺序依次放出分隔符
[root@ct8-ts1 master]# paste -s  num2.txt
1    1    2    2    3    3
[root@ct8-ts1 master]# paste -s -d '=\n' num2.txt
1=1
2=2
3=3

[root@centos8 ~]#cat alpha.log
a
b
c
d
e
f
g
h
[root@centos8 ~]#cat seq.log
1
2
3
4
5
[root@centos8 ~]#cat alpha.log seq.log
a
b
c
d
e
f
g
h
1
2
3
4
5
[root@centos8 ~]#paste alpha.log seq.log
a 1
b 2
c 3
d 4
e 5
f
g
h

[root@centos8 ~]#paste -d":" alpha.log seq.log #两栏的内容，中间用":"区分
a:1
b:2
c:3
d:4
e:5
f:
g:
h:
[root@centos8 ~]#paste -s seq.log
1 2 3 4 5
[root@centos8 ~]#paste -s alpha.log
a b c d e f g h
[root@centos8 ~]#paste -s alpha.log seq.log
a b c d e f g h
1 2 3 4 5

[root@centos8 ~]#cat title.txt
ceo
coo
cto
[root@centos8 ~]#cat emp.txt
me
zhang
wang
xu
[root@centos8 ~]#paste title.txt emp.txt
ceo me
coo zhang
cto wang
    xu
[root@centos8 ~]#paste -s title.txt emp.txt
ceo coo cto
me zhang wang xu

sed -ri '$r '<( paste -d '' <(seq -f 'IP.%g = ' 2 $[${#MasterArray[@]}+1]) <(xargs -n1<<<${MasterArray[@]} | sort) ) ~/k8s-manual-files/04-tls/openssl.cnf

cat<<EOF> a.log 
name age city
Alice 30 New York
Bob 25 Los Angeles
Carol 35 Chicago
EOF

bin]# column -t -o '| ' a.log 
name | age| city   | 
Alice| 30 | New    | York
Bob  | 25 | Los    | Angeles
Carol| 35 | Chicago| 

vmstat 1 4 |column -t 
#展示内容
procs  -----------memory----------  ---swap--  -----io----  -system--  ------cpu-----
r      b                            swpd       free         buff       cache           si  so  bi   bo   in     cs     us  sy  id  wa  st
2      0                            0          12184500     33532      1404544         0   0   2    36   0      0      6   3   92  0   0
2      0                            0          12162792     33544      1405456         0   0   140  440  30221  41481  33  5   62  0   0
2      0                            0          12162060     33544      1405880         0   0   32   420  28039  38302  32  5   64  0   0
3      0                            0          12137168     33544      1406340         0   0   96   0    31062  38257  30  5   65  0   0

输入/输出格式规范：
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息：
-l, --list 列举所有已知的字符集

输出控制：
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

#显示支持字符集编码列表
[root@centos8 ~]#iconv -l

#windows10上文本默认的编码ANSI（GB2312）
[root@centos8 data]#file windows.txt
windows.txt: ISO-8859 text, with no line terminators

[root@centos8 data]#echo $LANG
en_US.UTF-8

#默认在linux无法正常显示文本内容
[root@centos8 data]#cat windows11.txt
▒▒▒▒▒▒[root@centos8 data]#

#将windows10上文本默认的编码ANSI（GB2312）转换成UTF-8
[root@centos8 data]#iconv -f gb2312 windows.txt -o windows1.txt
[root@centos8 data]#cat windows1.txt
abc[root@centos8 data]#ll windows1.txt
-rw-r--r-- 1 root root 12 Mar 23 10:13 windows1.txt
[root@centos8 data]#file windows1.txt
windows1.txt: UTF-8 Unicode text, with no line terminators

#将UTF-8转换成windows10上文本默认的编码ANSI（GB2312）
[root@centos8 data]#iconv -f utf8 -t gb2312 windows1.txt -o windows11.txt
[root@centos8 data]#file windows11.txt
windows11.txt: ISO-8859 text, with no line terminators

#将windows10上文本默认的编码ANSI（GB2312）转换成UTF-8
[15:34:50 root@centos8 ~]#iconv -f gb2312 win.txt -o win2.txt
[15:34:50 root@centos8 ~]#file linux.txt
linux.txt: ASCII text
[15:34:31 root@centos8 ~]#file windows.txt
windows.txt: ASCII text, with CRLF line terminators
#将windows的文本格式转换成Linux的文本格式
[15:35:26 root@centos8 ~]#dos2unix windows.txt
dos2unix: converting file windows.txt to Unix format...
[15:36:00 root@centos8 ~]#file windows.txt
windows.txt: ASCII text

-l 只计数行数
-w 只计数单词总数
-c 只计数字节总数
-m 只计数字符总数
-L 显示文件中最长行的长度

wc story.txt
39   237   1901 story.txt
行数  单词数  字节数

[root@centos8 ~]#ll title.txt
-rw-r--r-- 1 root root 30 Dec 20 11:05 title.txt
[root@centos8 ~]#ll title1.txt
-rw-r--r-- 1 root root 28 Dec 20 11:06 title1.txt
[root@centos8 ~]#cat title.txt
ceo cici
coo zhang
cto 老王
[root@centos8 ~]#cat title1.txt
ceo zzzz
coo zhang
cto wang
[root@centos8 ~]#wc title.txt
3  6 30 title.txt
[root@centos8 ~]#wc title1.txt
3  6 28 title1.txt

[root@centos8 ~]#wc -l title.txt
3 title.txt
[root@centos8 ~]#cat title.txt | wc -l
3

[root@centos8 ~]#df | tail -n $(echo `df | wc -l`-1|bc)
devtmpfs      910220    0   910220  0% /dev
tmpfs       924728    0   924728  0% /dev/shm
tmpfs       924728   9224   915504  1% /run
tmpfs       924728    0   924728  0% /sys/fs/cgroup
/dev/sda2    104806400 4836160  99970240  5% /
/dev/sda3    52403200  398580  52004620  1% /data
/dev/sda1     999320  131764   798744  15% /boot
tmpfs       184944    4   184940  1% /run/user/0

-r 执行反方向（由上至下）整理
-R 随机排序
-n 执行按数字大小整理
-f 选项忽略（fold）字符串中的字符大小写
-c 测试文件是否已经分类。
-m 合并两个分类文件。 -m 合并两个分类文件。
-u 选项（独特，unique），合并重复项，即去重
-o 存储sort结果的输出文件名。

-b ：忽略最前面的空格符部分；
-t c 选项使用c做为字段界定符
-k pos1[,pos2] #指定一个由行中的部分组成的排序字段 从 pos1 和 pos2（或行尾，如果省略 pos2）， 包含 。
pos 指定字段编号（从 1 开始），字段之间由空白字符分隔，默认情况下，
这些空白字符包含在每个字段的开始处。要调整空白字符的处理方式，请参阅 -b 选项和 -t 选项

每个 pos 的形式为‘ f[.c][opts] ’
其中 f 是使用字段的编号，而 c 是计数 从字段开头获取第一个字符。字段和
字符 位置从1开始编号；字符位置从0开始 pos2 表示字段的最后一个字符。如
果从 pos1 中省略了 ‘ .c ’，则默认为 1（字段的开始处）；如果从 pos2
中省略了，则默认为 0（字段的末尾）。 opts 是排序选项，允许根据不同的规
则对单个键进行排序；详细信息请见下文。键可以跨越多个字段。

示例：要在第二个字段上排序，请使用--key=2,2 （ -k 2,2 ）。有关键和更多
示例的说明，请参阅下文。还可以查看--debug 选项，以帮助确定正在使用的行
部分。

-M ：以月份的名字来排序，例如 JAN, DEC 等等的排序方法；
-T DIRECTORY 使用DIRECTORY作为临时文件,而不是$TMPDIR或者/tmp

[root@centos8 data]#cut -d: -f1,3 /etc/passwd|sort -t: -k2 -nr |head -n3
nobody:65534
xiaoming:1002
me:1001
#统计日志访问量
[root@centos8 data]#cut -d" " -f1 /var/log/nginx/access_log |sort -u|wc -l
201

sort  -m -k 1 -T /ops/swap -o ${local_path}/${log}  ${local_path}/${log}_*

[root@centos8 ~]#df
Filesystem   1K-blocks  Used Available Use% Mounted on
devtmpfs     391676    0  391676  0% /dev
tmpfs       408092    0  408092  0% /dev/shm
tmpfs       408092  5816  402276  2% /run
tmpfs       408092    0  408092  0% /sys/fs/cgroup
/dev/sda2   104806400 2259416 102546984  3% /
/dev/sda3    52403200 398608 52004592  1% /data
/dev/sda1     999320 130848  799660 15% /boot
tmpfs       81616    0   81616  0% /run/user/0
/dev/sr0     7377866 7377866     0 100% /misc/cd

#查看分区利用率最高值
[root@centos8 ~]#df| tr -s ' ' '%'|cut -d% -f5|sort -nr|head -1
100
[root@centos8 ~]#df | tr -s " " %|cut -d% -f5|tr -d '[:alpha:]' | sort
0
0
0
1
1
1
15
5
[root@centos8 ~]#df | tr -s " " %|cut -d% -f5|tr -d '[:alpha:]' | sort -n
0
0
0
1
1
1
5
15
[root@centos8 ~]#df | tr -s " " %|cut -d% -f5|tr -d '[:alpha:]' | sort -n |tail -n1
15
[root@centos8 ~]#df | tr -s " " %|cut -d% -f5|tr -d '[:alpha:]' | sort -nr
15
5
1
1
1
0
0
0
[root@centos8 ~]#df | tr -s " " %|cut -d% -f5|tr -d '[:alpha:]' | sort -nr|head -n1
15

sort file1 file2 排序两个文件的内容
sort file1 file2 | uniq 取出两个文件的并集(重复的行只保留一份)
sort file1 file2 | uniq -u 删除交集，留下其他的行
sort file1 file2 | uniq -d 取出两个文件的交集(只留下同时存在于两个文件中的文件)

cat <<\EOF> video
Boys in Company C       :HK     :192    :2192
Alien                   :HK     :119    :1982
The Hill                :KL     :63     :2972
Aliens                  :HK     :532    :4892
Star Wars               :HK     :301    :4102
A Few Good Men :KL      :445    :5851
Toy Story               :HK     :239    :3972
EOF

#-t 默认空格制表符为字段分隔
字段1                   字段2   字段3    字段3  
Boys in Company C       :HK     :192    :2192
Alien                   :HK     :119    :1982
The Hill                :KL     :63     :2972
Aliens                  :HK     :532    :4892
Star Wars               :HK     :301    :4102
A Few Good Men          :KL     :445    :5851
Toy Story               :HK     :239    :3972

[root@grafana .jasper]# sort -c video 
sort: video:2: disorder: Alien                   :HK     :119    :1982

#结果显示未分类，现在将video分类，并存为2.video
[root@grafana .jasper]# sort -t: video >2.video
[root@grafana .jasper]# sort -c 2.video 
[root@grafana .jasper]# 

sort -t: -k[field_start[type][,field_end[type]]] video              

sort -t: -k2,2 -k1,1 video
字段分隔符: -t: 表示用冒号 : 分隔字段。
主排序键: -k2,2 表示仅以第 2 个字段作为主键（从第 2 个字段开始，到第 2 个字段结束）。
次排序键: -k1,1 表示仅以第 1 个字段作为次键。
排序规则: 默认按字典序（字符串比较）排序。
[root@grafana .jasper]# sort -t: -k2,2 -k1,1 video
Alien                   :HK     :119    :1982
Aliens                  :HK     :532    :4892
Boys in Company C       :HK     :192    :2192
Star Wars               :HK     :301    :4102
Toy Story               :HK     :239    :3972
The Hill                :KL     :63     :2972
A Few Good Men :KL      :445    :5851

sort -t: -k2 -k1,1 video
主排序键: -k2 未指定结束字段，默认从第 2 个字段开始到行尾。
次排序键: -k1,1 同上。
排序规则: 默认字典序。
[root@grafana .jasper]# sort -t: -k2 -k1,1 video
Alien                   :HK     :119    :1982
Boys in Company C       :HK     :192    :2192
Toy Story               :HK     :239    :3972
Star Wars               :HK     :301    :4102
Aliens                  :HK     :532    :4892
A Few Good Men :KL      :445    :5851
The Hill                :KL     :63     :2972


sort -t: -k2,2n -k3.3,3.4 video
主排序键: -k2,2n 表示以第 2 个字段作为主键，并按数值（n）排序。
次排序键: -k3.3,3.4 表示以第 3 个字段的第 3 到第 4 个字符作为次键。
排序规则:
主键按数值大小排序。
次键按字符串字典序排序，但仅截取第 3 个字段的第 3-4 个字符。
[root@grafana .jasper]# sort -t: -k2,2n -k3.3,3.4 video
The Hill                :KL     :63     :2972
Star Wars               :HK     :301    :4102
Aliens                  :HK     :532    :4892
Boys in Company C       :HK     :192    :2192
A Few Good Men :KL      :445    :5851
Alien                   :HK     :119    :1982
Toy Story               :HK     :239    :3972

#a.txt中的每一个数字在本文件唯一
200
100
34556
23
...

#b.txt中的每一个数字在本文件唯一
123
43
200
3321
...

#就是将两个文件合并后重复的行去除，不保留
100
345563
123
43
3321
...

-c: 显示每行重复出现的次数
-d: 仅显示重复过的行
-u: 仅显示不曾重复的行

sort userlist.txt | uniq -c

[root@centos8 data]#cut -d" " -f1 access_log |sort |uniq -c|sort -nr |head -3
 4870 172.20.116.228
 3429 172.20.116.208
 2834 172.20.0.222
[root@centos8 data]#lastb -f btmp-34 | tr -s ' ' |cut -d ' ' -f3|sort |uniq -c
|sort -nr | head -3
 86294 58.218.92.37
 43148 58.218.92.26
 18036 112.85.42.201

[root@centos8 ~]#ss -nt|tail -n+2 |tr -s ' ' : |cut -d: -f6|sort|uniq -c|sort -nr |head -n2
  7 10.0.0.1
  2 10.0.0.7

[root@centos8 data]#cat test1.txt
a
b
1
c
[root@centos8 data]#cat test2.txt
b
e
f
c
1
2
#取文件的共同行
[root@centos8 data]#cat test1.txt test2.txt | sort |uniq -d
1
b
c
#取文件的不同行
[root@centos8 data]#cat test1.txt test2.txt | sort |uniq -u
2
a
e
f

# Mac 系统安装
$ brew install cloc

# Vue 工程代码统计
$ cloc ./ --exclude-dir=node_modules

yum install -y epel-release
yum install -y jq

cat >me.json <<\EOF
{"username":"henry","age":25,"email":"[email protected]","blog":"http://thoreauz.com","hobby":["music","writing","photography"],"education":{"school":"MIT","degree":"Master"}}
EOF

[root@agent01 learn]# cat me.json |jq .
{
  "username": "henry",
  "age": 25,
  "email": "[email protected]",
  "blog": "http://thoreauz.com",
  "hobby": [
    "music",
    "writing",
    "photography"
  ],
  "education": {
    "school": "MIT",
    "degree": "Master"
  }
}

cat jqtest.json |jq .email

过滤字段
$ echo '{"name":"wxnacy", "id": 1, "age": 23}' | jq '{"name", "id"}'
{
  "name": "wxnacy",
  "id": 1
}

[root@agent01 learn]# jq '.email, .age' me.json
"[email protected]"
25

[root@agent01 learn]# cat me.json | jq .hobby[1]
"writing"

[root@agent01 learn]# cat me.json | jq .hobby[:2]
[
  "music",
  "writing"
]

[root@agent01 learn]# echo "{\"a\": 1, \"b\": 2}"|jq '.[]'
1
2

[root@agent01 learn]# echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"

[root@agent01 learn]# cat me.json | jq -r '.education | select(.school == "MIT")'
{
  "school": "MIT",
  "degree": "Master"
}

[root@agent01 learn]# cat me.json | jq '.|{"name": .username, "like": .hobby[1]}'
{
  "name": "henry",
  "like": "writing"
}

[root@agent01 learn]# echo "[1,2,3,4]"| jq  'map(select(.>2))' -c
[3,4]

[root@agent01 learn]# echo '[0,1,2,3,4,5,6,7,8,9]' | jq 'reduce .[] as $n ([]; if ($n%2==0) then . else . + [$n] end)' -c
[1,3,5,7,9]

# 列出属于特定RC的Pod名称
#jq命令对于复杂的json路径转换很有用, 更多详情https://stedolan.github.io/jq/
sel=${$(kubectl get rc my-rc --output=json | jq -j '.spec.selector | to_entries | .[] | "\(.key)=\(.value),"')%?}
echo $(kubectl get pods --selector=$sel --output=jsonpath={.items..metadata.name})

# 显示所有pod（或任何其他支持标签的Kubernetes对象）的标签
# Also uses "jq"
for item in $( kubectl get pod --output=name); do printf "Labels for %s\n" "$item" | grep --color -E '[^/]+$' && kubectl get "$item" --output=json | jq -r -S '.metadata.labels | to_entries | .[] | " \(.key)=\(.value)"' 2>/dev/null; printf "\n"; done

# 列出当前pod正在使用的所有secert
kubectl get pods -o json | jq '.items[].spec.containers[].env[]?.valueFrom.secretKeyRef.name' | grep -v null | sort | uniq


# 列出pod资源配置
kubectl get deploy -n general-components -o jsonpath='{range .items[*]}{@.spec.replicas},{range @.spec.template.spec.containers[*]}{@.name},{@.resources.requests.cpu}C/{@.resources.requests.memory},{@.readinessProbe.httpGet.path},{@.readinessProbe.httpGet.port}{"\n"}{end}{end}'|sort -t ','  -k 2 |sed '1i副本数,项目,单节点资源,健康地址,端口' >general-components.csv

kubectl get deploy -n english-prod -o jsonpath='{range .items[*]}{@.spec.replicas},{range @.spec.template.spec.containers[*]}{@.name},{@.resources.requests.cpu}C/{@.resources.requests.memory},{@.readinessProbe.httpGet.path},{@.readinessProbe.httpGet.port}{"\n"}{end}{end}'|sort -t ','  -k 2 |sed '1i副本数,项目,单节点资源,健康地址,端口' |awk -F',' '{printf"%s %40-s %20-s %10-s\n",$1,$2,$3,$4}'

# topic每个分区的容量
/usr/hdp/3.1.0.0-78/kafka/bin/kafka-log-dirs.sh --describe --bootstrap-server 172.18.41.174:9092|grep '^{' |jq '{a:.brokers[]|.logDirs[]|.partitions[]|{"partition","size"}}|.a'
/usr/hdp/3.1.0.0-78/kafka/bin/kafka-log-dirs.sh --describe --bootstrap-server 172.18.41.174:9092|grep '^{'   | jq '[ ..|.partition?,.size?]'

# topic每个分区的容量排序
/usr/hdp/3.1.0.0-78/kafka/bin/kafka-log-dirs.sh --describe --bootstrap-server 172.18.41.174:9092|grep '^{'   | jq '[ ..|.partition?,.size?]' |tr ',' ' '|grep -vE '\[|\]|null'|awk 'BEGIN{t=0}{if ($1 ~ "[a-zA-Z]") {t =$1}else{print t":"$1} }' |awk -F: '{num[$1]=$2}END{for(n in num)print n":"num[n]}'|sort -t: -nr -k1

/usr/hdp/3.1.0.0-78/kafka/bin/kafka-log-dirs.sh --describe --bootstrap-server 172.18.41.174:9092|grep '^{'   | jq '[ ..|.partition?,.size?]' |tr ',' ' '|grep -vE '\[|\]|null'|awk 'BEGIN{t=0}{if ($1 ~ "[a-zA-Z]") {t =$1}else{print t":"$1} }' |awk -F: '{num[$1]=$2}END{for(n in num)print n":"num[n]/1024/1024/1024"g"}'|sort -t: -nr -k2|grep -E 'xymember|yzuser|box|rainbowbridge|yzcrm'

#echo '查询用的github,GFW原因可能会比较久,请确保能访问到github'
curl -sX GET https://api.github.com/repos/zhangguanzhang/${repository}/contents/$img_name?ref=develop | \
    jq -r 'length as $len | if $len ==2 then .message elif $len ==12 then .name else .[].name  end'

wget https://github.com/google/yamlfmt/releases/download/v0.21.0/yamlfmt_0.21.0_Linux_x86_64.tar.gz

tar xzf yamlfmt_0.21.0_Linux_x86_64.tar.gz yamlfmt
mv yamlfmt /usr/local/bin/
rm yamlfmt*.tar.gz 

wget https://github.com/mikefarah/yq/releases/latest/download/yq_linux_amd64 -O /usr/local/bin/yq &&\
    chmod +x /usr/local/bin/yq

# 导出为不同类型文件
-o, --output-format string            [auto|a|yaml|y|json|j|kyaml|ky|props|p|csv|c|tsv|t|xml|x|base64|uri|toml|hcl|h|shell|s|lua|l|ini|i] output format type. (default "auto")

cat <<\EOF>> demo.yaml
images:
  - name: wallet-chain
    newName: registry.example.com/wallet-chain
    newTag: v1.0.0
replica: 2
metadata:
  labels:
    env: dev
EOF

#读取顶层字段
yq '.replica' demo.yaml

#读取嵌套
yq '.metadata.labels.env' demo.yaml

#读取数组第0个元素
yq '.images[0].newTag' demo.yaml

#遍历数组全部元素
yq '.images[]' demo.yaml

# -i = in-place 直接修改文件，输出写入原 yaml。

#字符串，必须双引号
yq -i '.metadata.labels.env = "prod"' demo.yaml
#数字不要引号
yq -i '.replica = 3' demo.yaml


# 修改 kustomization.yaml 镜像 tag
cat <<\EOF>> overlay/dev/kustomization.yaml
images:
  - name: registry.example.com/wallet-chain
    newName: registry.example.com/wallet-chain
    newTag: v1.0.0
EOF

#写法1：硬编码
yq -i '.images[0].newTag="v1.0.1"' overlays/dev/kustomization.yaml

#写法2：读取环境变量（Jenkins推荐，避开引号转义问题）
export NEW_TAG="v1.0.2"
yq -i '.images[0].newTag=strenv(NEW_TAG)' overlays/dev/kustomization.yaml


# 一次多处修改（管道 | 串联多个操作）
yq -i '
.images[0].newTag=strenv(NEW_TAG) |
.metadata.labels.version = strenv(NEW_TAG)
' demo.yaml


# 数组追加元素 +=
#追加一条env
yq -i '.spec.template.spec.containers[0].env += {"name":"DEBUG","value":"on"}' deploy.yaml


# 按条件筛选数组元素修改（select，非常实用）
yq -i '(.images[] | select(.name == "wallet-chain") | .newTag)="v2.0"' kustomization.yaml


# 删除字段 del ()
yq -i 'del(.metadata.labels.old-key)' demo.yaml

cat <<\EOF>> manifests.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: app1
---
apiVersion: v1
kind: Service
metadata:
  name: svc1
EOF

#取出所有Deployment名称
yq ea 'select(.kind=="Deployment")|.metadata.name' manifests.yaml

.：匹配任意单个字符，可以是一个汉字。但不能匹配换行符 \n。中括号[]中的.点表示点字符 
*：匹配前面那个字符0或多次
?：匹配前面那个字符0或一次，即:可有可无
+：匹配前面那个字符1次以上，即:肯定有，>=1
{n}: 匹配前面的字符n次
{n,}: 匹配前面的字符至少n次
{,n}: 匹配前面的字符至多n次,<=n
{n,m}: 匹配前面的字符至少m次，至多n次

锚定：锚定的意思是匹配位置，而非匹配字符实体
  ^：匹配行首位置，注意匹配的是位置，不是字符
  $：匹配行尾位置，注意匹配的是位置，不是字符

特殊且常用的的组合正则表达式：
^$：它表示匹配空行
.*：匹配任意长度的任意字符，但不能匹配换行符。真正的匹配任意长度的任意字符，见下面


[]  匹配指定范围内的任意单个字符，示例：[wang]  [0-9]  [a-z]  [a-zA-Z]  [.]点放在中括号内表示.点，外面则是代表任意一个字符
[^] 匹配指定范围外的任意单个字符,示例：[^wang]

[abc]{3,5}     # 表示abc任意字符都可以出现，比如全是a，或者ab同时出现，但总的出现次数为3-5次
.*          # 表示任一字符(除换行符)，可以任意出现任意次数，它不表示a之后就必须全是a
.+          # 表示任一字符(除换行符)，可以任意出现至少一次，它不表示a之后就必须全是a

[root@centos8 ~]#ls /etc/ | grep 'rc[.0-6]'  # 点放在中括号内表示.点，外面则是代表任意一个字符
rc0.d
rc1.d
rc2.d
rc3.d
rc4.d
rc5.d
rc6.d
rc.d
rc.local
[root@centos8 ~]#ls /etc/ | grep 'rc[.0-6].'
rc0.d
rc1.d
rc2.d
rc3.d
rc4.d
rc5.d
rc6.d
rc.d
rc.local
[root@centos8 ~]#ls /etc/ | grep 'rc[.0-6]\.'
rc0.d
rc1.d
rc2.d
rc3.d
rc4.d
rc5.d
rc6.d

[root@middle-ware ~]# echo google |grep 'go*gle'
google
[root@middle-ware ~]# echo ggle |grep 'go*gle'   # *前面的字符任意次，包含0次，所以满足
ggle
[root@middle-ware ~]# echo goooogle |grep 'go*gle'
goooogle
[root@middle-ware ~]# echo ggle |grep 'g.*gle'
ggle

[root@centos8 ~]#echo /etc/ |grep "/etc/\?"
/etc/
[root@centos8 ~]#echo /etc |grep "/etc/\?"
/etc

[]  匹配指定范围内的任意单个字符，示例：[wang]  [0-9]  [a-z]  [a-zA-Z]  [.]点放在中括号内表示.点，外面则是代表任意一个字符
[^] 匹配指定范围外的任意单个字符,示例：[^wang]
[abcd...]：匹配中括号内的任意一个字符
[^abcd...]：拒绝匹配中括号内的任意字符
[a-z]：匹配a到z间任意一个字符，
[A-Z]：匹配A到Z间任意一个字符
[0-9]：匹配0到9之间任意一个数字

常用组合：
[a-zA-Z0-9] : 匹配aA到zZ、0到9之间任意一个。如[abcxyz]表示从abcxyz中匹配任意一个字符

[:alpha:]：匹配字母(阿额儿发，等价于[a-zA-Z]
[:digit:]：匹配数字，等价于[0-9]
[:xdigit:]：匹配十六进制数，等价于[0-9a-fA-F]
[:upper:]：匹配大写字母(阿坡儿额)，等价于[A-Z]
[:lower:]：匹配小写字母(路我额)，等价于[a-z]
[:alnum:]：匹配数字或字母，等价于[0-9a-zA-Z]
[:blank:]：匹配空白，包括空格和制表符
[:space:]：匹配空格，包括新行、空格、制表符、换行符、回车符等各种类型的空白
[:punct:]：匹配所有标点符号(怕可特。包括：! ' " ` # $ % & ( ) * + , . - _ / : ; < = > ? @ [ \ ] ^ { | } ~
[:graph:]：非空字符。绘图类。包括：大小写字母、数字和标点符号。等价于[:alnum:]+[:punct:]
[:print:]：非空字符（包括空格）。打印字符类。包括：大小写字母、数字、标点符号和空格。等价于[:alnum:]+[:punct:]+space
[:cntrl:]：控制字符类。在ASCII中，这些字符的八进制代码从000到037，还包括177(DEL)。代表键盘上的控制键，包括 CR, LF, TAB, Del ..等
[:blank:]: 空白字符：空格和制表符

\b：匹配单词边界处的空字符
\B：匹配非单词边界处的空字符
\<：匹配单词开头处的空字符
\>：匹配单词结尾处的空字符
\w：匹配单词构成部分，等价于[_[:alnum:]]
\W：匹配非单词构成部分，等价于[^_[:alnum:]]

\s：匹配空白字符，等价于[[:space:]]
\S：匹配非空白字符，等价于[^[:space:]]
\d：匹配数字，等价于[0-9]
\D：匹配非数字，等价于[^0-9]

. #非多行和单行下，默认匹配除换行符之外任意一个字符
\w\w #匹配2个字符
\d #匹配1个数字
[abc ] #匹配abc和空格中任意一个字符
[abc\s] #匹配abc和空格字符中任意一个字符
\w\s\w #匹配c x和z换行1和3换行中
[\d\s\d] #相当于[\d\s] 匹配数字和空白字符中任意字符
\b\w\w\b #即作词首又作词尾，匹配中文

pattern1 | pattern2：匹配竖线左边，或者匹配竖线右边都算匹配成功

a\|b #a或b
C\|cat #C或cat
\(C\|c\)at #Cat或cat

两个反向引用问题的典型例子：
例如a(.)|b\1将无法匹配"ba"，因为评估了左边就不会评估右边。
例如([ac])e\1|b([xyz])\2t的左边能匹配aea或cec，但不能匹配cea或aec，右边能匹配bxxt或byyt或bzzt。但如果将\2换成\1，即([ac])e\1|b([xyz])\1t，将无法匹配b[xyz]at或b[xyz]ct，因为第一个分组括号在左边，无法参与右边的正则评估。

[root@centos6 ~]#grep -v '^#' /etc/httpd/conf/httpd.conf |grep -v ^$
[root@centos6 ~]#grep -v '^#\|^$' /etc/httpd/conf/httpd.conf
[root@centos6 ~]#grep -v '^\(#\|$\)' /etc/httpd/conf/httpd.conf
[root@centos6 ~]#grep "^[^#]" /etc/httpd/conf/httpd.conf

1、显示/etc/passwd文件中不以/bin/bash结尾的行； ~]# grep -v "/bin/bash$"
/etc/passwd

2、找出/etc/passwd文件中的两位数或三位数； ~]# grep "<[[:digit:]]{2,3}>"
/etc/passwd 或 grep '^<[0-9]{2,3}>' /etc/passwd

3、找出/etc/rc.d/rc.sysinit或/etc/grub2.cfg文件中，以至少一个空白字符开头，且后面非空白字符的行；
~]# grep "[fn:1]+[[fn:2]]" /etc/grub2.cfg

4、找出”netstat
-tan”命令的结果中以”LISTEN”后跟0、1或多个空白字符结尾的行； ~]# netstat
-tan | grep “LISTEN[[:space:]]*$”

过滤空行和开始为#开始的行 grep -Ev '^{#|}$' /etc/fstab

只在目录中所有的.php和.html文件中递归搜索字符”main()”

- grep "main()" . -r --include *.{php,html}

只在目录中所有的.php和.html文件中递归搜索字符”main()”

- grep "main()" . -r --include *.{php,html}

在搜索结果中排除filelist文件列表里的文件

- grep "main()" . -r --exclude-from filelist

搜索多个文件并查找匹配文本在哪些文件中

- grep -l "root" /etc/fstab /etc/passwd

搜索开头不是英文字母的行,并显示行号

- grep -n '[fn:3]' /etc/fstab

查找default和dev两个关键字

- grep -e "defaulkt" -e "dev" /etc/fstab

查找/etc目录下，所有包含root关键字的文件并显示文件路径及文件名

- grep -lr "root" /etc/ | xargs ls -l

监控日志文档中产生Error的行，并只打印包含Error的行

- tail -f /var/www/logs/error.log | grep --line-buffered "Error"

[]  匹配指定范围内的任意单个字符，示例：[wang]  [0-9]  [a-z]  [a-zA-Z]  [.]点放在中括号内表示.点，外面则是代表任意一个字符
[^] 匹配指定范围外的任意单个字符,示例：[^wang]

匹配指定范围有以下几种：
[a-z] : 匹配a到z间任意一个字符，
[A-Z] : 匹配A到Z间任意一个字符，
[0-9] : 匹配0到9之间任意一个数字
[a-zA-Z0-9] : 匹配aA到zZ、0到9之间任意一个，。如[abcxyz]表示从abcxyz中匹配任意一个字符
[[:upper:]] :所有大写字母(阿坡儿额) [A-Z]
[[:lower:]] : 所有小写字母(路我额) [a-z]
[[:alpha:]] : 所有字母(阿额儿发)  [a-zA-Z]
[[:digit:]] : 十进制数字 [0-9]
[[:alnum:]] : 所有字母和数字(埃奥number)  [0-9a-zA-Z]
[[:space:]] : 所有空白字符(新行，空格，制表符 )
[[:punct:]] : 所有标点符号(怕可特)，'! " # $ % & ' ( ) * + , - . / : ; < = > ? @ [ \ ] ^ _ ' { | } ~'
[[:xdigit:]] :  任何16进制的数字，相当于[0-9a-fA-F]

[[:cntrl:]] :  代表键盘上的控制键，包括 CR, LF, TAB, Del ..等
[[:graph:]] : 非空字符。除了空白键和 Tab键外的其他所有按键，相当于'[:alnum:]' +'[:punct:]'.
[[:print:]] : 非空字符（包括空格）。代表任何可被打印字符，相当于  '[:alnum:]', '[:punct:]', 和space.
[[:ascii:]] :
[[:blank:]] :   代表空白键与TAB键两者
[[:word:]] :

[_[:alnum:]] : 表示除了 alnum 还多了一个字符 _ 下划线

. 任意单个字符
[wang] 指定范围的字符
[^wang] 不在指定范围的字符
[:alnum:] 字母和数字
[:alpha:] 代表任何英文大小写字符，亦即 A-Z, a-z
[:lower:] 小写字母,示例:[[:lower:]],相当于[a-z]
[:upper:] 大写字母
[:blank:] 空白字符（空格和制表符）
[:space:] 水平和垂直的空白字符（比[:blank:]包含的范围广）
[:cntrl:] 不可打印的控制字符（退格、删除、警铃...）
[:digit:] 十进制数字
[:xdigit:]十六进制数字
[:graph:] 可打印的非空白字符
[:print:] 可打印字符
[:punct:] 标点符号

* 匹配前面的字符任意次，包括0次，贪婪模式：尽可能长的匹配
.* 任意长度的任意字符
\? 匹配其前面的字符0或1次,即:可有可无
\+ 匹配其前面的字符至少1次,即:肯定有，>=1
\{n\} 匹配前面的字符n次
\{m,n\} 匹配前面的字符至少m次，至多n次
\{,n\} 匹配前面的字符至多n次,<=n
\{n,\} 匹配前面的字符至少n次

*  匹配前面字符任意次
? 0或1次
+ 1次或多次
{n} 匹配n次
{m,n} 至少m，至多n次

a) 在行的位置锚定
^ : 脱字符，行首锚定；用于模式的最左侧；如，匹配行首出现root，grep '^root'
$ : 行尾锚定；用于模式的最右侧；如，匹配行尾出现root，grep '$root'
^PATTERN$：用模式PATTERN来匹配整行；如，匹配整行只有root，grep '^root$'
    ^$ : 空白行；
    ^[[:space:]]*$ : 空行或包含空白字符的行；


b) 在单词的位置锚定
\< 或 \b : 词首锚定，用于单词模式的左侧；如，grep "\<word"
\> 或 \b : 词尾锚定，用于单词模式的右侧；如，grep "word\>"
\<PATTERN\> : 匹配完整单词；精确锚定单词；如，grep "\<word\>

^ 行首
$ 行尾
\<, \b 语首
\>, \b 语尾

[root@centos8 ~]#grep -v '^$' /etc/profile|grep -v '^#'

\(string1\(string2\)\)
\1 ：string1\(string2\)
\2 ：string2


a\|b #a或b
C\|cat #C或cat
\(C\|c\)at #Cat或cat

() 分组
后向引用：\1, \2, ...
| 或者
a|b #a或b
C|cat #C或cat
(C|c)at #Cat或cat

将rxxt后加上er  :%s#\(r..t\)#\1er#g
保留文件非#号开头的其它字符：
:%s/^#\(.*\)/\1/g
或
:%s/^#//g

1、找出/proc/meminfo文件中，所有以大写或小写S开头的行；至少有三种实现方式；
grep "^[sS]" /proc/meminfo
grep -i "^s" /proc/meminfo
grep -E "^(s|S)" /proc/meminfo
grep -E "^s|^S" /proc/meminfo

2、显示当前系统上root、centos或者user1用户的相关信息；
~]# grep -E "^(root|centos|user1\>)" /etc/passwd

3、找出/etc/rc.d/init.d/functions文件中某单词后跟一个小括号的行；
~]# grep -Eo '[_[:alnum:]]+\(\)' /etc/rc.d/init.d/functions
[_[:alnum:]] : 表示除了 alnum 还多了一个字符 _ 下划线

[root@node01 ~]# grep -Eo  "[_[:alnum:]]+\(\)" /etc/init.d/functions
checkpid()
__pids_pidof()
is_false()
apply_sysctl()
... ...


4、使用echo命令输出一绝对路径，使用egrep取出基名；
echo "/root/ssf/erou/dfjl" | egrep -o "\<[[:alpha:]]*\>$"
echo "/root/ssf/erou/dfjl" | grep -Eo "[^/]+/?$"   # 锚定行尾的非斜线字符，行尾 / 可有可无

5、找出ifconfig命令结果中的1-255之间的数值；
ifconfig | grep -oE "\<([1-9] | [1-9][0-9] | 1[0-9]{2} | 2[0-4][0-9] | 25[0-5])\>"

6、课外作业：找出ifconfig命令结果中的IP地址；
[root@node01 ~]# ip -o -4 addr list ens33 | perl -n -e 'if (m{inet\s([\d\.]+)\/\d+\s}xms) { print $1 }'
172.16.100.6


[root@node01 ~]# ifconfig  | grep -o '\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}'
172.17.0.1
255.255.0.0
0.0.0.0
172.16.100.6
255.255.0.0
172.16.255.255
127.0.0.1
255.0.0.0
[root@node01 ~]# ifconfig | grep -o '\b[0-9]\{1,3\}\b\.\b[0-9]\{1,3\}\b\.\b[0-9]\{1,3\}\b\.\b[0-9]\{1,3\}\b'
172.17.0.1
255.255.0.0
0.0.0.0
172.16.100.6
255.255.0.0
172.16.255.255
127.0.0.1
255.0.0.0
[root@node01 ~]# ifconfig  | grep -Po '(?<=inet)(.*)(?=net)'
172.17.0.1
172.16.100.6
127.0.0.1

7、添加用户bash, testbash, basher以及nologin(其shell为/sbin/nologin)；而后找出/etc/passwd文件中用户名同shell名的行；
~]# grep  -E  "^([^:]+\>).*\1$"  /etc/passwd

var reg = /^(\\d{1,4})(-|\\/)(\\d{1,2})\\2(\\d{1,2})$/;
var r = fieldValue.match(reg);
if(r==null)alert('Date format error!');

1 . 校验密码强度
密码的强度必须是包含大小写字母和数字的组合，不能使用特殊字符，长度在8-10之间。
^(?=.*\\d)(?=.*[a-z])(?=.*[A-Z]).{8,10}$

2. 校验中文
字符串仅能是中文。
^[\\u4e00-\\u9fa5]{0,}$

3. 由数字、26个英文字母或下划线组成的字符串
^\\w+$
4. 校验E-Mail 地址
同密码一样，下面是E-mail地址合规性的正则检查语句。
[\\w!#$%&'*+/=?^_`{|}~-]+(?:\\.[\\w!#$%&'*+/=?^_`{|}~-]+)*@(?:[\\w](?:[\\w-]*[\\w])?\\.)+[\\w](?:[\\w-]*[\\w])?

5. 校验身份证号码
下面是身份证号码的正则校验。15 或 18位。
15位：
^[1-9]\\d{7}((0\\d)|(1[0-2]))(([0|1|2]\\d)|3[0-1])\\d{3}$
18位：
^[1-9]\\d{5}[1-9]\\d{3}((0\\d)|(1[0-2]))(([0|1|2]\\d)|3[0-1])\\d{3}([0-9]|X)$

6. 校验日期
“yyyy-mm-dd“ 格式的日期校验，已考虑平闰年。
^(?:(?!0000)[0-9]{4}-(?:(?:0[1-9]|1[0-2])-(?:0[1-9]|1[0-9]|2[0-8])|(?:0[13-9]|1[0-2])-(?:29|30)|(?:0[13578]|1[02])-31)|(?:[0-9]{2}(?:0[48]|[2468][048]|[13579][26])|(?:0[48]|[2468][048]|[13579][26])00)-02-29)$

7. 校验金额
金额校验，精确到2位小数。
^[0-9]+(.[0-9]{2})?$

8. 校验手机号
下面是国内 13、15、18开头的手机号正则表达式。（可根据目前国内收集号扩展前两位开头号码）
^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\\d{8}$

9. 判断IE的版本
IE目前还没被完全取代，很多页面还是需要做版本兼容，下面是IE版本检查的表达式。
^.*MSIE [5-8](?:\\.[0-9]+)?(?!.*Trident\\/[5-9]\\.0).*$

10. 校验IP-v4地址
IP4 正则语句。
\\b(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\\b

11. 校验IP-v6地址
IP6 正则语句。
(([0-9a-fA-F]{1,4}:){7,7}[0-9a-fA-F]{1,4}|([0-9a-fA-F]{1,4}:){1,7}:|([0-9a-fA-F]{1,4}:){1,6}:[0-9a-fA-F]{1,4}|([0-9a-fA-F]{1,4}:){1,5}(:[0-9a-fA-F]{1,4}){1,2}|([0-9a-fA-F]{1,4}:){1,4}(:[0-9a-fA-F]{1,4}){1,3}|([0-9a-fA-F]{1,4}:){1,3}(:[0-9a-fA-F]{1,4}){1,4}|([0-9a-fA-F]{1,4}:){1,2}(:[0-9a-fA-F]{1,4}){1,5}|[0-9a-fA-F]{1,4}:((:[0-9a-fA-F]{1,4}){1,6})|:((:[0-9a-fA-F]{1,4}){1,7}|:)|fe80:(:[0-9a-fA-F]{0,4}){0,4}%[0-9a-zA-Z]{1,}|::(ffff(:0{1,4}){0,1}:){0,1}((25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9])\\.){3,3}(25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9])|([0-9a-fA-F]{1,4}:){1,4}:((25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9])\\.){3,3}(25[0-5]|(2[0-4]|1{0,1}[0-9]){0,1}[0-9]))

12. 检查URL的前缀
应用开发中很多时候需要区分请求是HTTPS还是HTTP，通过下面的表达式可以取出一个url的前缀然后再逻辑判断。
if (!s.match(/^[a-zA-Z]+:\\/\\//))
{
    s = 'http://' + s;
}

13. 提取URL链接
下面的这个表达式可以筛选出一段文本中的URL。
^(f|ht){1}(tp|tps):\\/\\/([\\w-]+\\.)+[\\w-]+(\\/[\\w- ./?%&=]*)?

14. 文件路径及扩展名校验
验证windows下文件路径和扩展名（下面的例子中为.txt文件）
^([a-zA-Z]\\:|\\\\)\\\\([^\\\\]+\\\\)*[^\\/:*?"<>|]+\\.txt(l)?$

15. 提取Color Hex Codes
有时需要抽取网页中的颜色代码，可以使用下面的表达式。
^#([A-Fa-f0-9]{6}|[A-Fa-f0-9]{3})$

16. 提取网页图片
假若你想提取网页中所有图片信息，可以利用下面的表达式。
\\< *[img][^\\\\>]*[src] *= *[\\"\\']{0,1}([^\\"\\'\\ >]*)

17. 提取页面超链接
提取html中的超链接。
(<a\\s*(?!.*\\brel=)[^>]*)(href="https?:\\/\\/)((?!(?:(?:www\\.)?'.implode('|(?:www\\.)?', $follow_list).'))[^"]+)"((?!.*\\brel=)[^>]*)(?:[^>]*)>

18. 查找CSS属性
通过下面的表达式，可以搜索到相匹配的CSS属性。
^\\s*[a-zA-Z\\-]+\\s*[:]{1}\\s[a-zA-Z0-9\\s.#]+[;]{1}

19. 抽取注释
如果你需要移除HMTL中的注释，可以使用如下的表达式。
<!--(.*?)-->

20. 匹配HTML标签
通过下面的表达式可以匹配出HTML中的标签属性。
<\\/?\\w+((\\s+\\w+(\\s*=\\s*(?:".*?"|'.*?'|[\\^'">\\s]+))?)+\\s*|\\s*)\\/?>

#!/usr/bin/perl

print "hello world\n";      # 注意每一句后面都使用分号结尾

$ chmod +x test.pl
$ perl test.pl

#!/usr/bin/perl

$name="xiaoming";
$age=18;
print "$name $age \n";

if(condition){
    body
}else{
    body
}

$age = 18;
if($age <= 20){
    print "age less than 20\n";
} else {
    print "age greate than 20\n";
}

$_="abcde";
print ;

#!/usr/bin/perl

$data=<STDIN>;
print "$data";

echo "abcdefg" | perl test.pl

echo -e "abcdefg\nhijklmn" | perl test.pl

foreach $line (<STDIN>){
    print "$line";
}

foreach (<STDIN>){
    print "$_";
}

foreach $_ (<STDIN>){
    print "$_";
}

foreach (<>){
    print "$_";
}

perl test.pl /etc/passwd

foreach $line (<STDIN>) {
    chomp $line;
    print "$line read\n";
}

# echo -e "xiaoming xiaohong" | perl 26.plx
xiaoming xiaohong read

# echo -e "xiaoming xiaohong" | perl 26.plx
xiaoming xiaohong
 read

foreach (<>) {
    chomp;
    print "$_ read\n";
}

echo "xiaohong" | perl -e '$name=<STDIN>;print $name;'

$name = "hello gaoxiaofang";
if ($name =~ m/gao/){
    print "matched\n";
}

"hello gaoxiaofang" =~ m/gao/;

foreach (<STDIN>){
    chomp;
    if (/gao/){
        print "$_ was matched 'gao'\n";
    }
}

# echo -e "xiaoming gaoxiaofang" | perl 26.plx  
xiaoming gaoxiaofang was matched 'gao'

foreach (<>){
    chomp;
    if(/gao/){
        print "$_ was matched 'gao'\n";
    }
}

aAbBcC =~ /bB/

(aA)(bB)(cC)
 |    |   |
 $`   $&  $'

$name="aAbBcCbB";
if($name =~ /bB/g){        # 匹配完第一个bB就结束
    print "pre match: $` \n";
    print "match: $& \n";
    print "post match: $' \n";
}

while($name =~ /bB/g){   # 将迭代两次
    print "pre match: $` \n";
    print "match: $& \n";
    print "post match: $' \n";
}

$str="hello worlds gaoxiaofang";
$pattern="w.*d";
$str =~ /$pattern/;
print "$&\n";

$str="hello worlds gaoxiaofang";

# 直接作为正则表达式
$str =~ qr/w.*d/;
print "$&\n"; #world

# 保存为变量，再作为正则表达式
$pattern=qr/w.*d/;
$str =~ $pattern;    # (1)
$str =~ /$pattern/;  # (2)
print "$&\n"; #world

# 保存为变量，作为正则表达式的一部分
$pattern=qr/w.*d/;
$str =~ /hel.* $pattern/;
print "$&\n"; #hello world

$str="HELLO wORLDs gaoxiaofang";

$pattern=qr/w.*d/i;         # 忽略大小写

$str =~ /HEL.* $pattern/;   # 匹配成功，$pattern部分忽略大小写
$str =~ /hel.* $pattern/;   # 匹配失败
$str =~ /hel.* $pattern/i;  # 匹配成功，所有都忽略大小写

2025-05-19 11:09:47.441  INFO 8 --- [ XNIO-2 task-36] c.r.a.s.a.impl.SeaAppVersionServiceImpl  82 : APP_VERSION_CACHE 执行耗时=5ms
2025-05-19 11:02:41.120  INFO 8 --- [nio-1050-exec-2] .r.m.w.s.s.i.UserSignInRecordServiceImpl 162 : signDateasdads:true
2026-01-12 17:08:35.904  INFO 8 --- [ XNIO-2 task-15] com.rl.gateway.filter.LogFilter          : doFilter==============end================

#多行合并
^\d+-\d+-\d+.*

#日志格式化
(\S+ \S+[\d.]+)\s+(\S+)\s+(\d{1,2})\s+---\s+\[\s{0,}(.*)?\]\s+(\S+)\s+(\d{1,4})?\s+:\s+(.*)

#注意多行匹配问题。不能这样写
#(\S+ \S+[\d.]+)\s+(\S+)\s+(\d{1,2})\s+---\s+\[\s{0,}([\s\S]+)?\]\s+(\S+)\s+(\d{1,4})\s+:\s+(.*)

#匹配组命名
time
level
pid
thread-name
logger
line
msg

grep -P '[\x{4e00}-\x{9f5a}]' xx.log
rg '[\x{4e00}-\x{9f5a}]'  xx.log # rigrep -l 显示文件
perl -CSD -ne  'print if /[\x{4e00}-\x{9fa5}]/' xx.log

LANG=C sed -i -e 's/[\x80-\xFF]//g' -i filename.txt

perl -CSD -pe 's/[\x{4e00}-\x{9fa5}]//g' -i AppConfig.java

sudo yum-config-manager --add-repo=https://copr.fedorainfracloud.org/coprs/carlwgeorge/ripgrep/repo/epel-7/carlwgeorge-ripgrep-epel-7.repo
sudo yum install ripgrep

sed [option]... 'script;script;...' inputfile...

常用选项：
-n                                   #不输出模式空间内容到屏幕，即不自动打印
-e                                   #多点编辑，表示或者
-f /PATH/SCRIPT_FILE #从指定文件中读取编辑脚本
-r, -E                              #使用扩展正则表达式
-i.bak                             #备份文件并原处编辑
-s                                   #将多个文件视为独立文件，而不是单个连续的长文件流

#说明
-ir  不支持
-i -r  支持
-ri    支持
-ni   危险选项，会清空文件

'地址命令'

1. 不给地址：对全文进行处理
2. 单地址：
    #：指定的行，$：最后一行
    /pattern/：被此处模式所能够匹配到的每一行
3. 地址范围：
    #,#   #从#行到第#行，3，6 从第3行到第6行
    #,+#  #从#行到+#行，3,+4 表示从3行到第7行
    /pat1/,/pat2/ 从第一次匹配到的模式1到第二次匹配到模式2
    #,/pat/ 从某行开始到第一次配到模式的行
4. 步进：~
   1~2 奇数行；从第一行开始，每次加两行读取
   2~2 偶数行。从第二行开始，每次加两行读取

p                       #打印当前模式空间内容，追加到默认输出之后
Ip                      #忽略大小写输出
d                       #删除模式空间匹配的行，并立即启用下一轮循环
a [\]text           #在指定行后面追加文本，支持使用\n实现多行追加
i [\]text            #在行前面插入文本
c [\]text           #替换行为单行或多行文本
w /path/file    #保存模式匹配的行至指定文件
r /path/file     #读取指定文件的文本至模式空间中匹配到的行后
=                    #为模式空间中的行打印行号
!                    #模式空间中匹配行取反处理

s/pattern/string/修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###替换修饰符：
    替换修饰符：
        g：全局替换；
        w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中；
        p：显示替换成功的行；
        I,i 忽略大小写
    string:
       &是把前面每一个字符进行标记并输出
       \1 \2 ... 分组反引

{COMMANDS}：可以把多个命令括起来，用来处理单个地址或者地址范围。
      sed -n '5,9p;='
      sed -n '5,9{p;=}'

感叹号在定址表达式后，表示对行进行筛选。表示满足条件的行不执行命令，但不满足的行会执行。
感叹号在命令的前面，表示满足条件的行不执行该命令，且不满足的行也不执行(不执行是因为没有被定址表达式匹配到)。这是对模式空间中的行筛选要执行的命令。

[root@centos8 ~]#sed ''   # 默认自动打印，相当于cat读入默认标准输入
welcome
welcome
to
to

[root@centos8 ~]#sed '' /etc/issue # 默认自动打印，相当于cat
\S
Kernel \r on an \m
[root@centos8 ~]#sed 'p' /etc/issue
\S
\S
Kernel \r on an \m
Kernel \r on an \m

[root@centos8 ~]#sed -n '' /etc/issue  # -n 关闭自动打印
[root@centos8 ~]#sed -n 'p' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#sed -n '1p' /etc/passwd
root:x:0:0:root:/root:/bin/bash

[root@centos8 ~]#ifconfig eth0 | sed '2p'
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
   inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.255
   inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.255
   inet6 fe80::20c:29ff:fe45:a8a1 prefixlen 64 scopeid 0x20<link>
   ether 00:0c:29:45:a8:a1 txqueuelen 1000 (Ethernet)
   RX packets 89815 bytes 69267453 (66.0 MiB)
   RX errors 0 dropped 0 overruns 0 frame 0
   TX packets 115634 bytes 79827662 (76.1 MiB)
   TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

[root@centos8 ~]#ifconfig eth0 | sed -n '2p'
   inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.255

[root@centos8 ~]#sed -n '$p' /etc/passwd # 打印最后一行
postfix:x:89:89::/var/spool/postfix:/sbin/nologin

[root@centos8 ~]#ifconfig eth0 |sed -n '/netmask/p'
   inet 10.0.0.8 netmask 255.255.255.0 broadcast 10.0.0.255

[root@centos8 ~]#df | sed -n '/^\/dev\/sd/p'
/dev/sda2    104806400 4872956  99933444  5% /
/dev/sda3    52403200  398860  52004340  1% /data
/dev/sda1     999320  848568   81940  92% /boot

[root@centos8 ~]#seq 10 | sed -n '3,6p'
3
4
5
6

seq 10 | sed -n '3,+4p'  # 打印第3行到第7行
seq 10 | sed -n '3,$p' # 打印第3行到最后行
seq 10 |sed -n '1~2p'  # 打印奇数行。从第1行隔2行打印
seq 10 |sed -n '2~2p' # 打印偶数行。从第2行隔2行打印
seq 10 |sed  '1~2d' # 打印除奇数行。
seq 10 |sed  '2~2d' # 打印除偶数行。

# -e 来表示或者
sed -e '2d' -e '4d' seq.log # 打印除第2 第4行
sed '2d;4d' seq.log # 打印除第2 第4行

sed -i.orig '2d;4d' seq.log # 删除文件第2 第4行，并保存原文件为seq.log.orig

sed -i  '/^listen 9527/a listen 80 \nlisten 8080'  /etc/httpd/conf/httpd.conf
sed -i '/^#/d' fstab #删除所有以#开头的行
sed -n '/^#/!p' fstab #只显示非#开头的行

sed  -n '/^[[:digit:]]/p' relax_read_count.log.2017-01-17  |less #只打印以数字开头的行

#修改网卡配置
sed -Ei.bak '/^GRUB_CMDLINE_LINUX/s/(.*)(")$/\1 net.ifnames=0\2/' /etc/default/grub

sed '2p' /etc/passwd
sed  -n '2p' /etc/passwd
sed  -n '1,4p' /etc/passwd
sed  -n '/root/p' /etc/passwd
sed  -n '2,/root/p' /etc/passwd 从2行开始
sed  -n '/^$/=' file 显示空行行号
sed -n '/./p' a.sh : 显示非空行，但对制表符无效
sed  -n  -e '/^$/p' -e '/^$/=' file
Sed'/root/a\superman' /etc/passwd行后
sed '/root/i\superman' /etc/passwd 行前
sed '/root/c\superman' /etc/passwd 代替行
sed '/^$/d' file
sed '1,10d'  file
nl  /etc/passwd | sed '2,5d'
nl  /etc/passwd | sed '2a tea'
sed 's/test/mytest/g' example
sed -n 's/root/&superman/p' /etc/passwd 单词后   # &是把前面每一个字符进行标记并输出
sed -n 's/root/superman&/p' /etc/passwd 单词前
sed -e 's/dog/cat/' -e 's/hi/lo/' pets
sed -n 's/^.//gp' /etc/fstab # 删除文件每行中的第一个字符
sed -nr 's/.$//p' /etc/passwd # 删除文件每行的最后一个字符
sed -i.bak  's/dog/cat/g' pets

[root@centos8 ~]#ifconfig eth0 |sed -nr "2s/[^0-9]+([0-9.]+).*/\1/p"
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | sed -rn '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | sed -n '2s/^.*inet //p' | sed -n 's/
netmask.*//p'
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | sed -n '2s/^.*inet //;s/ netmask.*//p'
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | sed -rn '2s/(.*inet )([0-9].*)(
netmask.*)/\2/p'
10.0.0.8

echo "/etc/sysconfig/network-scripts/" |sed -r 's#(^/.*/)([^/]+/?)#\2#' 取基名
echo "/etc/sysconfig/network-scripts/" |sed -r 's#(^/.*/)([^/]+/?)#\1#' 取目录
#取目录名
[root@centos8 ~]#echo /etc/sysconfig/ | sed -rn 's#(.*)/([^/]+)/?#\1#p'
/etc
#取基名
[root@centos8 ~]#echo /etc/sysconfig/ | sed -rn 's#(.*)/([^/]+)/?#\2#p'
sysconfig

[root@centos8 ~]#sed -ri.bak '/^#/s/^#//' /etc/fstab

[root@centos8 ~]#df | sed -nr '/^\/dev\/sd/s# .* ([0-9]+)%.*# \1#p'
/dev/sda2 3
/dev/sda5 1
/dev/sda1 14

[root@centos8 ~]#sed -nr '/^GRUB_CMDLINE_LINUX/s/"$/ net.ifnames=0"/p'
/etc/default/grub
GRUB_CMDLINE_LINUX="crashkernel=auto resume=UUID=8363289d-138e-4e4a-abaf-
6e028babc924 rhgb quiet net.ifnames=0"

[root@centos8 ~]#sed -rn '/^GRUB_CMDLINE_LINUX=/s@(.*)"$@\1 net.ifnames=0"@p'
/etc/default/grub
GRUB_CMDLINE_LINUX="crashkernel=auto resume=UUID=a0efb2bb-8227-4317-a79d-
0a70d515046c rhgb quiet net.ifnames=0"
[root@centos8 ~]#sed -rn '/^GRUB_CMDLINE_LINUX=/s@"$@ net.ifnames=0"@p'
/etc/default/grub
GRUB_CMDLINE_LINUX="crashkernel=auto resume=UUID=a0efb2bb-8227-4317-a79d-
0a70d515046c rhgb quiet net.ifnames=0 net.ifnames=0"

[root@centos8 ~]#sed -ri '/^GRUB_CMDLINE_LINUX=/s@"$@ net.ifnames=0"@' /etc/default/grub

#centos7,8
[root@centos8 ~]#grub2-mkconfig -o /boot/grub2/grub.cfg
#ubuntu
[root@ubuntu ~]#grub-mkconfig -o /boot/grub/grub.cfg

[root@centos6 ~]#sed  -e '/^#<VirtualHost/,/^#<\/VirtualHost>/s@#@@' -e '/^#NameVirtualHost/s@#@@' /etc/httpd/conf/httpd.conf

echo Welcome to Me | sed 's/\w\+/[&]/g'  #&是把前面每一个字符进行标记并输出

[root@localhost ~]# echo Welcome to M | sed 's/\w\+/[&]/g'
[Welcome] [to] [M]

sed -rn "s/^[^#]/#&/p"  /etc/fstab  # &是把前面每一个字符进行标记并输出
sed -rn 's/^[^#](.*)/#\1/p' /etc/fstab
sed -rn '/^#/!s@^@#@p' /etc/fstab

sed  -r  '/^(#|$)/d' /etc/httpd/conf/httpd.conf
sed  -r  '/^#|^$/d' /etc/httpd/conf/httpd.conf

[root@centos8 ~]#echo|sed "s/^/$RANDOM.rmvb/"
5242.rmvb
[root@centos8 ~]#echo|sed 's/^/$RANDOM.rmvb/'
$RANDOM.rmvb
[root@centos8 ~]#echo|sed 's/^/'''$RANDOM'''.rmvb/'

# / 变为.
REPOSITORY=gcr.io/google_containers
interval=.
[root@stor01 ~]# sed 's#/#'"$interval"'#g'<<<${REPOSITORY%/}/
gcr.io.google_containers.

练习1：删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符；
sed  's@^[[:space:]]\+@@' /etc/grub2.cfg
练习2：删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符；
sed  's@^#[[:space:]]*@@'  /etc/fstab
练习3：输出一个绝对路径给sed命令，取出其目录，其行为类似于dirname；
echo "/var/log/messages/" | sed 's@[^/]\+/\?$@@'
echo "/var/log/messages" | sed -r 's@[^/]+/?$@@'

sed -n 'n;p' FILE
sed '1!G;h;$!d' FILE
sed ‘N;D’FILE  # 显示最后一行
seq 10 |sed  '3h;9G;9!d'
sed '$!N;$!D' FILE
sed '$!d' FILE
sed ‘G’ FILE
sed ‘g’ FILE
sed ‘/^$/d;G’ FILE
sed 'n;d' FILE
sed -n '1!G;h;$p' FILE

sed  -n  'n;p'  FILE：# 显示偶数行；
sed  '1!G;h;$!d'  FILE：# 逆序显示文件的内容；1!G：第1行保持空间内容不追加到模式空间，h：把模式空间中的内容覆盖至保持空间中，$!d：除最后一行外的行从模式空间中删除
sed  ’$!d'  FILE：取出最后一行；
sed  '$!N;$!D' FILE：取出文件后两行；
sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；
sed  'n;d'  FILE：显示奇数行； sed  'N;p'
sed 'G' FILE：在原有的每行后方添加一个空白行；

方法一
sed -n '{N;s/\n/\t/p}' test.txt
方法二：
awk '{tmp=$0;getline;print tmp"\t"$0}' test.txt

[root@nginx001 ~]# curl -s -u wowotuan:wowotuan 172.16.0.22:8080/v2/apps?embed=apps.count|jq  '.apps[]|.id ,.instances' |sed -n '{N;s/\n/  /p}' |sort -nr -k2
"/yuncapital-yzprod"  2
"/xyscm-foodsafetyweb-yzprod"  2
"/xyscm-cost-reduction-web-yzprod"  2
"/jobcenter-yzprod"  2
"/dbos-web-yzprod"  2
"/xyscm-warehousecenter-yzprod"  1
"/xyscm-ub-web-yzprod"  1
"/xyscm-taskcenter-yzprod"  1
"/xyscm-me-warehousecenter-yzprod"  1
"/xyscm-me-erpcenter-yzprod"  1

awk [options]  'program' var=value  file…
awk [options]  -f programfile  var=value file…

pattern{action statements;..}

[root@centos8 ~]#awk '{print "hello,awk"}'
[root@centos8 ~]#seq 10 | awk '{print "hello,awk"}'
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
[root@centos8 ~]#seq 3 | awk '{print 2*3}'
6
6
6
[root@centos8 ~]#awk -F: '{print "wang"}' /etc/passwd
[root@centos8 ~]#awk -F: '{print}' /etc/passwd
[root@centos8 ~]#awk -F: '{print $0}' /etc/passwd
[root@centos8 ~]#awk -F: '{print $1,$3}' /etc/passwd
[root@centos8 ~]#awk -F: '{print $1"\t"$3}' /etc/passwd

[root@centos8 ~]#grep "^UUID" /etc/fstab |awk {'print $2,$3'}
/ xfs
/boot ext4
/data xfs
swap swap

[root@VM_0_10_centos logs]# awk '{print $1}' nginx.access.log-20200428|sort |
uniq -c |sort -nr|head -3
 5498 122.51.38.20
 2161 117.157.173.214
 953 211.159.177.120
[root@centos8 ~]#awk '{print $1}' access_log |sort |uniq -c|sort -nr|head
 4870 172.20.116.228
 3429 172.20.116.208
 2834 172.20.0.222
 2613 172.20.112.14
 2267 172.20.0.227
 2262 172.20.116.179
 2259 172.20.65.65
 1565 172.20.0.76
 1482 172.20.0.200
 1110 172.20.28.145

[root@centos8 ~]#df | awk '{print $1,$5}'
Filesystem Use%
devtmpfs 0%
tmpfs 0%
tmpfs 2%
tmpfs 0%
/dev/sda2 3%
/dev/sda3 1%
/dev/sda1 15%
tmpfs 0%

#使用扩展的正则表达式
[root@centos8 ~]#df | awk -F"[[:space:]]+|%" '{print $5}'
Use
0
0
1
0
5
1
92
1
[root@centos8 ~]#df | awk -F'[[:space:]]+|%' '{print $1,$5}'
Filesystem Use
devtmpfs 0
tmpfs 0
tmpfs 2
tmpfs 0
/dev/sda2 3
/dev/sda3 1
/dev/sda1 15
tmpfs 0

[root@centos8 ~]#df | grep "^/dev/sd" | awk -F"[[:space:]]+|%" '{print $5}'
5
1
92

[root@centos8 ~]#df | grep '^/dev/sd'| awk -F'[[:space:]]+|%' '{print $1,$5}'
/dev/sda2 3
/dev/sda3 1
/dev/sda1 15

[root@centos8 ~]#df | awk -F"[[:space:]]+|%" '/^\/dev\/sd/{print $5}'
5
1
92
[root@centos8 ~]#df | awk -F'[[:space:]]+|%' '/^\/dev\/sd/{print $1,$5}'
/dev/sda2 3
/dev/sda3 1
/dev/sda1 15

[root@centos8 ~]#ifconfig eth0 | awk '/netmask/{print $2}'
10.0.0.8
[root@centos6 ~]#ifconfig eth0 |awk -F " +|:" '/Mask/{print $4}'
10.0.0.6
[root@centos8 ~]#ifconfig eth0| sed -rn '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.0.0.8
[root@centos6 ~]#ifconfig eth0| sed -rn '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.0.0.6

[root@centos8 ~]#cat host_list.log
1 www.me.com
2 blog.me.com
3 study.me.com
4 linux.me.com
5 python.me.com

[root@centos8 ~]#awk -F"[ .]" '{print $2}' host_list.log
www
blog
study
linux
python
[root@centos8 ~]#awk -F"[ .]" '{print $2}' host_list.log >> host_list.log
[root@centos8 ~]#cat host_list.log
1 www.me.com
2 blog.me.com
3 study.me.com
4 linux.me.com
5 python.me.com
www
blog
study
linux
python

FS：input field seperator输入字段分隔符，默认为空白字符；
OFS：output field seperator，输出字段分隔符，默认为空白字符；
RS：input record seperator，输入时的换行符；
ORS：output record seperator，输出时的换行符；
NF: number of field,字段数量
NR: number of record，行数
FNR: 每一个文件单独计录行数
FILENAME: 当前文件名
ARGC: 命令行参数的个数
ARGV: 数组，保存了命令行中的各参数
ARGIND 命令行中文件序号

awk -v FS=':' '{print $1,FS,$3}' /etc/passwd
awk -v FS=":" '{print $1FS$3}' /etc/passwd
awk –F:  '{print $1,$3,$7}'  /etc/passwd
S=:;awk -v FS=$S '{print $1FS$3}' /etc/passwd

[root@centos8 ~]#awk -v FS=":" '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2
[root@centos8 ~]#S=:;awk -F$S  '{print $1,$3}' /etc/passwd|head -n3
root 0
bin 1
daemon 2
[root@centos8 ~]#

#-F 和 FS变量功能一样，同时使用会冲突
[root@centos8 ~]#awk -v FS=":" -F";" '{print $1FS$3}' /etc/passwd |head -n3
root:x:0:0:root:/root:/bin/bash;
bin:x:1:1:bin:/bin:/sbin/nologin;
daemon:x:2:2:daemon:/sbin:/sbin/nologin;
[root@centos8 ~]#awk -F";" -v FS=":" '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2
[root@centos8 ~]#

[root@centos8 ~]#awk -F" +|:" '{print $(NF-2)}' ss.log |sort |uniq -c|sort -nr|head -n3
  12 223.88.255.148
  11 119.250.197.118
  10 183.202.63.36
[root@centos8 ~]#awk -F" +|:" '/^ESTAB/{print $(NF-2)}' ss.log |sort |uniq -c|sort -nr|head -n3
  12 223.88.255.148
  10 183.202.63.36
  9 117.152.155.119
[root@centos8 ~]#ss -nt |grep "^ESTAB" | awk -F"[[:space:]]+|:" '{print $(NF-2)}'
10.0.0.1
10.0.0.7
10.0.0.1

[root@centos8 ~]#ss -nt |awk -F"[[:space:]]+|:" '/^ESTAB/{print $(NF-2)}'

[root@centos8 ~]#ss -nt|awk -F: '{print $(NF-1)}' |awk '/^[0-9]/{print $NF}'|sort |uniq -c |head -n 3

[root@centos8 ~]#cat deny_dos.sh
LINK=100
while true;do
    ss -nt | awk -F"[[:space:]]+|:" '/^ESTAB/{print $(NF-2)}'|sort |uniq -c|while read count ip;do
        if [ $count -gt $LINK ];then
            iptables -A INPUT -s $ip -j REJECT
        fi
    done
done

[root@centos8 ~]#chmod +x /root/deny_dos.sh
[root@centos8 ~]#crontab -e
[root@centos8 ~]#crontab -l
*/10 * * * *  /root/deny_dos.sh

[root@centos8 ~]#cat deny_dos.sh
IPLIST=`awk -F" +|:" '/^ESTAB/{print $(NF-2)}' ss.log |sort |uniq -c|sort -nr|head -3|awk '{print $2}'`
for ip in $IPLIST;do
    iptables -A INPUT -s $ip -j REJECT
done

[root@centos8 ~]#ifconfig eth0 | awk '/netmask/{print $2}'
10.0.0.8
[root@centos8 ~]#ifconfig eth0 | awk 'NR==2{print $2}'
10.0.0.8

[root@centos8 ~]#awk -F: '{print NR}' /etc/passwd
1
2
3
.......
[root@centos8 ~]#awk -F: 'END{print NR}' /etc/passwd
57
[root@centos8 ~]#awk -F: 'BEGIN{print NR}' /etc/passwd
0

[root@centos8 ~]#awk '{print FILENAME}' /etc/fstab
[root@centos8 ~]#awk '{print FNR,FILENAME,$0}' /etc/issue /etc/redhat-release
1 /etc/issue \S
2 /etc/issue Kernel \r on an \m
3 /etc/issue
1 /etc/redhat-release CentOS Linux release 8.0.1905 (Core)

awk  -v test='hello gawk' '{print test}' /etc/fstab
awk  -v test='hello gawk' 'BEGIN{print test}'
awk  'BEGIN{test="hello,gawk";print test}' # 内部变量赋值
awk  -F: '{sex="male";print $1,sex,age;age=18}' /etc/passwd  # 这里变量是先赋值再使用，从第二行才有age的值

cat awkscript
{print script,$1,$2}
awk  -F: -f awkscript script="awk" /etc/passwd

[root@ali-bj-prod-web001 conf.d]# a=123
[root@ali-bj-prod-web001 conf.d]# awk 'BEGIN{print a}'

[root@ali-bj-prod-web001 conf.d]# awk 'BEGIN{print '"$a"'}'
123
[root@ali-bj-prod-web001 conf.d]# awk "BEGIN{print "$a"}"
123
[root@ali-bj-prod-web001 conf.d]# awk BEGIN\{print\""$a"\"\}
123

user_bili=$(awk 'BEGIN{printf "%.2f\n", '$user_pv'/'$totoal_pv'*100}' )

#[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度，如：%3.1f
- 左对齐（默认右对齐） 如：%-15s
+  显示数值的正负符号  如：%+d

awk -F:  '{printf "%s",$1}' /etc/passwd
awk -F:  '{printf "%s\n",$1}' /etc/passwd
awk -F:  '{printf "%20s\n",$1}' /etc/passwd
awk -F:  '{printf "%-20s\n",$1}' /etc/passwd
awk -F:  '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
awk -F:  '{printf "Username: %s\n",$1}' /etc/passwd
awk -F:  '{printf “Username: %sUID:%d\n",$1,$3}' /etc/passwd
awk -F:  '{printf "Username: %25sUID:%d\n",$1,$3}' /etc/passwd
awk -F:  '{printf "Username: %-25sUID:%d\n",$1,$3}' /etc/passwd

x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值

=, +=, -=, *=, /=, %=, ^=，++, --

[root@centos8 ~]#awk 'BEGIN{i=0;print i++,i}'
0 1
[root@centos8 ~]#awk 'BEGIN{i=0;print ++i,i}'
1 1

[root@centos8 ~]#awk -v n=0 '!n++' /etc/passwd # 真：结果为非0值，非空字符串。第一行!n为!0为1是真则打印，第二行!n为!2为0是假不打印，以此类推
root:x:0:0:root:/root:/bin/bash

[root@centos8 ~]#awk -v n=0 '!n++{print n}' /etc/passwd
1
[root@centos8 ~]#awk -v n=1 '!n++{print n}' /etc/passwd # 永远为假则不打印
[root@centos8 ~]#awk -v n=0 '!++n{print n}' /etc/passwd

[root@centos8 ~]#awk -v n=0 '!++n' /etc/passwd
[root@centos8 ~]#awk -v n=-1 '!++n' /etc/passwd
root:x:0:0:root:/root:/bin/bash

==, !=, >, >=, <, <=

[root@centos8 ~]#awk 'NR==2' /etc/issue # 这是隐藏了{print $0}
Kernel \r on an \m
[root@centos8 ~]#awk -F: '$3>=1000' /etc/passwd
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
wang:x:1000:1000:wang:/home/wang:/bin/bash
cici:x:1001:1001::/home/cici:/bin/bash

[root@centos8 ~]#seq 10 | awk 'NR%2==0'
2
4
6
8
10
[root@centos8 ~]#seq 10 | awk 'NR%2==1'
1
3
5
7
9
[root@centos8 ~]#seq 10 | awk 'NR%2!=0'
1
3
5
7
9

~ 左边是否和右边匹配，包含关系
!~ 是否不匹配

[root@centos8 ~]#awk -F: '$0 ~ /root/{print $1}' /etc/passwd
[root@centos8 ~]#awk -F: '$0 ~ "^root"{print $1}' /etc/passwd
[root@centos8 ~]#awk '$0 !~ /root/'  /etc/passwd
[root@centos8 ~]#awk '/root/'  /etc/passwd
[root@centos8 ~]#awk -F: '$3==0'   /etc/passwd
[root@centos8 ~]#df | awk -F"[[:space:]]+|%" '$0 ~ /^\/dev\/sd/{print $5}'
5
1
92

[root@centos8 ~]#ifconfig eth0 | awk 'NR==2{print $2}'
10.0.0.8

$kube_CMD -n $namespace get pod |sed '1d'|awk '$(NF-3)~"0/" && $NF!~"(^[1-6]m|^[1-60]s)"{print $1}'

与：&&，并且关系
或：||，或者关系
非：!，取反

[root@centos8 ~]#awk 'BEGIN{print i}'
[root@centos8 ~]#awk 'BEGIN{print !i}'
1
[root@centos8 ~]#awk -v i=10 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i=-3 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i=0 'BEGIN{print !i}'
1
[root@centos8 ~]#awk -v i=abc 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i='' 'BEGIN{print !i}'
1

awk -F:  '$3>=0 && $3<=1000 {print $1,$3}' /etc/passwd
awk -F:  '$3==0 || $3>=1000 {print $1,$3}' /etc/passwd
awk -F:  '!($3==0) {print $1,$3}'   /etc/passwd
awk -F:  '!($3>=500) {print $1,$3}' /etc/passwd

selector?if-true-expression:if-false-expression # selector为真执行第一个:否则第二个

awk -F: '{$3>=1000?usertype="Common User":usertype="SysUser";printf "%-20s:%12s\n",$1,usertype}'  /etc/passwd

[root@centos8 ~]#awk -F: '{print $1,$3}' /etc/passwd

[root@centos8 ~]#awk  '/^UUID/{print $1}'   /etc/fstab
[root@centos8 ~]#awk  '!/^UUID/{print $1}'  /etc/fstab
[root@centos8 ~]#df | awk '/^\/dev\/sd/'
/dev/sda2    104806400 4935924  99870476  5% /
/dev/sda3    52403200  398876  52004324  1% /data
/dev/sda1     999320  848572   81936  92% /boot

# 多条件:
awk '/^(Sep 9|Sep 10).*(error|fail)/' testfile

[root@centos8 ~]#awk '!1' /etc/passwd # !1后面隐藏了{print $0}
[root@centos8 ~]#awk '!0' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
.......

[root@centos8 ~]#awk '1' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk '0' /etc/issue
[root@centos8 ~]#awk '"me"' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk '""' /etc/issue
[root@centos8 ~]#awk 'me' /etc/issue
[root@centos8 ~]#awk 'me' /etc/issue
[root@centos8 ~]#awk -v me=wang 'me' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk -v me="" 'me' /etc/issue
[root@centos8 ~]#awk -v me="0" 'me' /etc/issue
[root@centos8 ~]#awk -v me=0 'me' /etc/issue
[root@centos8 ~]#awk '"0"' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk '0' /etc/issue

awk  -F:  'i=1;j=1{print i,j}' /etc/passwd  #这里i=1隐藏了{print $0}

Awk  -F: '$3>=1000{print $1,$3}' /etc/passwd
awk  -F: '$3<1000{print $1,$3}' /etc/passwd
awk  -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd

[root@centos8 ~]#awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
cici /bin/bash

[root@centos8 ~]#awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
cici /bin/bash

[root@centos8 ~]#seq 10 | awk 'NR>=3 && NR<=6'
3
4
5
6

[root@centos8 ~]#awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync

[root@centos8 ~]#sed -n '3,6p' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

[root@centos8 ~]#awk '/^bin/,/^adm/' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@centos8 ~]#sed -n '/^bin/,/^adm/p' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "END FILE"}' /etc/passwd
[root@ali-bj-prod-web001 ~]# awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "END FILE"}' /etc/passwd
USER USERID
root:0
... ...
rpc:32
END FILE

awk -F: '{print "USER USERID";print $1":"$3} END{print "END FILE"}' /etc/passwd
awk -F: 'BEGIN{print "USER UID \n--------------- "}{print $1,$3}' /etc/passwd
awk -F: 'BEGIN{print "USER UID \n--------"}{print $1,$3}END{print "=========="}' /etc/passwd

seq 10 | awk  'i=0'
seq 10 | awk  'i=1'
seq 10 | awk  'i=!i'
seq 10 | awk  '{i=!i;print i}'
seq 10 | awk  '!(i=!i)'
seq 10 | awk -v i=1 'i=!i'
[root@centos8 ~]#seq 10 | awk  'i=0'
[root@centos8 ~]#seq 10 | awk  'i=1'
1
2
3
4
5
6
7
8
9
10
[root@centos8 ~]#seq 10 | awk  'i=1'
1
2
3
4
5
6
7
8
9
10
[root@centos8 ~]#seq 10 | awk  'i=0'
[root@centos8 ~]#seq 10 | awk  'i=!i' # 奇数行
1
3
5
7
9
[root@centos8 ~]#seq 10 | awk  '!(i=!i)' # 偶数行
2
4
6
8
10
[root@centos8 ~]#seq 10 | awk -v i=1 'i=!i'
2
4
6
8
10
[root@centos8 ~]#seq 10 | awk -v i=0 'i=!i'
1
3
5
7
9
[root@centos8 ~]#seq 10 | awk  '{i=!i;print i}'
1
0
1
0
1
0
1
0
1
0
[root@centos8 ~]#

if(condition)statement # 单分支
if(condition){statement;…}[else statement] # 双分支
if(condition1){statement1}else if(condition2){statement2}else if(condition3){statement3}......else{statementN}  # 多分支

awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd
awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
awk '{if(NF>5) print $0}' /etc/fstab
awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}' /etc/passwd
awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or Sysuser: %s\n",$1}' /etc/passwd

df -h|awk -F% '/^\/dev\/sd/{print $1}'| awk '$NF>=80{print $1,$5}' # 分区利用率大于80%打印
df | awk -F"[[:space:]]+|%" '/^\/dev\/sd/{if($5>80)print $1,$5}'

[root@centos8 ~]#df | awk -F' +|%' '/^\/dev\/sd/{if($5>=10)print $1,$5}'
/dev/sda1 15

awk 'BEGIN{ test=100;if(test>90){print "very good"} else if(test>60){ print "good"}else{print "no pass"}}'

文件内容：
{"localTime":"2016-10-25 16:22:00","protocol":101599,"version":2.26,"appType":3,"timestamp":1477383720000,"uuid":"FDF577D9-1B45-44E3-B2FC-F2BDE4A27C74","token":"a95b6bbe80b9457a9409420bd3ce8dce"}

[root@ali-bj-prod-web001 conf.d]# echo '{"localTime":"2016-10-25 16:22:00","protocol":101599,"version":2.26,"appType":3,"timestamp":1477383720000,"uuid":"FDF577D9-1B45-44E3-B2FC-F2BDE4A27C74","token":"a95b6bbe80b9457a9409420bd3ce8dce"}' |awk -F',+|:+' '{print $12}'
1477383720000

上下行比较
awk -F'[,:]+' 'BEGIN {t=0} {if ($12>t) {t =$12  b+=1} else {num+=1 }} END {print num,b}' logs/verification_log.log

switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; ...; default: statementn}

#内置函数length()返回字符数，而非字节数
[root@centos8 ~]#awk 'BEGIN{print length("hello")}'
5
[root@centos8 ~]#awk 'BEGIN{print length("一条好汉")}'
4
# 打印/etc/grub2.cfg非空格开头后面包含linux16的单词长度
[root@centos7 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i); i++}}' /etc/grub2.cfg
linux16 7
/vmlinuz-3.10.0-1062.el7.x86_64 31
root=UUID=bebb9244-bbb8-4c69-9249-54a36c75155e 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13
linux16 7
/vmlinuz-0-rescue-b12558570741487c9328c996e3265b09 50
root=UUID=bebb9244-bbb8-4c69-9249-54a36c75155e 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13

[root@centos7 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){if(length($i)>=10){print $i,length($i)}; i++}}' /etc/grub2.cfg
/vmlinuz-3.10.0-1062.el7.x86_64 31
root=UUID=bebb9244-bbb8-4c69-9249-54a36c75155e 46
crashkernel=auto 16
net.ifnames=0 13
/vmlinuz-0-rescue-b12558570741487c9328c996e3265b09 50
root=UUID=bebb9244-bbb8-4c69-9249-54a36c75155e 46
crashkernel=auto 16
net.ifnames=0 13

[root@centos8 ~]#awk 'BEGIN{ total=0;i=1;while(i<=100){total+=i;i++};print total}'
5050

do {statement;…}while(condition)

[root@centos8 ~]#awk 'BEGIN{ total=0;i=1;do{ total+=i;i++;}while(i<=100);print total}'
5050

for(expr1;expr2;expr3) {statement;…}

for(variable assignment;condition;iteration process) {for-body}

for(var in array) {for-body}

[root@centos8 ~]#awk 'BEGIN{total=0;for(i=1;i<=100;i++){total+=i};print total}'
5050

[root@centos7 ~]#awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg
linux16 7
/vmlinuz-3.10.0-1062.el7.x86_64 31
root=UUID=bebb9244-bbb8-4c69-9249-54a36c75155e 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13
linux16 7
/vmlinuz-0-rescue-b12558570741487c9328c996e3265b09 50
root=UUID=bebb9244-bbb8-4c69-9249-54a36c75155e 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13

time (awk 'BEGIN{ total=0;for(i=0;i<=10000;i++){total+=i;};print total;}')
time (total=0;for i in {1..10000};do total=$(($total+i));done;echo $total)
time (for ((i=0;i<=10000;i++));do let total+=i;done;echo $total)
time (seq –s ”+” 10000|bc)

continue [n]
break [n]

[root@centos8 ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}'
2500

[root@centos8 ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i==50)break;sum+=i}print sum}'
1225

[root@centos8 ~]#awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd # 只处理gid偶数的内容
root 0
daemon 2
lp 4
shutdown 6
mail 8
games 12
ftp 14
nobody 65534
polkitd 998
gluster 996
rtkit 172
rpc 32
chrony 994
saslauth 992
clevis 984
pegasus 66
colord 982
setroubleshoot 980
gdm 42
gnome-initial-setup 978
sshd 74
avahi 70
tcpdump 72
wang 1000

array_name[index-expression]

weekdays["mon"]="Monday"

[root@centos8 ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["mon"]}'
Monday

awk '!line[$0]++' dupfile  # 去重
awk '{!line[$0]++;print $0, line[$0]}' dupfile

[root@centos8 ~]# awk 'BEGIN{array["i"]="x"; array["j"]="y" ; print "i" inarray, "y" in array }'
1 0
[root@centos8 ~]#awk 'BEGIN{array["i"]="x"; array["j"]="y" ;if ("i" in array ){print "存在"}else{print "不存在"}}'
存在
[root@centos8 ~]#awk 'BEGIN{array["i"]="x"; array["j"]="y" ;if ("abc" in array ){print "存在"}else{print "不存在"}}'
不存在

for(var in array) {for-body}

[root@centos8 ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print weekdays[i]}}'
Tuesday
Monday
[root@centos8 ~]#awk 'BEGIN{students[1]="daizong";students[2]="junzong";students[3]="kunzong";for(x in students){print x":"students[x]}}'
1:daizong
2:junzong
3:kunzong

[root@centos8 ~]#awk 'BEGIN {
a["x"] = "welcome"
a["y"] = "to"
a["z"] = "me"
for (i in a) {
  print i,a[i]
}
}'
x welcome
y to
z me
[root@centos8 ~]#awk -F: '{user[$1]=$3}END{for(i in user){print "username:
"i,"uid: "user[i]}}' /etc/passwd
username: adm uid: 3
username: rpc uid: 32
username: dnsmasq uid: 985
username: radvd uid: 75
username: sync uid: 5
username: mail uid: 8
username: exim uid: 93
username: tss uid: 59
username: gluster uid: 996
username: unbound uid: 995
username: halt uid: 7

[root@centos8 ~]#awk 'NR!=1{print $1}' ss.log |sort |uniq -c
  118 ESTAB
   1 FIN-WAIT-1
  11 LAST-ACK

[root@centos8 ~]#cat ss.log | sed -nr '1!s/^([^0-9]+) .*/\1/p'|sort |uniq -c
  529 ESTAB
   9 LISTEN
  128 SYN-RECV
  95 TIME-WAIT

[root@centos8 ~]#ss -ant | awk 'NR!=1{state[$1]++}END{for(i in state){printi,state[i]}}'
SYN-RECV 128
LISTEN 9
ESTAB 529
TIME-WAIT 95

[root@centos8 ~]#netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state){print i,state[i]}}'
LISTEN 9
SYN_RECV 126
ESTABLISHED 523
FIN_WAIT2 40

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log
172.20.0.200 1482
172.20.21.121 2
172.20.30.91 29
172.16.102.29 864
172.20.0.76 1565
172.20.9.9 15
172.20.1.125 463
172.20.61.11 2
172.20.73.73 198

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' access_log|sort -nr| head -3
4870 172.20.116.228
3429 172.20.116.208
2834 172.20.0.222
[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' access_log|sort -k2 -nr|head -3
172.20.116.228 4870
172.20.116.208 3429
172.20.0.222 2834

[root@centos8 ~]#awk '{ip[$1]++}END{for(i in ip){if(ip[i]>=1000){system("iptables -A INPUT -s "i" -j REJECT")}}}' nginx.access.log-20200428

[root@centos8 ~]#awk 'BEGIN{
> array[1][1]=11
> array[1][2]=12
> array[1][3]=13
> array[2][1]=21
> array[2][2]=22
> array[2][3]=23
> for (i in array)
>   for (j in array[i])
>     print array[i][j]
> }'
11
12
13
21
22
23

[root@centos8 ~]#cat passwd.awk
{if($3>=1000)print $1,$3}
[root@centos8 ~]#awk -F: -f passwd.awk /etc/passwd
nobody 65534
wang 1000
me 1001

[root@centos8 ~]#cat test.awk
#!/bin/awk -f
#this is a awk script
{if($3>=1000)print $1,$3}
[root@centos8 ~]#chmod +x test.awk
[root@centos8 ~]#./test.awk -F: /etc/passwd
nobody 65534
wang 1000
me 1001

awkfile var=value var2=value2... Inputfile

[root@centos8 ~]#cat test2.awk
#!/bin/awk -f
{if($3 >=min && $3<=max)print $1,$3}
[root@centos8 ~]#chmod +x test2.awk
[root@centos8 ~]#./test2.awk -F: min=100 max=200 /etc/passwd
systemd-resolve 193
rtkit 172
pulse 171
qemu 107
usbmuxd 113
abrt 173

1 www.me.com
2 blog.me.com
3 study.me.com
4 linux.me.com
5 python.me.com
......
999 study.me.com

http://mail.me.com/index.html
http://www.me.com/test.html
http://study.me.com/index.html
http://blog.me.com/index.html
http://www.me.com/images/logo.jpg
http://blog.me.com/20080102.html
http://www.me.com/images/me.jpg

[root@centos8 ~]#awk -F"/" '{url[$3]++}END{for(i in url){print url[i],i}}' url.log |sort -nr
3 www.me.com
2 blog.me.com
1 study.me.com
1 mail.me.com

inode|beginnumber|endnumber|counts|
106|3363120000|3363129999|10000|
106|3368560000|3368579999|20000|
310|3337000000|3337000100|101|
310|3342950000|3342959999|10000|
310|3362120960|3362120961|2|
311|3313460102|3313469999|9898|
311|3313470000|3313499999|30000|
311|3362120962|3362120963|2|

310|3337000000|3362120961|10103|
311|3313460102|3362120963|39900|
106|3363120000|3368579999|30000|

# 1. 快速定位错误日志
grep -E "ERROR|WARN|FATAL" /var/log/app.log | tail -100

# 2. 统计错误频率
awk '/ERROR/ {print $1,$2}' app.log | uniq -c | sort -rn

# 3. 分析访问日志
# 统计状态码分布
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# 统计慢请求
awk '$NF > 1000 {print $7,$NF}' access.log | sort -k2 -rn | head

# 4. 实时日志监控
tail -f /var/log/messages | grep --line-buffered ERROR

# 5. 多文件日志合并分析
zcat /var/log/app.log*.gz | grep ERROR | less